Обновленная методика тестирования процессоров

Уже более двух лет методика тестирования процессоров не менялась, несмотря на заметный прогресс, как самих процессоров, так и выполняемых на них программ. Казалось бы, давно пора внести в методику изменения, но нас сдерживали два фактора. Во-первых, полная переработка методики привела бы к потере уже накопленной базы результатов, которая позволяет сравнивать современные процессоры с теми, которые вы, вероятнее всего, уже собираетесь обновить, но не знаете на сколько это увеличит производительность. Вот чтобы иметь возможность ответить на такой вопрос, мы и оттягивали момент перехода на новое аппаратное и программное обеспечение. Кроме того, во-вторых, долгое время на горизонте маячил переход и процессоров AMD и процессоров Intel на новые процессорные разъемы, а вместе с тем и однозначный переход на использование оперативной памяти DDR3. И вот, когда все производители для самых новых, технологичных и, в общем-то, быстрых процессоров начали рекомендовать более быструю память, а в нашей тестовой лаборатории появились все нужные компоненты, мы спешим обновить аппаратное и программное обеспечение, чтобы наши обзоры были более актуальны.

Но, несмотря на заметное обновление методики и использование более новых и технологичных компонентов, основная цель тестирования остается неизменной – произвести сравнение производительности процессоров, постаравшись максимально раскрыть их потенциал. Другими словами, мы снова не будем пытаться показать производительность процессора и системы в целом в каком-то конкретном приложении или игре, а тем более подобрать настройки такие, чтобы получить наилучшую производительность в чем-то одном или увидеть все прелести какой-то игры. Ведь, согласитесь, это уже будет не тестирование, а подстройка системы с тестируемым процессором под какие-то определенные цели. А мы не собираемся подстраиваться, мы хотим в итоге статьи сказать, на сколько, в среднем, протестированный процессор быстрее или медленнее наиболее близких оппонентов, а также других процессоров на рынке.

Именно по последней причине, т.е. для обеспечения возможности максимально расширить базу процессоров, возможности которых можно сравнить друг с другом, мы не отказались полностью от старой методики, а только отбросили наименее актуальные тесты и обновили аппаратное обеспечение, что позволит нам тестировать новые процессоры в новых более актуальных тестовых пакетах.

Аппаратное обеспечение

Несколько слов о том, что было, ведь результаты, полученные с помощью этого оборудования, можно будет использовать еще достаточно продолжительный период времени.

Так, например, для тестирования процессоров AMD очень долго «верой и правдой» нам служила замечательная материнская плата ASUS M2N-SLI Deluxe с процессорным разъемом AM2, на чипсете NVIDIA nForce 570 SLI и с поддержкой памяти DDR2. С появлением процессоров под Socket AM2+, а в последствии и Socket AM3, актуальность этой платформы стала заметно меньше и, в общем-то, уже сошла на нет. Кроме того, не так давно, в результате очередных экспериментов данная материнская плата перестала функционировать и, по заключению экспертов, ремонту и восстановлению не подлежит.

Если для процессоров AMD история смены платформ не велика, то тестовый стенд для процессоров Intel претерпел больше изменений. Первые результаты для платформы LGA775 были получены с помощью материнской платы GIGABYTE GA-965P-DS4 на чипсете Intel P965 Express. Но с появлением процессоров, которые производятся по 45 нм техпроцессу мы решили обзавестись платой с их родной поддержкой. Кроме того, GIGABYTE GA-965P-DS4 первой ревизии, которая у нас и используется, официально не поддерживает FSB 1333 МГц. При этом процессоры с такой системной шиной можно было запустить на ней, но ввиду невозможности в таком режиме управления задержками чипсета (Strap) и всеми таймингами памяти в результатах появлялась заметная погрешность.

Практически все процессоры с FSB 1333 МГц и выполненные по 45 нм техпроцессу были протестированы на плате ASUS P5KC, которая основана на чипсете Intel P35 Express. При этом переход с одной платы на другую был «безболезненным» для результатов – процессоры, для которых обе платы были рекомендованными, показывали идентичную производительность, погрешность составляла ±1%, т.е. как и обычный разброс результатов при тестах. В данной плате устраивало почти все, кроме не самого хорошего разгонного потенциала, что не всегда позволяло полностью рассказать о возможности ускорения тестируемого процессора.

Для улучшения разгона новых процессоров нам в аренду была предоставлена плата ASUS P5Q PRO на Intel P45 Express. Именно эта плата внесла в результаты некоторую погрешность, хотя виновата не совсем она, а случайная установка SP1 на операционную систему Windows Vista, которая стала работать быстрее. Причем ошибка была замечена не сразу, а после выхода нескольких обзоров. Для исправления ситуации пришлось повторно взять все еще доступные процессоры и внести соответствующие коррекции в результаты (тогда же были внесены соответствующие коррекции и для платформы AMD). Но и эта плата у нас не задержалась, т.к. вместо временно арендуемой основы тестового стенда нам на постоянно предоставили GIGABYTE GA-EP45-UD3P (причем переход с одной платы на другую не внес заметных погрешностей в результаты, т.к. основаны они на одинаковых чипсетах).

Вместе с переходом на новые материнские платы для тестирования процессоров AMD потерял актуальность и кулер akasa AK-859 CU, который оказался не в состоянии обеспечить необходимое охлаждение старшим моделям процессоров с TDP 125 и 140 Вт при разгоне.

Что касается оперативной памяти, то наиболее продолжительный период времени мы использовали два модуля DDR2-800 1024 МB Apacer PC6400, а для первых тестов новых систем два, а потом три модуля DDR3-1333 1024 MB Transcend PC10600. Но первый набор, да и второй тоже, ограничивали возможности разгона, поэтому сейчас они заменены на действительно оверклокерские модели (о них ниже). При этом тесты производительности производятся на тех же быстрых модулях, но в замедленном до уровня выше указанных режимов, включая ручную установку таймингов, чтобы исключить появление погрешности в результатах.

Поскольку первоначальный набор тестов не отличался большим объемом, то долгое время тестовая платформа отлично помещалась на жестком диске с интерфейсом SATA-300 Samsung HD080HJ объемом 80 ГБ . Но поскольку обновление программной части потребовало увеличения доступного дискового пространства, а также потому, что скорость дисковой подсистемы при достаточном объеме оперативной памяти не вносит никаких корректив в тестовые результаты, то, обновляя стенд, мы решили воспользоваться и более емкими накопителями, отправив Samsung HD080HJ служить другим целям при других тестах.

Первое время все тестовые стенды собирались в корпусах. Например, для процессоров чаще всего использовался CODEGEN M603 форм-фактора

 MidiTower с одним предустановленным 120 мм вентилятором и дополненный еще одним  Noctua NF-P12. Но поскольку вскоре мы перестали для каждого процессора изучать его температурный режим, а вынесли эту часть исследований в отдельные темы раздела «Системы охлаждения», то необходимость в корпусах отпала. Кроме того, плат и платформ стало больше, а сборка системы требует время, которого и так не хватает. Поэтому сейчас процессоры тестируются на открытом стенде, а изучение их температурных режимов и возможностей штатных («боксовых») кулеров производится в отдельных темах, последние из которых:

• Исследование эффективности «боксовых» кулеров Intel;
• Исследование эффективности «боксовых» кулеров AMD.

Итак, мы рассказали о том оборудовании, с которым мы прощаемся, но результаты, полученные с помощью которого, еще долго будут использоваться в качестве отправных точек. Пора переходить к тому, что есть сейчас и будет использоваться в обозримом будущем.

Новые стенды

Обновленная тестовая платформа для процессоров будет иметь следующую сводную таблицу, которую мы детальнее и опишем ниже.

Материнские платы (AMD)	ASUS M3A32-MVP DELUXE (AMD 790FX, sAM2+, DDR2, ATX) GIGABYTE GA-MA790XT-UD4P (AMD 790X, sAM3, DDR3, ATX)
Кулер (AMD)	Thermaltake Sonic Tower (CL-P0071) + akasa AK-183-L2B 120 мм
Материнские платы (Intel)	GIGABYTE GA-EP45-UD3P (Intel P45, LGA 775, DDR2, ATX) GIGABYTE GA-EX58-DS4 (Intel X58, LGA 1366, DDR3, ATX)
Кулер (Intel)	Noctua NH-U12P + LGA1366 Kit
Оперативная память	2х DDR2-1200 1024 МБ Kingston HyperX KHX9600D2K2/2G 2/3x DDR3-2000 1024 МБ  Kingston HyperX KHX16000D3T1K3/3GX
Видеокарты	EVGA e-GeForce 8600 GTS 256 МБ GDDR3 PCI-E ASUS EN9800GX2/G/2DI/1G GeForce 9800 GX2 1ГБ GDDR3 PCI-E 2.0
Жесткий диск	Seagate Barracuda 7200.12 ST3500418AS, 500 ГБ, SATA-300, NCQ
Блок питания	Seasonic SS-650JT, 650 Вт, Active PFC, 80 PLUS, 120 мм вентилятор

Для тестирования процессоров AMD под процессорный разъем Socket AM2+ мы уже некоторое время используем материнскую плату ASUS M3A32-MVP DELUXE/WIFI-AP на чипсете AMD 790FX + AMD SB600. Эта плата и будет использоваться в будущем, пока будут появляться новые процессоры для Socket AM2+.

Не так давно появились новые процессоры AMD под обновленный процессорный разъем Socket AM3, который физически такой же, как Socket AM2+, но предполагает использование процессоров с интегрированным контроллером памяти DDR3. Для тестирования таких процессоров мы будем использовать материнскую плату GIGABYTE GA-MA790XT-UD4P на чипсете AMD 790X + AMD SB750.

Для тестирования же процессоров Intel под LGA775 будет использоваться GIGABYTE GA-EP45-UD3P, которая была предоставлена нам для этих целей и, кроме всего прочего, имеет отличный разгонный потенциал.

Для тестирования же новых процессоров Intel под процессорный разъем LGA1366 мы с первого знакомства с этими процессорами используем материнскую плату GIGABYTE GA-EX58-DS4 на Intel X58 Express, которая отличается замечательной стабильностью и хорошим разгонным потенциалом.

Теперь перейдем к системам охлаждения. Для платформы AMD теперь в основном будет использоваться очень эффективная связка Thermaltake Sonic Tower (CL-P0071) + akasa AK-183-L2B 120 мм, которую тяжело было правильно сориентировать в корпусе при использовании плат с Socket AM2/AM2+/AM3, но на открытом стенде это не имеет значения. При этом у данной связки есть возможность немного увеличить эффективность, если возникнет необходимость, путем установки второго вентилятора и/или «впихивания» еще одного между башнями. Надеемся, такого охлаждения окажется достаточно для современных процессоров под Socket AM2+ и  AM3.

Для охлаждения процессоров Intel будет использоваться очень эффективный кулер Noctua NH-U12P + LGA1366 Kit, который до недавнего времени был единственным в тестовой лаборатории, полноценно устанавливаемым на разъем LGA1366.

В основной тестовой конфигурации мы не указываем, но хотим заметить, что на подхвате будет оставаться кулер Scythe Kabuto, который тоже имеет высокую эффективность и универсальный набор креплений.

Поскольку при разгоне зачастую возникает необходимость улучшить охлаждения и процессора, и компонентов материнской платы, и модулей памяти, то для этих целей мы используем и будем использовать вот такую «коллекцию» вентиляторов:

• 120 мм Noctua NF-P12;
• 120 мм VIZO Freezer ZF12025;
• 92 мм Noctua NF-B9;
• 92 мм VIZO WindStorm WS9238.

Последний, ввиду своих особенностей, используется только в особых случаях, когда другие вентиляторы не могут обеспечить нужный продув, а для получения «красивого» результата не хватает  совсем немножко.

Так как методика тестирования не была полностью переработана, то в первой «совместимой» части тестов будет использоваться все та же видеокарта EVGA e-GeForce 8600 GTS 256 Мб GDDR3 PCI-E, которая обеспечивала нас результатами уже более двух лет.

Для новых же тестов, игровых и критичных к производительности видеокарты, будет использоваться двухчиповый ускоритель ASUS EN9800GX2/G/2DI/1G, который  повторяет эталонную карту для GeForce 9800 GX2. Надеемся, его мощности будет хватать достаточно долго для получения адекватных результатов в обновленной серии игровых тестов. Кроме того, двухчиповый ускоритель имеет большие требования к центральному процессору, что тоже будет находить отражение в результатах.

«Изюминкой» обновленного тестового стенда являются модули памяти, которые помогут максимально полно раскрыть разгонный потенциал исследуемых процессоров. Так для систем с разъемами AMD Socket AM2+ и Intel LGA775 будет использоваться набор DDR2-1200 Kingston HyperX KHX9600D2K2/2G, включающий пару очень быстрых модулей DDR2 объемом по 1 ГБ.

Для систем же с процессорными разъемами AMD Socket AM3 и Intel LGA1366 будет использоваться комплект соответственно из двух или трех модулей DDR3-2000 Kingston KHX16000D3T1K3/3GX. При разгоне эти модули могут работать на частоте до 2 ГГц, а при тестировании останутся в замедленном виде до DDR3-1333, причем в двухканальном и трехканальном режимах для соответствующих платформ, поскольку и такая частота и такие режимы являются для этих платформ не просто рекомендованными, а можно сказать родными.

Операционные системы и тестовые пакеты будут размещаться на жестких дисках Seagate Barracuda 7200.12 ST3500418AS объемом 500 ГБ. Думаем, такого объема окажется достаточно и для архива результатов и хранения образов самих оригинальных инсталляций тестовых систем.

Основную часть времени за стабильность питания будет отвечать надежный блок питания Seasonic SS-650JT мощностью 650 Вт, чего должно хватить с запасом. Поскольку такой источник питания у нас в тестовой лаборатории один, то, в случае необходимости параллельного проведения тестов, могут быть использованы источники Seasonic S12Energy+550 (SS-550HT) мощностью 550 Вт или Seasonic M12II-500 (SS-500GM) мощностью 500 Вт.

Программное обеспечение

С момента сборки первых «неизменных» конфигурация, их программная часть тоже претерпела изменения. Так, как было указано выше, вынужденно, но с пользой для улучшения достоверности, операционная система из просто Windows Vista превратилась в Windows Vista SP1. Но в остальном ничего не менялось уже два года, т.е. набор тестовых пакетов был всегда константой, даже несмотря на то, что в некоторых из них со временем были обнаружены различные изъяны и пристрастия к определенным маркам процессоров.

Переходя к обновленной методике, мы решили избавиться от некоторых уже совсем неактуальных и  спорных тестовых пакетов. Так, с недавнего времени мы больше не тестируем производительность в Futuremark 3DMark’05, полностью отказываемся от тестирования производительности в играх Battlefield 2, Serous Sam 2, Quake 4 и Prey с помощью пакета SmartFPS.com, а также больше не будем замерять время кодирования в MP3 с помощью кодека Lame.

В блок тестов для совместимости (при котором будет использоваться видеокарта EVGA GeForce 8600 GTS 256 Мб GDDR3 PCI-E), т.е. для сохранения возможности сравнения производительности всех когда-либо протестированных нами процессоров, будут входить следующие пакеты.

Futuremark PCMark’05 v.1.2.0

Тестовый пакет, который, в принципе, до сих пор достаточно актуален, т.к. эмулирует различные режимы для создания нагрузки на процессор и всю систему в целом от медиакодирования до шифрования, а также позволяет оценить эффективность работы подсистемы памяти и видеосистемы. Кроме того, он обеспечивает возможность загрузить и четырехъядерные процессоры,  проверяя возможность выполнения до четырех задач одновременно. Для оценки производительности процессоров будут использоваться еще подтесты памяти и видеосистемы.

CrystalMark 0.9.x.x

Компактный и простой тестовый пакет, который отлично работает с многоядерными процессорами и обеспечивает достаточно высокую повторяемость результатов. Тестовый пакет дал «осечку» только с процессорами Intel Core i7, не сумев корректно работать при включении Hyper-Threading, хотя предварительная поддержка этих CPU в последней версии имелась. При появлении новой стабильной версии пакета, он будет обновлен.

WinRAR 3.80

Архиватор отлично работает с многоядерными процессорами. Для оценки производительности используется встроенный тест, но ввиду некоторой нестабильности этого метода, тест повторяется несколько раз (до 5) и берется среднее значение.

VirtualDub 1.8.6 (кодирование MPEG to AVI)

Популярная утилита VirtualDub используется и будет  использоваться для замера времени перекодирования видеофайла из MPEG-формата в AVI. В качестве исходного материала уже давно используется видеоклип группы Rammstein на песню «Ohne Diсh» (Без тебя), найденный когда-то в сети Интернет.

Для кодирования будем продолжать использовать кодеки Windows Media 9.0 при настройках по умолчанию и  DivX v.6.5.1 в режиме Insane Quality. Кодеки не обновляются и настройки не меняются для возможности корректного сопоставления со старыми результатами (в обновленном наборе тестов для корректности мы добавили еще один режим видеокодирования, о чем далее).

Futuremark 3DMark’06 v.1.1.0

Единственный «игровой» тест, оставленный из базовой методики в основном благодаря достаточно удачному, на наш взгляд, процессорному тесту, который эмулирует расчет физики и работу искусственного интеллекта.

Новые тесты. Все последующие тесты добавлены или внесены в качестве замены старых, которые потеряли актуальность. При проведении этих тестов в системе видеокарта заменяется на ASUS EN9800GX2/G/2DI/1G, хотя не на все из них такая замена влияет.

x264 Benchmark HD 2.0 (v.0.59.819M)

Тестовый пакет представляет из себя скрипт, который производит перекодирование видео-семпла в разрешении 1280х720 с помощью кодека стандарта H.264, после чего позволяет сохранить результаты в виде частоты обработки кадров. Для повышения точности результата кодирование скрипт производит 4 раза.

CINEBENCH R10

Тестовый пакет построен на основе профессионального 3D-редактора и позволяет оценить производительность системы при редактировании сцены и финального рендеринга кадра в однопоточном режиме и при использовании многопоточных вычислений.

Fritz Chess Benchmark v.4.2

Очень компактный, но функциональный пакет, который можно отнести и к математическим, и к игровым, как эмулятор работы искусственного интеллекта – производится расчет шахматных комбинаций. Особенностью Fritz Chess Benchmark является то, что он отлично поддерживает физически и логически многоядерные процессоры.

Futuremark 3DMark Vantage v.1.0.1

Обновленная и более тяжелая версия популярного тестового пакета, которая включает и обновленные процессорные тесты, построенные на движке PhysX. Расчеты в процессорных тестах производятся только силами центрального процессора, ускорение PhysX с помощью видеокарты отключено в настройках драйвера.

Tom Clancy’s H.A.W.X. Demo

А это уже чисто игровой тест, который предъявляет солидные требования и к процессору и к видеокарте, причем производительности GeForce 9800 GX2 в режиме DirectX10 ему недостаточно, поэтому тесты будут запускаться  режиме DirectX9.

При этом разрешение будет использоваться 1280х1024 с включением двукратного полноэкранного сглаживания, а настройки качества и детализации оставлены по умолчанию в режиме High.

Для оценки производительности будем использовать результаты встроенного бенчмарка.

World  in Conflict v.1.0.0.9

Игра является достаточно требовательной стратегией реального времени и использует API DirectX 10. Для теста производительности процессора будем использовать стандартные настройки, т.е. разрешение 1024х768 при Максимальной детализации.

Получить результаты поможет встроенный бенчмарк, который для повышения точности мы запускаем 3 раза и вычисляем среднюю частоту смены кадров.

Far Cry 2 v.1.00

Оценить возможности процессоров в этом требовательном шутере поможет встроенная утилита Far Cry 2 Benchmark Tool.

Тестирование производится в двух режимах: DirectX 9 и DirectX 10 при различных настройках детализации, но в одном разрешении 1280х1024.

Race Driver: GRID Demo

Эта DirectX 10 игра тоже предъявляет высокие требования к производительности центрального процессора и для нормального функционирования ей нужен как минимум двухъядерный CPU.

Для снижения нагрузки на видеокарту мы будем использовать не самое высокое разрешение экрана 1280х1024, а все остальные настройки будут оставлены по умолчанию.

К сожалению, данная игра не имеет встроенного модуля расчета производительности, поэтому вспомогательной утилитой станет Fraps, с помощью которой мы зафиксируем трижды среднюю частоту смены кадров за первые 120 секунд игры, а потом рассчитаем среднее значение.

Отдельно отметим, что во время проведения всех игровых тестов вертикальная синхронизация на всякий случай отключается в настройках драйвера.

Процесс тестирования

Процесс тестирования процессора сводится в первую очередь к определению его производительности, но мы всегда уделяли и будем уделять внимание комплектации коробочных версий и маркировке, с помощью которой зачастую можно многое узнать о CPU, даже не устанавливая его в компьютер. Также не будем забывать напоминать о фирменных технологиях, которые поддерживают различные модели и версии моделей. Но, все же, основным пунктом будет оставаться поочередный запуск всех выше описанных тестовых приложений, после чего результаты будут заноситься в единую базу, внутри которой вы всегда можете сравнить любые из протестированных нами моделей.

Кроме определения номинального быстродействия, мы всегда проверяем разгонный потенциал попавшего на тестирование процессора. После разгона мы обязательно проверяем стабильность работы, обычно с помощью утилиты OCCT последней версии, и для оценки эффективности  разгона проводим серию тестов, после чего рассчитываем прирост производительности, и при получении интересного результата строим дополнительные графики, на которых показываем какого уровня быстродействия можно добиться с помощью разгона.

В выводах мы, обычно, стараемся определить наиболее близких конкурентов для данной модели по уровню быстродействия, порою накладывая ее на энергопотребление. Но мы не всегда производим анализ привлекательности по стоимости, особенно для массовых моделей, т.к. на процессоры цены достаточно динамично меняются и через месяц-другой наши выводы и рекомендации могут быть уже не актуальны. К тому же, вы всегда можете, определившись с суммой, которую не жало потратить на процессор, определить список кандидатов и с помощью нашего динамического механизма построения графиков сравнить именно те процессоры, из которых выбираете.

Надеемся, наша обновленная методика поможет вам сделать более правильный выбор процессора для своего компьютера.

Автор: Александр Черноиван

Выражаем благодарность:

• фирме ООО ПФ Сервис (г. Днепропетровск) за предоставленное оборудование (ASUS M3A32-MVP DELUXE/WIFI-AP, GIGABYTE GA-EX58-DS4, EVGA GeForce 8600 GTS 256 МБ GDDR3 PCI-E, Seagate Barracuda 7200.12 ST3500418AS);
• компании ASUS за предоставленные видеокарты EN9800GX2/G/2DI/1G;
• компании GIGABYTE за предоставленные материнские платы GA-EP45-UD3P и GA-MA790XT-UD4P;
• компании Kingston за предоставленные модули памяти DDR2-1200 KHX6400D2LLK2/2GN и DDR3-2000 KHX16000D3T1K3/3GX;
• компании Noctua за предоставленный кулер Noctua NH-U12P + LGA1366 Kit и вентиляторы NF-P12 и NF-B9;
• компании "Синтекс", дистрибутору Sea Sonic Electronics в Украине, за предоставленный блок питания Seasonic SS-650JT Active PFC F3, а также Seasonic S12Energy+550 и Seasonic M12II-500; 
• компании Scythe за предоставленный кулер Kabuto;
• компании VIZO Technology Corp. за предоставленные вентиляторы Freezer ZF12025 и WindStorm WS9238.