Методика тестирования процессоров 2.0

Вот и подошел тот момент, когда мы решили провести кардинальное обновление методики тестирования процессоров. Предыдущая продержалась более трех лет, однако ничто в нашем мире не вечно. Несмотря на серьезность данного шага, нами были пересмотрены как программное обеспечение тестовых стендов, так и само «железо». В первую очередь это связано с тем, что в процессорной индустрии заметен ощутимый скачек в развитии. Это выражается в практически поголовном наличии встроенных графических ядер различного уровня производительности и рассчитанных на выполнение соответственно разных задач. Однако встроенная графика не является самым важным элементом. Более интересными нововведениями является поддержка новых наборов инструкций и существенные изменения в архитектуре, которые способны предоставить владельцу те или иные дополнительные преимущества (например, поддержка AES, расширенной многозадачности и т.д.).

Однозначно скажем, что фактически терять базу, которая имелась у нас в распоряжении и начинать все с нуля это достаточно тяжелый шаг, но в свете современного уровня развития как ПО так и аппаратной составляющей это нужный и неизбежный шаг.

Несмотря на кардинальное обновление методики и использование более новых и технологичных компонентов, основная цель тестирования остается неизменной – произвести сравнение производительности процессоров, постаравшись максимально раскрыть их потенциал. Другими словами, мы снова не будем пытаться показать производительность процессора и системы в целом в каком-то конкретном приложении или игре, а тем более подобрать настройки такие, чтобы получить наилучшую производительность в чем-то одном или увидеть все прелести какой-то игры. Ведь, согласитесь, это уже будет не тестирование, а подстройка системы с тестируемым процессором под какие-то определенные цели. А мы не собираемся подстраиваться, мы хотим в итоге статьи сказать, на сколько, в среднем, протестированный процессор быстрее или медленнее наиболее близких оппонентов, а также других процессоров на рынке.

Давайте же мы познакомим вас с самими изменениями.

Аппаратное обеспечение

Материнские платы

Как вы помните, в нашем распоряжении для тестирования процессоров имеется большое количество материнских плат под различные процессорные разъемы, однако если обратить на них свое внимание, то станут заметны явные «динозавры», которые в принципе уже не востребованы достаточно длительный период времени. К таковым можно отнести: ASUS M3A32-MVP DELUXE для процессорного разъема Socket AM2+, GIGABYTE GA-MA790XT-UD4P – Socket AM3. Последнюю «материнку» можно отправить на заслуженный отдых в связи с тем, что современные системные платы с Socket AM3+ вполне совместимы с ЦП предыдущего поколения.

Однако им на смену приходят ASUS SABERTOOTH 990FX, ASUS F1A75-V PRO и GIGABYTE GA-F2A75-D3H.

Первая плата заслуженно будет использоваться для тестового стенда. Это связано с тем, что она построена на наиболее функциональном наборе логики девятой серии - AMD 990FX, предназначенном для работы с процессорами AMD FX, который, в то же время, поддерживает и процессоры прошлого поколения, ориентированные на Socket АМ3. ASUS SABERTOOTH 990FX принадлежит к так называемой TUF-серии, отличительной чертой которой является высокое качество исполнения и повышенный уровень надежности, что немаловажно при использовании для открытого стенда. Однако более интересной «изюминкой» для наших задач является наличие достаточно высокого разгонного потенциала, который крайне важен для составления максимально полной картины о разгонном потенциале CPU.

Что же касается второй, то с ней все не так радужно, ведь Socket FM1 фактически умер не успев получить широкого распространения. В нашем же тестлабе она будет использоваться исключительно для пополнения базы результатов моделями APU прошлого поколения. Однако сразу предупредим, что это будет делаться по мере возможности, при чем это касается как времени, так и наличия самих тестовых образцов.

Материнская плата GIGABYTE GA-F2A75-D3H представляет собой сбалансированное решение формата ATX для использования совместно с новыми гибридными процессорами от AMD. Среди основных преимуществ данного решения стоит упомянуть высокую надежность компонентов (Ultra Durable 4 Classic), что немаловажно для условий использования в открытом стенде, да еще и при необходимости выполнения разгона APU.

Cреди всего разнообразия материнских плат использующих различные наборы системной логики и процессорные разъемы, разработанные компанией Intel, «уходят» для выполнения других задач такие материнские платы как GIGABYTE GA-EP45-UD3P (Intel P45, LGA 775, DDR2, ATX), GIGABYTE GA-EX58-DS4 (Intel X58, LGA 1366, DDR3, ATX), ASUS Maximus III Formula (Intel P55, LGA 1156, DDR3, ATX) и MSI H57M-ED65 (Intel H57, LGA 1156, DDR3, mATX). Вы можете спросить «С чем это связано?», однако ответ тот же – потеря актуальности этих платформ. Ведь на данный момент компанией Intel выпускаются процессоры исключительно для Socket LGA 1155 и LGA 2011, при чем маловероятно, что в ближайший год что-либо кардинально изменится, в том числе и с высокопроизводительными будущими Ivy Bridge-E.

Поэтому на постоянной основе в стендах «прописываются», по крайней мере на ближайшие 1-2 года, ASUS P8Z77-V PRO/THUNDERBOLTи ASUS P9X79 PRO.

Материнская плата ASUS P8Z77-V PRO/THUNDERBOLT представляет собой высокотехнологичное решение, выполненное в формате ATX, которое отличается очень грамотной компоновкой, хорошим качеством изготовления, отличной системой охлаждения. Что же касается надежности, то она подтверждена большим количеством тестов различных ЦП на базе архитектур Sandy-Bridge и Ivy Bridge. Мы же будем надеяться, что она еще послужит нам верой и правдой в дальнейших тестах.

Плата ASUS P9X79 PRO, предназначенная для hi-end решений компании Intel, скорее всего, задержится несколько дольше своего предшественника рассчитанного на процессоры с Socket LGA 1366. Ведь в Сети упорно бродят слухи о сохранении разъема для «экстрим» решений на базе архитектуры Ivy Bridge-E, а также присутствии возможности устанавливать их на платы с системной логикой Intel Х79 Express.

С материнскими платами, которые «осели» на постоянной основе в нашей лаборатории, по крайней мере на ближайший год, мы закончили и теперь перейдем к рассмотрению других компонентов.

Система охлаждения

В связи с тем, что некоторые материнские платы с устаревшими процессорными разъемами потеряли свою актуальность, то они неизбежно внесли коррективы и в перечень систем охлаждения, которые используются в нашей тестовой лаборатории.

В активе остается кулер ZALMAN CNPS12X (LGA 2011), который будет использоваться при тестировании топовой платформы компании Intel на базе разъема LGA 2011.

Что же касается остальных случаев, то мы будем использовать Scythe Mugen 3, к которому в комплекте прилагается набор креплений для различных процессорных разъемов, как компании AMD, так и Intel.

Однако обращаем ваше внимание на то, что в процессе тестирования ЦП мы по прежнему будем делать небольшой акцент на комплектных системах охлаждения, где будем отмечать как шумовой фон кулера (в данном случае мы будем передавать личные ощущения в результате его использования), так и особенности конструкции, если таковые будут в наличии.

Оперативная память

Для обновленного стенда мы решили использовать память DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP. Данные модули памяти совместимы с используемыми материнскими платами, а диапазон поддерживаемых частот вполне покрывает наши потребности. В связи с тем, что у наc в распоряжении находятся целых 4 модуля по 4 гигабайта, то мы запросто можем использовать их при параллельном тестировании сразу на двух платформах. Так же стоит отметить, что их хороший разгонный потенциал однозначно сыграет нам на руку при определении прироста производительности в результате разгона.

Видеокарта

В связи с тем, что и стенд и сама методика тестирования проходят модернизацию, то и имеющиеся видеокарты (EVGA e-GeForce 8600 GTS 256 МБ GDDR3 PCI-E и ASUS EN9800GX2/G/2DI/1G) мы решили определить для выполнения других целей. Взамен им будем использовать современную и функциональную AMD Radeon HD 7970 3 ГБ GDDR5, которая способна обеспечить достойный уровень производительности в современных играх, так что мы вполне уверены, что видеокарта не будет «узким» местом при выполнении наших тестов ЦП.

Жесткий диск

Операционные системы и тестовые пакеты будут размещаться на более соврменных жестких дисках Western Digital Caviar Blue объемом 1 ТБ (WD10EALX). Думаем, такого объема окажется достаточно и для архива результатов, а также хранения образов самих оригинальных инсталляций тестовых систем.

Блок питания

За стабильность питания будет отвечать надежный блок питания Seasonic X-660 мощностью 660 Вт, чего должно хватить с запасом. У него высокий уровень КПД, поэтому мы уверены, что для наших задач его будет достаточно, а также мы сможем увидеть более менее реальные показатели энергопотребления систем с различными процессорами. Поскольку такой источник питания у нас в тестовой лаборатории один, то по традиции мы решили оставить Seasonic S12Energy+550 (SS-550HT) мощностью 550 Вт на случай необходимости проведения параллельных тестов. Однако сразу скажем, что замер энергопотребления системы будет проводиться исключительно на основном Seasonic X-660.

Новые стенды

Таким образом, обновленная тестовая платформа для процессоров будет иметь следующую сводную таблицу, которую мы детальнее и опишем ниже.

Материнские платы (AMD)	GIGABYTE GA-F2A75-D3H (AMD A75, sFM2, DDR3, ATX) ASUS F1A75-V PRO (AMD A75, sFM1, DDR3, ATX) ASUS SABERTOOTH 990FX (AMD 990FX, sAM3+, DDR3, ATX)
Материнские платы (Intel)	ASUS P8Z77-V PRO/THUNDERBOLT  (Intel Z77, sLGA1155, DDR3, ATX) ASUS P9X79 PRO (Intel X79, sLGA2011, DDR3, ATX)
Кулеры	Scythe Mugen 3 (LGA 1155/1366, AMD Socket AM3+/FM1/ FM2) ZALMAN CNPS12X (LGA 2011)
Оперативная память	2х 4ГБ DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP
Видеокарты	AMD Radeon HD 7970 3 ГБ GDDR5
Жесткий диск	Western Digital Caviar Blue WD10EALX, 1 ТБ, SATA 6 Гбит/с, NCQ
Блок питания	Seasonic X-660, 660 Вт, Active PFC, 80 PLUS Gold, 120 мм вентилятор

Программное обеспечение

Помимо аппаратной составляющей наших стендов изменения коснулись и программного обеспечения. В качестве операционной системы будет использоваться ОС Windows 7 Proffesional 64-bit. Также данная версия ОС содержит в себе Service Pack 1 и все последние обновления, что в конечном итоге дает нам условия тестирования максимально приближенные к реальным. При этом благодаря использованию 64-битной версии мы сможем в полной мере использовать  модули памяти.

Хотелось бы дать некоторые разъяснения по поводу выбранной версии ОС Windows. Это связано в первую очередь с тем, что на данный момент она является наиболее распространенной и стабильно работающей системой со всеми пакетами программ, которые мы используем. Что же касается свеженькой ОС Windows 8, то мы не рискнули взять ее в качестве «базы» для стенда, т.к. вполне вероятно, что в недалеком будущем будет как минимум один пакет обновлений. Именно он вполне может оказать существенное влияние на уровень производительности, а набирать данные, которые в скором времени могут стать условно «некорректными» не очень хочется.

Futuremark PCMark 7 v.1.0.4

Futuremark PCMark 7 является одним из наиболее популярных и полюбившихся многим энтузиастам пакетов для определения общей производительности системы. Обновленная его версия включает семь сценариев, эмулирующих нагрузку на ПК, характерную для различных моделей применения системы: работа с офисными приложениями, развлечения, создание контента, вычислительные задачи. В связи с тем, что мы будем оценивать производительность именно ЦП, то будут выполняться всего два сценария – PCMark Suite и Computation Suite, которые дадут в конечном счете оценку системы в целом с использованием тестируемого ЦП, а также ее вычислительные возможности.

Futuremark 3DMark 11

Futuremark 3DMark 11 еще один синтетический тест, к которому мы прибегаем в процессе исследования возможностей ЦП. Несмотря на то, что традиционно его используют в основном для тестирования графических ускорителей, мы будем его использовать лишь для определения очков физического теста, который в полной мере ложится на плечи CPU. Для получения сопоставимых показателей в дальнейшем мы будем запускать данный пакет с набором настроек Performance. В довесок мы будем отражать на графике и общее количество набранных баллов.

Futuremark 3DMark Vantage v.1.1.0

Этот пакет, как в прочем и предыдущий, также традиционно используется для тестирования графической подсистемы ПК, однако в его активе имеется 2 бенчмарка, построенные на движке PhysX, которые дают оценку ЦП. Обращаем ваше внимание на то, что расчеты в процессорных тестах производятся только силами центрального процессора.

x264 Benchmark HD 5.0.1

Обновленный тестовый пакет. Тест имеет большое практическое значение, так как является вполне реальной задачей – перекодирование видеоролика. Применяемый кодек x264 используется во множестве существующих утилит для перекодирования. Данный бенчмарк эффективно использует ресурсы многоядерных процессоров и имеет хорошую повторяемость результатов. В его состав включены тестовый файл MPEG2 1080p, 32-х и 64-разрядный кодировщики x264, утилита CPU-Z, требующиеся для работы библиотеки AviSynth. В процессе тестирования будет проведено 4 двухпроходных теста, после чего сохраняются результаты в виде частоты обработки кадров. Сам же бенчмарк по умолчанию запускается с высоким приоритетом. Обращаем ваше внимание, что мы будем использовать 64-разрядный кодировщик с целью более полной оценки возможностей процессора.

CINEBENCH R11.5

Тестовый пакет построен на основе профессионального 3D-редактора и позволяет оценить производительность системы при редактировании сцены и финального рендеринга кадра в однопоточном режиме и при использовании многопоточных вычислений.

Тест на производительность CPU, представляющий собой рендеринг фотореалистичной трехмерной сцены, включает теперь такие функции, как процедурные шейдеры, Ambient Occlusion, пространственные источники света и многоуровневые отражения.

Fritz Chess Benchmark v.4.2

Очень компактный, но функциональный пакет, который можно отнести и к математическим, и к игровым, как эмулятор работы искусственного интеллекта, который остался неизменным за прошедшие годы. Напомним, что в нем производится расчет шахматных комбинаций. Особенностью Fritz Chess Benchmark является то, что он отлично поддерживает физически и логически многоядерные процессоры.

WinRAR 4.20

Обновленная версия архиватора, который отлично работает с многоядерными процессорами. Для оценки производительности используется встроенный тест, но ввиду некоторой нестабильности этого метода, тест повторяется несколько раз (до 5) и берется среднее значение.

TrueCrypt 7.1а

В связи с тем, что многие современные процессоры имеют в своем активе поддержку инструкций шифрования AES мы решили добавить программу TrueCrypt, которая имеет в наличии встроенный бенчмарк. Он производит определение скорости шифрования данных с помощью различных алгоритмов, а также их комбинаций. Для оценки уровня производительности ЦП мы будем использовать наиболее тяжелое сочетание алгоритмов Serpent-Twofish- AES.

Sisoft Sandra Personal 2012

Еще один тестовый пакет, который мы решили добавить к перечню тестов. Связано это в первую очередь с тем, что в его активе имеется широкий спектр тестов, направленных на оценку производительности различных элементов ПК. В данном случае нас будут интересовать арифметический и мультимедийный тесты.

Игровые тесты

При выборе игровых тестов мы исходили из ряда критериев: наличие среди выбранных игр тех, которые реализованы с использованием современного набора инструкций DirectX 11, а также наличие в них реальной процессорной зависимости, встроенного бенчмарка ну и, конечно же, «разноплановость» с точки зрения жанра. Обращаем ваше внимание на то, что все игровые тесты будут запускаться с разрешением 1920×1080, которое на данный момент является наиболее распространенным.

Для определения более точного значения FPS каждый игровой тест будет запускаться трижды, после чего результат в базу данных заносится в виде среднего значения.

Batman: Arkham City

Достаточно «свежая» игра, относящаяся к жанру Action-adventure, которая предъявляет солидные требования и к процессору и к видеокарте. В связи с тем, что ресурсов нашей видеокарты более-менее достаточно, то и запускаться игра будет с поддержкой инструкций DirectX 11, хоть и не с максимальными настройками.

F1 2012

Гоночный симулятор, который предъявляет не самые маленькие требования к системе, на которой он запускается, хотя в нем и присутствует достаточно большое количество настроек, направленных на оптимизацию игры под системы различной производительности.

В связи с неплохим оснащением нашего стенда мы вполне можем себе позволить тестировать ЦП при указанных настройках.

R.U.S.E.

Несмотря на относительную «старость» данной игры, мы решили включить ее в перечень используемых. Она крайне чувствительна к производительности ЦП, а особенно к количеству физических ядер. Настройки в данной игре мы не можем менять, поэтому это единственный встроенный бенчмарк, который запускается «как есть».

Результаты выполнения автоматически записываются в отдельный файл, после чего вычисляется среднее значение FPS.

Resident Evil 5

Неинтерактивный бенчмарк, который показывает возможности ПК при игре в Resident Evil 5 с различными настройками. Мы будем использовать версию с рендерингом DirectX 10. Для наших условий оптимальным вариантом является фиксированный тест, в котором проигрывается одна сцена, но с максимумом включенных опций.

Данный тест запускается при следующих настройках:

Встроенная графика

Ни для кого не является секретом, что львиная доля современных процессоров оснащена достаточно производительным графическим ядром. Поэтому в процессе тестирования таких CPU мы будем показывать и возможности встроенной графики. Для этих целей будут использоваться традиционные тестовые пакеты Futuremark 3DMark 11 и Futuremark 3DMark Vantage v.1.1.0, однако в данном случае запускаться они будут с включением тестов GPU.

Для более полного отражения возможностей каждой реализации встроенного видеоядра было принято решение включить в этот перечень ряд дополнительных тестов, а именно – Арифметический и Криптографический тесты GPGPU, реализованные в пакете Sisoft Sandra. Они позволят оценить производительность современных графических ускорителей, поддерживающих OpenCL, а таковыми являются практически все без исключения модели выпущенные в течение последних двух лет. Данные тесты предлагают использовать возможности графического ядра для решения арифметических задач, а также шифрования/дешифрования информации, которые характерны для ЦП. В результате мы получим оценку производительности встроенного видеоядра.

Ну и, конечно же, нельзя представить себе тест производительности графики без использования игровых бенчмарков. Для этих целей мы решили остановить свой выбор на трех пакетах: Warhammer 40,000: Dawn of War II — Retribution, DiRT: Showdown и знакомый вам уже Resident Evil 5. Все игровые тесты выполняются при разрешении 1920×1080, что делается с целью определения именно уровня производительности, а не оптимальных настроек для обеспечения наиболее комфортного игрового процесса. Мы напоминаем вам, что если тот или иной встроенный графический адаптер показывает низкий показатель FPS, то вы вполне можете добиться повышения качества игрового процесса за счет дополнительных манипуляций с настройками игры и установки более низкого разрешения экрана.Настройки при запуске игровых приложений будут установлены следующие.

Warhammer 40,000: Dawn of War II — Retribution

Достаточно популярная стратегия реального времени, которая отличается относительно невысокими требованиями и использует API DirectX 10. Запускаться игра будет при «Средних» настройках графики.

DiRT: Showdown

Единственная игра из предложенного перечня, которая использует API DirectX 11. Поэтому не стоит удивляться, если для «устаревших» графических ядер, например, Intel HD Graphics 2000/3000, вы не увидите результатов тестов. Это будет говорить только о том, что данное видеоядро не поддерживает инструкции DirectX 11, однако эта «печальная» картина будет относиться исключительно к устаревшим моделям, которыми мы будем по возможности дополнять базу. Что же касается всех современных и последующих вариантов ЦП, то маловероятно отсутствие в их активе подобных инструкций.

Resident Evil 5

В данном случае мы в значительной степени облегчаем задачу для подобных решений, поэтому тест выполняется всего при четырехкратном сглаживании, при этом все дополнительные графические элементы отключаются.

Процесс тестирования

Процесс тестирования процессора сводится в первую очередь к определению его производительности, но мы будем продолжать освещать традиционную информацию, которая касается его комплектации. Естественно, при возможности, мы будем давать краткую характеристику комплектной системы охлаждения и ее эффективности. Также не будем забывать напоминать о фирменных технологиях, которые поддерживают различные модели. Но, все же, основным пунктом будет оставаться поочередный запуск всех выше описанных тестовых приложений, после чего результаты будут заноситься в единую базу, внутри которой вы всегда можете сравнить любые из протестированных нами процессоров.

Кроме определения номинального быстродействия, мы всегда проверяем разгонный потенциал попавшего на тестирование процессора. Конечно же, любой разгон должен сопровождаться проверкой на стабильность работы системы. Она будет выполняться с помощью 20 циклов работы утилиты LinX. Для оценки эффективности разгона проводится серия тестов, после чего рассчитываем прирост производительности. При получении интересного результата мы будем приводить дополнительную информацию, которая касается тестируемых ЦП.

Конечно же, мы не забываем при тестировании процессора определять энергопотребление системы, в которой он установлен. Данный параметр будет замеряться в двух режимах: простой и максимальная производительность. Нагрузка на систему в данном случае будет обеспечиваться двумя тестами - LinX и стресс тестом реализованном в AIDA 64. Обращаем ваше внимание на то, что теперь энергопотребление будет замеряться и для системы без дискретной видеокарты, в случае наличие в ЦП встроенной графики. Данный параметр позволит составить более полную картину о возможностях и эффективности каждой модели.

При подведении итогов знакомства с возможностями того или иного варианта CPU, мы будем очерчивать круг наиболее близких конкурентов, как по производительности, так и по стоимости, хотя возможно стоимость будет учитываться не всегда, ведь вы все понимаете, что цены могут изменяться, причем достаточно стремительно, как в одну, так и в другую сторону. Напоминаем, что с помощью нашего динамического механизма построения графиков вы сможете сравнить именно те процессоры, из которых выбираете, хотя первое время возможны некоторые неудобства, т.к. наша база будет находиться в процессе наполнения.

Надеемся, наша обновленная методика поможет вам сделать более правильный выбор процессора для своего компьютера.

Автор: Дмитрий Гаранжа

Выражаем благодарность:

• PR-агентству SPN Ogilvy компании AMD в Украине за предоставленную видеокарту AMD Radeon HD 7970 3 ГБ GDDR5;
• украинскому представительству компании ASUS за предоставленные материнские платы ASUS P8Z77-V PRO/THUNDERBOLT, ASUS P9X79 PRO, ASUS SABERTOOTH 990FX и ASUS F1A75-V PRO;
• украинскому представительству компании GIGABYTE за предоставленную материнскую плату GIGABYTE GA-F2A75-D3H;
• компании Scythe за предоставленный кулер Scythe Mugen 3;
• компании «Синтекс», дистрибутору Sea Sonic Electronics в Украине, за предоставленный блок питания Seasonic X-660, а также Seasonic S12Energy+550;
• компании Single Computing, дистрибьютору продукции TwinMOS Technologies, за предоставленные 2 комплекта оперативной памяти 2х 4ГБ DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP;
• представительству компании Western Digital за предоставленные жесткие диски WD Caviar Blue WD10EALX.