Benchmark for pixilang

Pixilang по русски
Post Reply
Zuf
Posts: 110
Joined: Fri Dec 21, 2007 7:30 pm
Location: Msc
Contact:

Benchmark for pixilang

Post by Zuf » Thu Dec 11, 2008 10:02 pm

Предлагаю вашему вниманию небольшой пакет тестов производительности пикси.

Было бы итересно сравнить производительность на разных устройствах и в разных условиях.

Image

Скачать: http://pixi.su/benchmark/files/marks_beta11.zip (обновлено до beta1.1)

readme:

Code: Select all

Pixilang benchmark 2008 beta1
-----------------------------

BETA
----
Это бета версия, в дальнейшем возможны существенные изменения

Использование
-------------
Пожалуйста задайте в настройках config.ini размеры окна 240х320, т.е.:

width       240
height      320

В этом случае минимизируется лишняя нагрузка на оконный менеджер, т.к. размеры окна pixilang
совпадают с размерами области вывода.

При необходимости можно задать другие размеры окна в файле marks/common.pixi
Соответственно параметры:

screen_width=240
screen_height=320

Однако если изменить эти параметры, то нельзя будет сопоставить очки программы с результатами
измерений для другого разрешения.


Цели бенчмарка:
---------------
1. Понять скорость рыботы разных версий и разных сборок Pixilang
2. Стравнить скорость работы Pixilang на разных устройствах (в том числе мобильных)
3. Понять зависимость скорости от различных библиотек (SDL, OpenGL, WinAPI и т.п.)
4. Найти "узкие" места в Pixilang


Первая версия включает в себя несколько тестов:
 - тест процессора (CPU)
   В цикле выполняется ряд математических операций (в том числе тригонометрия, хотя она и не настоящая в текущей версии пикси)
 - тест памяти
   В цикле производится инициализация, копирование и случайный доступ к массиву чисел
 - тест графических примитивов
   На экран выводятся точки, линии, прямоугольники и треугольники
 - тест графических примитивов с включенной прозрачностью
 - тест пикси контейнеров (требует дальнейшего развития)
   Выводятся пикси контейнеры с различными параметрами
 - тест встроенных 3д функций
   Выводятся текстурированные треугольники, применяются операции трансформации
 - тест встроенных 3д функций с включенной прозрачностью


Очки
----
В текущей версии на Core 2 Duo 8300, OpenSuse 11.0
Pixilang 2.0 beta:
  Время выполнения 92445 мс
  Очки: 4462
Pixilang 1.6:
  Время выполнения 85217 мс
  Очки: 2792

Сообщайте ваши результаты.

Что еще хотелось бы сделать?
----------------------------
 - Комплексный "demo" тест с звуковым сопровождением.
 - добавить тест анимированных пикси контейнеров
 - доработать тест пикси контейнеров (сейчас задействованы не все функции)
 - можно добавить "тест циклов", т.е. тест оптимизации компиляции (это на будущее)
 - лучше настроить правила назначения очков за тесты (marks)
 - генерировать текстовый отчет с результатами тестов
 - создать страницу в интернет, где собирать результаты тестов (с формой загрузки отчетов)

Идеи, пожелания и дополнения приветствуются.

Адрес для связи: zuf at democoder.ru
Дополнительную ифнформацию о pixilang можно получить на форуме: http://warmplace.ru/forum/

Last edited by Zuf on Fri Dec 12, 2008 4:30 pm, edited 2 times in total.

User avatar
NightRadio
Site Admin
Posts: 3150
Joined: Fri Jan 23, 2004 12:28 am
Location: Ekaterinburg. Russia
Contact:

Re: Benchmark for pixilang

Post by NightRadio » Fri Dec 12, 2008 7:42 am

Вау. Круто. Попробую

J3d1
Posts: 175
Joined: Wed Oct 15, 2008 4:49 am
Location: г. Абакан, Хакасия
Contact:

Re: Benchmark for pixilang

Post by J3d1 » Fri Dec 12, 2008 9:08 am

Communicator HTC3550 (Fun) OS: Windows Mobile 5

Code: Select all

CPU frequency: 216 mHz
Results:
CPU time: 447134 ms
CPU marks: 55
Memory time: 327278 ms
Memory marks: 25
Graphics time: 121004 ms
Graphics marks: 135
Transp. gfx time: 372654 ms
Transp. gfx marks: 43
Pixi time: 299307 ms
Pixi marks: 109
Inner 3D time: 928568 ms
Inner 3D marks: 22
Transp. In. 3D time: 1926310 ms
Transp. In. 3D marks: 10
Total: Work time 4422255 ms, marks 57
p.s.: фпс: графика 4-3, 3D 1-2 => тест несколько тяжеловат для подобных устройств (и сильно долго :) )
а вообще дело полезное- можно будет сравнить производительность со следующими версиями Pixilang.
pps.: перед тестированием на КПК рекомендую зарядиться (у меня разряд аккум около 15% от полного), интерфейс меню очень красивый-респект

User avatar
Al_Rado
Posts: 239
Joined: Tue Dec 04, 2007 2:33 pm
Location: Krasnodar
Contact:

Re: Benchmark for pixilang

Post by Al_Rado » Fri Dec 12, 2008 11:06 am

В readme-ru.txt надо исправить:

Code: Select all

...
Пожалуйста задайте в настройках config.ini размеры окна 240х320, т.е.:

width       320
height      240
...

на

Code: Select all

...
Пожалуйста задайте в настройках config.ini размеры окна 240х320, т.е.:

width      240 
height     320
...
ВекторКодПиксельПолигон - ВотЧтоЯЛюблю!

User avatar
Al_Rado
Posts: 239
Joined: Tue Dec 04, 2007 2:33 pm
Location: Krasnodar
Contact:

Re: Benchmark for pixilang

Post by Al_Rado » Fri Dec 12, 2008 11:32 am

Отличное начинание! Респект Zuf! :)

Потестил.

Code: Select all

Computer: AMD Phenom 9550 Quad-Core, 3 Gb RAM, Windows XP Home Edition sp2

Results
CPU time: 20406 ms
CPU marks: 1225
Memory time: 12782 ms
Memory marks: 640
Graphics time: 4437 ms
Graphics marks: 3692
Transp. gfx time: 25891 ms
Transp. gfx marks: 632
Pixi time: 10125 ms
Pixi marks: 3236
Inner 3D time: 23562 ms
Inner 3D marks: 869
Transp.In.3D time: 53640 ms
Transp.In.3D marks: 381 

Total: 
-------------------------------
Work time: 150843 ms 
Marks: 1525
Кстати, пока не написана функция записи в текстовик, можно копировать из этого ^^^ поста текст и менять значения на свои.
ВекторКодПиксельПолигон - ВотЧтоЯЛюблю!

Zuf
Posts: 110
Joined: Fri Dec 21, 2007 7:30 pm
Location: Msc
Contact:

Re: Benchmark for pixilang

Post by Zuf » Fri Dec 12, 2008 1:05 pm

J3d1 wrote: Total: Work time 4422255 ms, marks 57
p.s.: фпс: графика 4-3, 3D 1-2 => тест несколько тяжеловат для подобных устройств (и сильно долго :) )
а вообще дело полезное- можно будет сравнить производительность со следующими версиями Pixilang.
pps.: перед тестированием на КПК рекомендую зарядиться (у меня разряд аккум около 15% от полного), интерфейс меню очень красивый-респект
Да спасибо, именно на мобильных девайсах было интересно проверить.
Но... 4422255 мс это же почти полтора часа... Действительно надо както облегчить тесты =)
Al_Rado wrote:В readme-ru.txt надо исправить:

Code: Select all

...
Пожалуйста задайте в настройках config.ini размеры окна 240х320, т.е.:

width       320
height      240
...

на

Code: Select all

...
Пожалуйста задайте в настройках config.ini размеры окна 240х320, т.е.:

width      240 
height     320
...
Да, спасибо. Совершенно верно. Ридми вччера уже в попыхах писал...

Кстати сразу отмечу, что 2я версия в тесте процессора быстрее в 6-7 раз, чем версия 1.6.
И в 1.5-2 раза быстрее в целом.

Еще я пробовал собирать 1.6 из исходников с разными опциями, но в итоге стандартная сборка оказалась быстрее всех :)
Напишу вечером подробнее.

Zuf
Posts: 110
Joined: Fri Dec 21, 2007 7:30 pm
Location: Msc
Contact:

Re: Benchmark for pixilang

Post by Zuf » Fri Dec 12, 2008 4:29 pm

Обновил версию.
http://pixi.su/benchmark/files/marks_beta11.zip

Добавлена возможность сохраться отчет в файл, теперь доступно три режима - быстрый, нормальный и медленный.
Переработал систему вычисления очков, теперь считается немного по другому.
(Т.е. бессмысленно сравниватьс результатами beta1).

Режимы отличаются только количеством проходов цикла с вызываемыми функциями.
Например для полного режима графических тестов используется 5000 циклов, для нормального - 500, а для быстрого 50.

User avatar
Al_Rado
Posts: 239
Joined: Tue Dec 04, 2007 2:33 pm
Location: Krasnodar
Contact:

Re: Benchmark for pixilang

Post by Al_Rado » Mon Dec 15, 2008 10:51 am

Новый тест

Code: Select all

Computer: AMD Phenom 9550 Quad-Core, 3 Gb RAM, Windows XP Home Edition sp2
Pixilang Benchmark 2008
beta1.1

Results

CPU time: 40047 ms
CPU marks: 1248
Memory time: 24766 ms
Memory marks: 2646
Graphics time: 7906 ms
Graphics marks: 64760
Transp. gfx time: 48328 ms
Transp. gfx marks: 10594
Pixi time: 9781 ms
Pixi marks: 3271
Inner 3D time: 22813 ms
Inner 3D marks: 1402
Transp.In.3D time: 54016 ms
Transp.In.3D marks: 592

TOTAL
Work time: 207657 ms
Marks: 12073
Низкий результат думаю от того, что грузится только одно из четырех ядер
ВекторКодПиксельПолигон - ВотЧтоЯЛюблю!

J3d1
Posts: 175
Joined: Wed Oct 15, 2008 4:49 am
Location: г. Абакан, Хакасия
Contact:

Re: Benchmark for pixilang

Post by J3d1 » Mon Dec 15, 2008 1:39 pm

HTC 3550 (Fun), OS WM5, standart CPU freq.=186 Mhz

Code: Select all

Pixilang Benchmark 2008
beta1.1
Results
CPU time: 108473 ms
CPU marks: 46
Memory time: 75127 ms
Memory marks: 87
Graphics time: 29249 ms
Graphics marks: 1750
Transp. gfx time: 85214 ms
Transp. gfx marks: 600
Pixi time: 35591 ms
Pixi marks: 89
Inner 3D time: 114355 ms
Inner 3D marks: 27
Transp.In.3D time: 240293 ms
Transp.In.3D marks: 13
TOTAL
Work time: 688302 ms
Marks: 373

Тест стал полегче (тестировал на fast) но количество fps-ов осталось тем-же (наверное это правильно-тест ведь универсальный для всех устройств)

J3d1
Posts: 175
Joined: Wed Oct 15, 2008 4:49 am
Location: г. Абакан, Хакасия
Contact:

Re: Benchmark for pixilang

Post by J3d1 » Mon Dec 15, 2008 1:51 pm

HTC 3550 (Fun), OS WM5, Overclocked CPU freq.=264 Mhz

Code: Select all

Pixilang Benchmark 2008
beta1.1
Results
CPU time: 74076 ms
CPU marks: 67
Memory time: 51565 ms
Memory marks: 127
Graphics time: 19651 ms
Graphics marks: 2605
Transp. gfx time: 57401 ms
Transp. gfx marks: 891
Pixi time: 23927 ms
Pixi marks: 133
Inner 3D time: 76463 ms
Inner 3D marks: 41
Transp.In.3D time: 160516 ms
Transp.In.3D marks: 19
TOTAL Work time: 463599 ms Marks: 554
Разогнанный лучше- и время меньше и марков больше :)

Post Reply