Com toda essa discussão sobre benchmarks do Firefox, GCC, ICC, etc. Hoje resolvi fazer uns testes de desempenho do Firefox no Arch Linux versus Firefox no Windows. No Arch, por não saber ao certo qual seria mais adequado, escolhi dois pacotes da AUR: firefox-optimized e firefox-pgo. Ambos foram compilados com -march=x86_64 -mtune=generic -O2 -fomit-frame-pointer -pipe (todas essas flags estavam por PADRÃO no arquivo makepkg.conf do Arch).
pacote: aur/firefox-optimized 3.0.6-r1 ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 2566.8ms +/- 5.1% -------------------------------------------- pacote: aur/firefox-pgo 3.0.6-r1 ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 2458.4ms +/- 1.5% --------------------------------------------
No Windows XP, na mesma máquina, o firefox foi ligeiramente mais lento. Neste caso utilizei o Firefox baixado direto do site do Mozilla e obtive o seguinte resultado:
pacote: build do Mozilla ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 2633.2ms +/- 1.1% --------------------------------------------
Curioso que sou, não poderia deixar de testar a versão 3.1 beta2 do Firefox. Então, baixei o beta 2 da versão 3.1 e rodei novamente os testes.
pacote: aur/firefox-pgo-beta 3.1b2-1 ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 2112.8ms +/- 1.2% --------------------------------------------
No windows, entretanto, temos uma incrível surpresa: o benchmark dá uma surra de sensacional na versão do Linux:
pacote: build do Mozilla ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 1117.0ms +/- 1.5% --------------------------------------------
Como eu tinha ficado intrigado com as CFLAGS que estavam por padrão no makepkg.conf devido a suas inconsistências, resolvi configurar eu mesmo, recompilar e ver o que acontecia. Para este teste escolhi -march=core2 -O2 -msse4 -pipe, que é um conjunto “seguro” de opções com o GCC 4.3.3. Após recompilar, rodei mais um teste e não houve qualquer variação significativa no resultado anterior (ficou pouco mais de 5ms mais lento).
A unica coisa que faltava era verificar se o TraceMonkey estava habilitado e testar com ele. Após uma rápida pesquisa descobri que o TM vem habilitado por padrão para Web e que apenas a JIT para interfaces XUL/Chrome vem desabilitada.
pacote: aur/firefox-pgo-beta 3.1b2-1 + TraceMonkey (XUL/Chrome) ============================================ RESULTS (means and 95% confidence intervals) -------------------------------------------- Total: 2109.0ms +/- 1.9% --------------------------------------------
Novamente temos uma variação insignificante no desempenho. Desta forma acredito que os principais culpado possam ser o compilador GCC e o próprio código do Firefox para Linux.
Por fim, coisas a considerar:
- Meu Windows é 32 bits e meu Arch Linux é 64bits
- O Arch Linux não é uma distribuição pra usuários leigos. Espera-se que o usuário saiba o que está fazendo (ex: não existe nada para evitar que o usuário coloque -funroll-loops -ffast-math -freetard etc).
- O objetivo do post foi ver a diferença de desempenho entre o Firefox + PGO no Linux contra o Firefox + PGO no Windows. Gostaria de ter feito no Mac OS X, mas infelizmente só tenho Mac no laptop.