SPMark 2004

Günümüz cep telefonları, 10 yıl önce bir bilgisayarın sahip olduğu işlem gücüne yakın, hatta daha fazlasına sahipler. Ve görünen o ki, gün geçtikçe çok daha güçlü ve hızlı cep telefonlarımız da olacak. Bugün kullanılan cep telefonları sayesinde her geçen gün yeni ve daha gelişmiş uygulamalarında kullanımı mümkün hale geliyor. Yakın zamana kadar geleneksel olarak telefonlarda kullanılan yazılımlar ajanda uygulamaları, zil tonları gibi telefonun kullanımına ilişkin uygulamalarla sınırlıyken, günümüzde gelişen donanım ve yazılım teknolojisi sayesinde cep telefonları  için geliştirilen yazılımlarda gün geçtikçe artıyor ve telefonlar için yazılan uygulamalar artık PC ortamındaki akrabalarına daha çok benzemeye başlıyorlar.

Günümüz Smart Phone’ları ortalama 100-150 MHz işlemci, 4-8 MB bellek ve 4-64 MB gibi depolama alanlarına sahip. Ekran genişliği ve çözünürlük ise doğal olarak PC’lerden çok daha düşük; Series60 cihazlarda ekran 176*208 pixel, UIQ aygıtlarda ise 208*320 piksel. ATI ve NVIDIA gibi popüler 3D grafik işlemcisi üreticileri PC’lerin 10 yıl önce kullanmaya başladıkları 3D hızlandırıcıları cep telefonları için daha şimdiden sunmaya başladılar. Hatta birkaç PDA üreticisi bu mobil 3D hızlandırıcıları kullanmaya başladılar bile. Bir başka gelişme de yine PC’de 10 yıl öncesinde olduğu gibi ses/müzik ve resimlerde yaşandı. Telefonlar PC’lerin gelişimindeki benzeri bir süreç içerisinde multimedia özellikleri kazandılar. PC’lerin gelişiminden farklı olarak Smart Phone’ların hepsine birde dijital kamera dahil oldu. Smart Phone’lar kendi içlerinde PC’lerde olduğu gibi performansa göre değil, özelliklerine göre ayrılıyor.  Bu da PC dünyasından oldukça farklı bir durum. Bunun asıl sebebi ise, kullanılan bileşenler göz önüne alındığında telefonların donanımının sabit olması. Mesela kullanıcı daha iyi bir işletim performansı elde edebilmek için telefonunun merkezi işlemcisini ya da hafızasını bir başkası ile değiştiremiyor. Yenileyebilen parçalar ancak hafıza kartları ile sınırlı kalıyor. Yapabileceğiniz en iyi donanım iyileştirmesi telefonunuza uygun, daha hızlı bir hafıza kartı almak olabilir.

Smart Phone’lar incelendiğinde bir çoğu aynı işletim sistemi ve platform üzerine benzer grafiksel kullanıcı arabirimleri(GUI) ile oluşturulduğundan birbirlerinden çokta farklı gözükmezler. Hangisinin daha iyi ya da daha hızlı donanıma sahip olduğunu anlamak güçtür. Bu amaçlar yapılmış PC’lerdekine benzer bazı ölçüm araçları olsa da bunlar yeterli düzeyde değiller. Eğer PC’lerdeki gibi benchmark araçları olursa kullanıcılar kendi Smart Phone’larını performansını değerlendirebilir. Uygulama geliştiriciler ya da operatörler yeni servislerinin hızlarını önceden kestirebilir.

Git gide standart PC’leri andıran Smart Phone’lardaki bu eksiği gören FuturaMark sonunda Smart Phone’lar içinde bir benchmark geliştirdi. Sanırım 3DMark, PCMark, SysMark, WebMark gibi popüler bechmark’ları ile bir PC sahibi olupta FuturaMark firmasını ya da benchmark’larından birini duymayan yoktur. Özellikle 3DMark serisi milyonlarca PC’de şuan da yüklü durumda ve siz bu yazıyı okurken eminim binlerce PC kullanıcısı 3DMark’lardan biri ile sisteminin 3D grafik performansına göz atıyor.

Bundan sonrada Smart Phone sahipleri telefonlarının hızlarını FuturaMark’ın ilk cep telefonu benchmark’ı olan “SPMark04” ile ölçecekler. Kullanıcılar bu tür kıyaslamalara bayılıyorlar ve bu tür uygulamaların sonuçları satın alma kararlarını ciddi şekilde etkiliyor. Kim yavaş bir telefon almak ister ki? 🙂

SPMark 2004’ü çalıştırabilmeniz için öncelikle SymbianOS6.1 ya da 7.0 yüklü Series60 1.2/2.0 ve UIQ2.0/2.1 uyumlu bir Smart Phone’unuz olmalı. Ayrıca telefonunuzun ana hafızasında 1.2MB boş yer ve SPMark04 çalışırkende 3MB boş hafıza bulunmalı. Aşağıdaki tabloda SPMark04’ü çalıştırabileceğiniz telefonların tam bir listesini bulabilirsiniz.

Haziran 2004 itibarı ile Symbian OS kullanan Smart Phone’lar..

SymbianOS kullanan modellerde Series60 ve UIQ kullanan modeller yazılım geliştiriciler için bir çok kolaylık sayladığı için en çok uygulama bu platform için bulunuyor. En popüler uygulamalar genellikle oyunlar, resim/video düzenleyiciler, ses/müzik eklentileri  gibi eğlenceye yönelik olanlar. Smart Phone’lar için yazılım geliştirmek, PC’lere göre biraz değişik. Telefonların PC’lere oranla daha sınırlı kullanım alanları ve kaynakları var. Aynı zamanda uygulama geliştirme ortamı da farklı. Smart Phone’lar için yazılım geliştirirken dikkat edilmesi gereken diğer bir nokta ise güç tüketimi. Pil ömrü sınırlı olduğu için enerji tasarruf durumları da göz önünde bulunduruluyor.

Benchmarking,
Benchmarklar farklı alternatifleri birbiri ile karşılaştırarak en iyi performans çözümünü bulmak için yapılır. PC ortamında bunun anlamı, bilgisayar donanımlarının performanslarını ölçerek sonuçları kıyaslamak olarak özetlenebilir. Benchmark’ların hedef gruplarına göre değişiklik gösterebilir. Örneğin, bir PC son kullanıcısı, belli bir benchmark testinin sonuçlarına göre alacağı PC’nin özelliklerine karar verebilir; ya da bir sistem üreticisi ileri derece benchmark testlerinin sonuçlarına bakarak geliştirme sürecindeki donanımlar hakkında değerli bilgiler edinebilir.

Smart Phone’larda Benchmarking,
Smart Phone’lar, nispeten yeni bir kavram. Telefonlar aslında iletişim amaçlı olarak geliştirilmiş olduğundan, taşınabilir aygıtlar üzerindeki donanım son kullanıcılar için pek bir şey ifade etmiyor. Fakat bir taraftan Smart Phone’ların yetenekleri ve güçleri arttıkça ve diğer taraftan da yeni hizmet ve uygulamalar daha fazla performans gerektirdikçe bu durum tersine dönmeye başladı. Günümüz Smart Phone’larının özellikleri birbirlerine çok yakın olmasına rağmen, performansları belirgin derecede farklı olabilmekte. Bu da SPMark04’ün  “varoluş sebebidir” diyebiliriz. 

SPMark04, Futuremark  tarafından  Smart Phone’lar  için geliştirilmiş bir benchmark. Ve alanında tek. Symbian OS üzerine inşa edilmiş, Series60 ve UIQ arabirimlerinde çalışıyor. SPMark04 değişik telefon modelleri arasında kıyaslama yapabilmeyi sağlıyor. Testler ve iş yükü, Smart Phone’ların en çok kullanılan özelliklerine göre seçilmiş. SPMark04’ün yapısı, diğer Futuremark bencmark’larına benziyor. Bu da daha önce FuturaMark’ın bir yazılımını kullanmış olan kullanıcılar için oldukça büyük kolaylık sağlıyor. Testler aynı zamanda Futuremark’ın PC’ler için geliştirdiği testlere de benziyor. SPMark04 aynı zamanda bir sistem bilgisi sağlayıcısınada sahip. bu sayede telefonunuzun işletim sistemi, platformu, hafıza durumu, işlemci hızı gibi bilgilere ulaşmanız münkün oluyor.

SPMark04’ün şuan iki versiyonu bulunmakta: “Business Edition” (şirketler için) ve “Developers’Edition” (geliştiriciler için). Bu versiyonlar halihazırda mevcut, ancak son kullanıcı için piyasaya sürülecek olan SPMark04 Pro 2004 yılının üçüncü çeyreğinde çıkacak. Ancak şuanki Business ve Developer’s versiyonları sırası ile 250 ve 6000 dolarlık satış fiyatlarına sahip. yani kolay kolay son kullanıcının erişemeyeceği seviyedeler ve FuturaMark öncelikle telefon üreticileri ve sektör için hizmet üretenleri hedefliyor.

SPMark04, iki kategoride toplayabileceğimiz dokuz adet testten oluşuyor: 3D performansı ve sistem performansı. Sistem testleri de görüntü işleme (3 test: 2D görüntü,  boyutlandırma ve JPEG sıkıştırma testleri) ve genel kullanım (3 test: Ajanda, Adres defteri ve disk erişim testleri) şeklinde gruplandırılabilir.

3D oyun testi  bir 3D oyun sahnesini kullanarak üç boyutlu işlemlerin performansını ölçer. Sahne yaklaşık 2500 poligondan oluşmaktadır. Testin grafik içeriği, bir helikopterin düşman helikopterini izleyerek ateş açmasını göstermektedir. Aşağıdaki resim 3D oyun testindeki objeleri ve poligon sayılarını göstermektedir. 3D oyun testi, OpenGL ES donanım hızlandırması olmayan telefonlarda grafik çizimi için geliştirilmiş olan OpenGL ES API’sini (Hybrid Graphics Ltd) kullanmaktadır. 3D oyun testi sonuçları saniyedeki kare sayısı (FPS) olarak verilir.

3D–Fill Rate                 3D Polygon throughput                 2D Görüntü
  

Fill rate testi, var olan 2 dokuyu kullanarak bir dama tahtası şekli oluşturuyor. Dokuların büyüklüğü 128×128 piksel. Daha sonra bu dokuları çoğaltıp ters yöne doğru çeviriyor. Sahnede kaç adet doku olursa olsun, bu testte sadece iki tanesi kullanılıyor. Sonuç, MTexel/s olarak veriliyor. Bu alan doldurma testi aynı zaman telefonun hafıza bant genişliği hakkında yani başka bir değişle hafıza performansı hakkında da bir fikir sahibi olmanızı sağlıyor.

Polygon Throughput testi, dokusu olmayan 4800 üçgenden oluşmuş bir torus çiziyor. Torusun yüzeyinde diffuse, specular, ambient ve shininess değerleri göz önüne alınarak bir rendering uygulanıyor. Sonuç saniyede çizilen üçgen sayısı olarak veriliyor. Bu testin karşılığı olan 3DMark 2001’deki High-Polygon testini düşünebilirsiniz.

2D Görüntü testi ekrana “MDirectScreenAccess class” kullanarak mümkün olduğunca hızlı bir şekilde ekrana maskelenmiş bitmap’ler çiziyor. Sonuç, saniyedeki kare sayısı olarak veriliyor.

Görüntü Boyutlandırma Testi
Görüntü boyutlandırma testi bir test görüntüsü yükleyip bunu image ve map bitmaplerine çevirip test görüntünün 15 ayrı boyutlandırılmış versiyonunu yaratıyor. Bunu yaparken “CMdaBitmapScaler” ve “CMdaImageFileToBitmapUtility class” ları ile “MmdaImageUtilObserver” kullanıyor. Testte kullanılan veri dosyası, 127×127 büyüklüğünde 7KB’lık bir gif resmi. Sonuçlar saniyede yaratılan bitmap sayısı olarak veriliyor.

JPEG Sıkıştırma
Bu test utilizes Symbian’ın “Image Converter Library (görüntü dönüştürme kitaplığı)” kitaplığını kullanıyor ve 50, 70, ve 90 oranında sıkıştırmalar yapıyor. Burada kullanılan veri dosyası ise 640×480 oranında 34KB’lık bir jpeg. Sonuçlar saniyede işlenen bin pixel olarak veriliyor.

Adresler Testi
Bu test adres varsayılan defteri veritabanınızda 30 adet test girdisi yaratıyor. Bu işlem sırasında CContactDatabase ve CContactCard class’ları kullanılıyor. Test sonunda geçici bellek yığılmalarını engellemek için veritabanı sıkıştırılıyor. Sonuçlar saniyede yaratılan girdi sayısı olarak veriliyor.

Ajanda Testi
Bir test ajanda dosyası açılarak buraya 40 adet ajanda girdisi yazılıyor. Dosyaya RAgendaServ, CAgnEntryModel ve CAgnEvent class’ları kullanılarak erişiliyor. Test ajanda dosyası SPMark04 yükleme konumunda yaratılıyor ve dolayısı ile bu testin sonuçları yazılımın bellek kartına ya da telefon belleğine yüklenmiş olmasına göre değişiyor. Sonuçlar, saniyede yaratılan girdi cinsinden veriliyor.

Disk Erişim Testi
Bu test sanal bir diske 100 adet küçük dosya yazıyor, bunların tümünü açıyor ve aynı anda açık tutuyor. Sonra her bir dosyaya birer test verisi yazıyor, herbirini kapatıp tekrar açıyor, test verisini okuyor ve sonunda tüm dosyaları kapatıp siliyor. Bu test RFs ve RFile class’ları kullanıyor. Her işlemden hemen sonra her dosya siliniyor.  

Pil Testi
Pil testi, tüm testleri sırayla döngüsel olarak çalıştırıyor. Test döngüleri sayılır ve bu da pil skoru için kullanılır.(detaylar için Skor bölümüne bakınız). Kullanıcı Pil testinde hangi testlerin çalıştırılacağını belirleyebilir, fakat özelleştirilmiş testlerde pil skoru hesaplanmıyor.

Skor ne kadar yüksek olursa aygıtın performansı da o kadar iyidir.  SPMark04 skoru tüm testlerin sırası ile yapılması ile belirlenir. Testlerin teker teker yapılması sonucunda elde edilen puanların geometrik ortalaması alınır. Bu sayı test sonuçlarını adil biçimde, her sonuca gerekli ağırlık verilerek hesaplanır. Geometrik orta, 100 çarpanı ile istenilen sonuç aralığına dayanır ve farklı referans sistemlerle karşılaştırılır. SPMark skorunu hesaplamak için aşağıdaki formül kullanılır.

SPMark04 Skoru= 100 x (3D oyun x 3D FillRate x 3D Poligon sayısı x 2D Görüntü x Görüntü Boyutlandırma x JPEG sıkıştırma x Adresler x Ajanda x Disk erişimi)

SPMark04 3D Skoru:
3D test grubunda daha az test olduğundan, SPMark04 3D Skoru hesaplanırken bunlar için geometrik orta kullanılmaz. Her testin kendi ağırlığı referans sistemlerde çalıştırılarak bulunur ve faktörler de 3D oyun test sonuçların %40’ını, 3D FillRate ve 3D poligon sayısı her biri %30 olacak şekilde hesaplanır. Kullanılan formül aşağıdaki gibidir.

SPMark04 3D Skoru= (25 x 3D oyun testi) + (85 x 3D FillRate) + (5 x 3D poligon sayısı)

SPMark04 Sistem Skoru:
Sistem skoru, geometrik orta kullanılarak hesaplanır, dolayısı ile tüm testerin değerleri bu testte eşit ağırlıklıdır ve kullanılan formül aşağıdaki gibidir.

SPMark04 Sistem skoru= 65 x (2D görüntü x Bitmap boyutlandırma x Jpeg sıkıştırma x Adresler x Ajanda x Disk erişimi )

SPMark04 Pil Skoru:
Bir telefonun gerçek mobil performansı, pilin dayanma süresi ile aygıt performansının kombinasyonudur. SPMark04 Pil Skoru her ikisine de bağlıdır. Formül aşağıdaki gibi oluşturulmuştur.

SPMark04 Pil Skoru = (Pilin dayanma süresi (dakika cinsinden) x Pilin test sırasındaki ortalama SPMark™04 skoru) / 300

Tabii ki elimizde böyle bir yazılım ve iki tane Series60 telefon varken hemen bir karşılaştırma yaptık. Nokia 6600 ile Nokia N-Gage’i karşılaştırdığımızda sonuçlar aşağıdaki tablodaki gibi. Bu da bize gösteriyorki Nokia 6600’da N-Gage kadar iyi bir oyun performansı sunabilir. en azından donanımsal olarak N-Gage’den aşağı kalmıyor. SPMark04 olmasaydı bunu anlamak güç olabilirdi. Çok yakında elimize Siemens SX1 ve Sony Ericsson P800 ve P900 ulaştığında toploya bu telefonlarında değerlerini gireceğiz. Bu telefonlarda elimize ulaştığında performans analizlerini daha  detaylı yorumlayacağız. Zamanla mevcut 18 Series60 telefonuda bu taploya dahil edebiliriz.

SPMark04 smart telefonların performanslarını ölçmede oldukça kullanışlı olmakla birlikte, birkaç sınırlamaya da sahip. SPMark04’ün standart testleri ortalama bir kullanımı simüle etmeye çalışmaktadır ama kullanıcıya istediği testlerden oluşan bir benchmark yapma imkanıda sunmakta. Pil testi ise kullanılan pilin ne kadar uzun süre dayanacağını bulmak için geliştirilmiştir. Ancak testin günlerce sürmesini engellemek için telefona maksimum yüklenilir ve pil biran önce bitirilmeye çalışılır. Bu test sayesinden telefonların birbirlerine göre pil ömürleri karşılaştırılabilir ama sonuçlar günlük kullanım ile karşılaştırılamaz.

Sonuç

SPMark04, Series 60 ve UIQ kullanıcı arayüzünü ve Symbian OS kullanan smart telefonlar için, açık ve kolay kullanılabilir şekilde hazırlanmış. SPMark04, 3D, 2D, görüntü işleme ve genel işlemler için testler içeriyor ama test çeşitliliği daha geniş tutulabilirdi. Ama bir Smart Phone’un genel performansını anlamak için oldukça faydalı. SPMark04 popüler telefon üreticileri ile birlikte şeffaf bir ortamda geliştirdiği için herhangi bir telefona optimize değil ve sonuçları adil. Günümüzde teknoloji meraklılarının donanımlarını sınamak ve birbirleri ile karşılaştırmaya bayıldığı düşünülürse SPMark04’de 3DMark ve PCMark kadar popüler olacaktır. En önemli özelliği ilk olması ama eminim FutureMark zamanla bu benchmark’ınıda şartlara uydurarak geliştirecektir. Başlangıç için SPMark04 çok güzel, üzücü haber ise son kullanıcıların bu yazılımı denemek için 2004’in 3. çeyreğini beklemeleri gerektiği.