MOBITEKNO –
Jauh sebelum software bencmark performa smartphone AnTuTu dianggap kurang bisa dipercaya (unreliable) karena mudah ‘dikadalin’ produsen smartphone, dunia PC mengenal software benchmark SYSMark yang menjadi rujukan bukan hanya bagi para reviewer hardware PC di seluruh dunia, tapi juga bagi para produsen hardware dan software, serta divisi TI di babnyak perusahaan.
Pembuat SYSMark, yaitu BAPCo (BAPCo (Business Applications Performance Corporation), adalah konsorsium nirlaba yang beranggotakan produsen hardware/software dan penerbit/media.
Konsorsium ini bertanggung jawab mengembangkan dan mendistribusikan software benchmark tersebut sebagai acuan obyektif untuk mengukur performa sistem PC dalam menjalankan software populer di sistem operasi Windows.
BAPCo saat ini beranggotakan perusahaan, seperti Acer, CNET, Compal Electronics, Dell, Hewlett-Packard, Hitachi, Intel, Lenovo, Microsoft, WD, Wistron, Samsung, Sony, Toshiba, dan masih beberapa perusahaan TI lainnya.
Pada tahun 2011, tiga anggota pentingnya, AMD, Nvidia, dan VIA memilih mundur dari konsorsium BAPCo karena menganggap versi SYSMark 2012 saat itu tidak lagi relevan dalam mengukur performa PC secara utuh dalam menjalankan aplikasi sebenarnya. Dengan kata lain, SYSMark 2012 tidak bisa lagi melakukan apa yang disebut sebagai real word benchmarking.
Nigel Dessau, Chief Marketing Officer AMD, saat itu dalam blog-nya pernah membuat pertanyaan, “Kapan terahir Anda bekerja dengan dokumen spreadsheet dengan 35 ribu baris?”. Opini tidak jauh berbeda juga dilontarkan Richard Brown, VP Marketing VIA, yang lebih menyorot efektivitas SYSMark sebagai program benchmark untuk semua kategori pengguna.
Berlanjut ke masa kini, AMD ternyata masih menyimpan keraguan pada benchmark BAPCo tersebut pada versi terakhirnya (SYSMark 2014). Menurut AMD, selain kurang informatif menggambarkan performa sebenarnya sistem PC, benchmark SYSMark lebih menguntungkan Intel. AMD juga mempermasalahkan SYSMark yang terlalu berfokus pada performa CPU dan kurang memasukkan faktor lainnya, misalnya GPU yang sebenarnya juga bisa berperan dalam mendukung performa sistem.
John Hampton, direktur Client Computing Product AMD, menjelaskan kembali dalam video di YouTube kenapa SYSMark masih belum dapat diandalakan sebagai metrik performa.
John bahkan mengambil contoh kasus yang menimpa Volkswagon dengan menyatakan "Informasi yang bahkan berasal dari organisasi yang sudah mapan pun bisa menyesatkan.”
Tony Salinas, Engineering manager & Technical marketing AMD, juga menambahkan bahwa tendensi SYSMark pada CPU terlalu "berlebih" sehingga hanya CPU saja yang sangat berperan pada performa sistem PC dan tidak ada pengaruh komponen lainnya.
Sebagai perbandingan, mereka mencontohkan software benchmark sistem PC lain, PCMark 8 dari FutureMark yang bukan hanya memasukkan faktor CPU, tapi juga GPU dan subsistem lainnya. Sebagai argumennya, AMD menjalankan kumpulan custom script yang dibuat berdasarkan Microsoft Office dan menghitung waktu yang dibutuhkan untuk menjalankan semua script pada setiap sistem.
Hasilnya, sistem dengan CPU Intel membutuhkan waktu 60.81 detik untuk menyelesaikannya, sedangkan sistem dengan CPU AMD butuh waktu sedikit lebih lambat (64,38 detik).
Perbedaan hasil benchmark ini (sekitar 6-7 persen) menurut AMD sikron dengan hasil pengujian dengan software benchmark PCMark 8. Namun, perbedaan antara kedua sistem ini akan jauh lebih besar jika dilakukan dengan software benchmark Sysmark. Berapa besar perbedaanya? Menurut AMD selisihnya sekitar 50 persen untuk keuntungan Intel.
AMD boleh saja berargumen bahwa SYSMark kurang ‘adil’ mengukur performa sistem PC. Namun, fakta yang selama ini terjadi juga tidak boleh diabaikan begitu saja oleh AMD. Faktanya adalah, tidak sedikit software dan game populer tidak selalu optimal untuk semua sistem PC (karena perbedaan konfigurasi hardware), baik karena kurang kompetennya developer software atau karena ‘dukungan’ ekstra dari produsen hardware sendiri.
Optimal tidaknya software juga terjadi pada game. Baik AMD dan Nvidia pernah saling tuduh mengenai bagaimana suatu game berjalan tidak optimal pada salah graphics card buatan AMD atau Nvidia. Persaingan bisnis yang kian sengit agar produknya lebih diminati konsumen tidak jarang membuat pembiasan oleh pihak-pihak tertentu bisa saja terjadi.
Tags: AMD, BAPCo, Intel, NVIDIA, SYSMark, VIA
