Mobitekno – Oleh: Matt Hicks*
Lanskap AI sedang berkembang dengan laju yang mengejutkan. Sama seperti terobosan teknologi lain, muncul pertanyaan: jalan mana yang terbaik untuk membentuk masa depannya? Red Hat yakin jawabannya jelas:
Masa depan AI adalah Open Source
Ini bukan hanya sudut pandang filosofis; ini adalah pendekatan yang difokuskan untuk membuka nilai sesungguhnya dari AI dan menjadikannya sesuatu yang lebih terjangkau, lebih bisa didemokratisasi dan jauh lebih kuat.
Kami selalu percaya dengan kekuatan pengembangan open source dalam mendorong inovasi. Kami sudah melihat ini terjadi dalam kebangkitan Linux, KVM, OpenStack, Kubernetes dan banyak project lainnya yang telah membantu membentuk lanskap teknologi saat ini. Melalui kolaborasi, transparansi dan inovasi yang digerakkan oleh komunitas, model pengembangan open source mempercepat laju penemuan, mendorong eksperimen dan mendemokratisasi akses ke tool dan teknologi mutakhir. Ini menghasilkan kemajuan yang lebih cepat, inovasi yang lebih besar, dan ekosistem yang benar-benar hidup dan dinamis.
AI Juga Sama
Dalam AI, di mana kepercayaan, keamanan dan explainability adalah yang terpenting, semuanya – bukan hanya mereka yang punya modal besar atau sumber daya paling banyak – harus bisa ambil bagian. Red Hat didedikasikan untuk menjadi pemenang dalam inovasi AI open source, membuka jalan untuk masa depan teknologi ini, yang dibangun pada fondasi pengembangan yang digerakkan komunitas, kemajuan bersama, dan pilihan.
Kami berinvestasi besar dalam berbagai project open source dan teknologi AI, berkolaborasi dengan para mitra di berbagai industri, dan mengembangkan solusi yang memberdayakan perusahaan sehingga mereka dapat menjalankan AI workload dengan fleksibel di manapun dibutuhkan. Hari ini, kami mengumumkan bahwa kami telah menandatangani perjanjian definitif untuk mengakuisisi Neural Magic. Saya percaya pencapaian yang signifikan ini akan memungkinkan kami untuk mempercepat kemajuan dan mewujudkan visi kami untuk masa depan AI.
Di Red Hat, Kami percaya bahwa masa depan AI adalah teknologi open source, dan ini didukung oleh beberapa pilar utama:
Model-model Kecil Untuk Menjalankan AI
AI bukan hanya tentang model masif yang membutuhkan sumber daya besar. Kami menyaksikan peralihan ke arah model-model yang lebih kecil dan lebih terspesialisasi yang memberikan performa luar biasa dengan efisiensi yang lebih besar. Model tersebut tidak hanya lebih efisien saat dilatih dan dijalankan, namun juga menawarkan kelebihan yang signifikan dalam kustomisasi dan kemampuan beradaptasi.
Contohnya IBM Granite 3.0, generasi ketiga LLM Granite series, yang menekankan model-model AI fungsional dan lebih kecil. Dirilis dengan lisensi Apache 2.0, model-model ini memiliki ukuran parameter berkisar 1B hingga 8B, yang memungkinkan mereka untuk dijalankan di mana saja, mulai dari laptop hingga di server GPU standar. Seperti yang kita lihat dengan Linux, kemudahan akses ini mendorong inovasi dan pengadopsian di dalam enterprise.
Dan lebih dari sekedar ukuran awal yang lebih kecil, mengoptimalkan model AI melalui metode sparsification dan kuantisasi adalah pengganda kekuatan lain, yang memungkinkan kami untuk melayani lebih banyak permintaan dengan hardware yang sama. Sparsification secara strategis menghilangkan koneksi yang tidak dibutuhkan di dalam model yang secara drastis mengurangi persyaratan ukuran dan komputasi tanpa mengorbankan akurasi atau performa.
Kuantisasi kemudian mengurangi ukuran model untuk berjalan pada platform dengan memori yang lebih sedikit. Semua ini menyebabkan biaya yang lebih rendah, inferensi yang lebih cepat, dan kemampuan untuk menjalankan beban kerja AI pada hardware yang lebih luas. Fokus yang sama pada Linux menjadikannya bisa berjalan di semua infrastruktur di planet ini – mulai dari jam tangan hingga komputer super. Dengan bergabungnya Neural Magic dengan Red Hat, kami bisa membawa fokus yang sama ke ranah AI.
Pelatihan Membuka Keuntungan Bisnis
Sebaik apapun model-model AI kecil, mereka masih dilatih dengan data yang bisa diakses publik. Mereka memiliki kemampuan bahasa yang luar biasa, mereka memahami bisnis, mereka tahu tentang kebanyakan topik di internet. Namun, mereka tidak memahami bisnis Anda. Jika proses bisnis dan hak milik intelektual Anda tidak ada di ranah publik, model ini tidak akan memahaminya. Dan Anda masih harus menyempurnakan proses bisnis Anda, bukan konsep generiknya. Jadi, untuk benar-benar membuka potensi bisnis Anda harus menyisipkan pengetahuan Anda ke model-model tersebut. Dan ini membutuhkan pelatihan.
Red Hat membantu Anda melakukan hal ini dengan InstructLab, project open source yang didesain untuk memudahkan kontribusi dan menyelaraskan LLM untuk aplikasi gen AI, bahkan oleh pengguna yang tidak memiliki kemampuan data science. Diluncurkan oleh Red Hat dan IBM dan disediakan sebagai bagian dari Red Hat AI, InstructLab didasarkan pada proses yang diuraikan dalam makalah riset yang dipublikasikan April 2024 oleh anggota-anggota MIT-IBM Watson AI Lab dan IBM. InstructLab akan mengurangi kompleksitas dalam melatih model AI untuk kebutuhan Anda, Ia juga secara jelas melakukan mitigasi beberapa aspek-aspek yang paling mahal dari enterprise AI dan menjadikan LLM lebih siap dikustomisasi untuk tujuan-tujuan khusus.
Pilihan Membuka Inovasi
Sebagian besar perusahaan memiliki workload di pusat data korporat dan infrastruktur cloud. AI seharusnya dengan lancar berintegrasi dengan infrastruktur-infrastruktur ini untuk mendukung penerapan yang fleksibel dan konsisten di lingkungan yang berbeda, baik on-premise, di cloud atau di edge. Anda harus bisa melatih di mana data dan sumber daya Anda berada.
Dan Anda perlu menjalankan model-model di mana pun yang sesuai dengan kasus penggunaan Anda. Sama seperti Red Hat Enterprise Linux (RHEL) yang memungkinkan aplikasi dikompilasi dan dijalankan di CPU apa saja tanpa mengubah aplikasinya, misi kami adalah memastikan bahwa model yang dilatih dengan RHEL AI bisa berjalan di server GPU apa pun. Kombinasi dari hardware yang fleksibel, model yang kecil, pelatihan yang disederhanakan dan optimasi memberikan fleksibilitas yang akan mendorong inovasi untuk terus berkembang.
Kami juga percaya bahwa pelatihan dan penerapan AI dalam skala besar akan membutuhkan disiplin yang sama yang sudah kami terapkan untuk software dalam beberapa dekade terakhir. Red Hat OpenShift AI membawa kemampuan kustomisasi model, inferensi, pengawasan dan lifecycle bersama dengan aplikasi yang memanfaatkannya di Red Hat OpenShift. Neural Magic berbagi semangat yang sama untuk memungkinkan AI berjalan di seluruh platform hybrid dan telah menunjukkan kepemimpinannya di komunitas open source yang berfokus untuk mendorong inovasi di bidang ini.
Memperkuat Misi Neural Magic
Neural Magic didirikan dengan keyakinan bahwa AI harus bisa berjalan di mana pun, mulai dari perangkat terkecil hingga pusat data terbesar. Kisah asal-usul perusahaan ini sejalan dengan apa yang saya pernah lihat di tim-tim kecil, namun kuat di Red Hat, yang berinovasi dengan AI, termasuk tim InstructLab kami, jadi saya pikir ini bermanfaat untuk dibagikan di sini.
Nir Shavit, profesor terkenal di MIT dengan fokus pada komputasi paralel telah mendalami seluk-beluk algoritma dan hardware selama beberapa dekade. Karyanya telah merevolusi bidang-bidang seperti struktur data concurrent dan transactional memory. Alex Matveev, mantan peneliti di MIT, membawa keahliannya dalam machine learning dan pemahaman mendalam mengenai tantangan-tantangan yang dihadapi dalam menjalankan model AI secara efisien.
Ide Neural Magic muncul saat Nir dan Alex menemukan penghambat yang sangat penting dalam kemajuan AI: ketergantungan pada GPU yang mahal dan seringkali jarang ditemukan. Ketergantungan ini menjadi penghalang untuk masuk, menghambat penyebaran penggunaan AI di berbagai industri, dan membatasi potensinya untuk merevolusi bagaimana kita hidup dan bekerja.
Mereka memulai satu misi untuk memberdayakan siapa saja, terlepas dari sumber daya yang mereka miliki, untuk memanfaatkan kekuatan AI. Pendekatan mereka yang inovatif menggunakan teknik-teknik seperti pruning dan kuantisasi untuk mengoptimalkan model machine learning, mulai dengan menjadikan model-model AI berjalan secara efisien di CPU yang sudah tersedia tanpa mengorbankan performa. Pada akhirnya Neural Magic mengubah visi mereka ke percepatan GPU dan membawa level optimasi dan efisiensi yang sama ini untuk gen AI melalui vLLM.
Komitmen terhadap inovasi ini menjanjikan AI lebih bisa diakses, terjangkau dan lebih mudah untuk dijalankan. Saya sangat antusias dengan peluang untuk menyajikan kemampuan-kemampuan tersebut kepada para pelanggan kami di Red Hat AI, namun saya juga antusias dengan tim kami yang berbagi budaya eksperimen dan penemuan yang akarnya adalah mendobrak batasan-batasan yang ada saat ini yang menghalangi kemajuan dan pengadopsian AI.
Di kantor kami di Boston, contohnya, Anda akan bertemu dengan sekelompok associate dan peneliti yang sangat passionate, kebetulan mereka dari MIT – yang menggunakan InstructLab untuk memecahkan berbagai hambatan dalam kontribusi pelatihan untuk penyebarluasan penggunaan AI. Sebagaimana teknologi Neural Magic yang mendemokratisasi akses ke AI, InstructLab ingin melakukan hal yang sama dalam cara kami melatih dan menyempurnakan model-model. Saya tidak sabar melihat terobosan lain yang diciptakan tim kami, bersama.
Saya sangat antusias dengan prospek Neural Magic yang bergabung dengan Red Hat dan mempercepat misi kami dengan komunitas open source untuk mewujudkan masa depan AI. Di Red Hat, kami yakin teknologi terbuka akan membuka potensi dunia. Misi kami dengan Neural Magic adalah mempercepat proses membuka potensi tersebut dengan AI. Saya yakin bahwa menjalankan ini bersama dengan komunitas open source akan memberikan hasil terbaik bagi dunia.
Kami baru saja mulai.
*President & CEO, Red Hat
Tags: Artificial Intelligence, masa depan AI, Matt Hicks, Neural Magic, open source, Red Hat
