Akamai, sebuah perusahaan yang berfokus pada keamanan siber dan cloud computing, baru-baru ini memperkenalkan Akamai Cloud Inference. Langkah ini diambil untuk mendorong inovasi yang lebih cepat dan efisien dalam mengubah model prediktif serta large language model (LLM) menjadi tindakan yang nyata.
"Walaupun proses berat dalam melatih LLM akan terus berlangsung di pusat data hyperscale yang besar, inferensi yang dapat ditindaklanjuti akan terjadi di edge. Di sinilah platform yang telah dibangun Akamai selama dua setengah dekade terakhir menjadi sangat penting untuk masa depan AI. Hal ini juga yang membedakan kami dari penyedia cloud lain yang ada di pasaran," ujar Adam Karon, COO dan GM Cloud Technology Group di Akamai, dalam keterangan yang diterima Liputanku, Sabtu (31/5/2025).
Solusi terbaru dari Akamai ini dirancang sebagai alat yang ampuh bagi para insinyur dan pengembang platform untuk membangun dan menjalankan aplikasi AI. Diklaim bahwa solusi ini mampu memberikan throughput 3x lebih baik serta mengurangi latensi hingga 2,5x.
Lebih lanjut, mereka mengklaim bahwa perusahaan-perusahaan dapat menghemat hingga 86% dalam inferensi AI dan beban kerja AI agentic dibandingkan dengan infrastruktur hyperscale tradisional. Akamai Cloud Inference mencakup:
● Komputasi: Akamai Cloud menawarkan beragam perangkat komputasi yang serbaguna, mulai dari CPU klasik untuk inferensi yang disesuaikan dengan baik, hingga opsi komputasi dipercepat yang kuat dalam GPU, dan VPU ASIC yang disesuaikan untuk menyediakan daya yang tepat guna mengatasi berbagai tantangan dalam inferensi AI. Akamai terintegrasi dengan ekosistem AI Enterprise Nvidia, dengan memanfaatkan Triton, TAO Toolkit, TensorRT, dan NVFlare untuk mengoptimalkan kinerja inferensi AI pada GPU NVIDIA. ● Manajemen Data: Akamai memungkinkan para pelanggan untuk memanfaatkan potensi penuh dari inferensi AI dengan fabric data mutakhir yang dibangun khusus untuk beban kerja AI modern. Akamai telah bermitra dengan VAST Data untuk menyediakan akses yang disederhanakan ke data real-time guna mempercepat tugas-tugas terkait inferensi, yang sangat penting untuk memberikan hasil yang relevan dan pengalaman yang responsif.
● Kontainerisasi: Kontainerisasi beban kerja AI mendukung peningkatan kapasitas secara otomatis sesuai permintaan, peningkatan ketahanan aplikasi, dan portabilitas hibrida/multicloud, serta mengoptimalkan kinerja dan biaya. Dengan Kubernetes, Akamai memberikan inferensi AI yang lebih cepat, lebih murah, dan lebih aman dengan kinerja dalam skala petabyte.
● Komputasi Edge: Guna menyederhanakan cara pengembang dalam membangun aplikasi-aplikasi berbasis AI, Akamai AI Inference menyertakan kemampuan WebAssembly (WASM). Melalui kerja sama dengan penyedia WASM seperti Fermyon, Akamai membantu para pengembang menjalankan inferensi untuk LLM langsung dari aplikasi tanpa server, sehingga para pelanggan dapat menjalankan kode ringan di edge untuk mendukung aplikasi-aplikasi yang membutuhkan latensi rendah.
Secara keseluruhan, semua alat ini membentuk sebuah platform yang kokoh untuk aplikasi-aplikasi berbasis AI dengan latensi rendah. Dengan demikian, perusahaan-perusahaan dapat memberikan pengalaman yang diinginkan oleh pengguna mereka.
Akamai Cloud Inference beroperasi di platform cloud Akamai yang sangat terdistribusi, sehingga mampu secara konsisten mengirimkan lebih dari satu petabyte per detik untuk beban kerja yang memerlukan data intensif. Meliputi lebih dari 4.200 titik kehadiran di lebih dari 1.200 jaringan di lebih dari 130 negara di seluruh dunia, Akamai Cloud membuat sumber daya komputasi tersedia dari cloud ke edge serta mempercepat kinerja aplikasi dan meningkatkan skalabilitas.
"Melatih LLM itu seperti membuat peta, di mana Anda perlu mengumpulkan data, menganalisis medan, dan merencanakan rute. Pekerjaan ini membutuhkan waktu dan sumber daya yang besar, tetapi begitu selesai, akan sangat bermanfaat. Inferensi AI, di sisi lain, seperti menggunakan GPS, langsung menerapkan pengetahuan tersebut, menghitung ulang secara real-time, dan beradaptasi dengan perubahan untuk mengarahkan Anda ke tujuan yang Anda inginkan," pungkas Karon.
