JAKARTA (IndonesiaTerkini.com)- AMD dengan bangga memberitakan hasil pengajuan perdana MLPerf dengan GPU AMD Instinct™ MI300X di situs MLCommons yang diperbarui.
Ada beberapa tipe pengajuan MLPerf, termasuk MLPerf Inference: Datacenter, MLPerf Training, dan terakhir Llama 2 70B, yang merupakan model bahasa GenAI canggih dan besar yang diperkenalkan pada tahun 2024. AMD memilih untuk membuat pengajuan MLPerf pertamanya pada model LLM yang populer dan relevan, Llama 2 70B.
Pengajuan AMD MLPerf Inference V4.1 memiliki tiga entry untuk Llama 2 70B, yang menampilkan:
- Kombinasi terbaik CPU dan GPU AMD yang tersedia di pasaran untuk kerja AI.
- Memori besar dalam MI300X (192 GB) memungkinkan satu GPU MI300X untuk menjalankan seluruh model Llama 2 70B, yang pada sebagian besar GPU pesaing perlu dibagi antara beberapa akselerator.
- Dan terakhir, bagaimana CPU generasi berikutnya dari AMD meningkatkan kinerja tugas AI.
Dalam putaran Inferensi MLPerf 4.1, hasil AMD menunjukkan bahwa MI300X dengan ROCm dapat memberikan kinerja inferensi yang luar biasa untuk LLM masif seperti Llama 2 70B, bahkan jika dibandingkan dengan kiriman dari para pemimpin industri lainnya seperti Nvidia H100 dengan model LLM Llama 2 70B. (red/dri)
Thanks for reading Kepemimpinan AI AMD dengan Pengajuan MLPerf. Please share...!
