Peralatan AI masa ini biasanya berjalan di awan. Ia bermakna data anda perlu dihantar ke pelayan pihak ketiga untuk diproses. Tapi, produk macam MINIX T4000 dan T5000 membolehkan data anda tak tinggalkan premis dan pemerosesan berjalan terus di atas meja.
Produk daripada MINIX ini berupa sebuah workstation kompak yang direka khas untuk tugasan generative AI. Walaupun nampak macam kerdil, ia sebenarnya mampu untuk galas tugasan sebagai pelayan AI peribadi yang ada model bahasa raya (LLM) termasuklah jana kandungan audio visual./ima
Kenapa nak jalankan AI secara tempatan?
Kelebihan utama jalankan beban kerja AI secara tempatan berbanding bergantung kepada solusi awan adalah kedaulatan data peribadi anda terjaga. Ia menambah baik kerahsiaan dan kurangkan latensi ataupun kurangkan kos langganan perkhidmatan pihak luar.
MINIX T4000 & T5000 diperkasa NVIDIA Blackwell
Di bahagian teras produk ini letaknya GPU berasaskan Blackwell daripada NVIDIA yang direka khas untuk AI. Dengan GPU ini, T4000 dan T5000 boleh kendalikan model bahasa raya yang ada sehingga 70 billion parameter. Angka prestasi ini biasanya ditemukan pada produk pengkalan data besar dan bukannya produk di atas meja komputer.
Direka untuk tugasan berat
T4000 dan T5000 diperkasa CPU berbilang teras berasaskan ARM, sehingga 128GB RAM, dan storan SSD jenis NVMe. Komponen-komponen ini bolehkan kerja dilakukan dengan lancar walaupun beberapa tugasan berjalan serentak. Saiznya tak makan ruang yang banyak di atas meja, tak padan dengan kuasa yang mampu ditawarkannya.
Boleh buat apa dengan MINIX T4000 & T5000?
Dalam bahasa praktikal, pengguna boleh jalankan chatbot mereka ataupun jalankan ekonsistem menjana audio, video, ataupun gambar terus daripada atas meja tanpa sebarang langganan. Mereka tak perlu lakukan bayaran bulanan kepada servis seperti ChatGPT, Gemini, Claude dan yang seangkatan dengannya. Paling penting, data yang diproses kekal selamat daripada dikendalikan pihak ketiga.
Sumber: MINIX
No comments yet