Cara Menjalankan LLM Secara Lokal Di Raspberry Pi Menggunakan Ollama AI - Kamplongan

Cara Menjalankan LLM Secara Lokal di Raspberry Pi Menggunakan Ollama AI

Minggu lalu saya membagikan tutorial penggunaan PrivateGPT. Ini adalah alat AI untuk berinteraksi dengan dokumen.

Sekarang, itu bagus untuk penggunaan terbatas, tetapi jika Kalian mengmaukan sesuatu yang lebih dari sekedar berinteraksi dengan dokumen, Kalian perlu menjelajahi proyek lain.

Saat itulah saya menemukan sebuah proyek menarik bernama Ollama. Ini adalah proyek sumber terbuka yang memungkinkan Kalian menjalankan berbagai Model Bahasa Besar (LLM) secara lokal.

Saat menjelajahi komunitas Reddit, saya menemukan diskusi yang membahas tentang menjalankan LLM di Raspberry Pi.

Kami penasaran untuk memverifikasi ‘klaim’ ini jadi saya memutuskan untuk menjalankan LLM secara lokal dengan Ollama di Raspberry Pi 4 saya.

Izinkan saya berbagi eksperimen saya dengan Kalian dalam artikel singkat ini.

📋

Artikel ini mengasumsikan bahwa Kalian memiliki pemahaman dasar tentang AI, LLM, serta alat dan jargon terkait lainnya.

linux“>Menginstal Ollama di Raspberry Pi OS (dan linux lainnya)

Proses instalasi Ollama sangat mudah. Untuk instalasi di linux, Kalian harus mengambil skrip instalasi resminya dan menjalankannya. Itu adalah metode resmi yang dijelaskan di situs web mereka.

linux.png” class=”kg-image” alt=”Mengunduh Ollama” loading=”lazy” width=”771″ height=”523″ srcset=”https://itsfoss.com/content/images/size/w600/2024/01/ollama-downloads-page-for-linux.png 600w, https://itsfoss.com/content/images/2024/01/ollama-downloads-page-for-linux.png 771w” sizes=”(min-width: 720px) 720px”/>

Kalian dapat mengunduhnya secara manual dan membaca fungsinya. Atau jika Kalian malas seperti saya, gabungkan keduanya dalam satu perintah seperti ini:

curl https://ollama.ai/install.sh | sh
Menginstal Ollama

Menjelajahi LLM yang berbeda

Setelah instalasi selesai, Kalian sekarang siap menjalankan LLM di Pi dan mulai mengobrol dengan AI dalam waktu singkat.

Dalam percobaan saya, saya menggunakan tinyllama , phi Dan llava LLM. Namun Kalian dapat mencoba model bahasa besar lainnya yang tersedia di perpustakaan Ollama.

📋

Kalian harus memiliki setidaknya 8 GB RAM untuk menjalankan model 7B, 16 GB untuk menjalankan model 13B, dan 32 GB untuk menjalankan model 33B.

Llama Kecil

Mari kita mulai dengan TinyLlama yang didasarkan pada 1,1 miliar parameter dan merupakan kandidat sempurna untuk percobaan pertama.

Untuk mengunduh dan menjalankan TinyLlama, Kalian perlu mengetikkan perintah ini:

ollama run tinyllama
Menginstal TinyLlama dengan Ollama

Diperlukan beberapa detik untuk mengunduh model bahasa dan setelah diunduh, Kalian dapat mulai mengobrol dengannya.

Pertanyaan yang saya ajukan kepada AI adalah: “Apa kegunaan tag div dalam html?”

Menggunakan TinyLlama

Berikut jawaban lengkap beserta waktu yang dibutuhkan untuk menyelesaikannya:

TinyLlama menjawab

Baiklah, baiklah! Siapa sangka AI bisa bekerja secepat ini di Raspberry Pi?

phi

Pindah ke beberapa model yang lebih besar seperti phi yang merupakan model bahasa berbasis parameter 2,7B. Kami rasa Raspberry Pi kami juga bisa mengatasinya.

Untuk menginstal dan menjalankan model ini, ketikkan perintah ini:

ollama run phi

Coba ajukan beberapa pertanyaan, seperti yang saya lakukan: “Apa perbedaan antara switch jaringan dan hub?”

dan inilah jawaban lengkap dari phi dengan detail lainnya:

Phi LLM dengan Ollama

llava

Ini adalah LLM terbesar yang saya uji karena dilengkapi dengan parameter 7B. Kami memintanya untuk mendeskripsikan gambar alih-alih mengajukan pertanyaan sederhana.

Kami menggunakan model Raspberry Pi 4 4 GB dan menurut saya model ini tidak akan berfungsi sebaik model bahasa lain di atas.

Tapi tetap saja, mari kita uji. Untuk memasang llava gunakan perintah ini:

ollama run llava

Perlu beberapa waktu untuk mengunduh model ini, karena ukurannya cukup besar, sekitar 3,9 GB.

Ollama menginstal llava LLM

Kami akan meminta model ini untuk mendeskripsikan gambar kucing yang disimpan /media/hdd/shared/test.jpg direktori.

Llava menghasilkan gambar

Kami harus menghentikan proses di tengah karena terlalu lama untuk menjawab (lebih dari 30 menit).

Namun Kalian bisa lihat, responnya cukup akurat dan jika Kalian memiliki Raspberry Pi 5 terbaru dengan RAM 8 GB, Kalian dapat menjalankan model bahasa parameter 7B dengan mudah.

Kesimpulan

Menggabungkan kemampuan Raspberry Pi 5 dengan Ollama membentuk fondasi yang kuat bagi siapa pun yang mau menjalankan LLM sumber terbuka secara lokal.

Baik Kalian seorang pengembang yang berusaha untuk mendorong batas-batas komputasi kompak atau penggemar yang mau menjelajahi bidang pemrosesan bahasa, pengaturan ini menghadirkan banyak sekali peluang.

Beri tahu saya pemikiran dan pengalaman Kalian dengan Ollama di bagian komentar.

Leave a Reply

Your email address will not be published. Required fields are marked *

%d bloggers like this: