Der Hype um generative KIs wie ChatGPT ist ungebrochen. Mit wenig Aufwand richten Sie Ihren eigenen lokalen Chatbot auf dem Mini-Rechner Raspberry Pi ein.

Nachdem Ende 2022 ChatGPT von Open AI das Licht der Welt erblickte, wurden viele der großen Konzerne nervös. In der Folge brachten sie mehr oder weniger gelungene eigene Large Language Models (LLM) und generative KIs heraus. So auch die Facebook-Mutter Meta, deren LLM sich Llama nennt. Das steht für Large Language Model Meta AI. Llama liegt in mehreren Varianten vor mit bis zu 70 Milliarden Parametern. Anders als die meisten anderen Modelle steht Llama unter Open-Source-Lizenz. Die kleineren Varianten von Meta sowie andere kleine LLMs lassen sich sogar auf Zwerg-Rechnern wie dem Raspberry Pi betreiben. Sie laufen dort lokal und benötigen keine Internetverbindung. Damit steht ihnen Ihr eigener persönlicher Chatbot zur Verfügung. Der Aufwand hält sich dank findiger Github-Projekte in Grenzen.

Grundsätzlich gilt, je schneller, desto besser, und je mehr RAM, desto besser. Die absolute Untergrenze stellt ein Raspberry Pi 4 mit vier GByte RAM dar. Darunter wird es quälend langsam oder funktioniert gar nicht. Ideal ist ein Raspberry Pi 5 mit acht GByte RAM. Der benötigt dann aber zwingend einen Active Cooler, da Sie ansonsten bei rechenintensiven Anwendungen wie einer generativen KI ein Ei auf dem Prozessor braten können. Ein solcher Lüfter kostet lediglich rund fünf Euro und läuft nur dann, wenn es dem Rechner zu warm wird. Da der Raspberry Pi 5 besonders leistungsfähig ist, braucht er auch ein entsprechendes 27-Watt-Netzteil, das in den meisten Shops für zwölf Euro zu haben ist. Ein Anschluss an den Bildschirm ist nicht unbedingt notwendig, da Sie den Raspberry Pi auch per VNC oder SSH von einem anderen Rechner aus steuern können. […]

Fachartikel für Chip