@kgiannakis
Ευχαριστούμε πολύ, για την πολύ αναλυτική παρουσίαση!!!
Βέβαια, πρέπει να τονίσουμε ότι τα LLM για να τρέξουν τοπικά στον υπολογιστή μας θέλουν πάνω από 8GB ram και ιδανικά 64 έως 128GB ram και GPU ιδανικά πάνω από 12GB,
ἐξ οὗ, και το άρθρο:
https://linux-user.gr/t/technikes-apaithseis-ypologistwn-gia-th-chrhsh-ths-technhths-nohmosynhs-kai-alloi-periorismoi/5193
Ευτυχώς, όμως όπως μας ανέλυσες, μιας και είναι το αντικείμενό σου(ο προγραμματισμός ) και δεν γράφεις απλά από χόμπι, υπάρχει το HuggingFace, με τη μόνη διαφορά ότι εκεί τα δεδομένα που εισάγουμε θεωρούνται δημόσια, αν δεν απατώμαι.
Με τη χρήση της Python από ότι βλέπουμε οι απαιτήσεις περιορίζονται στα 6GB ram.
Mε τον τρόπο αυτό που μας παρουσιάζεις ίσως ανοίγεται ο δρόμος στους προγραμματιστές της κοινότητας να αναπτύξουν τα δικά τους μοντέλα.
Νομίζω έχουμε ανάγκη από LLM με ελληνικά ανοικτά δεδομένα.
Μια επίσης προσιτή λύση για τον υπολογιστή μας μπορεί να είναι το Ollama, επιλέγοντας μοντέλα με λιγότερες από 3Β(δισεκατομύρια) παραμέτρους, αλλά και πάλι τα 16GB ram θα τα χρειαστούμε και θα έχουμε πιο αργό αποτέλεσμα από το Huggingface, όμως αξίζει τον κόπο για να δούμε ιδίοις όμμασι, αυτή την αλληλεπίδραση με τις τελευταίες ανακαλύψεις στον χώρο της τεχνητής νοημοσύνης και της πληροφορικής ευρύτερα.
5 «Μου αρέσει»