Πώς να Χρησιμοποιήσετε Δωρεάν AI Μοντέλα στο Τερματικό σας (Linux/macOS/Windows WSL)

Linux Software & Distros Δημιουργίες χρηστών
, ,
1

Πως θα σας φαινόταν αν μπορούσατε να έχετε πρόσβαση σε AI μοντέλα, πολλά εκ των οποίων δωρεάν, απευθείας από την άνεση του τερματικού σας;

Για να χρησιμοποιήσουμε όποια μοντέλα θέλουμε, επιλέξαμε το OpenRouter.ai που είναι μια πλατφόρμα-πύλη που ενοποιεί την πρόσβαση σε εκατοντάδες μοντέλα τεχνητής νοημοσύνης από παρόχους όπως η Google, η Anthropic, η Meta, η Mistral AI και άλλοι.

Αντί δηλαδή να χρειάζεται να δημιουργείτε ξεχωριστούς λογαριασμούς και να διαχειρίζεστε πολλαπλά API keys για κάθε υπηρεσία, το OpenRouter σας παρέχει ένα ενιαίο API key και ένα interface για να αλληλεπιδράτε με όλα.

Φυσικά δεν είναι όλα δωρεάν και προφανώς υπάρχουν μοντέλα που ίσως να θέλετε να χρησιμοποιείστε και είναι επι πληρωμή. Εμείς όμως θα εστιάσουμε σε 2 πράγματ:

  • αυτά που είναι δωρεάν

  • και μπορούμε να χρησιμοποιήσουμε στο τερματικό

Πριν μερικούς μήνες είχα γράψει για αυτό το νέο εργαλείο που φτιάξαμε και μπορεί να διαβάσετε αναλυτικά τις Οδηγίες εγκατάστασης:

Δημιουργία API Κλειδιού στο OpenRouter

Για να ξεκινήσετε, θα χρειαστείτε ένα API key από το OpenRouter. Η διαδικασία είναι απλή και γρήγορη.

  1. Εγγραφή: Πηγαίνετε στον ιστότοπο openrouter.ai και δημιουργήστε έναν λογαριασμό. Μπορείτε να χρησιμοποιήσετε τον λογαριασμό σας Google, Github ή ένα email.

  2. Πλοήγηση στα Κλειδιά: Αφού συνδεθείτε, κάντε κλικ στο εικονίδιο του προφίλ σας στην επάνω δεξιά γωνία και επιλέξτε «Keys» από το μενού.

  3. Δημιουργία Κλειδιού: Κάντε κλικ στο κουμπί «Create Key». Δώστε ένα όνομα στο κλειδί σας (π.χ., «Terminal AI») για να θυμάστε πού το χρησιμοποιείτε.

  4. Αντιγραφή και Αποθήκευση: Το OpenRouter θα δημιουργήσει ένα μοναδικό κλειδί που ξεκινά με sk-or-v1-.... Αντιγράψτε αυτό το κλειδί και αποθηκεύστε το σε ασφαλές μέρος. Είναι το μυστικό σας «κλειδί» για την πρόσβαση στα AI μοντέλα. Θα το χρησιμοποιείστε παρακάτω.

  • Μπορείτε να κατεβάσετε το script από το GitHub SynergOps/openrouter.ai
  • Αντικαταστήστε στο .env το your_api_key_here με το κλειδί που φτιάξατε στον λογαριασμό σας προηγουμένως.

Στην νέα έκδοση v26.05.27:

  1. Προστέθηκε spinner για να υποδείξει τον χρόνο αναμονής απόκρισης API
  2. Βελτιωμένος χειρισμός σφαλμάτων για την εμφάνιση ακατέργαστων μεταδεδομένων σφαλμάτων API
  3. Ενημέρωση README.md να αντικατοπτρίζει τις αλλαγές στη ρύθμιση του κλειδιού API και στο προεπιλεγμένο μοντέλο
  4. Επικαιροποιήθηκαν οι καταχωρήσεις μοντέλων στο αρχείο.models για τα διαθέσιμα δωρεάν μοντέλα και τις περιγραφές τους
  5. Προστέθηκε script για να ελέγξετε τις δωρεάν καταχωρήσεις μοντέλων στο OpenRouter και να με ενημερώσετε αν χρειάζεται να κάνω αλλαγές στα διαθέσιμα μοντέλα :P
2 «Μου αρέσει»
2

Να υποθέσω ότι μιλάμε για “χαζά” μοντέλα, έτσι;

3

@cerebrux Πως επιλέγουμε το επιθυμητό μοντέλο;

το θέμα είναι να είναι διαθέσιμα. Το owl μιλάει πολύ καλά ελληνικά και το laguna δεν έχει πρόβλημα με τον κώδικα.

1 «Μου αρέσει»
4

Δεν ξέρω πως εννοείς “χαζα” μοντέλά :smiling_face: αλλα τα δωρεάν δουλεύουν μια χαρά : openrouter.ai/.models at main · SynergOps/openrouter.ai · GitHub δες τα ‘ονοματα’ και θα καταλάβεις οτι δεν ειναι άχριστα.

1 «Μου αρέσει»
5

Σαφώς και μιλάει καλά ελληνικά. Το θέμα είναι πως τα γράφει.
Samples σε απλή ερώτηση:

Ο Flatpak και Snaps είναι δύο προγραμματισμέносиκοντές φάκελ Greek (APK) που χρησιμοποιομενοί για την διάθεση και τη βελτίωs τήρηση επιτérματικής όλης φωτού Linux, αλλαγές για διάφορες υπόλοιπα πλαίσια: Arch Linux, Ubuntu, Manjaro και Mint μπροχθέν.

llms
llms1275×383 42.3 KB

Είναι το κλασικό παράδειγμα όπου ένα μικρό μοντέλο (Phi-3.5) χάνει τη μπάλα με τα ελληνικά επειδή προσπαθεί να στριμώξει την πληροφορία σε πολύ λίγες παραμέτρους.

Βέβαια, αν η συζήτηση διεξάγεται στα αγγλικά τα πράγματα αλλάζουν αφού ακόμα και ένα ταπεινό μοντέλο όπως ο i5-8500T θα δώσει απαντήσεις επιπέδου πανεπιστημίου σε αυτή την περίπτωση.

@cerebrux εσείς οι ΠΑΟΚτζήδες μπορεί να έχετε NVDIA. Εμεις, εδώ στα νοτιοδυτικά, αρκούμαστε στις ταπεινές AMD και Intell άρα, Llama 3 και Mistral (7B) να είναι μονόδρομος ακόμα και με 32άρα ram.

2 «Μου αρέσει»
6
  • Νέα έκδοση: 26.08.03 : Ενημέρωση του προεπιλεγμένου μοντέλου σε «openrouter/free»

ο openrouter/free είναι ένας δρομολογητής (router) που επιλέγει τυχαία δωρεάν μοντέλα από τα διαθέσιμα μοντέλα στο OpenRouter. Ο δρομολογητής φιλτράρει αυτόματα τα μοντέλα που υποστηρίζουν λειτουργίες απαραίτητες για το αίτημά σας, όπως κατανόηση εικόνας, κλήση εργαλείων, δομημένες εξόδους και άλλα. Στην περίπτωση μας, επιλέγει τα κατάλληλα για chat.

Οπότε με την νέα αυτή έκδοση, ακόμα και αν ο χρήστης βάλει μονο το Openrouter API Key του και ΔΕΝ δώσει μοντέλο ή ΔΕΝ ξερει/θέλει να δώσει, με το σύστημα αυτό θα γίνει αυτόματα επιλογή κατάλληλου LLM

3 «Μου αρέσει»