Η Google Cloud δίνει πρόσβαση στο κοινό, σε δύο παραλλαγές του κορυφαίου μοντέλου Τεχνητής Νοημοσύνης της – το Gemini 1.5 Flash και το Pro, σύμφωνα με το Venture Beat.
Το πρώτο είναι ένα μικρό πολυτροπικό μοντέλο με παράθυρο 1 εκατομμυρίου συμφραζομένων, που αντιμετωπίζει καθήκοντα υψηλής συχνότητας. Παρουσιάστηκε για πρώτη φορά τον Μάιο στο Google I/O. Το δεύτερο, η πιο ισχυρή έκδοση του LLM της Google και έκανε το ντεμπούτο του τον Φεβρουάριο, πριν αναβαθμιστεί σημαντικά ώστε να περιέχει ένα παράθυρο 2 εκατομμυρίων συμφραζομένων. Αυτή η έκδοση είναι πλέον ανοιχτή σε όλους τους προγραμματιστές.
Η κυκλοφορία αυτών των παραλλαγών του Gemini έχει ως στόχο να δείξει πώς το έργο Τεχνητής Νοημοσύνης της Google, δίνει τη δυνατότητα στις επιχειρήσεις να αναπτύξουν «συναρπαστικές» λύσεις Τεχνητής Νοημοσύνης.
Κατά τη διάρκεια συνέντευξης Τύπου, ο διευθύνων σύμβουλος του Google Cloud, Thomas Kurian, υπoγράμμισε ότι η εταιρεία βλέπει «απίστευτη δυναμική» με τις προσπάθειες δημιουργικής Τεχνητής Νοημοσύνης, με οργανισμούς όπως οι Accenture, Airbus, Anthropic, Box, Broadcom, Cognizant, Confluent, Databricks, Deloitte, Equifax, Estée Lauder Companies, Ford, GitLab, GM, Golden State Warriors, Goldman Sachs, Hugging Face, IHG Hotels and Resorts, Lufthansa Group, Moody’s, Samsung και άλλοι να χτίζουν στην πλατφόρμα της.
Ο ίδιος αποδίδει αυτή την αύξηση της υιοθέτησης στον συνδυασμό των δυνατοτήτων που έχουν τα μοντέλα της Google και της πλατφόρμας Vertex της εταιρείας. Θα «συνεχίσει να εισάγει νέες δυνατότητες και στις δύο αυτές παραλλαγές με γρήγορο ρυθμό», τονίζει.
Η Google απελευθερώνει επίσης την προσωρινή αποθήκευση συμφραζομένων και την παροχή ρυθμού μετάδοσης, με νέες δυνατότητες μοντέλων που έχουν σχεδιαστεί για να βελτιώσουν την εμπειρία των προγραμματιστών.
Gemini 1.5 Flash
Το Gemini 1.5 Flash προσφέρει στους προγραμματιστές μικρότερη καθυστέρηση, ταχύτερη επεξεργασία εγγράφων και ρομπότ που μπορούν να συνθέσουν ολόκληρα αποθετήρια κειμένου.
Η Google ισχυρίζεται, κατά μέσο όρο, ότι το Gemini 1.5 Flash είναι 40% ταχύτερο από το GPT-3.5 Turbo όταν του δίνεται μια είσοδος 10.000 χαρακτήρων. Έχει τιμή εισόδου τέσσερις φορές χαμηλότερη από το μοντέλο του OpenAI, με ενεργοποιημένη την προσωρινή αποθήκευση συμφραζομένων για εισόδους μεγαλύτερες από 32.000 χαρακτήρες.
Gemini 1.5 Pro
Όσον αφορά το Gemini 1.5 Pro, οι προγραμματιστές θα ενθουσιαστούν που θα έχουν ένα πολύ μεγαλύτερο παράθυρο περιβάλλοντος. Με 2 εκατομμύρια tokens, είναι μια κατηγορία από μόνο του, καθώς κανένα από τα εξέχοντα μοντέλα Τεχνητής Νοημοσύνης δεν έχει τόσο υψηλό όριο.
Αυτό σημαίνει ότι αυτό το μοντέλο μπορεί να επεξεργάζεται και να εξετάζει περισσότερο κείμενο πριν παράξει μια απάντηση από ποτέ άλλοτε. «Μπορεί να ρωτήσετε, «μεταφράστε μου το αυτό σε πραγματικούς όρους»», δηλώνει ο Kurian.
«Δύο εκατομμύρια παράθυρα συμφραζομένων, σημαίνει ότι μπορείτε να πάρετε δύο ώρες βίντεο υψηλής ευκρίνειας, να το τροφοδοτήσετε στο μοντέλο και το μοντέλο να το κατανοήσει ως ένα πράγμα. Δε χρειάζεται να το σπάσετε σε κομμάτια. Μπορείτε να το τροφοδοτήσετε ως ένα σύνολο. Μπορείτε να δημιουργήσετε σχεδόν μια ολόκληρη ημέρα ήχου, μία ή δύο ώρες βίντεο, περισσότερες από 60.000 γραμμές κώδικα και πάνω από 1,5 εκατομμύριο λέξεις. Και βλέπουμε πολλές εταιρείες να βρίσκουν τεράστια αξία σε αυτό».
Ο Kurian εξηγεί τις διαφορές μεταξύ του Gemini 1.5 Flash και του Pro και αναφέρεται στην εναρκτήρια ομιλία I/O της Google ως πρακτικό και πρόσφατο παράδειγμα. «Αν θέλατε να πάρετε ολόκληρη την κεντρική παρουσίαση -όχι τη σύντομη έκδοση, αλλά τη δίωρη κεντρική παρουσίαση- και θέλατε να την επεξεργαστείτε ολόκληρη ως ένα βίντεο, θα χρησιμοποιούσατε το [Gemini 1.5] Pro επειδή ήταν ένα δίωρο βίντεο. Αν θέλατε να κάνετε κάτι που είναι εξαιρετικά χαμηλής λανθάνουσας κατάστασης… τότε θα χρησιμοποιούσατε το Flash, επειδή έχει σχεδιαστεί για να είναι ένα ταχύτερο μοντέλο, με πιο προβλέψιμη λανθάνουσα κατάσταση και είναι σε θέση να αιτιολογήσει έως και ένα εκατομμύριο tokens».
Context caching τώρα για Gemini 1.5 Pro και Flash
Για να βοηθήσει τους προγραμματιστές να αξιοποιήσουν τα διαφορετικά παράθυρα περιβάλλοντος του Gemini, η Google εγκαινιάζει την προσωρινή αποθήκευση περιβάλλοντος σε δημόσια προεπισκόπηση τόσο για το Gemini 1.5 Pro όσο και για το Flash.
Η προσωρινή αποθήκευση πλαισίου, επιτρέπει στα μοντέλα να αποθηκεύουν και να επαναχρησιμοποιούν πληροφορίες που ήδη διαθέτουν, χωρίς να υπολογίζουν τα πάντα από την αρχή κάθε φορά που λαμβάνουν ένα αίτημα.
Είναι χρήσιμο για μακροσκελείς συνομιλίες ή έγγραφα και μειώνει το υπολογιστικό κόστος των προγραμματιστών. Η Google αποκαλύπτει ότι η προσωρινή αποθήκευση συμφραζομένων μπορεί να μειώσει το κόστος εισόδου κατά το εντυπωσιακό 75 τοις εκατό. Αυτό το χαρακτηριστικό θα γίνει πιο κρίσιμο όσο αυξάνονται τα παράθυρα πλαισίου.
Με την παροχή ρυθμού μετάδοσης, οι προγραμματιστές μπορούν να κλιμακώσουν καλύτερα τη χρήση των μοντέλων Gemini της Google. Αυτό το χαρακτηριστικό καθορίζει πόσα ερωτήματα ή κείμενα μπορεί να επεξεργαστεί ένα μοντέλο με την πάροδο του χρόνου.
Προηγουμένως, οι προγραμματιστές επιβαρύνονταν με ένα μοντέλο «pay-as-you-go», αλλά τώρα έχουν τη δυνατότητα παροχής provisioned throughput, η οποία θα τους δώσει καλύτερη προβλεψιμότητα και αξιοπιστία όταν πρόκειται για μεγάλους φόρτους εργασίας παραγωγής.
