גוגל הכריזה כעת כי אחת מהתכונות המרשימות ביותר של כלי הבינה המלאכותית שלה ג'מיני, Gemini Live – המאפשרת שיתוף מסך ושימוש במצלמת המכשיר – זמינה מעכשיו ללא תשלום לכל משתמשי מכשירי האנדרואיד. היכולות המרשימות אלו של הפיצ'ר שהושק מקדם יותר החודש היו נגישות בתחילה רק למנויי Gemini Advanced, אך כעת הענקית ממאונטיין וויו החליטה להסיר את חומת התשלום ומאפשרת לכל בעלי אפליקציית ג'מיני ליהנות מהן.
הקונספט של אינטראקציה ויזואלית עם הבינה המלאכותית הוצג לראשונה במסגרת פרויקט אסטרה (Project Astra) בכנס המפתחים Google I/O 2024, שם הודגם כיצד משתמשת סורקת את סביבת המשרד שלה באמצעות הטלפון, ו-Gemini AI מזהה ומציין את האובייקטים השונים, כולל מיקום המשרד עצמו. כעת, היכולות המרכזיות שהוצגו באותה הדגמה משוחררות לציבור הרחב.
איך זה עובד?
שיתוף המסך או פיד המצלמה עם Gemini Live מתבצע בקלות רבה. בעת הפעלת Gemini Live, תופיע אפשרות חדשה בשם "שתף מסך עם Live". לאחר אישור השיתוף, יופיעו מונה קטן בשורת המצב והתרעה חדשה דמוית שיחת טלפון. המשתמשים יכולים להמשיך לגלוש באתרים או באפליקציות, תוך כדי שיחה עם הצ'אטבוט, ולסיים את השיתוף בכל עת דרך תפריט ההתרעות.
לשם שימוש בתכונות המצלמה החדשות, יש להפעיל את Gemini Live במצב מסך מלא, ואז יופיע אייקון מצלמה משמאל למיקרופון. לחיצה על האייקון תפתח חלון תצוגה מקדימה חי, עם אפשרות לעבור בין עדשות שונות. מומלץ לשמור על תנועות יציבות בזמן השימוש ולוודא שהמסך נשאר פעיל, אחרת Gemini Live יכבה. חוויית השימוש מועשרת בתוספת תגובות רטט מוחשיות בזמן אמת.
היתרון המרכזי של שיתוף המסך והמצלמה הוא היכולת של ג'מיני לנתח באופן ישיר את מה שמוצג על המסך או מול המצלמה. לדוגמה, משתמש יכול לצלם צמח ולשאול את הצ'אטבוט מהו. גוגל אף הדגימה כיצד אדם בגן חיות ימי, שמכונה אקווריום, יכול לצלם כריש ולשאול את הבוט מהו זן הכרישים שאליו הוא משתייך, ולאחר מכן להפנות את המצלמה לדגים אחרים ולהמשיך לשאול שאלות נוספות ו/או נלוות את הכלי.
לדברי גוגל, שהודיעה על השינוי וביטול העלות בחשבון ה-X שלה, בחברה קיבלו "פידבק נהדר על Gemini Live עם שיתוף מצלמה ומסך, ולכן החלטנו להביא אותו ליותר אנשים".
We’ve been hearing great feedback on Gemini Live with camera and screen share, so we decided to bring it to more people ✨
Starting today and over the coming weeks, we're rolling it out to *all* @Android users with the Gemini app. Enjoy!
PS If you don’t have the app yet,… https://t.co/dTsxLZLxNI
— Google Gemini App (@GeminiApp) April 16, 2025
ללכת עם ג'מיני יד ביד
איישה שת', מנהלת מוצר בכירה באפליקציית ג'מיני, תיארה את התכונה כ"כלי כה נפלא, איתו תוכלו לשוחח עם בינה מלאכותית, יד ביד. דרך עדשת המצלמה או המסך, אתם משתפים את נקודת המבט שלכם, ו-ג'מיני יעזור לכם, זה נכון. מחדרים מבולגנים ועד חסימות יצירתיות, הוא מציע הדרכה, באמצעות שיחות מועילות".
אם עדיין לא הבנתם במה מדובר נספר כי ישנן דרכים רבות בהן משתמשים יכולים להפיק תועלת מהתכונה החדשה. ניתן להשתמש בה כדי לקבל הצעות לארגון חללים מבולגנים בבית, על ידי צילום המקום ושיתוף התמונה עם ג'מיני. היא יכולה לסייע בסיעור מוחות לפרויקטים יצירתיים, על ידי שיתוף תמונות שונות לשם קבלת רעיונות. אם למשל יש לכם בעיה טכנית – כמו מכשיר שמסרב לפעול ונדלקה בו נורית לא מוכרת – ניתן להראות ל-ג'מיני את הבעיה באמצעות המצלמה ולקבל ממנו הדרכה לפתרון שלה. בנוסף, תוכלו למשל לצלם לג'מיני אזור בו אתם נמצאים ולקבל ממנו עצות על מקומות סמוכים בתחום עניינכם.
הכלי יכול לשמש כעוזר אישי בזמן קניות מקוונות על ידי שיתוף המסך בעת הגלישה באתרי האיקומרס, וקבלת חוות דעת על מוצרים או בגדים שאתם מתעניינים ברכישתם. בנוסף, ניתן לקבל משוב על עבודות שונות, כמו פוסטים בבלוג או קמפיינים ברשתות חברתיות, על ידי שיתוף המסך עם ג'מיני שיחסוך לכם העתקת הטקסט ושיתופו לצד שיתוף נפרד של תמונות יעלו איתו.
מיותר לציין שאלו רק דוגמאות קטנות וענייניות לפעילות הכלי ולמעשה היעילות הרבה ביותר שלו עבוכם תהיה כנראה זו שתהגו לבדכם ושתענה ספציפית לצורך אישי מיידי שלכם.
חשוב לציין כי Gemini Live עם שיתוף מצלמה ומסך עדיין אינו זמין לחשבונות ארגוניים וחינוכיים. כמו כן, גוגל ממליצה למשתמשים לבדוק את דיוק התגובות המתקבלות. השימוש דורש חיבור לאינטרנט וזמין במדינות נבחרות למשתמשים מעל גיל 18, אך שהתכונה אמורה להגיע לכל המשתמשים עד סוף אפריל.
הפוסט גוגל שחררה את יכולות שיתוף המסך והמצלמה של Gemini Live בחינם הופיע ראשון באנשים ומחשבים - פורטל חדשות היי-טק, מיחשוב, טלקום, טכנולוגיות