Gemini برای اندروید دو ویژگی جدید دریافت می کند که به کاربران امکان می دهد در مورد صفحه نمایش فعلی تلفن هوشمند خود سؤال بپرسند. این ابزارها که «درباره این صفحه بپرسید» و «در مورد این ویدیو بپرسید» نام دارند، یک اسکرین شات می گیرند و محتوای صفحه را پردازش می کنند. سپس، هنگامی که کاربر از شما خواسته می شود، می تواند با اطلاعات مرتبطی که کاربر به دنبال آن است، پاسخ دهد. ویژگی ویدیویی که به نظر می‌رسد فقط با YouTube سازگار است، می‌تواند خلاصه‌های ویدیویی را نیز ارائه دهد، مشروط بر اینکه زیرنویس‌هایی به ویدیو اضافه شده باشد.
Gemini اکنون به کاربران اجازه می‌دهد درباره صفحه نمایش خود سؤال بپرسند
هنگامی که کاربر دستیار هوش مصنوعی را احضار می کند، در بالای پنجره شناور Gemini ظاهر می شود. کسانی که به این ویژگی دسترسی دارند، یک نوار مستطیلی جداگانه با متن “Ask about this screen” و یک نماد اسکرین شات مشاهده خواهند کرد. اگر Gemini هنگام پخش یک ویدیو در YouTube فعال شده باشد، متن با “Ask about this video” و نماد YouTube جایگزین می شود.
با ضربه زدن روی نماد “Ask about this screen” یک اسکرین شات موقت در Gemini می گیرد و سپس کاربر می تواند هر سوالی در مورد صفحه بپرسد.
پاسخ ها فقط بر اساس آنچه که هوش مصنوعی می تواند در اسکرین شات ببیند خواهد بود، با این حال، کاربران همچنین می توانند از Gemini بخواهند برای یافتن اطلاعات بیشتر به اینترنت دسترسی پیدا کند. یکی از موارد استفاده از آن می تواند درخواست یک خلاصه کوتاه از یک مقاله خبری باشد.
برای پرسیدن یک سوال بعدی، کاربران فقط می توانند روی نماد میکروفون یا نماد صفحه کلید در پایین پنجره شناور ضربه بزنند. قابل ذکر است که اسکرین شات گرفته شده در دستگاه ذخیره نمی شود. علاوه بر این، اسکرین شات های طولانی با این ویژگی پشتیبانی نمی شوند.
ویژگی «درباره این ویدیو بپرسید» فقط برای یک ویدیوی YouTube که زیرنویس اضافه شده است کار می کند. در آزمایش ما متوجه شدیم که هیچ پلتفرم ویدیویی دیگری، با وجود وضعیت شرح، با این ویژگی سازگار نیست. با این حال، در یک ویدیوی YouTube، استفاده از این ویژگی به کاربران اجازه می‌دهد تا درباره ویدیو سؤال بپرسند. پاسخ ها بر اساس زیرنویس ها تولید می شوند و خود ویدیو تجزیه و تحلیل نمی شود.
