まずはGemini APIを取得する
本アプリは目の不自由な方に代わってテレビ画面に映るシーンを音声で説明してくれるものです。できるだけ精度の高いモデルを使用したいです。そこで画像認識では定評のあるGoogle Geminiを使用しています。
APIキーの取得方法は別記事にまとめていますので、初めてGemini APIを利用する方はこちらをお読みください。
Google Gemini APIキーの取得方法
Gemini APIキーをセットする
アプリをスタートしたら、まずはAPIキーの設定を行ってください。画面右上のギアアイコンをタップすると設定画面に遷移します。
APIキーの入力欄に取得したキーを貼り付けて、「保存」ボタンをクリックしてください。終わったら「戻る（＜）」をタップしてメイン画面に戻ってください。
テレビ画面にカメラを向けてセットする
「画面キャプチャーをスタート」ボタンをクリックして、スマホを横に持ちながらカメラをテレビやYouTubeなどの画面に向けてください。カメラの方向がずれていると音声で「少し上に向けてください」などの指示を出してくれますので、それに従ってください。
「その位置でお願いします」という音声が聞こえたら準備完了です。
三脚やスタンドにセットするのがベスト
画面のセットが完了した後で多少ずれても全く問題ありません。ずれすぎると再度位置設定の指示が出てきます。
長い間手でスマホを持ち続けるのは大変なので、三脚やジンバルなどのスタンドに置いておくことをおすすめします。
自動シーン解説を聞く
画面セットが完了するとすぐにシーン解説が始まります。
- 「オフィス街で話をする男女」
- 「古風な台所に立って窓の外を見る女性」
- 「たくさんのモニターが並ぶオフィス」
大きくシーンが変わるたびに音声で説明してくれます。ただ、同じ場所でカットが変わっただけなら反応しないようになっています。ここが「AIの判断」を活用しているポイントです。
「今何が起きているの？」を聞く
カットの変更はパスすると言っても、時には何が起きているのか知りたいこともあります。そんなときは一番右のボタン、「今何が起きているの」ボタンをタップしてください。押した瞬間から5秒前までのシーン説明をしてくれます。この機能は好きなタイミングで使用できます。
日本語キャプション読み上げをする
日本語でのやりとりは聞いていればよいですが、たまに外国語の台詞が出てきて、その際には日本語訳のキャプションが出てきます。目の不自由な方にはこれが全く理解できません。そこで、外国語の台詞が出てきたら一番左の「キャプション読み上げ」ボタンをタップしてください。
残念ながら短い台詞のやりとりだとすぐに終わってしまうので、巻き戻しが必要な時もあります。「外国語の台詞を自動検知して翻訳キャプションが出てきたら読み上げる」という機能は、今後のアップグレード作業で実装していきたいですね！
「この俳優さん誰？」は“ベータ版”
これは特別に実装した機能で、ボタンを押すとそこに映っている俳優さんの名前を教えてもらえる機能です。しかしこれには注意が必要です。
まず、これは目の不自由な方のための機能ではありません。なぜなら、役者の顔のアップが出てこないとうまく認識してくれないからです。画面がきちんと見えていないとこのボタンを押すタイミングがわかりません。
ボタンをタップすると最長5秒ほど待って、その間に役者の名前が認識できるかどうかを確かめます。顔が小さかったり、横を向いていて認識不能であればビープ音だけで終わります。もしうまくいけば、「画面に映っているのは橋本環奈さんです」などと教えてくれます。
⚠️使い過ぎに注意
役者名検知ボタンは何度でも押せますが、それぞれの処理でGemini APIを使用します。カットが早い場合はなかなか検知できるタイミングにならず、何度も失敗するケースもあります。この機能は役者の正面からの顔がしっかり映っている場面に絞って利用することをお勧めします。
予想API利用料を教えてくれます
キャプチャーを終了するにはスマホを縦に持って、ストップボタンを押してください。メイン画面に戻ると同時に、そのセッションで利用したAPI利用料を予測して教えてくれます。
メイン画面の上部に＄アイコンがあるので、それを押すとこれまで利用したAPI料金（予測）を確かめることができます。
