OpenAIのChat GPT、GoogleのGemini、MetaのMeta AI（Llama）など、生成AI（ジェネレーティブAI）がいまや大きな話題を呼んでいます。
そのようななか、本記事ではちょっと変わった生成AIツール、「arGPT（現：Noa）」を紹介します。
arGPT（現：Noa）とは、スマートグラス上でChatGPTを動かせるアプリケーション
（出典：Brilliant Labsがスマートグラスで使えるChatGPT ”arGPT” を発表。｜Brilliant Labs Pvt. Ltd.）
2023年8月、シンガポールのARスタートアップ企業・Brilliant Labs（ブリリアントラボ）はiOS対応アプリケーション「arGPT」を発表しました。これは同社が開発したヘッドアップディスプレイ「Monocle」（モノクル）上でChatGPTを動かすアプリケーションです。
さらに同年10月、arGPTのリブランディングを実施。
マルチモーダル生成AI（文字だけでなく、画像や音声、動画など、さまざまな情報源を組み合わせて処理できるAIのこと）の「Noa」として、以降は開発を進めていくことを表明しました。
Brilliant Labsはその後、2024年2月にスマートグラス「Frame」（フレーム）を新たに発表。Frameに合わせて「arGPT」改め「Noa」も大幅にアップグレードし、現在「Noa for Frame」の名称でiOS/Android用アプリを配信しています。
以降は、arGPTについて、リブランディング後の名称『Noa』に統一して説明します。
「Noa」に搭載されている機能はさまざま
「Noa」は、Noaをダウンロードしたスマホと、MonocleやFrameをBluetooth接続することで作動し、AIアシスタントとして次のことができます。
- 情報検索
- 多言語翻訳
- 文書作成
- 健康管理サポート
これらは、ネット上にある情報を検索するだけではなく、MonocleやFrameに搭載されているカメラや、マイクを通じて得られた映像や音声を参照して、より的確にユーザーの役に立つ情報提供をおこなっています。
リブランディング以前の「arGPT」はChatGPTだけを動かすアプリケーションでしたが、「Noa」ではChatGPTのほか、Perplexity（検索AI）やWhisper（音声認識AI）なども使えるようになっています。
「Noa」に対応したデバイスは2種類ある
「Noa」は冒頭で解説した「Monocle」と「Frame」の2つのデバイスで利用可能です。それぞれのデバイスについて特徴を解説します。
- Monocle
- Frame
Monocle
（出典：Brilliant Labsがスマートグラスで使えるChatGPT ”arGPT” を発表。｜Brilliant Labs Pvt. Ltd.）
Monocle（モノクル）はBrilliant Labsが最初に開発したデバイスで、メガネのフレームにクリップで取り付ける単眼のレンズ型キットです。
「Brilliant AR Studio」というMonocle用アプリ開発ソフトを使用して専用アプリを開発することで、Monocle上でNoaを動作させることができます。
Monocleのソフトウェア開発には3,000人近くの開発者が参加し、人の顔と名前の認識や楽器演奏の習得、聴覚障害者の音の識別を支援するなど、さまざまな目的に合わせて開発が行われています。
レンズの中にディスプレイやカメラ・マイクなどが内蔵されており、BluetoothでスマホやPCと接続して使用します。ディスプレイ解像度は640×400ピクセル、視野角は20度。カメラは720p（1280×720ピクセル）で撮影が可能。重さは15グラムです。
ただしMonocleは初回ロットの時点で即完売し、現在も再販の予定は未定です。
Frame
（出典：Brilliant Labs、マルチモーダルAI機能を備えたAIグラス「Frame」を発売 。NianticのCEO、ジョン・ハンケも支援｜Brilliant Labs Pvt. Ltd.）
Frame（フレーム）はMonocleに続くBrilliant Labsの製品で、右目のレンズにディスプレイ機能を備えたスマートグラスです。2024年2月に発表され、米国に続き同年5月中旬には日本を含む全世界で販売を開始しました。
FrameはMonocleと同じく、BluetoothでスマホやPCと接続して使用します。スマホへの接続ではアプリケーションである「Noa for Frame」を使用します。
Frameにはディスプレイのほか、カメラやマイクが内蔵されており、ディスプレイ解像度は640×400ピクセル、視野角は20度。カメラは720p（1280×720ピクセル）で撮影が可能。重さは39グラムと軽量です。
「Monocle」「Frame」を用いたNoaの利用イメージ
それでは実際にMonocleやFrameの利用シーンを見てみましょう。Brilliant Labsの公式YouTubeチャンネルや公式Xアカウントなどで公開されている動画のなかからいくつかご紹介します。
「Monocle」の利用イメージ
知人とののんびりしたひととき、「ポテトチップス発祥の地はどこか？」という話題に。ひとりは「イギリスじゃないか」と言い、もうひとりは「違うよ」という身振りをします。
話題を振った人物はMonocleを着けており、彼の発言に反応してAIが回答を自動で検索。出てきた回答を読み上げ、知人2人がそれぞれに反応を見せます。日常会話のなかで、ハンズフリーで使えるMonocleの特徴をよく表した動画です。
say goodbye to awkward dates and job interviews ☹️
— Bryan Chiang (@bryanhpchiang) March 26, 2023
we made rizzGPT -- real-time Charisma as a Service (CaaS)
it listens to your conversation and tells you exactly what to say next 😱
built using GPT-4, Whisper and the Monocle AR glasses
with @C51Alix @varunshenoy_ pic.twitter.com/HycQGGXT6N
スタンフォード大学の学生による動画。まだarGPTが登場する前、MonocleとChatGPT（GPT-4）、音声認識AIのWhisperを独自に組み合わせたシステムで、就職活動の模擬面接をするというものです。
「Frame」の利用イメージ
Frameを着用した撮影者が、チベットのラマ寺院へ向かう様子を収めた動画。道中の道案内や、目に映ったものをNoaに質問して回答させる、といった使いかたをしています。
Monocle同様、一連の動作はすべてハンズフリーで行っています。
スマホの画面に映った数式をFrameのカメラで読み取り、Noaがそれに回答する、という動画です。注目したいのは、Frameを着けた人物は数式を読み上げていないということ。
音声による質問なしに、Noaが画像から問題文を読み取り、正解を答えているのは驚きです。
「Noa」として、今後どのように進化を遂げていくのか？
現状、「Noa」はChatGPTだけでなく、PerplexityやWhisperなど、複数の生成AIに接続できます。ユーザーの質問に対してさらに正確・的確な回答ができるようになるでしょう。
またBrilliant Labsでは、Frame上で動く独自のアプリを開発するためのツールなども用意しています。開発者が作成した独自アプリをNoa上で使えるようになれば、Noaをより自分好みにカスタマイズして使えるようになるかもしれません。
さらにNoaにおける便利な機能を開発し、ほかのユーザーと共有できるような仕組みも登場する可能性があります。
なお、Noaのアプリは2024年8月時点では日本語化されていません。アプリが日本語に対応すれば、日本国内でもNoaとFrameの利用者が増える可能性があります。
NoaをはじめとしたAI技術を活用したウェアラブルデバイスの進化で日常生活はどう変わる？
AIを搭載したスマートグラスやXRグラスなどのウェアラブルデバイスが今後普及することで、私たちの日常生活も少しずつ変わっていくでしょう。
ウェアラブルデバイスであればスマホなどとは異なり、両手を空けた状態で活動ができます。また音声による操作が増えるため、検索の仕方なども変わってくるかもしれません。
日常生活において会話音声をリアルタイムで字幕表示させることで、聴覚障がい者のサポートに使うこともできます。同様に、会話音声をリアルタイム翻訳＆字幕表示することで、異文化交流のハードルを下げられるでしょう。
ビジネスシーンであれば、遠隔地から音声や映像による指示を受けながら作業を行ったり、会議における相手の発言内容を文字で表示しながら、相手に響く言葉や情報を分析しつつ商談を進める、といった使い方ができそうです。
AIアシスタントを搭載したデバイスの活用はすぐそこまで来ている
今回紹介したarGPT（現：Noa）を含め、生成AIを活用するためのデバイスが普及し、スマートフォンのように1人1台持つ時代もそう遠くはなさそうです。
「Noa」の使用動画などを参考に、どのように活用できるかを考えてみるのも面白いかもしれません。
