開発者の皆様こんにちは。先日のWebinar「ベクトルであそぼう!」では、以下の内容でデータをベクトル化することの可能性をご紹介しました。
写真から魚の名前をあててみる
- マルチモーダルモデル CLIP を利用して画像によるテキストの検索
ベクトルを「見える化」する
- ベクトルを次元削減して 3 次元ベクトルに変換し、可視化
データの集まりを見る
- K-Means によるデータのクラスタリング
変なデータ (=アノマリ) を見つける
- K-Means による教師なしアノマリ検知や半教師ありアノマリ検知
一番お伝えしたかったのは 「データをベクトルに変換することで、データ利活用の幅が大きく広がる」 ということです。
本記事ではマルチモーダルAIおよびCLIPについておさらいし、Webinarでは時間の都合で触れきれなかったTips - モダリティギャップというマルチモーダルモデル特有の現象についてお伝えします。
なお筆者は AI/機械学習の専門家ではありませんが、機械学習を利用したプロダクト・プロジェクトに携わり親しんでまいりました。ご質問・ご指摘などありましたらお気軽にコメント欄からお願いします。
マルチモーダル AI
近年、AI 分野では マルチモーダル AI が大きな注目を集めています。
「モーダル」とはデータの種類のことを指します。