【アプリ公開】人の行動や表情の分析を支援する深層学習による動画解析アプリケーション：未来構想デザインコースプロダクトデザイン研究室西村英伍学術研究員

九州大学芸術工学部未来構想デザインコースプロダクトデザイン研究室の西村英伍学術研究員は、機械学習による人の行動と表情の分析を実現するアプリケーションを開発しました。

デザイナーは、ユーザーを対象とした行動観察からその方々が直面している困りごとや課題を浮き彫りすることができます。しかしながら、被災地のような特殊な状況下や、高齢者のように細やかなケアが求められる現場での行動観察は現実的に困難であり、動画解析を応用したデザイナーの観察眼の自動化が望まれています。本アプリケーションは、行動観察の専門家である研究室の研究者やデザイナーが自らの観察眼を量的分析により裏付けるための手段を提供することを目的に開発されました。動画解析技術により、デザイナーや研究者はこれまで直感的に行っていた洞察を数値化し、ユーザーの行動のどこに注目すれば課題抽出に役立つかを客観的、定量的に説明できるようになります。

本アプリケーションは人の行動の数値化に必要な3つの機能を有しています。1つめは観察と分析に必要な動画中のシーンを効率よく選択するための機能。2つめは深層学習による人の姿勢や表情を検出し、数値データとして保存する機能。3つめは深層学習によって得た数値データに対して数値計算・統計処理結果を行い、グラフ描画する機能です。

アプリケーションには種々のオープンソース・ライブラリが活用され、本アプリケーション自体も無料で使用することができます。本アプリケーションのより具体的な諸機能と使用方法に発表が2021年3月16日（火）18:30 ～にオンラインで実施されます。また株式会社サムライトとの共同研究の成果も含まれています。



開発者からひとこと：
コロナ禍によりテレワーク中心の研究・開発となったが、テレワークの方がむしろ高いパフォーマンスを得られた。特に担当教員との打ち合わせやスケジュールが調整しやすくディスカッションがより密になり、一方でソフトウェア開発に集中する環境にも身を置けた点が貴重な機会になりました。