研究プロジェクト | Phygital Media Lab

Micro Elastic Pouch Motors: 弾性変形可能な小型相転移アクチュエータ
(IEEE RA-L 2021, RoboSoft 2021)

Micro Elastic Pouch Motorsは、伸縮性のあるラテックスゴム製のパウチに低沸点液体を注入して作製される、小型でやわらかい相転移アクチュエータです。低沸点液体の温度が34 ˚Cになると、パウチ内の液体が気化することで全体が膨張し、駆動します。提案した製造方法により、薄いゴム膜で直径約5 mmと小型のパウチを作製可能で、また、パウチは初期体積の86倍以上に膨らむことで最大約20 Nの力を発生させることができます。

CoVR: HMD視点映像のプロジェクタ投影によるVR体験共有システム
(SIGGRAPH Asia 2020 ETech)

HNDを装着しているユーザと、装着していないユーザの間でVR体験を共有することは、その体験ギャップを埋めるための有望なアプローチです。そこで、HMDにフォーカスフリーなレーザプロジェクタを搭載したHMDデバイスを用いて、HMD装着ユーザと非装着ユーザ間でユーザー視点の画像を投影して共有するシステム、CoVRを提案しました。それぞれのユーザに提示される画像に付加情報を加えて、視点と遠近感を考慮した画像を表示する設計手法を紹介し、その応用例を示しました。

液体金属ヒータを内蔵した全構造が柔軟な相転移アクチュエータ
(JJAP 2021, MNC 2020)

液体金属ヒータを内蔵した、全構造が柔軟、かつ小型の相転移アクチュエータを提案しました。ワイヤーモールディングにより作製した微細な中空構造に液体金属を封入することでヒータを作製し、これを低沸点液体と共にパウチ内に内蔵することで相転移アクチュエータを構成しました。これにより、本アクチュエータはヒータも含めた全体構造が高い柔軟性と曲げ耐久性を有しています。

HaPouch: 相転移アクチュエータを用いた小型かつ柔軟なウェアラブル触覚ディスプレイ
(UIST 2020 Poster, EuroHaptics 2020 Poster, Demo)

HaPouchは相転移アクチュエータとペルチェ素子を組み合わせることで全体サイズを小型化したウェアラブル触覚ディスプレイです。低沸点液体を柔軟なパウチ内に封入し、液体の相転移による膨張と収縮をペルチェ素子による加熱と冷却で制御します。また、温度・圧力センサをパウチ内部に配置することで内圧を測定し、このデータを用いて触覚ディスプレイの出力を制御することができます。

HaptoMapping: 映像への不可視な情報埋め込みによる視触覚重畳提示を用いた拡張現実感システム
(EuroHaptics 2020, SIGGRAPH Asia 2020 ETech)

様々な視覚・触覚情報の組み合わせを利用することで、物理サーフェス上に視触覚が重畳された感覚を提示することができる投影ベースの視触覚拡張現実感システム、HaptoMappingを提案しました。HaptoMappingは、高速プロジェクタとウェアラブル触覚ディスプレイで構成されており、システムは空間分割型可視光通信 (PVLC) を用いることで、ユーザには知覚できない制御信号を投影画像に埋め込み、これにより触覚ディスプレイを制御します。

車椅子ユーザのための頭部方向を用いた投影領域制御による投影バーチャルハンドインタフェース
(SICE JCMSI 2021, SICE 2020)

投影バーチャルハンドインタフェースにおいて、ユーザの頭部方向を利用して投影領域を制御する車椅子システムを提案しました。提案システムは、ユーザの東武方向と、ユーザと投影面間の距離を測定し、この位置関係を考慮して、プロジェクタのパン・チルト回転を制御します。ユーザは頭を回転させるだけで投影領域を操作できるため、この操作を手を使ったハンド操作と同時に行うことができます。

Laser Pouch Motors: レーザー熱投影によるワイヤレス・選択的な相転移アクチュエータ駆動
(IEEE RA-L 2020, RoboSoft 2020)

レーザー熱投影によって複数の相転移アクチュエータをワイヤレスかつ選択的に駆動する手法を提案しました。レーザーによる選択的な熱投影を用いることで、無線でのエネルギー供給と制御の双方を同時に実現できます。これにより、電池や電気回路の付加が不要なソフトアクチュエータ駆動を達成し、またアクチュエータの位置を追跡しながらアクチュエータを同時におよび個別に駆動することで、手法の有効性を確認しました。

IlluminatedFocus: 焦点ボケを空間制御する視覚拡張メガネ
(IEEE TVCG 2020, IEEE VR 2020)

人がある対象を注視するとき、注視した対象はシャープに見え、それ以外の目からの距離の異なる対象はボケて見えます。逆に、ある対象のみシャープに見せ、他の対象をぼかしたら、人はシャープに見える対象に誘目されます。そこで、実環境の特定の対象のみをボケさせることのできるメガネを開発し、人の視覚を拡張する手法を提案しました。具体的には、焦点距離を電流制御によって高速に変調できるETL (電気式可変焦点レンズ) をメガネとして、高速プロジェクタを環境照明として利用しました。

疑似触覚フィードバックを用いた投影バーチャルハンドにおける材質感知覚操作
(IEEE Access 2020, World Haptics 2019 Poster, Demo)

ユーザの手に連動して動く仮想の手をプロジェクタから投影する投影バーチャルハンドインタフェースは、日常生活でユーザの手の届く範囲を拡張することができます。しかし、投影バーチャルハンドが実物体に重なっても、ユーザは物体に触れている感覚を得られません。そこで、投影バーチャルハンドが実物体に触れる時に、バーチャルハンドに視覚効果を付与することで、疑似触覚フィードバックによりユーザに物体の材質感を知覚させる手法を提案しました。

NavigaTorch: ハンドヘルドな可視光通信プロジェクタを用いたロボット操作インタフェース
(SIGGRAPH Asia 2019 ETech)

日常環境におけるロボットの数は増加を続けており、これらを効率的に操作、制御するインタフェースの実現は重要な課題です。NavigaTorch は、人間がプロジェクタの投影映像を動かすことによってロボットの操作が可能なインタフェースです。映像に不可視の情報を埋め込む技術である空間分割型可視光通信 (PVLC) を、小型・軽量なプロジェクタを用いて実現することで、これをユーザが手に持ち、映像を動かすことによる直感的なロボット操作を実現しました。

不可視の色振動を用いたARマーカによるスマートフォン-ディスプレイ連携
(IEEE Access 2019)

スマートフォン-ディスプレイ連携において、カメラによるARマーカ認識はその位置や角度の推定に広く用いられています。しかし、ディスプレイに表示されたマーカ画像によって、映像コンテンツの見た目が損なわれるという課題がありました。そこで、ディスプレイの各画素の色度を高速で振動させて不可視のARマーカを表示し、これをカメラで認識することで、コンテンツの見た目を損なわないスマートフォン-ディスプレイ連携を実現しました。

PILC Projector: 赤外光領域まで拡張した可視光通信プロジェクタ
(IEEE Access 2019, IEEE VR 2019 Poster)

空間分割型可視光通信 (PVLC) は映像に不可視の情報を埋め込む手法として有用ですが、可視光源の高速明滅によってデータ信号を送信するため、原理的に投影映像の画質劣化が避けられませんでした。そこで、プロジェクタに赤外光源を追加し、赤外光の明滅によってデータ信号を送信することで、映像と情報を同時、同位置に投影しつつも、投影映像の画質を保つことが可能な空間分割型赤外光通信 (PILC) を実現しました。

Dynamic PVLC: 映像と情報の動的更新を実現する可視光通信プロジェクタ
(ITE TMTA 2019, IDW 2018)

空間分割型可視光通信 (PVLC) は映像に不可視の情報を埋め込む手法として有用ですが、従来、映像とデータのエンコードはソフトウェア処理で行われていたため、PCの計算負荷とPC–プロジェクタ間の通信量は大きく、映像の品質と、映像と情報の動的更新は両立できていませんでした。Dynamic PVLCでは、DMDとLEDの同期した高速制御とPVLCのエンコードをFPGAによるハードウェア処理で実行することで、映像表現力と映像と情報の動的更新を両立を実現しました。

Touchable Wall: アクティブ音響センシングを用いた大画面タッチプロジェクションシステム
(ISS 2018 Demo)

プロジェクタの投影映像に対する操作において、手に何も持たずに、かつ画面上で直接ポインティング操作を行うことが望まれます。Touchable Wallはアクティブ音響センシングを用いた新しい大画面タッチプロジェクションシステムです。面振動アクチュエータにより非可聴帯域で平面を振動させ、その弾性特性変化を音の共鳴として取得します。この特徴量を機械学習することで、「真の」タッチ検出とその位置・圧力の推定を実現しました。

映像と連携する移動ロボットの投影型制御
(TVRSJ 2020, UbiComp 2018 Doctoral Colloquium)

映像が複数の移動ロボットと連携する形で制御されるシステムは、ユーザーに情報を表示するためのロボット環境などへの応用が注目されています。このような制御システムを実現する際に有望である、移動ロボットの投影型制御手法について、その技術基盤となる投影光通信技術や設計要件、満たすべき整合性についてまとめた上で、複合現実感システムとして実現されたアプリケーションについて紹介しました。

不可視の色振動を用いた映像への2次元コードパターン埋め込み
(ITE TMTA 2020, UIST 2018 Demo)

パブリックディスプレイの増加に伴い、QRコードなどをスマートフォンのカメラで認識することによるディスプレイ-カメラ間通信が注目されています。しかし、このような可視パターンはコンテンツ映像の見た目を損なわせてしまうという課題がありました。そこで、ディスプレイの各画素の色度を高速で振動させ、これをカメラで認識することで映像の見た目を損なわないディスプレイ-カメラ間通信を実現しました。

不可視の色振動を用いたディスプレイ映像への画素単位での情報埋め込み
(CHI 2017 LBW)

映像を、単に人間が眺めるためだけではなく、映像上で種々のデバイスを制御することでユーザインタラクションを実現する研究が注目されています。しかし、可視のマーカは映像の見た目を損ない、可視光通信による映像への不可視情報の重畳手法は高速プロジェクタが必要という課題がありました。そこで、一般的な液晶ディスプレイの映像の画素毎に不可視の情報を重畳し検出する手法を提案しました。ディスプレイの各画素の色度を高速で振動させ、この振動の有無をフォトダイオードを用いて検出することで情報を埋め込みます。

Phones on Wheels: 走行機能を備えたスマートフォンによるユーザインタラクション
(UIST 2016 Demo)

走行機能を備えたスマートフォンを使用した新しいユーザインタラクションを提案しました。スマートフォンに車輪付きのアクセサリモジュールを付加することで、スマートフォンは直線方向に移動し、十分な力で回転できるようになります。また、モジュールにはロータリーエンコーダも含まれているため、車輪を入力のためのモダリティとして使用できます。アプリケーションの提案を通じて、走行機能を備えたモバイルデバイスに向けた、ユーザインタラクションの形態を示しました。

Sensible Shadow: 触覚フィードバックを有する影を用いたユーザインタフェース
(AH 2016)

Sensible Shadowは、空間分割型可視光通信 (PVLC) を用いた映像表現と装着型触覚ディスプレイを組み合わせたシステムです。光反応型の触覚ディスプレイを装着したユーザが投影光を遮ることで、映像にユーザの影が重畳される一方、情報を受信したデバイスの高速かつ適切な触覚フィードバックにより触覚提示インタフェースとして機能します。ユーザの位置によって影の大きさが変化しても、PVLCの特性により影と触覚提示インタフェースの位置は必ず一致することが特徴です。

Phygital Field: 映像と群ロボットの協調制御による複合現実感システム
(SICE JCMSI 2018, IEEE/SICE SII 2016, SIGGRAPH Asia 2016 ETech)

Phygital Fieldは情報を重畳した映像により群ロボットを制御し、それらが協調して変化することで実世界指向の複合現実感システムです。空間分割型可視光通信 (PVLC) を用いて、映像に重畳された情報によるロボットの自己位置推定と制御を行っています。

Reconfigurable PVLC: 可視光通信プロジェクタの表現力向上に向けたデータ転送と光源制御
(TVRSJ 2016)

空間分割型可視光通信 (PVLC) は映像に不可視の情報を埋め込む手法として有用ですが、プロジェクタによって投影される映像とデータ情報を動的に更新することはできず、また映像の色階調はグレースケールでした。Reconfigurable PVLCでは、映像のフレームレートと解像度のトレードオフの再構成が可能であるため、設定によって映像とデータを動的に更新できます。加えて、フルカラーのLED光源を制御することでカラー映像の投影も実現しました。