JP6452152B2

JP6452152B2 - 顔映像実体化システム、実体化装置

Info

Publication number: JP6452152B2
Application number: JP2015031285A
Authority: JP
Inventors: 直美山下; 淳司大和; 英之中西; 一晶田中; 知也岡島
Original assignee: Nippon Telegraph and Telephone Corp; Osaka University NUC
Current assignee: Nippon Telegraph and Telephone Corp; Osaka University NUC
Priority date: 2015-02-20
Filing date: 2015-02-20
Publication date: 2019-01-16
Anticipated expiration: 2035-02-20
Also published as: JP2016154275A

Description

本発明は、異なる空間にいる相手に対して、異なる空間にいるという感覚を低減させる顔映像実体化システム、実体化装置に関する。

相手の姿を見ながら会話できるビデオ会議は、その相手を身近に感じながら会話できる一般的な遠隔コミュニケーションの方法として知られている。しかし、２次元映像として表示されるために、動作が見逃されやすいなどの課題や、相手の映像を映すディスプレイがユーザ側の空間と相手側の空間を隔てるガラス窓に相当してしまうので、依然として別々の空間にいる感覚が強いという課題があった。

そこで、非特許文献１のような遠隔ユーザのジェスチャの可視性を向上させる手法や、非特許文献２のような相手の身体を模したロボットを介して会話するロボット会議が研究されている。

山下直美他, "遠隔ユーザのジェスチャの可視性を向上させる手法の提案と評価", 情報処理学会論文誌, vol.52 No.1 97-108, Jan. 2011. Daisuke Sakamoto 他, "Andoroid as Telecommunication Medium with a Human-like Presence", Human-Robot Interaction (HRI), 2007 2nd ACM/IEEE International Conference on, 2007.

相手の身体の代替であるロボットがユーザと同じ空間に存在すれば、ビデオ会議よりも相手の存在感を強く感じられる。しかし、ビデオ会議とは異なり、相手の実際の姿をユーザに提示することができないという課題がある。

本発明は、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることを目的とする。

本発明の第１の発明は、ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムである。実体化対象データ取得装置は、対象側映像取得部、モーショントラッキング部、対象側通信部、対象側出力部を備える。実体化装置は、実体化側映像取得部、実体化側通信部、ロボット、スクリーン、投影部を備える。対象側映像取得部は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する。モーショントラッキング部は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する。対象側通信部は、実体化対象映像データと動きデータとを実体化装置に送信し、実体化装置側の映像のデータである実体化側映像データを実体化装置から受信する。対象側出力部は、実体化側映像データの映像を出力する。実体化側映像取得部は、実体化側映像データを取得する。実体化側通信部は、実体化対象映像データと動きデータとを実体化対象データ取得装置から受信し、実体化側映像データを実体化対象データ取得装置に送信する。ロボットは、動きデータにしたがって所定の顔の動きを実体化する。スクリーンは、所定の顔の動きを示せるように一部がロボットに貼り付けられている。投影部は、スクリーンに実体化対象映像データの映像を投影する。

本発明の第２の発明は、実体化対象データ取得装置と実体化装置からなる顔映像実体化システムである。実体化対象データ取得装置は、対象側映像取得部、モーショントラッキング部、対象側記録部を備える。実体化装置は、実体化側記録部、ロボット、スクリーン、投影部を備える。対象側映像取得部は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する。モーショントラッキング部は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する。対象側記録部は、実体化対象映像データと動きデータとを記録する。実体化側記録部は、実体化対象映像データと動きデータとを読み出す。ロボットは、動きデータにしたがって所定の顔の動きを実体化する。スクリーンは、所定の顔の動きを示せるように一部がロボットに貼り付けられている。投影部は、スクリーンに実体化対象映像データの映像を投影する。

本発明の顔映像実体化システムによれば、相手の実際の姿を提示できるというビデオ会議の利点と、相手の身体の代替が同じ空間に物理的に存在するというロボット会議の利点の両方を併せ持つことができるので、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることができる。

本発明の顔映像実体化システムの機能構成例を示す図。ロボットの顔の部分の例を示す図。スクリーンの例を示す図。実体化装置の全体の例を示す図。実施例１の顔映像実体化システムの処理フロー例を示す図。変形例の顔映像実体化システムの処理フロー例を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

図１に実施例１の顔映像実体化システムの機能構成例を示す。顔映像実体化システムは、ネットワーク８００を介して接続された実体化対象データ取得装置１００と実体化装置２００からなる。実体化対象データ取得装置１００は、対象側映像取得部１１０、モーショントラッキング部１２０、対象側通信部１３０、対象側出力部１４０を備える。実体化装置２００は、実体化側映像取得部２１０、実体化側通信部２３０、ロボット２４０、スクリーン２５０、投影部２６０を備える。図２にロボットの顔の部分の例を、図３にスクリーンの例を、図４に実体化装置の全体の例を示す。図４（Ａ）はスクリーンの背面側、図４（Ｂ）はスクリーンの前面側を示す図である。図５は実施例１の顔映像実体化システムの処理フロー例を示す図である。

対象側映像取得部１１０は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する（Ｓ１１０）。対象側映像取得部１１０は具体的にはカメラなどであり、音響データも一緒に取得してもよい。

モーショントラッキング部１２０は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する（Ｓ１２０）。「所定の顔の動き」とは、目、鼻、口のような対面で会話している感覚を効果的に相手に与えられるような部分の動きとすればよい。また、顔の向きや位置も「所定の顔の動き」として抽出すればよい。

対象側通信部１３０は、実体化対象映像データと動きデータとを実体化装置２００に送信し、実体化装置２００側の映像のデータである実体化側映像データを実体化装置２００から受信する（Ｓ１３０）。対象側出力部１４０は、実体化側映像データの映像を出力する（Ｓ１４０）。音響データも含まれる場合は、映像と一緒に出力すればよい。なお、対象側映像取得部１１０と対象側出力部１４０には一般的なビデオ会議装置を用いてもよい。

実体化側映像取得部２１０は、実体化側映像データを取得する（Ｓ２１０）。具体的にはカメラなどであり、音響データも一緒に取得してもよい。実体化側通信部２３０は、実体化対象映像データと動きデータとを実体化対象データ取得装置１００から受信し、実体化側映像データを実体化対象データ取得装置１００に送信する（Ｓ２３０）。

ロボット２４０は、動きデータにしたがって所定の顔の動きを実体化する（Ｓ２４０）。図２〜４に示した実体化装置２００では、「所定の顔の動き」として目の動きを実体化する例を示している。ロボット２４０の眼球２４１は、眼球のピッチ軸用サーボモータ２４６_１とヨー軸用サーボモータ２４６_２によってピッチ軸とヨー軸の動きが可能である。瞼２４２は瞼用サーボモータ２４７によって瞬きが可能である。また、首２４３は首用サーボモータ２４８によってロール軸回転ができ、腰２４４は腰用サーボモータ２４９によってロール軸回転ができる。そして、首２４３と腰２４４の動きによって、あらかじめ定めた範囲で顔の向きと位置を変更できる。

スクリーン２５０は、所定の顔の動きを示せるように一部がロボットに貼り付けられている。なお、ロボット２４０がスクリーン２５０を引っ張る動きをする場合は、スクリーン２５０は伸縮可能な材質が望ましい。投影部２６０は、スクリーン２５０に実体化対象映像データの映像を投影する（Ｓ２６０）。図２〜４に示した実体化装置２００では、スクリーン２５０は収縮性のある布であり、アクリル板２５５を覆っている。スクリーン２５０およびアクリル板２５５の真ん中付近に２つの穴２５１が設けられている。穴２５１の周辺のスクリーン（布）２５０がロボット２４０の瞼２４２に貼り付けられている。したがって、瞼２４２が開いた状態のときは眼球２４１が見え、瞼２４２を閉じると目を閉じた状態になる。また、アクリル板２５５はロボット２４０の顔部分に固定されていて、首２４３と腰２４４の動きによってスクリーン２５０全体が動くようになっている。また、スクリーン２５０の周りの投影部２６０によって投影された映像が映し出される側に外枠２７０が固定して配置されている。外枠２７０によってスクリーン２５０の縁が隠されるので、スクリーン２５０全体が動いているという感覚を与えないようにできる。顔の向きと位置の変更できる範囲は、スクリーン２５０の縁が外枠２７０で隠せる範囲とすればよい。

投影部２６０が映す映像の目の位置とロボット２４０の眼球２４１の位置が揃うように、ロボット２４０を動きデータにしたがって動作させる。なお、ロボット２４０が眼球２４１の位置を動かせないときは、投影部２６０側で映像の目の位置と眼球２４１の位置を揃えてもいい。また、投影光によって眼球２４１が影になりやすいので、眼球が明るくなるようにＬＥＤなどで明るくしてもよい。

図２〜４の実体化装置２００は目を実体化したものであるが、目だけでなく鼻や唇など他の顔面部位を実体化することも可能である。目を実体化した場合、相手がユーザ側の空間を見ていることを明確にできるため、対面で会話している感覚を効果的に強化できる。ロボット会議においても同様の効果が得られる可能性があるが、相手の外見をロボットで再現するためには、その人に合わせてロボットを１つ１つ設計しなければならず、コストの面から一般に普及させることは困難である。これに対し、本発明では、人により差が小さい顔面の一部のみをロボットで実体化するため、平均的な形状のロボットを量産することでコストを大幅に削減することができる。さらに、実体化部以外は映像であるため、相手の現在の服装等も提示することが可能である。

このように、本実施例の顔映像実体化システムによれば、相手の実際の姿を提示できるというビデオ会議の利点と、相手の身体の代替が同じ空間に物理的に存在するというロボット会議の利点の両方を併せ持つことができるので、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることができる。さらに、双方向の通信を行っているので、実体化対象データ取得装置１００側の動作や発言に基づいてロボット２４０が動く。よって、より別々の空間にいる感覚を低減できる。さらに、双方にモーショントラッキング部、ロボット、スクリーン部、投影部を備えれば、遠隔地間で互いに実体化装置を見ながら会話ができる。

［変形例］
実施例１では、実体化対象データ取得装置と実体化装置とが通信を行う例を示した。本変形例では、実体化対象データ取得装置で記録したデータに基づいて実体化装置が動作する場合を示す。本変形例の機能構成例も図１に示す。ただし、本変形例では、実体化装置側の映像を実体化対象データ取得装置側に送らないので、必要な構成部が少ない。本変形例の処理フロー例は図６に示す。

本変形例の顔映像実体化システムは、実体化対象データ取得装置３００と実体化装置４００からなる。実体化対象データ取得装置３００は、対象側映像取得部１１０、モーショントラッキング部１２０、対象側記録部３９０を備える。実体化装置４００は、実体化側記録部４９０、ロボット２４０、スクリーン２５０、投影部２６０を備える。

対象側映像取得部１１０は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する（Ｓ１１０）。モーショントラッキング部１２０は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する（Ｓ１２０）。対象側記録部３９０は、実体化対象映像データと動きデータとを記録する（Ｓ３９０）。実体化側記録部４９０は、通信、郵送などの手段で実体化対象データ取得装置３００から、あらかじめ実体化対象映像データと動きデータを受け取り、記録しておく（Ｓ４９０）。ロボット２４０は、動きデータにしたがって所定の顔の動きを実体化する（Ｓ２４０）。スクリーン２５０は、所定の顔の動きを示せるように一部がロボットに貼り付けられている。なお、ロボット２４０がスクリーン２５０を引っ張る動きをする場合は、スクリーン２５０は伸縮可能な材質が望ましい。投影部２６０は、スクリーンに実体化対象映像データの映像を投影する（Ｓ２６０）。

対象側映像取得部１１０、モーショントラッキング部１２０、ロボット２４０、スクリーン２５０、投影部２６０の実現方法は実施例１と同じであり、図２〜４を用いた説明と同様に実現すればよい。したがって、実体化対象データ取得装置３００側の動作や発言に応じた動きを確認できないが、それ以外の効果は実施例１と同じである。

１００、３００実体化対象データ取得装置１１０対象側映像取得部
１２０モーショントラッキング部１３０対象側通信部
１４０対象側出力部２００、４００実体化装置
２１０実体化側映像取得部２３０実体化側通信部
２４０ロボット２５０スクリーン
２６０投影部２７０外枠
３９０対象側記録部４９０実体化側記録部
８００ネットワーク

Claims

ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを前記実体化装置に送信し、前記実体化装置側の映像のデータである実体化側映像データを前記実体化装置から受信する対象側通信部と、
前記実体化側映像データの映像を出力する対象側出力部と、
を備え、
前記実体化装置は、
前記実体化側映像データを取得する実体化側映像取得部と、
前記実体化対象映像データと前記動きデータとを前記実体化対象データ取得装置から受信し、前記実体化側映像データを前記実体化対象データ取得装置に送信する実体化側通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
顔映像実体化システム。
映像のデータである実体化側映像データを取得する映像取得部と、
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとを受信し、前記実体化側映像データを送信する通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
実体化装置。
実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを記録する対象側記録部と、
を備え、
前記実体化装置は、
前記実体化対象映像データと前記動きデータとを読み出す実体化側記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
顔映像実体化システム。
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとをあらかじめ記録しておく記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
実体化装置。
ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを前記実体化装置に送信し、前記実体化装置側の映像のデータである実体化側映像データを前記実体化装置から受信する対象側通信部と、
前記実体化側映像データの映像を出力する対象側出力部と、
を備え、
前記実体化装置は、
前記実体化側映像データを取得する実体化側映像取得部と、
前記実体化対象映像データと前記動きデータとを前記実体化対象データ取得装置から受信し、前記実体化側映像データを前記実体化対象データ取得装置に送信する実体化側通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
顔映像実体化システム。
映像のデータである実体化側映像データを取得する映像取得部と、
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとを受信し、前記実体化側映像データを送信する通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
実体化装置。
実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを記録する対象側記録部と、
を備え、
前記実体化装置は、
前記実体化対象映像データと前記動きデータとを読み出す実体化側記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
顔映像実体化システム。
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとをあらかじめ記録しておく記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
実体化装置。