JP7189406B2 - コミュニケーション装置及び遠隔コミュニケーションシステム - Google Patents

コミュニケーション装置及び遠隔コミュニケーションシステム Download PDF

Info

Publication number
JP7189406B2
JP7189406B2 JP2018235927A JP2018235927A JP7189406B2 JP 7189406 B2 JP7189406 B2 JP 7189406B2 JP 2018235927 A JP2018235927 A JP 2018235927A JP 2018235927 A JP2018235927 A JP 2018235927A JP 7189406 B2 JP7189406 B2 JP 7189406B2
Authority
JP
Japan
Prior art keywords
unit
image
line
information
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018235927A
Other languages
English (en)
Other versions
JP2019110535A (ja
Inventor
敦 岡田
浩史 森田
純一 暦本
啓介 城
崇 味八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Information Services International Dentsu Ltd
Original Assignee
University of Tokyo NUC
Information Services International Dentsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Information Services International Dentsu Ltd filed Critical University of Tokyo NUC
Publication of JP2019110535A publication Critical patent/JP2019110535A/ja
Application granted granted Critical
Publication of JP7189406B2 publication Critical patent/JP7189406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、 コミュニケーション装置及び遠隔コミュニケーションシステムに関する。
遠隔地に存在する人同士のコミュニケーションを実現するシステムとして、映像や音声を双方向に通信させてコミュニケーションを行う遠隔会議システムやテレプレゼンスシステム等が存在する。
特許文献1では、現場において実際の作業を行う作業者と遠隔地でこの作業者を監督する監督者との間の意思の疎通を図るための遠隔通信システムが提案されている。
また、人や機械が持つ能力をネットワークを介して提供し、人ができることを拡張するIoA(Internet of Abilities)という構想も提案されている。
特開平10-257475号公報 特開2011-077652号公報 特開2017-033575号公報
「共同外出の感覚を作る遠隔コミュニケーションシステム」筑波大学大学院博士課程システム情報工学研究科修士論文、張 慶椿、2011年3月、http://www.iplab.cs.tsukuba.ac.jp/paper/master/tsubaki_master.pdf、検索日:平成29年10月10日
通信装置等を介して遠隔地にいる人とコミュニケーションをとる場合、「あの車」、「そこの棚」などのように指示語を使って話をすると、何を対象として話をしているのかが分からなくなることがあった。人同士のコミュニケーションであれば、話している人の視線によって何について話しているのかが分かるが、遠隔地にいる人とのコミュニケーションでは、相手の視線が見えないため、指示語を使わず、「右前方を走っている赤い車」や「電話の横にある一番上の棚」などのように具体的に話す必要があり、円滑なコミュニケーションが図れないという問題があった。
また、初心者が熟練者のアドバイスを受けながら作業を行う場合、熟練者が何に注目しながら作業を進めるのかが重要な情報となるが、通信装置を介したコミュニケーションでは、この視線の情報が読み取れないという問題があった。
そこで、本発明は、利用者に対し、視線情報を提示する技術の提供を目的とする。
上記課題を解決するため、本発明のコミュニケーション装置は、
利用者が存在する第一の地点に設けられ、前記第一の地点から離れた第二の地点に存在する協力者によって操作される遠隔装置と通信するコミュニケーション装置であって、
第1地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る前記協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部とを備える。
上記課題を解決するため、本発明のコミュニケーションシステムは、
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられた遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
第1地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記光源のうち、前記遠隔装置から受信した視線情報に応じた前記光源を発光させる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記表示装置に表示された前記撮影画像を見る協力者から前記利用者に対するメッセージを取得するメッセージ取得部と、
前記協力者が注視している前記撮影画像内の位置を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、を備える。
前記コミュニケーション装置は、前記表示制御部が、前記遠隔装置から、前記視線情報と共に当該視線情報を生成した時刻を示す生成時刻情報を取得し、当該生成時刻情報が示す時刻から前記視線の表示を行う時刻までに変化した前記表示部の向きの変化量に基づいて、前記表示部に表示させる視線の向きを補正してもよい。
また、上記課題を解決するため、本発明のコミュニケーションシステムは、
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に存在する協力者によって操作される遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
第1地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記利用者の音声を示す音信号を前記遠隔装置へ送信する音信号送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る前記協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記音信号を受信する音信号受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記音信号に基づき、前記利用者の音声を認識し、文字列に変換する音声認識部と、
前記文字列に基づいて前記利用者の要求を判定する要求判定部と、
前記文字列に基づいて前記要求の対象を判定する要求対象判定部と、
前記要求に対応するメッセージを生成するメッセージ生成部と、
前記要求の対象を示す画像を前記撮影画像から抽出する対象抽出部と、
前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、を備える。
前記コミュニケーション装置は、前記表示制御部が、複数の前記遠隔装置からそれぞれ前記視線情報を受信し、当該視線情報に基づいて前記表示部に複数の視線を示す表示を行わせてもよい。
前記コミュニケーション装置は、前記コミュニケーション装置の少なくとも一部の位置を変えるように駆動する駆動部を備え、前記出力制御部が、前記遠隔装置から受信した動作指示情報に基づいて前記駆動部を動作させることによって、前記利用者に対する動作を行わせてもよい。
前記コミュニケーション装置は、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と重複するように前記撮影部が配置され、
複数の前記撮影部で撮影した前記撮影画像の重複部分を合成し、前記撮影画像よりも解像度の高い合成画像とする画像合成部を備え、
前記画像送信部が、前記合成画像を前記遠隔装置へ送信してもよい。
前記コミュニケーション装置は、前記遠隔装置から前記協力者の感情の種別を示す感情信号を受信した場合に、前記表示制御部が、前記感情信号が示す感情の種別に応じた発光パターンで前記光源を発光させて、前記協力者の感情を提示してもよい。
前記遠隔コミュニケーションシステムは、前記コミュニケーション装置が、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と一部重複するように前記撮影部が配置され、
前記遠隔装置が、
複数の前記撮影部で撮影した撮影画像の重複部分を合成して、前記撮影画像よりも解像度の高い合成画像とする画像合成部を更に備え、
前記表示制御部が、前記合成画像を前記表示装置へ表示させてもよい。
前記遠隔コミュニケーションシステムは、前記遠隔装置が、前記コミュニケーション装置の撮影方向を指示する指示情報を前記コミュニケーション装置へ送信する送信制御部を備え、
前記コミュニケーション装置が、前記遠隔装置から受信した指示情報に応じて、少なくとも前記撮影部の向きを変える駆動部を備えてもよい。
前記遠隔コミュニケーションシステムは、複数の協力者に関する属性情報を記憶した記憶部と、
前記利用者による入力情報、前記第一の地点における音情報、又は前記撮影部による前記撮影画像を選択用情報として取得する取得部と、
前記協力者の前記属性情報と前記選択用情報とに基づいて前記協力者を選択する選択部と、
前記選択部によって選択された前記協力者の連絡先に選択されたことを通知する通知部と、
を備えるてもよい。
本発明は、利用者に対し、視線情報を提示する技術を提供することができる。
図1は、第一実施形態に係る遠隔コミュニケーションシステムの概略構成図である。 図2は、アバターの側面図である。 図3は、アバターにおいて表示部のカバーを外した状態を示す斜視図である。 図4は、表示部の部分断面図である。 図5は、遠隔装置の表示部を備えたゴーグルの構成を示す図である。 図6は、ゴーグルをゴーストが装着した状態を示す図である。 図7は、ゴーグルの向きと注視位置との関係を示す図である。 図8は、アバターが画像や音声のデータを送信する処理を示す図である。 図9は、遠隔装置が画像や音声のデータを受信する処理を示す図である。 図10は、遠隔装置からアバターへメッセージ及び視線情報を送信する処理を示す図である。 図11は、アバターが視線情報を表示する処理を示す図である。 図12は、アバターが、視線情報に基づいて点灯させる光源を補正する処理を示す図である。 図13は、視線の方向を表示する例を示す図である。 図14は、本実施形態に係る遠隔コミュニケーションシステムの利用シーンを示す図である。 図15は、変形例1に係るアバターを示す図である。 図16は、遠隔装置から動作指示情報をアバターへ送信する処理を示す図である。 図17は、遠隔装置から受信した動作指示情報に基づいてアバターが行う処理を示す図である。 図18は、第二実施形態に係る遠隔コミュニケーションシステムの概略構成図である。 図19は、要求パターンの一例を示す図である。 図20は、第二実施形態に係る遠隔装置が、アバターから受信したデータに基づいて、メッセージ及び視線情報を生成して、アバターへ送信する処理を示す図である。 図21は、アバターの変形例2を示す図である。 図22は、変形例2の光源を示す図である。 図23は、第三実施形態に係る撮影部の構成を示す図である。 図24は、撮影範囲を模式的に示すアバターの側面図である。 図25は、撮影範囲を模式的に示すアバターの平面図である。 図26は、第三実施形態に係る遠隔コミュニケーションシステムの概略構成図である。 図27は、アバターが画像や音声のデータを送信する処理を示す図である。 図28は、合成ステップにて合成される画像の説明図である。 図29は、合成処理の対象とする被写体の一例を示す図である。 図30は、撮影レンズの収差によって歪んだ画像の一例を示す図である。 図31は、撮影レンズの収差によって歪んだ画像の一例を示す図である。 図32は、撮影画像における画像の歪みを補正した例を示す図である。 図33は、変形例3-1に係る遠隔コミュニケーションシステムの概略構成図である。 図34は、遠隔装置が画像や音声のデータを送信する処理を示す図である。 図35は、変形例3-2に係るアバターの正面図である。 図36は、変形例3-2に係るアバターの側面図である。 図37は、変形例3-2に係るアバターの平面図である。 図38は、第四実施形態に係る遠隔コミュニケーションシステムの概略構成図である。 図39は、ゴーストDBの一例を示す図である。 図40は、アバターが画像や音声のデータを送信する処理を示す図である。 図41は、管理サーバが、ゴーストを特定する処理を示す図である。 図42は、第五実施形態に係る遠隔コミュニケーションシステムの概略構成図である。 図43は、第五実施形態に係るアバターが視線情報及び感情信号に基づく表示処理を示す図である。
〈第一実施形態〉
《装置構成》
以下本発明の一実施形態を図面を用いて説明する。図1は本実施形態に係る遠隔コミュニケーションシステム100の概略構成図である。遠隔コミュニケーションシステム100は、利用者が存在する第一の地点に設けられるコミュニケーション装置1と、第一の地点から離れた第二の地点に設けられる遠隔装置2とを備える。コミュニケーション装置1は、利用者の周囲を撮影し、この撮影画像と音をインターネット等の通信回線を介して遠隔装置2へ送信する。遠隔装置2は、受信した画像や音を協力者に対して出力し、協力者からのメッセージを遠隔装置2へ送信する。これにより例えば利用者が質問し、協力者が回答するといったコミュニケーションをとることができる。この場合、コミュニケーション装置1は、協力者の分身として利用者とのコミュニケーションをとるので、以下本実施形態ではアバター1とも称する。また、アバター1を介して利用者とコミュニケーションをとる協力者は、以下ゴーストとも称する。
アバター1は、表示部10や、撮影部21、スピーカ22、マイク23、検出部24、制御部40を備えている。
表示部10は、アバター1の外面において複数方向に配列された複数の光源を有し、協力者の視線の方向を示す。なお、表示部の具体的な構成は後述する。
撮影部21は、利用者が存在する第一の地点を撮影するカメラである。ここで第一の地点とは、例えば利用者が存在する位置から見える範囲である。なお、利用者の視界と、撮影部21による撮影範囲とが完全に一致する必要はなく、撮影部21が撮影する範囲は、例えば利用者から視角となる範囲を含んでもよい。また、撮影部21は、複数備えられてもよい。
スピーカ22は、制御部40から出力される音声メッセージや音楽等の信号を音として出力する。マイク23は、利用者の周囲の音や利用者の音声を電気信号(音信号)に変換して制御部40へ入力する。検出部24は、アバター1の状態を検出するセンサーであり、例えば、GPS信号を受信して、アバター1の現在地を取得する位置検出部や、アバター1の移動方向や回転方向を検出する加速度センサー、地磁気を検出して方位を求める地磁気センサー等である。
制御部40は、CPUやメモリを有するコンピュータであり、画像送信部41や、出力制御部42、表示制御部43、音信号送信部44の処理を行う。
画像送信部41は、撮影部21で撮影した撮影画像を遠隔装置2の仕様に応じて変換すると共に、データサイズを圧縮して遠隔装置2へ送信する。ここで画像送信部41は、アバター1の前方や後方等の基準とする方位で撮影された画像の位置が、撮影画像中の何処の位置であるかが分かるように送信する。例えば、撮影部21Aで撮影した全方位画像の中心がアバター1の前方で撮影された画像の位置、撮影部21Bで撮影した全方位画像の中心がアバター1の後方で撮影された画像の位置等のように特定のフォーマットで遠隔装置2へ送信する。なお、撮影画像の変換や圧縮の処理は、必須ではなく、撮影画像をそのまま遠隔装置2へ送信してもよい。また、画像送信部41は、撮影画像の撮影位置や撮影方向等の撮影情報を撮影画像と共に遠隔装置2へ送信してもよい。
音信号送信部44は、マイク23を介して取得した、利用者の周囲の音や利用者の音声を示す音信号を遠隔装置2へ送信する。
出力制御部42は、遠隔装置2から受信したメッセージを利用者に対して出力する。本実施形態では、協力者の音声によるメッセージを遠隔装置2から受信し、スピーカ22から音声メッセージとして利用者へ出力する。なお、アバター1が、文字や画像を表示可能な表示装置を出力手段として備えている場合、出力制御部42は、遠隔装置2から協力者による文字や画像をメッセージとして受信し、この文字や画像を表示装置に表示させてもよい。また、アバター1が、バイブレータを出力手段として備えている場合、出力制御部42は、遠隔装置2から協力者による振動を指示する命令をメッセージとして受信し、この命令に従ってバイブレータを振動させてもよい。
表示制御部43は、遠隔装置2から協力者の視線に係る視線情報を受信し、表示部10に備えられた複数の光源のうち、視線情報に応じた光源を発光させて、協力者の視線の方向を利用者に提示する。このため表示制御部43は、視線情報が示す視線の方向(角度)等の値と、発光させる光源とを対応付けて、マッピング情報として記憶しておく。そして、視線情報を受信した場合に、このマッピング情報を参照し、視線情報と対応する光源を特定して発光させる。
図2は、アバター1の側面図、図3は、アバター1において表示部10のカバー14を外した状態を示す斜視図、図4は、表示部10の部分断面図である。
本実施形態のアバター1は、概ね正十二面体の外形を成す本体31と、本体31を支持する支持体32を備えている。本体31は、外形を成す十二面のうち、平行な二面に撮影部21を備え、その他の面に表示部10を備えている。
本実施形態では、利用者から前へ向かう方向を前方、この反対方向を後方とし、利用者の右手側へ向かう方向を右方、この反対方向を左方とし、利用者から上へ向かう方向を上方、この反対方向を下方とする。これらの方向は、説明の便宜のために示したものであり、アバター1の構成が、これらの方向に限定されるものではない。
図2の例では、撮影部21のうち、前方を撮影するように配置されたものを撮影部21Aとし、後方を撮影するように配置されたものを撮影部21Bとしている。撮影部21A、21Bは、それぞれ190°程度の撮影画角を有しており、それぞれで撮影した画像をつなぎ合わせることで、いわゆる全天球画像が得られる。
表示部10は、略正十二面体のカバー14と、カバー14に囲まれた略正十二面体状の基台15を有する。カバー14は、正十二面体のうち、平行な2面に撮影部21を露出させる開口が設けられている。表示部10の基台15は、五角形の基板13上に、光源としてチップ状のLED(light emitting diode)12が複数方向に配列され、このLED12の外側に乳白色のカバー14が設けられている。各LED12は、個別或は所定の単位で点灯できるように制御部40と接続されている。なお、本実施形態の表示部10は、多数のLED12を備えているため、図3では便宜上一部のLED12にのみ符号を付して、その他のLED12については、符号を省略して示している。また、以降の図についても同様である。表示部10は、液晶表示素子やELパネル等の表示素子でもよく、この場合、表示素子の各画素が光源に相当する。カバー14は、LED12から出力される光を拡散することで、この光による表示を見ることができる範囲(視野角)を広げている。
次に図1に戻って遠隔装置2について説明する。遠隔装置2は、表示部51や、スピーカ52、マイク53、検出部54、制御部60を備えている。
表示部51は、アバター1から受信した撮影画像を表示して協力者へ提示する表示装置である。
スピーカ52は、制御部60から出力される第一の地点の音や利用者の音声等の信号を音として出力する。マイク53は、協力者の音声を電気信号に変換して制御部60へ入力する。検出部54は、例えばゴーストが注視している撮影画像内の位置を検出するセンサーである。
制御部60は、CPUやメモリを有するコンピュータであり、画像受信部61や、表示制御部62、メッセージ取得部63、視線情報取得部64、送信制御部65、音信号受信部66の処理を行う。
画像受信部61は、アバター1から撮影画像を受信する。表示制御部62は、この撮影画像を表示部51に表示させる。表示制御部62は、アバター1で圧縮されたデータの伸長や、表示部51に応じて撮影画像を変換する処理を行ってもよい。
メッセージ取得部63は、表示部51に表示された撮影画像を見ているゴーストから前記利用者に対するメッセージを取得する。メッセージ取得部63は、例えば、マイク53により、ゴーストの音声をメッセージとして取得する。
視線情報取得部64は、ゴーストが注視している撮影画像内の位置を示す情報を視線情報として取得する。なお、視線情報を取得する具体的な手法については後述する。送信制御部65は、前記メッセージや視線情報等の情報をアバター1へ送信する。音信号受信部66は、アバター1から利用者の音声等を示す音信号を受信する。
図5は、遠隔装置2の表示部51を備えたゴーグル70の構成を示す図、図6は、ゴーグル70をゴーストが装着した状態を示す図、図7は、ゴーグル70の向きと注視位置との関係を示す図である。
図5の例では、ゴーグル70が、筐体内に表示部51や、マイク53、検出部54、レンズ55を備えている。レンズ55は、表示部51の表示面から射出する光束をゴーストの眼39へ導光し、網膜上に結像させる接眼レンズ系である。これによりゴーストが、当該映像を拡大された虚像として観察できるようにしている。
検出部54は、例えば角速度センサや地磁気センサであり、ゴーグル70の向き、即ち
図6のようにゴーグル70を装着したゴーストの視線の向きを検出する。制御部60は、検出部54で検出した向きに対応した映像を表示部51に表示させる。図7では、ゴーグル70を俯瞰し、水平面内において基準方向に対する右回りの角度θでゴーグル70の向きを示している。例えば、アバター1の前方に相当する方向を基準方向(0°)とした場合、右方を90°、後方を180°、左方を270°として示す。なお、アバター1において、撮影方向や表示する視線の方向を示す場合にも、図7と同様に、アバター1を俯瞰し、水平面内において基準方向に対する右回りの角度θで示す。
アバター1の撮影部21Aは、撮影レンズ(不図示)の光軸を前方(図7における0°)に向け、略190°の撮影画角で、撮影を行っている。また、アバター1の撮影部21Bは、撮影レンズ(不図示)の光軸を後方(図7における180°)に向け、略190°の撮影画角で、撮影を行っている。アバター1は、撮影部21A、21Bでそれぞれ撮影した画像をスティッチ処理して全天球画像とし、全方位(360°)の画像を記録する。そして、アバター1は、この全方位の画像を遠隔装置2へ送信する。
アバター1から撮影画像を受信した遠隔装置2は、アバター1で撮影した全方位(360°)の撮影画像のうち、ゴーグル70の向きに応じ、このゴーグルの向きを中心とした所定範囲の画像を切り出して表示部51に表示させる。例えば、表示する範囲を±30°とした場合、ゴーグル70の向きが図7に示した0°であれば、全方位(360°)の撮影画像から330°~30°の範囲の撮影画像を切り出して表示部51に表示させる。同様に、ゴーグル70の向きが90°であれば、全方位(360°)の撮影画像から60°~120°の範囲の撮影画像を切り出して表示部51に表示させる。このため、ゴーグル70を装着したゴーストは、頭部の向きを変えることで、あたかも第一の地点で周囲を見回しているかのように、周囲の状況を観察できる。制御部60は、このようにゴーストが周囲を観察しているときのゴーグル70の向きを視線情報として取得する。図7では、水平面内におけるゴーグルの向きを定義したが、垂直面内におけるゴーグルの向きについても同様に定義できる。例えば、垂直面内において基準方向に対する右回りの角度でゴーグル70の向きを示す。同じくアバター1における、撮影方向や表示する視線の方向についても、垂直面内において基準方向に対する右回りの角度で示す。制御部60は、垂直面内のゴーグル70の向きについても上記水平方向と同様に視線情報として取得し、アバター1へ送信して表示部10に表示させる。
なお、上記の例では、ゴーグル70の向きをゴーストの視線情報として取得したが、これに限らず、アバター1から受信した撮影画像を表示装置に表示させ、ゴーストが撮影画像中の注視位置をポインティングデバイスで指定し、この注視位置を視線情報としてもよい。この場合、視線情報を受信したアバター1は、例えば撮影画像上で指定された注視位置と対応する第一の地点上の注視位置を求め、アバター1の位置から当該注視位置へ向かう方向を視線の方向として表示部10に表示させる。
《遠隔コミュニケーション方法》
図8は、アバター1が画像や音声のデータを送信する処理を示す図である。アバター1が起動された場合や通信の開始が指示された場合に、アバター1は、図8の処理を開始する。ステップS10にて、アバター1は、マイク23を介して利用者の音声や周囲の音を取得し、音信号とする。
ステップS20にて、アバター1は、撮影部21から撮影画像を取得する。また、ステップS30にて、アバター1は、撮影画像を遠隔装置2の仕様に応じて変換する。例えば、広角レンズで撮影した際の歪みを補正する処理や、複数の撮影部21A,21Bで撮影した撮影画像をつなぎ合わせる処理を行う。また、ゴーストが撮影画像をゴーグル70で観察する場合、視線の方向に応じて一部の撮影画像しか表示されないため、視線方向に応じて表示範囲となる撮影画像を抽出してもよい。
アバター1は、ステップS40にて、取得した音と撮影画像のデータを圧縮し、ステップS50にて、音と撮影画像のデータを遠隔装置2へ送信する。なお、アバター1は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図8の処理を繰り返し実行する。また、アバター1は、複数の遠隔装置と通信する場合、図8の処理を並列して実行しても良いし、ステップS50にて、音と撮影画像のデータを複数の遠隔装置2へマルチキャストしてもよい。
図9は、遠隔装置2が画像や音声のデータを受信する処理を示す図である。遠隔装置2が起動された場合や通信の開始が指示された場合に、遠隔装置2は、図9の処理を開始する。遠隔装置2は、ステップS110にて、音と撮影画像のデータをアバター1から受信し、ステップS120にて、圧縮されているデータを伸長する。
ステップS130にて、遠隔装置2は、受信した音信号をスピーカ52から音として出力する。
遠隔装置2は、ステップS140にて、表示部51の仕様に応じて撮影画像を変換し、ステップS150にて、撮影画像を表示部51に表示させる。なお、遠隔装置2は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図9の処理を繰り返し実行する。
図10は、遠隔装置2からアバター1へメッセージ及び視線情報を送信する処理を示す図である。遠隔装置2が起動された場合や通信の開始が指示された場合に、遠隔装置2は、図10の処理を開始する。
ステップS210にて、表示部51に表示された撮影画像を見るゴーストの視線を示す情報を視線情報として取得する。例えば、ゴーストがゴーグル70を用いて撮影画像を観察している場合には、ゴーグル70の向きを検出し、視線情報とする。
また、遠隔装置2は、ステップS220にて、マイク53を介してゴーストの音声メッセージを取得し、ステップS230にて、音声メッセージを圧縮する。
ステップS240にて、遠隔装置2は、視線情報及び音声メッセージをアバター1へ送信する。なお、遠隔装置2は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図10の処理を繰り返し実行する。
図11は、アバター1が視線情報を表示する処理を示す図である。アバター1が起動された場合や通信の開始が指示された場合に、アバター1は、図11の処理を開始する。ステップS310にて、アバター1は、遠隔装置2から視線情報及び音声メッセージを受信する。
アバター1は、ステップS320にて、視線情報に基づいて点灯させるLED(光源)12を特定し、ステップS330にて、特定のLED12を点灯させることで、視線の方向を利用者へ提示する。
また、アバター1は、ステップS340にて、圧縮されている音声メッセージを伸張し、ステップS350にて音声メッセージをスピーカ22から出力させる。なお、アバター1は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図11の処理を繰り返し実行する。また、アバター1は、複数の遠隔装置2と通信する場合、図11の処理を並列して実行しても良い。この場合、複数の遠隔装置2からそれぞれ視線情報を取得し、当該視線情報に基づいて、表示部10に複数の視線を示す表示を行わせる。遠隔装置2
毎に、LED12の発光色や輝度、点滅パターン等を異ならせて、各視線を区別できるように表示させる。
図12は、アバター1が、視線情報に基づいて点灯させる光源を補正する処理を示す図である。アバター1は、図11に示すように、遠隔装置2から受信した視線情報に基づいて点灯させるLED12を決定しているが、例えば遠隔装置2が、視線情報を取得した時点と、この視線情報に基づいてLED12を点灯させる時点とで、アバター1の位置や姿勢が異なると、表示部10の向きが異なり、表示部10に表示させた視線に誤差が生じてしまう。このためアバター1の位置や姿勢の変化に応じて点灯させる光源を補正する。この場合、アバター1は、姿勢の変化を検出するために、例えばアバター1の向き(表示部10の向き)や撮影位置を周期的に測定し、測定時刻と共に履歴情報として記憶しておく。また、遠隔装置は、視線情報を生成した時刻を示す生成時刻情報を視線情報と共にアバター1へ送信する。そして、アバター1が起動された場合や通信の開始が指示された場合に、アバター1は、図12の処理を周期的に実行する。例えば、図11よりも短い周期で実行する。
図12を開始すると、アバター1は、ステップS405にて、遠隔装置2から受信した視線情報と生成時刻情報を取得する。また、ステップS410にて、アバター1は、現時点の位置(撮影位置)と撮影方向を取得する。
ステップS420にて、アバター1は、前記履歴情報を参照し、ステップS405で取得した生成時刻情報が示す時刻の撮影位置及び撮影方向と、ステップS410で取得した現時点の撮影位置及び撮影方向とを比較して、差分を求める。
ステップS430にて、アバター1は、視線情報に基づいて発光させる光源をステップS420で求めた差分に基づいて補正する。例えば、視線情報が示す視線の方向から、差分として求めた撮影方向の変化量を減算する。具体的には、視線情報が示す視線の方向が図7に示した基準とする方向に対して20°であって、この時点と比べて現時点の撮影方向が5°ズレた場合、これを減算して、視線の方向を15°に補正する。
ステップS440にて、アバター1は、補正した視線情報に基づいて視線の方向を表示させる。
なお、図12の例では、遠隔装置2側で生成した視線情報が示す視線の方向と、アバター1が表示する視線の方向の差を補正する例を示したが、これに限らず、例えばアバター1が、第一の地点において基準とする方位で撮影された画像の位置が、撮影画像中の何処の位置であるかが分かるように送信し、遠隔装置が、第一の地点において基準とする方位に対する方向(角度)で、視線の方向を示す視線情報を生成してアバター1へ送信する構成としてもよい。例えば、アバター1が、撮影画像を撮影したときの撮影方向を第一の地点において基準とする方位(例えば北)に対する角度(方位角)で示し、これを撮影情報として撮影画像と共に遠隔装置2へ送信する。そして、遠隔装置2は、表示させた撮影画像を見るゴーストの視線の方向を第一の地点において基準とする方位(例えば北)に対する角度(方位角)で示して視線情報を生成しアバター1へ送信する。これにより、アバター1は、視線を表示する際の姿勢が変化しても補正せずに、視線の方向を示すことができる。なお、垂直面内の向きについても水平方向や鉛直方向等の基準とする方向に対する角度で視線の方向を示して視線情報を生成する構成とすれば、アバターは、上記と同様に補正なく視線の方向を示すことができる。
図13は、視線の方向を表示する例を示す図である。図13では、点灯しているLED12を網掛けを付して示している。図13(A)~図13(C)では点灯させたLED1
2の配列方向で視線の方向を示している。
図14は、本実施形態に係る遠隔コミュニケーションシステム100の利用シーンを示す図である。図14では、利用者の肩にアバター1を装着した例を示している。図14の例では、利用者が、買い物をする際、遠隔コミュニケーションシステム100を介してゴーストと、以下のような会話をしながら商品を選んでいる。
利用者:「これかな?」
ゴースト:「いや違うよ。こっちが良いね」
このように遠隔コミュニケーションシステム100を用いることで、利用者は遠隔地にいるゴーストとコミュニケーションをとることができる。このため、利用者に商品の知識がなくても、ゴーストの知識を利用して適切に商品を選ぶことができる。
また、ゴーストの視線の方向を利用者に提示できるので、ゴーストが何を見ながら話しているのかがわかり、円滑にコミュニケーションをとることができる。
また、海外旅行等で、利用者が現地の言葉を話せず、店の人に質問できなくても、現地の言葉が話せるゴーストがアバターを介して店の人に質問し、質問の回答をゴーストが利用者へ伝えることができる。
このように、利用者が一人では解決できない問題があっても、遠隔地にいるゴーストの能力を借りて、この問題を解決することができる。一方、ゴーストにとっても、外出せずにショッピングや海外旅行を楽しむことができる。
また、ストリーミング配信を行うような場合に、遠隔コミュニケーションシステム100を用いて、他の人とコミュニケーションをとることで、他の人の客観的な意見をストリーミング内容に反映させることができる。
〈変形例1〉
図15は、変形例1に係るアバター1Aを示す図である。図15のアバター1Aは、垂直な回転軸VAを中心に本体31を回転させる回転機構33と、水平な回転軸HAを中心に本体31を回転させる回転機構34とを有している。回転機構33、34は、駆動部の一形態である。
本変形例では、ゴーストが、回転機構33、34を動作させ、この動作によって、利用者へメッセージを伝える構成としている。なお、この他の構成は、前述の実施形態と同じであるので、同一の要素には同符号を付す等して再度の説明を省略している。
遠隔装置2は、送信制御部65の機能により、アバター1Aの動作を指示する動作指示情報をアバター1Aへ送信する。図16は、遠隔装置から動作指示情報をアバター1へ送信する処理を示す図である。遠隔装置2は、ゴーストがキーボードやポインティングデバイス等の入力手段を用いて回転機構33,34を動作させる指示を入力した場合に図16の処理を開始する。
ステップS510にて、遠隔装置2は、ゴーストの操作によって入力された回転機構33,34に対する指示を動作指示情報として取得する。
ステップS520にて、遠隔装置2は、動作指示情報を圧縮する。なお、動作指示情報を圧縮する処理は、必須ではなく、データ量が少ない場合には、省略してもよい。
ステップS530にて、遠隔装置2は、ネットワークを介して動作指示情報をアバター
1へ送信する。
図17は、遠隔装置から受信した動作指示情報に基づいてアバター1が行う処理を示す図である。ステップS570にて、アバター1は、遠隔装置2から動作指示情報を受信する。
アバター1は、ステップS580にて、圧縮されている動作指示情報を伸張し、ステップS590にて、動作指示情報に基づく動作を行う。例えば、回転機構34を動作させることで、アバター1がうなずくような動作を行わせることができる。また、回転機構33を動作させることで、アバター1が首を振るような動作を行わせることができる。このように、アバター1の動作によって、肯定や否定を示すメッセージを利用者に伝えることができる。
なお、前述の実施形態では、撮影部21が広角レンズを用いて全方位の画像を撮影するように構成したが、撮影部21が限られた範囲を撮影する構成の場合、この撮影範囲を変えるために、回転機構33,34を動作させてもよい。
また、アバター1にバイブレータを備え、ゴーストの操作によって指示された動作指示情報に基づいてアバター1を振動させる構成としてもよい。
〈第二実施形態〉
前述の実施形態では、人(協力者)がゴーストとしてメッセージを入力し、この協力者の視線を検出して視線情報としたが、本実施形態では、コンピュータが仮想のゴーストとして動作し、このコンピュータが視線情報を生成する構成としている。なお、この他の構成は同じであるため、同一の要素には同符号を付して再度の説明を省略する。
図18は本実施形態に係る遠隔コミュニケーションシステム100の概略構成図である。本実施形態の遠隔装置2Aは、CPUやメモリを有するコンピュータであり、画像受信部61や、表示制御部62、メッセージ取得部63、視線情報取得部64、送信制御部65、音信号受信部66、音声認識部67、要求判定部68、要求対象判定部69、メッセージ生成部71、対象抽出部72、視線情報取得部73の処理を行う。
音声認識部67は、アバター1から受信した音信号に基づいて利用者の音声を認識し、文字列に変換する。要求判定部68は、音声認識部67で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判定する。
例えば、図19に示す所定の要求パターンに該当するものを利用者の要求と判定する。図19の例では、〈施設名〉へ行く、〈物品〉は何処(ですか)?、〈食品名〉を食べる、等のように要求パターンを有し、この要求パターンに合致した場合に、この文字列を利用者の要求と判定し、当該文字列に基づいて、要求の内容を特定する。
要求対象判定部69は、前記文字列に基づいて前記要求の対象を判定する。例えば、前記要求パターンに含まれる〈施設名〉、〈物品〉、〈食品名〉等、目的語や主語、主題となる名詞を要求対象として判定する。この場合、要求パターンに合致した文字列に構文解析によって求めた述語が「行く」であれば、その目的語を〈施設名〉とする。また、述語が「食べる」であれば、その目的語を〈食品名〉とする。述語が「何処?」であれば、その主語を〈物品〉とする。更に、要求の対象とする語を予め辞書に登録しておき、要求パターンに合致した文字列のうち、施設名の辞書に該当した語を〈施設名〉、物品の辞書に該当した語を〈物品〉と判定してもよい。例えば、財布や、スマートフォン、鍵など、対象とすべき〈物品〉を予め辞書に登録しておく。
メッセージ生成部71は、図19に示すように前記要求と対応付けたメッセージの生成処理を行って、メッセージを生成する。例えば、前記要求パターンが「〈施設名〉へ行く」であった場合には、当該〈施設名〉までの経路案内をメッセージとして出力する。また、前記要求パターンが「〈物品〉は何処?」であった場合には、当該〈物品〉を過去の撮影画像から検索し、当該物品の位置を示す音声をメッセージとして出力する。更に前記要求パターンが「〈食品名〉を食べる、」であった場合には、当該〈食品名〉を食べることができる店舗をデータベース或はインターネット上の検索エンジンで当該店舗の位置を求めて目的地とし、現在地から目的地までの経路案内をメッセージとして出力する。ここで、経路案内は、例えば、交差点(ノード)や、この交差点間の道路(リンク)、目標物の位置等を示すデータを有する地図情報を検索して、現在地から目的地までの経路を求め、この経路上の交差点や交差点間の道路、目標物を示す情報を音声メッセージとして出力する。例えば、「こちらの方向へ100m進み、次の交差点を右折です。」「あのビルの右の道を直進です。」等のように、アバター1の現在地から次の交差点や目的地までの距離や方向を音声で出力する。
対象抽出部72は、要求の対象を示す画像を撮影画像から抽出する。例えば、財布や、スマートフォン、鍵など、要求の対象とすべき〈物品〉の画像を対象パターンとして予め記憶部に登録しておき、撮影画像から、この対象パターンと合致する部分をパターンマッチングによって抽出する。そして、メッセージ生成部71は、「〈物品〉は何処?」といった要求に対して、対象抽出部72で求めた〈物品〉の画像に対応する被写体が存在する位置を求め、この位置を示す音声メッセージを出力する。例えば「あっちの方向に在ったよ」「むこうの方向に置いたよ」のように出力する。また、対象抽出部72で抽出した画像から〈物品〉が存在する位置の情報として、棚の上、電話の横などのように認識できる場合には、これを音声メッセージに含め、「あっちの棚の上に在ったよ」「むこうの電話の横に置いたよ」のように出力してもよい。また、対象抽出部72は、メッセージ生成部71で、「あのビル・・・」「こちらの川に沿って直進・・・」などのように、目標物を示すメッセージを生成した場合、この目標物「ビル」「川」を要求(経路案内)の対象とし、この画像を撮影画像から抽出する。
視線情報取得部73は、前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する。例えば、〈物品〉や目標物の画像に対応する被写体が存在する位置を求め、この位置(例えば緯度・経度)やアバター1から見た方向(例えば図7のようにアバター1を中心として前方から右回りの角度)を示す情報を視線情報とする。そして、この視線情報を送信制御部65が、アバター1へ送信する。視線情報を受信したアバター1は、この視線情報に基づいて表示部10に視線の方向を表示する。なお、視線情報がアバター1から見た方向を示す場合には、前述と同様に、この方向を示すLED12を点灯させる。また、視線情報が被写体の位置を示す場合、アバター1は、アバター1の位置から視線情報が示す被写体の位置へ向かう方向を示すようにLED12を点灯させ、これを視線の方向として表示部10に表示させる。
遠隔装置2は、上記のように要求パターンに基づいて利用者の要求を判定し、この要求と対応するメッセージ生成処理を行ってメッセージを作成し、アバター1へ送信する。これにより、遠隔装置2は、利用者の要求に応じてメッセージを返信する所謂チャッターボットとして機能する。なお、本実施形態の遠隔装置2は、要求パターンやメッセージの生成処理を固定的に用意するのではなく、AIによって、利用者の要求の判定と、当該要求に対するメッセージの生成を行ってもよい。例えば、利用者の要求と、当該要求に対するメッセージを求める多層のモデルを設定し、音声認識部67で認識した利用者の音声とアバター1から取得した撮影画像について学習を繰り返しすことにより、利用者の要求として判定すべきパターンと、当該要求に対するメッセージを求める。
図20は、本実施形態の遠隔装置2が、アバター1から受信したデータに基づいて、メッセージ及び視線情報を生成して、アバター1へ送信する処理を示す図である。なお、アバター1から遠隔装置2へデータを送信する処理は、図8と同じである。遠隔装置2が起動された場合や通信の開始が指示された場合に、遠隔装置2は、図20の処理を開始する。
遠隔装置2は、ステップS610にて、音と撮影画像のデータをアバター1から受信し、ステップS620にて、圧縮されているデータを伸長する。
ステップS630にて、遠隔装置2は、アバター1から受信した音信号に基づいて利用者の音声を認識し、文字列に変換する。
ステップS640にて、遠隔装置2は、ステップS630で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判定する。また、ステップS650にて、遠隔装置2は、ステップS630で取得した文字列に基づいて要求の対象を判定する。
ステップS660にて、遠隔装置2は、ステップS630で求めた利用者の要求に対応するメッセージを生成する。また、遠隔装置2は、ステップS670にて、要求の対象を示す画像を過去の撮影画像から抽出し、ステップ680にて、対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する。
そして、ステップS690にて、遠隔装置2は、前記メッセージ及び前記視線情報をアバター1へ送信する。なお、前記メッセージ及び前記視線情報をアバター1が受信して、利用者に対して出力する処理は、前記図11の処理と同じである。
このように本実施形態によれば、利用者がアバター1を介してコンピュータとコミュニケーションをとることができる。また、ゴーストであるコンピュータが、アバター1の視線を模擬して、表示させることで、円滑にコミュニケーションを図ることができるようにしている。
〈変形例2〉
図21は、アバター1の変形例2を示す図、図22は、本変形例の光源を示す図である。前述の実施形態では、アバター1の外形を略正十二面体としたが、アバター1の外形は、これに限定されるものではない。本変形例では、図21のように、アバター1の外形を略球形としている。本変形例では、円弧状のフィルム基板1F1~1F5,1R1~1R5に光源12を配設し、これをアバター1の略球形の筐体の外面に貼り付けている。円弧状のフィルム基板1F1~1F5,1R1~1R5は、ケーブルIC及びコネクタITを介して、筐体内の制御部60に接続されている。そして、表示制御部43が、各光源12の配置に応じたマッピング情報を参照し、視線情報と対応する光源を特定して発光させることによって、視線の方向を表示する。更に、アバター1は、六面体や、二十面体など、他の外形であってもよい。
〈第三実施形態〉
第三実施形態は、前述の第一実施形態と比べて、複数の撮影部21による撮影範囲の所定部分が重複するように撮影部21を配置し、重複部分の撮影画像を合成して高解像度の合成画像を得る構成が異なっている。なお、その他の構成は同じであるため、同一の要素には、同符号を付す等して、再度の説明を省略する。
図23は、撮影部21の構成を示す図、図24は、撮影範囲を模式的に示すアバター1Bの側面図、図25は、撮影範囲を模式的に示すアバター1Bの平面図である。
図23に示すように、撮影部21は、撮影レンズ211と、撮像素子212を有している。撮影レンズ211は、被写体の像を撮像素子212の撮像面上に形成する。撮影レンズ211の画角は、特に限定されるものではないが、広い範囲の被写体を撮影できるように、広画角のレンズであることが望ましく、本実施形態では所謂魚眼レンズを採用している。撮影レンズ211は、光軸A0が、撮像素子212における撮像面の中心に位置するように配置されている。
撮像素子212は、CCDイメージセンサやCMOSイメージセンサといった撮像デバイスであり、受光面(撮像面)上に形成された光の像をその光の強さに応じた電気信号に変換して、所定形式の画像情報(撮影画像)とする。
図24に示すように、本実施形態のアバター1Bは、撮影部21Aと撮影部21Bを有し、側面視において、一方の撮影部21Aによって撮影する撮影範囲が他方の撮影部21Bによって撮影する撮影範囲と重複するように、各撮影部21A,21Bが配置されている。なお、本実施形態の表示部10は、多数のLED12を備えているため、図24では便宜上一部のLED12にのみ符号を付して、その他のLED12については、符号を省略して示している。
前述の第一の実施形態では、撮影部21A,21Bが背合わせに配置され、各撮影部21A,21Bが水平方向へ向けられて全天球画像を得る構成である。この場合、アバター1Bの下方を撮影した画像は、必ず支持体32を撮影したものとなり、第一の地点の状況を知る上では価値の低い領域となってしまう。このため、本実施形態では、支持体32が存在する下方を撮影範囲から外すように、撮影部21A,21Bが水平方向よりも上向きに配置され、上方の撮影範囲が重複されている。
撮影部21Aは、撮影レンズ211の光軸A1を中心とした190°の範囲を撮影範囲としている。同じく撮影部21Bは、光軸A2を中心とした190°の範囲を撮影範囲としている。そして、側面視において光軸A1を像面以降へ延伸した直線と光軸A2を像面以降へ延伸した直線とが交わる点V0を頂点として、光軸A1と光軸A2とが成す劣角θが120°となっている。即ち、撮影部21A,21Bの撮影範囲が、点V0を頂点とする50°の範囲で重複している。
一方、平面視においてアバター1Bは、図25に示すように、撮影部21Aを前方、撮影部21Bを後方に向け、光軸A1,A2を一直線状としている。即ち、撮影部21Aの光軸A1と撮影部21Bの光軸A2とが点V0を中心として180°異なる方向へ向けられるように撮影部21A,21Bが配置されている。このため、撮影部21A,21Bの撮影画角が190°の場合、第一実施形態と同様に撮影範囲のうち周辺部が重複する。なお、図23,図24の配置は、一例であり、撮影部21A,21Bの配置は、これに限定されるものではない。例えば平面視においても、点V0を頂点とした光軸A1,A2の角度を180°未満として撮影領域を重複させてもよい。アバター1Bを利用者の肩や腕に装着した場合、平面視において特定の方向に利用者が写ることになるので、この方向をさけるように撮影部21A,21Bの向きを定め、利用者と反対側の撮影領域を重複させるようにしてもよい。また、カメラを三台以上配置して、少なくとも一部のカメラの撮影領域を重複させるようにしてもよい。
図26は、本実施形態に係る遠隔コミュニケーションシステム100の概略構成図である。本実施形態のアバター1Bは、図1のアバター1と比べ、画像合成部45を更に備え
ている。
画像合成部45は、複数の撮影部21A,21Bで撮影した撮影画像の重複部分を合成し、撮影画像よりも解像度の高い合成画像を生成する。
図27は、アバター1Bが画像や音声のデータを送信する処理を示す図である。アバター1Bが起動された場合や通信の開始が指示された場合に、アバター1Bは、図27の処理を開始する。ステップS10~S30については、前述した図8の処理と同じである。
ステップS35にて、アバター1Bは、画像合成部45の機能により、撮影部21A,21Bで撮影した撮影画像の重複部分を合成する。この場合、アバター1Bは、撮影部21Aで撮影した画像の情報と撮影部21Bで撮影した画像の情報の両方を用いて合成画像を得ることにより、ステップS30でつなぎ合わせた撮影画像よりも高い解像度の合成画像を得ることができる。そして、アバター1Bは、ステップS30で得た撮影画像及びステップS35で得た合成画像や音のデータをステップS40にて圧縮し、ステップS50にて遠隔装置2へ送信する。なお、アバター1Bは、電源がオフにされるまで、或は通信の終了が指示されるまでは、図27の処理を繰り返し実行する。
図28は、前述の合成ステップS35にて合成される画像の説明図である。撮影部21Aの撮影レンズ211は、撮像面上にほぼ円形の像を形成し、撮像素子212がこの像を電気信号に変換して、撮影画像51Aとする。同様に、撮影部21Bは、撮像面上にほぼ円形の像を形成し、撮像センサがこの像を電気信号に変換して、撮影画像51Bとする。前述のように撮影部21A,21Bは、撮影範囲が一部重複するように設けられており、図28において網掛けした部分が、撮影画像51A,51Bの重複部分51Cである。
重複部分51Cで得られる画像は、同じ被写体を撮影したものであるが、撮影レンズの収差によって、それぞれ異なる歪みを有している。例えば、図29に示す矩形状の被写体92を撮影した場合、撮影部21Aによる撮影画像51Aでは、図30の画像92Aのように歪曲して撮影される。この場合、撮影画像51Aの中心側よりも周辺側の方が、歪みが大きいため、画像92Aは円の外側に向けて膨張したように撮影される。また、撮影部21Bによる撮影画像51Bにおいても、被写体92の画像92Bは、図31に示すように周辺側へ向けて膨張したように撮影される。このように画像92Aと画像92Bとでは、歪み方が異なるため、同じ被写体92を撮影したものであっても形状が一致しない。
但し、画像92A,92Bに生じる歪みは、撮影画像51A,51Bの中心からの距離等によって定まる。このため、アバター1Bは、撮影画像51A,51Bにおける重複部分の歪みを中心からの距離等に基づいて補正する。図32は、撮影画像51A,51Bにおける画像92A,92Bの歪みを補正した例を示す図である。
図29に示す被写体92は、左右の辺92L,92Rが同じ長さであるが、例えば図30に示す画像92Aは、歪みの影響によって、周辺側の左辺92ALよりも中心側の右辺92ARが小さく変形している。即ち、左辺92ALを成す画素数よりも右辺92ARを成す画素数の方が少ない。このため画像92Aを図32に示すように補正するためには、右辺92ARに合わせて左辺92ALを縮小するか、左辺92ALに合わせて右辺92ARを拡大することになる。
左辺92ALを縮小する場合、左辺92ALを撮像した画素の情報を間引くことになるため、画像92A全体が右辺92ARに合わせた低い解像度となる。一方、右辺92ARを拡大する場合、画像92Aのうち、左辺92AL付近は解像度を高く維持できるが、右辺92AR付近は少ない画素の情報に基づいて拡大処理を行うことになるので、左辺92
AL付近と比べて解像度が低くなる。
また、図31に示す画像92Bは、画像32Aと反対に、歪みの影響によって、周辺側の右辺92BRよりも中心側の左辺92BLが小さく変形している。このため画像92Bを図32に示すように補正するためには、左辺92BLに合わせて右辺92BRを縮小するか、右辺92BRに合わせて左辺92BLを拡大することになる。
そこで、画像92Aについて、右辺92ARの画素間を広げるように拡大する際、広げた画素間の情報として、他方の画像92Bにおける右辺92BRの画素の情報を採用し、合成画像を生成する。なお、図30、図31では、画像92A,92Bの左辺92AL,BLと右辺92AR,BRについて示したが、この中間部についても同様である。
このように、本実施形態のアバター1Bは、重複して撮影した画像92A,92Bの一方、例えば画像92Aについて、撮影レンズの収差による歪みを補正する際、周辺側を基準として中心側の画素間を広げるように拡大し、この広げた間の画素として、他方の画像92Bにおいて対応する位置の画素(周辺側の画素)を用い、合成画像とする。即ち、アバター1Bは、重複して撮影した画像92A,92Bの解像度の高い部分を合わせて合成画像とすることにより、単体の撮影部21で撮影した撮影画像よりも高い解像度の合成画像が得られる。なお、本実施形態において、解像度とは、単に画素の密度ではなく、撮影画像や合成画像等において、被写体をどれだけ詳しく描写できるかを示す程度である。例えば、平行線を等間隔に並べたテストチャートを撮影し、画像上に再現される前記平行線の1mmあたりの本数や、分離した二点の被写体を撮影し、画像上で分離して再現できる最小の幅の逆数が挙げられる。
前記撮影画像や合成画像を受信した遠隔装置2は、前述の図9や図10と同様に撮影画像や合成画像を表示させる。例えば、ゴーグル70に表示させる場合、ゴーグル70の向きに応じ、このゴーグルの向きを中心とした所定範囲の画像を切り出して表示部51に表示させる。図24,図25の例では、アバター1Bの上方を重複して撮影するので、ゴーグル70を装着したゴーストが上を向いた場合に合成画像を表示部51に表示させ、重複範囲以外を向いた場合に撮影画像を表示させる。また、遠隔装置2は、ゴーストの操作に応じて、撮影画像や合成画像の拡大表示又は縮小表示が可能である。
本実施形態によれば、アバター1Bが、一部の領域を複数の撮影部21で重複して撮影し、当該重複領域の画像を高い解像度で提供することができる。このため、ゴーストは、重複領域の画像を詳細に観察することができる。また、重複領域の画像は、解像度が高いため、ゴーストが、重複領域の画像を拡大表示した場合でも画質が荒くなりにくく、観察視し易い。
〈変形例3-1〉
図33は、変形例3-1に係る遠隔コミュニケーションシステム100の概略構成図である。前述の第三実施形態では、アバター1が重複領域の合成画像を生成したが、本変形例では、遠隔装置2Bが重複領域の合成画像を生成する構成としている。なお、この他の構成は第三実施形態と同じであるため、同一の要素には同符号を付して再度の説明を省略している。
本変形例のアバター1Bは、前述の第三実施形態のアバター1Bと同様に複数の撮影部21で一部の領域を重複して撮影する構成とし、この複数の撮影部21で撮影した撮影画像を合成せずに遠隔装置2Bへ送信する。この場合、アバター1Bは、画像合成部45を備えなくてもよい。また、ユーザの選択操作に応じて、アバター1Bで合成画像を生成するモードと、遠隔装置2Bで合成画像を生成するモードとを切り替えられるようにアバタ
ー1Bと遠隔装置2Bの両方が画像合成部を有してもよい。
遠隔装置2Bは、図26の遠隔装置2と比べ、画像合成部75を更に備えている。画像合成部75は、アバター1Bから複数の撮影部21A,21Bでそれぞれ撮影した撮影画像を受信し、重複部分を合成して、撮影画像よりも解像度の高い合成画像を生成する。
図34は、遠隔装置2Bが画像や音声のデータを送信する処理を示す図である。遠隔装置2Bが起動された場合や通信の開始が指示された場合に、遠隔装置2Bは、図34の処理を開始する。ステップS110~S130については、前述した図9の処理と略同じである。
ステップS133にて、遠隔装置2Bは、表示部51の仕様に応じて重複部分の撮影画像を変換する。なお、本変形例では、アバター1Bで変換処理する前の撮影画像をアバター1Bから取得するので、前述のステップS30と同様に、広角レンズで撮影した際の歪みを補正する処理や、複数の撮影部21A,21Bで撮影した撮影画像をつなぎ合わせる処理を行う。
ステップS135にて、遠隔装置2Bは、画像合成部75の機能により、撮影部21A,21Bで撮影した撮影画像の重複部分を合成する。なお、ステップS135の処理は、前述のステップS35と同様である。
ステップS140Aにて、遠隔装置2Bは、ステップS133で変換した撮影画像や、ステップ135で生成した合成画像から、表示部51の仕様に応じて表示する画像を抽出する。
ステップS150にて、遠隔装置2Bは、ステップS140Aで抽出した画像を表示部51に表示させる。
本変形例によれば、遠隔装置2Bが複数の撮影部21で重複して撮影した撮影画像を合成するので、アバター1Bの処理負荷が軽減される。
〈変形例3-2〉
図35は、変形例3-2に係るアバター1Cの正面図、図36は、変形例3-2に係るアバター1Cの側面図、図37は、変形例3-2に係るアバター1Cの平面図である。本変形例のアバター1Cは、前述の第三実施形態のアバター1Bと同様に複数の撮影部21で一部の領域を重複して撮影する構成とし、この重複して撮影する領域の方向を変えるように本体31を回転させる回転機構を有している。なお、この他の構成は前述の第三実施形態と同じであるため、同一の要素には同符号を付す等して再度の説明を省略している。
図35に示すように、アバター1Cは、垂直な回転軸VAを中心に本体31を回転させる回転機構131と、水平な回転軸HAを中心に本体31を回転させる回転機構132とを有している。回転機構131、132は、駆動部の一形態である。
回転機構131は、支持体32上に設置され、支持体32に対して回転可能に支柱133を保持している。支柱133の上端に円弧状のアーム134の一端が接続され、アーム134の他端に回転機構132が接続されている。
回転機構132は、アーム134の上端に支持されると共に、アバター1Cの本体表面に接続され、アーム134に対して本体31を回転させる。
回転機構131は、回転軸VAが垂直方向に本体31の中心を通る構成であり、支柱133及びアーム134を介して本体31を垂直軸回りに回転させる、即ち本体31をヨーイングさせる。
回転機構132は、図35に示す面をアバター1Cの正面とし、紙面と垂直方向を前後方向とた場合に、回転軸HAがアバター1Cの左右方向であって、本体31の中心を水平方向に渡るように設けられた構成であり、本体31を左右軸回りに回転させる、即ち本体31をピッチングさせる。
回転機構131,132が、アバター1Cの本体31をピッチング及びヨーイングさせることにより、撮影部21が重複して撮影する領域の方向を任意の方向に向けることができる。例えば、ゴーストが遠隔装置2Bを操作し、重複して撮影する方向を指定した場合、遠隔装置2Bが、この方向を指定する動作指示情報をアバター1Cへ送信する。そして、この動作指示情報を受信したアバター1Cが、この動作指示情報に基づいて回転機構131,132を動作させて本体31を回転させ、重複して撮影する領域を指定の方向へ向ける。
例えば、ゴーストは、アバター1Cの正面を0°とし、真上を90°、真後ろ(背面)を180°、真下を270°として、0°から360°未満の範囲で回転機構132の回転角を指定する。また、アバター1Cの正面を0°とし、左方を90°、真後ろ(背面)を180°、右方を270°として、0°から360°未満の範囲で回転機構131の回転角を指定する。これによりアバター1Cが重複して撮影する領域を任意の方向へ向けさせることができる。なお、動作指示情報を送受信する構成は、図16,図17と同じである。
このように本変形例によれば、アバター1Cが重複して撮影し、高解像度の合成画像を生成する領域の方向を任意に指定することができ、当該方向の状況を詳細に観察することや、当該方向の画像を拡大して表示させることができる。
〈第四実施形態〉
第四実施形態の遠隔コミュニケーションシステム100Aは、前述の第一実施形態や第二実施形態と比べ、第一の地点の状況に応じてゴースト(協力者)を選択する管理サーバ8を備えた構成が異なっている。なお、その他の構成は同じであるため、同一の要素に同符号を付す等して、再度の説明を省略する。
図38は、第四実施形態に係る遠隔コミュニケーションシステム100Aの概略構成図である。本実施形態のアバター1Dは、図1のアバター1と比べ、選択用情報取得部46や選択用情報送信部47を更に備えている。
選択用情報取得部46は、マイク23から入力された音信号や、撮影部21で撮影した撮影画像から、協力者を選択するための情報を取得する。例えば、選択用情報取得部46は、利用者の音声や、撮影部21で撮影した撮影画像を取得して、これらを選択用情報とする。また、選択用情報取得部46は、利用者の音声を取得し、音声認識によって利用者の要求を特定し、この要求がどの分野の要求かを判定して、当該分野を示す選択用情報を生成してもよい。また、選択用情報取得部46は、撮影部21で撮影した撮影画像を取得し、撮影画像から看板や人の顔、車両、交通標識など、所定のパターンと一致する画像を抽出し、この画像を含む選択用情報を生成してもよい。更に、選択用情報取得部46は、撮影部21で撮影した撮影画像から、利用者のジェスチャを認識し、利用者が特定のジェスチャを行った場合に選択用情報を取得するようにしてもよい。
選択用情報送信部47は、選択用情報取得部46で取得した選択用情報を管理サーバ8へ送信する。
本実施形態の遠隔コミュニケーションシステム100Aは、図1の遠隔コミュニケーションシステム100と比べ、管理サーバ8を更に備えている。管理サーバ8は、CPUやメモリ(記憶部)を有するコンピュータであり、選択用情報受信部81と、選択部82と、通知部83の処理を行う。また、管理サーバ8は、複数のゴーストに関する属性情報を記憶したデータベース(以下、ゴーストDBと称す)をメモリに格納している。
選択用情報受信部81は、利用者による入力情報や、前記第一の地点における音情報、前記撮影部による前記撮影画像を選択用情報として取得する。例えば、利用者の音声を認識し利用者の質問や要望を選択用情報として取得する。また、撮影画像中の被写体を認識し、この被写体に関するジャンルを選択用情報として取得する。
選択部82は、ゴーストDBを参照し、各ゴーストの属性情報と選択用情報とに基づいてゴーストを選択する。図39は、ゴーストDBの一例を示す図である。図39のゴーストDBは、ゴーストの識別情報(ゴーストID)や、属性情報、連絡先等が記憶されている。ゴーストIDは、ゴーストを一意に識別するための情報であり、番号や氏名、愛称などである。属性情報は、ゴーストの性質を示す情報であり、選択部82による選択の要素となる情報である。通知先は、選択されたことをゴーストに知らせるための宛先であり、例えば遠隔装置2のネットワークアドレスである。通知部83は、選択部によって選択されたゴーストの通知先に、選択されたことを通知する。
図40は、アバター1Dが画像や音声のデータを送信する処理を示す図である。アバター1Dが起動された場合や通信の開始が指示された場合に、アバター1Dは、図40の処理を開始し、図8等の処理と並行して実行する。
ステップS710にて、アバター1Dは、所定期間(例えば、直近の数秒間)に撮影部21で撮影された撮影画像を取得する。
ステップS720にて、アバター1Dは、ステップS710で取得した画像を解析し、特定のジェスチャが行われたか否かを判定する。特定のジェスチャとは、例えば、手を振る、掌や顔などの部位をアバター1Dに向ける、サムズアップやコルナ(メロイックサイン)のように特定の指を立てて手をアバター1Dに近づける等の動作が挙げられる。
ステップS720で否定判定であれば、アバター1Dは、図40の処理を終了する。一方、ステップS720で肯定判定であれば、アバター1Dは、ステップ730へ移行し、マイク23を介して入力された利用者の音声や周囲の音を音信号として取得する。
ステップS740にて、アバター1Dは、音信号について音声認識を行い、利用者の音声を文字列に変換する。
ステップS750にて、アバター1Dは、ステップS740で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判別する。例えば、取得した文字列を一文毎に区切り、述語とその目的語が、図19に示す所定の要求パターンに該当するものを利用者の要求と判定する。図19の例では、〈施設名〉へ行く、〈物品〉は何処(にありますか)?、〈物品〉は何ですか?、〈食品名〉を食べる、〈言語〉を教えて等のように要求パターンを有し、このうち「行く」「何処?」「何ですか?」「食べる」「教えて」などが述語の部分であり、〈施設名〉〈物品〉〈食品名〉〈言語〉が主語又は目的語の部分(以下、要求対象とも称す)である。
取得した文が、「この花の名前は何ですか?」であれば、要求パターンの「〈物品〉は何ですか?」に合致し、「花の名前」が〈物品〉となる。
また、取得した文が、「侘び寂びにあたるフランス語を教えて?」であれば、要求パターンの「〈言語〉を教えて」に合致し、「フランス語」が〈言語〉となる。
ステップS760にて、アバター1Dは、ステップS750で求めた要求対象の分野を判定する。例えば、アバター1Dは、「動物」「植物」「車両」「英語」「フランス語」「歴史」「地理」などの分野毎に対応する要求対象を定めた対象分野テーブルを備えておき、ステップS750で求めた要求対象と対応する分野を判定する。例えば、要求対象が「花の名前」であれば分野を「植物」と判定する。また、上記の例では、要求対象が「フランス語」であれば分野も「フランス語」と判定する。
ステップS770にて、アバター1Dは、撮影部21で撮影された撮影画像を取得する。ステップS780にて、アバター1Dは、ステップS770で取得した画像を解析し、特定のパターンと類似する画像を抽出する。ここで特定のパターンとは、要求対象になると想定された画像であり、例えば、看板や書類、人の顔、車両、犬、猫、交通標識などが挙げられる。なお、ステップS750で要求対象が求められている場合には、取得した撮影画像から「花」や「車」など当該要求対象のパターンと類似する画像を抽出してもよい。また、利用者の要求が「これは何?」のように、要求対象に「これ」等、近くを示す代名詞を含む場合、利用者が手にしている物体や、利用者の近くにある物体の画像を抽出してもよい。また、要求対象に「あれ」等、遠くを示す代名詞を含む場合、利用者が指をさしている場所や顔を向けている場所にある物体の画像を抽出してもよい。
ステップS790にて、アバター1Dは、ステップS780で抽出した画像の分野を判定する。例えば、抽出した画像が類似すると判定されたパターンの名称に対応する分野をステップS760と同様に対象分野テーブルから求める。即ち、抽出した画像が「犬」や「猫」のパターンと類似していた場合、対応する分野を「動物」とする。
また、抽出した画像に文字が含まれている場合、文字認識し、施設名や所在地、見出し、タイトルなどを抽出し、対応する分野を対象分野テーブルから求める。例えば、抽出した画像が店舗の看板であり、看板から読み取った店舗名や取扱い商品が「パスタ」「ランチ」「リストランテ○○」であった場合、対象分野テーブルを参照して、「グルメ」「イタリア料理」等、対応する分野を求める。
ステップS795にて、アバター1Dは、ネットワークを介して管理サーバ8と接続し、ステップS760,S790で判定した分野を示す選択用情報を管理サーバへ送信する。なお、選択用情報は、分野を示す情報の他、年齢(年代)や性別、スキルレベル等を指定する情報を含んでもよい。例えば、予め利用者が、「ファッション」であれば10代、「グルメ」であれば同性の20代以下、「スポーツ」であれば初心者(スキルレベル)などのように、ゴーストの属性を指定する情報をアバター1Dに入力しておき、これらの情報をアバター1Dが選択用情報に含めて送信するようにしてもよい。更に、分野等の属性を指定する情報だけでなく、ステップS750で判別した「侘び寂びにあたるフランス語を教えて?」といった利用者の要求や、ステップS780で抽出した画像を選択用情報に含めてもよい。
なお、図40の例では、音信号と画像の両方から選択用情報に用いる分野を求める例を示したが、これに限らず、音信号と画像の一方から分野を求める構成としてよい。また、音信号に基づきステップS760で分野が求められた場合に、ステップS770~S79
0を省略し、ステップS750で抽出した要求対象が「これ」「あれ」といった代名詞であるなど、ステップS760で分野が特定できない場合に、ステップS770~S790を行って、画像から分野を特定してもよい。
アバター1Dは、電源が切断された場合や、通信の開始が指示さるまで図40の処理を繰り返し実行する。
図41は、管理サーバ8が、ゴーストを特定する処理を示す図である。管理サーバ8は、ネットワークを介してアバター1Dと接続した場合に図41の処理を開始する。
ステップS810にて、管理サーバ8は、アバター1Dから選択用情報を取得する。なお、本例では、アバター1Dが分野を特定する処理を行ったが、アバター1Dが音信号や撮影画像等を選択用情報として管理サーバ8へ送信し、管理サーバ8が前述のステップS730~S790と同様に分野を特定してもよい。
ステップS820にて、管理サーバ8は、ゴーストDBを参照し、ステップS810で取得した選択用情報と対応するゴーストを求める。例えば、選択用情報に示される分野と、属性情報の分野とが一致するゴーストを特定する。なお、選択用情報に、年代や性別、スキルレベル等、分野以外の情報が含まれている場合には、これらの情報と一致する属性を有するゴーストを特定する。選択用情報と一致した属性情報を有するゴーストが複数存在した場合、各ゴーストの優先度や順番等に基づいて所定数のゴーストを選択する。
ステップS830にて、管理サーバ8は、ゴーストDBに基づいて、ステップS820で選択したゴーストの連絡先に、選択されたことを示す通知情報を送信する。ここで、ゴーストの連絡先は、例えば、当該ゴーストが用いる遠隔装置2のネットワークアドレスである。これに限らずゴーストの連絡先は、ゴーストが用いるスマートフォン等、他の装置のアドレスであってもよい。なお、管理サーバ8は、通知情報に、アバター1Dのアドレスや、利用者の要求等の情報を含めて送信してもよい。
通知情報を受信したゴーストは、利用者との通信を了承する場合、受信した装置を操作して承認情報を返信する。なお、利用者との通信を了承しない場合、非承認を示す情報を返信してもよい。
ステップS840にて、管理サーバ8は、承認情報を受信したか否かを判定する。ステップS840で、管理サーバ8は、所定時間以内に承認情報を受信しない場合や、非承認を示す情報を受信した場合に、否定判定とし、図41の処理を終了する。
ステップS840で肯定判定の場合、管理サーバ8は、ステップS850へ移行し、選択されたゴーストが用いる遠隔装置2のアドレスやゴーストIDをアバター1Dに通知して、遠隔装置2との通信を促す。なお、ゴーストが承認した場合に、通知情報が示すアバター1Dのアドレスに基づいて、遠隔装置2がアバター1Dとの通信を行うこととし、ステップS840、S850を省略してもよい。
このように本実施形態によれば、第一の地点の音信号や撮影画像に基づいて利用者の要求を判定し、利用者の要求に応じた適切なゴーストを選択することができる。これにより利用者は、要求に適したゴーストの協力を受けることができる。
なお、選択するゴーストは、人に限らず、第二実施形態に示す遠隔装置2Aの処理によって実現される仮想のゴーストであってもよい。例えば、経路案内や、交通機関の乗換案内、インターネット上の検索、計算など、コンピュータ(遠隔装置2A)が得意とする分
野を属性情報としてゴーストDBに登録しておき、当該分野と一致する選択要求情報を受けた場合に仮想のゴーストを選択する。具体的には、利用者が複数人で食事をした際、伝票をアバター1Dにかざし、「5人で割り勘すると一人いくら?」のように音声を発すると、アバター1Dは「〈割り勘〉いくら?」のように利用者の要求を認識する。この場合、アバター1Dは、要求対象が〈割り勘〉であるので、分野を「計算」とし、選択用情報に含めて管理サーバ8に送信する。管理サーバ8は、受信した選択用情報が示す分野が「計算」の場合、ゴーストDBを参照して対応する仮想のゴーストを選択し、連絡先である遠隔装置2Aのアドレスへ通知情報を送信する。通知情報を受信した遠隔装置2Aは、通知情報に基づいてアバター1Dと接続して、伝票の画像を取得し、合計欄の金額を読み取って5で割り、一人当たりの金額を求め、第二実施形態と同様にメッセージを作成してアバター1Dへ送信する。
このようにコンピュータが得意とする分野であれば仮想のゴーストを選択し、その他の分野であれば実在の人をゴーストとして選択することで、人の感性等が必要な場合にのみ実在の人をゴーストとして選択することができ、人的資源を有効に活用できる。
〈第五実施形態〉
第五実施形態の遠隔コミュニケーションシステム100Bは、前述の第四実施形態と比べ、遠隔装置2Cが、ゴーストの感情を示す感情信号をアバター1Eへ送信し、アバター1Eが感情信号に応じて光源を発光させる構成が異なっている。なお、その他の構成は同じであるため、同一の要素に同符号を付す等して、再度の説明を省略する。
図42は、第五実施形態に係る遠隔コミュニケーションシステム100Aの概略構成図である。本実施形態の遠隔装置2Cは、図1の遠隔装置2と比べ、感情検出部76や感情信号送信部77を更に備えている。
感情検出部76は、ゴーストが発する音声や、ゴーストの顔の表情等から、ゴーストの感情を検出し、感情の種類を示す感情信号を生成する。例えば、感情検出部76は、マイク53を介してゴーストの音声を取得し、音声認識を行って利用者の音声を文字列に変換する。そして、感情検出部76は、変換した文字列から「嬉しい」「ありがとう」「悲しい」「寂しい」「酷い」「ダメ」「止めなさい」等、感情に関わる所定の語を検出すると共に、発話スピードや声の高さ、声の大きさを検出する。また、感情検出部76は、笑い声や、ため息、嗚咽などの非言語音声を検出するようにしてもよい。
感情検出部76は、文字列等の検出結果に基づき、喜び、心配、驚き、悲しみ、怒りといった感情の種類を判別し、この感情の種類や強さを示す感情信号を生成する。例えば、「嬉しい」「ありがとう」といった語や笑い声が検出された場合には、感情の種類を「喜び」と判別し、「大丈夫?」「危ないよ」「心配だ」といった語が検出された場合には、感情の種類を「心配」と判別する。また、「悲しい」「寂しい」といった語や嗚咽、泣き声が検出された場合には、感情の種類を「悲しみ」と判別し、「ダメ」「止めなさい」といった語が検出された場合には、感情の種類を「怒り」と判別する。また、検出した発話スピードや声の高さ、声の大きさを、予め測定した平常時のものと比べ、この変化量に応じて感情の強さを求めてもよい。例えば、発話スピードが速い、声が高い、声が大きいほど、「喜び」「心配」「驚き」「怒り」の感情の強さを強い値とする。なお、ネガティブな感情(例えば「悲しみ」)は、発話スピードが遅い、声が低い、声が小さいほど、感情の強さを強い値としてもよい。
また、遠隔装置2Cは、カメラ(撮影部)でゴーストの顔を撮影し、顔の表情から感情の種類や強さを検出する。なお、顔の表情から感情を検出する技術は、公知の技術が利用できるので、詳しい説明は省略する。
感情信号送信部77は、感情検出部76で生成した感情信号をアバター1へ送信する。このように、本実施形態の遠隔装置2Cでは、ゴーストが「怒り」や「喜び」といった感情の種類を選択するといった特段の操作を行わなくても、感情検出部76がゴーストの音声や顔の表情から感情を検出して、アバター1Eへ送り、利用者に提示することができる。このため、本実施形態のアバター1Eは、図38のアバター1Dと比べ、感情信号受信部48を更に備えている。
感情信号受信部48は、遠隔装置2Cから感情信号を受信する。また、本実施形態の表示制御部43は、感情信号を受信した場合に、当該感情信号が示す感情の種別に応じた発光パターンでLED(光源)12を発光させて、ゴーストの感情を利用者に提示する。
表示制御部43は、例えば、「喜び」はピンク、「心配」は緑、「驚き」はオレンジ、「悲しみ」は青、「怒り」は赤など、感情信号が示す感情の種類毎に所定の色でLED12を発光させる。なお、淡色に限らず、「怒り」は赤と紫、「喜び」はピンクと緑などのように複数色を組み合わせて発光させてもよい。また、表示制御部43は、感情の強さが強いほど、LED12の輝度を高くする。更に、表示制御部43は、LED12を点滅させ、感情の強さが強いほど、点滅の速度を速くしてもよい。
図43は、第五実施形態に係るアバター1Eが視線情報及び感情信号に基づいて表示する処理を示す図である。アバター1Eが起動された場合や通信の開始が指示された場合に、アバター1Eは、図43の処理を開始する。ステップS310Aにて、アバター1Eは、遠隔装置2から視線情報、感情情報及び音声メッセージを受信する。
ステップS320にて、アバター1Eは、視線情報に基づいて点灯させるLED(光源)12を特定し、ステップS330にて、特定のLED12を点灯させることで、視線の方向を利用者へ提示する。
ステップS335にて、アバター1Eは、ステップS320で特定した以外のLED12を感情情報が示す感情の種別に応じて、色や輝度、点滅速度等を所定のパターンで点灯させる。なお、ステップS330で視線情報に基づいて点灯させるLED12と、感情信号に応じて発光させるLED12とは、色を異ならせることが望ましい。例えば、表示制御部43は、視線情報に基づいて点灯させるLED12を特定の色(例えば白)で発光させ、感情信号に応じて発光させるLED12の色が当該特定の色以外となるように、感情の種類毎に割り当てる色を当該特定の色以外(例えば白以外)とする。
なお、ステップS340,ステップS350については、前述の図11と同じである。アバター1Eは、電源がオフにされるまで、或は通信の終了が指示されるまでは、図43の処理を繰り返し実行する。図43の例では、感情信号に応じて発光させるLED12は、ステップS320で特定した視線方向を提示するLED12以外としたが、これに限らず、視線方向を提示するLED12の色や輝度を感情信号に応じたパターンで発光させてもよい。
本実施形態によれば、遠隔装置2Cがゴーストの感情を検出してアバター1Eに提示させるので、ゴーストが感情を提示するための手間をかける必要がなく、利用者へのアドバイス等の作業に集中できる。
なお、上記の実施形態や変形例は、一例であり、上記構成に限定されるものではなく、発明の趣旨に反しない範囲で変更してもよい。例えば上記の実施形態や変形例の要素を組み合わせたり、一部の要素を省略してもよい。
1 :コミュニケーション装置(アバター)
2,2A :遠隔装置
10 :表示部
12 :LED
13 :基板
14 :カバー
15 :基台
21 :撮影部
31 :本体
32 :支持体
40 :制御部
60 :制御部
70 :ゴーグル
100 :遠隔コミュニケーションシステム

Claims (11)

  1. 利用者が存在する第一の地点に設けられ、前記第一の地点から離れた第二の地点に設けられた遠隔装置と通信するコミュニケーション装置であって、
    前記第一の地点を撮影する撮影部と、
    前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
    前記遠隔装置から受信したメッセージを利用者に対して出力する出力制御部と、
    前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
    前記遠隔装置にて表示させた前記撮影画像を見る協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、
    を備えるコミュニケーション装置。
  2. 前記表示制御部が、複数の前記遠隔装置からそれぞれ前記視線情報を受信し、当該視線情報に基づいて前記表示部に複数の視線を示す表示を行わせる請求項1に記載のコミュニケーション装置。
  3. 前記コミュニケーション装置の少なくとも一部の位置を変えるように駆動する駆動部を備え、
    前記出力制御部が、前記遠隔装置から受信した動作指示情報に基づいて前記駆動部を動作させることによって、前記利用者に対する動作を行わせる請求項1又は2に記載のコミュニケーション装置。
  4. 前記表示制御部が、前記遠隔装置から、前記視線情報と共に当該視線情報を生成した時刻を示す生成時刻情報を取得し、当該生成時刻情報が示す時刻から前記視線の表示を行う時刻までに変化した前記表示部の向きの変化量に基づいて、前記表示部に表示させる視線の向きを補正する請求項1~3の何れか一項に記載のコミュニケーション装置。
  5. 前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と重複するように前記撮影部が配置され、
    複数の前記撮影部で撮影した前記撮影画像の重複部分を合成し、前記撮影画像よりも解像度の高い合成画像とする画像合成部を備え、
    前記画像送信部が、前記合成画像を前記遠隔装置へ送信する
    請求項1~4の何れか一項に記載のコミュニケーション装置。
  6. 前記遠隔装置から前記協力者の感情の種別を示す感情信号を受信した場合に、前記表示制御部が、前記感情信号が示す感情の種別に応じた発光パターンで前記光源を発光させて、前記協力者の感情を提示する請求項1~5の何れか一項に記載のコミュニケーション装置。
  7. 利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられ、前記コミュニケーション装置と通信する遠隔装置とを有する遠隔コミュニケーションシステムであって、
    前記コミュニケーション装置が、
    前記第一の地点を撮影する撮影部と、
    前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
    前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
    前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
    前記遠隔装置にて表示させた前記撮影画像を見る協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、を備え、
    前記遠隔装置が、
    前記撮影画像を受信する画像受信部と、
    前記撮影画像を表示装置に表示させる表示制御部と、
    前記表示装置に表示された前記撮影画像を見る前記協力者から前記利用者に対するメッセージを取得するメッセージ取得部と、
    前記表示装置に表示された前記撮影画像を見る前記協力者の視線を示す情報を視線情報として取得する視線情報取得部と、
    前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、
    を備える遠隔コミュニケーションシステム。
  8. 利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられ、前記コミュニケーション装置と通信する遠隔装置とを有する遠隔コミュニケーションシステムであって、
    前記コミュニケーション装置が、
    前記第一の地点を撮影する撮影部と、
    前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
    前記利用者の音声を示す音信号を前記遠隔装置へ送信する音信号送信部と、
    前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
    前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
    前記光源のうち、前記遠隔装置から受信した視線情報に応じて前記光源を発光させる表示制御部と、を備え、
    前記遠隔装置が、
    前記撮影画像を受信する画像受信部と、
    前記音信号を受信する音信号受信部と、
    前記撮影画像を表示装置に表示させる表示制御部と、
    前記音信号に基づき、前記利用者の音声を認識し、文字列に変換する音声認識部と、
    前記文字列に基づいて前記利用者の要求を判定する要求判定部と、
    前記文字列に基づいて前記要求の対象を判定する要求対象判定部と、
    前記要求に対応するメッセージを生成するメッセージ生成部と、
    前記要求の対象を示す画像を前記撮影画像から抽出する対象抽出部と、
    前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する視線情報取得部と、
    前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、
    を備える遠隔コミュニケーションシステム。
  9. 前記コミュニケーション装置が、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と一部重複するように前記撮影部が配置され、
    前記遠隔装置が、
    複数の前記撮影部で撮影した撮影画像の重複部分を合成して、前記撮影画像よりも解像度の高い合成画像とする画像合成部を更に備え、
    前記表示制御部が、前記合成画像を前記表示装置へ表示させる
    請求項7又は8に記載の遠隔コミュニケーションシステム。
  10. 前記遠隔装置が、前記コミュニケーション装置の撮影方向を指示する指示情報を前記コ
    ミュニケーション装置へ送信する送信制御部を備え、
    前記コミュニケーション装置が、前記遠隔装置から受信した指示情報に応じて、少なくとも前記撮影部の向きを変える駆動部を備える、
    請求項9に記載の遠隔コミュニケーションシステム。
  11. 複数の協力者に関する属性情報を記憶した記憶部と、
    前記利用者による入力情報、前記第一の地点における音情報、又は前記撮影部による前記撮影画像を選択用情報として取得する取得部と、
    前記協力者の前記属性情報と前記選択用情報とに基づいて前記協力者を選択する選択部と、
    前記選択部によって選択された前記協力者の連絡先に選択されたことを通知する通知部と、
    を備える請求項7~10の何れか一項に記載の遠隔コミュニケーションシステム。
JP2018235927A 2017-12-15 2018-12-17 コミュニケーション装置及び遠隔コミュニケーションシステム Active JP7189406B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017240783 2017-12-15
JP2017240783 2017-12-15

Publications (2)

Publication Number Publication Date
JP2019110535A JP2019110535A (ja) 2019-07-04
JP7189406B2 true JP7189406B2 (ja) 2022-12-14

Family

ID=67180315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235927A Active JP7189406B2 (ja) 2017-12-15 2018-12-17 コミュニケーション装置及び遠隔コミュニケーションシステム

Country Status (1)

Country Link
JP (1) JP7189406B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
JP7346983B2 (ja) * 2019-07-31 2023-09-20 株式会社リコー 表示端末、遠隔制御システム、表示制御方法およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218103A (ja) 2004-01-28 2005-08-11 Hewlett-Packard Development Co Lp 顔の特徴を表示する装置
JP2010206307A (ja) 2009-02-27 2010-09-16 Toshiba Corp 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP2011152593A (ja) 2010-01-26 2011-08-11 Nec Corp ロボット操作装置
JP2012175136A (ja) 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2014110558A (ja) 2012-12-03 2014-06-12 Ricoh Co Ltd 情報処理装置、情報処理システム及びプログラム
US20150281640A1 (en) 2013-09-03 2015-10-01 Center Of Human-Centered Interaction For Coexistence Telepresence Device
WO2017183292A1 (ja) 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント 処理装置および画像決定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046088A (ja) * 2000-08-03 2002-02-12 Matsushita Electric Ind Co Ltd ロボット装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218103A (ja) 2004-01-28 2005-08-11 Hewlett-Packard Development Co Lp 顔の特徴を表示する装置
JP2010206307A (ja) 2009-02-27 2010-09-16 Toshiba Corp 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP2011152593A (ja) 2010-01-26 2011-08-11 Nec Corp ロボット操作装置
JP2012175136A (ja) 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2014110558A (ja) 2012-12-03 2014-06-12 Ricoh Co Ltd 情報処理装置、情報処理システム及びプログラム
US20150281640A1 (en) 2013-09-03 2015-10-01 Center Of Human-Centered Interaction For Coexistence Telepresence Device
WO2017183292A1 (ja) 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント 処理装置および画像決定方法

Also Published As

Publication number Publication date
JP2019110535A (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
US11748056B2 (en) Tying a virtual speaker to a physical space
KR101944846B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
JP6298561B1 (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
JP2018092523A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US11315325B2 (en) Systems and methods for artificial intelligence-based virtual and augmented reality
CN103562968A (zh) 用于相对于每个用户的视点来渲染共享数字界面的系统
JP6298563B1 (ja) ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
JP7189406B2 (ja) コミュニケーション装置及び遠隔コミュニケーションシステム
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2018200678A (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
JP2019046250A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
JP7118228B2 (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
TW201812386A (zh) 影像提供系統
US11696088B1 (en) Method and apparatus to generate a six dimensional audio dataset
JP6942834B2 (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
US20240105173A1 (en) Method and apparatus for providing virtual space in which interaction with another entity is applied to entity
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
US20240104863A1 (en) Contextual presentation of extended reality content
KR20240041195A (ko) 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치
KR20240035283A (ko) 가상 공간 내의 사용자의 음성 데이터의 전달하기 위한 장치 및 방법
JP2019135655A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221108

R150 Certificate of patent or registration of utility model

Ref document number: 7189406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350