JP6555665B2 - コミュニケーション装置および方法 - Google Patents

Description

この発明は、人とのアイコンタクトを可能にしたコミュニケーション装置および方法に関する。

近年、遠隔操作により制御される機械または自動的に制御される機械を使用して、人とコミュニケーションを行う技術について、様々な研究が行われている。例えば、人が実際の人と対話をしているかのような感覚を得やすいように、視線の指向性の高低を調整する装置が提案されている。視線の指向性とは、目（眼球）の動きと目の動きによって人が感じる視線の変化との相関性をいう。具体的には、目の向きが変化すると視線も目の向きの変化に伴って変化していると人が感じやすい場合に視線の指向性が高いと表現され、目の向きを変化させても視線の変化を感じにくい場合に視線の指向性が低いと表現される。

この特性に着目し、機械の目の形状を変化させることで視線の指向性をダイナミックに制御する技術が提案されている。具体的には機械の眼球に相当する部位に凹面と凸面とを形成し、これらの凹面と凸面とを切り替えることで視線の指向性を変化させる。このようにすると、多人数の対話者に対してもアイコンタクトによる心理的効果を生じさせることが可能となる（例えば非特許文献１を参照）。

横山正典ほか、「コミュニケーションを拡張する"超現実テレビジョンプレゼンス"の提案」、情報処理学会研究報告、Vol.2015-HCI-163 No.4 2015/5/14

ところが、非特許文献に記載された技術では、機械の眼球に相当する部位の凹面と凸面とを切り替える際に、凹面と凸面の切替過程が対話者に見えてしまう。このため、対話者に対し不自然な印象を与えてしまうという課題があった。

この発明は上記事情に着目してなされたもので、対話者に対し不自然な印象を与えることなく視線の指向性を変更できるようにし、これによりアイコンタクトによる心理的効果をさらに高めることが可能なコミュニケーション装置および方法を提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、正面側に位置する対話者とアイコンタクトによるコミュニケーションを行うコミュニケーション装置にあって、凸形状となる第１の面および凹形状となる第２の面を有しこれら第１および第２の面を前記正面側に対し択一的に向けることが可能な人工的な眼球部と、前記眼球部の前記正面側となる位置において瞬きを表す開閉動作を行うまぶた部と、前記眼球部およびまぶた部を動作させる制御部とを具備する。そして、前記制御部により、前記正面側に向ける眼球部の面を前記第１の面と第２の面との間で切り替える期間に、当該眼球部の面を前記正面側に対し隠すべく前記まぶた部を閉動作させるようにしたものである。

この発明の第２の態様は、前記制御部が、前記眼球部の面を切り替える動作に同期して、当該切り替える動作の開始前に前記まぶた部を閉動作させ、前記切り替える動作の終了後に前記まぶた部を開動作させるようにしたものである。

この発明の第３の態様は、前記制御部が、前記まぶた部を予め設定した時間間隔で周期的に開閉動作させ、前記眼球部の面を切り替える動作を、前記まぶた部の周期的な開閉動作に同期してその閉期間に行うようにしたものである。

この発明の第４の態様は、前記制御部が、予め設定した監視期間ごとに前記まぶた部が開閉動作を行ったか否かを判定し、直近の監視期間に前記開閉動作が１回も行われなかったと判定された場合には、次の監視期間の開始前に前記まぶた部に開閉動作を行わせる。一方、前記直近の監視期間に前記開閉動作が行われた場合には、当該開閉動作の回数が１回であるか複数回であるかを判定し、前記開閉動作の回数が１回と判定された場合には、次の監視期間の開始前に開閉動作を行わず次の監視期間に開閉動作を行い、前記開閉動作の回数が複数回と判定された場合には、前記次の監視期間が終了するまで前記開閉動作を行わないように制御するようにしたものである。

この発明の第５の態様は、前記制御部が、前記正面側に対し前記眼球部の第１の面を向けている状態で、当該第１の面による視線の方向が前記対話者の方向に設定されている状態が予め設定した時間続いた場合に、前記第１の面による視線の方向を前記対話者の方向から他の方向へそらすべく前記眼球部の向きを変化させるようにしたものである。

この発明の第１の態様によれば、まぶた部が閉じている期間に眼球部の凸形状の第１の面と凹形状の第２の面との切替動作を行うことができ、これにより眼球部の第１の面と第２の面との切替動作が対話者から見えないようにして、不自然な印象を対話者に与えないようにすることができる。

この発明の第２の態様によれば、眼球部の面を切り替える動作に同期してまぶた部が開閉動作するため、まぶた部本来の瞬き動作とは独立して、眼球部の面を切り替えるタイミングでまぶたを閉じることができる。

この発明の第３の態様によれば、眼球部の面を切り替える動作が、まぶた部の周期的な開閉動作に同期してその閉期間に行なわれる。このため、まぶたの開閉動作を眼球部の面の切り替え動作に合わせる必要がなくなる。

この発明の第４の態様によれば、まぶた部の開閉動作が一般的な人の瞬き動作に近いタイミングで行われるように制御される。このため、自然な瞬きを行うことができる。

この発明の第５の態様によれば、視線の方向が対話者の方向に設定されている状態が一定時間続くと、視線の方向が対話者の方向から他の方向へそらされる。一般に、人と一対一で対話するときの視線の継続時間には、好ましいとされる時間があることが知られている。このため、上記のように対話者を一定時間注視した後視線を自動的にそらすようにすると、一対一の対話をより円滑に行うことが可能となる。

すなわちこの発明の各態様によれば、対話者に対し不自然な印象を与えることなく視線の指向性を変更できるようにし、これによりアイコンタクトによる心理的効果をさらに高めることが可能なコミュニケーション装置および方法を提供することができる。

この発明の第１の実施形態に係るコミュニケーション装置の機構部分の正面図。 図１に示したコミュニケーション装置の機構部分の上面図。 図１に示したコミュニケーション装置の機構部分の構成を示す右側面図。 図１に示したコミュニケーション装置の機構部分の構成を示す左側面図。 この発明の第１の実施形態に係るコミュニケーション装置の視線提示制御ユニットの構成を示すブロック図。 図５に示した視線提示制御ユニットによる瞬き姿勢制御の処理手順と処理内容を示すフローチャート。 図６に示した瞬き視線制御のうち半自律的な視線制御の処理手順と処理内容を示すフローチャート。 図６に示した瞬き視線制御のうち瞬きタイマ確認動作の処理手順と処理内容を示すフローチャート。 この発明の第１の実施形態に係るコミュニケーション装置の機構部分の動作遷移図。 この発明の第２の実施形態に係るコミュニケーション装置の機構部分の正面図。 図１０に示したコミュニケーション装置の機構部分の側面図。 この発明の第２の実施形態に係るコミュニケーション装置の機構部分の動作遷移図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１乃至図４は、この発明の第１の実施形態に係るコミュニケーション装置の機構部分の構成を示すもので、図１は正面図、図２は上面図、図３は右側面図、図４は左側面図をそれぞれ示している。

コミュニケーション装置１０は、人の目を模したものであり、例えば人型または他の形状のロボットの顔に相当する部分に２個搭載され、当該ロボットの目として使用される。ロボットは、例えば単数または複数の人と対話によるコミュニケーションを行う。ここで、正面とは、対話者である人がコミュニケーション装置１０を見る方向である。

コミュニケーション装置１０は、フレーム１１により３個の独立する収容部を構成している。このうち中央の収容部には、人工的な眼球部１２およびまぶた部１７が配置されている。正面から見て左側の収容部には第１および第２のサーボモータ１４，１５が収容され、右側の収容部には第３のサーボモータ１６が収容されている。またフレーム１１の下部には第４のサーボモータ１３が配置されている。

眼球部１２は半球殻形状に形成されている。すなわち、眼球部１２は、正面から見える表側の球面が凸面を形成しており、裏側の球面が凹面を形成している。眼球部１２は、例えば白色の硬質材料で形成されており、眼球部１２の中央部分は人の瞳孔および虹彩を模して例えば円形に黒色に着色されている。眼球部１２において黒色に着色された箇所を、以下「黒目」ともいう。眼球部１２は、フレーム１１に対し回転軸１８ａにより回動自在に支持されている。

上記各サーボモータ１３〜１６のうち、第１および第４のサーボモータ１４，１３は、眼球部１２の凸面が正面側を向いている状態で眼球部１２の上下左右方向の動きを変化させるために用いられる。すなわち、第４のサーボモータ１３は、真正面方向を基準としてフレーム１１を矢印Ａ方向にそれぞれ９０°回転させことにより、眼球部１２の左右方向（パン方向）の向きを最大１８０°変更する。第１のサーボモータ１４は、真正面方向を基準としてモータ軸１８ｂを矢印Ｂ方向にそれぞれ９０°回転させることにより、眼球部１２の上下方向（チルト方向）の向きを最大１８０°変更する。

なお、第１および第４のサーボモータ１４，１３は、眼球部１２の凹面が正面方向を向いている状態では動作しない。つまり、眼球部１２の凹面が正面方向を向いている場合には、眼球部１２の向きは変化しない。

第２のサーボモータ１５は、眼球部１２の凸面と凹面のどちらを正面方向に向けるかを切り替えるために使用される。すなわち、第２のサーボモータ１５は、モータ軸１８ｂを矢印Ｂ方向に１８０°回転させることにより、図３に示すように眼球部１２の凸面が正面方向を向くように設定したり、図４に示すように眼球部１２の凹面が正面方向を向くように設定する。なお、第１のサーボモータ１４が３６０°回転可能な場合には、第２のサーボモータ１５を省略し、第１のサーボモータ１４により凸面と凹面の切り替えを行ってもよい。

まぶた部１７は、例えば半球状に形成された不透明な樹脂、繊維または金属により構成され、一端部が第３のサーボモータ１６のモータ軸１９に接続されている。第３のサーボモータ１６は、モータ軸１９を矢印Ｃ方向に回転させることにより、上記まぶた部１７を開閉動作、つまり瞬き動作させる。この開閉動作により、上記眼球部１２の正面側を隠したり、露出させたりする。

次に、第１の実施形態に係るコミュニケーション装置の視線提示制御ユニットについて説明する。図５はその機能構成を示すブロック図である。

視線提示制御ユニット２０は、制御部２１と、インタフェース部２２とを有している。
インタフェース部２２は、外部との間で信号の送受信を行うもので、画像データ受信部２２１と、操作データ受信部２２２と、駆動信号送信部２２３とを備えている。画像データ受信部２２１は、例えばロボットの頭部に設置されたカメラ３１から出力される、対話者の顔画像データを受信する。操作データ受信部２２２は、例えば遠隔のユーザが使用するスマートフォンやパーソナルコンピュータ等の操作端末から送信される、視線操作のための操作データを受信する。駆動信号送信部２２３は、制御部２１から出力される瞬きおよび視線の制御データに応じて、各サーボモータ１３〜１６に対し駆動信号を出力する。

制御部２１は、例えば中央処理ユニット（Central Processing Unit：CPU）と記憶ユニットとから構成され、第１の実施形態を実施するために必要な制御機能として、顔認識部２１１と、瞬き視線制御部２１２と、半自律制御タイマ２１３と、瞬きタイマ２１４と、視線タイマ２１５と、視線回避タイマ２１６とを備えている。なお、これらの制御機能部は、記憶ユニットに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

顔認識部２１１は、上記画像データ受信部２２１により受信された対話者の顔画像データを読み込み、当該顔画像データから対話者の顔を認識して、認識結果を瞬き視線制御部２１２へ出力する処理を行う。顔認識処理には、OpenCV for headtrackr.js [https://github.com/auduno/headtrackr] 等の周知の認識方式を用いることができる。

瞬き視線制御部２１２は、上記顔認識部２１１による対話者の顔の認識結果と、操作データ受信部２２２により受信された操作データと、半自律制御タイマ２１３、瞬きタイマ２１４、視線タイマ２１５および視線回避タイマ２１６の各計時値に基づいて、上記眼球部１２の視線の方向と、凸面と凹面の何れを正面側に設定するかを制御すると共に、まぶた部１７の開閉動作を併せて制御する。具体的には、瞬きおよび視線の制御データをもとにサーボモータ１３〜１６の駆動制御データを生成し、駆動信号送信部２２３へ出力する。

半自律制御タイマ２１３は、システムの起動と同時に計時を開始し、遠隔のユーザからの視線操作に関する入力を受信する度にリセットされる。一方、視線操作の入力がないまま計時時間が事前に設定された時間を超えると、タイムアウトを瞬き視線制御部２１２へ通知する。このタイムアウトは、瞬き視線制御部２１２が半自律モードへ移行するためのトリガとして使用される。なお、上記タイムアウトまでの設定時間は、視線の継続時間（３秒）よりも長い時間に設定される。

瞬きタイマ２１４は、システムの起動と同時に計時を開始し、３秒毎にタイムアウトを瞬き視線制御部２１２へ通知する。

視線タイマ２１５は、対話者に視線を合わせた時点から計時を開始し、その計時時間を瞬き視線制御部２１２へ通知する。この視線タイマ２１５の計時時間は、瞬き視線制御部２１２が眼球部１２の視線を対話者からそらす制御を行うか否かを判定するために使用される。瞬き視線制御部２１２により視線をそらす制御が行われると、視線タイマ２１５の計時は終了する。なお、視線タイマの計時時間は、例えば３秒に設定される。これは、視線の継続時間は約３秒が最も好印象という実験結果に基づく（Harrison, Charlotte, et al. “Individual differences in preference for mutual gaze
duration.” Journal of vision 15.12 (2015): 173‐173.）。

視線回避タイマ２１６は、半自律モードによる視線制御中に、視線をそらしている時間を計時し、計時時間が事前に設定した時間を超えた時点で、タイムアウトを瞬き視線制御部２１２へ通知し、計時を終了する。

（動作）
次に、以上のように構成されたコミュニケーション装置の瞬き視線制御動作を説明する。図６乃至図８は、瞬き視線提示制御ユニット２０による処理手順と処理内容を示すフローチャートである。

制御部２１は、先ず顔認識部２１１により、画像データ受信部２２１により受信された対話者の顔画像データを読み込み、当該顔画像データから対話者の顔を認識する。そして、瞬き視線制御部２１２により、上記対話者の顔の認識結果をもとに対話者の顔の方向を検出し、当該検出した対話者の顔の方向へ視線が向くように眼球部１２の向きを制御する。この視線の制御は、第１または第４のサーボモータ１４，１３を動作させることにより行われる。

上記視線の制御が終了すると、瞬き視線制御部２１２は先ずステップＳ１０により瞬きタイマ２１４および半自律制御タイマ２１３によりそれぞれ計時を開始する。そして、瞬き視線制御部２１２の制御の下、ステップＳ１１において半自律制御タイマの計時時間が予め設定した一定時間（例えば３秒より長い時間）を経過したか否かを判定する。この判定の結果、半自律制御タイマの計時時間が上記一定時間を経過していなければ、ステップＳ１２に移行して瞬きタイマ確認処理を以下のように実行する。

図８はその処理手順と処理内容を示すフローチャートである。すなわち、瞬き視線制御部２１２は、先ずステップＳ１２０により瞬きタイマ２１４の計時時間を読み込み、前回瞬きしてから３秒が経過したか否かを判定する。そして、３秒が経過していなければ、そのまま瞬き確認処理を終了してステップＳ１４に移行する。なお、瞬きタイマ２１４の計時時間を３秒に設定した理由は、人の自然な瞬き頻度は１分当たり２０回と言われているからである。なお、その根拠は、「瞬目の多少が人の印象形成に及ぼす影響」、子孫、日本教育工学会論文誌、2006に詳しく記載されている。

一方、３秒が経過すると、ステップＳ１２１において複数回フラグがセットされているか否か、つまり当該３秒間に瞬きが複数回行われたか否かを判定する。そして、複数回フラグがセットされていなければ、ステップＳ１２３により瞬きが行われたか否かを判定し、瞬きが行われていなければステップＳ１２６により瞬き制御データを駆動信号送信部２２３へ出力する。この結果、駆動信号送信部２２３から第３のサーボモータ１６へ駆動信号が出力され、第３のサーボモータ１６が動作してまぶた部１７が閉じられる。すなわち、直近の３秒間に瞬きが一度も行われていなければ、まぶた部１７により瞬きが行われる。

一方、直近の３秒間に瞬きが行われたならば、ステップＳ１２４により瞬きの回数が複数回か否かを判定する。そして、瞬きが１回のみであれば瞬きをせずにそのままステップＳ１４に移行する。これに対し、瞬きが複数回であればステップＳ１２５により複数回フラグをセットした後、ステップＳ１４に移行する。なお、ステップＳ１２１において上記複数回フラグがセットされていると判定された場合には、ステップＳ１２２により上記複数回フラグをリセットした後、ステップＳ１４に移行する。

すなわち、瞬き視線制御部２１２は、瞬きタイマ２１４により３秒が計時されるごとに、当該３秒間に瞬きが行われたか否かを判定する。そして、瞬きが１回も行われなかった場合にはまぶた部１７により瞬きを行わせる。これに対し、上記３秒間に瞬きが行われた場合には、その回数が１回のみであれば瞬きをせず、複数回の場合には次の３秒間が経過したのちにおいても瞬きをしないようにする。

瞬き視線制御部２１２は、次にステップＳ１４においてユーザによる半自律モードへの切替指示が受信されたか否かを判定する。そして、半自律モードへの切替指示が受信された場合には、ステップＳ１５により半自律モードに切り替えた後、ステップＳ１１に戻って半自律制御タイマ２１３のタイムアウトを監視する。そして、タイムアウトするまで、先に述べたステップＳ１２による瞬きタイマ確認処理が繰り返し行われる。

さて、上記半自律制御タイマ２１３がタイムアウトしたとする。そうすると瞬き視線制御部２１２は、半自律の視線制御を以下のように実行する。図７はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ１３０において瞬きタイマ確認処理を実行した後、ステップＳ１３１に移行する。なお、瞬きタイマ確認処理については、先に図８にて説明したので説明は省略する。

ステップＳ１３１において瞬き視線制御部２１２は、ユーザから視線操作を行わせるための操作データが入力されたか否かを判定し、視線操作データが入力されればステップＳ１６に移行する。これに対し、ユーザの視線操作データが入力されなければ、ステップＳ１３２において、視線タイマ２１５がタイムアウトしたか否か、つまり前回対話者に視線を合わせた時点から３秒が経過したか否かを判定する。そして、前回対話者に視線を合わせた時点から３秒が経過すると、ステップＳ１３３により視線をそらすための処理を実行する。この視線をそらす処理は、サーボモータ１３または１４を駆動制御することで、眼球部１２の向きを左右方向または上下方向に一定量変化させることによりなされる。

上記視線をそらす処理が終了すると瞬き視線制御部２１２は、ステップＳ１３４により視線回避タイマ２１６に計時を開始させ、ステップＳ１３０に戻る。そして、ステップＳ１３０により瞬きタイマ確認処理を行った後、ステップＳ１３２を経てステップＳ１３５に移行し、ここで視線回避タイマ２１６が計時動作中か否かを判定する。そして、視線回避タイマ２１６が計時動作中であれば、当該視線回避タイマ２１６がタイムアウトしたか否かを判定し、タイムアウトしていなければステップＳ１３０に戻る。

これに対し、視線回避タイマ２１６がタイムアウトしたとする。そうすると瞬き視線制御部２１２は、ステップＳ１３７により視線回避タイマ２１６の計時動作を終了した後、ステップＳ１３８において、半自律的な視線制御モードとして「多人数モード」が設定されているかまたは「一対一モード」が設定されているかを判定する。そして、「一対一モード」が設定されていれば、ステップＳ１４０において、眼球部１２の凸面が正面を向いた状態を保持したまま、対話者に対し視線を合わせるための制御を行う。この視線を合わせる制御は、顔認識部２１１から最新の対話者の顔の位置を表すデータを取り込み、眼球部１２の視線の向きを対話者の顔の方向に向けるべくサーボモータ１３または１４を動作させて眼球部１２の向きを変化させることにより行われる。

一方、多人数モードが設定されている場合には、瞬き視線制御部２１２はステップＳ１３９において眼球部１２を凹面が対話者の方に向くように制御する。この制御は、サーボモータ１５を動作させて眼球部１２を回転させることにより行われる。また、このとき瞬き視線制御部２１２は、眼球部１２を凸面から凹面に切り替える際に、第４のサーボモータ１６に対し駆動制御データを出力することで、まぶた部１７に瞬きをさせる。図９（ａ）〜（ｄ）は、このときのまぶた部１７の開閉動作と眼球部１２の凸凹面の切替動作の変化を示すものである。

従って、眼球部１２の凸面から凹面への切り替え動作は、まぶた部１７が閉じている間に行われることになり、これにより上記凸面から凹面への切替動作が対話者に見られないようにすることができる。

上記ステップＳ１４０による視線合わせと、ステップＳ１３９による眼球部１２の凹面への切り替えが終了すると、瞬き視線制御部２１２はステップＳ１４１において視線タイマ２１５に計時を開始させ、ステップＳ１３０に戻る。そして、以後ユーザから視線操作データが入力されるまで、ステップＳ１３０〜Ｓ１４１による半自律的な視線制御処理を繰り返す。

瞬き視線制御部２１２は、続いてステップＳ１６において、ユーザから視線操作データの入力がなされたか否かを判定する。そして、視線操作データが入力されると、ステップＳ２０により半自律制御タイマ２１３をリスタートした後、ステップＳ２１，ステップＳ２２およびステップＳ２６において、それぞれ操作指示の内容が「凹面への変更」であるか、「凸面への変更」であるか、さらには「視線合わせ」であるか「視線そらし」であるかを判定する。

上記判定の結果、操作指示の内容が「凹面への変更」であれば、ステップＳ２２において、第２のサーボモータ１５を動作させて眼球部１２を回転させることにより眼球部１２の凹面が正面方向に向くように設定する。なお、このとき眼球部１２の視線の方向は対話者に合っている状態を維持する。

これに対し、操作指示の内容が「凸面への変更」であれば、ステップＳ２５において、第２のサーボモータ１５を動作させて眼球部１２を回動させることにより、眼球部１２の凸面が正面方向に向くように設定する。またこのとき、第１または第３のサーボモータ１４，１３を動作させることで、眼球部１２の視線の方向を対話者に合わせる。なお、この視線の方向を対話者に合わせる制御は、顔認識部２１１による対話者の顔の認識結果に基づいて行われる。

また、上記眼球部１２の凹面または凸面を切り替える際に、瞬き視線制御部２１２は、第４のサーボモータ１６に対し駆動制御データを出力し、これによりまぶた部１７に瞬きを行わせる。このため、眼球部１２の凹面または凸面への切り替え動作は、上記まぶた部１７が閉じている間に行われることになり、これにより上記凹面または凸面への切り替え動作が対話者に見られることはない。

一方、ユーザによる操作指示の内容が「視線合わせ」であれば、ステップＳ２７において、第１または第３のサーボモータ１４，１３を動作させることで、眼球部１２の視線の方向を対話者に合わせる。なお、この視線合わせは眼球部１２の凸面が正面を向いている状態で行われる。

これに対し、上記ユーザによる操作指示の内容が「視線そらし」であれば、ステップＳ２８において、第１または第３のサーボモータ１４，１３を動作させることで、眼球部１２の視線の方向を対話者からそらす。

なお、上記ステップＳ２２、Ｓ２５またはＳ２７において対話者に対する視線合わせを行った場合、瞬き視線制御部２１２はステップＳ２３により視線タイマ２１５に計時を開始させる。

瞬き視線制御部２１２は、上記視線タイマ２１５を用いることで、自律的に視線をそらす処理を以下のように実行する。すなわち、ユーザから視線操作データの入力がない場合、瞬き視線制御部２１２はステップＳ１６からステップＳ１７に移行する。そして、ステップＳ１７で視線タイマ２１５が計時動作中か否かを判定し、計時動作中であればステップＳ１７により計時時刻が３秒を経過したか否かを判定する。この判定の結果、視線タイマ２１５の計時時間が３秒を経過すると、ステップＳ１９において、第２のサーボモータ１５を動作させて眼球部１２を回転させることにより、眼球部１２の凸面が正面方向に向くように設定する。そして、第１または第３のサーボモータ１４，１３を動作させることで眼球部１２を移動させ、対話者から視線をそらす。

すなわち、眼球部１２の視線が対話者に合っている状態で、ユーザが視線をそらすための操作を行わなくても、視線タイマ２１５の計時時間が３秒を経過すると自律的に視線をそらす処理が行われる。

（効果）
以上詳述したように第１の実施形態では、眼球部１２に凸面と凹面を設け、これらの凸面と凹面とを切り替えることで、高指向性の視線と、低指向性の視線との双方を、状況に応じて切り替えることができる。

すなわち、眼球部１２の凸面が正面側を向いている場合、対話者は、眼球部１２の黒目が自分の方向を向いているときには眼球部１２が自分の方向を向いていると感じやすい。これに対し黒目の方向が変化すると、対話者は眼球部１２の黒目が自分の方向からそれた方向を向いているため、眼球部１２が自分の方向を向いているとは感じにくくなる。つまり、眼球部１２の凸面が正面側を向いている場合には、視線の指向性が高くなる。

一方、眼球部１２の凹面が正面側を向いている場合、対話者は、眼球部１２の黒目が自分の方向を向いているときも、また自分の方向からそれた方向を向いているときも、眼球部１２が自分の方向を向いていると感じやすい。これは、黒目が眼球部１２の凹面上ではなく、凹面から浮き上がった位置に存在するように見え、対話者にとっては黒目が眼球部１２において対話者側に寄った状態で見えるからである。このように、眼球部１２が自分の方向を向いていると感じる現象（錯視）は、対話者の位置によらず発生する。そのため、凹面が正面側に向いている場合には、視線の指向性は低くなる。

以上のような性質を利用することで以下のような効果が奏せられる。すなわち、特定の人と一対一の関係でコミュニケーションを行う場合や、コミュニケーションを行っている人と視線を共有する共同注視を行う場合に、眼球部１２の凸面が正面側を向くように設定する。このようにすると、対話者に対する視線の指向性が高くなり、共同注視や１対１のコミュニケーションを効果的に行うことができる。

一方、例えばプレゼンテーション等、不特定多数の人に対してコミュニケーションを行う場合には、眼球部１２の凹面が正面側を向くように設定する。このようにすると、対話者に対する指向性が低くなり、多人数に対してもより高い信頼感を持ったコミュニケーションを実現できる。

しかも、まぶた部１７をさらに設け、上記眼球部１２の凸面と凹面との切替えに際し、まぶた部１７を動作させて瞬きをするようにしている。このため、まぶた部１７が閉じている期間に眼球部１２の凸面と凹面との切替動作を行うことができ、これにより眼球部１２の凸面と凹面との切替動作が対話者から見えないようにして、不自然な印象を対話者に与えないようにすることができる。

さらに、眼球部１２の視線の提示時間とまぶた部１７による瞬きの頻度をタイマ２１３〜２１６を用いて自律的に制御するようにしたので、日常のコミュニケーションの中でアイコンタクトによる心理的効果を多人数に対して自然に与えることが可能となる。

［第２の実施形態］
この発明の第２の実施形態は、黒目が表示された弾性を有する膜を、互いに向き合うように配置された２個の球面の何れかに密着させることで眼球の凸面と凹面とを切り替え、かつ眼球の前面側にジャバラ構造をなすまぶた部を配置し、このまぶた部を縮小および拡張することで瞬き動作を実現するようにしたものである。

（構成）
図１０および図１１はこの発明の第２の実施形態に係るコミュニケーション装置の機構部分の構成を示すもので、図１０は正面図、図１１は側面図である。コミュニケーション装置３０は、基台部３１０と、可動部３２０とを備える。

基台部３１０は、図１１に示すように右側面視で略コの字型の外枠部３１１を有する。外枠部３１１は、上面３１２と、底面３１３と、背面３１４とにより構成される。上面３１２の底面３１３側と、底面３１３の上面３１２側には、それぞれ可動部３２０の歯車３２４および３２５の歯面と噛み合う歯面が設けられている。

また、基台部３１０は、背面３１４の中央に、正面側に突出する、正面視で略四角形の筒部３１５を有する。筒部３１５の正面側の開口は、膜３１６で覆われている。膜３１６と筒部３１５の開口とは接着されている。膜３１６は、例えば白色のシリコン等の伸縮性を有する材料で構成されている。筒部３１５の内部は中空になっている。また、膜３１６の中央部分は、人の瞳孔及び虹彩を模して、例えば円形に黒色に着色されている。

可動部３２０は、球体３２１と、半球体３２２と、これらの球体３２１および半球体３２２を支持するフレーム３２３とを備える。球体３２１およびフレーム３２３は、例えばアクリル板等の透明な硬質材料で形成されている。球体３２１と、半球体３２２とは、球面同士で基台部３１０の膜３１６を挟み込むようにして、正面視で前後方向に配置される。フレーム３２３の上側には、回転軸３２６を通すための軸受け３２７が接続され、フレーム３２３の下側には、回転軸３２８を通すための軸受け３２９が接続されている。

また、可動部３２０は、基台部３１０の上面３１２と接する２つの歯車３２４及び底面３１３と接触する２つの歯車３２５とを備える。歯車３２４の歯面は上面３１２の歯面と噛み合い、歯車３２５の歯面は底面３１３の歯面と噛み合う。２つの歯車３２４には、回転軸３２６が挿入されている。また、２つの歯車３２５のうち、一方には回転軸３２８が挿入されており、他方にはモータ３３０の回転軸が挿入されている。モータ３３０は、フレーム３２３の下側に取り付けられている。モータ３３０として、例えばサーボモータまたはエンコーダ付き直流モータ等を使用することができる。モータ３３０が駆動することにより、歯車３２５が回転し、可動部３２０が基台部３１０に対して、正面視における前後方向に変位する。モータ３３０は、例えば図示しない駆動部により駆動される。

コミュニケーション装置３０において、球体３２１と、半球体３２２と、膜３１６とは眼球を構成し、モータ３３０は、眼球について、正面側に対して凸形状を向けるか、凹形状を向けるかを制御する制御部として機能する。

またコミュニケーション装置３０は、まぶた部３４０を備えている。まぶた部３４０は、紙や布等の素材で製作されたジャバラ構造をなすまぶた部材３４４を有する。このまぶた部材３４４は、基端部がフレームに固定され、先端部が可動部材に３４３に固定されている。可動部材３４３は、モータ３４１の回転板３４２に接続され、モータ３４１によりこの回転板３４２が回動することで上記まぶた部材３４４を開閉動作させる。

なお、視線提示制御ユニット２０の構成は、図４に示した構成と基本的に同一なので、ここでは説明を省略する。

（動作）
次に、以上のように構成された装置の動作を説明する。図１２は、眼球部の凸面と凹面との切り替え動作と、まぶた部３４０の動作の変化を説明するための図である。

先ず対話者が存在する方向に対し眼球部を凸面状態に設定するには、瞬き視線制御部２１２の制御の下、サーボモータを駆動することで、図１２（ａ）に示すように歯車３２４，３２５を回転させ、基台部３１０に対し可動部３２０を対話者の方向へ一定量移動させる。この結果、膜３１６は半球体３２２の半球面に密着し、これにより眼球の凸面が形成される。

次に、瞬き視線制御部２１２の制御の下、サーボモータ３４１を駆動してまぶた部材３４４を拡張させ、これにより図１２（ｂ）に示すように眼球部の球体３２１を覆い隠す。すなわち、まぶたを閉じた状態に設定する。

続いて、この状態でサーボモータを駆動することで歯車３２４，３２５を回転させ、これにより図１２（ｃ）に示すように可動部３２０を対話者とは反対の方向へ一定量移動させる。この結果、膜３１６は球体３２１の裏面側の半球面に密着し、これにより眼球の凹面が形成される。

最後に、瞬き視線制御部２１２の制御の下、サーボモータ３４１を駆動してまぶた部材３４４を伸縮させ、これにより図１２（ｄ）に示すように眼球部の球体３２１を露出させる。すなわち、まぶたを開けた状態に設定する。

なお、眼球部を凹面から凸面に切り替える場合には、上記動作とは反対の手順で凸凹面の切り替え動作と瞬き動作が行われる。

（効果）
以上のように第２の実施形態では、まぶた部材３４４をジャバラ構造のような伸縮可能な部材により構成し、眼球部を凸面から凹面に、また凹面から凸面に切り替える際に、事前にまぶた部３４０を動作させて、まぶた部材３４４により眼球部を隠すようにしている。このため、第１の実施形態と同様に、まぶた部３４０が閉じている期間に眼球部の凸面と凹面との切替動作を行うことができ、これにより眼球部の凸面と凹面との切替動作が対話者から見えないようにして、不自然な印象を対話者に与えないようにすることができる。また、まぶた部材３４４をジャバラ構造としたことで、まぶた部材３４４の収容スペースを縮小することができる。

［その他の実施形態］
前記各実施形態では、まぶた部の開閉動作（瞬き動作）を眼球部の面を凸面と凹面との間で切り替える動作に同期して行った。すなわち、眼球部の面を切り替える動作の開始前にまぶた部を閉動作させ、上記切り替える動作の終了後に上記まぶた部を開動作させるようにした。しかしそれに限らず、まぶた部を予め設定した時間間隔で周期的に開閉動作させる場合には、眼球部の面を切り替える動作を当該まぶた部の周期的な開閉動作に同期してその閉期間に行うようにしてもよい。

また、眼球の凸面又は凹面の切替えは、遠隔のユーザの操作に基づいて行ってもよいが、切替え制御の手順と内容をコミュニケーション装置を含むロボットが話す内容に合わせて予めプログラムしておくようにしてもよい。

さらに前記各実施形態では、眼球部の凸面と凹面との切り替え時にまぶた部を開閉動作させる場合について述べたが、眼球部の視線を合わせたりそらせるとき、つまり視線を変化させるときにもまぶた部を開閉動作させるようにしてもよい。

さらに、制御部の制御の下で、例えば３Ｄディスプレイからなる立体画像表示部に、眼球を表す凸形状の立体画像と凹形状の立体画像を択一的に表示するようにしてもよい。すなわち、立体画像表示部に、正面側に凸形状の眼球の立体画像を表示すると、第１の実施形態において凸面を正面側に向けた状態と同じ状態が実現され、また立体画像表示部に、正面側に凹形状の眼球の立体画像を表示すると、第１の実施形態において、凹面を正面側に向けた状態と同じ状態が実現される。

その際、３Ｄディスプレイに表示される眼球の凸形状又は凹形状の切り替えは、制御部により制御される。制御部は、眼球の凸形状の立体画像と凹形状の立体画像との表示の切替えについて、例えばコミュニケーション装置を含むロボットが話す内容に合わせて自動的に決定する。また、制御部は、眼球の凸形状の立体画像と凹形状の立体画像との表示の切替えを、例えば遠隔の操作者の操作に基づいて行ってもよい。

また、上記凸形状の眼球の立体画像と凹形状の眼球の立体画像の表示を切り替える際には、まぶたが瞬きをする立体画像を眼球の立体画像に重ねて表示する。このようにすると、凸形状の眼球の立体画像と凹形状の眼球の立体画像と表示を切り替えが対話者に見えないようにすることができる。

さらに、立体画像表示部に凸形状の眼球の立体画像を表示している場合には、表示される眼球の方向を変更して表示することにより、表示される眼球の視線の向きを変えることができる。なお、立体画像表示部は、必ずしも３Ｄディスプレイでなくてもよい。立体画像表示部は、例えばホログラムにより眼球の立体画像を表示可能な装置で合ってもよい。

その他、眼球部およびまぶた部の構成、その制御手順と処理の内容等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０，３０…コミュニケーション装置、１１…フレーム、１２…眼球部、１３〜１６…サーボモータ、１７…まぶた部、１８ａ…回転軸、１８ｂ，１９…モータ軸、２０…視線提示制御ユニット、２１…制御部、２２…インタフェース部、２２１…画像データ受信部、２２２…操作データ受信部、２２３…駆動信号送信部、２１１…顔認識部、２１２…瞬き視線制御部、２１３…半自律制御タイマ、２１４…瞬きタイマ、２１５…視線タイマ、２１６…視線回避タイマ、３１０…基台部、３１６…膜、３２０…可動部、３２１…球体、３２２…半球体、３２４，３２５…歯車、３３０…モータ、３４０…まぶた部、３４１…モータ、３４２…回転板、３４３…可動部材、３４４…まぶた部材。

Claims (6)

1. 正面側に位置する対話者とアイコンタクトによるコミュニケーションを行うコミュニケーション装置であって、
   凸形状となる第１の面および凹形状となる第２の面を有し、これら第１および第２の面を前記正面側に対し択一的に向けることが可能な人工的な眼球部と、
   前記眼球部の前記正面側となる位置において、瞬きを表す開閉動作を行うまぶた部と、
   前記眼球部およびまぶた部を動作させる制御部と
   を具備し、
   前記制御部は、
   前記正面側に向ける眼球部の面を、前記第１の面と第２の面との間で切り替える手段と、
   前記眼球部の面を切り替える期間に、当該眼球部の面を前記正面側に対し隠すべく前記まぶた部を閉動作させる手段と
   を備えることを特徴とするコミュニケーション装置。
2. 前記制御部は、前記眼球部の面を切り替える動作に同期して、当該切り替える動作の開始前に前記まぶた部を閉動作させ、前記切り替える動作の終了後に前記まぶた部を開動作させることを特徴とする請求項１記載のコミュニケーション装置。
3. 前記制御部は、前記まぶた部を予め設定した時間間隔で周期的に開閉動作させ、前記眼球部の面を切り替える動作を、前記周期的な開閉動作に同期してその閉期間に行うことを特徴とする請求項１記載のコミュニケーション装置。
4. 前記制御部は、
   予め設定した監視期間ごとに前記まぶた部が開閉動作を行ったか否かを判定する手段と、
   直近の監視期間に前記開閉動作が１回も行われなかったと判定された場合には、次の監視期間の開始前に前記まぶた部に開閉動作を行わせる手段と、
   前記直近の監視期間に前記開閉動作が行われた場合には、当該開閉動作の回数が１回であるか複数回であるかを判定する手段と、
   前記開閉動作の回数が１回と判定された場合には、次の監視期間の開始前に開閉動作を行わず次の監視期間に開閉動作を行う手段と、
   前記開閉動作の回数が複数回と判定された場合には、前記次の監視期間が終了するまで前記開閉動作を行わないように制御する手段と
   を、さらに備えることを特徴とする請求項１記載のコミュニケーション装置。
5. 前記制御部は、前記正面側に対し前記眼球部の第１の面を向けている状態で、当該第１の面による視線の方向が前記対話者の方向に設定されている状態が予め設定した時間続いた場合に、前記第１の面による視線の方向を前記対話者の方向から他の方向へそらすべく前記眼球部の向きを変化させる手段を、さらに備えることを特徴とする請求項１記載のコミュニケーション装置。
6. 凸形状となる第１の面および凹形状となる第２の面を対話者が位置する正面側に択一的に向けることが可能な人工的な眼球部と、前記眼球部の前記正面側となる位置において瞬きを表す開閉動作を行うまぶた部と、前記眼球部およびまぶた部を動作させる制御部とを
   備える装置が、前記対話者とアイコンタクトによるコミュニケーションを行うコミュニケーション方法であって、
   前記制御部により、前記正面側に向ける眼球部の面を、前記第１の面と第２の面との間で切り替える過程と、
   前記制御部により、前記眼球部の面を切り替える期間に、当該眼球部の面を前記正面側に対し隠すべく前記まぶた部を閉動作させる過程と
   を具備することを特徴とするコミュニケーション方法。