WO2018003986A1

WO2018003986A1 - 対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法

Info

Publication number: WO2018003986A1
Application number: PCT/JP2017/024213
Authority: WO
Inventors: 健嗣鈴木; 忠幸利根; 雅冬潘; 暢一廣川; 拓蜂須
Original assignee: University of Tsukuba NUC
Current assignee: University of Tsukuba NUC
Priority date: 2016-06-30
Filing date: 2017-06-30
Publication date: 2018-01-04
Anticipated expiration: 2018-12-30
Also published as: JPWO2018003986A1

Abstract

注視の検出と対面インタラクションの促進を実現する装置を提供する。対面インタラクション装置は、第１のビーム広がり角で第１波長の赤外線信号を送信する第１赤外線送信部と、他の装置から前記第１波長の赤外線信号を受信する第１赤外線受信部と、対面の検出を知らせる通知手段と、受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部とを有する。

Description

対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法

　本発明は、対面インタラクション装置とこれを用いた装着デバイス、及び対面促進方法に関する。

　対面インタラクションは人間の社会行動の基本的な行為である。対面インタラクションは、言葉によるバーバルコミュニケーションだけでなく、動作、表情、ジェスチュアなどによるコミュニケーションも含む。他者と対面し交流することで、自分の体験を他者と共有したり、他人の立場を考えることができる。

　一般に、自閉症などの発達障害を有する者は、正面から相手と対面することが困難であると言われている。発達障害児の指導やグループセラピーで、相手とのインタラクションを促進することで、コミュニケーション能力や社会性の改善が試みられている。

　画像データから顔の向きを判別する技術（たとえば、特許文献１参照）や、画像データに含まれる顔正面の情報に基づいて注視者を判別する手法（たとえば、特許文献２参照）が提案されている。

　また、赤外線通信等の通信手段を備えたロボット装置同士が向き合った際に、互いに情報を交換したりあいさつ等の所定の動作を行うロボット装置が知られている（たとえば、特許文献３参照。さらに、赤外線通信手段とレーザ発光器を有するモジュールを３個以上用いて閉空間を形成する幾何学図形を描写するモジュールが提案されている（たとえば、特許文献４参照）。

　他方、対面していると認識し得る注視の角度を実験的に求めた研究がなされている（非特許文献１参照）。

特開２０１５－１０６２５２号公報特開２０１２－２４８１４１号公報特開２００１－２１２７８２号公報特開２０１１－１６４０３４号公報

"Measuring K-degree Facial Interaction between Robot and Children with Autism Spectrum Disorders", Yadon Pan, Masakazu Hirokawa and Kenji Suzuki, Proceedings of the 24th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pp. 48-53, 2015

　カメラから得られた画像を利用して顔認識を行う手法は、画像処理の時間が必要でありデータの取得頻度が低下する。コミュニケーション時には、瞬間的な顔の動きや注意の逸れが生じるため、画像データ取得頻度が低下すると、注視情報を十分に取得することができない。また、顔の向きと視線は必ずしも一致しないことから、対面しているか否かを即座に判断することは難しい。

　さらに、対面しているか否かを判断するだけではなく、相手と顔を見合わせる動作や、対面での相互インタラクションを促進できる装置が望まれる。

　そこで、本発明は、簡便な注視の検出と対面インタラクションの促進を実現する装置を提供することを課題とする。

　上記目的を達成するために、本発明の第１の態様において、対面インタラクション装置は、
　第１のビーム広がり角で第１波長の赤外線信号を送信する第１赤外線送信部と、
　他の装置から前記第１波長の赤外線信号を受信する第１赤外線受信部と、
　対面の検出を知らせる通知手段と、
　受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部と、
を有する。

　上記構成により、簡便に注視を検出して対面インタラクションを促進することが可能になる。

本発明の実施形態の基本概念を説明する図である。実施形態の対面インタラクション装置を適用した装着具の例を示す図である。第１実施形態の対面インタラクション装置の機能構成図である。実施形態の対面インタラクション装置のハードウェア構成図である。注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。第１実施形態の対面インタラクション装置間で行われる処理のシーケンス図である。第１実施形態の対面インタラクション装置の制御フローの例を示す図である。対面インタラクションにおけるセッション記録情報の一例を示す図である。第２実施形態の対面インタラクション装置を適用した装着具を示す図である。第２実施形態の対面インタラクション装置の機能ブロック図である。第２実施形態の対面インタラクション装置の制御フローの例を示す図である。実施形態の対面インタラクション装置の他の適用例を示す図である。

　以下、本発明の実施形態について、添付図面を参照して説明する。
＜概要＞
　図１は、本発明の実施形態の基本概念を説明する図である。実施形態では、カメラを使用せずに、赤外線により対面または相手からの顔への注視を検出する。対面または注視の検出結果に基づいて、対面あるいは他者への注視を促進、継続させる構成を提供する。より具体的には、所定の指向性を有する赤外線通信手段（図１において「ＩＲ」と表記）を身体の一部、たとえば額の中央や、頭部前面の中央などに装着する。相手から受信する赤外線信号中に、相手側装置の識別情報とともに自装置の識別情報が含まれている場合に、相手からの顔への注視が検出されたと判断し、注視の検出を外部的に通知する。注視の検出の詳細については後述する。

　図２は、実施形態の対面インタラクション装置１０を適用した装着具の例を示す。図２（Ａ）はヘアバンド型の装着デバイス５、図２（Ｂ）はキャップ型の装着デバイス６の概略図である。装着デバイス５及び６では、額または頭部前面の中央に相当する位置に、対面インタラクション装置１０が取り付けられている。

　対面インタラクション装置１０は、その構成要素の一部に、赤外線発光器１１１と、赤外線受光器１２１と、可視光ＬＥＤ（Light Emitting Diode；発光ダイオード）１３１を有する。赤外線発光器１１１は、たとえば、所定の波長の赤外光を所定のビーム広がり角で照射する赤外線ＬＥＤである。赤外線発光器１１１の出力の向きは、装着デバイス５または６を装着する装着者の顔の向きにしたがって変化する。

　赤外線受光器１２１は、たとえば赤外線発光器１１１と同じ波長の光に感度を有する受光素子（フォトダイオード）である。赤外線受光器１２１は、同じ対面インタラクション装置１０に設置されている赤外線発光器１１１からの光を受光しないように配置され、他の対面インタラクション装置からの赤外光だけを受光する。装着者の顔の向きに応じて、赤外線受光器１２１の受光範囲が変化する。第三者が装着する他の対面インタラクション装置の指向性の範囲内に赤外線受光器１２１があるときに、赤外線受光器１２１は、当該他の対面インタラクション装置から赤外光を受信する。

　可視光ＬＥＤ１３１は、たとえばグリーンＬＥＤであり、対面インタラクション装置１０で装着者の顔への注視が検出されたときに点灯する。注視が検出されたときとは、他の対面インタラクション装置の指向性の範囲内に、着目している対面インタラクション装置の赤外線受光器１２１が存在し、２つの対面インタラクション装置間で赤外線通信が成立するときをいう。赤外線通信の範囲は、たとえば２.５メートルとする。

　可視光ＬＥＤ１３１は、顔への注視の検出を外部的に通知する一手段なので、可視光ＬＥＤ１３１に替えて、あるいは可視光ＬＥＤ１３１とともに、所定のメロディや音声を出力するスピーカを用いてもよい。可視光ＬＥＤ１３１やスピーカから出力される光や音声は、注視の検出を相手方に通知するだけではなく、注視者の注意を惹きつけ、注視あるいは対面状態を継続させる役割を果たす。
＜第１実施形態＞
　図３は、第１実施形態の対面インタラクション装置１０の機能構成図、図４は対面インタラクション装置１０のハードウェア構成図である。図３では、一対の対面インタラクション装置１０Ａと１０Ｂを示している。対面インタラクション装置１０Ａと１０Ｂは同じ構成であるため、いずれか一方に着目して説明する。

　図３において、対面インタラクション装置１０Ａは、赤外線（ＩＲ：infrared）送信部１１と、赤外線（ＩＲ）受信部１２と、注視通知部１３と、無線通信部１４と、制御部１５を有する。制御部１５は、注視判断部１６と、対面情報管理部１７を有する。

　赤外線送信部１１は、自装置の識別情報を含む赤外線信号を所定の指向性で送信する。識別情報は、たとえば対面インタラクション装置１０Ａに固有のアドレスコードである。赤外線受信部１２は、他の対面インタラクション装置１０Ｂからの赤外線信号を受信し、受信した赤外線信号に含まれる情報を取り出して制御部１５へ供給する。

　制御部１５の注視判断部１６は、赤外線受信部１２から供給される情報に、赤外線信号の送信元の対面インタラクション装置１０Ｂの識別情報とともに、自装置の識別情報が含まれているか否かを判断する。自装置の識別情報が含まれている場合は、制御部１５は注視通知部１３に出力指示を送る。注視通知部１３は、制御部１５からの出力指示に従って可視光、メロディ、音声メッセージなどを出力する。

　制御部１５はまた、赤外線受信部１２が他の対面インタラクション装置１０Ｂから赤外線信号を受信したときに、対面インタラクション装置１０Ｂの識別情報を検出し、自装置の識別情報と対面インタラクション装置１０Ｂの識別情報とを含む送信信号を生成する。制御部１５は、生成した送信信号の送信指示を赤外線送信部１１に供給する。

　制御部１５の対面情報管理部１７は、赤外線送信部１１と赤外線受信部１２による送受信に基づいて、注視者（対面相手）、注視者の数、注視時間、注視の開始タイミング、注視頻度などの情報を記録し、管理する。

　無線通信部１４は、一定時間ごとに、または任意のタイミングで、対面インタラクション装置１０Ａが取得した情報を、サーバまたはＰＣに送信する。対面インタラクション装置１０Ｂも、同様に取得した情報をサーバまたはＰＣに送信する。各インタラクション装置１０からの情報をサーバまたはＰＣに集約することで、３人以上の装着者間での対面または注視の状態を分析し、たとえば発達障害の治療やセラピーに反映することができる。もっとも、サーバまたはＰＣは本発明にとって必須ではなく、複数の対面インタラクション装置１０間で取得した対面情報を交換して、分析等を行ってもよい。

　図４は、対面インタラクション装置１０のハードウェア構成図である。対面インタラクション装置１０は、赤外線発光器１１１、赤外線受光器１２１、可視ＬＥＤ１３１、スピーカ１３２、無線通信モジュール１４０、及びマイクロコントローラ１５０を含む。赤外線発光器１１１と赤外線受光器１２１は、図２を参照して説明した赤外線発光器１１１および赤外線受光器１２１と同様のものである。

　マイクロコントローラ１５０は、赤外線通信インタフェース１５２と、入出力インタフェース１５３と、ＣＰＵ（Central Processing Unit；中央演算装置）１５４と、メモリ１５５と、記憶装置１５６を有し、これらの電子部品がバス１５１を介して相互接続されている。

　赤外線通信インタフェース１５２は、所定の通信速度（たとえば５０Ｈｚ）と変調方式の赤外信号を生成し、また、受信した赤外線信号を所定の信号レベルに変換する。赤外線受光器１２１で受信された信号に含まれる情報は、赤外線通信インタフェース１５２を介してマイクロコントローラ１５０に入力され、処理される。マイクロコントローラ１５０で生成または処理された情報は、赤外線通信インタフェース１５２を介して、赤外線発光器１１１の入力に接続される。

　赤外線通信インタフェース１５２と赤外線発光器１１１で、図３の赤外線送信部１１の機能が実現される。赤外線通信インタフェース１５２と赤外線受光器１２１で、図３の赤外線受信部１２の機能が実現される。

　メモリ１５５は、図示しないＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を含む。記憶装置１５６は、たとえばＳＳＤ（Solid State Drive；固体ドライブ）であり、対面インタラクション装置１０の基本動作を実現するアプリケーションプログラムを格納する。ＣＰＵ１５４は、必要に応じて記憶装置１５６やメモリ１５５に記憶されたプログラムやデータを読み出して実行し、対面インタラクション装置１０の動作全体を制御する。ＣＰＵ１５４、メモリ１５５、及び記憶装置１５６を含むマイクロコントローラ１５０は、図３の制御部１５の機能を実現する。

　可視ＬＥＤ１３１とスピーカ１３２は、図２の注視通知部１３の一例であり、入出力インタフェース１５３を介してマイクロコントローラ１５０に接続される。ＣＰＵ１５４は可視ＬＥＤ１３１の点灯状態やスピーカ１３２の出力状態を制御する。送受信される赤外線信号に含まれる情報が所定の条件を満たすと判断された時に、ＣＰＵ１５４は可視ＬＥＤ１３１を点灯させ、あるいはスピーカ１３２から音声、メロディ等を出力させる。

　無線通信モジュール１４０は、マイクロコントローラ１５０と相互接続され、外部のサーバまたはＰＣとの間で情報の送受信を行う。図４の構成では、対面インタラクション装置１０と外部のサーバまたはＰＣは、Per-to-Peer（Ｐ２Ｐ）またはMachine-to-Machine（Ｍ２Ｍ）で接続されているが、図示しない小型無線基地局装置を介して接続されていてもよい。なお、上述したように、サーバまたはＰＣは本発明にとって必須ではない。近距離無線通信機能を有する無線通信モジュール１４０により複数の対面インタラクション装置１０間で情報を交換し、マイクロコントローラ１５０で処理、解析することで、複数の装着者間での注視の状態を分析してもよい。

　図５～図７は、注視または対面の認識と、赤外線発光器１１１のビーム広がり角の関係を説明する図である。図５（Ａ）に示すように、赤外線発光器１１１の指向性またはビーム広がりの半値角を、会話中の話者が自らの顔が注視されていると認識する範囲に設定する。ビーム広がりの半値角とは、光軸Ａ上の照度を正規化して照度の最大を１００％（または１）として、光軸から広がる方向に傾いたときに照度が５０％となるときの角度をいう。本明細書および特許請求の範囲で、「ビーム広がり角」というときは、ビーム広がりの半値角を指すものとする。

　図５（Ｂ）に示すように、人の視線方向の中心から１２°±２°及び－１２°±２°の範囲にある領域は、会話中の話者が顔を注視されていると認識する範囲である。対面インタラクション装置１０Ａの赤外線受光器１２１が、他の対面インタラクション装置１０Ｂの赤外線発光器１１１からの赤外光を、ビーム広がり角が１２°±２°以内の範囲で受光できた場合は、相手から顔を注視されている、あるいは対面しているとみなすことができる。

　ビーム広がり角θに下限はなく、指向性が高いほど注視判断の正確性が高くなる。実施形態では、赤外線ＬＥＤの製造上の技術的限界とコストの観点、及び注視検出の余裕を持たせる観点から、赤外線発光器１１１は一例として９°以上、２０°以下のビーム広がり角または指向性を有する。

　図６は、他者と対面するときの状態を示す。図６（Ａ）は理想的な対面状態であり、顔と顔が真正面に向き合って、視線が相手の顔の中心に向けられている。もっとも、このような場合は稀である。通常は、図６（Ｂ）に示すように、顔の向きや視線が多少ずれても相手の顔はなおも視界の主要領域に入っており、対面していると認識することができる。赤外線発光器１１１のビーム広がり角θは、人が対面していると認識できる最大の傾き角度θに相当する。

　図７は、ビーム広がり角θの上限値の根拠を説明する図である。図７（Ａ）のように円形マーク６１と人の顔の写真６２を壁に並べ、円形マーク６１から１．２メートル離れた位置に被験者の頭部を固定する。１．２メートルというのは、一般に人が対面して会話等を行う距離である。

　図７（Ｂ）は、顔の向きを変えずに、どの範囲の写真６２と自然な状態で対面していると認識できるかを被験者２０人に対して調べた結果を示す。被験者の性別、年齢は様々である（男性１２名、女性８名、年齢２２～５８歳）。

　垂直方向の角度に比べて水平方向の角度がやや広いが、垂直方向と水平方向に１２°±２°以内の範囲であれば、対面していると認識されることがわかる。この結果から、実施形態では、赤外線発光器１１１のビーム広がり角θを、幅をもたせて２０°以下に設定する。もっとも、対面インタラクション装置の装着者の年齢によっては、たとえばビーム広がり角θを１５°以下、１２°以下等に設定してもよい。

　さらに、確認実験として、対面インタラクション装置１０Ａを装着した被験者Ａと、対面インタラクション装置１０Ｂを装着した被験者Ｂの間で、赤外線送受信による可視ＬＥＤの点灯と、互いの対面状態の認識とが一致しているかどうかを調べた。公正さを担保するため、２名の被験者の間に、判定者を介在させた。２０名の被験者に対して、「相手のＬＥＤが光ったとき、相手と対面していると感じるか否か」という質問を提示し、回答を収集したところ、８４％の整合率が得られている。

　なお、顔は対向しているが視線が±１５°の領域外に向いている場合が無いわけではない。このような不自然な状態は、左右方向と上方向ではほとんど生じないが、目を伏せて下を見ている場合が起こり得る。実施形態では、対面インタラクション装置１０にて注視または対面を定量的に判断する目的で、実際の視線の向きを除外して、赤外線通信が成立する範囲を注視または対面が成立する範囲として判断する。

　図８は、第１実施形態の対面インタラクション装置１０Ａと１０Ｂの間のシーケンス図である。対面インタラクション装置１０Ａの電源がオンにされると、赤外線送信部１１は自装置の識別情報（ＩＤ＃１）を含む赤外線信号を所定のビーム広がり角で送信する（Ｓ１１）。同様に、対面インタラクション装置１０Ｂの電源がオンにされると、対面インタラクション装置１０Ｂの赤外線送信部は、自装置の識別情報（ＩＤ＃２）を含む赤外線信号を所定のビーム広がり角で送信する（Ｓ１２）。赤外線信号は、たとえば数ミリ秒から数十ミリ秒の間隔で送信される。

　対面インタラクション装置１０Ｂの赤外線受光器１２１が、対面インタラクション装置１０Ａの赤外線発光器１１１のビーム広がり角θの範囲内に位置するときに、対面インタラクション装置１０Ａから送信された赤外線信号は、対面インタラクション装置１０Ｂで受信される（Ｓ１３）。

　対面インタラクション装置１０Ｂの制御部１５は、受信した赤外線信号からＩＤ＃１の識別情報を抽出し、抽出した識別情報ＩＤ＃１と自装置の識別情報ＩＤ＃２を含む赤外線信号を生成して（Ｓ１４）、赤外線送信部１１から送信する（Ｓ１５）。Ｓ１３での赤外線信号の受信にともなって、対面インタラクション装置１０Ｂは、Ｓ１４で受信信号中に自装置の識別情報ＩＤ＃２が含まれているか否かを判断するが、対面が成立する直前の状態では、自装置の識別ＩＤ＃２は含まれていない。

　対面インタラクション装置１０Ａの赤外線受光器１２１が、対面インタラクション装置１０Ｂの赤外線発光器１１１のビーム広がり角θの範囲内に位置するときに、対面インタラクション装置１０Ｂから送信された赤外線信号は、対面インタラクション装置１０Ａで受信される（Ｓ１５）。

　対面インタラクション装置１０Ａは、受信した赤外線信号中に自装置の識別情報ＩＤ＃１が含まれているか否かを判断する。この場合、識別情報ＩＤ＃１が含まれているので（Ｓ１６）、対面が成立していると判断して、可視ＬＥＤ１３１を点灯する（Ｓ１７）。これとともに、赤外線信号に含まれる送信元の識別情報ＩＤ＃２を、受信開始日時とともにメモリ１５５に記録する。対面インタラクション装置１０Ａの可視ＬＥＤ１３１が点灯することで、対面インタラクション装置１０Ｂの装着者は、自分が相手と対面できたことを認識することができる。

　可視ＬＥＤ１３１の点灯は、対面インタラクション装置１０Ｂの装着者にとって、一種の褒賞であるとともに、対面を継続させる動機付けとなり得る。発達障害者にとって、他者との対面は困難をともなうが、相手方の可視ＬＥＤ１３１が点灯することで、相手と対面できたという達成感を得ることができ、対面しようとする試みや、対面を継続しようとする意欲を促す契機となる。

　対面インタラクション装置１０Ａは、自装置の識別情報ＩＤ＃１と、検出した相手装置（対面インタラクション装置１０Ｂ）の識別情報ＩＤ＃２を含む赤外線信号を送信する（Ｓ１８）。

　対面インタラクション装置１０Ｂは、受信した赤外線信号中に自装置の識別情報ＩＤ＃２を検出すると（Ｓ１９）、可視ＬＥＤ１３１を点灯する（Ｓ２０）。この可視ＬＥＤ１３１は、対面インタラクション装置１０Ａの装着者にとっての対面継続の動機づけとなり得る。

　受信した赤外線信号中に自装置の識別情報を検出できてきる間は、対面状態が継続しているとみなすことができる。

　対面インタラクション装置１０Ａにおいて、受信した赤外線信号中に自装置の識別情報ＩＤ＃１が含まれなくなった場合、あるいは対面インタラクション装置１０Ｂからの赤外線信号を受信しなくなった場合は（Ｓ２１）、対面インタラクション装置１０Ａは可視ＬＥＤ１３１を消灯する（Ｓ２３）。この場合、対面インタラクション装置１０Ｂの装着者は、もはや対面インタラクション装置１０Ａの装着者に向き合っていないとみなされるからである。

　同様に、対面インタラクション装置１０Ｂにおいて、受信した赤外線信号中に自装置の識別情報ＩＤ＃２が含まれなくなった場合、あるいは対面インタラクション装置１０Ａからの赤外線信号を受信しなくなった場合は（Ｓ２２）、対面インタラクション装置１０Ｂは可視ＬＥＤ１３１を消灯する（Ｓ２４）。

　可視ＬＥＤ１３１の点灯は、注視者（対面者）に対する褒賞として機能するが、注視（対面）検出を外部的に通知する手段としては、可視光の出力に限定されない。受信赤外線信号中に自装置の識別情報が含まれる場合に、短いメロディ音やアニメーションのキャラクターの音声によるメッセージを出力してもよい。

　図９は、対面インタラクション装置１０の制御部１５の動作フローの一例である。制御部１５は、赤外線信号が受信されているか否かを判断する（Ｓ３１）。赤外線信号が受信されている場合は（Ｓ３１でＹＥＳ）、受信した赤外線信号中に自装置の識別情報が含まれているか否かを判断する（Ｓ３２）。自装置の識別情報が含まれている場合は（Ｓ３２でＹＥＳ）、相手装置と自装置の識別情報を含む送信信号を送信するとともに（Ｓ３４）、可視ＬＥＤ１３１、スピーカ１３２等を含む注視通知部１３の出力をオンにする（Ｓ３３）。受信した赤外線信号中に自装置の識別情報が含まれていない場合は（Ｓ３２でＮＯ）、受信赤外線信号に含まれる相手装置の識別情報に自装置の識別情報を追加して送信信号を生成し、赤外線信号を送信して（Ｓ３４）、Ｓ３１に戻る。

　制御部１５は、受信した赤外線信号に自装置の識別情報が含まれている場合、送信元の識別情報（注視者）、認識した注視者の数、注視時間（対面継続時間）、注視タイミング、注視頻度等の情報を対面情報管理部１７に記録し、管理する。これらの情報の少なくともひとつに基づいて、注視通知部１３の注視通知パターンを変更してもよい（Ｓ３５）。たとえば、複数の可視ＬＥＤを配置して、一定時間以上注視が継続した場合に、ＬＥＤの点灯パターン、輝度、発光色等を変更してもよい。あるいは、複数の対面インタラクション装置からの注視が検出された場合は、人数に応じて可視ＬＥＤの色を変えてもよい。このような通知パターンの変化も、注視者にとって対面継続の動機づけとなり得る。スピーカ１３１を用いる場合は、出力するメロディ、音声メッセージなどを変化させてもよい。

　図１０は、対面情報管理部１７で管理される対面情報の一例を示す。たとえば、発達障害児のグループセラピーで、セラピストの指導で児童が共同作業や遊びに従事する際に、対面相手が入れ替わったり、複数の児童から注視される場合がある。対面情報は、注視者ごとに、注視が検出された日時、注視継続時間、平均注視頻度等の情報を記録する。図示はしないが、注視者ごとに、平均注視時間とその推移情報、平均注視頻度の推移情報などを記録してもよい。また、相手装置からの識別情報のみを検出したタイミング、受信期間なども合わせて記録、管理してもよい。

　児童Ａが装着する対面インタラクション装置１０の対面情報管理部１７は、たとえば、児童Ｂ、Ｃ、Ｄ、…との間の対面情報を管理する。児童Ｂからの赤外線信号中に自装置の識別情報を検出した場合は、児童Ｂと関連付けて注視の検出情報が記録される。各児童について、１セッション当たりの平均注視回数を記録してもよい。たとえば、週ごと、月ごとに平均注視回数を記録することで、症状の改善状況を知ることができる。また、どの児童との間で対面が成立しやすいか、どの児童からの注視時間が長いか、などを分析することで、今後のセラピーの方向性に役立てることができる。

　このように、第１実施形態の対面インタラクション装置１０は、簡便な注視の検出と、対面インタラクションの促進を実現することができる。
＜第２実施形態＞
　図１１は、第２実施形態の対面インタラクション装置２０を用いた装着デバイス７の外観図である。第２実施形態では、注視または対面を促進する効果をより高める構成を提供する。

　装着具１に装着された対面インタラクション装置２０は、赤外線発光器１１１、赤外線受光器１２１、可視ＬＥＤ１３１に加えて、第２の赤外線発光器２２１と、第２の赤外線受光器２２２ａ、２２２ｂと、一対の可視ＬＥＤ２３１ａ及び２３１ｂを有する。一対の可視ＬＥＤ２３１ａ、２３１ｂは、対面インタラクション装置２０の本体１２０と電気的に接続され、本体の両側に配置されている。可視ＬＥＤ２３１ａ、２３１ｂに替えて、一対のスピーカ２３２ａ、２３２ｂを配置してもよい。

　第２の赤外線発光器２２１は、赤外線発光器１１１と異なる波長λ２の赤外光を、赤外線発光器１１１よりも広いビーム広がり角θ２で出力する。第２の赤外線受光器２２２ａ及び２２２ｂは、波長λ２の赤外光に感度を有する。図１１の例では、第２の赤外線受光器２２２ａと２２２ｂは、第１の赤外線受光器１２１の両側のみに配置されているが、上下左右の４か所に配置してもよい。第２の赤外線受光器２２２ａ、２２２ｂは、当該対面インタラクション装置２０の第２の赤外線発光器２２１からの赤外光を受信しない位置に配置され、他の対面インタラクション装置からの波長λ２の赤外光だけを受光する。

　第２の赤外線発光器２２１のビーム広がり角θ２は、第１の赤外線発光器１１１のビーム広がり角θ１よりも広い。そのため、第１の赤外線受光器１２１が他の対面インタラクション装置から波長λ１の赤外光を受光しない場合でも、第２の赤外線受光器２２２ａと２２２ｂの一方または両方が波長λ２の赤外光を受光する場合がある。すなわち、対面インタラクション装置の装着者同士が真正面で対向していないが、対面する可能性のある角度で斜めに向き合っている状況である。

　対面インタラクション装置２０は、このような状況を検出した場合は、受光の方向に応じた位置の可視ＬＥＤ２３１ａまたは２３１ｂを点灯し、相手の顔が注視位置に向くように促す。

　図１２は、第２実施形態の対面インタラクション装置２０の機能構成図である。対面インタラクション装置２０Ａと２０Ｂは同じ構成であるため、いずれか一方に着目して説明する。また、第１実施形態の対面インタラクション装置１０と同じ構成要素には同じ符号を付けて、重複する説明を省略する。

　対面インタラクション装置２０Ａは、第１の赤外線（ＩＲ）送信部１１、第２の赤外線（ＩＲ）送信部２１、第１の赤外線（ＩＲ）受信部１２、第２の赤外線（ＩＲ）受信部２２、可視光出力部２３、音声出力部２５、無線通信部１４、及び制御部４５を有する。制御部４５は、注視判断部１６と、対面情報管理部１７と、受光方向判断部１８を有する。可視光出力部２３と音声出力部２５は、図３の注視通知部１３として機能するとともに、対面方向を案内するガイド部としても機能する。

　第１の赤外線送信部１１は、自装置の識別情報を含む第１波長λ１の赤外線信号を、第１のビーム広がり角θ１で送信する。第１の赤外線受信部１２は、他の対面インタラクション装置１０Ｂから第１波長λ１の赤外線信号を受信する。

　第２の赤外線送信部２１は、自装置の識別情報を含む第２波長λ２の赤外線信号を、第２のビーム広がり角θ２で送信する。第２の赤外線受信部２２は、他の対面インタラクション装置１０Ｂから第２波長λ２の赤外線信号を受信する。

　第１波長λ１は、一例として８１０～８７０ｎｍの範囲で選択される。第２波長λ２は一例として１１５０～１６５０ｎｍの範囲で選択される。第１のビーム広がり角θ１は、上述のように２０°以下であり、好ましくは１５°以下、より好ましくは９°以上、１２°以下の範囲である。第２のビーム広がり角θ２は、θ１より広く、たとえば、２３～３６°の範囲で設定される。

　制御部４５の注視判断部１６は、第１の赤外線受信部１２から供給される情報に、赤外線信号の送信元の対面インタラクション装置１０Ｂの識別情報とともに、自装置の識別情報が含まれている場合に、可視光出力部２３に第１出力指示を送る。第１出力指示は、図１１で本体１２０の中央部に配置されている可視ＬＥＤ１３１の出力指示である。

　注視判断部１６は、第１の赤外線受信部１２からの情報が取得されていないが、第２の赤外線受信部２２からの情報中に、自装置の識別情報が含まれている場合に、可視光出力部２３または音声出力部２５に第２出力指示を送る。第２出力指示は、図１１で本体１２０の両側に配置されている可視ＬＥＤ２３１ａ、２３１ｂ（またはスピーカ２３２ａ、２３２ｂ）に対する出力指示である。

　受光方向判断部１８は、第２の赤外線受信部２２での受光方向を判断する。受光方向は公知の到来方向（ＡＯＡ：Angle of Arrival）推定アルゴリズムを用いて推定することができる。到来方向推定アルゴリズムと組み合わせて、赤外線受光器２２２ａ、２２２ｂのいずれで支配的に受光されているかの判断を用いてもよい。

　制御部４５は、受光方向に応じて、可視光出力部２３または音声出力部２５に、可視ＬＥＤ２３１ａ、２３１ｂのどちらを光らせるかを指示する。たとえば、図１１で相手から見て左側に位置する第２の赤外線受光器２２２ａの方向、すなわち、装着者から見て右側に位置する第２の赤外線受光器２２２ａの方向から第２波長λ２の赤外線信号を受信したときは、相手の顔が第１の赤外線受光器１２１の方向を向くように、相手から見て右側（装着者から見て左側）の可視ＬＥＤ１３１ｂを点灯させる。

　相手から見て右側に位置する第２の赤外線受光器２２２ｂの方向、すなわち、装着者から見て左側に位置する第２の赤外線受光器２２２ｂの方向から第２波長λ２の赤外線信号を受信したときは、相手の顔が第１の赤外線受光器１２１の方向を向くように、相手から見て左側（装着者から見て右側）の可視ＬＥＤ１３１ａを点灯させる。

　スピーカ２３２ａ、２３２ｂを用いる場合も同様である。制御部４５は音声出力部２５に対していずれのスピーカから出力するかを指示する。音声出力部２５は、スピーカ２３２ａ、２３２ｂのいずれかからメロディ等を出力してもよいし、アニメーションの音声で「もうちょっと右側を向いてね」等のメッセージを出力してもよい。この場合、音声メッセージは相手方にとって、対面の動機づけになるとともに、装着者にとっても対面の動機づけになる。相互に音声メッセージに案内された方向を向くことで、相手と対面しやすくなる。

　第１の赤外線受信部１２からの情報に自装置の識別情報が含まれ、かつ第２の赤外線受信部２２からの情報にも自装置の識別情報が含まれている場合は、すでに注視または対面が成立しているとみなして、中央の可視ＬＥＤ１３１のみをオンにする。可視ＬＥＤ１３１の点灯に替えて、あるいは可視ＬＥＤ１３１の点灯とともに、スピーカ２３２ａ、２３２ｂから「対面できたね！」等の音声メッセージを出力してもよい。

　このような構成により、対面や相手の顔への注視が促進され、児童や発達障害者の社会性の向上を図ることができる。

　図１３は、制御部４５の処理フローを示す。赤外線信号が受信されたか否かを判断し（Ｓ４１）、受信されていれば（Ｓ４１でＹＥＳ）、第１波長の信号か否かを判断する（Ｓ４２）。第１波長の信号が受信されていれば（Ｓ４２でＹＥＳ）、自装置の識別情報が含まれているか否かを判断する（Ｓ４３）。自装置の識別情報が含まれていれば、相手との間で対面が成立していると判断して、本体１２０の中央部に位置する可視ＬＥＤ１３１を点灯する（Ｓ４５）。

　ステップＳ４２で第１波長の信号が受信されていない場合は（Ｓ４２でＮＯ）、第２波長の信号が受信されているか否かを判断する（Ｓ４５）。第２波長の信号が受信されている場合は（Ｓ４５でＹＥＳ）、受光方向を検出し（Ｓ４６）、受光方向に応じたＬＥＤ２３１またはスピーカ２３２から可視光または音声・メロディを出力する（Ｓ４７）。第２波長の信号も受信されていない場合は（Ｓ４５でＮＯ）、Ｓ４１に戻って処理を繰り返す。

　このような構成、手法により、対面の促進を向上することができる。
＜その他の適用例＞
　図１４は、その他の適用例を示す図である。実施形態の対面インタラクション装置１０または２０は、人間と人間の対面インタラクションだけではなく、図１４（Ａ）に示すように、人間とロボットや人形との間の対面インタラクションにも適用することができる。実施形態の対面インタラクション装置１０また２０を用いることで、子供の発育や社会性の育成に資することができる。たとえば、児童がロボット（または人形）と対面できたときに、ロボットや人形の額の中央部に埋め込まれている可視ＬＥＤが点灯する構成としてもよい。あるいは、対面できたときに音声メッセージを出力する構成としてもよい。

　図１４（Ｂ）は、対面インタラクション装置３０をグラブ型の装着具３に適用した例として、装着デバイス８を示す。装着デバイス８は、互いの手に装着した対面インタラクション装置３０間で赤外線通信が成立した場合に、レーザ光源３３から可視レーザ光を照射する構成としてもよい。装着者Ａの掌と、装着者Ｂの掌が向き合って可視レーザ光が出力される場合は、体は真正面で向かい合っていなくても、通常は、顔と顔は対向している、あるいはアイコンタクトがなされていると考えられる。

　図１４（Ｂ）では、装着デバイス８を同じ側の手に装着しているが、一対の装着デバイス８として構成して、一人は右手に、もう一人は左手に装着し、互いに真正面に位置して赤外線通信が確立したときに、可視レーザ光を出力する構成としてもよい。グラブ型の装着デバイス８を児童や発達障害者に適用することで、遊びの中から相手とのコミュニケーション能力や社会性を育てることができる。図１４（Ｂ）の装着デバイス８を用いる場合は、防御グラスと組み合わせて装着するのが望ましい。防御グラスは可視レーザ光から眼を防御するとともに、児童にとって防御グラスの装着自体が遊びの要素となり得る。

　以上、特定の実施形態に基づいて本発明を説明したが、上述した例に限定されない。たとえば、セッションルームに全体が映るビデオカメラを設置し、対面インタラクション装置１０（または２０）で取得されたセッション記録としての対面情報とビデオ映像を組み合わせてもよい。この場合、どのタイミングで対面が成立したか、どのような態様で対面が成されているか等を詳細に分析して、指導に反映することができる。

　また、第２実施形態で２種類の波長の赤外線を送受信する構成に替えて、１種類の波長の赤外線を用いて、他者から「見られている」という状況を認識できるように構成してもよい。たとえば、対面インタラクション装置で、同一波長の赤外線に対して感度を有するが、異なる受光角を有する２つの受光素子を用いてもよい。２つの受光素子のうちの一つ（第１の受光素子）は、たとえば送信するビーム広がり角と同じ受光角度を有し、もうひとつの受光素子（第２の受光素子）は、送信するビーム広がり角よりも広い受光角度を有する。この場合、第１の赤外線受信部は、送信するビーム広がり角と同じ受光角度で赤外線信号を受信し、第２の赤外線受信部は、送信するビーム広がり角よりも広い受光角度で赤外線信号を受信する。

　注視判断部１６は、第１の赤外線受信部で赤外線信号は受信されていないが、第２の赤外線受信部で赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する。

　この構成により、対面成立だけでなく、本人は相手の顔の方を向いていないが、相手は本人の顔の方を見ている、という状況を識別し、出力手段を用いて、対面の方向を案内することが可能になる。

　自閉症などの発達障害児の治療、指導、グループセラピーに利用することができる。また、年少者の発育、成長の補助に利用することができる。実施形態の対面インタラクション装置を用いることで、相互コミュニケーションの促進や、対人関係能力の向上に資することができる。

　本件出願は、２０１６年６月３０日に日本国特許庁に出願された特許出願第２０１６－１３１０６８号に基づき、その全内容を含むものである。

１，２，３　装着具
５，６，７、８　装着デバイス
１０、２０、３０　対面インタラクション装置
１１　赤外線送信部（第１の赤外線送信部）
１２　赤外線受信部（第１の赤外線受信部）
１３　注視通知部
１４　無線通信部
１５、４５　制御部
１６　注視判断部
１７　対面情報管理部
１８　受光方向判断部
２１　赤外線送信部（第２赤外線送信部）
２２　赤外線送信部（第２赤外線受信部）
２３　可視光出力部（通知部およびガイド部）
２５　音声出力部（通知部およびガイド部）
１１１，２２１　赤外線発光器
１２１、２２２ａ、２２２ｂ　赤外線受光器
１３１，２３１ａ、２３１ｂ　可視ＬＥＤ
１３２，２３２ａ、２３２ｂ　スピーカ
１５０　マイクロコントローラ
１５４　ＣＰＵ

Claims

　第１のビーム広がり角で第１波長の赤外線信号を送信する第１赤外線送信部と、
　他の装置から前記第１波長の赤外線信号を受信する第１赤外線受信部と、
　対面の検出を知らせる通知手段と、
　受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部と、
を有する対面インタラクション装置。
　前記第１のビーム広がり角よりも広い第２のビーム広がり角で、前記第１波長と異なる第２波長の赤外線信号を送信する第２赤外線送信部と、
　前記第２波長の赤外線信号を受信する第２赤外線受信部と、
　対面方向を案内するガイド部と、
をさらに有し、
　前記制御部は、前記第１波長の赤外線信号が受信されていないが、前記第２波長の赤外線信号が受信されている場合に、前記ガイド部の出力をオンにすることを特徴とする請求項１に記載の対面インタラクション装置。
　前記第１赤外線受信部は、前記第１波長に感度を有する赤外線受光器を有し、
　前記第２赤外線受信部は、前記第１赤外線受信部の両側に配置され前記第２波長に感度を有する一対の赤外線受光器を有する、
　ことを特徴とする請求項２に記載の対面インタラクション装置。
　前記第２波長の赤外線信号が受信された場合に受光方向を検出する検出部、
をさらに有し、
　前記制御部は、前記受光方向に応じて前記ガイド部の出力を制御することを特徴とする請求項２または３に記載の対面インタラクション装置。
　他の装置から前記第１波長の赤外線信号を前記第１のビーム広がり角よりも広い受光角度で受信する第２赤外線受信部と、
　対面方向を案内するガイド部と、
をさらに有し、
　前記第１赤外線受信部は、前記第１波長の赤外線信号を前記第１のビーム広がり角と同じ受光角度で受信し、
　前記制御部は、前記第１赤外線受信部で赤外線信号が受信されていないが、前記第２赤外線受信部で赤外線信号が受信されている場合に、前記ガイド部の出力をオンにすることを特徴とする請求項１に記載の対面インタラクション装置。
　前記制御部は、前記第１赤外線受信部で受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれている場合に対面状態を検出したと判断し、前記対面状態に関する情報を記録、管理することを特徴とする請求項１～５のいずれか１項に記載の対面インタラクション装置。
　前記通知手段は、可視光、音声、または可視レーザ光を出力することを特徴とする請求項１～６のいずれか１項に記載の対面インタラクション装置。
　請求項１～７のいずれか１項に記載の対面インタラクション装置と、
　前記対面インタラクション装置を支持する装着具と、
を有する装着デバイス。
　前記装着具は、ヘアバンド型、ギャップ側、またはグラブ型の装着具であることを特徴とする請求項８に記載の装着デバイス。
　第１のビーム広がり角で第１波長の赤外線信号を送信し、
　他の装置から前記第１波長の赤外線信号を受信し、
　コンピュータにて、受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、
　前記他の装置の識別情報と自装置の識別情報が含まれている場合に、出力手段をオンにして対面の成立を通知する、
ことを特徴とする対面促進方法。
　前記第１のビーム広がり角よりも広い第２のビーム広がり角で、前記第１波長と異なる第２波長の赤外線信号を送信し、
　前記他の装置から前記第２波長の赤外線信号を受信し、
　コンピュータにて前記第１波長または前記第２波長が受信されているか否かを判断し、
　前記第１波長の赤外線信号が受信されていないが、前記第２波長の赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する、
ことを特徴とする請求項１０に記載の対面促進方法。
　他の装置から、前記第１のビーム広がり角と同じ受光角度で前記第１波長の赤外線信号を受信する第１赤外線受信部と、前記他の装置から、前記第１のビーム広がり角よりも広い受光角度で前記第１波長の赤外線信号を受信する第２赤外線受信部とを設け、
　コンピュータにて、前記第１赤外線受信部または前記第２赤外線受信部で前記赤外線信号が受信されているか否かを判断し、
　前記第１赤外線受信部で前記赤外線信号が受信されていないが、前記第２赤外線受信部で前記赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する、
　ことを特徴とする請求項１０に記載の対面促進方法。