図1は、本発明の実施の形態に係る実施例1のシステム構成図である。実施例1は、住居2内の見守りシステムを構成しており、対耳輪と耳珠に挟まれて耳甲介腔に納まることによって見守り対象者の耳4の穴の周辺軟骨に接触する耳装着部6(耳構造と区別するため破線で図示)、耳装着部6と近距離通信により情報交換する住居内モニタ部8、および見守り対象者の携帯電話10を含む。携帯電話10は、耳装着部6および住居内モニタ部8と近距離通信により情報交換する。
耳装着部6は、携帯電話10との近距離通信により携帯電話10のヘッドセットとして機能し、携帯電話10を例えば衣服のポケットに入れたままの状態でも通話が可能である。耳装着部6はまた単独で補聴器としても機能する。このヘッドセットとしての機能および補聴器としての機能は、後述する軟骨伝導を利用したものである。耳装着部6はさらに咀嚼センサを備え、咀嚼運動による耳珠等の移動または外耳道の変形を検知する。なお、耳装着部6は、穴6aを有するリング状の形状をしていて装着時においても外耳道入口は開放しており、穴6aを通して外界の音を聞くことができるとともに、外耳道の閉塞感のない快適な装着を可能とする。また、後述のように、必要に応じ穴6aを指で閉鎖するかまたは掌で覆うことにより、軟骨伝導における外耳道閉鎖効果を得て、より大きな音を聞くことができる。
住居内モニタ部8は、耳装着部6および携帯電話10と近距離通信するための近距離通信部12および外部と常時接続のインターネット通信を行うデジタル通信部14を有する。制御部16は、近距離通信部12およびデジタル通信部14を含む住居内モニタ部8全体の制御を行う。記憶部18は、制御部16の制御に必要なプログラムを記憶するとともに、制御等に関連する種々のデータを一時記憶する。
以上の構成により、住居内モニタ部8は、耳装着部6からの咀嚼運動の検知結果を近距離通信により受信し、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとしてデジタル通信部14から見守り業者にその旨の通報を行う。また、住居内モニタ部8は、耳装着部6のヘッドセット機能により検知される見守り対象者の音声の有無に関する情報を近距離通信にて受信し、所定期間音声が検知されない場合、または悲鳴等の緊急性のある音声信号を検知した場合に、異常状態の可能性があるとしてデジタル通信部14から見守り業者にその旨の通報を行う。
また、携帯電話10は、耳装着部6からの咀嚼運動の検知結果を近距離通信により受信し、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとして予め登録しておいた遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば自動音声にてその旨の通報を行う。さらに、携帯電話10は、耳装着部6のヘッドセット機能により検知される見守り対象者の音声の有無に関する情報を近距離通信にて受信し、所定期間音声が検知されない場合、または悲鳴等の緊急性のある音声信号を検知した場合に、異常状態の可能性があるとして上記遠隔地の家族等の携帯電話への自動発呼を行い、応答があればその旨の通報を行う。
なお、携帯電話10では、日常生活にて予測される咀嚼運動が検知された場合でも、上記遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば自動音声にて異常なしの旨の通報を行う。また、見守り対象者の通常音声の検知に基づいても、上記遠隔地の家族等の携帯電話への自動発呼を適宜行い、応答があれば自動音声にて異常なしの旨の通報を行う。これによって遠隔地の家族等は、見守り対象者が三度の食事を規則的にとっていることや、日常的に期待される会話の存在、または予め設定された時間帯における規則的な発声状況(日常的な買い物での会話や日々のお経を唱えていることなど)を知り、安心することができる。なお、この場合、見守り対象者が意図していないのに携帯電話10の自動発呼が行われ、会話の内容が聞かれてしまうことになる。これは、家族とはいえ見守り対象者にとってはプライバシー上望ましくないので、後述のように、音声の存否という事実のみ通報し、会話の内容は判別できないようにする。
図2は、図1に示した本発明の実施例1の詳細構成のブロック図である。図1と共通する部分には同一の番号を付し、必要のない限り説明を省略する。住居内モニタ部8の構成は、図1に示した通りであるが、住居内モニタ部8全体に給電する電源部20を有する。電源部20は住居2内の家庭用電源から給電を受ける。
一方、携帯電話10は、図2に示すように、携帯電話機能部22を有し、アンテナ24により無線電話回線にて通話を行う。近距離通信部26は、耳装着部6および住居内モニタ部8それぞれの近距離通信部36及び12と通信する。また、GPS部28は、耳装着部6を装着した見守り対象者が携帯電話10を持って外出した時の位置を検知し、必要に応じ上記の遠隔地の家族等の携帯電話または見守り業者と通信することで見守り対象者の位置情報を提供する。制御部30は、携帯電話機能部22、近距離通信部26およびGPS部28を含む携帯電話10全体の制御を行う。記憶部32は、制御部30の制御に必要なプログラムを記憶するとともに、制御等に関連する種々のデータを一時記憶する。充電可能な蓄電池を有する電源部34は、携帯電話10全体に給電する。なお、図2では、簡単のため、図1に図示されている大型タッチパネル型液晶表示部、マイク、スピーカ、近接センサ、内側カメラなど、携帯電話10が通常備える構成の図示を省略している。
図2に示すように、耳装着部6は、携帯電話10の近距離通信部26および住居内モニタ部8の近距離通信部12と近距離通信する近距離通信部36を有する。そして咀嚼センサ38は、耳装着部6を装着した見守り対象者の咀嚼運動による耳珠等の移動または外耳道の変形を検知し、見守り対象者の咀嚼の有無を検出する。咀嚼センサ38としては、ばストレインゲージ又は圧電素子等で構成する。制御部40は、咀嚼運動を検出すると近距離通信部36および近距離通信部26を介して携帯電話10にその旨を伝達する。また、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとして、近距離通信部36から近距離通信部26を介して携帯電話10に、また、近距離通信部36から近距離通信部12を介して住居内モニタ部8にその旨を伝達する。
耳装着部6の軟骨伝導振動源42(例えば圧電バイモルフ素子を採用)は、近距離通信により携帯電話10から受信した通話相手の音声信号により振動し、この振動を耳装着部6に接触している耳軟骨に伝えることで後述の軟骨伝導により通話相手の声を聞くことを可能とする。骨導マイク44は、骨導による自分の声を拾い、近距離通信により携帯電話10に自分の声の音声信号を送信することで、会話を成立させる。このようにして、耳装着部6は、携帯電話10のヘッドセットとして機能する。外部気導音マイク46は、近くにいる話し相手の生の気導音を拾って得た音声信号により軟骨伝導振動源42を振動させる。これによって耳装着部6は、単独で補聴器としても機能する。制御部40は、このようなヘッドセットの機能および補聴器の機能についても耳装着部6を制御する。なお、ヘッドセット機能における骨導マイク44は、上記のように、見守り対象者が日常生活のなかで想定される声を出しているか否かを見守るための音声センサとしても機能する。充電可能な蓄電池を有する電源部48は、耳装着部6全体に給電する。
ここで軟骨伝導について説明する。軟骨伝導は、本願発明者によって発見された現象であり耳珠等の外耳道入口部周りの軟骨に伝えられた振動により軟骨部外耳道表面が振動し、外耳道内で気導音を発生させる現象である。そして外耳道内で発生した気導音は外耳道内をさらに奥に進んで鼓膜に達する。このように軟骨伝導により聞こえる音の主要部は鼓膜を介して聞こえる音である。但し、鼓膜で聞こえるのは通常の気導音のように外耳道外部から外耳道に侵入した音ではなく、あくまで外耳道内部で発生した気導音である。
図3は、上記のことを説明するための耳の断面図であって、耳4の構造と本発明に用いられる耳装着部6との関係を示す。矢印52は、軟骨伝導振動源42によって振動する耳装着部6の振動が鼓膜50に伝わる経路を図示している。耳装着部6から発生する振動は、矢印52で示すように、まず接触部分から外耳道入口部周りの軟骨54に伝導する。軟骨54の振動は、その表面(軟骨部外耳道)から外耳道内に気導音を発生させる。そしてこの気導音は外耳道内を進み、骨部外耳道56を経て鼓膜50に達する。なお、耳装着部6の穴6aからは、矢印58(通常の音が聞こえる経路)で示すように穴6aを通して外界の気導音が外耳道に侵入し、鼓膜50に達する。これによって、外耳道の閉塞感なしに快適に耳装着部6を装着することができる。
図4は、軟骨伝導の効果を示す実測データの一例を示すグラフである。図4のグラフは軟骨伝導振動源により振動する振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたときの外耳道入口部から1cm奥の外耳道内の音圧を周波数との関係で示すものである。グラフの縦軸は音圧(dBSPL)であり、横軸は対数目盛の周波数(Hz)である。また、グラフには、振動体の外壁表面と外耳道入口部周辺軟骨の接触圧の関係において、非接触状態(振動体の外壁表面から発生する気導音のみが聞こえる状態)の音圧を実線で、接触圧10重量グラムにおける音圧を破線で、接触圧250重量グラムにおける音圧を一点鎖線で、接触圧の増加により外耳道が閉鎖された状態(接触圧500重量グラム)における音圧を二点鎖線で、それぞれ図示している。図示のように、音圧は非接触状態から接触圧10重量グラムでの接触により増加し、さらに250重量グラムへの接触圧増加により増加し、この状態からさらに500重量グラムに接触圧を増加させることで、音圧がさらに増加する。
図4のグラフから明らかなように、振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたとき、非接触状態に比べ、外耳道入口部から1cm奥の外耳道内における音圧が音声の主要な周波数帯域(500Hz〜2300Hz)において少なくとも10dB増加していることがわかる。(実線で示す非接触状態と、一点鎖線で示す状態とを比較参照。)
また、図4のグラフから明らかなように、振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたとき、接触圧の変化によって外耳道入口部から1cm奥の外耳道内における音圧が音声の主要な周波数帯域(500Hz〜2500Hz)において少なくとも5dB変化していることがわかる。(破線で示すわずかな接触状態と一点鎖線で示す状態での接触状態とを比較参照。)
以上から、耳装着部6に気導音を発生させるための構造(例えば通常イヤホンの振動板)がなくても、軟骨伝導振動源42の振動を接触により耳軟骨に伝達することで必要な音圧が得られることがわかる。また、気導音を発生させるための構造が不要なため、耳装着部6は、穴6aを有するリング状等の形状とすることができ、装着時においても穴6aを通して外界の音を聞くことができるとともに、外耳道の閉塞感のない快適な装着が可能となることがわかる。
さらに、図4のグラフから明らかなように、振動体の外壁表面を耳軟骨の少なくとも一部により強く接触させることにより外耳道入口部を閉鎖(図4の実測では、耳珠の外側から振動体の外壁表面を押し付け、耳珠が折れ曲がることにより外耳道入口を閉鎖する状態にして測定)したとき、非接触状態に比べ、外耳道入口部から1cm奥の外耳道内における音圧が音声の主要な周波数帯域(300Hz〜1800Hz)において少なくとも20dB増加していることがわかる。これは外耳道閉鎖効果による。(実線で示す非接触状態と、二点鎖線で示す外耳道が閉鎖された状態とを比較参照。)
なお、図4における測定は、すべて軟骨伝導振動源の出力を変化させない状態におけるものである。また 耳輪への接触なしに振動体の外壁表面を外耳道入口部周辺の耳軟骨の少なくとも一部に接触させる状態として、図4における測定は、振動体の外壁表面を耳珠外側から接触させる状態で行っている。また、図4における外耳道が閉鎖された状態での測定は、上記のように耳珠を外側からより強く押圧することで耳珠が折り返ることにより外耳道を閉鎖する状態を作ることにより行っている。
上記のような外耳道閉鎖効果は、実施例1の場合、穴6aに指を当てて押すことにより穴6aが閉鎖するとともに耳装着部6の軟骨への接触圧を高めることにより実現できる。又は、これに代えて掌で耳4全体を覆うことによっても外耳道閉鎖効果を得ることができる。このように、実施例1においても、必要に応じ穴6aを指で閉鎖するかまたは掌で覆うことにより、より大きな音を聞くことができるのがわかる。
なお、図4の測定グラフは、あくまでも一例であって、細かく見れば個人差がある。また、図4の測定グラフは現象の単純化および標準化のために振動体の外壁表面を耳珠外側に限って少ない面積で接触させる状態にて測定を行っている。しかしながら接触による音圧の増加は、軟骨との接触面積にも依存し、耳輪への接触なしに振動体の外壁表面を外耳道入口部周辺の耳軟骨に接触させる場合、外耳道入口部周りのより広い軟骨部分に接触させれば音圧の増加はさらに高まる。以上のことを考慮すれば、図4の測定グラフに示した数値は軟骨伝導を利用した構成を示す一般性を持つものであって、不特定多数の被験者による再現性のあるものである。さらに、図4の測定グラフは、外耳道入口部を閉鎖する際に耳珠を外側から押圧することで接触圧を増して耳珠を折り返すことによるものであるが、振動体の外壁を外耳道入口部に押し入れてこれを閉鎖した場合にも同様の結果が得られる。
図5は、実施例1の見守りシステムにおける耳装着部6の制御部40の機能を示すフローチャートである。フローは、充電のために不図示の充電器に接続されていた耳装着部6を充電器から取り外すことによってスタートする。フローがスタートすると、ステップS2で携帯電話10との近距離通信のためのペアリング状況を確認し、未設定ならペアリング設定を自動で行う。次いで、ステップS4で外部気導音マイク46および骨導マイク44をオンにする。これにより、耳装着部6は補聴器として機能するようになるとともに、骨導マイク44による見守り対象者の音声検知待機状態になる。なお、フローでは省略しているが、咀嚼センサ38はフロースタートから終了までの間、常にオン状態にあり咀嚼検知待機状態にある。
次にステップS6において咀嚼センサ38が咀嚼運動を検知したか否かチェックする。そして検知があればステップS8に進み、近距離通信にて携帯電話10に検知信号を送信するとともに、ステップS10で近距離通信にて住居内モニタ部8に検知信号を送信し、ステップS12に移行する。一方、ステップS6で咀嚼運動が検知されない場合は、直接ステップS12に移行する。
ステップS12では、骨導マイク44が見守り対象者の音声を検知したか否かチェックする。そして検知があればステップS14に進み、近距離通信にて携帯電話10に検知した音声信号を送信するとともに、これと並行してステップS16で近距離通信にて住居内モニタ部8に検知した音声信号を送信する。ステップS12からステップS16は、簡易化した図示になっているが、実際には、これらのステップにおいては、骨導マイク44に音声が検知され始めてからその後の所定時間(例えば10秒)、骨導マイク44からの音声信号を携帯電話10および住居内モニタ部8に並行して送信し続ける。このとき、音声が所定時間以上続いていても所定時間で送信を打ち切り、逆に所定時間内に無音となっても所定時間内は骨導マイク44の出力送信を継続する。上記のようなステップS12からステップS16による所定時間の音声信号送信が終了するとステップS20に移行する。一方、ステップS12で音声信号の検知がなければ直ちにステップS20に移行する。
ステップS20では、見守り対象者により携帯電話10から発呼操作が行われ相手がこれに応答したか否か、または外部から携帯電話10への着信があり、見守り対象者が応答操作をしたか否かをチェックする。そしてそのいずれかに該当する場合はステップS22に進み外部気導音マイク46をオフするとともに骨導マイク44のオンは継続し、ステップS24に移行する。これにより、耳装着部6は携帯電話10のヘッドセットとして機能するようになり、外部気導音マイク46から通話に不要な音が入らないようにする。
ステップS24では、電話を切ることによりステップS20で始まった通話が終了したか否かチェックする。そして通話終了が検知されたときは、ステップS26に進み、外部気導音マイク46をオンするとともに骨導マイク44のオン状態を継続してステップS28に移行する。これにより、耳装着部6は補聴器としての機能に復帰するとともに、骨導マイク44による見守り対象者の音声検知待機状態が継続される。一方、ステップS24で通話終了が検知されない場合は、ステップS24が繰り返され、通話終了を待つ。また、ステップS20で発呼応答または着信応答が検知されない場合は直接ステップS28に移行する。
ステップS28では、電源部48の蓄電池が消耗しているか否かチェックする。蓄電池が消耗していなければステップS30に移行し、耳装着部6が充電のために不図示の充電器に接続されたか否かチェックする。このステップは、蓄電池が消耗していなくても耳装着部6を耳4から取り外して充電する場合に対応している。ステップS30で充電接続が検知されるとステップS32に移行し、終了処理を行ってフローを終了する。これは、耳装着部6が耳4から取り外され見守り機能を果たすことができなくなっている状態であるにもかかわらず誤って動作状態に維持されることを防止する意義がある。一方、ステップS30で充電接続が検知されなければ、ステップS6に戻り、以下、蓄電池が消耗するか充電接続が行われるかしないかぎり、ステップS6からステップS30が繰り返され、耳装着部6は適宜、補聴器機能、見守り機能、携帯電話10のヘッドセット機能を維持する。なお、ステップS28で蓄電池の消耗が検知された場合もステップS32に移行し、終了処理を行ってフローを終了する。
図6は、実施例1における携帯電話10の制御部30の機能を示すフローチャートである。なお、図6のフローは、見守りに関する機能を中心に動作を抽出して図示しており、携帯電話10には通常の携帯電話機能をはじめとする図6のフローに表記していない制御部30の動作が存在する。携帯電話10のハード構成自体は通常のものであって、図6で抽出している機能は、耳装着部6に付属のソフトウエアとしてインストールされるものである。
携帯電話10の電源スイッチをオンすることにより図6のフローがスタートし、ステップS42で通常携帯電話モードを設定する。次いでステップS44で耳装着部6との近距離通信のためのペアリング状況をチェックする。そしてペアリングが設定されていれば耳装着部6と連携した携帯電話10による見守りが可能なのでステップS46に移行する。
ステップS46では、耳装着部6から新たな咀嚼検知信号を受信したか否かチェックし、受信があればステップS48に進み、予め登録しておいた遠隔地の家族等の携帯電話に見守り者の無事を知らせるメールを自動送信する。また、ステップS48では予め設定しておくことによりメールに代えて予め登録しておいた遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば見守り者の無事を知らせる自動音声の送信を行う。メールと発呼の両方を行うよう設定することもできる。咀嚼検知については基本的に日に三度で煩雑ではないと考えられるので、このように咀嚼検知信号を検知する毎に遠隔地の家族等に無事を報知し安心させる。なお、このような無事の報知が煩雑であると遠隔地の家族が考える場合は、ステップS48を省略するよう予め設定しておくことができる。
次いでステップS50に移行し、記憶部32における咀嚼検知信号の受信履歴を新たな受信に基づいて日時情報付で更新するとともに、その時点のGPS信号を併せて記憶し、ステップS52に進む。一方、ステップS46で咀嚼検知信号の受信が確認できなかったときは直接ステップS52に移行する。
ステップS52では、記憶部32の受信履歴に基づき、前回の咀嚼検知信号の受信から所定期間内に新たな咀嚼検知信号の受信があったか否かチェックする。所定期間内の新たな咀嚼検知信号の受信がなければステップS54に進み、予め登録しておいた遠隔地の家族等の携帯電話に自動発呼を行い、応答があれば異常の可能性がある旨の自動音声を送信してステップS56に移行する。ステップS54では、さらにその時点のGPS情報に基づき見守り者の現在位置を通報する自動音声を送信する。一方、ステップS52で所定期間内に新たな咀嚼検知信号の受信があったことがの受信履歴で確認できたときは直接ステップS56に移行する。
ステップS56では、耳装着部6の骨導マイク44が拾った音声信号の受信があったか否かチェックする。そして音声信号の受信があればステップS58に進み、音声信号の内容(含まれる単語など)の音声識別、音声信号の強度やトーンのパターン等に基づき、受信した音声が悲鳴や救助要請であるか否か(緊急性)をチェックする。そして、悲鳴又は救助要請音声である可能性が高いとき(緊急性が高いと判断されたとき)はステップS60に進み、予め登録しておいた遠隔地の家族等の携帯電話に自動発呼を行って応答があれば受信した音声そのものを転送してステップS62に移行する。一方、ステップS58において、受信した音声が通常の会話音声であり悲鳴や救助要請ではない(緊急性が低い)と判断されたときは、直接ステップS62に移行する。
ステップS62では、受信した音声信号が規則的な生活パターンに基づいて予め設定される時間帯(例えば、日常の買い物やお経を唱える時間時間帯)において受信したものか否かチェックする。そして該当すれば、ステップS64に進み、予め登録しておいた遠隔地の家族等の携帯電話に見守り者の無事を知らせるメールを自動送信してステップS66に移行する。一方、ステップS62において、受信した音声信号が予め設定された時間帯において受信したものでなかったときは、直接ステップS66に移行する。なお、ステップS48と同様にしてメールに代えて自動発呼と自動音声の送信が行われるようにするかまたは両者が行われるよう設定しておくこともできる。また、このような無事の報知が煩雑であると遠隔地の家族が考える場合は、ステップS62およびステップS64を省略するよう予め設定しておくこともできる。ステップS64において送信される音声は、実際に骨導マイク44が拾った音声信号ではなく、音声信号の受信があったという事実だけを報知するものであり、ステップS60とは異なって見守り対象者の会話の内容はわからず、プライバシーが保たれる。
ステップS66では、記憶部32における音声信号の受信履歴を新たな受信に基づいて日時情報付で更新するとともに、その時点のGPS信号を併せて記憶し、ステップS68に進む。一方、ステップS56で骨導マイク44が拾った音声信号の受信が確認されなかった場合は直接ステップS68に移行する。
ステップS68では、記憶部32の受信履歴に基づき、前回の音声信号の受信から所定期間内に新たな音声信号の受信があったか否かチェックする。所定期間内の新たな音声信号の受信がなければステップS70に進み、予め登録しておいた上記の遠隔地の家族等の携帯電話に自動発呼を行い、応答があれば異常の可能性がある旨の自動音声を送信してステップS72に移行する。ステップS70においても、さらにその時点のGPS情報に基づき見守り者の現在位置を通報する自動音声を送信する。一方、ステップS68で所定期間内に新たな音声信号の受信があったことが受信履歴で確認できたときは直接ステップS72に移行する。なお、ステップS44で耳装着部6とのペアリングの設定が確認されない場合は直接ステップS72に移行し、見守りのための諸ステップは実行せず、通常携帯電話として機能する。
ステップS72では、電源部34の蓄電池が消耗しているか否かチェックする。蓄電池が消耗していなければステップS44に戻り、以下、蓄電池の消耗が検知されないかぎり、ステップS44からステップS72が繰り返され、携帯電話10は、見守りにおける種々の事態に対応する。一方、ステップS72で蓄電池の消耗が検知された場合はステップS74に移行し、終了処理を行ってフローを終了する。
図7は、実施例1における住居内モニタ部8の制御部16の機能を示すフローチャートである。フローは住居内モニタ部8を設置して家庭用電源に接続することまたは住居内モニタ部8の電源をオンすることによりスタートし、ステップS82で見守り業者との通信のためのインターネットの常時接続を自動設定するとともに耳装着部6との近距離通信など連携の自動テストを行ってステップS84に移行する。
ステップS84では、耳装着部6との近距離通信が可能な状態から不可能な状態に遷移したか否かチェックする。これは、見守り対象者が外出して近距離通信圏外に出たか否かのチェックに相当する。該当しなければステップS86に進み、耳装着部6との近距離通信が不可能な状態から可能な状態に遷移したか否かチェックする。これは、見守り対象者が帰宅して近距離通信圏内に復帰したか否かのチェックに相当する。該当すれば、ステップS88で上記の予め登録しておいた遠隔地の家族等の携帯電話への自動メール送信を行い、見守り対象者が帰宅したことを通知する。
さらにステップS90では携帯電話10との間で自動近距離通信を行い、近距離通信状態が図2に示すシステム構成状態に復帰したことを確認する処理を行う。これは、見守り対象者の外出中、携帯電話10も見守り対象者に携帯されて住居内モニタ部8の近距離通信圏外に出ていたことが想定されるからである。万一、ステップS90において携帯電話10と近距離通信できることが確認できないときは、ステップS90内において、その旨を見守り業者および遠隔地の家族等の携帯電話に通知する。
ステップS90では、さらに、住居内モニタ部8の記憶部18と携帯電話10の記憶部32における耳装着部6からの受信履歴のクロスチェックと情報交換を行い、両者の情報を一致させる。これは、主に、見守り対象者が外出して住居内モニタ部8が耳装着部6からの受信ができない間、受信情報が欠落するので、その間の受信情報を携帯電話10から受け取ることに該当する。これによって、実際は耳装着部6から送信が行われたのに、住居内モニタ部8では、耳装着部6から所定時間以上送信がない異常状態であると誤認する等の不都合を防止することができる。上記のような受信履歴のクロスチェックによる両者の情報を一致させる機能は、逆に住居2内において携帯電話10の蓄電池が消耗していて充電までの間、耳装着部6からの受信情報が欠落する場合への対応としても意義がある。
ステップS90の処理が終わるとステップS92に進み、耳装着部6から新たな咀嚼検知信号を受信したか否かチェックする。受信があればステップS94に進み、記憶部18における咀嚼検知信号の受信履歴を新たな受信に基づいて日時情報付で更新し、ステップS96に進む。一方、ステップS92で咀嚼検知信号の受信が確認できなかったときは直接ステップS96に移行する。
ステップS96では、記憶部18の受信履歴に基づき、前回の咀嚼検知信号の受信から所定期間内に新たな咀嚼検知信号の受信があったか否かチェックする。所定期間内の新たな咀嚼検知信号の受信がなければステップS98に進み、予め契約している見守り業者に異常の可能性がある旨の自動通報を行ってステップS100に移行する。一方、ステップS96で所定期間内に新たな咀嚼検知信号の受信があったことがの受信履歴で確認できたときは異常なしとして直接ステップS100に移行する。
ステップS100では、耳装着部6の骨導マイク44が拾った音声信号の受信があったか否かチェックする。そして音声信号の受信があればステップS102に進み、音声信号の内容(含まれる単語など)の音声識別、音声信号の強度やトーンのパターン等に基づき、受信した音声が悲鳴や救助要請であるか否かをチェックする。そして、悲鳴又は救助要請音声である可能性が高いときはステップS104に進み、上記見守り業者に受信した音声そのものを転送してステップS106に移行する。一方、ステップS102において、受信した音声が通常の会話音声であり悲鳴や救助要請ではないと判断されたときは、直接ステップS106に移行する。
ステップS106では、記憶部18における音声信号の受信履歴を新たな受信に基づいて日時情報付で更新して、ステップS108に進む。一方、ステップS100で骨導マイク44が拾った音声信号の受信が確認されなかった場合は直接ステップS108に移行する。
ステップS108では、記憶部18の受信履歴に基づき、前回の音声信号の受信から所定期間内に新たな音声信号の受信があったか否かチェックする。所定期間内の新たな音声信号の受信がなければステップS110に進み、上記見守り業者に異常の可能性がある旨の自動通報を行ってステップS112に移行する。一方、ステップS108で所定期間内に新たな音声信号の受信があったことが受信履歴で確認できたときは直接ステップS112に移行する。なお、ステップS84で耳装着部6との近距離通信が可能な状態から不可能な状態に遷移したことが検知された時は、ステップS114に移行し上記の予め登録しておいた遠隔地の家族等の携帯電話への自動メール送信を行い、見守り対象者が外出したことを通知してステップS112に移行する。この場合、耳装着部6から信号をうけることができず見守りはできないので、見守り機能の実行は見守り対象者が携帯する携帯電話10に委ねられ、住居内モニタ部8としての見守り機能の実行はない。
ステップS112では、住居内モニタ部8の電源がオフされたか否かチェックする。電源オフには停電等における給電の断絶も含まれる。電源のオフがなければステップS84に戻り、以下、電源がオフされないかぎり、ステップS84からステップS114が繰り返され、住居内モニタ部8は見守りにおける種々の事態に対応する。一方、ステップS112で電源オフが検知された場合はステップS116に移行し、終了処理を行ってフローを終了する。
図9は、本発明の実施の形態に係る実施例3のシステム構成図である。実施例3は、軟骨伝導により人とコミュニケーション可能なロボットとして構成され、実施例1と同様にして住居内の見守りシステムを構成するとともに、見守り対象者との人間的なコミュニケーションが可能となっている。図9の実施例3は、図1の実施例1における耳装着部6の部分が実施例3ではロボット206となっている点を除き実施例1と共通であるので、ロボット206および見守り対象者201以外の図示を省略するとともに、共通部分の説明についても必要のない限り省略する。
ロボット202は、実施例1と同様にして近距離通信により図1に示す住居内モニタ部8、および見守り対象者の携帯電話10と近距離通信により情報交換する。ロボット206は、頭部203の左右の耳205の部分に一対のステレオ外部気導音マイクを有し、見守り対象者201の音声を拾うとともに、頭部203の左右の目207の部分に一対の3Dカメラを有し、見守り対象者201の画像を撮像する。ステレオ外部気導音マイクおよび3Dカメラはそれぞれ見守り対象者201を見守るためのセンサとして機能し、検知結果は図1に示す住居内モニタ部8、携帯電話10に送信される。さらに、ロボット206の頭部203の口機構209の部分には気導音スピーカが設けられており、見守り対象者201への発話が可能となっている。このとき、ロボット206の口機構209は発話と連動して動くようになっている。また、ロボット206の頭部203に設けられた外部気導音マイクおよび気導音スピーカは、図1に示す携帯電話10の外部送受話装置としても機能する。
次に、ロボット206を用いた軟骨伝導について説明する。ロボット206の右手211の中指213には圧電バイモルフ素子等からなる軟骨伝導振動源が配置されており、中指213の指先が効率よく振動するようになっている。なお、軟骨伝導振動振動源の振動は手全体にも伝わるので手のどの部分からでも軟骨伝導は可能である。図9では、中指213の指先が見守り対象者201の左耳の耳珠232に接触し最良の軟骨伝導を実現している状態を示す。なお図9には図示されないが、ロボットの左手の中指にも同様の軟骨伝導振動源が配置されており、見守り対象者201の右耳の耳珠に接触している。これによって通常のように両耳で気導音を聞くのと同様のステレオでの軟骨伝導が可能となる。また、ロボット206の口機構209は、気導音スピーカからの発話の場合と同様にして、軟骨伝導によって伝えられる音声と連動してロボット206の口機構209が動くようになっている。
図9に示すように、ロボット206は、見守り対象者201の顔を両手で優しく包み、慈愛に満ちた雰囲気で話しかける状態となるので、見守り対象者201は癒された心理状態でロボット206の声を聞くことができる。この演出のため、ロボット206の両手が見守り対象者201の顔を挟む圧力が過度にならないようロボット206の右腕215および左腕217は加圧リミッタが設けられている。
さらに、見守り対象者201が拘束感を感じないよう、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま見守り対象者201の顔の自由な動きに合わせて抵抗なく追従するよう、ロボット206の胴体219に対してロボット206の右腕215および左腕217の関節が制御される。また、最初にロボット206が見守り対象者201に触れるときに冷たさを感じないよう、ロボット206の両手は、見守り対象者201の顔を包む動作に入る前に人肌に加温される。さらに、見守り対象者201の顔を両手で優しく包んで話しかける演出との齟齬が生じないよう、ロボット206の左右の目207は外観が可動となっており、頭部203の向きおよび左右の目207の外観上の視線は、見守り対象者201の視線を不用意に外さず、威圧感のない範囲で自然に動いて追従する。
以上のような、軟骨伝導による発話は、見守り対象者201の聴力が高齢等のため低下している場合や、周囲の騒音が大きい場合に有用であり、気導音スピーカでなり立てるような状況を避けることができる。また、周囲の音量が大きい場合等において見守り対象者201の声を拾うため、ロボット206の右手211の親指221には骨導マイクが設けられており、頬骨などからの骨伝導音を拾うよう構成される。後述のようにロボット206の左手にも同様の骨導マイクが設けられ右手側の骨導マイクと相補的に骨導音を拾う。なお、骨導マイクについては、実施例2と同様にして圧電バイモルフ素子からなる軟骨伝導振動源を骨導マイクとして兼用してもよい。
図10は、図9に示した本発明の実施例3のロボット206のブロック図である。図9と共通する部分には同一の番号を付し、必要のない限り説明を省略する。なお、上記のように、実施例3は、図1に示すような住居内モニタ部8、および携帯電話10との通信については実施例1と共通であり、図10では近距離通信部236を図示するに留めて説明を省略する。
図10に示すように、ロボット206は、頭部203の左右の耳205(図9参照)の部分に一対のステレオ外部気導音マイク246を有し、見守り対象者201の音声を含む外部音声をステレオで拾う。また、頭部203は、左右の目207の部分に3Dカメラ(一対のカメラ)238を有し、見守り対象者201の画像を撮像する。なお、上述の頭部203の向きおよび左右の目207の視線の追従は、3Dカメラ238の画像の分析に基づいて見守り対象者201の顔および目の認識をすることによって行う。さらに、ロボット206の頭部203の口機構209の部分には気導音スピーカ223が設けられ、上述のようにる。口機構209は気導音スピーカ223によるロボット206の発話と連動して動くようになっている。
図10に示すように、ロボットの右手211の中指213には圧電バイモルフ素子等からなる軟骨伝導振動源242aが配置されており、中指213の指先が効率よく振動するようになっている。上述のように、軟骨伝導振動振動源242aの振動は右手211全体にも伝わるので手のどの部分が耳軟骨に接触しても軟骨伝導は可能である。なお、上述のように、ロボット206の口機構209は、軟骨伝導振動源242aの振動によって伝えられる音声と連動して動くようになっている。中指213aには更に感圧センサ等からなる触覚センサ231aが設けられているがこれについては後述する。また、ロボットの右手211の親指221aには骨導マイク244aが設けられており、頬骨などからの骨伝導音を拾う。なお、上述のように骨導マイクaについては、実施例2と同様にして圧電バイモルフ素子からなる軟骨伝導振動源242aを骨導マイクとして兼用してもよい。なお、煩雑を避けるため図示を省略しているが、親指221aにも中指213aの触覚センサ231aと同様の触覚センサが設けられているがこれについても後述する。右手211にはさらにヒータ225aが設けられており、見守り対象者201の顔を包む動作に入る前にスイッチが入って右手211全体を人肌に加温する。
図10に示すように、右腕215には右関節機構227aが設けられており、見守り対象者201の顔を右側から包んで話しかける等の動作を行う。右関節機構227aは簡単のため肩関節の部分にのみ図示しているが、肘関節、手首関節および指関節を含む右手の諸関節全体を代表的に示すものとする。また、右関節機構227aは、後述するように左手の関節と連動し、見守り対象者201の顔を両手で優しく包んで話しかける演出を行う際に、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま見守り対象者201の顔の自由な動きに合わせて抵抗なく追従するよう制御される。
図10における左腕217および左手229の構成は、右腕215および右手215の構成と同様なので、右側において中指213aのごとくそれぞれ「a」を付していた構成を左側においては中指213bのごとく対応する構成にそれぞれ「b」を付して図示し、説明を省略する。なお、左右に設けられた構成要素のうち、軟骨電動振動源242a、242bは鼓膜を経由する軟骨電動の原理に基づきステレオ聴取が可能である。これに対し、骨導マイク244a、244bについては、骨導の性質上、頭蓋骨の同じ振動を拾うのでステレオマイクを構成するわけではなく、接触状態を相互補完するため、左右に設けられているものである。従って、後述のように、片方の親指の接触位置を微修正することによってベストの骨導接触位置が充分確保できる場合には、他方の親指における骨導マイクを省略してもよい。
右関節機構227aおよび左関節機構227bは、軟骨電動による見守り対象者201とのコミュニケーションを行う際、3Dカメラ238によるDカメラの画像の分析に基づいて認識される見守り対象者201の顔に向かって右手211および左手229を伸ばす。なお、右関節機構227aおよび左関節機構227bにはそれぞれ負荷検知センサが設けられており、腕、手、指が何かに当たってフリーな状態での動き以外の負荷がかかったかどうかを検知する。そして負荷がかかった場合、その負荷が関節のどの部分においてどの程度の強さでかかっているかを識別する。
右関節機構227aおよび左関節機構227bの負荷検知センサが負荷を検知し、3Dカメラ238による画像から、その原因が両手により見守り対象者201の顔が包まれたからであると判断されると、加圧リミッタが作動して見守り対象者201の顔を挟む圧力を制限する。そして、左右の中指213aおよび213bのそれぞれ指先に設けられた触覚センサ231aおよび231bの出力と3Dカメラ238による画像をモニタしながら、右手211および左手229の位置および左右の中指213aおよび213bの曲がり具合を微修正する。これによって、左右の中指213aおよび213bが見守り対象者201の耳珠に接触するようにする。(図9図示の状態の実現)同様に、左右の親指221aおよび221bについても、それぞれの指先に設けられた触覚センサ(図示省略)の出力と3Dカメラ238による画像をモニタしながら、左右の親指221aおよび221bの曲がり具合を微修正し、見守り対象者201の頬骨に接触するようにする。
また、右関節機構227aおよび左関節機構227bは、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま平行移動し、見守り対象者201の顔の自由な動きに合わせて抵抗なく追従するよう制御する。この追従は右腕215および左腕217が自由状態にあるときそれらの重量に抗して右腕215および左腕217を持ち上げ静止させている状態を基準としているので、右腕215および左腕217の荷重が顔にかかることもない。そして、このような状態において、右関節機構227aおよび左関節機構227bの負荷検知センサが顔の動きに基づく上下左右方向の負荷を検知すると、それに応答して左右の手の相対間隔を保ったまま従属的に左右の右関節機構227aおよび左関節機構227bを駆動するようにする。これによって、見守り対象者201はロボット206の両手に顔を包まれつつも拘束されることなく軟骨電動状態を継続したまま顔を動かすことができる。
以上の機能は、記憶部218に格納されたプログラムに基づき制御部240によって達成される。なお、制御部240は、3Dカメラ238に接続された専用の画像処理機能部を含む。制御部240は、さらに、軟骨電動振動源242a、242bに接続された専用の圧電バイモルフ駆動機能部、およびこの圧電バイモルフ駆動機能部、気導音スピーカ223ならびに骨導マイク244a、244bに接続された専用の音声処理機能部を含む。また、記憶部218は、制御部240の機能のための種々のデータを一次的に格納する。充電池を含む電源部248はロボット206の角構成要素に対し、それぞれに必要な電圧にて給電を行う。
図11は、図10の実施例3のロボット206における制御部240の機能を示すフローチャートである。フローは、ロボット206の主電源スイッチによる電源部248からの給電開始によりスタートする。フローがスタートすると、ステップS122で住居内モニタ部8およびおよび見守り対象者の携帯電話10(図1参照)との近距離通信のためのペアリング状況を確認し、未設定ならペアリング設定を自動で行う。次いで、ステップS124で通常見守り機能を開始する処理を行う。この通常見守り機能は、基本的には、図1から図8で説明した実施例1または実施例2における見守り機能に準じたものであり、実施例3の場合は、ステレオ外部気導音マイク246および3Dカメラ238が見守りセンサとして機能する。
次いで、ステップS126で異常の有無をチェックし、異常がなければステップS128に移行して定常報告タイミングか否かをチェックする。そして定常報告タイミングで無ければステップS130に移行する。一方、ステップS128で定常報告タイミングであることが確認されるとステップS132に移行し、正常報告処理を行ってステップS130に移行する。この正常報告処理は実施例1または実施例2と共通である。
ステップS130では、見守り対象者201との会話を開始すべきか否かの判断がなされる。例えば、見守り対象者201がデイケアから帰宅したときやロボットが修理から返ってきたときなどのように見守り対象者201とロボット206が時間を置いて顔を合わせたとき、または、見守り対象者201がロボット206に近づいてきたとき、または、見守り対象者201がロボット206に話しかけたとき、または、見守り対象者201の様子を観察してロボットが自発的に話しかけようとするとき、などが「会話を開始すべき」との判断がなされるケースである。
ステップS130で会話開始の判断がなされるとステップS134に進み、まずは、ステレオ気導音マイク246および気導音スピーカ223がオンされ、通常の気導音による会話が準備される。次いで、ステップS136において、見守り対象者201が軟骨伝導により会話をすべき登録者か否かチェックする。この登録は、聴力が高齢等のため低下している場合や、見守り対象者201本人の好みにより予め行っておくことができる。ステップS136で軟骨伝導登録者であることが確認できない場合は、ステップS138に進み、周囲の気導音が所定以上であるか否かチェックする。見守り環境では、通常の騒音が存在する可能性は小さいが、居室内において多人数が随所で談笑しているような場合、周囲の気導音が所定以上となって、ロボット206と見守り対象者201による気導音による個人的な会話が困難になる場合がある。ステップS138において、周囲の気導音が所定以上であると判断されるとステップS140に移行する。一方、ステップS136において、見守り対象者201が軟骨伝導により会話をすべき登録者であると判断された場合は、直ちにステップS140に移行する。
ステップS140では、軟骨伝導のためにロボット206の両手を見守り対象者201の両耳に接触させるための処理が行われる。その詳細は後述する。ステップS140の両手接触処理が完了するとステップS142に進み、ロボット206の両手人差し指213a、213bが見守り対象者201の両耳の耳珠に、両手親指221a、221bが見守り対象者201の両頬骨に、それぞれ接触していることの確認が行われる。そして、この確認ができるとステップS144に進み、ステレオ気導音マイク246および気導音スピーカ223をオフするとともに、骨導マイク244a、244bおよび軟骨伝導振動源242a、242bをそれぞれオンしてステップS146に移行する。これによって、気導音による会話が軟骨伝導および骨導マイクによる会話に切換えられる。
一方、ステップS142において上記の耳珠および頬骨への接触が確認できない場合は、直接ステップS146に移行する。既述のように、軟骨伝導はロボット206の手および指のどこかが見守り対象者201の両耳の軟骨のいずれかの部分に接触すれば可能となるので、ステップS140の両手接触処理内においてこの状態が確認された場合、ステレオ気導音マイク246および気導音スピーカ223のオン状態を維持したまま、骨導マイク244a、244bおよび軟骨伝導振動源242a、242bがそれぞれオンされる。これに対し、ステップS140の両手接触処理内においてロボット206の手と見守り対象者201との接触が実行されなかった場合は、ロボット206の両手を見守り対象者201の方に伸ばす処理は行われず、骨導マイク244a、244bおよび軟骨伝導振動源242a、242bのオンも行われないので、ステレオ気導音マイク246および気導音スピーカ223による会話が続行されることになる。これらのステップS140の両手接触処理の詳細については後述する。
また、ステップS138において、周囲の気導音が所定以上であると判断されない場合は、直接ステップS146に移行する。この場合は、ロボット206の両手を見守り対象者201の方に伸ばす処理は行われず、ステレオ気導音マイク246および気導音スピーカ223による会話が続行されることになる。
ステップS146では、異常の有無がチェックされる。これはステップS126において異常なしとして開始された会話中において不測の事態が生じることに対応するものである。この段階では、ロボット206の手による軟骨伝導が実行されている可能性があるので、ロボット206における見守りのためのセンサ機能が増加することになる。具体的には、骨導マイク244a、244b、触覚センサ231a、231b等が異常検知に寄与すると共に、例えば見守り対象者201が倒れたりした場合、顔を包んでいる手を通じて関節機構227a、227bの負荷検知センサに異常な負荷がかかるので3Dカメラ238による画像とともにきめ細かな異常検知が可能となる。
ステップS146で異常が検知されない場合、ステップS148に移行して会話が終了したか否かの判断が行われる。この判断は、お互いの無言状態が所定時間以上続いたか否かのチェック、および会話内容の分析と会話終了に特有のキーワードの有無等により総合的に行われる。会話終了との判断がなされない場合は、ステップS136に戻り、以下会話終了との判断がなされるまでステップS136からステップS148が繰り返される。この繰り返しによって、まだ軟骨伝導が実行されていない状態においてステップS138で周囲の音量が所定以上となった場合、軟骨伝導への移行が可能となる。なお、気導音によるコミュニケーションから軟骨伝導へのコミュニケーションへの移行は一方向のものである。つまり、仮に、上記の繰り返しにおいてステップS138で周囲の音量が小さくなったからといって、一度開始した軟骨伝導によるコミュニケーションについてはこれを気導音によるコミュニケーションに戻す機能はない。従って、一連の会話途中では、軟骨伝導コミュニケーションと気導音コミュニケーションの間の煩瑣な往復切換えが行われることはない。ただし、異常の場合、ロボット206の手が見守り対象者201の顔を包んだままの状態を継続することは危険であり、上記の繰り返しにおいてステップS146がこれに対応している。その詳細は後述する。
ステップS148で会話終了との判断がなされるとステップS150に移行し、軟骨伝導状態であるか否かチェックする。そして、軟骨伝導状態であればステップS152に移行し、ロボット206の両手を退避させて見守り対象者201の顔を解放し、ステップS154に移行する。一方、ステップS150において軟骨伝導状態が検知されなければ通常気導音による会話であり、見守り対象者201の拘束はないので直接ステップS154に移行する。
ここで、異常の場合についての処理について説明する。ステップS126において異常状態が検知されるとステップS156に移行し、異常対応処理を行ってステップS150に移行する。この異常対応処理は基本的には実施例1または実施例2と共通の通報処理であるが、実施例3はロボット206により構成されるので、ロボット206が把握した見守り対象者201の状況に応じ、可能かつ緊急度がリスクを上回れば予めプログラムされた応急処置を行う。また、ステップS146において会話中に異常が検知された場合もステップS156に移行して異常対応処理を行うとともにステップS150に移行する。ここで重要なのは、上記のように、会話が軟骨伝導で行われていた場合においてなんらかの異常状態が発生した場合、仮にロボット206の手が見守り対象者201の顔を包んだままの状態を継続すると場合の危険である。ここにおいてステップS146で以上が検知されると会話終了の判断がなくてもステップS136からステップS148の繰り返しループから抜け、ステップS156の以上対応処理を経由してステップS150に至る。そしてステップS150で軟骨伝導状態であったことが確認されるとステップS152に移行し、ロボット206の両手を退避させて見守り対象者201の顔を解放する。
ステップS154では、ロボット206の主電源スイッチのオフまたは電源部248の充電池の消耗によりロボット206への給電が停止したか否かのチェックが行われる。給電停止が確認されない場合はステップS126に戻る。なお、ステップS130で会話開始が検知されなかった場合は、直ちにステップS126に戻る。以下、ステップS154で給電停止が確認されるまで、ステップS126からステップS154を繰り返し、ロボット206の種々の状況変化に対応する。一方、ステップS154で給電停止が確認されるとステップS158に至り、所定の終了処理を行ってフローを終了する。なお、この終了処理には、フェイルセーフとして、万一ロボット206の両手が見守り対象者の顔に接触したままである場合、これを退避させる機能が含まれる。
図12は、図11のステップS140における両手接触処理の詳細を示すフローチャートである。フローがスタートするとステップS162で既にステップS140が実行されて手が見守り対象者201に接触済みか否かチェックする。そして接触済みであることが検知されると、直ちにフローを終了し、ステップS140では何も行われなないことになる。この場合、図11のフローでは、ステップS138で周囲音量が所定以上であることが検知されても途中のステップで何も行われず、実質的に直接ステップS146に至ったのと同等の結果となる。このようにして、ステップS140の実行により何らかの形で見守り対象者201への手の接触が実現すると、以後会話の途中でステップS140を繰り返して状態を変えたり同じ処理をしつこく繰り返したりすることが避けられる。
一方、ステップS162でロボット206の手の接触が確認されないとステップS164に進み、手のヒータ225a、225bの人肌への急速加温を開始してステップS166に移行する。ステップS166では、接触同意コミュニケーション処理を行う。一般にスキンシップ(この場合、ロボットが相手)は、受け入れる気持ちがある場合大変心地良いが、場合によっては極めて不快である。従って、ロボット206は、図11のステップS130からステップS138への諸判断を経てステップS140に至ったとしても、いきなり一方的な行動はとらず、見守り対象者201の意思を尊重して図12のステップS166にて接触への同意を促す。このときステップS166で行われるコミュニケーションは、気導音による言語情報のみによる「お顔に触れてもいいですか」という直截的なものに限らず、例えばまずハグするように両手を大きく広げてから相手を驚かせないよう穏やかに顔を包み込む動作に移行する等のボディランゲージでもよい。また、このような動作に「静かにお話ししましょうか」等の暗示的な語りかけを添えた総合的なコミュニケーションを試みるようにしてもよい。そして、このような働きかけをしながら3Dカメラ238およびステレオ外部気導音マイク246により相手の様子を観察してステップS166に移行する。
ステップS168では、見守り対象者の拒否の言葉または顔を背ける等の拒否の動作による見守り対象者201の意思表示がないかチェックし、接触拒否意思表示がないものと判断できればステップS170に移行する。ステップS170では、見守り対象者201が車椅子使用者か否かチェックする。これは車椅子使用者ならば比較的顔の位置が安定しており、ロボット206の手で接触圧を加えても転倒などの危険が少ないからである。ステップS170で車椅子使用者であることが確認できなければ、ステップS172の着席案内処理に移行する。この処理では、椅子の有無および位置の確認と、見守り対象者201への着席推奨アナウンスおよび椅子への案内、着席の確認などを行う。次いで、ステップS174で見守り対象者201の顔に手を接触させても危険がないかいなかの最終確認を行う。この確認は、見守り対象者201の着席確認を最善とするが、立ったままであるとしても、着席案内処理を通じて見守り対象者201の足腰に不安がなく、多少顔に圧力がかかっても転倒のリスクが少ないことが確認できた場合も含む。
ステップS174で安全確認ができるとステップS176に移行し、両手を顔に伸ばす方向と視線の方向を一致させる視線同調を開始しステップS178に進む。ステップS178では両手で顔を包むために3Dカメラの情報に基づいて関節機構を駆動する両手調節処理を実行しステップS180に進む。ステップS180では、両手が顔に接触することによる負荷が右関節機構227aおよび左関節bの負荷検知センサにより検知されたか否かチェックする。そして検知がなければステップS178に戻り、両手が顔に接触するまでステップS178およびステップS180を繰り返す。そしてステップS180で負荷が検知されるとステップS182に進み、加圧リミッタをオンして見守り対象者201の顔を挟む圧力が過度にならないよう制限を開始する。
この状態で、ロボットの両手(指を含む)のどこかが見守り対象者201の両耳軟骨のどこかに接触したものと判断できるので、ステップS184に進み、骨導マイク244a、244bおよび軟骨電動振動源242a、242bをオンしてステップS186に進む。この状態では、気導音スピーカ223ならびに骨導マイク244a、244bもオン状態で併用される。さらにステップS186では、気導音スピーカ223のみからの発話の場合と同様にして、口機構209が軟骨電動振動源242a、242bの振動による音声と連動して動くよう同調を継続させる。ステップS186による同調は、図12のステップS144において気導音スピーカ223がオフになっても継続される。
次いでステップS188による両手間隔保持/関節脱力処理が開始される。これは、既述のように、両手がその相対間隔を保ったまま平行移動するとともに見守り対象者201の顔の自由な動きに合わせて抵抗なく追従するよう右関節機構227aおよび左関節bがいわば脱力状態で追従するよう制御する処理である。この処理はステップS186からフローが進んでも継続される。
さらに、ステップS190では、左右の中指213a、213bの曲がり具合を微修正しながら指先が見守り対象者201の耳珠に接触するようにするとともに、左右の親指221aおよび221bの曲がり具合を微修正し、見守り対象者201の頬骨に接触するようにする処理が開始される。次いで、ステップS192では、上記の結果として人差し指が耳珠に、親指が頬骨に接触したか否かをチェックされ、接触が確認できないとステップS194に進む。ステップS194では、ステップS190が開始されてから所定時間が経過したか否かチェックし、所定時間の経過がないとステップS190に戻る。以下、ステップS190からステップS194が繰り返される。その繰り返しの中で、ステップS192にて耳珠および頬骨への指の接触が確認されるとフローを終了し、図11のステップS142に移行する。この場合、既述のとおりステップS142からステップS144に進むことになり、ステレオ気導音マイク246および気導音スピーカ223がオフされることになる。一方、ステップS194で所定時間の経過が確認された場合もフローを終了し、図11のステップS142に移行する。この場合は、図11においてステップS144を経由せず、ステレオ気導音マイク246および気導音スピーカ223がオンで併用されたままステップS146に移行することになる。
一方ステップS168において、少しでも接触拒否の意思表示があるとの判断がなされたときはステップS196に進み、手のヒータ225a、225bによる人肌への加温を停止してフローを終了する。同様に、ステップS174において安全確認ができない場合も、ステップS196に進み、手のヒータ225a、225bによる人肌への加温を停止してフローを終了する。これらの場合はいずれも、ロボット206の手と見守り対象者201の接触による軟骨伝導は行われず、気導音によるコミュニケーションが継続される。
以上の各実施例に示した種々の特徴の実施は、個々の実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。また、各実施例に示した種々の特徴は、種々変形して実施することが可能である。これらの変形は適宜組合せて実施することが可能であるとともに、一部変形前の状態と組み合わせて実施することも可能である。
例えば、実施例3のロボットの構成において、骨導マイクを親指に軟骨伝導振動源を中指に設けているが、これに限るものではなく、例えば軟骨伝導振動源を人差し指に設けてもよい。さらに、片手について複数の軟骨伝導振動源を片手の複数の指にそれぞれ設けても良い。また、実施例3では軟骨伝導に入るときに手のヒータの人肌への加温をスタートさせているが、常にヒータをオンしてロボットの手の温度を人肌に保ち、他の目的で見守り対象者に触れた時にも冷たさを感じないようにすることも可能である。
さらに、図11のフローでは、ステップS136で登録済み軟骨伝導登録者であることが確認されたときまたはステップS138で周囲の音量が大きくなったときにしかステップS140の両手接触処理に入らないようになっているが、これらの場合に加え、見守り対象者201からの自由な意思表示(例えば、見守り対象者201から希望する旨の発言がステレオ外部起動音マイク246で確認されたとき、または3Dカメラ238にて見守り対象者201が軟骨伝導を求める動作をしていることが確認できたとき、または見守り対象者201が自らロボット206の手を取って自分の耳に導いたときなど)に基づいて割り込みをかけ、図11のステップS140に移行するよう構成してもよい。
さらに、実施例3のロボットの手には見守り対象者の耳珠と指先の接触を確認するための触覚センサが設けられているが、これを光学的な近接センサに代えてもよく、また触覚センサと光学的な近接センサを併用してもよい。