JP4573634B2 - 情報端末装置及び状態表示システム - Google Patents

Description

この発明は、植物、動物などの生物の挙動からその生物の状態を解析し、その生物とともにその生物の状態を表示させる情報端末装置及び状態表示システムに関するものである。

従来、赤ん坊、ペット、又は家畜などの動物の感情を人間が理解できるように翻訳し、この翻訳内容を文字や音声により利用者に通知する翻訳装置が知られている。
例えば、特開２００２−２７８５８３号公報（特許文献１）には、犬の鳴き方の違いによる犬の感情を音声又は画像として出力することにより、犬とのコミュニケーションを図ることのできる技術が開示されている。
上記特許文献１には、飼い犬の首輪に取り付けられた犬側ケースから送信された犬の鳴き声を利用者が保有する飼い主側ケースにて受信し、受信した犬の鳴き声に基づいて犬の感情を解析し、この犬の感情を文字や音声により飼い主へ伝える技術が開示されている。
特開２００２−２７８５８３号公報（第１−３頁、第１−４図）

しかしながら、上記特許文献１に示される技術によれば、犬の感情が、犬と乖離された状態で飼い主に通知されるため、犬の感情を把握しづらいという問題があった。
更に、上記特許文献１に示される技術では、翻訳対象の生物が、犬などのように、音声を発する生物に限られてしまうため、鳴き声などを発しない、つまり、音声を発しない生物の感情などは、翻訳することができないという問題があった。

この発明は上述した事情に鑑みてなされたものであって、植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消するとともに、鳴き声を挙げない生物、つまり、音声を発しない生物についても、その状態を翻訳し、その状態をわかりやすく伝えることができる情報端末装置及び状態表示システムを提供することを目的とする。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、前記半透過光学素子を介した実視野中に存在する観察対象を検出する観察対象検出部と、前記観察対象の挙動を検出する挙動検出部と、前記挙動検出部によって検出された観察対象の挙動に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。

上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、観察対象検出部により検出され、この観察対象の挙動が挙動検出部により検出される。そして、観察対象の挙動に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態が、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを一体性をもたせた形で表示させることができる。
上記観察対象の挙動には、観察対象の動作などのほか、表情の動きなども含まれる。

本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する観察対象検出部と、前記観察対象検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記観察対象の挙動を検出する挙動検出部と、前記挙動検出部によって検出された観察対象の挙動に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。

上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、観察対象検出部により検出され、この検出結果に基づいて、実視野中に観察対象が存在するか否かが判定部により判定される。この結果、実視野中に観察対象が存在していた場合には、その観察対象の挙動が挙動検出部により検出され、検出された挙動に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態が、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを一体性をもたせた形で表示させることができる。
上記観察対象の挙動には、観察対象の動作などのほか、表情の動きなども含まれる。

本発明の情報端末装置において、前記観察対象検出部が、前記実視野の方向を撮像する撮像部を備え、前記判定部は、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、実視野の方向の風景が撮像部により撮像され、撮像された風景の画像に、予め登録されている観察対象の画像情報、例えば、輪郭画像が含まれているか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。これにより、高い精度で、且つ、容易に判定を行うことが可能となる。

本発明の情報端末装置において、前記観察対象検出部が、前記観察対象に設けられた発信機から発せられる信号を受信する受信機を備え、前記判定部は、前記発信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、観察対象に設けられた発信機から発せられた信号が受信機により受信されたか否かを判定部が判定することにより、観察対象が実視野中に存在するか否かが判定される。これにより、非常に容易に判定を行うことが可能となる。

本発明の情報端末装置において、前記観察対象検出部が、位置及び方向を特定する方位情報測定部を備え、前記判定部は、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、実視野の位置及び方向が方位情報測定部により特定され、特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が属するか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。
これにより、植物などのように、一定の場所に固定されているような場合には、非常に容易に、且つ、高い精度で判定を行うことが可能となる。

本発明の情報端末装置において、前記挙動検出部が、前記観察対象を撮像する撮像部と、前記撮像部により取得された画像に基づいて、予め登録されている前記観察対象の特徴点を抽出する特徴点抽出部とを備え、前記特徴点抽出部により抽出された特徴点の変位に基づいて前記観察対象の挙動を検出しても良い。

上記構成によれば、観察対象が撮像部により撮像され、撮像部により取得された画像情報から、予め登録されている特徴点が特徴点抽出部により抽出される。そして、予め登録されている当該観察対象の特徴点の位置や形状と、今回抽出された特徴点の位置や形状などを比較し、その変位などを検出することにより、観察対象の挙動、例えば、表情の変化を検出することが可能となる。
また、本発明の情報端末装置において、観察対象検出部が実視野の方向を撮像する撮像部を備えている場合には、その撮像部により取得された画像情報を用いて上述の特徴点の抽出を行うことが好ましい。

本発明の情報端末装置において、前記挙動検出部が、前記観察対象に設けられている発信機からの信号を検出することにより、前記観察対象の挙動を検出しても良い。

上記構成によれば、例えば、犬や猫などのペットの首輪などに取り付けられた発信機から発せられる信号（電波）が、挙動検出部により受信される。そして、この電波に基づいて、観察対象の挙動が挙動検出部により検出される。これにより、犬や猫などの観察対象の挙動を容易に且つ高い精度で検出することが可能となる。
また、本発明の情報端末装置において、観察対象検出部が観察対象に設けられている発信機から発せられる信号を受信する受信機を備えている場合には、この受信機により受信された信号を用いて、観察対象の挙動を検出するようにしても良い。

本発明の情報端末装置において、前記状態解析部が、前記観察対象の挙動と状態とを対応付けて記憶するデータベースと、前記挙動検出部により取得された挙動に対応する前記観察対象の状態を前記データベースから抽出する抽出部とを備えていても良い。

上記構成によれば、データベースには、観察対象の挙動と状態とが対応付けられて格納されている。そして、挙動検出部により検出された観察対象の挙動に対応する状態が、抽出部により、データベースから抽出される。これにより、非常に容易に、且つ、速やかに生物の状態を解析することが可能となる。
例えば、植物が観察対象の場合には、葉の揺れの振幅や葉の向きなどと、その状態とが対応付けられて、データベースに登録されている。
また、例えば、動物が観察対象の場合には、動物の動く速度、他の動物との距離、表情などに、その動物の状態が対応付けられて、データベースに登録されている。

本発明の情報端末装置において、前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記挙動検出部が起動しても良い。

上記構成によれば、実視野中に観察対象が存在する場合に限って、挙動検出部が起動するので、電力の消費を抑えることが可能となる。なお、挙動検出部だけでなく、状態解析部、画像表示部、半透過光学素子についても同様とすることにより、電力消費を更に抑えることが可能となる。

本発明は、少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する観察対象検出部と、前記観察対象検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記観察対象の挙動を検出する挙動検出部と、前記挙動検出部によって検出された観察対象の挙動に基づいて、前記観察対象の状態を解析する状態解析部を備え、前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる状態表示システムを提供する。

本発明の情報端末装置又は状態表示システムによれば、半透過光学素子を通して視認される実視野中に存在する観察対象に対して、その観察対象の状態を重畳的に表示させるので、観察対象とその観察対象の状態との乖離を解消し、利用者に対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
更に、本発明の情報端末装置又は状態表示システムによれば、観察対象の挙動に基づいて、その状態を解析するため、鳴き声を発しない生物であっても、その状態を利用者に対して通知することができるという効果を奏する。

以下に、本発明にかかる情報端末装置の一実施形態について、図面を参照して説明する。
図１及び図２は、本発明の一実施形態に係る情報端末装置の構成例を示す外観斜視図であり、図１は、使用状態における外観斜視図、図２は格納状態における外観斜視図を示している。
図１、図２に示すように、本実施形態に係る情報端末装置１は、後述する各種制御機構及び制御基板等を内蔵した筐体（本体）２０の外部に、表示装置３０及び撮像装置（撮像部）４０を備えている。
上記表示装置３０は、画像表示部５０及びコンバイナー６０を備えている。これら画像表示部５０及びコンバイナー６０は、格納状態で、筐体２０を貫通する開口部２１の空間部に収納され（図２参照）、それぞれが矩形状とした短辺側の一辺を筐体２０に軸支されて揺動による開閉動作が可能とされる。

画像表示部５０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイ（以下「表示面」という。）５１を備え、後述する画像表示制御部７５（図４参照）により選定された画像を表示面５１に表示する。この画像表示部５０は、例えば、筐体２０に軸支されている支持部材５２に固定され、その表示面５１は、後述するコンバイナー６０と格納状態で対向する面に、換言すれば、筐体２０の内側に向けられている。

コンバイナー６０は、画像表示部５０からの光、すなわち画像表示部５０の表示面５１に表示された情報の光を反射するとともに、施設利用者の視線方向の実視野からの光を透過する。換言すれば、コンバイナー６０は、少なくとも１面に自由曲面（３次元非球面）を備え、実視野となる外界像を透過するとともに、画像表示部５０の表示面５１に表示された情報（例えば、画像や文字）を光学的に虚像として実視野中の実像に重畳的に表示する半透過型光学素子である。
本実施形態において、コンバイナー６０は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部５０から入射した光を表面で反射させる反射面６１となる。
なお、上記コンバイナー６０としては、上述の半透過型光学素子のほか、例えば、ハーフミラー、ホログラム素子などを採用することも可能であり、目的に応じてこれらの1つを適宜選択して採用することが可能である。

コンバイナー６０は、図２に示すように、格納状態では、画像表示部５０の表示面５１と凹曲面状の反射面６１とが対向するように配置される。
使用状態では、図１に示すように、この反射面６１と表示面５１とが略対向し、かつ、筐体２０とともに略Ｚ字状を形成するように開かれ、図３に示すように、筐体２０の後端部側となる側面２２が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部５０の表示面５１に表示された情報の光は、開口部２１を通じて斜め前方へ向けて出射され、反射面６１によって筐体２０の後端部側へ向けて反射される。これにより、使用者には、コンバイナー６０の前方に、すなわち、使用者から見てコンバイナー６０よりも遠方に、画像表示部５０に表示された情報が虚像として視認される。

撮像装置４０は、コンバイナー６０を介した実視野中に存在する観察対象を検出する検出部として主に機能する。このため、撮像装置４０は、図３に示すように、上述した使用状態において、使用者の視線方向に広がるコンバイナー６０を介した実視野の風景を撮像可能な位置に設けられている。撮像装置４０は、使用状態において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部７３（図４参照）へ出力する。
撮像装置４０としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またＣＣＤ素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置４０として、デジタル式撮像装置が用いられている。

次に、上述した筐体２０に内蔵される電気的構成について、図４を参照して説明する。
図４は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図１乃至図３と同様の構成要素には、同一の符号を付している。
図４に示すように、筐体２０には、第１のデータベース７１、第２のデータベース７２、各種処理を実行する処理部７３、及び画像表示制御部７５などが内蔵されている。

第１のデータベース７１には、観察対象の画像が登録されている。なお、この観察対象の画像登録の詳細については、後述する。

第２のデータベース７２には、図５に示すように、観察対象の種別（例えば、犬、猫、観葉植物など）毎に、複数の挙動テーブル３００が対応付けられて格納されている。挙動テーブル３００は、挙動を示す各種パラメータの状態に応じて、観察対象の状態を表す表示内容がそれぞれ対応付けられたテーブルである。
例えば、観察対象が植物である場合は、葉の揺れる振幅に応じて、その状態を表現する表示内容が登録されている。具体的には、図６に示すように、「振幅」を数段階のレベルに分け、レベル毎に、植物の状態を表す表示内容が設定されている。例えば、風がほとんど吹いていない状況を示す「振幅：レベル１」には、「今日は静かだなぁ」などの表示内容が登録される。また、風が強く、木の幹や葉が大きく揺れている状況を示す「振幅：レベル５」には、「風が強くて大変だよー！」、「助けてー。」などの表示内容が登録される。
このように、「振幅」をパラメータとした挙動テーブルが登録されていることにより、風が当たることによる植物の状態や、落葉の状態などを解析することが可能となる。

また、例えば、観察対象が犬、猫、ハムスター、赤ん坊などの生物である場合は、観察対象の「動く速度」、「生物間の距離」などをパラメータとした挙動テーブルが登録される。
例えば、「動く速度」を数段階に分け、各速度レベルに応じて生物の状態を表す表示内容が設定されている。例えば、非常に早い速度で走っている状況を示す「速度：レベル５」には、「わくわく」、「楽しいなぁ」などの表示内容が登録される。また、とまっている状況を示す「速度：レベル１」には、「疲れた。」、「眠いなぁ」などの表示内容が登録される。

また、生物が２匹以上いる場合には、これら「生物間の距離」を数段階に分け、各距離レベルに応じて生物の状態を表す表示内容が設定されている。例えば、生物間の距離がほとんどなく、密接している状況を示す「距離：レベル１」には、例えば、「あったかいね。」「次は何しようか。」などの表示内容が登録される。また、距離が遠い状況を示す「距離：レベル５」には、例えば、「どこにいるの？」、「おーい」などの表示内容が登録される。

また、上記「動く速度」及び「生物間の距離」の２つのパラメータの状態を組み合わせることにより、より生物の状態を正確に示す表示内容を設定することが可能となる。例えば、２匹間の距離がある程度離れており、且つ、同方向に同じような速度で動いている場合には、追いかけっこをしている状況と判断できる。このような場合には、追いかけている生物に対して「まてー」、追いかけられている生物に対して「やだよー」などの表示内容を設定することも可能である。

処理部７３（図４参照）は、判定部７３１、挙動検出部７３２、及び状態解析部７３３を備えて構成されている。
例えば、処理部７３は、図示しないＣＰＵ（中央演算装置）、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成されている。上述の各部の機能を実現するための一連の処理手順は、プログラムの形式でＲＯＭ等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、上記判定部７３１、挙動検出部７３２、及び状態解析部７３３などの機能が実現される。
判定部７３１は、観察対象検出部として機能する撮像装置４０により取得された画像に基づいて、コンバイナー６０を介した実視野中に、観察対象が存在するか否かを判定する。

挙動検出部７３２は、撮像装置４０により取得された観察対象の画像に基づいて、観察対象の挙動を検出する。具体的には、挙動検出部７３２は、図５に示した挙動テーブルのパラメータに対応する挙動を検出する。
例えば、判定部７３１により検出された観察対象が植物であった場合には、撮像装置４０から逐次出力される観察対象の画像に基づいて、当該植物の葉が揺れる振幅や周期などを算出する。
また、判定部７３１により検出された観察対象が犬、猫、ハムスター、赤ん坊などの生物であった場合には、撮像装置４０から逐次出力される観察対象の画像に基づいて、観察対象の動く速度を算出するとともに、移動方向を検出する。更に、判定部７３１により複数の観察対象が検出された場合には、その観察対象の互いの距離を算出する。そして、この検出結果を状態解析部７３３に出力する。

状態解析部７３３は、挙動検出部７３２により検出された挙動に基づいて、観察対象の状態を解析し、その解析結果を画像表示制御部７５に出力する。本実施形態では、状態解析部７３３は、挙動検出部７３２から入力された各種パラメータに基づいて、第２のデータベース７２から該当する表示内容を抽出し（抽出手段）、抽出した表示内容を画像表示制御部７５へ出力する。
画像表示制御部７５は、処理部７３の状態解析部７３３から出力される表示内容を画像表示部５０に表示させる。これにより、画像表示部５０に表示された表示内容は、コンバイナー６０により、虚像として、実視野中の実像、つまり、観察対象に重畳されることとなる。

このように構成された本実施形態に係る情報端末装置１の作用について、以下に説明する。

〔初期登録について〕
以下、観察対象を登録するための初期登録処理について説明する。
初期登録においては、図３に示すように、例えば、使用者は、使用状態の情報端末装置１０の筐体２０の側部２２を側頭部に押し当てるように保持する。次に、コンバイナー６０を介した実視野中に、観察対象を確認できる状態において、筐体２０の側面に設けられた図示しないシャッタスイッチを押す。これにより、シャッタスイッチが押下された旨の電気信号が、筐体２０に内蔵されている処理部７３（図４参照）に入力される。
処理部７３は、シャッタスイッチが押下された旨の電気信号を取得すると、現時点において、撮像装置４０により撮像されている画像を取り込む。これにより、使用者の視線方向の風景、つまり、観察対象が存在する風景が撮像装置４０により撮像されて、画像として処理部７３に取り込まれる。

次に、処理部７３は、取り込まれた画像を画像表示制御部７５に出力することによって、画像表示部５０に表示させる。これにより、使用者に対して、取り込まれた画像を確認させることが可能となる。
使用者は、例えば、画像表示部５０の表示面５１を直接的に確認することにより、観察対象が画像として確実に取り込まれたかを確認すると、図示しない登録ボタンを押下する。これにより、登録ボタンが押下された旨の電気信号が処理部７３に入力される。処理部７３は、登録ボタンが押下された旨の電気信号を取得すると、先ほどの画像を第１のデータベース７１に書き込む。これにより、観察対象が登録されることとなる。そして、このような操作、処理を繰り返し行うことにより、様々な生物を観察対象として登録することが可能となる。

〔登録後について〕
次に、登録後における情報端末装置１の通常時における作用について、図７を参照して説明する。
まず、図３に示すように、使用状態にされた情報端末装置１が使用者の側頭部に保持された状態において、観察対象検出部として機能する撮像装置４０は、使用者の視野方向の風景を逐次撮像し、取得した画像を処理部７３に出力する。
処理部７３の判定部７３１は、撮像装置４０から画像を取得すると（図７のステップＳＡ１）、コンバイナー６０を介した実視野中に観察対象が存在するか否かを判定する（ステップＳＡ２）。
具体的には、判定部７３１は、撮像装置４０により取得された使用者の視線方向の風景画像と、第１のデータベース７１に登録されている各観察対象の画像とのパターンマッチングを行う。そして、撮像装置４０により取得された風景画像に、観察対象の画像とマッチングする輪郭が認識できた場合には、コンバイナー６０を介した実視野中にその観察対象が存在すると判定する。

実視野中に観察対象が存在すると判定した場合（ステップＳＡ２において「YES」）、判定部７３１は、挙動検出部７３２に検出した観察対象の情報を出力する。
挙動検出部７３３は、判定部７３２から入力された観察対象の情報に基づいて、その観察対象の挙動を撮像装置４０から逐次入力される画像に基づいて検出する（ステップＳＡ３）。例えば、観察対象として、２匹のハムスターが検出された場合には、挙動検出部７３３は、撮像装置４０から逐次出力される画像に基づいて、２匹のハムスターの移動方向、移動速度、及び両者間の距離を算出する。そして、これらの検出結果を状態解析部７３３に出力する。

状態解析部７３３は、挙動検出部７３２から入力された挙動に基づいて、観察対象の状態を解析し（ステップＳＡ４）、この状態に応じた表示内容を画像表示制御部７５に出力する（ステップＳＡ５）。具体的には、ハムスターに対応して登録されている挙動テーブル３００を第２のデータベース７２から取得し、取得したこの挙動テーブル３００を参照して、挙動検出部７３３から入力された各種パラメータに該当する表示内容を抽出する。本実施形態では、２匹のハムスターの移動方向、移動速度、及び両者間の距離をパラメータとし、これらのパラメータに一致する表示内容を第２のデータベース７２の挙動テーブル３００（図５参照）から抽出する。そして、状態解析部７３３は、抽出した表示内容を画像表示制御部７５へ出力する。

画像表示制御部７５は、処理部７３から入力された表示内容を画像表示部５０に表示させる。これにより、図８に示すように、ハムスターの状態を示す内容（ここでは、「まてー」と「やだよー」）が、コンバイナー６０により、実視野中に存在するハムスターに重畳的に表示されることとなる（ステップＳＡ６）。

以上説明してきたように、本実施形態に係る情報端末装置によれば、以下の効果を奏する。
第１に、動物や植物などの観察対象の状態は、コンバイナー６０により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。これにより、観察対象とその観察対象の状態との乖離を解消し、利用者に対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
第２に、観察対象の挙動に基づいて観察対象の状態が解析されるので、音を発しない生物についてもその状態を解析して、表示させることが可能となる。これにより、音を発しない生物の状態や感情についても利用者に提供することができる。

以上、本実施形態に係る情報端末装置について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態においては、撮像装置４０により取得された画像と予め登録されている観察対象の画像とをパターンマッチングすることにより、実視野中に観察対象が存在するか否かを判定していたが、このような態様に限らず、例えば、以下のような第１の他の態様、第２の他の態様などによっても判定を行うことが可能である。

第１の他の態様としては、例えば、撮像装置４０に代わって、方位情報測定部を備えるとともに、第１のデータベース７１には、観察対象の画像に代わって、観察対象の配置位置、例えば、緯度及び経度からなる位置情報を登録する。
そして、処理部７３が備える判定部７３１が、観察対象検出部として機能する上記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する。

第２の他の態様としては、例えば、観察対象に指向性の高い発信機を設置するとともに、情報端末装置１の使用時における筐体２０の前方（例えば、撮像装置４０が設置されている付近）に、受信機を設ける。そして、処理部７３の判定部７３１は、発信機から発せられた信号が受信機により受信されたか否かを判定することにより、観察対象が実視野中に存在するか否かを判定する。なお、この態様では、受信機が観察対象検出部として機能することとなる。
上述したような、第１の他の態様、第２の他の態様によれば、パターンマッチングなどの煩雑な処理を行うことなく、観察対象がコンバイナー６０を介した実視野内に存在するか否かの判定を容易に行うことが可能となる。
また、上記第２の他の態様のように、観察対象に指向性の高い発信機を設置した場合には、この発信機からの信号に基づいて、挙動検出部７３２が観察対象の挙動、例えば、観察対象の動く速度、観察対象間の距離などを検出するようにしても良い。なお、発信機からの信号に基づいて、動く速度や、観察対象間の距離を算出する手法については、周知の追跡機能などの技術を採用することにより実現可能である。

第２に、上述した実施形態では、観察対象の動く速度、観察対象間の距離などの挙動を検出していたが、例えば、顔の表情が豊かな生物、例えば、赤ん坊などの場合には、これらの顔の表情の変化（挙動）に応じて、その感情を表示するような構成としても良い。
この場合、平常時における顔の画像が予め情報端末装置１に登録されているとともに、この画像に観察対象の表情の動きを検出するために用いられる特徴点が予め設定されている。また、第２のデータベース７２には、これらの特徴点の変位と表示内容とが対応付けられた挙動テーブルが格納されている。
そして、上述した情報端末装置１の使用時において、挙動検出部７３２は、撮像装置４０から逐次入力される観察対象の顔の画像において、これら特徴点を抽出し、抽出した特徴点の位置と、予め登録されている平常時における特徴点の位置とを比較することにより、平常時に対する特徴点の変位を算出することにより、観察対象の挙動を検出する。例えば、特徴点の変位を算出することにより、目を瞑っている、目が開いている、目尻が下がっている、瞬きが激しいなどの様子を検出することが可能となる。
そして、状態解析部７３３が挙動検出部７３２により検出された挙動、つまり、特徴点の変位に対応付けられている表示内容を第２のデータベース７２から抽出し、これを画像表示制御部７５へ出力する。
これにより、観察対象の表情に応じた表示内容が虚像として利用者に提供されることとなる。

第３に、上述した実施形態においては、観察対象を観葉植物や動物（人間を含む）などとしたが、これに限られず、観察対象は、機械などのように、人工的に作成されたものでも良い。例えば、機械などであれば、機械の挙動などを取得することにより、その機械が正常に動作しているか否かなどを表示内容として使用者に提供することが可能である。

第４に、上述した実施形態においては、処理部７３が備える判定部７３１、挙動検出部７３２、状態解析部７３３などの各部の機能は、ソフトウェアによる処理を実行することにより実現させていたが、この構成例に限られず、アナログ回路などにより、これらの機能を実現するようにしても良い。

次に、本発明の状態表示システムの一実施形態について、図９を参照して説明する。
本実施形態に係る情報表示システムでは、図９に示すように、処理部７３が備える判定部７３１、挙動検出部７３２、及び状態解析部７３３、並びに、第１のデータベース７１、及び第２のデータベース７２を外部に設置されたサーバ２に設け、このサーバ２と情報端末装置１´とを備える状態表示システムを構築する。そして、情報端末装置１とサーバ２とが互いに通信を行うための通信部８０、８１を各々に設け、情報を送受することにより、上述の実施形態に係る情報端末装置１の作用並びに効果を実現させる構成としても良い。

この状態表示システムによれば、情報端末装置１において、観葉植物検出部として機能する撮像装置４０により撮像された画像は、処理部７３´により通信部８０を介してサーバ２へ送信される。この画像は、サーバ２の通信部８１により受信され、処理部７３に出力される。処理部７３の判定部７３１、挙動検出部７３２、状態解析部７３３は、情報端末装置１から送信されてくる画像などに基づいて、上述した処理（例えば、図８のステップＳＡ２からステップＳＡ５の処理）を実行する。この結果、状態解析部７３３により表示内容が抽出されると、この表示内容は、通信部８１を介して情報端末装置１に送信される。
この表示内容は、情報端末装置１の通信部８０を介して処理部７３´に入力され、処理部７３´から画像表示制御部７５に出力される。これにより、表示内容は、画像表示制御部７５により画像表示部５０に表示されることとなる。

以上、説明してきたように、本実施形態に係る状態表示システムによれば、上述した本発明の一実施形態に係る情報端末装置１が備えていた構成要素の一部をサーバ２に設けることにより、情報端末装置１の処理負担の軽減、筐体２０の省スペース化、軽量化などを図ることができる。

以上、本実施形態に係る状態表示システムについて図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態において、サーバ２が備える各構成要素や処理部７３が実現させる各種機能は、一例であり、これらの一部が情報端末装置１に備えられていても良い。例えば、判定部７３１、挙動検出部７３２、及び状態解析部７３３のうちの少なくとも１つが、情報端末装置１に備えられていても良い。

第２に、第１のデータベース７１又は第２のデータベース７２は、処理部７３、７３´が実現させる機能に応じて、サーバ２又は情報端末装置１に備えられていても良い。
第３に、上述した通信部８０、８１の間で行われるデータ通信の規格は、特に限定されるものではなく、例えば、ブルーツースなどの無線インターフェースにより直接的に行われても良い。また、各通信部及び通信装置間の通信経路についても適宜選択することができる。

本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。 本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。 図１に示した画像表示部、コンバイナーの作用を説明するための図である。 本発明の一実施形態に係る情報端末装置の電気的構成例を示すブロック図である。 図４に示した第２のデータベースに格納されている情報について説明するための図である。 図４に示した第２のデータベースに格納されている挙動テーブルの一例を示す図である。 本発明の一実施形態に係る情報端末装置の作用を示すフローチャートである。 実視野中に観察対象が存在した場合に、使用者により、コンバイナーを介して視認される画像の一例を示した図である。 本発明の一実施形態に係る状態表示システムの概略構成を示すブロック図である。

符号の説明

１ 情報端末装置
２ サーバ
２０ 筐体
３０ 表示装置
４０ 撮像装置
５０ 画像表示部
６０ コンバイナー
７１ 第１のデータベース
７２ 第２のデータベース
７３、７３´ 処理部
７５ 画像表示制御部
８０、８１ 通信部
７３１ 判定部
７３２ 挙動検出部
７３３ 状態解析部

Claims (12)

1. 画像表示部と、
   使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、
   前記半透過光学素子を介した実視野中に存在する観察対象を検出する観察対象検出部と、
   前記観察対象検出部で検出される前記観察対象の挙動を検出する挙動検出部と、
   前記挙動検出部によって検出された観察対象の挙動に基づいて、前記観察対象の状態を解析する状態解析部と、
   前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部と
   を備える情報端末装置。
2. 前記観察対象検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部を備え、
   前記挙動検出部が、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記観察対象の挙動を検出する請求項１に記載の情報端末装置。
3. 前記観察対象検出部が、前記実視野の方向を撮像する撮像部を備え、
   前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１又は請求項２に記載の情報端末装置。
4. 前記観察対象検出部が、前記観察対象に設けられた発信機から発せられる信号を受信する受信機を備え、
   前記判定部は、前記発信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１又は請求項２に記載の情報端末装置。
5. 前記観察対象検出部が、位置及び方向を特定する方位情報測定部を備え、
   前記判定部は、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１又は請求項２に記載の情報端末装置。
6. 前記挙動検出部が、
   前記観察対象を撮像する撮像部と、
   前記撮像部により取得された画像に基づいて、予め登録されている前記観察対象の特徴点を抽出する特徴点抽出部とを備え、
   前記特徴点抽出部により抽出された特徴点の変位に基づいて、前記観察対象の挙動を検出する請求項１又は請求項２又は請求項４又は請求項５に記載の情報端末装置。
7. 前記挙動検出部が、前記観察対象検出部が備える前記撮像部により取得された画像に基づいて、予め登録されている前記観察対象の特徴点を抽出する特徴点抽出部を備え、
   前記特徴点抽出部により抽出された特徴点の変位に基づいて、前記観察対象の挙動を検出する請求項３に記載の情報端末装置。
8. 前記挙動検出部が、前記観察対象に設けられている発信機からの信号を検出することにより、前記観察対象の挙動を検出する請求項１から請求項３のいずれかの項又は請求項５に記載の情報端末装置。
9. 前記挙動検出部は、前記観察対象検出部が備える受信機により受信された信号に基づいて、前記観察対象の挙動を検出する請求項４に記載の情報端末装置。
10. 前記状態解析部が、
    前記観察対象の挙動と状態とを対応付けて記憶するデータベースと、
    前記挙動検出部により取得された挙動に対応する前記観察対象の状態を前記データベースから抽出する状態抽出部と
    を具備する請求項１から請求項９のいずれかの項に記載の情報端末装置。
11. 前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記挙動検出部が起動する請求項２から請求項１０のいずれかの項に記載の情報端末装置。
12. 少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、
    前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する観察対象検出部と、
    前記観察対象検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
    前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記観察対象の挙動を検出する挙動検出部と、
    前記挙動検出部によって検出された観察対象の挙動に基づいて、前記観察対象の状態を解析する状態解析部とを備え、
    前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる状態表示システム。

Images