JP4564344B2 - 情報端末装置及び翻訳システム - Google Patents

Description

この発明は、植物、動物などの生物が発した音声からその生物の状態を解析し、その生物とともにその生物の状態を表示させる情報端末装置に関するものである。

従来、赤ん坊、ペット、又は家畜などの動物の感情を人間が理解できるように翻訳し、この翻訳内容を文字や音声によりユーザに通知する翻訳装置が知られている。
例えば、特開２００２−２７８５８３号公報（特許文献１）には、犬の鳴き方の違いによる犬の感情を音声又は画像として出力することにより、犬とのコミュニケーションを図ることのできる技術が開示されている。
上記特許文献１には、飼い犬の首輪に取り付けられた犬側ケースから送信された犬の鳴き声をユーザが保有する飼い主側ケースにて受信し、受信した犬の鳴き声に基づいて犬の感情を解析し、この犬の感情を文字や音声により飼い主へ伝える技術が開示されている。
特開２００２−２７８５８３号公報（第１−３頁、第１−４図）

しかしながら、上記特許文献１に示される技術によれば、犬の感情が、犬と乖離された状態で飼い主に通知されるため、犬の感情を把握しづらいという問題があった。

この発明は上述した事情に鑑みてなされたものであって、植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができる情報端末装置を提供することを目的とする。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、観察対象の音声を取得する音声取得部と、前記半透過光学素子を通して視認される実視野中に存在する前記観察対象を検出する検出部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。

上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、検出部により検出され、この検出結果に基づいて、実視野中に観察対象が存在するか否かが判定部により判定される。この結果、実視野中に観察対象が存在していた場合には、その観察対象が発した音声が音声取得部により取得され、取得された音声に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態は、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示される。これにより、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。

本発明の情報端末装置において、前記検出部が、前記実視野の方向を撮像する撮像部を備え、前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、実視野の方向の風景が撮像部により撮像され、撮像された風景の画像に、予め登録されている観察対象の画像情報、例えば、輪郭画像が含まれているか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。これにより、高い精度で、且つ、容易に判定を行うことが可能となる。

本発明の情報端末装置において、前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の送信機及び受信機を備え、前記判定部が、前記送信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、検出部が備える一対の発振器及び受信機は、一方が観察対象の近傍に設置され、他方が当該本体に設置される。そして、上記発振機から発せられた信号が、受信機により受信されたか否かが判定部により判定されることによって、観察対象が実視野中に存在するか否かが判定される。これにより、非常に容易に判定を行うことが可能となる。

本発明の情報端末装置において、前記検出部が、位置及び方向を特定する方位情報測定部を備え、前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。

上記構成によれば、実視野の位置及び方向が方位情報測定部により特定され、特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が属するか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。
これにより、植物などのように、一定の場所に固定されているような場合には、非常に容易に、且つ、高い精度で判定を行うことが可能となる。

本発明の情報端末装置において、前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させても良い。

上記構成によれば、観察対象が実視野に存在しない場合であって、音声取得部により観察対象の音声が取得された場合には、観察対象が実視野中に存在する場合とは異なる表示内容が画像表示制御部によって画像表示部に表示される。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、半透過光学素子により、何らかの内容が実視野中に虚像として重畳されて表示されるので、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となる。

本発明の情報端末装置において、前記状態解析部が、前記音声と観察対象の状態とが対応付けられたデータベースと、前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部とを備えていても良い。

上記構成によれば、データベースには、音声と観察対象の状態とが対応付けられて格納されている。そして、音声取得部により音声が取得された場合には、その取得された音声に対応する観察対象の状態が抽出部によりデータベースから抽出される。これにより、非常に容易に、且つ、速やかに生物の状態を解析することが可能となる。
例えば、植物や動物などの観察対象の状態は、音声の大小や周波数パターン等と、その状態とが対応付けられて、データベースに登録されている。

本発明の情報端末装置において、前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動しても良い。

上記構成によれば、実視野中に観察対象が存在する場合に限って、音声取得部が起動するので、電力の消費を抑えることが可能となる。なお、音声取得部だけでなく、状態解析部、画像表示部、半透過光学素子についても同様とすることにより、電力消費を更に抑えることが可能となる。

本発明は、少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備えり情報端末装置と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、前記観察対象の音声を取得する音声取得部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システムを提供する。

本発明の情報端末装置又は翻訳システムによれば、半透過光学素子を通して視認される実視野中に存在する観察対象に対して、その観察対象の状態を重畳的に表示させるので、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。

以下に、本発明にかかる情報端末装置の一実施形態について、〔第１の実施形態〕、〔第２の実施形態〕の順に、図面を参照して説明する。
〔第１の実施形態〕
図１及び図２は、本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。図１は、使用状態における外観斜視図、図２は格納状態における外観斜視図を示している。
図１、図２に示すように、本実施形態に係る情報端末装置１０は、後述する各種制御機構及び制御基板等を内蔵した筐体（本体）２０の外部に、表示装置３０及び撮像装置（撮像部）４０を備えている。
上記表示装置３０は、画像表示部５０及びコンバイナー６０を備えている。これら画像表示部５０及びコンバイナー６０は、格納状態で、筐体２０を貫通する開口部２１の空間部に収納され（図２参照）、それぞれが矩形状とした短辺側の一辺を筐体２０に軸支されて揺動による開閉動作が可能とされる。

画像表示部５０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイ（以下「表示面」という。）５１を備え、後述する画像表示制御部７５（図４参照）により選定された画像を表示面５１に表示する。この画像表示部５０は、例えば、筐体２０に軸支されている支持部材５２に固定され、その表示面５１は、後述するコンバイナー６０と格納状態で対向する面に、換言すれば、筐体２０の内側に向けられている。

コンバイナー６０は、画像表示部５０からの光、すなわち画像表示部５０の表示面５１に表示された情報の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すると、コンバイナー６０は、実視野となる外界像を透過するとともに、画像表示部５０の表示面５１に表示された情報（例えば、画像や文字）を光学的に虚像として、実視野中の実像に重畳的に表示する半透過型光学素子である。
このコンバイナー６０としては、例えば、少なくとも１面に自由曲面（３次元非球面）を有する光学素子、ハーフミラー、ホログラムなどが挙げられる。
本実施形態において、コンバイナー６０は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部５０から入射した光を表面で反射させる反射面６１となる。

コンバイナー６０は、図２に示すように、格納状態では、画像表示部５０の表示面５１と凹曲面状の反射面６１とが対向するように配置される。
使用状態では、図１に示すように、この反射面６１と表示面５１とが略対向し、かつ、筐体２０とともに略Ｚ字状を形成するように開かれ、図３に示すように、筐体２０の後端部側となる側面２２が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部５０の表示面５１に表示された情報の光は、開口部２１を通じて斜め前方へ向けて出射され、反射面６１によって筐体２０の後端部側へ向けて反射される。これにより、使用者には、コンバイナー６０の前方に、すなわち、使用者から見てコンバイナー６０よりも遠方に、画像表示部５０に表示された情報が虚像として視認される。

撮像装置４０は、コンバイナー６０を介した実視野中に存在する観察対象を検出する検出部として主に機能する。このため、撮像装置４０は、図３に示すように、上述した使用状態において、使用者の視線方向に広がるコンバイナー６０を介した実視野の風景を撮像可能な位置に設けられている。撮像装置４０は、使用状態において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部７２（図４参照）へ出力する。
撮像装置４０としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またＣＣＤ素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置４０として、デジタル式撮像装置が用いられている。

次に、上述した筐体２０に内蔵される電気的構成について、図４を参照して説明する。
図４は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図１乃至図３と同様の構成要素には、同一の符号を付している。
図４に示すように、筐体２０には、通信部７１、各種処理を実行する処理部７２、第１のデータベース７３、第２のデータベース７４、及び画像表示部７５などが内蔵されている。これら各部は、いずれも処理部７２と電気的に接続されている。
通信部７１は、外部に設置された通信装置１０１と通信を行うことにより、観察対象が発した音声信号を取得する音声取得部として、主に機能する。例えば、本実施形態において、図５に示すように、観察対象である観葉植物２００の近傍には、観察対象が発した音を検出するマイク１００、及びマイク１００に接続される通信装置１０１が設置されている。
ここで、マイク１００は、観察対象が発した音声を取得し、取得した音声を電気信号（以下、変換後の音声を「音声信号」という。）に変換して出力するものである。例えば、観察対象が植物であれば、その植物の幹或いは根元などに設置され、植物が水を吸い上げる音などを取得する。また、観察対象が犬などの動物である場合には、動物の首輪などに設置されることにより、動物の鳴き声などを取得する。
通信装置１０１は、マイク１００から出力された音声信号を通信部７１へ送信するものである。通信部１０１と通信部７１との間の通信は、例えば、無線により行われる。また、観察対象が複数存在する場合には、観察対象毎に通信チャネルを設定し、通信チャネル毎に音声信号を受信できるような構成にしても良い。
通信部７１は、通信装置１０１から受信した音声信号を処理部７２に出力する。

処理部７２は、撮像装置４０により取得された画像に基づいて、コンバイナー６０を介した実視野中に、観察対象が存在するか否かを判定する判定機能（判定部）、通信部７１から入力された音声信号に基づいて、観察対象の状態を解析する状態解析機能（状態解析部）などの各種機能を実現させる。例えば、処理部７２は、図示しないＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されている。上述の各種機能を実現するための一連の処理手順は、プログラムの形式でＲＯＭ等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、上記各種機能が実現される。

処理部７２は、第１のデータベース７３を参照することにより、上記判定機能を実現させる。第１のデータベース７３には、観察対象の画像が登録されている。なお、この観察対象の画像登録の詳細については、後述する。

また、処理部７２は、第２のデータベース７４を参照することにより、上記状態解析機能を実現させる。
第２のデータベース７４には、図６に示すように、観察対象の種別（例えば、犬、猫、観葉植物など）毎に、複数の音声テーブル３００が対応付けられて格納されている。音声テーブル３００は、音声信号の各種パラメータの状態に応じて、観察対象の状態を表す表示内容がそれぞれ対応付けられたテーブルである。
例えば、観察対象が植物である場合は、水を吸い上げる音が大きいほど、水やりが十分なされており、植物が水分を多く吸い上げている状態であると判断できる。この音量の大小は、音声信号の振幅により判断できる。従って、「振幅」をパラメータにした音声テーブルが第２のデータベース７４に登録されている。

この音声テーブルには、図７に示すように、「振幅」を数段階のレベルに分け、レベル毎に、植物の状態を表す表示内容が設定されている。例えば、「振幅」が最小レベルである「レベル１」には、水分の吸い上げが行われていない状態にあるため、「のどがかわいたようー！」、「水がほしいなあ。」などの表示内容が登録される。また、「振幅」が最大レベルである「レベル５」には、「水を飲みすぎちゃった。」、「もう飲めないよ」などの表示内容が登録されている。

また、音声信号の周波数パターンなどにより、植物の状態をより詳細に解析することが可能となる。例えば、風により葉がそよいでいるときの音声信号の周波数パターンや、落葉の周波数パターンなどに対応して、それぞれ表示内容が設定された音声テーブルを登録する。例えば、図８に示すように、風が強く、木の幹や葉が大きく揺れている場合の周波数パターン、例えば、「周波数パターン５」には、「風が強くて大変だよー！」、「助けてー。」などの表示内容が登録され、葉が適度に当たっている状態での周波数パターン、例えば、「周波数パターン１」には、「風が気持ちいいよ。」などの表示内容が登録される。
このように、周波数パターンをパラメータとした音声テーブルが登録されていることにより、風が当たることによる植物の状態や、落葉の状態などを解析することが可能となる。
また、猫や犬、或いはその他の種別などにおいても、観察対象となる生物などが発する音に着目した音声テーブルが第２のデータベース７４（図４参照）にそれぞれ格納されている。

画像表示制御部７５は、処理部７２から出力される表示内容を画像表示部５０に表示させる。これにより、画像表示部５０に表示された表示内容は、図１に示すコンバイナー６０により、虚像として、実視野中の実像に重畳されることとなる。

このように構成された本実施形態に係る情報端末装置１の作用について、以下に説明する。なお、以下においては、一例として、図５に示すように、観葉植物２００を観察対象とする場合について説明する。

〔初期登録について〕
以下、観葉植物２００を観察対象として登録するための初期登録処理について説明する。
初期登録においては、図５に示すように、例えば、使用者は、使用状態の情報端末装置１０の筐体２０の側部２２を側頭部に押し当てるように保持する。次に、コンバイナー６０を介した実視野中に、観葉植物２００を確認できる状態において、筐体２０の側面に設けられた図示しないシャッタスイッチを押す。これにより、シャッタスイッチが押下された旨の電気信号が、筐体２０に内蔵されている処理部７２（図５参照）に入力される。
処理部７２は、シャッタスイッチが押下された旨の電気信号を取得すると、現時点において、撮像装置４０により撮像されている画像を取り込む。これにより、使用者の視線方向の風景、つまり、観葉植物２００が存在する風景が撮像装置４０により撮像されて、画像として処理部７２に取り込まれる。

次に、処理部７２は、取り込まれた画像を画像表示制御部７５に出力することによって、画像表示部５０に表示させる。これにより、使用者に対して、取り込まれた画像を確認させることが可能となる。
使用者は、例えば、画像表示部５０の表示面５１を直接的に確認することにより、観察対象とした観葉植物２００が画像として確実に取り込まれたかを確認すると、図示しない登録ボタンを押下する。これにより、登録ボタンが押下された旨の電気信号が処理部７２に入力される。処理部７２は、登録ボタンが押下された旨の電気信号を取得すると、先ほどの画像を第１のデータベース７３に書き込む。これにより、当該観葉植物２００が観察対象として登録されることとなる。

〔登録後について〕
次に、登録後における情報端末装置１０の通常時における作用について、図９を参照して説明する。
図５に示すように、使用状態にされた情報端末装置１０が使用者の側頭部に保持された状態において、撮像装置４０は、使用者の視野方向の風景を撮像し、取得した画像を処理部７２に出力する。
処理部７２は、撮像装置４０から画像を取得すると（図９のステップＳＡ１）、コンバイナー６０を介した実視野中に観察対象、つまり観葉植物２００が存在するか否かを判定する（ステップＳＡ２；判定機能）。
具体的には、撮像装置４０により取得された使用者の視線方向の風景画像と、第１のデータベース７３に登録されている観葉植物２００の画像とのパターンマッチングを行う。そして、撮像装置４０により取得された風景画像に、観葉植物２００の画像とマッチングする輪郭が認識できた場合には、コンバイナー６０を介した実視野中に観葉植物２００が存在すると判定する。

実視野中に観葉植物２００が存在すると判定した場合（ステップＳＡ２において「YES」）、処理部７２は、通信部７１を起動させる（ステップＳＡ３）。これにより、通信部７１は、外部に設置された通信装置１０１との通信が可能となる。この状態において、観葉植物２００が発する音声、例えば、水を吸い上げる音や風に葉がそよぐ音が、観葉植物２００に設置されているマイク１００により取得され、電気信号へ変換される。電気信号に変換された音声信号は、マイク１００から通信装置１０１へ出力され、通信装置１０１により、通信部７１へ送信される。
通信部７１は、通信装置１０１から音声信号を受信すると、受信した音声信号を処理部７２へ出力する。処理部７２は、通信部７１から音声信号を取得すると（ステップＳＡ４）、この音声信号に基づいて、観察対象の状態を解析し（ステップＳＡ５）、その解析結果に応じた表示内容を抽出して（ステップＳＡ６）、これを画像表示制御部７５へ出力する（ステップＳＡ７）。なお、上記ステップＳＡ４からステップＳＡ７の処理においては、処理部７１が予め保有している状態解析プログラムを実行することにより実現される。

より具体的には、処理部７２は、通信部７１から入力された音声信号について、各種パラメータ（振幅、周波数パターンなど）を解析する。続いて、第２のデータベース７４内に格納されている植物に対応する複数の音声テーブルを参照することにより、上記音声信号に対応する表示内容を音声テーブル３００（図６乃至図８参照）から抽出する。
例えば、音声信号の振幅を解析し（例えば、平均値を算出する）、解析した振幅のレベルに応じた表示内容を「振幅」をパラメータとした音声テーブルから抽出する。また、音声信号の周波数パターンを解析し、解析した周波数パターンに該当する表示内容を「周波数パターン」をパラメータとして音声テーブルから抽出する。
このようにして、音声信号に対応する表示内容を抽出すると、この抽出した表示内容を画像表示制御部７５へ出力する。
画像表示制御部７５は、処理部７２から入力された表示内容を画像表示部５０に表示させる。これにより、図１０に示すように、観葉植物２００の状態を示す内容５００が、コンバイナー６０により、実視野中に存在する観葉植物２００に重畳的に表示されることとなる。

以上説明してきたように、本実施形態に係る情報端末装置によれば、動物や植物などの観察対象の状態は、コンバイナー６０により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。これにより、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る情報端末装置について説明する。なお、機械的な構造及び電気的な構造は、第１の実施形態に係る情報端末装置１０と同様である。
本実施形態においては、処理部７２が行う処理の内容が上述した第１の実施形態におけるものとは異なる。つまり、上述した第１の実施形態においては、実視野中に観葉植物２００が存在する場合に限って、通信部７１を起動させ、音声信号を取得することにより、観葉植物２００の状態に応じた内容を虚像として投影させていた。
本実施形態では、観葉植物２００が実視野中に存在するか否かに拘わらず、常に、通信部７１を起動させておき、観葉植物２００が発した音声信号を受信可能な状態とする。
更に、第２のデータベース７４には、実視野中に観葉植物２００が存在する場合と存在しない場合とに分けて、それぞれ音声テーブルを登録する。これにより、実視野中に観葉植物２００が存在しない場合であっても、観葉植物の状態に応じた所定の表示内容を画像表示部５０に表示可能な構成とする。このように、実視野中に観葉植物２００が存在する場合と存在しない場合とに応じて、音声テーブルをそれぞれ設け、表示内容を異ならせることにより、違和感のない内容を使用者に対して提供することができる。

例えば、観葉植物２００が実視野中に存在しない場合には、客観的に観葉植物の状態を示す内容を表示するようにする。例えば、観葉植物２００が実視野中に存在する場合では、「水がほしいよ。」と表示されるような場合において、観葉植物２００が実視野中に存在しない場合には、「観葉植物が呼んでいます。」などの表示内容を表示するような構成とする。

以上説明してきたように、本実施形態に係る情報端末装置によれば、観察対象が実視野に存在しない場合であって、通信部７１を介して音声信号が処理部７２に入力された場合には、観察対象が実視野中に存在する場合とは異なる表示内容を画像表示部５０に表示させる。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、コンバイナー６０により、音声に応じた内容が実視野中に虚像として重畳されて表示されることとなる。
これにより、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となるとともに、特に、観葉植物２００などの観察対象が好ましくない状態にある場合に、使用者に注意を促すことができるので、観葉植物２００の状態を良好に保つことが可能となる。

以上、本実施形態に係る情報端末装置について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態においては、撮像装置４０により取得された画像と予め登録されている観察対象の画像とをパターンマッチングすることにより、実視野中に観察対象が存在するか否かを判定していたが、このような態様に限らず、例えば、以下のような第１の他の態様、第２の他の態様などによっても判定を行うことが可能である。

第１の他の態様としては、例えば、撮像装置４０に代わって、位置及び方向を特定する方位情報測定部を備えるとともに、第１のデータベース７３には、観察対象の画像に代わって、観察対象の配置位置、例えば、緯度及び経度からなる位置情報を登録する。
そして、処理部が備える判定機能において、方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象の配置位置が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する。

第２の他の態様としては、例えば、観察対象の近傍に指向性の高い発振器を設置するとともに、情報端末装置１０の使用時における筐体２０の前方（例えば、撮像装置４０が設置されている付近）に、受信機を設ける。そして、処理部が備える判定機能において、発振器から発せられた信号が、受信機により受信されたか否かを判定することにより、観察対象が実視野中に存在するか否かを判定する。
上述したような、第１の他の態様、第２の他の態様によれば、パターンマッチングなどの煩雑な処理を行うことなく、判定を行うことが可能となる。

第２に、上述した実施形態においては、通信部７１は、通信装置１０１から受信した音声信号をそのままの状態で処理部７２に出力していたが、例えば、通信部７１が音声信号から雑音などを除去するためのフィルタを備えており、フィルタによってノイズが除去された後の音声信号を処理部７２に出力するような構成としても良い。
更に、観察対象が発する音声を直接的に取得するマイク１００に加えて、周囲の音声を取得する第２のマイクを観察対象の近傍に配置し、マイク１００により取得された音声信号と第２のマイクにより取得された音声信号との差分を最終的な音声信号として使用するようにしても良い。このように、音声信号の差分を用いることにより、マイク１００により取得された音声信号から雑音を除去することが可能となるので、より正確な音声信号に基づいて、観察対象の状態を解析することが可能となる。

第３に、上述した実施形態においては、通信部７１がマイク１００に接続された通信装置１０１から音声信号を受信することにより、観察対象が発した音声を取得していた。つまり、上述した実施形態では、通信部７１が、音声を取得する音声取得部として機能している。
これに代わって、例えば、音声取得部をマイクにより構成することにより、図５に示したように、マイク１００、通信装置１０１を介すことなく、情報端末装置が備えるマイクなどの音声取得部により、直接的に音声を取得するような構成としても良い。

第４に、上述した実施形態においては、観察対象を観葉植物としたが、これに限られず、動物などの生物であっても良い。また、生物に限られることなく、観察対象は、機械などのように、人工的に作成されたものでも良い。例えば、機械などであれば、動作の音などを取得することにより、その機械が正常に動作しているか否かなどを表示内容として使用者に提供することが可能である。
第５に、上述した実施形態においては、処理部７２がソフトウェアによる処理を実行することにより、判定機能、状態解析機能を実現させていたが、この構成例に限られず、アナログ回路などにより、判定機能、状態解析機能を実現するようにしても良い。

次に、本発明にかかる翻訳システムの一実施形態について、図面を参照して説明する。
図１１は、本実施形態に係る翻訳システムの電気的構成の概略を示したブロック図である。この図において、図４と同様の構成要素には、同一の符号を付し、詳細な説明を省略する。

図１１に示すように、翻訳システムは、情報端末装置１、サーバ２、及び観察対象に配置される音声取得装置３を備えて構成されている。
上記情報端末装置１は、機械構造的には、図１に示した第1の実施形態に係る情報端末装置１０と同じであるが、筐体２０に内蔵されている電気的構成要素が異なっている。
具体的には、情報端末装置１は、撮像装置４０、画像表示部５０、半透過型光学素子６０、通信部７１、画像表示制御部７５、及び処理部７２１を備えている。

サーバ２は、通信部６、処理部７２２、第１のデータベース７３、及び第2のデータベース７４を備えている。
音声取得装置３は、マイク１００、通信装置１０１を備えている。

以下、上記構成からなる翻訳システムの作用について、簡単に説明する。なお、以下の説明において、観葉植物２００（図５参照）を観察対象とする。
まず、撮像装置４０は、使用者の視野方向の風景を撮像し、取得した画像を処理部７２１に出力する。処理部７２１は、撮像装置４０から入力された画像を通信部７１を介してサーバ２へ送信する。
情報端末装置１から送信された画像は、サーバ２内の通信部６により受信され、処理部７２２に出力される。処理部７２２は、通信部６を介して当該画像を取得すると、この画像と、第１のデータベース７３に登録されている観葉植物２００の画像とのパターンマッチングを行い、コンバイナー６０を介した実視野中に観葉植物２００が存在するか否かを判定する。

この結果、実視野中に観察植物２００が存在すると判定した場合には、処理部７２２は、観葉植物２００の音声信号を音声取得装置３から通信部６を介して取得する。処理部７２２は、通信部６を介して取得した観葉植物２００の音声信号に基づいて観葉植物２００の状態を解析し、この解析結果に応じた表示内容を第２のデータベース７４から抽出する。そして、抽出した表示内容を通信部６を介して情報端末装置１へ送信する。

サーバ２から送信された表示内容は、情報端末装置１の通信部７１により受信され、処理部７２１に出力される。処理部７２１は、取得した表示内容を画像表示制御部７５に出力する。画像表示制御部７５は、処理部７２１から入力された表示内容を画像表示部５０に表示させる。これにより、例えば、図１０に示したように、観葉植物２００の状態を示す内容５００が、コンバイナー６０により、実視野中に存在する慣用直物２００に重畳的に表示されることとなる。

以上、説明してきたように、本実施形態に係る翻訳システムによれば、上述した本発明の第１の実施形態に係る情報端末装置１０が備えていた構成要素の一部をサーバ２に設けることにより、情報端末装置１０の処理負担の軽減、筐体２０の省スペース化、軽量化などを図ることができる。

以上、本実施形態に係る翻訳システムについて図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第１に、上述した実施形態において、サーバ２が備える各構成要素や処理部７２２が実現させる各種機能は、一例であり、これらの一部が情報端末装置１に備えられていても良い。例えば、コンバイナー６０を介した実視野中に観察対象が存在するか否かを判定する判定機能、及び、観察対象が発した音声信号に基づいて観察対象の状態を解析し、この解析結果に応じ他表意内容を第２のデータベース７４から抽出する状態解析機能、又は、これらのいずれか一方が、情報端末装置１に備えられていても良い。

第２に、第１のデータベース７３又は第2のデータベース７４は、処理部７２１及び７２２が実現させる機能に応じて、情報端末装置１に備えられていても良い。また、音声取得部３は、情報端末装置１に備えられていても良い。
第３に、上述した通信部７１、通信部６、及び通信装置１０１の間で行われるデータ通信の規格は、特に限定されるものではなく、例えば、ブルーツースなどの無線インターフェースにより直接的に行われても良い。また、各通信部及び通信装置間の通信経路についても適宜選択することができる。

本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。 本発明の第１の実施形態に係る情報端末装置の構成例を示す外観斜視図である。 図１に示した画像表示部、コンバイナーの作用を説明するための図である。 本発明の第１の実施形態に係る情報端末装置の電気的構成例を示すブロック図である。 図１に示した情報端末装置の使用時の状態を示す斜視図である。 図４に示した第２のデータベースに格納されている情報について説明するための図である。 図４に示した第２のデータベースに格納されている音声テーブルの一例を示す図である。 図４に示した第２のデータベースに格納されている音声テーブルの一例を示す図である。 本発明の第１の実施形態に係る情報端末装置の作用を示すフローチャートである。 実視野中に観察対象が存在した場合に、使用者により、コンバイナーを介して視認される画像の一例を示した図である。 本発明の一実施形態に係る翻訳システムの概略構成を示すブロック図である。

符号の説明

１、１０ 情報端末装置
２ サーバ
３ 音声取得装置
２０ 筐体
３０ 表示装置
４０ 撮像装置
５０ 画像表示部
６０ コンバイナー
６、７１ 通信部
７２、７２１、７２２ 処理部
７３ 第１のデータベース
７４ 第２のデータベース
７５ 画像表示制御部
１００ マイク
１０１ 通信装置

Claims (8)

1. 画像表示部と、
   使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、
   観察対象の音声を取得する音声取得部と、
   前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
   前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
   前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、
   前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部と
   を備える情報端末装置。
2. 前記検出部が、前記実視野の方向を撮像する撮像部を備え、
   前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。
3. 前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の発振器及び受信機を備え、
   前記判定部が、前記発振器から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。
4. 前記検出部が、位置及び方向を特定する方位情報測定部を備え、
   前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項１に記載の情報端末装置。
5. 前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させる請求項１から請求項４のいずれかの項に記載の情報端末装置。
6. 前記状態解析部が、
   前記音声と観察対象の状態とが対応付けられたデータベースと、
   前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部と
   を具備する請求項１から請求項５のいずれかの項に記載の情報端末装置。
7. 前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動する請求項１から請求項４のいずれかの項に記載の情報端末装置。
8. 少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、
   前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
   前記観察対象の音声を取得する音声取得部と、
   前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
   前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、
   前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システム。

Images