JPWO2014192103A1 - 情報表示装置 - Google Patents

Abstract

この発明は、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる情報表示装置を提供するために、利用者の視界に対応する画像を入力する画像入力部１と、利用者の視界内における視線の位置を表す注視点を検知する視線検知部２と、画像入力部１から入力された画像から、視線検知部２で検知された注視点を含む物体の画像内における領域を第１の領域として抽出する物体認識部３と、物体認識部３で抽出された第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部５と、表示位置決定部５で決定された表示位置に、利用者に提示する情報を表示する情報表示部６とを備えている。

Description

この発明は、実世界の画像または映像に、利用者に提供する情報を重畳して表示する情報表示装置に関するものである。

近年、人間が知覚する実世界に対し、コンピュータによって情報の追加や強調を行うことにより、人間を取り巻く実世界を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が用いられるようになってきている。このＡＲ技術を用いた機器として、例えば、Ｇｏｏｇｌｅ（登録商標）社が進めているＧｏｏｇｌｅグラスのような、カメラと小型の表示装置を備えたデバイスが知られている。

このＡＲ技術を用いたデバイスは、人間が直接に見ている視界またはカメラで捉えた現実の映像などの中に、視界の中のオブジェクトまたは目に捉えることができないオブジェクトなどに対する情報をコンピュータで生成して提示し、これにより人間の知覚を支援する。

このような技術として、例えば、特許文献１は、劇場内で視界内に登場する人物に関する情報を、映像に重畳して表示することにより利用者に対して登場人物を理解しやすくする技術を開示している。この技術では、視界内の画像を象限に区切り、各象限内で人物を検出できるかどうかによって情報表示が可能かどうかを判断し、人物が検出されない領域に情報を表示する。

しかしながら、この特許文献１に開示された技術のように、利用者に提示する情報を現実の空間にそのまま重畳して視界内に表示すると、利用者の視界を遮る場合があり、利用者の視界が妨げられるという問題がある。この問題を解消するために、非特許文献１は、「拡張現実感環境のための視線計測による周辺視野領域情報提示手法」を開示している。この周辺視野領域情報提示手法では、視線認識装置を用いて利用者の注視点を検知し、その検知した注視点の周辺を中心視野、その外側の領域を周辺視野とし、周辺視野に情報の提示を行うことにより利用者の視界が妨げられることを防いでいる。

特開２０１２−１０８７９３号公報

「拡張現実感環境のための視線計測による周辺視野領域情報提示手法」、石黒祥生、暦本純一、情報処理学会論文誌、Ｖｏｌ．５３ Ｎｏ．４、ｐｐ１３２８−１３３７（Ａｐｒ．２０１２） 「色の類似性に基づいた形状特徴量CS-HOGの提案」、後藤 雄飛，山内 悠嗣，藤吉 弘亘、画像センシングシンポジウム(SSII2012)，IS3-04，2012．

上述したように、非特許文献１に開示された周辺視野領域情報提示手法では、視線認識装置を用いて視界を中心視野と周辺視野に分割し、周辺視野に情報の提示を行うことにより利用者の視界が妨げられることを防いでいる。しかしながら、利用者が見ているオブジェクトの形状によっては、そのオブジェクトが周辺視野に入ってしまい、利用者が見ているものが、提示された情報によって遮られてしまう場合がある。

この発明は、このような問題を解決するためになされたものであり、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる情報表示装置を提供することを課題とする。

この発明に係る情報表示装置では、上記課題を解決するために、利用者の視界に対応する画像を入力する画像入力部と、利用者の視界内における視線の位置を表す注視点を検知する視線検知部と、画像入力部から入力された画像から、視線検知部で検知された注視点を含む物体の画像内における領域を第１の領域として抽出する物体認識部と、物体認識部で抽出された第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部と、表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部とを備えることを特徴とする。

この発明に係る情報表示装置によれば、視界内の利用者の視線があたっていない領域に情報を表示するので、利用者が見ているものを遮ることなく、利用者に提供する情報を表示できる。

この発明の実施の形態１に係る情報表示装置を示す図である。 この発明の実施の形態１に係る情報表示装置の動作を示すフローチャートである。 この発明の実施の形態１に係る情報表示装置で使用される注視点を説明するための図である。 この発明の実施の形態１に係る情報表示装置において物体が存在する領域を抽出する様子を示す図である。 この発明の実施の形態１に係る情報表示装置において情報を表示する領域を決定する様子を説明するための図である。 この発明の実施の形態１に係る情報表示装置を運転席に適用した場合のイメージを示す図である。 この発明の実施の形態２に係る情報表示装置において情報の表示位置を決定する動作を説明するための図である。 この発明の実施の形態２の変形例に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態２の変形例に係る情報表示装置において情報の表示位置を決定する動作を説明するための図である。 この発明の実施の形態３に係る情報表示装置の動作を説明するための図である。 この発明の実施の形態５に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態６に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態７に係る情報表示装置の構成を示すブロック図である。 この発明の実施の形態７に係る情報表示装置の動作を説明するための図である。

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る情報表示装置を示す図であり、図１（ａ）は情報表示装置の電気的な構成を示すブロック図、図１（ｂ）は、情報表示装置を眼鏡に適用した場合の構造のイメージを示す図である。情報表示装置は、画像入力部１、視線検知部２、物体認識部３、タイマ４、表示位置決定部５および情報表示部６を備えている。

画像入力部１は、例えばカメラによって構成されており、利用者の視界を撮影することにより得られた視界に対応する画像を入力する。この画像入力部１で入力された画像は、物体認識部３に送られる。

視線検知部２は、利用者が視界内のどの部分を見ているのかを示す視線を検知する。この視線検知部２によって検知された視線の視界内の位置（注視点）は、物体認識部３に送られる。

物体認識部３（物体抽出部３）は、画像入力部１から送られてきた画像から、視線検知部２から送られてきた注視点を含む物体を認識して抽出する。つまり、物体認識部３は、注視点を含む物体の画像内における領域（第１の領域）を抽出する。この物体認識部３は、例えば、輪郭抽出を行って物体の形状や領域を認識する。この物体認識部３で認識して抽出された物体を表す情報は、表示位置決定部５に送られる。なお、画像から領域を抽出する画像処理、例えば画像からの物体検出に関しては非特許文献２に示すような既存の技術を用いることができる。

タイマ４は、一定時間、例えば数秒を計測する。このタイマ４は、表示位置決定部５からの指示により始動され、設定された時間が経過すると、その旨を表示位置決定部５に通知し、その後に停止する。

表示位置決定部５は、物体認識部３からの情報に基づき、表示位置、つまり視界内のどの領域に情報を表示するのかを決定する。この表示位置決定部５によって決定された表示位置を示す情報は情報表示部６に送られる。この際、表示位置決定部５は、タイマ４を始動させ、このタイマ４から一定時間が経過した旨の通知を受け取るまで表示位置を示す情報を固定する。つまり、表示位置決定部５は、一定時間が経過した旨の通知をタイマ４から受け取るまで表示位置を変化させないよう情報表示部６に通知する。

表示位置を示す情報を固定して情報表示を一定時間維持するのは次の理由による。すなわち、視線検知部２からの注視点に基づいて情報の表示位置が決定される場合、視線が移動すると情報の表示位置も変化してしまう。この状況では、利用者は表示された情報を見ることができない場合がある。そこで、一旦情報を表示すると、表示位置決定部５においてタイマ４を始動させ、一定時間は表示した情報の表示位置を変更しないようにしている。これにより、利用者の視線が移動した場合であっても、一定時間は情報の表示位置が固定されるので、利用者は提示された情報をより確実に確認することができるようになる。

情報表示部６は、表示位置決定部５から送られてきた情報によって示された表示位置に情報を表示する。この情報表示部６では、例えば、眼鏡のレンズ部をスクリーンとして視界内に情報が投影される。

次に、上記のように構成される実施の形態１に係る情報表示装置の動作を説明する。図２は、利用者に提供する情報を視界内に表示する場合の情報表示装置の動作を示すフローチャートである。処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。すなわち、視線検知部２は、視界内の利用者が見ている箇所（注視点）を検知する。図３は、視界内の左下の自動車に対して注視点が置かれている例を示している。この視線検知部２で検知された注視点は、例えば画像内における座標値（ｘ，ｙ）として物体認識部３に送られる。

次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。すなわち、物体認識部３は、画像入力部１から送られてきた画像の中から、視線検知部２から送られてきた注視点の位置情報の一例である座標値（ｘ，ｙ）が含まれる領域を、利用者が見ている物体として認識し、図４に破線で示すように、その物体が存在する領域を抽出する。つまり、物体認識部３は、注視点を含む物体の画像内における領域を抽出する。これにより、物体の領域を表す情報、例えば領域の輪郭を示す点列（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）が得られる。この物体の領域を表す情報は、表示位置決定部５に送られる。

次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域（第１の領域）とは異なる領域（第２の領域）に対応する視界内の位置に表示するように表示位置が決定される。利用者が見ていない領域の中の、どの部分を情報の表示に使用するかという決定には様々なアルゴリズムを用いることができるが、例えば、簡易的に下記のような方法を用いることができる。なお、利用者が見ている領域とは異なる領域には、利用者の見ている物体を表示情報により阻害しない程度であれば、利用者が見ている領域が一部含まれてもよい。

すなわち、領域の輪郭を示す点列データから、ｘ，ｙの最大値および最小値を求め、それらをｘ_ｍａｘ，ｙ_ｍａｘ，ｘ_ｍｉｎ，ｙ_ｍｉｎとすると、領域を取り囲む矩形領域が、図５（ａ）に示すように、（ｘ_ｍｉｎ，ｙ_ｍｉｎ）−（ｘ_ｍａｘ，ｙ_ｍｉｎ）−（ｘ_ｍａｘ，ｙ_ｍａｘ）−（ｘ_ｍｉｎ，ｙ_ｍａｘ）と定まる。したがって、矩形の上下左右の領域のうち、もっとも面積の大きな領域を表示領域とする。

図５（ａ）に示すように、視界のサイズを横Ｘｗ、縦Ｙｈとした場合に、各領域の面積は下式で表すことができる。表示位置決定部５は、これらの式を用いて面積を求め、最も大きい領域を表示領域として選択し、その選択した領域の情報を表示位置として情報表示部６に送る。
上領域：Ｘ_ｗ・ｙ_ｍｉｎ
下領域：Ｘ_ｗ・（Ｙ_ｈ−ｙ_ｍａｘ）
左領域：ｘ_ｍｉｎ・Ｙ_ｈ
右領域：（Ｘ_ｗ−ｘ_ｍａｘ）・Ｙ_ｈ

次いで、情報が表示される（ステップＳＴ１４）。すなわち、情報表示部６は、図５（ｂ）に示すように、表示位置決定部５から送られてきた表示位置に情報を表示する。なお、表示される情報のサイズなどにより、その表示位置で表示が難しい場合は、情報表示部６は、表示位置をずらすなどの処理を行った後に表示を行うように構成できる。

以上説明したように、実施の形態１に係る情報表示装置によれば、物体認識部３で抽出した画像内における物体の領域（第１の領域）についての情報に基づいて、視界内の利用者の視線があたっていない位置に情報を表示するように構成したので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。

なお、上述した例では、情報表示装置を眼鏡に適用した場合について説明したが、図６に示すように、例えば自動車の運転席に適用することもできる。この場合、インパネ部分に、運転者の視線を捉える視線検知部２を設置し、画像入力部（カメラ）１は運転者の視界を撮影できるように外側に設置し、情報表示部６はフロントスクリーンに情報を表示するヘッドアップディスプレイにより構成する。この構成により、運転者は、周囲の状況に応じた情報の提示を受けることができる。

実施の形態２．
この発明の実施の形態２に係る情報表示装置は、利用者に提示する情報の表示位置の決定を、実施の形態１に較べて、簡略化したものである。この情報表示装置の構成は、表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。

この実施の形態２に係る情報表示装置の表示位置決定部５は、利用者が見ていない視界内の領域の中の、どの部分を情報の表示に使用するかを決定するアルゴリズムが実施の形態１のそれと異なる。すなわち、実施の形態１では、表示位置決定部５は、物体認識部３で認識された物体の上下左右の領域のうち最も大きい領域を情報の表示位置に決定するが、この実施の形態２では、物体認識部３で認識された物体に対して、視界の中央の反対側の遠い位置に、利用者に提示する情報を表示するように表示位置が決定される。つまり、表示位置決定部５は、視界に対応する画像内の中央に対して、利用者が見ている領域とは反対側の領域に対応する視界内の位置を表示位置として決定する。

次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１３の表示位置決定処理の内容を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。

処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、利用者に提示する情報を、図７に示すように、ステップＳＴ１２で物体認識部３によって抽出された物体に対して、視界の中央の反対側、つまり利用者が見ている領域から遠い位置に表示するべく表示位置を決定する。換言すれば、物体から視界の中央を通り最も遠い位置Ｐ１を基点とする領域を表示位置に決定する。その後、情報が表示される（ステップＳＴ１４）。

以上説明したように、実施の形態２に係る情報表示装置によれば、図７に示すように、利用者が見ている物体から最も遠いところに情報が表示されるので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。しかも、実施の形態１のように、情報の表示位置を決定するために物体の上下左右の領域の面積を求める必要がないので、表示位置を決定するまでの処理時間を短縮できる。

なお、この実施の形態２では、利用者が見ている「物体」から最も遠いところに情報を表示するように構成したが、さらに簡略化して、利用者の「注視点」から最も遠いところに情報を表示するように変形することができる。

図８は、この実施の形態２の変形例に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、実施の形態１に係る情報表示装置から物体認識部３を除去するとともに、画像入力部１で得られた画像は直接に表示位置決定部５に送られるように構成されている。

表示位置決定部５は、画像入力部１からの画像および視線検知部２からの情報に基づき、表示位置、つまりどの領域に情報を表示するのかを決定する。具体的には、表示位置決定部５は、視線検知部２で検知された注視点に対して、視界の中央の反対側の遠い位置に、利用者に提示する情報を表示するように表示位置が決定される。換言すると、表示位置決定部５は、視界に対応する画像内の中央に対して、利用者の注視点とは反対側の領域に対応する視界内の位置を表示位置として決定する。

次に、上記のように構成される実施の形態２の変形例に係る情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１２の物体の領域を抽出する処理が除去されるとともに、ステップＳＴ１３の処理内容が変更されている点を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。

処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、利用者に提示する情報を、図９に示すように、ステップＳＴ１１で視線検知部２によって検知された注視点に対して、視界の中央の反対側、つまり利用者が見ている領域から遠い位置に表示するべく表示位置を決定する。換言すれば、注視点から視界の中央を通り最も遠い位置Ｐ２を基点とする領域を表示位置に決定する。その後、情報が表示される（ステップＳＴ１４）。

以上説明したように、実施の形態２の変形例に係る情報表示装置によれば、図９に示すように、利用者の注視点から最も遠いところに情報が表示されるので、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。しかも、利用者が見ている「物体」から最も遠いところに情報を表示する場合と比較して、物体を認識する処理も必要なくなるので、情報の表示位置を決定するまでの処理時間をさらに短縮できる。

なお、上述した実施の形態２および実施の形態２の変形例において、表示位置を決定するにあたり、表示される情報のサイズなどにより、その位置で表示が難しい場合は表示位置をずらすなどして情報を表示するように構成できる。

実施の形態３．
この発明の実施の形態３に係る情報表示装置は、実施の形態１に係る情報表示装置において、利用者に提示する情報の表示位置（領域）をさらに絞り込み、できるだけ視界が妨げられないようにしたものである。この情報表示装置の構成は、物体認識部３および表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。

物体認識部３は、実施の形態１と同様に、画像入力部１から送られてきた画像から、視線検知部２から送られてきた注視点を含む物体を認識して抽出するとともに、さらに、表示位置決定部５で決定された表示領域に存在する物体を認識して抽出する。この物体認識部３で認識された物体の領域を示す情報は、表示位置決定部５に送られる。

表示位置決定部５は、実施の形態１と同様にして決定した面積の最も大きい領域（表示領域）内において、さらに、図１０（ａ）の破線で囲んだ領域として示すように、物体認識部３で抽出された物体の領域（第３の領域）以外の何もない領域を表示位置として決定する。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。

次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、ステップＳＴ１３の表示位置決定処理の内容を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。

処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域とは異なる領域に表示するように、例えば以下のようにして表示位置が決定される。

まず、表示位置決定部５は、実施の形態１と同様に、物体認識部３で認識された物体の上下左右の領域のうち最も大きい領域を情報の表示領域に決定する。次いで、物体認識部３は、図１０（ａ）に示すように、表示位置決定部５によって決定された表示領域内に存在する物体の領域を認識して抽出を行う。これらの画像処理には、非特許文献２に示したような既存の技術を用いることができる。その後、表示位置決定部５は、物体認識部３で認識された物体以外の何もない領域を表示位置として決定する。換言すると、表示位置決定部５は、物体認識部３で抽出された表示領域（第２の領域）内の物体が存在する領域（第３の領域）とは異なる領域に対応する視界内の位置を表示位置として決定する。なお、ここで決定された領域には、一部、物体が存在する領域（第３の領域）が含まれていてもよい。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。その後、情報が表示される（ステップＳＴ１４）。

以上説明したように、実施の形態３に係る情報表示装置によれば、図１０（ａ）に示すように、例えば物体の周囲の面積の最も大きな領域が特定され、その特定された領域内でさらに物体が何も無い領域が特定され、その後、図１０（ｂ）に示すように、特定された領域が情報の表示領域として決定されて情報が表示される。したがって、利用者が見ている物体を情報が遮ることなく、良好な情報の表示が可能となる。また、視界内で利用者の注視する物体以外の物体を遮らないように情報表示するので、利用者は、視界内で注視する物体以外の物体の状況を把握しつつ情報を閲覧することが可能となる。なお、表示される情報のサイズなどにより、その領域で表示が難しい場合は表示位置をずらすなどして情報を表示するように構成できる。

実施の形態４．
この発明の実施の形態４に係る情報表示装置は、利用者の注視点の動きに応じて情報の表示を制御するようにしたものである。この情報表示装置の構成は、表示位置決定部５の動作を除き、図１に示した実施の形態１に係る情報表示装置の構成と同じである。

表示位置決定部５は、実施の形態１では、タイマ４からの情報により、表示した情報の位置を一定時間だけ変更しないように制御したが、実施の形態４では、利用者の視点の移動に応じて、情報の表示位置を可変にする。

次に、上記のように構成される情報表示装置の動作を説明する。この情報表示装置の動作は、表示位置決定部５の動作を除き、図２のフローチャートに示した実施の形態１に係る情報表示装置の動作と同じである。以下、図２に示したフローチャートを参照しながら実施の形態１と異なる部分を中心に説明し、同一部分の説明は簡略化する。

処理が開始されると、まず、利用者の視線の検知が行われる（ステップＳＴ１１）。次いで、利用者が見ている物体の領域が抽出される（ステップＳＴ１２）。次いで、情報の表示位置が決定される（ステップＳＴ１３）。すなわち、表示位置決定部５は、情報を視界内のどの領域（位置）に表示するのかを決定する。この時、利用者が見ている領域とは異なる領域に表示するように表示位置が決定される。この表示位置決定部５によって決定された表示位置を示す情報は、情報表示部６に送られる。その後、情報が表示される（ステップＳＴ１４）。

上記の状態において、表示位置決定部５は、タイマ４によって計測された一定時間内に利用者の注視点が情報の表示領域に移動してきた場合、利用者が情報を見ていると判断して、視線検知部２から送られてくる注視点が情報の表示領域から離れない限りは情報の表示位置を変更しない。この際、タイマ４はリセットされる。

また、表示位置決定部５は、利用者の注視点が情報の表示領域から離れると、タイマ４を始動させ、一定時間、例えば数秒間が経過した後、情報の表示位置の変更を可能とする。一定時間内に利用者の注視点が再び情報の表示領域に戻ってきた場合はタイマ４をリセットし、情報の表示位置を維持する。

なお、一定時間の後、情報の表示位置の変更が可能になった場合であっても、注視点の移動量が小さい場合、例えば所定のしきい値よりも小さい場合には情報の表示位置を変化させないといった処理を行うように構成することもできる。

以上説明したように、実施の形態４に係る情報表示装置によれば、利用者の注視点の動きに応じて情報の表示位置を変更するように構成したので、良好な情報の表示が可能となる。

実施の形態５．
この発明の実施の形態５に係る情報表示装置は、利用者の動作状態に応じて情報の表示を制御するようにしたものである。図１１は、実施の形態５に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１に示した実施の形態１に係る情報表示装置に加速度センサ１１、位置情報センサ１２、動作状態検知部１３および表示制御部１４が追加されて構成されている。

加速度センサ１１は、情報表示装置の加速度を検知する。加速度センサ１１としては、例えば携帯電話などで利用されているものと同等のものを使用できる。加速度センサ１１で検知された加速度を示す情報は、動作状態検知部１３に送られる。

位置情報センサ１２としては、例えば携帯電話などに搭載されているＧＰＳ（Global Positioning System）と同等のものを使用できる。この位置情報センサ１２は、衛星からの信号を受信することにより、地球上における情報表示装置の位置を検出する。この位置情報センサ１２で検出された位置を示す情報は、動作状態検知部１３に送られる。

動作状態検知部１３は、加速度センサ１１および位置情報センサ１２からの情報に基づき情報表示装置の物理的な動作状態を判断し、その動作状況に関する情報を表示制御部１４に送る。

表示制御部１４は、動作状態検知部１３からの動作状況に関する情報に応じて、情報の表示の可否を指示する情報を生成し、情報表示部６に送る。これにより、情報表示部６は、利用者に提供する情報を表示し、または、表示を停止する。

次に、上記のように構成される情報表示装置の動作を説明する。ここでは、情報表示のタイミングの制御を中心に説明する。利用者が例えば歩行中である場合、利用者に対して情報表示を行って視界を妨げると危険な状況になる場合がある。この状況を避けるために、動作状態検知部１３は、情報表示装置および利用者の動作状態を判断し、情報表示の制御を行う。

具体的には、動作状態検知部１３は、加速度センサ１１からの情報に基づき、利用者が歩いているまたは走っているかどうかを判定する。もし、歩いているまたは走っているなどの状態を検知すると、その旨を示す情報を表示制御部１４に送る。

表示制御部１４は、動作状態検知部１３から動作状況に関する情報を受け取ると、その状況が情報表示に適切かどうかを判断し、もし不適切な状況である場合は情報表示を停止するよう情報表示部６に指示する。この指示に応じて、情報表示部６は、情報表示を停止する。

利用者が停止した状態になると、動作状態検知部１３は、加速度センサ１１からの情報に基づき停止している状況を検知し、その情報を表示制御部１４に送る。表示制御部１４は、利用者が停止した状態にあることを検知すると情報表示に適した状態であると判断し、情報表示部６に情報表示を指示する。

上述した例では表示制御部１４において「歩行中または走行中が情報表示に不適切」、「停止中が情報表示に適切」といった条件設定で説明したが、加速度センサ１１や位置情報センサ１２からの情報によって、より詳細な状態判断を行うことができる場合は、条件設定を詳細に行うように構成できる。例えば、「停止中かつうつむいている状態が情報表示に適切」などの条件設定を行うことができる。また、これらの条件を利用者が設定できるようにして、情報表示装置の内部に記憶できるように構成することもできる。さらに、周囲に多くの車両が存在することを検知した場合に、情報表示を停止するように構成することもできる。なお、周囲に車両が存在するか否かについては、位置情報センサ１２の位置情報及び地図データを用いることにより判断できる。例えば、利用者の位置が地図における道路付近にある場合は周囲に車両が存在すると判断できる。地図データについては、情報表示装置内に記憶されるようにしてもよいし、サーバ等の外部装置から取得するようにしてもよい。

以上説明したように、実施の形態５に係る情報表示装置によれば、利用者の動作状況に応じて情報の表示の可否を制御するように構成したので、利用者が情報を注視することによって危険な状況になることを避けることができる。

実施の形態６．
この発明の実施の形態６に係る情報表示装置は、周囲の音声の状態に応じて情報の表示を制御するようにしたものである。図１２は、実施の形態６に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１１に示した実施の形態５に係る情報表示装置から加速度センサ１１、位置情報センサ１２、動作状態検知部１３および表示制御部１４を除去するとともに、音声入力部２１、音声認識部２２および表示制御部２３を追加して構成されている。

音声入力部２１は、例えばマイクロフォンなどにより構成されており、利用者の音声を入力する、この音声入力部２１から入力された音声は、音声情報として音声認識部２２に送られる。

音声認識部２２は、音声入力部２１から送られてきた音声情報から音声を認識する。この音声認識部２２において得られた音声認識結果は、表示制御部２３に送られる。

表示制御部は、音声認識部２２から送られてくる音声認識結果に応じて、情報表示の可否を情報表示部６に指示する。これにより、情報表示部６は、利用者に提供する情報を表示し、または、表示を停止する。

次に、上記のように構成される情報表示装置の動作を説明する。ここでは、情報表示のタイミングの制御を中心に説明する。音声入力部２１は、利用者の周りの音声または利用者の音声などを入力し、音声認識部２２に送る。音声認識部２２は、音声入力部２１から入力された音声が何であるかを判定し、判定結果を音声認識結果として表示制御部２３に送る。例えば、利用者の周りで緊急車両が通過した場合、音声認識部２２は、音声入力部２１から入力された緊急車両の音から緊急車両であることを認識し、その音声認識結果を表示制御部２３に送る。表示制御部２３は、音声認識部２２からの音声認識結果に基づき緊急車両が近辺にいる場合は情報表示に不適切な状況であると判断し、情報表示部６に情報表示の停止を指示する。

なお、音声認識部２２で利用者が発した音声を認識することにより直接的に情報表示を制御するように構成することもできる。例えば、利用者が「情報表示停止」などの音声を発声することにより音声認識部２２がその指示を検出し、表示制御部２３に「情報表示停止」を認識した旨を伝える。これにより、表示制御部２３は、情報表示に不適切であることを判定し、情報表示部６に情報表示の停止を指示する。また、情報表示が可能であることを音声により指示することもできる。

以上説明したように、実施の形態６に係る情報表示装置によれば、周囲の音声に応じて情報の表示の可否を制御するように構成したので、周囲の状況に応じた良好な情報の表示が可能となる。

実施の形態７．
この発明の実施の形態７に係る情報表示装置は、実施の形態６に係る情報表示装置に画像検索機能を追加したものである。図１３は、実施の形態７に係る情報表示装置の構成を示すブロック図である。この情報表示装置は、図１２に示した実施の形態６に係る情報表示装置の表示制御部２３に代えてコマンド判定部３１を設け、さらに、通信装置３２および画像検索装置３３を追加して構成されている。

コマンド判定部３１は、音声認識部２２から送られてくる音声認識結果が検索のコマンドを示している場合に、物体認識部３および視線検知部２からの情報に基づき検索対象となる画像を取得し、通信装置３２に送る。また、コマンド判定部３１は、通信装置３２から受け取った検索結果情報を情報表示部６に送る。

通信装置３２は、コマンド判定部３１から送られてきた検索対象の画像を画像検索装置３３に送り、画像検索を依頼する。また、通信装置３２は、画像検索装置３３から送られてきた検索結果情報をコマンド判定部３１に送る。

画像検索装置３３は、通信装置３２から送られてきた検索対象の画像に基づき画像検索を行い、検索結果情報を通信装置３２に送る。

次に、上記のように構成される情報表示装置の動作を説明する。利用者は、視界の中で、画像検索の対象となる物体に視点を合わせながら音声により、例えば「見ているものを検索」といった発話を行う。音声入力部２１は、利用者の発話による音声を入力し、音声認識部２２に送る。音声認識部２２は、音声入力部２１から入力された音声が視線検索のコマンドであることをコマンド判定部３１に伝える。

コマンド判定部３１は、音声認識部２２からの情報に対応して、必要な一連の処理の情報を持っており、視線検索のコマンドであるという情報から視線検索に関する一連の処理を開始する。すなわち、コマンド判定部３１は、視線検知部２から注視点の情報を得て、物体認識部３に対し、その位置にある物の領域を抽出させる。物体認識部３の動作は実施の形態１で説明したものと同様である。図１４に示すように、物体認識部３により利用者が見ている物体の領域が抽出されると、コマンド判定部３１は、その領域の画像を取得し、通信装置３２を経由して画像検索装置３３に送って画像検索を依頼する。

この画像検索装置３３としては、例えばＧｏｏｇｌｅの画像検索サイトを用いることができる。画像検索装置３３は、検索した画像に関連する情報を検索結果情報として通信装置３２に送る。通信装置３２は、画像検索装置３３からの検索結果情報をコマンド判定部３１に送る。コマンド判定部３１は、通信装置３２から検索結果情報を取得し、その情報を情報表示部６に送る。情報表示部６は、表示位置決定部５からの表示位置を示す情報とコマンド判定部３１からの検索結果情報を受け取って適切な領域に情報表示を行う。これらの一連の処理によって、利用者は自分が視界の中で注目しているものに関する情報を検索し、その結果を参照することができる。

以上説明したように、実施の形態７に係る情報表示装置によれば、利用者が発話する音声に応じて、利用者が見ている画像に関連する情報を画像検索装置３３から取得し、この取得した情報を適切な領域に表示するように構成したので、利用者が所望する情報を提供できる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、利用者がウインドウを介して見る実際の視界内に種々の情報を表示する、例えばカーナビゲーションシステムなどに利用できる。

１ 画像入力部、２ 視線検知部、３ 物体認識部、４ タイマ、５ 表示位置決定部、６ 情報表示部、１１ 加速度センサ、１２ 位置情報センサ、１３ 動作状態検知部、１４ 表示制御部、２１ 音声入力部、２２ 音声認識部、２３ 表示制御部、３１ コマンド判定部、３２ 通信装置、３３ 画像検索装置。

この発明に係る情報表示装置では、上記課題を解決するために、利用者の視界に対応する画像を取得する画像入力部と、利用者の注視点を検知する視線検知部と、画像入力部で取得された画像から、視線検知部で検知された注視点が存在する物体を含む領域を第１の領域として抽出する物体認識部と、物体認識部で抽出された第１の領域に基づき、注視点以外の位置を表示位置として決定する表示位置決定部と、表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部とを備えることを特徴とする。

この発明に係る情報表示装置では、上記課題を解決するために、利用者の視界に対応する画像を入力する画像入力部と、利用者の視界内における視線の位置を表す注視点を検知する視線検知部と、画像入力部から入力された画像から、視線検知部で検知された注視点を含む物体の画像内における領域を第１の領域として抽出する物体認識部と、物体認識部で抽出された第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部と、表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部と、時間を計測するタイマとを備え、表示位置決定部は、タイマにおいて設定された時間が計測されるまで表示位置を維持することを特徴とする。

Claims (9)

1. 利用者の視界に対応する画像を入力する画像入力部と、
   利用者の視界内における視線の位置を表す注視点を検知する視線検知部と、
   前記画像入力部から入力された画像から、前記視線検知部で検知された前記注視点を含む物体の前記画像内における領域を第１の領域として抽出する物体認識部と、
   前記物体認識部で抽出された前記第１の領域についての情報に基づき、視界内で利用者の視線があたっていない位置を表示位置として決定する表示位置決定部と、
   前記表示位置決定部で決定された表示位置に、利用者に提示する情報を表示する情報表示部
   とを備えた情報表示装置。
2. 前記表示位置決定部は、前記画像内のうち前記第１の領域とは異なる第２の領域に対応する視界内の位置を前記表示位置として決定する
   ことを特徴とする請求項１に記載の情報表示装置。
3. 前記物体認識部は、前記第２の領域内に存在する物体の領域を第３の領域として抽出し、
   前記表示位置決定部は、前記第２の領域内であって前記第３の領域とは異なる領域に対応する視界内の位置を前記表示位置として決定する
   ことを特徴とする請求項２に記載の情報表示装置。
4. 時間を計測するタイマを備え、
   前記表示位置決定部は、前記タイマにおいて設定された時間が計測されるまで前記表示位置を維持する
   ことを特徴とする請求項１乃至３のいずれかに記載の情報表示装置。
5. 前記表示位置決定部は、前記視線検知部で検知された利用者の前記注視点の移動に応じて、情報の前記表示位置を制御する
   ことを特徴とする請求項１乃至４のいずれかに記載の情報表示装置。
6. 加速度を検出する加速度センサおよび位置を検出する位置情報センサからの情報に基づき利用者の動作状態を検知する動作状態検知部と、
   前記動作状態検知部で検知された利用者の動作状態に基づき情報表示の可否を指示する表示制御部とを備え、
   前記情報表示部は、前記表示制御部からの指示に基づき情報表示を行う
   ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
7. 周囲の音声を入力する音声入力部と、
   前記音声入力部で入力された音声を認識する音声認識部と、
   前記音声認識部からの音声認識結果に応じて、情報表示の可否を指示する表示制御部とを備え、
   前記情報表示部は、前記表示制御部からの指示に基づき情報表示を行う
   ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
8. 周囲の音声を入力する音声入力部と、
   前記音声入力部で入力された音声を認識する音声認識部と、
   前記音声認識部からの音声認識結果が検索のコマンドを示している場合に、前記物体認識部および前記視線検知部からの情報に基づき検索対象となる画像を取得して、該画像検索を依頼するコマンド判定部と、
   前記コマンド判定部から受け取った画像に関連する情報を検索し、検索結果を前記コマンド判定部に送る画像検索装置とを備え、
   前記コマンド判定部は、前記画像検索装置から受け取った検索結果の情報を前記情報表示部に送り、
   前記情報表示部は、前記コマンド判定部から受け取った検索結果の情報に基づき情報表示を行う
   ことを特徴とする請求項１乃至５のいずれかに記載の情報表示装置。
9. 前記表示位置決定部は、前記画像内の中央に対して前記第１の領域とは反対側の領域に対応する視界内の位置を前記表示位置として決定する
   ことを特徴とする請求項１記載の情報表示装置。

Images