JPWO2014188565A1 - 表示制御装置 - Google Patents

Abstract

表示画面（ＤＰ）における表示物（ｏｂｊ１１〜１７）の表示状態を制御する表示制御装置（１００）は、ユーザ（１）を撮像する撮像手段（ＣＭ）の撮像結果に基づいて前記ユーザのトリガ動作及び前記ユーザの前記表示画面上の注視領域を検出する検出手段（１１０、１２０）と、第１表示状態において前記表示画面に表示される複数の前記表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定手段（１４０）と、前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、前記決定された指定表示物の表示状態が前記第１表示状態と異なる第２表示状態に制御する制御手段（１３０、１４０）とを備える。

Description

本発明は、例えば車載情報表示装置等に適用可能な表示制御装置の技術分野に関する。

この種の技術分野において、虚像を前景に重畳させて表示する虚像表示装置が提案されている（特許文献１参照）。

特許文献１の虚像表示装置は、運転者の目を撮影する視点検知用カメラ及び運転者の手を撮影するジェスチャ検知用カメラを備える。運転者が指先で表示虚像を指し示す動作をすると、視点検知用カメラ及びジェスチャ検知用カメラによる撮影画像が画像認識処理され、運転者の目位置と指先位置の検出を経て運転者の視線が特定される。この特定された視線上にある注視虚像の表示は、表示制御指令に基づいて制御される。即ち、特許文献１の虚像表示装置によれば、表示制御指令の実行対象とすべき前景物を見ながら、その前景物を指し示すことにより、その前景物を特定することができる。従って、複雑な入力を行うことなく、所望の前景物を簡便に特定でき、特定した前景物についての指令を出すことができるとされている。

尚、特許文献１には、この虚像表示装置が車両に搭載された場合に、ステアリングに配置された被操作部の操作に基づいて表示制御指令の内容が特定される態様も開示されている。また、予め設定された領域に向けて赤外線レーザ光を照射し、表示制御指令としての操作者の手或いは指の動きを認識する態様についても開示されている。また、この表示制御指令に応じた表示制御として、警告表示の消去、警告表示の移動、警告表示の拡大等が例示されている。また、運転者が建築物の方向に自分の手を移動させ、指先でその建築物を指し示す動作をした後に、「これ何？」と発話した場合において、その建築物の名称が前景に重畳されて表示される例についても記載されている。

一方、特許文献２には、ユーザの意思を反映した対話制御が可能なジェスチャ認識装置が開示されている。

例えば、このジェスチャ認識装置では、ユーザの指示待ち状態において、顔の向き検出部によりうなずき動作が検出される。そして、うなずき動作中に視線検出部により検出された視線が選択候補を向いている場合に、その選択候補を選択する意思があるものとして、当該選択候補が選択されたものとしての処理が行われる。或いは、このジェスチャ認識装置では、ユーザの指示待ち状態において、視線検出手段によりユーザの視線が検出される。この視線が選択候補に向いている状態で所定のジェスチャが認識された場合に、ジェスチャ認識手段の認識結果に基づき所定の処理が行われる。

また、特許文献２には、検出された視線が所定時間滞留している注視状態である場合に、検出された視線がいずれかの選択候補に向いているとする技術思想も開示されている。

他方、特許文献３には、視線追跡に基づいてコンピュータ装置を制御するにあたって、視線の動的変化に基づいて特定の注視パターンを表す信号を生成することが記載されている。また、補助入力信号として、ボタン、スイッチ、音声信号、入力要素の運動パターン、ジェスチャのパターン、顔の表情及びＥＥＧ信号が利用可能であることも記載されている。

特開２００５−１３８７５５号公報 特開２０００−１６３１９６号公報 特表２００８−５０２９９０号公報

特許文献１には、ユーザのジェスチャを表示物の選択動作として利用する点が記載されている。

しかしながら、実践的には、限られた空間内でユーザが制限無く自由に行うジェスチャの内容を単にカメラによる撮像結果や画像認識処理等を用いて正確に特定することは非常に困難である。

従って、特許文献１に開示される装置では、ユーザの意思を正確に特定することが困難である。必然的に、特許文献１に開示される装置では、ユーザの意思に沿わない表示物が選択される、或いは、ユーザの意思に沿わない表示制御が行われる等の事態が発生する。無論、ジェスチャの内容に関する特定精度は、例えば、環境変動に対して相対的に安定なレーザ光を利用したり、カメラを増設したりすれば向上する。しかしながら、このような措置は、確実にコストの増加を招き、また多くの場合、空間的制約にも抵触する。このような問題は、例えば、車両の室内空間等を想定した場合において顕著に発生し得る。

また、特許文献１には、ユーザの視線を表示物の選択動作に利用する技術思想についても開示されている。しかしながら、ユーザの視線の先にある表示物が、選択に適した表示態様で表示されているとは限らない。それどころか、ユーザにとって有益な情報を表示しようとする場合、少なくともユーザの意思を明確に特定し得ない限りは、より多くの表示物が表示される傾向がある。また、個々の表示物の表示面積は小さくなる傾向がある。このような状況において、視線に基づいてユーザの選択対象を明確に特定することは非常に困難である。必然的に、特許文献１に開示される装置では、ユーザの意思に沿わない表示物が選択される、或いは、ユーザの意思に沿わない表示制御が行われる等の事態が発生する。

また、ユーザの選択している表示物の特定精度とは別の問題として、ユーザの視線からユーザの決定意思を検出することも難しい。例えば、ユーザが一箇所を注視している場合に、その注視している表示物に対する処理が所望されているとの判断を行うことは一見合理的である。しかしながら、その場合、ユーザは相当程度の時間にわたって一箇所を注視していなければならず、ユーザの他の動作（例えば、車両の運転等）が制約を受ける。また、単なる決定動作（決定意思）の検出であれば、予め設置場所が決められた操作スイッチ等を操作するだけで足りるとの判断も一見合理的である。しかしながら、表示物を選択する動作（即ち、視線、ジェスチャ及びそれらの組み合わせ）と、この種の決定動作とが、全く性質の異なる動作となる。従って、ユーザは直感的に決定動作を行うことができず、操作性が低下する。これは、特許文献１に開示されるように、例えばこの種の操作スイッチがユーザにとって操作が容易なハンドル付近に設置されていたとしても、根本的に変わることが無い。

また、上述した各種の問題は、特許文献２及び３に開示される技術思想を適用したところで何ら変わることなく生じ得る。即ち、上記先行技術文献に開示される装置を含む従来の装置では、複数の表示物の中からユーザの意思に沿った情報を的確に選択することが困難であるという技術的問題点がある。

本発明は、例えば、係る技術的問題点に鑑みてなされたものであり、ユーザの意思に沿った情報表示を実現し得る表示制御装置を提供することを少なくとも一つの課題とする。

上述した課題を解決するため、請求の範囲第１項に記載された表示制御装置は、表示画面の表示状態を制御する表示制御装置であって、ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出手段と、第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定手段と、前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御手段とを備える。

上述した課題を解決するため、請求の範囲第１１項に記載された表示制御方法は、表示画面の表示状態を制御する表示制御方法であって、ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出工程と、第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定工程と、前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御工程とを備える。

上述した課題を解決するため、請求の範囲第１２項に記載されたコンピュータプログラムは、コンピュータ装置を請求の範囲第１項から第１０項のいずれか一項に記載の表示制御装置として機能させることを特徴とする。

上述した課題を解決するため、請求の範囲第１３項に記載された記録媒体は、請求の範囲第１２項に記載されたコンピュータプログラムが記録されることを特徴とする。

本発明の実施例に係る情報表示システムの概念図である。 図１の情報表示システムにおける注視点検出の概念図である。 図１の情報表示システムにおいて実行される情報表示制御のフローチャートである。 ジェスチャ検出領域の概念図である。 指の検出過程を例示した図である。 図１の情報表示システムにおける通常時レイアウトの概念図である。 図３の情報表示制御において実行される表示画面作成処理のフローチャートである。 ユーザの概念的な上面視図である。 選択対象表示物の表示例を示す図である。 図１の情報表示システムにおける操作時レイアウトの概念図である。 視線による表示物の選択がなされた場合の表示画面の概念図である。

＜表示制御装置の実施形態＞

本発明の表示制御装置に係る実施形態は、表示画面の表示状態を制御する表示制御装置であって、ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出手段と、第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定手段と、前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御手段とを備える。

本発明の表示制御装置に係る実施形態によれば、撮像手段の撮像結果に基づいてトリガ動作及びユーザの注視領域が検出される。

トリガ動作とは、ユーザが行う一種のジェスチャであるが、先行技術に開示されるような、多数の機能動作に対応付けられた多数のパターンを有するものでない。即ち、トリガ動作とは、表示制御装置に対してトリガ信号を与え得る動作であって、その検出は、多くの場合、二値的な判断基準或いはそれに類する比較的簡素な判断基準に基づいて正確且つ簡便に行われ得る。

一方、注視領域とは、表示画面上でユーザが注視していると判断され得る一点又は領域を意味する。ここで、撮像結果を注視領域の検出に利用するためには、現実的には少なくともユーザの目元付近が撮像される必要がある。しかしながら、上述したようにトリガ動作の検出は比較的簡便になされ得る。従って、トリガ動作の定義は、撮像手段を注視領域の検出に適した位置に設置することを前提として、その撮像領域で無理なく検出され得る動作として定めることができる。このため、本発明の表示制御装置に係る実施形態において、撮像手段が複数の撮像手段から構成される必要はない。この点において、多数の機能動作に対応付けられたジェスチャを検出する必要がある場合と較べて、表示制御装置の実施形態に係る装置構成上の制約は著しく緩和され得る。

本発明の表示制御装置に係る実施形態によれば、決定手段により、第１表示状態において表示画面に表示される複数の表示物の中から、検出されたトリガ動作又は注視領域に対応する指定表示物が決定される。指定表示物とは、複数の表示物のうち、ユーザの意思に沿っている可能性が相対的に高いと判断され得る一又は複数の表示物を意味する。

尚、上述したトリガ動作の検出の容易性に鑑みると、トリガ動作によって指定表示物が変化する、或いは複数の表示物の中から指定表示物となり得る表示物を特定することは、一見想到し難い面がある。然るに、トリガ動作の定義と、その実践的な態様とは必ずしも一対一に対応しない。また好適にはこれらは一対多に対応する。即ち、一の定義で包括されるトリガ動作の実践的態様は複数あってよい。従って、個々のトリガ動作と表示画面上の領域とを対応付けることは、必ずしも困難でない。トリガ動作に対応して指定表示物が決定される場合、トリガ動作には、好適には表示画面上の領域が対応付けられている。一方、注視領域に対応して指定表示物が決定される場合には、トリガ動作は単一の動作であっても問題ない。

ここで、本発明の表示制御装置に係る実施形態によれば、トリガ動作の検出の有無と、表示画面の表示状態とが対応付けられている。即ち、表示画面の表示状態が、ある基準に従って複数の表示物が配置される第１表示状態に該当する場合において、トリガ動作が検出された場合には、表示状態は第２表示状態に切り替えられる。尚、第１表示状態に係る所定の基準とはどのようなものであってもよく、第１表示状態の実践的態様に制約は殆ど無い。

第２表示状態とは、少なくとも上述した指定表示物の表示属性が第１表示状態とは異なる表示状態である。具体的には、第２表示状態においては、指定表示物について、視線による選択が第１表示状態と較べて容易となる表示属性が与えられている。表示属性とは、表示に関する属性を意味する。視線による選択が容易である、とは一見厳密性を欠くが、少なくとも相異なる複数の表示状態の相互関係の上で論じられる限りにおいては、表示物を視線で選択するにあたっていずれの表示状態が適しているかは一般的な見地から明確である。例えば、表示物の表示面積が相対的に大きければ、視線による選択は相対的に容易であると言える。また、例えば、表示物の視認性が相対的に高ければ、視線による選択は相対的に容易であると言える。また、表示物が雑然と表示されるよりは整然と表示される方が視線による選択が相対的に容易であると言える。

尚、指定表示物に対して与えられる、視線選択を容易とする旨の表示属性は、指定表示物自身の変化により直接的に与えられるものであっても、指定表示物の表示属性に変化を与え得る、指定表示物以外の表示物の変化により間接的に与えられるものであってもよい。前者は、例えば、指定表示物の表示面積を変える或いは強調表示させる等の措置を含み得る。後者は、例えば、指定表示物以外の表示物を表示画面上から消去したり、指定表示物以外の表示物を目立たなくしたり、指定表示物に関連する情報を新たに表示したりする措置を含み得る。

従って、この第２表示状態においては、ユーザの注意が、他の表示物よりもこの指定表示物へ向かい易くなる。指定表示物は、ユーザのトリガ動作又は注視領域に対応する表示物であるから、結果として、第２の表示状態においては、ユーザの意思に沿った表示物がユーザに視認され易くなる。

尚、第１表示状態は、概念的には、第２表示状態によって定義され得る比較的自由度の高い表示状態である。但し、第１表示状態は、実践的には、ユーザが特定の表示物に対する興味を有さない状況、或いはユーザが特定の表示物の検索を開始しようとする状況を前提として、視認性が阻害されない範囲でより多くの情報がユーザに提供されるように構築される。

このように、本発明の表示制御装置に係る実施形態によれば、第１表示状態と第２表示状態とのうちユーザの意思に応じた一方が選択的に適用される。従って、ユーザの意思に沿った情報表示が実現される。

ここで重要となるのは、第２表示状態である。第２表示状態において他の表示物よりも高い重み付けを付帯されて表示される指定表示物は、あくまでユーザが興味を抱いていると判断され得る候補に過ぎない。しかしながら、第２表示状態における指定表示物は、第１表示状態と較べて視線選択が容易である旨の表示属性を与えられており、より高い注意を喚起し得るため、ユーザは第２表示状態において、表示される指定表示物の中から、視線によって容易に、また正確に所望の表示物を検索することができる。一方、意思に沿った表示物の検索さえ済んでしまえば、その表示物を決定する動作は、上述したトリガ動作によって代替することができる。

このように、本発明の表示制御装置に係る実施形態は、視線による情報検索が有する検索精度の低さを、表示画面の表示状態を第２表示状態に切り替えることによって克服する一方で、第２表示状態に従った表示の表示タイミングや表示期間を、検出の容易性が格段に高められたジェスチャとしてのトリガ動作により正確に決定することができる。即ち、本発明の表示制御装置に係る実施形態は、視線に基づいたユーザ意思の推定とジェスチャに基づいたユーザ意思の推定との間に、良好な相互補完関係が構築されている点が一つの重要な特徴となっている。この特徴は、視線による情報検索とジェスチャによる情報検索とを単に組み合わせただけでは得ることができない。本発明の表示制御装置に係る実施形態は、両者の欠点を見出した上で、両者の利点のみを利用し得るように制御手段の制御動作が構築されているのである。

本発明の表示制御装置に係る実施形態の一の態様では、前記第２の表示状態において、前記指定表示物の中から前記検出された注視領域に基づいて少なくとも一の表示物を選択表示物として選択する選択手段を更に備える。

この態様によれば、指定表示物の中から注視領域に基づいて少なくとも一つの表示物が選択表示物として選択される。従って、ユーザの意思に沿った表示制御が可能である。

尚、この態様では、前記制御手段は、前記選択表示物を強調表示させてもよい。

このように選択表示物が強調表示された場合、ユーザは、その時点で自身が選択している表示物を視覚的に把握することができる。

本発明の表示制御装置に係る実施形態の一の態様では、前記第２表示状態は、前記第１表示状態と較べて前記指定表示物の視認性が高い表示状態である。

この態様によれば、第２表示状態における指定表示物は、第１表示状態と較べて視認性が高い。即ち、第２表示状態において、指定表示物には、視線選択を容易ならしめる表示属性の一例として、相対的に視認性が高い旨の属性が与えられる。従って、指定表示物を中心とした情報検索（即ち、所望の表示物の検索）の容易性又は確実性が好適に担保される。

尚、視認性を高める措置は多義的であり、例えば、拡大表示、強調表示、点滅表示、表示色の変更等が含まれ得る。

本発明の表示制御装置に係る実施形態の他の態様では、前記第２表示状態は、前記第１表示状態と較べて前記指定表示物の表示面積が大きい表示状態である。

この態様によれば、第２表示状態における指定表示物は、第１表示状態と較べて表示面積が大きい。即ち、第２表示状態において、指定表示物には、視線選択を容易ならしめる表示属性の一例として、相対的に表示面積が大きい旨の属性が与えられる。従って、指定表示物を中心とした情報検索（即ち、所望の表示物の検索）の容易性又は確実性が好適に担保される。

本発明の表示制御装置に係る実施形態の他の態様では、前記第２表示状態は、前記指定表示物を整列させた表示状態である。

この態様によれば、第２表示状態における指定表示物は整列して表示される。即ち、第２表示状態において、指定表示物には、視線選択を容易ならしめる表示属性の一例として、整列して表示される旨の属性が与えられる。従って、指定表示物を中心とした情報検索（即ち、所望の表示物の検索）の容易性又は確実性が好適に担保される。

尚、指定表示物を整列表示させるにあたっての基準は様々であってよく、指定表示物は、直線的に整列していてもよいし、曲線的に整列していてもよいし、ユーザとの位置関係に従って整列していてもよい。また、指定表示物を整列させるにあたって、指定表示物以外の表示物の属性が併せて変更されてもよい。

本発明の表示制御装置に係る実施形態の他の態様では、前記制御手段は、前記トリガ動作が解除された場合に前記表示状態を前記第１表示状態に制御する。

この態様によれば、トリガ動作が解除された場合に表示物の表示状態が第１表示状態に戻されるため、第２表示状態に従った表示状態の制御を的確な期間についてのみ効果的に行うことができる。尚、「トリガ動作が解除される」とは、概念的には、トリガ動作が非検出であることを含む。

本発明の表示制御装置に係る実施形態の他の態様では、前記トリガ動作は、前記トリガ動作の検出を支援すべく定められた所定の構造物と前記ユーザの身体部位とを接触又は離間させる動作である。

この態様によれば、ユーザは構造物と身体部位とを接触又は離間させるだけでトリガ動作を行うことができる。従って、操作性が向上する。

尚、この構造物は、トリガ動作の検出を支援すべく定められた物体である。トリガ動作は、上述したようにその検出性が高いジェスチャであるが、トリガ動作の検出が撮像結果に基づいてなされる点に鑑みれば、その検出を常時安定して行うためには、ユーザの動作期間についてユーザに対して常時静止している、又は常時静止しているとみなし得る物体を基準にするのがよい。従って、この態様によれば、トリガ動作の安定した検出が可能である。

尚、この態様では、前記表示制御装置は、車両に搭載され、前記構造物は前記車両のハンドルであり、前記ユーザの身体部位は手の指であってもよい。

本発明の表示制御装置に係る実施形態が車両に搭載されることを前提とした場合、ハンドルは上述した構造物として好適である。またハンドルを握る手の指は、上述した身体部位として好適である。

本発明の表示制御装置に係る実施形態の他の態様では、前記撮像手段と、前記表示画面を有する表示手段とを備える。

この態様によれば、表示制御装置と撮像手段及び表示手段との間の制御信号のやり取りが最適化され得るので、本発明の表示制御装置に係る実施形態の効能がより顕著に発揮され得る。

尚、「表示手段を備える」とは、例えば、表示制御装置に係る実施形態と表示手段とがハードウェア的に一体に構成されることのみに限定されず、表示制御装置に係る実施形態と表示手段とが、例えば、電気配線や無線通信等を通じて電気的に接続され、一個のシステムをなすこと等を含む趣旨である。同様に「撮像手段を備える」とは、例えば、表示制御装置に係る実施形態と撮像手段とがハードウェア的に一体に構成されることのみに限定されず、表示制御装置に係る実施形態と撮像手段とが、例えば、電気配線や無線通信等を通じて電気的に接続され、一個のシステムをなすこと等を含む趣旨である。

＜表示制御方法の実施形態＞

本発明の表示制御方法に係る実施形態は、表示画面の表示状態を制御する表示制御方法であって、ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出工程と、第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定工程と、前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御工程とを備える。

表示制御方法に係る実施形態によれば、上記表示制御装置に係る実施形態の各手段と同等の作用を実現する各工程により、上記表示制御装置に係る実施形態と同様に、ユーザの意思に沿った情報表示が実現される。

＜コンピュータプログラムの実施形態＞

本発明のコンピュータプログラムに係る実施形態は、コンピュータシステムを本発明の表示制御装置に係る実施形態として機能させる。

当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体或いはＵＳＢ（Universal Serial Bus）メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の表示制御装置に係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の表示制御装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。

＜記録媒体の実施形態＞

本発明の記録媒体に係る実施形態は、本発明のコンピュータプログラムに係る実施形態が記録される。

本発明の記録媒体に係る実施形態によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本発明のコンピュータプログラムに係る実施形態を、コンピュータシステムに読み込ませて実行させることができ、上述した本発明の表示制御装置に係る実施形態を比較的簡単に実現できる。

本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

以下、適宜図面を参照して、本発明の好適な実施例として、情報表示システム１０について説明する。

＜実施例の構成＞
始めに、図１を参照し、情報表示システム１０の構成について説明する。ここに、図１は、情報表示システム１０の概念図である。

図１において、情報表示システム１０は、図示せぬ車両に搭載され、当該車両の運転者たるユーザ１に利用される装置であり、表示制御装置１００、ディスプレイＤＰ及び撮影部ＣＭを含んで構成される。情報表示システム１０において、これら各要素は、制御バスＢＳを介して電気的に接続されている。情報表示システム１０は、本発明に係る表示制御装置の一適用例であり、不図示のカーナビゲーションシステムの一部として構成されている。従って、情報表示システム１０は、車両の位置情報、地図情報、周辺施設の情報、道路情報等の各種情報を、利用者１に提供することができる。尚、本発明に係る表示制御装置の用途は、カーナビゲーション分野に限定されない。

表示制御装置１００は、ＣＰＵ（Central processing Unit）ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたコンピュータ装置である。表示制御装置１００のＲＯＭには、表示制御装置１００が実行する各種の制御に関する制御プログラムが格納されている。この制御プログラムの中には、後述する情報表示制御に関する制御プログラムも含まれる。

尚、この情報表示制御に関する制御プログラムは、本発明に係る「コンピュータプログラム」の一例である。また、このＲＯＭは、本発明に係る「記録媒体」の一例である。尚、ＲＯＭは不揮発性記憶装置であるから、本実施例において、情報表示制御に関する制御プログラムは予め制御装置１００に備わることになるが、この制御プログラムは、ＲＡＭ若しくはハードディスク或いは制御装置１００に備わり得る他の揮発性制御装置に書き込まれていてもよい。この場合、制御プログラムのアップデート及びメンテナンス等が比較的簡便になされ得る。また、この制御プログラムをネットワークで配信する、或いは制御プログラムが記録された記録媒体を配布する等の措置を講じることも可能となる。

ディスプレイＤＰは、車両の運転席前方におけるフロントガラスの手前に、ルーフ部分から吊り下げられた状態で固定された、本発明に係る「表示手段」の一例たる情報表示装置である。ディスプレイＤＰは、ユーザ１の視認に供される表示画面（符号省略）を有する。尚、本実施例では、ディスプレイＤＰと表示制御装置１００とが別体に構成されるが、これは本発明に係る表示制御装置の採り得る形態の一例である。例えば、表示制御装置１００とディスプレイＤＰとを一体的に構成することも可能である。

撮影部ＣＭは、ハンドルＨＤの奥側に位置するメータフード内においてユーザ１を撮像可能に固定された、本発明に係る「撮像手段」の一例たるデジタルカメラである。尚、当該デジタルカメラを制御する制御部は、カメラ内部に収容されている。撮影部ＣＭは、可視光カットフィルタが設けられた、赤外線撮影が可能なステレオカメラである。撮影部ＣＭは、被写体（ここでは、ユーザ１）の方向に赤外線を照射しながら行われる赤外線撮影と、赤外線の照射が行われない通常撮影との双方が可能な構成となっている。

表示制御装置１００は、上記制御プログラムが実行されることによって機能する、視点検出部１１０、操作検出部１２０、表示情報制御部１３０、レイアウト制御部１４０及び操作検出部１５０を備える。

視点検出部１１０は、撮影部ＣＭの撮影画像（本発明に係る「撮像結果」の一例）から、ディスプレイＤＰの表示画面（符号省略）内でユーザ１が注視している点（以下、適宜「注視点」と称する）の位置を検出可能に構成されている。視点検出部１１０は、このユーザ１の注視点を、上記表示画面内の位置座標として検出することができる。

ここで、図２を参照し、視点検出部１１０によるユーザ１の注視点の検出について説明する。ここに、図２は、注視点検出の概念図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。

図２において、予めディスプレイＤＰと撮影部ＣＭとの位置関係は既知である（図示矢線ａ）。一方、撮影部ＣＭにより得られた撮影画像に基づいて、ユーザ１の視線方向を検出することができる（図示矢線ｃ参照）。また、同様に撮影部ＣＭに対するユーザ１の眼球位置を検出することができる（図示矢線ｂ参照）。ユーザ１の注視点ｄの位置座標は、これらの情報から、公知の幾何学的手法により、ユーザ１の視線とディスプレイＤＰの表示画面との交点として求められる。

操作検出部１２０は、ユーザ１の操作を検出可能に構成されており、予備操作検出部１２１及び決定操作検出部１２２を含んで構成される。

予備操作検出部１２１は、ユーザ１の予備操作を検出可能に構成される。本実施例において、予備操作は、ハンドルＨＤ上で行われる指差し操作（ハンドルＨＤ上に指を一本置くジェスチャ）として定義される。尚、予備操作は、本発明に係る「トリガ操作」の一例である。予備操作検出部１２１による予備操作の具体的な検出態様については後述する。

決定操作検出部１２２は、ユーザ１の決定操作を検出可能に構成される。本実施例において、決定操作は、ハンドルＨＤ上で指一本により行われるタップ操作として定義される。尚、決定操作の検出は、本発明に係る「トリガ動作の解除の検出」の一例である。決定操作検出部１２２による決定操作の具体的な検出態様については後述する。

表示情報制御部１３０は、地図情報やＧＰＳ（Global Positioning System）等から得られる測位情報を基に、カーナビゲーションシステムとしてその時点で表示すべき各種の情報を決定し、ディスプレイＤＰの制御を介して表示画面に表示させる構成となっている。

レイアウト制御部１４０は、表示情報制御部１３０により決定された表示すべき情報の表示状態を含む表示画面の画面構成を、その時の状況に応じて的確に制御する構成となっている。ここで、本実施例における「その時の状況」とは、視点検出部１１０及び操作検出部１２０の各々における検出結果である。レイアウト制御部１４０によりレイアウトされる情報には、運転者１の操作により選択及び決定がなされる操作対象表示物が含まれる。操作対象表示物は、本発明に係る「複数の表示物」の一例である。

操作出力部１５０は、決定操作検出部１２２によりユーザ１の決定操作が検出された場合に、その時点の表示画面のレイアウト及び決定操作が検出された表示画面上の位置から、ユーザ１によって選択操作が行われた表示物を確定し、当該確定した表示物に関する情報をユーザ１に出力する構成となっている。

＜実施例の動作＞
次に、実施例の動作として、情報表示システム１０の動作について説明する。

＜情報表示制御の詳細＞
始めに、図３を参照し、情報表示制御の詳細について説明する。ここに、図３は、情報表示制御のフローチャートである。

図３において、情報表示制御が開始されると、ディスプレイＤＰの表示画面に表示すべき表示情報が決定される（ステップＳ１１０）。

ここでは、地図情報、施設情報、道路情報、事前に設定された目的地情報、設定経路情報及び位置情報等に基づいて、表示情報が決定される。例えば、ＧＰＳ信号等に基づいて現在位置及び進行方向が取得され、別途取得される地図情報から、現在位置及び進行方向が地図上の位置情報として表示される。一方、設定経路情報に基づいて近未来的な走行経路が予測され、その時点で何らかの検索条件が設定されていれば、この近未来的な走行経路において検索条件に合致する施設等の情報が表示される。例えば、検索条件として「飲食店」が設定されていれば、施設情報から車両の走行経路上の飲食店に関する情報が検索され、地図情報に重畳される形で表示画面に表示される。

尚、本実施例では、ディスプレイＤＰの表示画面が制御される構成としたが、表示画面は、例えば、ＨＭＤ（Head Mounted Display）等の表示画面であってもよい。また、本実施例では、地図情報（三次元画像でも二次元画像でもよい）に情報が重畳される構成としたが、実際に車両前方に広がる外界の映像に施設情報等が付帯されることによって一種のＡＲ（Augmented Reality）が実現されてもよい。

次に、操作検出部１２０によりユーザ操作が検出される（ステップＳ１２０）。本実施例では、ユーザ操作として、ユーザ１の手（本発明に係る「身体部位」の一例）のジェスチャが検出される。

ここで、ジェスチャの詳細な検出手法について説明する。

始めに、図４を参照し、ジェスチャ検出領域について説明する。ここに、図４は、ジェスチャ検出領域の概念図である。

図４において、図４（ａ）は、撮像部ＣＭにおけるユーザ１の一撮影画像を例示したものである。撮像部ＣＭはステレオカメラであるから、撮像部ＣＭの撮影画像（図４（ａ）に相当する画像）は複数である。この複数の撮影画像から、ハンドルＨＤの領域（以下、適宜「ハンドル領域」とする）が特定される。

より具体的には、ハンドルＨＤに対する撮像部ＣＭの設置位置及び撮像方向は予め固定されており、撮影画像において、ハンドルＨＤは、楕円形に見えるはずであり、また撮影画像の上半分に弧状に見えるはずである。更にハンドルＨＤは相対的に暗色であり一様である。これらの事前予測が成立することから、撮影画像においてハンドル領域を特定することができる。尚、ステレオカメラによれば、ハンドル領域をより正確に検出可能であるが、公知の画像認識処理やパターン認識処理に基づいて、モノラルカメラの撮影画像からハンドル領域を特定することも十分に可能である。

一方、図４（ｂ）には、ハンドル領域が特定された様子が示される。図４（ｂ）には、ハンドルの外郭が白破線で示されている。即ち、この破線枠内部がハンドル領域となる。ここで、ジェスチャ検出領域Ａｇｅｓは、この特定されたハンドル領域に沿って設定される（図示ハッチング領域参照）。具体的には、ジェスチャ検出領域Ａｇｅｓは、ハンドル領域の内側に設定され、その幅は（撮像部ＣＭに対する開角）は、撮影画像におけるハンドルＨＤの最上部を基点として左右に設定される。例えば、この幅は、当該最上部を基点に左右に２０度前後に設定される。

尚、ハンドルＨＤと撮像部ＣＭとの位置関係は、半永久的に固定されている。従って、ジェスチャ検出領域Ａｇｅｓは、ハンドルＨＤとそれ以外とのコントラストが強くなり易い、車室内の日当たりが良好な環境条件において一度設定されれば、永続的に使用可能である。但し、ユーザがハンドルの物理的位置を変更した場合等には、ジェスチャ検出領域Ａｇｅｓは適宜再設定される。

図３に戻り、ジェスチャが検出されるにあたっては、上述したハンドル領域が特定された上で、事前にハンドル領域の任意の位置におけるステレオ視差が求められる。ステレオ視差は、ハンドル領域を所定時間以上横切る静止物が存在する場合や、ハンドル領域を横切る物体が一方向に移動する場合に求められる。即ち、それら静止物や物体は、ハンドルＨＤに触れている手である可能性が高く（前者はユーザ１がハンドルＨＤを保舵している状態、後者はユーザ１がハンドルＨＤを操舵している状態に夫々対応する）、ステレオ視差を求めることができるからである。ステレオ視差は、ハンドルＨＤの複数の位置で求められる。このステレオ視差に基づいて、ハンドルＨＤ付近で検出された指がハンドルＨＤに接触しているか離間しているかの判定が可能となる。尚、ハンドルＨＤは、本発明に係る「構造物」の一例である。

ステップＳ１２０に係るユーザ操作の検出においては、先ず、ハンドルＨＤ付近の指が検出される。

指の検出は、赤外線照射時及び赤外線非照射時の各々について撮影画像を比較することにより行われる。尚、この比較はステレオ撮影された左右の撮影画像の各々について行われる。この比較により、撮像部ＣＭに近接している被写体が検出される。撮像部ＣＭに近接している被写体が検出されると、その中で先述したジェスチャ検出領域Ａｇｅｓを横切る被写体が更に検出され、ユーザ１の指であると判定される。

尚、ハンドルＨＤを横切る被写体が指として太過ぎる場合やハンドル領域をも被写体が横切っている場合は、如何なる状態であるかに関係なく、指であるか否かの判定精度を担保するため、ここでは指であるとの判定は行われない。判定された指の位置は、ジェスチャ検出領域Ａｇｅｓを横切る一次元の位置情報として特定される。

この様子が図５に例示される。図５は、指の検出過程を例示した図である。尚、同図において、図４と重複する箇所には同一の符号を付してその説明を適宜省略することとする。

図５において、図５（ａ）は赤外線撮影画像の例であり、図５（ｂ）は非赤外線撮影画像の例である。このように赤外線撮影が行われると、ハンドルＨＤに近接した物体の明るさに明確な差異が生じる。従って、それらの差分には、ハンドルに近接した物体のみが現れる。この様子が図５（ｃ）に表される。このハンドルに近接した物体は、ハンドル領域よりも後（ユーザ１側）にあり、その太さも妥当であるため、ユーザ１の指であると判定される。
この様子は、図５（ｄ）に表される。図５（ｄ）には、ジェスチャ検出領域Ａｇｅｓにおいて、指の検出結果ｒｓ１、ｒｓ２、ｒｓ３及びｒｓ４が得られた様子が示される。

一方、左右のステレオ撮影画像の各々において指が検出されると、夫々で検出された画像上の指同士が近付けられステレオ視差が求められる。この求められたステレオ視差と予め求められていたステレオ視差との比較により、検出された指がハンドルＨＤに触れているか否かが判定される。この判定動作により、ハンドルＨＤ近傍で検出された指の本数と位置、ハンドルＨＤへの接触状態が求められる。操作検出部１２０では、上記の検出及び判定に係る動作を繰り返し実行し、ユーザ１がハンドルＨＤ上に意図的に指を置く操作（予備操作）及びその指を一旦ハンドルＨＤから離間させた後、再びハンドルＨＤに接触させるタップ操作の夫々を検出する。

図３に戻り、視点検出部１１０によりユーザ１の注視点が検出される（ステップＳ１３０）。ユーザ１の注視点は、上述した概念に従って検出されるが、より具体的には、次のように検出される。

即ち、視点検出部１１０は、撮像部ＣＭから取得したユーザ１の撮影画像から、ユーザ１の目元領域を抽出する。次に、瞳孔中心とプルキニエ象から視線方向を算出する。一方、撮像部ＣＭは、これに先立ってユーザ１の目をステレオ撮影しており、視点検出部１１０は、このステレオ撮影された目の画像から、撮像部ＣＭとユーザ１の目との位置関係を算出する。撮像部ＣＭに対するディスプレイＤＰの位置は初期情報として与えられているため、これらの情報と目の位置とから、ユーザ１の視線と表示画面との交点の位置が求められる。この求められた位置は、注視点の位置として、最終的に表示画面上の座標点に変換される。尚、注視点は、本発明に係る「注視領域」の一例である。

次に、レイアウト制御部１４０により表示画面作成処理が行われる（ステップＳ２００）。ここでは、ステップＳ１１０で決定された表示情報のレイアウトの制御が行われる場合について説明する。尚、本発明との対比の上では、このレイアウト制御部１４０による表示画面作成処理は、本発明に係る「制御手段」の動作の一例である。

ここで、レイアウト制御部１４０により制御される表示情報のレイアウトには大別二種類存在する。一方は通常時レイアウトであり、他方は操作時レイアウトである。前者は本発明に係る「第１表示状態」の一例であり、後者は本発明に係る「第２表示状態」の一例である。

ここで、通常時レイアウトについて、図６を参照して説明する。ここに、図６は、通常時レイアウトの概念図である。

図６には、ステップＳ１１０で決定された表示情報が、通常時レイアウトに従って表示されている様子が示される。即ち、通常時レイアウトでは、表示画面（図示矩形枠）内で複数の表示物が、整理されたリスト形式ではなく、外界の位置関係に即して二次元的に離散的に表示される。

具体的には、表示物ｏｂｊ１は、カーナビゲーション機能により提示された車両の目標走行路である。また、目標走行路に沿った施設の情報として、表示物ｏｂｊ１１、ｏｂｊ１２、ｏｂｊ１３、ｏｂｊ１４、ｏｂｊ１５、ｏｂｊ１６、ｏｂｊ１７が示される。各表示物の表示面積が異なるのは、外界の位置関係に即した情報表示を実現するためである。即ち、目標走行路の表示と同様に、現時点で車両に近接している表示物（施設）程、その表示面積は大きくなる。このように通常時レイアウトは、表示物同士の位置関係が、外界における実際の位置関係を保持しているため、ユーザ１が全体的な情報を把握し易いレイアウトになっている。

一方、通常時レイアウトにおいては、ユーザ１の意思と、表示物の表示面積との間に関係性がない。即ち、図６において、ユーザ１が、外界において遠方に位置する表示物ｏｂｊ１６の詳細な内容を確認しようとしても、表示物ｏｂｊ１６を選択することは容易でない。この際、表示物ｏｂｊ１６をカーソルやポインタの移動操作で指定することは非直感的であり簡便でもない。またジェスチャで表示物ｏｂｊ１６を選択することも容易でない。何故なら、何らの制約も設けられないジェスチャを単なる画像認識処理で検出することは実践的には困難だからである。本実施例に係る表示画面作成処理は、このような問題点を克服するものである。表示画面作成処理では、このような状況で操作時レイアウトが選択される。即ち、表示物のレイアウトが標準時レイアウトから操作時レイアウトに変更される。

ここで、図７を参照し、表示画面作成処理の詳細について説明する。ここに、図７は、表示画面作成処理のフローチャートである。

図７において、予備操作が検出されたか否かが判定される（ステップＳ２１０）。本実施例に係る予備操作とは、既に述べたように、ハンドルＨＤに対して指を一本置く動作である。予備操作が検出されない場合（ステップＳ２１０：ＮＯ）、通常時レイアウトに従って表示物が表示される（ステップＳ２６０）。

一方、予備操作が検出されると（ステップＳ２１０：ＹＥＳ）、選択対象表示物が抽出される（ステップＳ２２０）。選択対象表示物は、表示画面に表示されている操作対象表示物の中から選択された、ユーザ１の意思に合致していると判断され得る表示物である。選択対象表示物は、本発明に係る「指定表示物」の一例である。

ここで、図８及び図９を参照し、予備操作の検出に伴う選択対象表示物の抽出について説明する。ここに、図８は、ユーザ１の概念的な上面視図である。また、図９は、選択対象表示物の表示例を示す図である。尚、これら各図において、既出の各図と重複する箇所には同一の符号を付してその説明を適宜省略することとする。

図８には、予備操作によるハンドルＨＤ上での位置入力と、表示画面上の位置との対応関係が示される。

予備操作検出部１２１により検出される予備操作は、指を一本ハンドルＨＤに置く操作である。尚、ジェスチャ検出領域Ａｇｅｓは、既に述べたように、ハンドルＨＤの下方にハンドルＨＤに沿って設定された領域であるので、予備操作は、厳密にはハンドルＨＤの下方においてハンドルＨＤに指を置く操作である。

既に述べたように、操作検出部１２０は、ユーザ１の指の位置を、ジェスチャ検出領域Ａｇｅｓを横切る一次元の位置情報として特定することができる。そこで、レイアウト制御部１４０は、ジェスチャ検出領域Ａｇｅｓと、ディスプレイＰＤの表示画面の水平方向軸とを一次元的に対応付け、この予備操作が入力されたジェスチャ検出領域Ａｇｅｓ上の位置を表示画面上の位置に変換する（図示黒丸参照）。

次に、予備操作に対応する表示画面上の位置に基づいて、操作対象表示物から選択対象表示物が抽出される。この様子が図９に示される。

図９（ａ）は、予備操作の入力位置が便宜的に太い矢線で表示されている。尚、図示する表示画面の表示内容は、便宜的に通常時レイアウトに従った表示となっている。

ここで、レイアウト制御部１４０は、通常時レイアウトに従って操作対象表示物を表示した場合に、この予備操作に対応する入力位置に近い数個の表示物を選択対象表示物として抽出する。この様子が図９（ｂ）に示される。図９（ｂ）には、表示物ｏｂｊ１４、ｏｂｊ１５、ｏｂｊ１６、ｏｂｊ１７が抽出された様子が示される。

図７に戻り、選択対象表示物が抽出されると、表示物を操作時レイアウトに従って表示するための制御情報が生成され、表示物が操作時レイアウトに従って表示される（ステップＳ２３０）。操作時レイアウトは、表示物同士を実際の位置関係に即して表示するレイアウトである点については通常時レイアウトと同様である。但し、操作時レイアウトは、選択対象表示物の中から視線により一の表示物を選択する行為を支援するため（即ち、本願発明の概念との対比の上では、視線による選択を容易とするため）、抽出された選択対象表示物の視認性が通常時レイアウトと較べて高められたレイアウトである。視認性を向上させるための措置は多義的であるが、ここでは、表示面積を拡大する措置について説明する。

操作時レイアウトについて、図１０を参照して説明する。ここに、図１０は、操作時レイアウトの概念図である。尚、同図において、図９と重複する箇所には同一の符号を付してその説明を適宜省略することとする。

図１０において、図１０（ａ）は、選択対象表示物の拡大の様子を示した図である。図１０（ａ）において、表示物ｏｂｊ１４、ｏｂｊ１５、ｏｂｊ１６及びｏｂｊ１７（夫々符号省略）は、夫々が実際の位置関係を保持したまま拡大され、夫々選択対象表示物ｏｒ１４、ｏｒ１５、ｏｒ１６及びｏｒ１７に変更される。また、図１０（ａ）では、選択対象表示物以外の操作対象表示物は、一時的に表示画面上から消去される。

その結果、実際に操作時レイアウトに従って表示物の表示状態が制御された表示画面は、図１０（ｂ）のようになる。即ち、操作時レイアウトに従って選択対象表示物が表示された表示画面は、ユーザ１による視線入力に適した画面となる。言い換えれば、操作時レイアウトにおいて、選択対象表示物には、通常時レイアウトと較べて視線選択が容易である旨の表示属性が与えられる。具体的には、この表示属性は、選択対象表示物を拡大する旨の直接的変化と、選択対象表示物以外の表示物を消去する旨の間接的変化によりもたらされる。

尚、図１０（ｂ）に係る操作時レイアウトは、本発明に係る「第１表示状態と較べて指定表示物の視認性が高い第２表示状態」及び「第１表示状態と較べて指定表示物の表示面積が大きい第２表示状態」の夫々一例である。

尚、操作時レイアウトにおける選択対象表示物の視認性向上措置に係る態様は、各種ある。例えば、選択対象表示物の数を所定値以下とする、選択対象表示物の大きさを所定以上とする、選択対象表示物の表示間隔を所定以上とする、選択対象表示物を、元の位置関係が可及的に保持されたまま整列させる等の措置が講じられてもよい。また、通常時レイアウトと操作時レイアウトとの間で二値的にレイアウトが変化する点に鑑みれば、これらの切り替え過渡期において、或いは、予備操作の入力位置が変化する等して選択対象表示物が変化する場合等において、違和感軽減等を目的としたアニメーション処理等が行われてもよい。

図７に戻り、操作時レイアウトに従って選択対象表示物が表示されると、ユーザ１の視線が検出されたか否かが判定される（ステップＳ２４０）。ユーザ１の視線とは、視点検出部１１０により検出される注視点を意味する。視線が検出されない場合（ステップＳ２４０：ＮＯ）には、表示画面作成処理は終了する。

一方、ユーザ１の視線が検出された場合（ステップＳ２４０：ＹＥＳ）、レイアウト制御部１４０は、既に求められている表示画面上の注視点の位置座標に基づいて、選択対象表示物の中から一の表示物を選択し、当該選択された表示物を強調表示する（ステップＳ２５０）。強調表示とは、点滅表示、着色表示、表示色の変更等を含み得る。また、レイアウト制御部１４０は、選択された表示物の強調表示と併せて、表示画面上に視線カーソルＣＳを描画する。視線カーソルＣＳは、視点検出部１１０により検出されたユーザ１の注視点の位置を示すカーソルである。

ここで、図１１を参照し、視線による表示物の選択について説明する。ここに、図１１は、視線による表示物の選択がなされた場合の表示画面の概念図である。尚、同図において、図１０と重複する箇所には同一の符号を付してその説明を適宜省略することとする。

図１１において、視線カーソルＣＳ、即ちユーザ１の注視点は図示の通りであり、操作時レイアウトに従って拡大表示された選択対象表示物のうち、この視線カーソルＣＳに最も近接した表示物は、選択対象表示物ｏｒ１５である。従って、選択対象表示物ｏｒ１５が選択表示物として強調表示（図ではハッチングで示されている）される。また、表示画面には、その時点で選択されている選択対象表示物に関する詳細な情報が表示される。

尚、視線カーソルＣＳは必ずしも必要がないが、視線カーソルＣＳが表示されることにより、ユーザ１は、どの程度視線を変化させれば隣接する表示物が選択されるのかを視覚的に認識することができるため、操作性は一層向上する。

図７に戻り、強調処理が終了すると、表示画面作成処理は終了する。表示画面作成処理は以上のように行われる。

図３に戻り、表示画面作成処理が終了すると、処理はメインルーチンである情報表示制御に戻され、操作出力が行われる（ステップＳ１４０）。具体的には、決定操作検出部１２２によりユーザ１の決定操作が検出された場合に、検出された決定操作（即ち、ハンドルＨＤから指を離し、再度触れるタップ操作）が予備操作の解除操作であると判定される。予備操作が解除されることにより、表示画面のレイアウトは再び通常時レイアウトに復帰する。尚、決定操作に何らかのアクションが対応付けられている場合には、予備操作の解除と共に当該アクションが実行されてもよい。例えば、データの出力等が行われてもよい。操作出力が行われると、情報表示制御は終了する。尚、情報表示制御は、所定周期で繰り返し実行される処理である。従って、再び処理はステップＳ１１０から繰り返される。情報表示制御は以上のように実行される。

このように、本実施例に係る情報表示制御によれば、ハンドルＨＤに指を置く／離すといった簡便なトリガ操作により表示物のレイアウトを切り替え、ユーザ１の視線による情報選択操作を、情報選択操作に適した操作時レイアウト上で行わせることが可能となる。従って、ユーザの意思に沿った的確なタイミングで、また的確な期間について、操作時レイアウトに従った情報表示を行って、視線入力による直感的な、正確な且つ簡便な情報選択を実現することができるのである。

即ち、本実施例に係る情報表示制御は、（１）ユーザの複雑なジェスチャを正確に検出して情報の表示制御に利用することが実践的には困難である点と、（２）ユーザの視線による情報選択に適した表示物のレイアウトと、ユーザへの情報提供に適した表示物のレイアウトとが異なる点とを見出している。その上で、予備操作及び決定操作といった簡便なジェスチャをトリガ操作として、情報選択に適した操作時レイアウトと情報提供に適した通常時レイアウトとの間で表示物の表示状態を切り替える旨の技術思想に想到している。言い換えれば、視線による情報入力の欠点とジェスチャによる情報入力の欠点とを相互的に補完する旨の技術思想に想到している。係る技術思想によって、ユーザの意思に沿った的確な情報表示を実現することを可能としているのである。

尚、本実施例では、選択対象表示物が、表示画面上の位置に変換された、予備操作が入力されたジェスチャ検出領域Ａｇｅｓ上の位置に基づいて抽出される構成となっている。しかしながら、選択対象表示物が、あくまで選択対象、即ち候補に過ぎない点に鑑みれば、視点検出部１１０により検出されたユーザ１の注視点の位置座標を、選択対象表示物の抽出に利用することもまた可能である。また、この注視点の位置座標と、本実施例に係る予備操作による位置座標とを相互に勘案して選択対象表示物の抽出に利用することもまた可能である。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う表示制御装置もまた本発明の技術的範囲に含まれるものである。

１…ユーザ、１０…情報表示システム、１００…表示制御装置、ＣＭ…撮像部、ＤＰ…ディスプレイ、ＨＤ…ハンドル、１１０…視点検出部、１２０…操作検出部、１２１…予備動作検出部、１２２…決定動作検出部、１３０…表示情報制御部、１４０…レイアウト制御部、１５０…操作出力部。

Claims (13)

1. 表示画面の表示状態を制御する表示制御装置であって、
   ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出手段と、
   第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定手段と、
   前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御手段と
   を備える表示制御装置。
2. 前記第２の表示状態において、前記指定表示物の中から前記検出された注視領域に基づいて少なくとも一の表示物を選択表示物として選択する選択手段を更に備える
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
3. 前記制御手段は、前記選択表示物を強調表示させる
   ことを特徴とする請求の範囲第２項に記載の表示制御装置。
4. 前記第２表示状態は、前記第１表示状態と較べて前記指定表示物の視認性が高い表示状態である
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
5. 前記第２表示状態は、前記第１表示状態と較べて前記指定表示物の表示面積が大きい表示状態である
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
6. 前記第２表示状態は、前記指定表示物を整列させた表示状態である
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
7. 前記制御手段は、前記トリガ動作が解除された場合に前記表示画面を前記第１表示状態に制御する
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
8. 前記トリガ動作は、前記トリガ動作の検出を支援すべく定められた所定の構造物と前記ユーザの身体部位とを接触又は離間させる動作である
   ことを特徴とする請求の範囲第１項に記載の表示制御装置。
9. 前記表示制御装置は、車両に搭載され、
   前記構造物は前記車両のハンドルであり、
   前記ユーザの身体部位は手の指である
   ことを特徴とする請求の範囲第８項に記載の表示制御装置。
10. 前記撮像手段と、前記表示画面を有する表示手段とを備える
    ことを特徴とする請求の範囲第１項に記載の表示制御装置。
11. 表示画面の表示状態を制御する表示制御方法であって、
    ユーザを撮像する撮像手段の撮像結果に基づいて、前記ユーザのトリガ動作及び表示画面における前記ユーザの注視領域を検出する検出工程と、
    第１表示状態において前記表示画面に表示される複数の表示物のうち、前記検出されたトリガ動作又は前記検出された注視領域に対応する指定表示物を決定する決定工程と、
    前記第１表示状態において前記トリガ動作が検出された場合に、前記表示状態を、少なくとも前記決定された指定表示物に対し前記第１表示状態と較べて視線による選択を容易とする表示属性が与えられた第２表示状態に制御する制御工程と
    を備える表示制御方法。
12. コンピュータ装置を請求の範囲第１項から第１０項のいずれか一項に記載の表示制御装置として機能させることを特徴とするコンピュータプログラム。
13. 請求の範囲第１２項に記載のコンピュータプログラムが記録されることを特徴とする記録媒体。

Images