JP6039074B2 - 撮像システム - Google Patents

Description

本発明は、撮像装置を含む撮像システムの技術分野に関する。

利用者の顔を撮像する技術に関し、特許文献１乃至４がある。

特許文献１には、顔全体を撮影するカメラと目の部分を撮影する移動カメラとを用いて目の位置データを解析し、虹彩を認識する技術が記載されている。特許文献２には、顔画像を撮影し、顔の大きさを判定して適切な画角にズーミングする技術が記載されている。特許文献３には、電子カメラのメニュー表示を顔の認識の有無で変える技術が記載されている。特許文献４には、顔認識手段と顔領域内の動きを検出する手段を設け、化粧道具などの動きがあった場合は、その動きのあった部分の周辺を拡大表示する技術が記載されている。

また近年、このような撮像技術を背景として、利用者の視線方向を検出し、その検出結果を運転中の安全性の向上に利用する手法が提案されている（例えば、特許文献５乃至７参照）。また、検出した視線方向をパソコン操作に利用する装置等も提案されている。視線方向の検出手法は多様であり、例えば、近赤外線を照射して眼球の瞳孔の画像とプルキニエ像を利用する手法や、光彩のエッジと顔位置から求めた眼球中心位置から視線方向を計測する手法等が公知である。

一方、利用者の画像を応用する技術として、上記視線方向を利用する技術とは別に、利用者のジェスチャを利用する技術がある。例えば、手を使ったジェスチャ操作を用いて運転者が機器を操作する装置（特許文献８及び９参照）や、ジェスチャ操作を机上のパソコン操作に利用する装置等がある。例えば、特許文献８の虚像表示装置は、運転者の目を撮影する視点検知用カメラ及び運転者の手を撮影するジェスチャ検知用カメラを備える。運転者が指先で表示虚像を指し示す動作をすると、視点検知用カメラ及びジェスチャ検知用カメラによる撮影画像が画像認識処理され、運転者の目位置と指先位置の検出を経て運転者の視線が特定される。この特定された視線上にある注視虚像の表示は、表示制御指令に基づいて制御される。

特開平１０−４０３８６号公報 特開２０００−２９２８５２号公報 特開２００７−２８１６４７号公報 特開２００８−３３７１８号公報 特許第４９９２７６４号公報 特開２００９−２３７７７６号公報 特開２００５−８７２８４号公報 特開２００７−１６４８１４号公報 特開２００５−１３８７５５号公報

視線方向の検出には、利用者の目の部分の画像解析が必要となる。例えば、視線方向を１度オーダの精度で検出するには、光彩直径に約７０画素が必要と言われている。

ここで、一台の撮像装置を使用して、視線方向とジェスチャとの双方を検出し、情報の表示に利用する場合を考える。視線方向の検出も、ジェスチャの検出も、利用者の撮像結果を利用する点においては共通するが、視線方向の検出には、上述したように利用者の目に関する解像度の高い画像が必要であり、ジェスチャの検出には、利用者の手指等、顔面に限らずより広範な身体の画像が必要である。

従って、一台の撮像装置により視線方向及びジェスチャの検出を実現しようとした場合、解像度と画角（即ち、撮像領域の広さ）との双方が必要となる。一般的に、解像度と画角との双方を備えた撮像装置は高価であり、また、高解像度の画像データの処理には、画像処理回路に高い処理能力が要求される。通常、画像処理回路の処理能力はコストに比例する。即ち、視線方向の検出とジェスチャの検出とを一台の撮像装置で実現するためには、コストの増加が避け難い問題となる。

しかしながら、上記先行技術文献では、このような状況が想定されていない。即ち、係る問題点を解決に導く技術思想について、これらには開示も示唆もない。

本発明は、例えば、このような問題に鑑みてなされたものであって、コストの増加を招くことなく視線方向の検出とジェスチャの検出とを一台の撮像装置で実現し得る撮像システムを提供することを解決すべき課題の少なくとも一つとする。

上述した課題を解決するため、請求の範囲第１項に記載の撮像システムは、利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段と、前記利用者のトリガ動作を検出する検出手段と、前記トリガ動作の検出結果に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択手段とを備える。

上述した課題を解決するため、請求の範囲第７項に記載の撮像方法は、利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段を備えた撮像システムにおける撮像方法であって、前記利用者のトリガ動作を検出する検出工程と、前記検出されたトリガ動作に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択工程とを備える。

上述した課題を解決するため、請求の範囲第８項に記載のコンピュータプログラムは、コンピュータ装置を請求の範囲第１項から第６項のいずれか一項に記載の撮像システムとして機能させることを特徴とする。

上述した課題を解決するため、請求の範囲第９項に記載の記録媒体は、請求の範囲第８項に記載のコンピュータプログラムが記録されることを特徴とする。

本発明の実施例に係る情報表示システムのブロック図である。 撮像装置の設置位置を説明する図である。 望遠モードにおける望遠側撮像領域を例示する図である。 広角モードにおける広角側撮像領域を例示する図である。 撮像モード制御処理のフローチャートである。 望遠モードにおいてジェスチャが検出された状況を例示する図である。 トリガ動作判定に係る第１のケースを説明する図である。 トリガ動作判定に係る第２のケースを説明する図である。

＜撮像システムの実施形態＞

本発明の撮像システムに係る実施形態は、利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段と、前記利用者のトリガ動作を検出する検出手段と、前記トリガ動作の検出結果に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択手段とを備える（請求の範囲第１項）。

本発明の撮像システムに係る実施形態において、撮像手段は、第１撮像領域と第２撮像領域とを撮像可能に構成される。尚、「撮像領域を撮像する」とは、撮像領域に関する画像又は映像を得ることを意味する。

第１撮像領域は、利用者の視線検出に利用される、利用可能な、或いは利用に適した、例えば、瞳孔、目、目の周辺又は顔面の上半分等を好適な一形態として含む撮像領域である。或いは、第１撮像領域は、例えば第１撮像領域に占める利用者の顔面又は頭部の比率が所定以上である撮像領域として設定されてもよい。

第２撮像領域は、利用者の上半身を含むジェスチャの検出に利用される、利用可能な、或いは利用に適した、例えば、上半身或いは胸部よりも上の身体等を含む、第１撮像領域よりも広い撮像領域である。尚、撮像手段の撮像領域は、必ずしも第１及び第２撮像領域のみに限定されない。また、第２撮像領域は、第１撮像領域の少なくとも一部を含む撮像領域であってもよい。

第１撮像領域と、第１撮像領域よりも画角が広い第２撮像領域との間の撮像領域の切り替え、或いは撮像領域に対応付けられた撮像モードの切り替えには、周知の各種技術を適用することができる。撮像領域の切り替えは、例えば、撮像手段に備わるズームイン／アウトの切り替え機能により実現されてもよいし、撮像手段が単焦点である場合には、ワイドコンバージョンレンズによる広画角化（即ち、第２撮像領域への切り替え）やテレコンバージョンレンズによる拡大（即ち、第１撮像領域への切り替え）によって実現されてもよい。

ここで、撮像領域の切り替えは、利用者のトリガ動作の検出結果に基づいて行われる。即ち、撮像システムに係る実施形態は、選択手段が、トリガ動作の検出結果に基づいて第１撮像領域又は第２撮像領域を選択する構成となっている。

トリガ動作とは、利用者が自身の意思に基づいて行うことを前提とした動作であり、利用者が行い得る動作且つ検出可能な動作の全てを包括する概念である。例えば、トリガ動作とは、利用者のジェスチャ、利用者の発声或いは物理的操作手段の操作等を含み得る。このトリガ動作は、理想的には、第１撮像領域と第２撮像領域とのうち選択すべき一方の撮像領域に対応付けられるが、必ずしもそうでなくてもよい。具体的には、ある単一のトリガ動作が検出される毎に、撮像領域が第１撮像領域→第２撮像領域→第１撮像領域・・・と交互に選択される構成であってもよい。トリガ動作の検出には、トリガ動作の種類に応じて公知の各種手法を適用することができる。

撮像手段の撮像結果を視線方向の検出とジェスチャの検出とに利用する構成においては、上述したように広い画角と高い解像度との双方が要求される。しかしながら、厳密には、視線方向の検出においては画角よりも解像度が、特に目の画像の解像度が重要であり、ジェスチャの検出においては解像度よりも画角の方が重要である。即ち、実践的には、画角と解像度との双方が同時に要求されることはない。

従って、第２撮像領域における目の部分の解像度は、視線方向の検出に必ずしも十分でない程度に低くてよい。一方、第１撮像領域における目の部分の解像度は、第２撮像領域と較べて撮像領域を拡大し画角を相対的に狭めることによって相対的に向上させることができる。

撮像システムに係る実施形態によれば、このような原理に基づいて、視線方向の検出精度を確保しつつ、コストに影響する撮像手段の解像度を低解像度化することができる。即ち、コストの増加を招くことなく視線方向の検出とジェスチャの検出とを一台の撮像装置で実現することができるのである。

本発明の撮像システムに係る実施形態の一の態様では、前記選択された第１又は第２撮像領域が撮像されるように前記撮像手段を制御する制御手段を備える（請求の範囲第２項）。

この態様によれば、第１（又は第２）撮像領域から第２（又は第１）撮像領域への切り替えを促すトリガ動作に応じて、撮像領域が切り替えられ、第１（又は第２）撮像領域の撮像が必要な場合に、第１（又は第２）撮像領域を的確に撮像することができる。

従って、例えば第１（又は第２）撮像領域の撮像が要求されているにもかかわらず第２（又は第１）撮像領域の撮像が継続される等といった事態を防ぐことができる。

本発明の撮像システムに係る実施形態の他の態様では、前記トリガ動作は、ジェスチャ、発声、所定の入力手段を介した入力操作のうち少なくとも一つを含む（請求の範囲第３項）。

この態様によれば、撮像システムの設置環境や用途に応じて、利用者のトリガ動作として適切な動作を設定することができる。また、これらは、本発明の撮像システムに係る実施形態において想定されるトリガ動作として妥当且つ適当である。

本発明の撮像システムに係る実施形態の他の態様では、前記第２撮像領域は、前記第１撮像領域の少なくとも一部を含み、前記第１撮像領域が選択された場合における前記第１撮像領域の解像度は、前記第２撮像領域が選択された場合における前記第１撮像領域の解像度よりも高い（請求の範囲第４項）。

この態様によれば、第２撮像領域への撮像領域の切り替えを、例えば、撮像手段の画角の切り替えのみによって実現することができる。言い換えれば、撮像手段の撮像素子の解像度（例えば、画素数）を固定値とすることができる。

従って、画像処理の負担を抑制し且つ高コスト化を防止する旨の効果を担保しつつ、視線方向の検出及びジェスチャの検出を効率良く実現することができる。

本発明の撮像システムに係る実施形態の他の態様では、前記選択手段は、前記第２撮像領域が選択された状態において前記利用者のジェスチャが検出されない場合に前記第１撮像領域を選択する（請求の範囲第５項）。

この態様によれば、ジェスチャが検出される場合に限って第２撮像領域を撮像することができ、視線方向の検出機会が好適に確保される。また、第２撮像領域から第１撮像領域への切り替え要求時に、利用者の特別なトリガ動作が必要とされないため、利用者にとって有益である。

本発明の撮像システムに係る実施形態の他の態様では、前記選択手段は、前記第１撮像領域が選択された状態において、前記トリガ動作として前記利用者の顔の一部の遮蔽が検出された場合に、前記第２撮像領域を選択する（請求の範囲第６項）。

ジェスチャをトリガ動作として利用する場合、狭画角である第１撮像領域において検出可能なジェスチャである必要がある。一方、第１撮像領域が好適には顔面を含む点に鑑みれば、このような制限を伴うジェスチャがなされた場合には、利用者の顔面の一部が遮蔽される可能性が高くなる。

従って、トリガ動作としてのジェスチャを、顔面の一部の遮蔽に置き換えて検出することができる。利用者によるジェスチャを画像解析する場合と較べると、顔面を構成するパーツの有無等は検出し易い。従って、この態様によれば、比較的容易にトリガ動作としてのジェスチャを検出することができる。

＜撮像方法の実施形態＞

本発明の撮像方法に係る実施形態は、利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段を備えた撮像システムにおける撮像方法であって、前記利用者のトリガ動作を検出する検出工程と、前記検出されたトリガ動作に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択工程とを備える（請求の範囲第７項）。

撮像方法に係る実施形態によれば、上記撮像システムに係る実施形態の検出手段及び選択手段と同等の作用を実現する検出工程及び選択工程により、上記撮像システムに係る実施形態と同様に、コスト及び装置構成の肥大化を招くことなく、一台の撮像装置において視線方向の検出とジェスチャの検出とを実現することができる。

＜コンピュータプログラムの実施形態＞

本発明のコンピュータプログラムに係る実施形態は、コンピュータ装置を上記いずれか一項に係る撮像システムとして機能させる（請求の範囲第８項）。

当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体或いはＵＳＢ（Universal Serial Bus）メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の撮像システムに係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の撮像システムに係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。

＜記録媒体の実施形態＞

本発明の記録媒体に係る実施形態は、コンピュータプログラムに係る実施形態が記録される（請求の範囲第９項）。

本発明の記録媒体に係る実施形態によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本発明のコンピュータプログラムに係る実施形態を、コンピュータシステムに読み込ませて実行させることができ、上述した本発明の撮像システムに係る実施形態を比較的簡単に実現できる。

本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

以下、適宜図面を参照して、本発明の好適な実施例として、情報表示システム１０について説明する。

＜実施例の構成＞
始めに、図１を参照し、情報表示システム１０の構成について説明する。ここに、図１は、情報表示システム１０のブロック図である。

図１において、情報表示システム１０は、図示せぬ車両に搭載され、当該車両の運転者たる利用者１に各種情報を提供する装置である。情報表示システム１０は、制御装置１００、ディスプレイＤＰ及び撮像装置ＣＭを備える。ディスプレイＤＰ及び撮像装置ＣＭは、夫々制御装置１００に電気的に接続されている。

情報表示システム１０は、不図示のカーナビゲーションシステムの一部として構成されている。従って、情報表示システム１０は、車両の位置情報、地図情報、周辺施設の情報、道路情報等の各種情報を利用者１に提供することができる。無論、本発明に係る撮像システムの用途は、カーナビゲーション分野に限定されない。例えば、パーソナルコンピュータ装置における情報表示に適用することも可能である。

尚、情報表示システム１０において、制御装置１００と撮像装置ＣＭとにより、本発明に係る「撮像システム」の一例が構成される。

ディスプレイＤＰは、車両の運転席前方におけるフロントガラスの手前に、ルーフ部分から吊り下げられた状態で固定された表示装置である。ディスプレイＤＰは、利用者１の視認に供される表示画面を有する。ディスプレイＤＰの表示内容は、ディスプレイＤＰと電気的に接続された制御装置１００によって制御される構成となっている。

撮像装置ＣＭは、車両のハンドルＨＤの奥側に位置するステアリングコラム付近において利用者１を撮像可能に固定された、本発明に係る「撮像手段」の一例たるデジタルビデオカメラである。撮像装置ＣＭの動作は、撮像装置ＣＭと電気的に接続された制御装置１００とによって制御される構成となっている。

撮像装置ＣＭは、ある解像度（即ち、画素数）を有するイメージセンサ（例えば、ＣＣＤやＣＭＯＳセンサ等を含む）を搭載しており、その撮像領域が、望遠側撮像領域と広角側撮像領域との間で切り替え可能となっている。撮像装置ＣＭの撮像領域は、後述する撮像モード選択部１３０により選択される撮像モードと一対一に対応する。即ち、撮像装置ＣＭの撮像領域は、撮像モードとして広角モードが選択された場合には、利用者１のジェスチャの検出に最適化された広角側撮像領域（即ち、本発明に係る「第２撮像領域」の一例）に制御される。また、望遠モードが選択された場合には、利用者１の視線方向の検出に最適化された望遠側撮像領域（即ち、本発明に係る「第１撮像領域」の一例）に夫々制御される。

尚、撮像装置ＣＭにおける撮像領域の切り替えは、撮像装置ＣＭが有するズームイン／アウト機能により実現される。即ち、後述する撮像制御部１４０からズームイン制御信号が供給されると、撮像装置ＣＭ内部の駆動制御回路がレンズモータを駆動し、第１撮像領域の一部が拡大され、撮像領域が望遠側撮像領域に切り替えられる。逆に、撮像制御部１４０からズームアウト制御信号が供給されると、撮像装置ＣＭ内部の駆動制御回路がレンズモータを駆動し、撮像領域が拡大され、撮像領域が広画角な広角側撮像領域に切り替えられる。

尚、このような撮像領域の切り替えは一例に過ぎない。例えば、撮像装置ＣＭにズームイン／アウトの機能が備わらない場合であっても、テレコンバージョンレンズによりズームインと同等の機能を実現することができ、ワイドコンバージョンレンズによりズームアウトと同等の機能を実現することができる。この場合、撮像装置ＣＭに、或いはその周辺部に、レンズの着脱機構が設けられていればよい。

ここで、図２を参照し、撮像装置ＣＭの設置位置について補足する。ここに、図２は、撮像装置ＣＭの設置位置を説明する図である。

図２において、（ａ）及び（ｂ）は、ある着座姿勢における利用者１の顔面を異なる方向から撮像した図である。具体的には、（ａ）は正面から撮像した図であり、（ｂ）は（ａ）よりも下方から撮像した図である。

利用者１の視線方向を検出するためには、利用者１の目の周辺部分に相応の解像度が必要となるが、（ａ）では利用者１の瞼に阻害されて瞳を十分に撮像することができない。一方、（ｂ）では、利用者１の瞳が瞼に隠れることなく撮像される。

撮像装置ＣＭは、このような事情から、利用者１を図２（ｂ）に相当する方向から撮像することができるように、車両のハンドルＨＤの奥側に位置するステアリングコラム付近に設置されている。また、パソコン操作に視線検出を利用する場合においても、同様の事情から好適には、利用者１の目の周辺を利用者１の前方且つ斜め下方から撮影できる位置に撮像装置が設置される。

制御装置１００は、情報表示システム１０の動作を制御するコンピュータ装置である。制御装置１００は、制御部１１０、動作検出部１２０、撮像モード選択部１３０、撮像制御部１４０、視線方向検出部１５０、ジェスチャ検出部１６０及び表示制御部１７０を備える。

制御部１１０は、ＣＰＵ（Central processing Unit）ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えた演算処理装置である。制御部１１０のＲＯＭには、制御装置１１０が実行する各種の制御に関する制御プログラムが格納されている。制御装置１００の各部は、この制御プログラムによりその動作が制御される構成となっている。この制御プログラムの中には、後述する撮像モード制御処理に関する制御プログラムも含まれる。

尚、この撮像モード制御処理に関する制御プログラムは、本発明に係る「コンピュータプログラム」の一例である。また、このＲＯＭは、本発明に係る「記録媒体」の一例である。

尚、ＲＯＭは不揮発性記憶装置であるから、本実施例において、撮像モード制御処理に関する制御プログラムは、予め制御部１１０に備わるが、この制御プログラムは、ＲＡＭ又は制御装置１００に備わり得る他の揮発性記憶装置に書き込まれていてもよい。この場合、この制御プログラムのアップデート及びメンテナンス等が比較的簡便になされ得る。また、この制御プログラムをネットワークで配信する、或いは制御プログラムが記録された記録媒体を配布する等の措置を講じることも可能となる。

動作検出部１２０は、撮像装置ＣＭの撮像モードの切り替えを促す利用者１のトリガ動作を検出可能に構成された、本発明に係る「検出手段」の一例である。

動作検出部１２０は、音声検出部１２１及びスイッチ状態検出部１２２を備える。

音声検出部１２１は、利用者１の音声を集音するマイクロフォンと電気的に接続されており、当該音声に係る音声信号を分析して利用者１の発声内容を特定することができる。音声検出部１２１における音声解析には、公知の音声入力装置における音声解析手法を使用可能である。

スイッチ状態検出部１２２は、利用者１が操作可能な操作スイッチと電気的に接続されており、当該操作スイッチの操作状態を特定することができる。この操作スイッチは、押下式のスイッチであっても、トグル式のスイッチであっても、レバー式のスイッチであってもよい。本実施例における操作スイッチは、オン動作に対応するオンスイッチと、オフ動作に対応するオフスイッチとを備える。オン動作及びオフ動作については後述する。

撮像モード選択部１３０は、撮像装置ＣＭの撮像モードを選択する、本発明に係る「選択手段」の一例である。

撮像制御部１４０は、撮像装置ＣＭの動作を制御する制御ユニットである。撮像制御部１４０は、撮像装置ＣＭに内蔵された制御回路に制御信号を供給することにより撮像装置ＣＭの動作を制御する。例えば、撮像制御部１４０は、撮像モード選択部１３０により一の撮像モードが選択された場合に、当該選択された撮像モードに対応する撮像領域が得られるように画角の制御信号を供給する。そして、供給された制御信号に従って画角の調整がなされた後に、撮像が開始されるように撮像制御信号を供給する。

視線方向検出部１５０は、制御部１１０のＲＡＭに一時的に格納される撮像装置ＣＭの撮像結果から、利用者１の視線方向を検出可能に構成された画像処理回路である。撮像装置ＣＭでは、後述するように、視線方向の検出が要求される場合、或いは、ジェスチャの検出が要求されない場合に、撮像モードが望遠モードに制御される。撮像装置ＣＭの設置位置は固定されているから、利用者１（本実施例では車両の運転者）の着座位置や姿勢に応じた初期設定処理が行われた後は、望遠側撮像領域において撮像される利用者１の目（特に、瞳の周辺）の画像から、公知のアルゴリズムや演算式を用いて利用者１の視線方向を検出することができる。尚、視線方向の検出自体は、本発明との相関が薄いため、詳細な説明は省略する。

ジェスチャ検出部１６０は、制御部１１０のＲＡＭに一時的に格納される撮像装置ＣＭの撮像結果から、利用者１のジェスチャを検出可能に構成された処理回路である。ジェスチャ検出部１６０におけるジェスチャ検出には、顔検出手法やパターン認識手法等、公知の各種画像解析手法を適用することができる。

表示制御部１７０は、ＧＰＳ（Global Positioning System）等から得られる測位情報を基に、ディスプレイＤＰに表示すべき情報を決定し、ディスプレイＤＰの制御を介して表示画面に情報を表示させる制御回路である。また、表示制御部１７０は、表示すべき情報の種類やレイアウトを含む、表示画面の画面構成を、利用者１の状態に応じて制御する構成となっている。ここで、「利用者１の状態」とは、視線方向検出部１５０により検出される利用者１の視線方向や、ジェスチャ検出部１６０により検出される利用者１のジェスチャ等を意味する。

＜実施例の動作＞
これ以降、本実施例の動作について説明する。

＜情報表示システム１０の基本動作＞
本実施例に係る情報表示システム１０は、一種のカーナビゲーションシステムであり、地図情報、施設情報、道路情報、事前に設定された目的地情報、設定経路情報及び位置情報等に基づいて、表示情報が決定されディスプレイＤＰに表示される。

例えば、ＧＰＳ信号等に基づいて現在位置及び進行方向が取得され、別途取得される地図情報から、現在位置及び進行方向が地図上の位置情報として表示される。一方、設定経路情報に基づいて近未来的な走行経路が予測され、その時点で何らかの検索条件が設定されていれば、この近未来的な走行経路において検索条件に合致する施設等の情報が表示される。例えば、検索条件として「飲食店」が設定されていれば、施設情報から車両の走行経路上の飲食店に関する情報が検索され、地図情報に重畳される形で表示画面に表示される。

ここで、情報表示システム１０は、このようなカーナビゲーションシステムとしての機能をベースとして、利用者１の視線方向及びジェスチャに応じた、最適な情報を表示することができる。

例えば、利用者１の視線方向がディスプレイＤＰの特定の位置に対応している場合、その位置に利用者１の所望する情報を表示させることができる。また、例えば、利用者１が、指差し動作等のジェスチャによりディスプレイＤＰに表示された特定の情報を指し示している場合、該当する情報を拡大させる、或いは該当する情報に関するより詳細な情報を表示させることができる。このように、情報表示システム１０では、利用者１の視線方向及びジェスチャが、情報の表示内容の決定に利用される。

ここで、視線方向の検出には、利用者１の顔面、特に目の周辺の画像に相応の解像度が必要であり、ジェスチャの検出には利用者１の上半身を含む比較的広範囲の撮像領域が必要である。しかしながら、両者を満たすために撮像装置ＣＭを広画角且つ高解像度とするとコストが増加する。このようなコストの増加を防ぎつつ視線方向の検出とジェスチャの検出とを両立するため、本実施例では、制御部１１０により撮像モード制御処理が実行される。撮像モード制御処理は、撮像装置ＣＭの撮像領域を的確に制御するための処理である。

＜撮像領域の説明＞
次に、図３及び図４を参照して、撮像装置ＣＭの撮像領域について説明する。ここに、図３は望遠側撮像領域を説明する図であり、図４は広角側撮像領域を説明する図である。

図３において、撮像装置ＣＭの撮像モードとして望遠モードが選択され、撮像領域が望遠側撮像領域に制御されると、撮像領域の所定比率以上の部分が利用者１の顔面で占められる。従って、望遠側撮像領域において利用者１を撮像した画像は、利用者１の視線方向の検出に適した画像となる。

尚、この望遠側撮像領域における顔面の比率（即ち、上記の所定比率）は、撮像装置ＣＭと利用者１との距離、望遠モードにおける画角及びイメージセンサの光学的解像度（例えば、画素数）の三要素に応じて変化する。利用者１の目の周辺部分に、視線方向の検出に必要な解像度が得られる限りにおいて、これら三要素の組み合わせは自由に決定されてよい。

一方、図４において、撮像装置ＣＭの撮像モードとして広角モードが選択され、撮像領域が広角側撮像領域に制御されると、撮像領域に利用者１の上半身が含まれる。即ち、撮像装置ＣＭの画角が大きくなることによって、撮像領域は望遠側撮像領域よりも広くなる。従って、広角側撮像領域において利用者１を撮像した画像は、利用者１のジェスチャの検出に適した画像となる。

尚、図３及び図４から明らかなように、広角側撮像領域は、望遠側撮像領域の全てを含む撮像領域である。また、広角側撮像領域は望遠側撮像領域から画角を変化させたものである。従って、広角側撮像領域においては、撮像装置ＣＭのイメージセンサの光学的解像度が固定値であっても、利用者１の視線方向の検出に必要な利用者１の眼球周辺部の解像度は望遠側撮像領域と較べて低い。

＜撮像モード制御処理の説明＞
次に、図５を参照して、制御部１１０により実行される撮像モード制御処理の詳細について説明する。ここに、図５は、撮像モード制御処理のフローチャートである。尚、撮像モード制御処理は、所定周期で繰り返し実行される処理である。

図５において、制御部１１０は、トリガ動作判定処理を実行する（ステップＳ１１０）。トリガ動作判定処理は、利用者１のトリガ動作の有無及びその内容を判定する処理である。

本実施例に係るトリガ動作は、利用者１が先述したジェスチャに基づく情報表示を所望する場合に行うオン動作と、利用者１がジェスチャに基づく情報表示の終了を所望する場合、所望するジェスチャに基づく情報表示が終了した場合及び視線方向に基づく情報表示を所望する場合等に行うオフ操作とから構成される。即ち、本実施例では、初期状態として望遠モードによる望遠側撮像領域が選択されており、ジェスチャによる情報表示が所望される場合に広角モードによる広角側撮像領域が選択される。但し、このような制御態様は、本願の本質とは関係がなく、如何様にも変更を加えることができる。トリガ動作の判定結果は、一時的にＲＡＭに格納される。トリガ動作の詳細については後述する。

トリガ動作の判定が終了すると、その時点の撮像装置ＣＭの撮像モードが望遠モードであるか否かが判定される（ステップＳ１２０）。

撮像モードが望遠モードに制御されている場合（ステップＳ１２０：ＹＥＳ）、制御部１１０は、ステップＳ１１０で判定されたトリガ動作が、オン動作であるか否かを判定する（ステップＳ１３０）。トリガ動作がオン動作に該当する場合（ステップ１３０：ＹＥＳ）、撮像モード選択部１６０により撮像モードとして広角モードが選択される（ステップＳ１４０）。広角モードが選択されると、ジェスチャ検出部１６０により広角側撮像領域の画像に基づいたジェスチャ検出が開始され（ステップＳ１５０）、撮像モード制御処理は終了する。尚、既に述べたように、撮像モード制御処理は、一定周期で繰り返し実行される。従って、実質的には、ジェスチャ検出が開始された後、ジェスチャ検出が継続されたまま処理はステップＳ１１０に戻される。

一方、ステップＳ１２０において、現時点の撮像モードが広角モードである場合（ステップＳ１２０：ＮＯ）、制御部１１０は、ステップＳ１１０で判定されたトリガ動作が、オフ動作に該当するか否か、利用者１のジェスチャが終了したか否か、及び、利用者１のジェスチャが所定期間非検出であるか否かを判定する（ステップＳ１６０）。

トリガ動作がオフ動作に該当するか、情報表示のためのジェスチャが終了したか、又は、利用者１のジェスチャが所定期間検出されない場合（ステップＳ１６０：ＹＥＳ）、撮像モード選択部１６０により撮像モードとして望遠モードが選択される（ステップＳ１７０）。望遠モードが選択されると、視線方向検出部１５０により望遠側撮像領域の画像に基づいた視線方向の検出が開始され（ステップＳ１８０）、撮像モード制御処理は終了する。尚、既に述べたように、撮像モード制御処理は、一定周期で繰り返し実行される。従って、実質的には、視線方向の検出が開始された後、視線方向の検出が継続されたまま処理はステップＳ１１０に戻される。

また、ステップＳ１６０において、トリガ動作がオフ動作に該当せず、情報表示のためのジェスチャが終了しておらず、且つ、利用者１のジェスチャが検出されている場合（ステップＳ１６０：ＮＯ）、処理はステップＳ１４０に移行し、撮像モードが広角モードに維持される。

また、ステップＳ１３０において、トリガ動作がオン動作に該当しない場合（ステップＳ１３０：ＮＯ）、処理はステップＳ１７０に移行し、撮像モードが望遠モードに維持される。撮像モード制御処理は、このように実行される。

ここで、撮像モード制御処理の効果について説明する。

＜広角モードから望遠モードへの切り替え＞
撮像モード制御処理において、ステップＳ１３０が「ＮＯ」側に分岐するか、ステップＳ１６０が「ＹＥＳ」側に分岐した場合、撮像モードが広角モードから望遠モードに切り替えられる。即ち、撮像領域が広角側撮像領域から望遠側撮像領域へ切り替えられる。この場合、撮像装置ＣＭの撮像結果は、図４に示す状態から図３に示す状態へと変化する。

＜望遠モードから広角モードへの切り替え＞
撮像モード制御処理において、ステップＳ１３０が「ＹＥＳ」側に分岐するか、ステップＳ１６０が「ＮＯ」側に分岐した場合、撮像モードが望遠モードから広角モードに切り替えられる。即ち、撮像領域が望遠側撮像領域から広角側撮像領域へ切り替えられる。この場合の撮像装置ＣＭの撮像結果が図６に例示される。

図６において、（ａ）は、望遠側撮像領域において、オン動作としてのジェスチャが検出された状態を例示している。即ち、ここでは、トリガ動作の判定にジェスチャが利用されている。一方（ｂ）は、このオン動作の判定を受けて、撮像モードが広角モードに切り替えられた状態を例示している。

このように、本実施例に係る撮像モード制御処理によれば、トリガ動作の判定結果に基づいて、撮像装置ＣＭの撮像モード（即ち、一義的に撮像領域）が、広角モードと望遠モードとのうち利用者１が所望する一方に迅速に切り替えられる。

ここで、視線方向の検出には高解像度が必要であるが、画角が狭まり利用者１の顔面が相対的に拡大された望遠側撮像領域の画像においては、目付近の解像度を相対的に向上させることができる。一方で、利用者１の様々なジェスチャを検出する場合には、解像度よりも画角が必要である。従って、撮像装置ＣＭが有する解像度は、ジェスチャ検出に適した広画角の撮像領域において目付近の要求解像度を満たそうとする場合と較べて低解像度でよく、視線方向の検出精度を担保したまま、性能の面からも画像処理負荷の面からも撮像装置ＣＭに係るコストの増加を抑制することができる。

即ち、本実施例に係る撮像モード制御処理によれば、一台の撮像装置で、コストの増加を抑制しつつ、ジェスチャの検出と視線方向の検出とを両立することができる。

＜トリガ動作のバリエーション＞
ここで、トリガ動作について説明する。トリガ動作には、大別して下記（１）乃至（３）の三種類ある。本実施例に係る情報表示システム１０では、これら三種類のトリガ動作のいずれもが利用可能であるが、無論、これらのうち一つだけが利用可能であってもよい。

（１）利用者１の発声
（２）利用者１による操作スイッチの操作
（３）利用者１のジェスチャ
上記（１）に示される利用者１の発声は、音声検出部１２１により検出される。例えば、利用者１が「ジェスチャオン」等と発声した場合に、その音声が音声検出部１２１により検出され、制御部１１０により上述したオン動作に該当するとの判定が下される。また、利用者１が「ジェスチャオフ」等と発声した場合に、その音声が音声検出部１２１により検出され、制御部１１０により上述したオフ動作に該当するとの判定が下される。

尚、本実施例の情報表示システム１０のように、カーナビゲーション装置の分野では、音声認識装置が備わる構成は珍しくない。このように元々のシステムに音声認識装置が備わる場合については、マイクロフォン及び音声検出部１２１がコストの増加に繋がることはない。

上記（２）に示される利用者１のスイッチ操作は、スイッチ状態検出部１２２により検出される。例えば、利用者１が上述したオンスイッチを操作した場合に、その旨がスイッチ状態検出部１２２により検出され、制御部１１０により上述したオン動作に該当するとの判定が下される。また、利用者１が上述したオフスイッチを操作した場合に、その旨がスイッチ状態検出部１２２により検出され、制御部１１０により上述したオフ動作に該当するとの判定が下される。或いは、本実施例の構成と異なり、単一のスイッチによりオン動作とオフ操作とを判定することもできる。即ち、スイッチがオン操作されていればオン動作であり、スイッチがオフ操作されていればオフ動作であるとの判定が成立する。或いは、オン動作に対応するスイッチのみを設け、ジェスチャが一定時間検出されなかった場合に自動的にオフ動作とする制御が行われてもよい。

尚、操作スイッチは、トリガ動作の検出に特化して設けられるスイッチであるから、コストの面からは不利である。しかしながら、音声やジェスチャと較べてその検出は容易であり且つ正確である。

上記（３）に示される利用者１のジェスチャは、ジェスチャ検出部１６０により検出される。ジェスチャがトリガ動作として利用される場合には、動作検出部１２０、マイクロフォン及び操作スイッチは必ずしも必要がなくなり、装置構成を簡素化することができる。

ここで、トリガ動作としてのジェスチャには二種類ある。即ち、トリガ動作として予め設定されたジェスチャと、情報表示に利用されるジェスチャと区別されないジェスチャである。

前者の場合、予めオン動作に相当するジェスチャとオフ動作に相当するジェスチャとを決定しておくことができるので、例えば、ハンドルＨＤ上に手や手指を置く／離す等の簡素なジェスチャであっても、オン動作及びオフ動作に係る判定を下すことができる。但し、図３に示したように、望遠側撮像領域の画角は狭いので、この場合、少なくともオン動作に関するジェスチャは、望遠側撮像領域内で設定される必要がある。尚、図６に例示されるジェスチャも、望遠側撮像領域内で行われたオン動作としてのジェスチャの一例である。

後者の場合、ジェスチャ検出部１６０によるジェスチャ検出機能が流用されるため、トリガ動作に特化したジェスチャを事前に設定しておく必要がない。従って、ジェスチャにある程度の自由度が確保される。

但し、望遠側撮像領域におけるオン動作に相当するジェスチャは、当然ながら望遠側撮像領域内でなされる必要がある。即ち、本実施例では、画角の狭い望遠側撮像領域において確実にオン動作に相当するジェスチャを検出するための判定基準が用意されている。

画角の狭い望遠側撮像領域では、利用者１が行い得るジェスチャは限定される。ここで、多くの場合、図６（ａ）に例示されるように、ジェスチャにより利用者１の顔面は遮蔽される。このことを、ジェスチャによるトリガ動作判定に利用することができる。

例えば、利用者１の頭部、顔の輪郭、目、鼻、口等、顔を構成するパーツが、利用者１の画像の中に含まれているかを判定することによって、オン動作に相当するジェスチャがなされているか否かを判定することができる。これらパーツが存在している場合には、撮像装置ＣＭと利用者１の顔面との間に遮蔽物が存在しないことから、オン動作がなされていないとの判定が可能である。逆に、これらパーツが存在しない場合には、撮像装置ＣＭと利用者１の顔面との間に遮蔽物が存在することから、オン動作がなされたとの判定が可能である。このようなトリガ動作の判定は、手指、手或いは腕等の複雑な動きの解析を伴うことなく実現し得るため、トリガ動作判定処理に係るトリガ動作の判定として好適である。

しかしながら、このような判定手法は、以下のケースが存在するため、トリガ動作の判定精度が必ずしも十分でない。即ち、利用者１がオン動作を行っていないにもかかわらず上記パーツが遮蔽される第１のケースと、利用者１がオン動作を行っているにもかかわらず上記パーツが遮蔽されない第２のケースである。

ここで、図７を参照し、第１のケースについて説明する。ここに、図７は、トリガ動作判定に係る第１のケースを説明する図である。

図７において、利用者１は、左手を顔面付近まで動かし、腕時計で時刻を確認している。このような時刻確認動作は、情報表示システム１０における情報表示とは何の関係もなく、ジェスチャに該当しない。

ところが、この場合、利用者１の顔面が少なからず遮蔽されるため、上述した判定基準では、オン動作に該当するジェスチャであるとの判定が成立し得る。このため、望遠モードにより望遠側撮像領域が撮像される期間（上記ステップＳ１２０が「ＹＥＳ」側に分岐した場合）において、オン動作であるとの誤判定が生じ、上記ステップＳ１３０が「ＹＥＳ」側に分岐して撮像領域が広角側撮像領域に切り替わってしまう。

図７では、このようにして視線方向を検出すべき期間において撮像領域が広角側撮像領域に切り替わった場合が示されている。この場合、撮像領域に占める利用者１の顔面の比率が低下することから、望遠モードと較べて顔面の解像度が低下することとなり、視線方向の検出精度が低下する。

そこで、本実施例では、ステップＳ１６０にジェスチャ終了に関する判断要素が含まれている。即ち、広角側撮像領域への切り替わり後、所定期間に何らのジェスチャも存在しなければ、ジェスチャが終了したか、或いは、オン動作の誤判定が行われたものとして、撮像領域は望遠側撮像領域に復帰する。従って、第１のケースにおいても、情報表示システム１０の機能が阻害されずに済む。

次に、図８を参照し、第２のケースについて説明する。ここに、図８は、トリガ動作判定に係る第２のケースを説明する図である。

図８において、利用者１は、右手でハンドルＨＤの左上方部に触れている。このような動作は、利用者１がジェスチャに基づく情報表示を所望するオン動作に該当するジェスチャである可能性がある。

ところが、この場合、利用者１の顔面は全く遮蔽されないため、上述した判定基準では、オン動作に該当するジェスチャであるとの判定が成立しない。このため、望遠モードにより望遠側撮像領域が撮像される期間（上記ステップＳ１２０が「ＹＥＳ」側に分岐した場合）において、オン動作でないとの誤判定が生じ、上記ステップＳ１３０が「ＮＯ」側に分岐して撮像領域が望遠側撮像領域に維持されてしまう。

そこで、本実施例では、ステップＳ１１０のトリガ動作判定処理における判定基準に、上述した利用者１の顔面のパーツが遮蔽されていることに加え、運転操作以外の用途で利用者１がハンドルＨＤに触れていることが加えられる。即ち、この判定基準が適用された場合には、図８に例示される動作がオン動作であると判定される。図８には、このようにしてジェスチャを検出すべき期間において撮像領域が広角側撮像領域に正常に切り替わった状態が示されている。

ところで、図８に示される動作は、必ずしもオン動作でない可能性もある。即ち、通常のハンドル操作とトリガ動作としてのオン動作とを正確に切り分けることは、必ずしも容易ではない。ハンドルＨＤへの接触がオン動作であると誤判定された場合、第１のケースと同様に、撮像領域に占める利用者１の顔面の比率が低下することから、視線方向の検出精度が低下する。

しかしながら、このような場合については、第１のケースと同様に、ジェスチャの非検出により所定のインタバルを経て撮像モードは広角モードから望遠モードに切り替わるので問題はない。

ところで、トリガ動作判定処理においては、オン動作が生じたとする誤判定よりも、オン動作が生じていないとする誤判定の方が大きな問題である。即ち、前者であれば、上述したように、その後のジェスチャが非検出となることから撮像モードが望遠モードに切り替わるといったフェールセーフ機能が発動する。これに対し、後者の場合、広角モードに切り替わるべき場合に広角モードに切り替わらないことから、その後に引き続く利用者１のジェスチャが撮像領域外の動作となって、望遠モードが継続されてしまう。即ち、ジェスチャに基づく情報表示が機能しなくなる可能性がある。

このような問題に対処するため、ステップＳ１１０におけるトリガ動作判定処理では、オン動作が発生したとの判定が下され易くなっている。例えば、オン動作に該当するか否かが不明確である場合は、全てオン動作が発生している旨の判定が下される構成となっている。即ち、撮像装置ＣＭの撮像モードは、このような対策が講じられない場合と較べて広角モードに切り替わり易い。

しかしながら、望遠モードにおいて利用者１のジェスチャが撮像領域外となるのと異なり、広角モードにおける広角側撮像領域には利用者１の顔面が含まれる。従って、検出精度は低下しても、利用者１の視線方向の検出は不可能ではない。以上のことから、このようなオン動作判定に対する相対的な重み付けは有効である。また、オン動作の誤判定であっても、上述したフェールセーフ機能により、相応の時間経過の後に撮像モードは望遠モードに復帰する。この点においても、当該重み付けは有効である。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システムもまた本発明の技術的範囲に含まれるものである。

１…利用者、１０…情報表示システム、１００…制御装置、ＣＭ…撮像装置、ＤＰ…ディスプレイ、ＨＤ…ハンドル、１１０…制御部、１２０…動作検出部、１３０…撮像モード選択部、１４０…撮像制御部、１５０…視線方向検出部、１６０…ジェスチャ検出部、１７０…表示制御部。

Claims (9)

1. 利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段と、
   前記利用者のトリガ動作を検出する検出手段と、
   前記トリガ動作の検出結果に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択手段と
   を備える撮像システム。
2. 前記選択された第１又は第２撮像領域が撮像されるように前記撮像手段を制御する制御手段を備える
   ことを特徴とする請求の範囲第１項に記載の撮像システム。
3. 前記トリガ動作は、ジェスチャ、発声、所定の入力手段を介した入力操作のうち少なくとも一つを含む
   ことを特徴とする請求の範囲第１項又は第２項に記載の撮像システム。
4. 前記第２撮像領域は、前記第１撮像領域の少なくとも一部を含み、
   前記第１撮像領域が選択された場合における前記第１撮像領域の解像度は、前記第２撮像領域が選択された場合における前記第１撮像領域の解像度よりも高い
   ことを特徴とする請求の範囲第１項から第３項のいずれか一項に記載の撮像システム。
5. 前記選択手段は、前記第２撮像領域が選択された状態において前記利用者のジェスチャが検出されない場合に前記第１撮像領域を選択する
   ことを特徴とする請求の範囲第１項から第４項のいずれか一項に記載の撮像システム。
6. 前記選択手段は、前記第１撮像領域が選択された状態において、前記トリガ動作として前記利用者の顔の一部の遮蔽が検出された場合に、前記第２撮像領域を選択する
   ことを特徴とする請求の範囲第１項から第５項のいずれか一項に記載の撮像システム。
7. 利用者の視線の検出に利用される第１撮像領域と、前記利用者の上半身を含むジェスチャの検出に利用される、前記第１撮像領域よりも広い第２撮像領域とを撮像可能な撮像手段を備えた撮像システムにおける撮像方法であって、
   前記利用者のトリガ動作を検出する検出工程と、
   前記検出されたトリガ動作に基づいて前記第１撮像領域又は前記第２撮像領域を選択する選択工程と
   を備える撮像方法。
8. コンピュータ装置を請求の範囲第１項から第６項のいずれか一項に記載の撮像システムとして機能させることを特徴とするコンピュータプログラム。
9. 請求の範囲第８項に記載のコンピュータプログラムが記録されることを特徴とする記録媒体。

Images