WO2019135281A1

WO2019135281A1 - 視線方向較正装置、視線方向較正方法および視線方向較正プログラム

Info

Publication number: WO2019135281A1
Application number: PCT/JP2018/000091
Authority: WO
Inventors: 飛仙平田
Original assignee: 三菱電機株式会社
Priority date: 2018-01-05
Filing date: 2018-01-05
Publication date: 2019-07-11
Also published as: JP6479272B1; US10977488B2; CN111527374A; JPWO2019135281A1; CN111527374B; DE112018006164B4; US20200327324A1; DE112018006164T5

Abstract

少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得する較正情報取得部（１０１）と、ユーザの視線方向を示した複数のサンプルを取得するサンプル取得部（１０２）と、各較正用注視対象の位置を示す３次元座標と各較正用注視対象を注視している状態のユーザの視線方向を示したサンプルとに基づいて、ユーザの位置の候補となる３次元座標を示す複数の較正モデルを生成する較正モデル生成部（１０３）と、生成された較正モデルに基づいて、較正パラメータを算出する較正パラメータ算出部（１０４）を備える。

Description

視線方向較正装置、視線方向較正方法および視線方向較正プログラム

　この発明は、計測された人の視線方向を較正する技術に関するものである。

　近年、様々な分野において、計測された人の視線方向の利用が期待されている。例えば、車両の運転者への運転支援への利用として、計測された運転者の視線方向に基づいて、歩行者等への注意度合もしくはわき見運転等の運転者の周囲認知状況を判定する、または当該視線方向に支援情報を表示させる等が挙げられる。
　一般に、計測された視線方向には計測誤差が含まれる。そのため、計測された視線方向を利用する場合には、計測された視線方向に含まれた計測誤差を較正する技術が合わせて用いられる。

　特許文献１には、２つのカメラで撮影した画像から、運転者の両目のそれぞれ角膜反射像を抽出し、２つの角膜反射像の座標と、対応するカメラの焦点とを結ぶ２つの直線の交点を眼球中心とする眼球位置を検出すると共に、カメラの撮影方向に対する眼球の回転角度を検出し、検出された眼球位置および眼球の回転角度に基づいて視線方向を算出する視線方向計測装置が記載されている。この特許文献１に記載された視線方向計測装置は、乗員によってナビゲーション装置等の特定の機器が操作された場合に、キャリブレーション動作を開始し、上述のように算出した運転者の視線方向を、眼球中心と特定の機器とを通る直線に一致させる補正係数を算出する。

特開平９－２３８９０５号公報

　しかし、上述した特許文献１に記載された視線方向計測装置では、特定の機器に向けられた視線に対して計測される視線方向の補正係数のみが、計測誤差を較正する較正量として算出される。そのため、特定の機器以外の、任意の点に向けられた視線に対しては、較正量を算出することができないという課題があった。

　この発明は、上記のような課題を解決するためになされたもので、任意の点に向けられた視線に対して計測された視線方向に含まれる計測誤差を較正するための較正量を算出することを目的とする。

　この発明に係る視線方向較正装置は、少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得する較正情報取得部と、ユーザの視線方向を示した複数のサンプルを取得するサンプル取得部と、較正情報取得部が取得した３次元座標と、サンプル取得部が取得した各較正用注視対象を注視している状態のユーザの視線方向を示したサンプルとに基づいて、ユーザ位置の候補となる３次元座標を示す複数の較正モデルを生成する較正モデル生成部と、較正モデル生成部が生成した較正モデルに基づいて、較正パラメータを算出する較正パラメータ算出部とを備える。

　この発明によれば、任意の点に向けられた視線に対して計測された視線方向に含まれる計測誤差を較正するための較正量を算出することができる。

実施の形態１に係る視線方向較正装置の構成を示すブロック図である。図２Ａおよび図２Ｂは、実施の形態１に係る視線方向較正装置のハードウェア構成例を示す図である。実施の形態１に係る視線方向較正装置において使用される３次元座標を示す図である。実施の形態１に係る視線方向較正装置の較正モデル生成部の処理を示す説明図である。実施の形態１に係る視線方向較正装置の較正モデル生成部の処理を示す説明図である。実施の形態１に係る視線方向較正装置の較正値算出部の算出例を示す説明図である。実施の形態１に係る視線方向較正装置の較正パラメータ算出処理の動作を示すフローチャートである。実施の形態１に係る視線方向較正装置の視線方向の較正処理および視線方向の判定処理の動作を示すフローチャートである。実施の形態１に係る視線方向較正装置の較正処理の結果を示す図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る視線方向較正装置１００の構成を示すブロック図である。
　視線方向較正装置１００は、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５、較正パラメータ蓄積部１０６ａ、視線方向蓄積部１０６ｂおよび視線方向判定部１０７を備える。
　また、視線方向較正装置１００は、視線計測装置２０１および入力装置２０２と接続される。
　視線方向較正装置１００は、車両内の乗員の計測された視線方向の較正、または、机上のディスプレイもしくはユーザの頭部に固定されたディスプレイ等を視認するユーザに対して計測された視線方向の較正等、較正用注視対象とユーザの相対位置が固定的であると見做される場合に広く適用可能である。

　較正情報取得部１０１は、後述する較正モデルを生成する際にユーザが注視すべき予め設定された注視対象（以下、較正用注視対象と記載する）の３次元座標を取得する。ここで、ユーザとは、視線計測の対象となる人物である。較正情報取得部１０１は、較正用注視対象の３次元座標を内部の記憶装置から取得する。または、較正情報取得部１０１は、較正用注視対象の位置を示す３次元座標を入力装置を介して外部のプログラムから取得する。
　較正用注視対象は、少なくとも較正の自由度を満たし得る任意の数を設定する。例えば、視線方向較正装置１００が車両に適用され、車両の運転者の視線方向を較正する場合において、視線方向計測の基準方向と較正用の基準方向とのなす角を示す回転パラメータ（後述する式（１）におけるρ）が事前に把握されており、また運転席の左右方向の位置（式（１）におけるｘ_{ｔａｒｇｅｔ}のｘ成分）が固定的であり事前に把握されていると仮定する。この場合、較正の自由度はユーザ位置の前後方向と上下方向の２自由度（式（１）におけるｘ_{ｔａｒｇｅｔ}のｙ,ｚ成分）であり、さらに、視線計測装置２０１が視線のヨー方向とピッチ方向を提供すると仮定すれば２自由度の計測値が得られるため、較正用注視対象は少なくとも１つあればよい。以下の説明では回転パラメータ（ρ）は未知であり、較正用注視対象が複数である場合を一例として説明する。なお、一般的には較正用注視対象の数が増えるに従って、算出される較正パラメータの精度が向上する。

　視線方向較正装置１００が較正パラメータの算出を行っている場合、サンプル取得部１０２は、各較正用注視対象を注視している状態のユーザの視線方向を示した複数のサンプルを取得する。サンプル取得部１０２は、１つの較正用注視対象を注視している状態のユーザについて、複数の視線方向を取得する。また、サンプル取得部１０２は、複数の較正用注視対象それぞれを注視している状態のユーザについて視線方向を取得する。
　なお、視線方向の基準、即ち視線計測装置２０１のゼロ点における真の視線方向は、最も簡単にはユーザの正面方向に平行な方向であることが望ましい。ただし、視線方向の基準を較正対象に含める構成においては、視線方向の基準は未知であってもよい。この場合は、後述の較正処理により、任意に指定した方位、例えば後述するＹ軸を基準として較正後の視線方向が算出される。サンプル取得部１０２は、取得したサンプルを、較正モデル生成部１０３に出力する。

　一方、　視線方向較正装置１００が較正パラメータを用いて視線方向の較正処理および視線方向の判定処理を行っている場合、サンプル取得部１０２は、現在のユーザの視線方向を示したサンプルを取得する。サンプル取得部１０２は、取得したサンプルを較正値算出部１０５に出力する。

　較正モデル生成部１０３は、較正情報取得部１０１が取得した較正用注視対象の３次元座標と、サンプル取得部１０２が取得したサンプルとを対応付けて、ユーザ位置の候補となる３次元座標を示す複数の較正モデルを生成する。なお、較正モデル生成部１０３は、外部のプログラムと連携して、較正用注視対象を示す情報と紐付けされて記憶された複数のサンプルを取得する構成としてもよい。ユーザ位置は、例えば、ユーザの頭部の中心位置、眼球の中心位置、または眉間の中心位置が相当する。較正モデル生成部１０３は、生成した較正モデルを較正パラメータ算出部１０４に出力する。なお、較正モデル生成部１０３の詳細な処理内容については後述する。

　較正パラメータ算出部１０４は、較正モデル生成部１０３が生成した較正モデルに基づいて、較正パラメータを算出する。較正パラメータ算出部１０４は、較正パラメータを、較正パラメータ蓄積部１０６ａに蓄積する。なお、較正パラメータ算出部１０４の詳細な処理内容については後述する。

　較正値算出部１０５は、較正パラメータ算出部１０４が算出した較正パラメータに基づいて、較正された視線方向を算出する。例えば、較正値算出部１０５は、入力装置２０２を介して、外部のプログラムから任意の注視対象（以下、判定用注視対象という）をユーザが視認しているか否かを判定する要求を受け付ける。較正値算出部１０５は、要求を受け付けると、サンプル取得部１０２から、現在の視線方向を示したサンプルを取得する。較正値算出部１０５は、較正パラメータ蓄積部１０６ａに蓄積された較正パラメータを用いて、視線方向を較正する。較正値算出部１０５は、較正後の視線方向を視線方向判定部１０７に出力する。

　また、較正値算出部１０５は、較正後の視線方向を常時視線方向蓄積部１０６ｂに蓄積するものとしてもよい。この場合、視線方向較正装置１００は、ユーザが判定用注視対象を視認しているか否かの判定を希望する外部のプログラムに対して、判定用注視対象の３次元座標を較正後の視線方向に変換した値、例えば後述の判定処理におけるθ_{ｔａｒｇｅｔ}を返す。当該外部のプログラムは、随時視線方向蓄積部１０６ｂを参照して、較正後の視線方向と比較することで独自に判定処理を行う。なお、視線方向蓄積部１０６ｂに蓄積する較正値と外部のプログラムに提供する較正パラメータの組み合わせは一例であり、判定処理の構成に合わせて適宜変更可能である。

　視線方向判定部１０７は、較正パラメータ蓄積部１０６ａに蓄積された較正パラメータ、および較正値算出部１０５が較正した較正後の視線方向に基づいて、ユーザが判定用注視対象を視認しているか否か判定を行う。

　視線方向判定部１０７は、例えば、較正後の視線方向と、判定用注視対象の方向とが近似している場合に、ユーザが判定用注視対象を視認していると判定する。視線方向判定部１０７は、較正後の視線方向と、判定用注視対象の方向とが近似しているか否かを、予め設定された閾値に基づいて設定する。当該閾値は、現在のユーザの視線方向と、周囲の状況を示す情報とに基づいて設定される。例えば、閾値は、ユーザが視認している対象がユーザに近い位置に存在していると判断される場合には大きく設定され、ユーザが視認している対象がユーザから遠い位置に存在していると判断される場合には小さく設定される。

　次に、視線方向較正装置１００のハードウェア構成例を説明する。
　図２Ａおよび図２Ｂは、実施の形態１に係る視線方向較正装置１００のハードウェア構成例を示す図である。
　視線方向較正装置１００における、較正パラメータ蓄積部１０６ａおよび視線方向蓄積部１０６ｂは、ストレージ１００ａにより実現される。視線方向較正装置１００における較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７の各機能は、処理回路により実現される。即ち、視線方向較正装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ｂであってもよいし、図２Ｂに示すようにメモリ１００ｄに格納されているプログラムを実行するプロセッサ１００ｃであってもよい。

　図２Ａに示すように、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７が専用のハードウェアである場合、処理回路１００ｂは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

　図２Ｂに示すように、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７がプロセッサ１００ｃである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｄに格納される。プロセッサ１００ｃは、メモリ１００ｄに記憶されたプログラムを読み出して実行することにより、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７の各機能を実現する。即ち、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７は、プロセッサ１００ｃにより実行されるときに、後述する図７および図８に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｄを備える。また、これらのプログラムは、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７の手順または方法をコンピュータに実行させるものであるともいえる。

　ここで、プロセッサ１００ｃとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）等のことである。
　メモリ１００ｄは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

　なお、較正情報取得部１０１、サンプル取得部１０２、較正モデル生成部１０３、較正パラメータ算出部１０４、較正値算出部１０５および視線方向判定部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、視線方向較正装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　次に、較正モデル生成部１０３および較正パラメータ算出部１０４の詳細について説明する。まず、視線方向較正装置１００において使用される較正用の基準となる３次元座標の座標系について説明する。
　図３は、実施の形態１に係る視線方向較正装置１００において使用される３次元座標を示す図である。図３では、一例として、視線方向較正装置１００が車両の運転者の視線方向を較正する場合について説明する。
　座標軸は、車両３００の車幅方向をＸ軸とし、車両３００の進行方向をＹ軸とし、車両３００が走行する路面に対して垂直方向をＺ軸とする。Ｘ軸は、車両の進行方向に向かって右側に向かう方向を正とし、Ｙ軸は、車両の進行方向に向かう方向を正としている。Ｚ軸は、路面の上方に向かう方向を正としている。３次元座標の原点Ｏは、車両３００に搭載された視線計測装置２０１の中心位置である。図３では、視線計測装置２０１における計測の基準方向を、Ｘ－Ｙ平面に投影した場合の方向をＸ－Ｙ平面上のＲ軸で示している。なお、上述の通り、ここでは、回転パラメータ（ρ）は未知としているため、視線計測装置２０１の基準方向も未知である。
　なお、図３で示した座標軸の設定は一例であり、座標軸の原点の設定、および座標軸の向き等は適宜変更可能である。

　車両３００の運転席３０１には、運転者３０２が着座している。車両３００の右サイドミラー３０３、左サイドミラー３０４およびバックミラー３０５が較正用注視対象である。例えば、運転開始前に、視線方向較正装置１００が有する図示しない制御部により、「左サイドミラーを見てください」等の注視指示が行われると、運転者３０２は、左サイドミラー３０４を注視する。注視指示の後に運転者３０２の視線方向が一定値に滞留した状態を、運転者３０２が較正用注視対象を注視している状態とする。この際、視線方向と較正用注視対象の紐付を容易にするため、注視対象を提示する順序を、上下または左右に視線の動きが大きくなるように選択することが望ましい。これにより、視線の動きが大きい区間を、較正用注視対象間を視線方向が移動した区間として検出することが容易となる。例えば、右サイドミラー３０３、左サイドミラー３０４、バックミラー３０５の順に提示する方が、右サイドミラー３０３、バックミラー３０５、左サイドミラー３０４の順に提示した場合より較正用注視対象の注視判定における弁別性が高まる。
　また、他の方法として、運転者３０２が、車両３００の走行時に安全確認等のために頻繁に注視している点などから左サイドミラー３０４等を注視している状態を推定することで、運転者３０２が較正用注視対象を注視している状態としてもよい。

　次に、図３で示した３次元座標における、較正モデル生成部１０３および較正パラメータ算出部１０４の処理について図４および図５を参照しながら説明を行う。
　図４および図５は、実施の形態１に係る視線方向較正装置１００の較正モデル生成部１０３の処理を示す説明図である。
　較正情報取得部１０１は、較正用注視対象である右サイドミラー３０３の中心点の３次元座標（Ｒ_Ｘ，Ｒ_Ｙ，Ｒ_Ｚ）、左サイドミラー３０４の中心点の３次元座標（Ｌ_Ｘ，Ｌ_Ｙ，Ｌ_Ｚ）およびバックミラー３０５の中心点の３次元座標（Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚ）を取得し、較正モデル生成部１０３に出力する。
　図４および図５では、運転者３０２が左サイドミラー３０４を注視している状態を例に、較正モデルの生成について説明を行うと共に、較正パラメータの算出について説明を行う。

　図４は、運転者３０２が、左サイドミラー３０４を注視した場合の、較正モデル生成部１０３の処理を示す図である。図４の例では、較正モデル生成部１０３が、ユーザ位置としてユーザの左目の眼球の中心位置の候補となる３次元座標を示す較正モデルを生成するものとして説明する。

　較正モデル生成部１０３は、以下の式（１）および式（２）に基づいて、運転者３０２が左サイドミラー３０４を注視している際の、ユーザ位置の候補となる３次元座標を示す較正モデルを生成する。

　式（２）は、式（１）における視線方向ベクトルｖ_ｐｏｖの成分表示である。式（２）におけるθは、視線計測装置２０１から出力された、視線方向の計測値を示す角度である。θ_ｙａｗは、Ｘ－Ｙ平面方向の視線方向の計測値である。θ_{ｐｉｔｃｈ}は、Ｙ－Ｚ平面の視線方向の計測値を示す角度である。
　また、式（２）におけるρは、回転パラメータであり、視線計測装置２０１における計測の基準方向と、較正後の視線の基準方向（ここではＹ軸）とのなす角の角度である。ρ_ｙａｗは、視線計測装置２０１における計測の基準方向とＹ軸とのなす角の角度であって、Ｚ軸を中心とした回転角度を示す。ρ_{ｐｉｔｃｈ}は、Ｙ－Ｚ平面に投影した場合の視線計測装置２０１における計測の基準方向とＹ軸とのなす角の角度である。
　図４の例では、θ_ｙａｗおよびρ_ｙａｗを示している。
　なお、上述した式（１）の較正処理の定式化は、説明のための一例である。

　図５は、視線方向ベクトルｖ_ｐｏｖのｘ成分を説明する図である。図５において、θ_ｙａｗは、Ｒ軸を起点に原点Ｏを中心として時計回りの方向が正の値となるように定める。従って、図５におけるθ_ｙａｗは、θ_ｙａｗ＜０である。また、ρ_ｙａｗは、Ｒ軸を起点に原点Ｏを中心として時計回りの方向が正の値となるように定める。従って、図５におけるρ_ｙａｗは、ρ_ｙａｗ＞０である。θ_ｙａｗおよびρ_ｙａｗの符号を上記のように定め、さらに、視線方向ベクトルｖ_ｐｏｖのｙ成分を「１」と定めれば、ｘ成分は、図５で示したように、ｔａｎ（θ_ｙａｗ－ρ_ｙａｗ）で表わされる。なお、上記の定義は、ユーザ位置が視線計測装置２０１に対して左右中央いずれの位置にあっても適用可能である。
　図示していないが、視線方向ベクトルｖ_ｐｏｖのｚ成分も同様に、θ_{ｐｉｔｃｈ}およびρ_{ｐｉｔｃｈ}を用いて表される。

　以上の処理により、視線方向較正装置１００は、各較正用注視対象の３次元座標と、運転者３０２が各較正用注視対象を注視している状態における視線方向とから、視線方向の較正に必要なパラメータを得ることができる。

　図６は、実施の形態１に係る視線方向較正装置１００の較正値算出部１０５および視線方向判定部１０７の処理例を示す説明図である。
　較正値算出部１０５は、サンプル取得部１０２から入力された視線方向θに対して較正後の視線方向θ´＝（θ－ρ）を算出する。較正値算出部１０５は、算出した較正後の視線方向θ´を、視線方向蓄積部１０６に蓄積するか、または、視線方向判定部１０７に出力する。

　また、較正値算出部１０５および視線方向判定部１０７は、次のように処理を行ってもよい。

　ｘ_{ｔａｒｇｅｔ}＝ｘ_ｈｅａｄ－ｓｖ_ｐｏｖ（１ａ）
　このｘ_{ｔａｒｇｅｔ}
は、計測された視線方向θと較正用パラメータとに基づく、較正後の視線方向を示す直線を表している。較正値算出部１０５は、取得した直線ｘ_{ｔａｒｇｅｔ}を視線方向判定部１０７に出力する。

　視線方向判定部１０７は、判定用注視対象Ｐの３次元座標（Ｐｘ，Ｐｙ，Ｐｚ）から直線ｘ_{ｔａｒｇｅｔ}までの距離を算出する。視線方向判定部１０７は算出した距離が閾値以内である場合、ユーザは判定用注視対象Ｐを見ていたと判定する。

　なお、視線方向判定部１０７が、ユーザが判定用注視対象Ｐの方向を視認しているか否かを判定する際の閾値は、判定用注視対象Ｐと運転者３０２との距離に基づいて設定してもよい。例えば、閾値は、判定用注視対象Ｐと運転者３０２との距離が短くなるほど閾値が大きくなり、判定用注視対象Ｐと運転者３０２との距離が長くなるほど閾値が小さくなるように連続的に設定される。また、閾値は判定用注視対象Ｐと運転者３０２との距離に応じて連続的に変化させて設定することなく、判定用注視対象Ｐと運転者３０２との距離が予め設定した距離以内であれば閾値を小さく設定し、判定用注視対象Ｐと運転者３０２との距離が予め設定した距離よりも離れている場合には閾値を大きく設定する構成としてもよい。
　このように、判定用注視対象Ｐと運転者３０２との距離に応じて閾値を設定することにより、視線方向判定部１０７は、運転者３０２が自身から近い地点を視認している際の視線方向のずれと、運転者３０２が自身から遠い地点を視認している際の視線方向のずれとを考慮し、視線方向を判定することができる。
　なお、上記では、ユーザが判定用注視対象を視認しているか否かを判定する際の閾値を、判定用注視対象Ｐと運転者３０２との距離に基づいて設定する場合を例に示したが、その他の条件に基づいて閾値を設定してもよい。

　次に、視線方向較正装置１００の動作について説明する。
　以下では、視線方向較正装置１００の動作を、較正パラメータ算出処理を行う動作と、視線方向の較正処理および視線方向の判定処理を行う動作とに分けて説明する。
　まず、較正パラメータ算出処理について、図７のフローチャートを参照しながら説明する。
　図７は、実施の形態１に係る視線方向較正装置１００による較正パラメータ算出処理の動作を示すフローチャートである。
　較正情報取得部１０１は、較正用注視対象の３次元座標を取得する（ステップＳＴ１）。較正情報取得部１０１は、取得した較正用注視対象の３次元座標を較正モデル生成部１０３に出力する。ここで、ユーザに対して、何れの較正用注視対象を注視するかを指示する情報がスピーカ（図示しない）またはディスプレイ（図示しない）等から出力される。ユーザが指定された較正用注視対象を注視すると、サンプル取得部１０２は、視線計測装置２０１から当該較正用注視対象を注視したユーザの視線方向を示したサンプルを取得し、較正モデル生成部１０３に出力する（ステップＳＴ２）。

　較正モデル生成部１０３は、ステップＳＴ１で取得された較正用注視対象の３次元座標と、サンプル取得部１０２が取得したサンプルに対応する較正用注視対象とを紐付けて取得する（ステップＳＴ３）。較正モデル生成部１０３は、上述した式（１）および（２）に基づいて、ステップＳＴ３で取得した較正用注視対象の３次元座標と、ステップＳＴ２で取得されたサンプルとから、ユーザ位置の候補となる３次元座標を示す複数の較正モデルを生成する（ステップＳＴ４）。較正モデル生成部１０３は、ステップＳＴ４で生成した較正モデルを較正パラメータ算出部１０４に出力する。

　次に、視線方向の較正処理および視線方向の判定処理について、図８のフローチャートを参照しながら説明する。
　図８は、実施の形態１に係る視線方向較正装置１００の視線方向の較正処理および視線方向の判定処理の動作を示すフローチャートである。
較正値算出部１０５は、入力装置２０２を介して判定用注視対象を注視しているかの判定要求が入力されると（ステップＳＴ２１）、サンプル取得部１０２が取得したサンプルの視線方向に対して較正後の視線方向を算出する（ステップＳＴ２２）。較正値算出部１０５は、算出した較正後の視線方向を視線方向判定部１０７に出力する。視線方向判定部１０７は、判定用注視対象の方向を算出する（ステップＳＴ２３）。視線方向判定部１０７は、ステップＳＴ２２で算出された較正後の視線方向と、ステップＳＴ２３で算出した判定用注視対象の方向とに基づいて、ユーザが判定用注視対象を視認しているか否か判定を行う（ステップＳＴ２４）。

　ユーザが判定用注視対象を視認している場合（ステップＳＴ２４；ＹＥＳ）、視線方向判定部１０７は、ユーザが判定用注視対象を視認しているとの結果を出力し（ステップＳＴ２５）、処理を終了する。
　一方、ユーザが判定用注視対象を視認していない場合（ステップＳＴ２４；ＮＯ）、視線方向判定部１０７は、ユーザが判定用注視対象を視認していないとの判定結果を出力し（ステップＳＴ２６）、処理を終了する。

　図９は、実施の形態１に係る視線方向較正装置１００の較正処理の結果を示す図である。
　図９は、車両内の装備品を較正用注視対象として、上述した視線方向の較正処理を行った結果を示している。車両の装備品として、図９では、視線計測装置２０１、バックミラー３０５、右サイドミラー３０３および左サイドミラー３０４を注視対象とした場合を示している。
　図９において、横軸は車両の車幅方向の視線方向の位置を示し、縦軸は車両が走行する路面に対して垂直方向の視線方向の位置を示している。また、矩形領域４０１は、ユーザの正面位置を示す。矩形領域４０２から矩形領域４０５は、車両の各装備品を較正用注視対象とした場合の較正後の視線方向の位置を示している。結果４１２から結果４１５は較正用注視対象である車両の各装備品を注視した際のユーザの視線方向の位置を示している。図９は、視線方向較正装置１００による較正処理により、較正後の視線方向の位置を表す矩形領域が、それぞれに対応する結果へと収束する様子を示している。

　なお、図９において、結果４１２は視線計測装置２０１を注視した際のユーザの視線ベクトルのプロットを示している。同様に、結果４１３はバックミラー３０５、結果４１４は右サイドミラー３０３、結果４１５は左サイドミラー３０４を注視した際のユーザの視線ベクトルのプロットを示している。

　運転者は、車両の走行中にバックミラーまたはサイドミラー等の車両の装備品を頻繁に視認する。そこで、車両の装備品を較正用注視対象とすることにより、運転者が車両の運転中に車両の装備品を見るといった無意識な行動、または必然的な挙動によって視線方向の較正処理を行うことができる。
　車両の走行中に運転者が車両の装備品を見る行動により、視線方向の基準を設定し、視線方向検出のキャリブレーションを行う技術が、例えば以下の参考文献１等に開示されている。
・参考文献１
特開２０１０－３０３６１号公報

　以上のように、この実施の形態１に係る視線方向較正装置１００は、少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得する較正情報取得部１０１と、ユーザの視線方向を示した複数のサンプルを取得するサンプル取得部１０２と、取得された３次元座標と、取得された各較正用注視対象を注視している状態のユーザの視線方向を示したサンプルとに基づいて、ユーザ位置の候補となる３次元座標を示す複数の較正モデルを生成する較正モデル生成部１０３と、生成された較正モデルに基づいて、較正パラメータを算出する較正パラメータ算出部１０４とを備えるように構成した。

　これにより、任意の点に向けられた視線に対して計測された視線方向に含まれる計測誤差を較正することができる。また、視線方向と較正用注視対象の情報のみから較正パラメータを算出することができる。このため、例えば１つの撮像手段に基づく視線方向計測値のみを用いた構成においても較正パラメータを算出することができるので、ユーザ位置を把握するための距離計を用いる技術や複数の撮像手段を用いる技術と比較して、構成が簡易となり、且つ、コストを抑制することができる。

　また、この実施の形態１に係る視線方向較正装置１００は、サンプル取得部１０２が取得したユーザの視線方向を、較正パラメータ算出部１０４が算出した較正パラメータに基づいて較正し、較正された視線方向を算出する較正値算出部１０５と、算出された較正された視線方向と、較正パラメータ算出部１０４が算出した較正パラメータとに基づいて、ユーザが判定用注視対象を視認しているか否か判定する視線方向判定部１０７とを備えるように構成した。
　これにより、任意の点に向けられたユーザの視線方向を判定することができる。

　なお、上述した実施の形態１に係る視線方向較正装置１００において、視線計測装置２０１の計測特性についても較正対象とする場合には、上述した式（２）を、以下の式（２ａ）に変形することにより、対応可能である。

　式（２ａ）では、式（２）におけるθをｆ（α，θ）に置き換えている。式（２ａ）において、関数ｆにおける変数αについても最適化対象とすることにより、視線計測装置２０１の計測特性を較正対象とすることができる。
　ユーザの個人差、または視線計測装置２０１の個体差等により、３次元座標のＸ，Ｙ，Ｚ方向でサンプル取得部１０２の感度が変化する場合においては、式（２ａ）におけるｆ（α，θ）をαθとする。これにより、視線計測装置２０１の計測特性の感度についても同時に較正することができる。なお、式（２ａ）におけるαは、α_ｙａｗとα_{ｐｉｔｃｈ}とで個別に設定する。

　また、視線計測装置２０１の計測特性の他の例として、同一の大きさを持つ較正用注視対象がユーザ位置に近い距離にある場合には遠い位置にある場合と比較して視角が大きくなるために、較正用注視対象の中心座標からのズレが大きくなることで視線方向の計測値にバラつきが大きくなることが想定される。視線方向の計測値にバラつきが大きい場合には、較正モデルがユーザ位置を適切に反映しない可能性が高まるために較正パラメータの推定精度が低下するという問題が発生する。そのため、例えば、同一の較正用注視対象を注視している場合の視線方向の標準偏差をσとしてｗ＝ｅｘｐ（－σ）による重み係数を付加するなどにより、視線方向のバラつきが大きいほど重み係数を小さくすることが望ましい。

　なお、上述した説明では視線方向の標準偏差σを基準に連続的に重みを付す場合を示したが、ＳＶＭ（Support Vector Machine）におけるソフトマージンのように、不連続的に較正モデルの重みを付してもよい。

　なお、上述した説明では、視線方向較正装置１００が３次元空間内の任意の点について、較正された視線方向を算出する場合を示した。しかし、視線方向較正装置１００は、３次元空間の特殊な場合である２次元空間内の任意の点について、較正された視線方向を算出する構成としてもよい。

　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

　この発明に係る視線方向較正装置は、車載機器およびテレビ等のディスプレイを備えた装置等において、ユーザの視線方向を精度よく判定し、ユーザの視認対象を正確に把握することが要求されるシステム等に適用可能である。

　１００　視線方向較正装置、１０１　較正情報取得部、１０２　サンプル取得部、１０３　較正モデル生成部、１０４　較正パラメータ算出部、１０５　較正値算出部、１０６ａ　較正パラメータ蓄積部、１０６ｂ　視線方向蓄積部、１０７　視線方向判定部。

Claims

　少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得する較正情報取得部と、
　ユーザの視線方向を示した複数のサンプルを取得するサンプル取得部と、
　前記較正情報取得部が取得した３次元座標と、前記サンプル取得部が取得した前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルとに基づいて、前記ユーザの位置の候補となる３次元座標を示す複数の較正モデルを生成する較正モデル生成部と、
　前記較正モデル生成部が生成した前記較正モデルに基づいて、較正パラメータを算出する較正パラメータ算出部とを備えた視線方向較正装置。
　前記サンプル取得部が取得した前記ユーザの視線方向を、前記較正パラメータ算出部が算出した前記較正パラメータに基づいて較正し、較正された視線方向を算出する較正値算出部と、
　前記較正値算出部が算出した前記較正された視線方向と、前記較正パラメータ算出部が算出した前記較正パラメータとに基づいて、前記ユーザが判定用注視対象を視認しているか否か判定する視線方向判定部とを備えたことを特徴とする請求項１記載の視線方向較正装置。
　前記視線方向判定部が前記ユーザが前記判定用注視対象を視認していると判定するための閾値は、前記ユーザと前記判定用注視対象との距離に基づいて設定されることを特徴とする請求項２記載の視線方向較正装置。
　前記較正モデル生成部は、前記ユーザの視線方向の算出特性を較正対象とすることを特徴とする請求項１記載の視線方向較正装置。
　前記較正パラメータ算出部は、前記ユーザの視線方向を計測する計測装置の計測範囲内の位置に応じて前記較正モデルに重みを付加することを特徴とする請求項１記載の視線方向較正装置。
　前記較正パラメータ算出部は、前記較正用注視対象ごとに、前記ユーザの視線方向のバラつきの大きさに応じて前記較正モデルに重みを付加することを特徴とする請求項１記載の視線方向較正装置。
　前記較正パラメータ算出部は、前記ユーザの視線方向ごとに、当該ユーザの視線方向が属する前記較正用注視対象における前記ユーザの視線方向の分布からの当該ユーザの視線方向の外れ度合いに応じて前記較正モデルに重みを付加することを特徴とする請求項１記載の視線方向較正装置。
　較正情報取得部が、少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得するステップと、
　サンプル取得部が、ユーザの視線方向を示した複数のサンプルを取得するステップと、
　較正モデル生成部が、前記各較正用注視対象の位置を示す３次元座標と、前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルとに基づいて、前記ユーザの位置の候補となる３次元座標を示す複数の較正モデルを生成するステップと、
　較正パラメータ算出部が、前記生成された前記較正モデルに基づいて、較正パラメータを算出するステップとを備えた視線方向較正方法。
　少なくとも一つの較正用注視対象について、各較正用注視対象の位置を示す３次元座標を取得する手順と、
　ユーザの視線方向を示した複数のサンプルを取得する手順と、
　前記各較正用注視対象の位置を示す３次元座標と、前記各較正用注視対象を注視している状態の前記ユーザの視線方向を示した前記サンプルとに基づいて、前記ユーザの位置の候補となる３次元座標を示す複数の較正モデルを生成する手順と、
　前記生成された前記較正モデルに基づいて、較正パラメータを算出する手順とをコンピュータに実行させるための視線方向較正プログラム。