JP6631561B2 - 方向検出装置及び操作制御装置 - Google Patents

Description

この明細書による開示は、顔画像を用いて視線又は顔の方向を検出する技術に関する。

従来、例えば特許文献１には、車両に搭乗する搭乗者の顔を撮影するカメラを備えた車両用撮像装置が開示されている。こうした車両用撮像装置では、視線検出に必要な瞳孔の位置及び角膜反射光の位置等が顔画像から検出されるように、カメラにおける露光の設定は、搭乗者の周囲の明るさ等に応じて、自動的に制御される。

特開２０１６‐４９２６０号公報

さて、車両の走行によれば、例えばトンネルへの進入時等にて、搭乗者の周囲の明るさが急変する。このような明るさの急変するシーンを予め網羅的に想定することは、非常に困難である。そして、予め想定困難な要因により明るさが急変すると、カメラ等の撮像部の露出は、適切な範囲内から外れてしまい得る。その結果、視線等の方向を顔画像から検出できないエラーの状態が、継続的に発生し続ける虞があった。

本開示は、上記問題点に鑑みてなされたものであり、その目的は、撮像部における露出を適切に制御可能な方向検出装置及び操作制御装置を提供することにある。

上記目的を達成するため、開示された一つの態様は、移動体に搭乗する搭乗者（Ｕ）の顔を撮影する撮像部（１０）にて撮像される顔画像（ＰＦ）を用いて搭乗者の視線及び顔の少なくとも一方の方向を検出する方向検出装置であって、搭乗者の周囲の明るさを示す測光量の情報を取得する測光量取得部（２２）と、測光量に基づき、撮像部にて用いられる露出値を設定し、撮像部における露出を制御する露出設定部（２３）と、顔画像から方向が検出できないエラーの状態を検知するエラー検知部（３６）と、エラーの発生を、測光量及び露出値と関連づけて記録し、記録したエラーの発生率に基づいて、測光量に対し設定可能な露出値の許可範囲を学習する設定学習部（３８）と、を備え、露出設定部は、測光量取得部にて取得された測光量に対し、設定学習部にて設定された許可範囲内の露出値を設定する方向検出装置とされている。

また、開示された一つの態様は、移動体に搭乗する搭乗者（Ｕ）によって操作可能な操作対象機器（１１０）と接続される操作制御装置であって、搭乗者の顔を撮影する撮像部（１０）にて撮像される顔画像（ＰＦ）を用いて、搭乗者の視線及び顔の少なくとも一方の方向を検出する方向検出部（３５）と、方向検出部にて検出された方向に基づき、操作対象機器の作動を制御する動作制御部（４０）と、搭乗者の周囲の明るさを示す測光量の情報を取得する測光量取得部（２２）と、測光量に基づき、撮像部にて用いられる露出値を設定し、撮像部における露出を制御する露出設定部（２３）と、顔画像から方向が検出できないエラーの状態を検知するエラー検知部（３６）と、エラーの発生を、測光量及び露出値と関連づけて記録し、記録したエラーの発生率に基づいて、測光量に対し設定可能な露出値の許可範囲を学習する設定学習部（３８）と、を備え、露出設定部は、測光量取得部にて取得された測光量に対し、設定学習部にて設定された許可範囲内の露出値を設定する操作制御装置とされている。

これらの態様によれば、視線又は顔の方向が顔画像から検出できないエラーの発生が記録される。そして、エラーの発生率に基づき、測光量に対して設定可能な露出値の範囲が学習される。このように、方向検出での出力段におけるエラーの発生が、露出値の設定にフィードバックされれば、予め想定困難な要因によるエラーの発生は、方向検出装置の使用を通じて徐々に低減され得る。以上によれば、方向検出装置及び操作制御装置は、撮像部における露出を適切な範囲内に制御できる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

第一実施形態による視線操作装置を含む車載された構成の全体像を示すブロック図である。 視線計測部による視線計測処理の詳細を示すフローチャートである。 露出設定に起因する視線検出への影響を比較して示す図である。 マップ生成部によるマップ生成処理の詳細を示すフローチャートである。 測光量と適切な露出値との関係を説明する図であって、図５Ａは、測光量に応じたエラー率の変化を露出設定毎に示す図であり、図５Ｂは、設定可否マップの一例を示す図であり、図５Ｃは、露出設定可否マップに基づいてエラー限界特性がどうなるかを模式的に示した図である。 トンネルの通過時における露出制御の推移を示すタイムチャートである。 露出制御部による露出制御処理の詳細を、図８と共に示すフローチャートである。 露出制御部による露出制御処理の詳細を、図７と共に示すフローチャートである。 急変予測部による急変予測処理の詳細を示すフローチャートである。 露出設定部による急変検出処理の詳細を示すフローチャートである。 第二実施形態による露出制御の推移を示すタイムチャートである。 変形例１による露出制御の推移を示すタイムチャートである。

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
図１に示す本開示の第一実施形態による視線操作装置１００は、例えばナビゲーション装置１１０と共に車両に搭載されている。視線操作装置１００は、ナビゲーション装置１１０と直接的又は間接的に電気接続されている。視線操作装置１００は、顔画像ＰＦを用いて操作者Ｕの視線の方向を検出する。視線操作装置１００は、操作者Ｕの視線の方向を検出し、検出した視線の方向に対応した作動をナビゲーション装置１１０に実行させる。操作者Ｕは、車両に搭乗する搭乗者であり、一例として運転者等である。視線操作装置１００の機能により、操作者Ｕは、運転中に手を使うことなく、視線の方向によってナビゲーション装置１１０を操作できる。

視線操作装置１００は、撮像部１０、露出制御部２０、視線計測部３０、動作制御部４０、及び外部通信部５０を備えている。

撮像部１０は、操作者Ｕの顔及びその周囲を撮影するカメラ装置である。撮像部１０は、操作者Ｕの顔画像ＰＦを撮像し、露出制御部２０に逐次出力する。撮像部１０は、光源１１、光学系１２、イメージセンサ１３、及びコントローラ１４を有している。

光源１１は、例えば近赤外光を操作者Ｕへ向けて放射する近赤外光源である。光学系１２は、イメージセンサ１３と光学的に結合されている。光学系１２は、レンズ、及びバンドパスフィルタ（以下、「band-pass filter：ＢＰＦ」）等を含む構成である。イメージセンサ１３は、光学系１２によって導入された光から、顔の周囲を撮像した顔画像ＰＦを撮像する。コントローラ１４は、光源１１及びイメージセンサ１３と電気的に接続された制御部である。コントローラ１４は、露出制御部２０から取得する発光制御値に基づき、光源１１の発光時間を調整する。コントローラ１４は、露出制御部２０から取得する露出値に基づき、イメージセンサ１３における露出時間、絞り値、及びＩＳＯ感度等を調整する。

露出制御部２０は、撮像部１０にて操作者Ｕの顔が適切に撮像されるように、撮像部１０の露出を制御する露出制御処理（図７及び図８参照）を繰り返し行う。露出制御部２０は、画像取得部２１、露出評価部２２、及び露出設定部２３を有している。

画像取得部２１は、イメージセンサ１３にて撮像された顔画像ＰＦの画像データを逐次取得する。画像取得部２１は、取得した画像データを視線計測部３０に出力する。

露出評価部２２は、操作者Ｕの周囲の明るさを示す測光量の情報を取得する。具体的に、露出評価部２２は、測光量に対応する情報として、画像取得部２１にて取得された顔画像ＰＦについての平均輝度を算出する。露出評価部２２は、平均輝度の算出にあたり、顔画像ＰＦの中央及び顔の範囲等、特定の領域の重要度を高めた加重平均を算出してもよい。

露出設定部２３は、測光量に基づき、イメージセンサ１３の制御に用いられる露出値及び光源１１の制御に用いられる発光制御値を設定する。具体的に、露出設定部２３は、露出評価部２２にて算出される平均輝度が予め設定された目標輝度に近づくように、露出値及び発光制御値を調整する。露出設定部２３は、設定した露出値及び発光制御値を、コントローラ１４へ向けて逐次送信する。露出値は、外光が少なくなるほど、露出時間が長くなるように設定され、外光が多くなると、露出時間が短くるように設定される。

視線計測部３０は、撮像部１０にて撮像された顔画像ＰＦを用いて、操作者Ｕの視線の方向を検出する。視線計測部３０は、操作者Ｕの視線方向だけでなく、顔の方向（以下、「顔向き」）を検出可能であってもよい。視線計測部３０は、視線計測処理（図２参照）を繰り返し行う。視線計測部３０は、フレームメモリ３１、顔検出部３２、顔部品検出部３３、目検出部３４、幾何計算部３５、エラー検知部３６、方向計測メモリ３７、及びマップ生成部３８を有している。

フレームメモリ３１は、画像取得部２１から顔画像ＰＦを取得する。フレームメモリ３１は、少なくとも１フレーム分の顔画像ＰＦを一時的に保持可能な記憶部である。フレームメモリ３１に記憶された顔画像ＰＦは、顔検出部３２、顔部品検出部３３、及び目検出部３４からの同時アクセスが可能である。

顔検出部３２は、顔画像ＰＦにおける顔の輪郭部分の濃淡などの特徴から、操作者Ｕの顔を検出する（Ｓ３１参照）。顔部品検出部３３は、目、鼻、口等の顔部品周辺の濃淡及び位置関係等の特徴から、これら顔部品を検出する（Ｓ３２参照）。目検出部３４は、顔検出部３２による顔検出又は顔部品検出部３３による顔部品検出により、大まかに特定された目の場所から、円形状のパターンマッチングを行うことで、虹彩又は瞳孔を精密に検出する（Ｓ３３参照）。幾何計算部３５は、顔部品の位置関係、瞼と目との位置関係から視線方向及び顔向きを計算する。視線方向及び顔向きの検出結果は、計測メモリに格納される。

エラー検知部３６は、視線計測処理（図２参照）によって顔画像ＰＦから視線方向又は顔向きが検出できない場合に、エラーの状態を検知する。図３に示すように、撮像部１０の露出が明るさに対して適正に制御されていれば、顔の輪郭の検出、並びに目の虹彩及びプルキニエ等の抽出は、共に正常に行われる。一方で、露出オーバーの場合、目の虹彩及びプルキニエ等の抽出が正常に行われ得るものの、顔の輪郭の検出が困難になる。また、露出アンダーの場合、顔の輪郭の検出が正常に行われ得るものの、目の虹彩及びプルキニエ等の抽出は、困難になる。図１に示すエラー検知部３６は、上記の露出オーバー及び露出アンダーのいずれかによるエラーの状態を検知すると、エラーの発生情報をマップ生成部３８に通知する。

方向計測メモリ３７は、顔検出部３２、顔部品検出部３３、及び目検出部３４により、演算のための記憶領域として利用される。方向計測メモリ３７には、幾何計算部３５にて検出された視線方向及び顔向きの情報が格納されている。これらの情報は、動作制御部４０によって参照される。

マップ生成部３８は、視線方向及び顔向きの検出エラーの発生情報を、エラー検知部３６から取得する。マップ生成部３８は、エラーが発生した顔画像ＰＦの撮像時における露出値及び測光量の情報を、露出評価部２２及び露出設定部２３から取得する。マップ生成部３８は、エラーの発生を測光量及び露出値と関連づけて記録する。マップ生成部３８は、マップ生成処理（図４参照）を継続的に実施することにより、現在の測光量に対し設定可能な露出値の許可範囲を学習し、設定可否マップ（図５Ｂ参照）を生成する。

具体的に、マップ生成部３８は、幾何計算部３５によって視線検出が出力される毎に、エラー検知部３６から取得するエラーの発生情報に基づき、エラーの発生率（以下、「エラー率」）を監視する（Ｓ４１参照）。視線検出のエラー率は、視線検出におけるエラー発生回数を、視線検出の出力回数で除算した値である。エラー率は、分子及び分母共に、露出値及び測光量に分けて計算される。視線検出の出力回数が少ない場合、エラー率に生じる誤差を低減するため、検出回数に応じた補正係数が掛け合わされてもよい。

マップ生成部３８は、エラー率が規定値以上になったか否かを判定する（Ｓ４２参照）。図５に示すように、露出時間が短くなるほど、操作者Ｕの周囲が明るくなっても、エラー率の上昇は、生じ難くなる。反対に、露出時間が長くなるほど、操作者Ｕの周囲が暗くなっても、エラー率の上昇は、生じ難くなる。

図１に示すマップ生成部３８は、エラー率が規定値以上となった場合に、エラーログとして、露出値（露出量）及び測光量を記録する（Ｓ４３参照）。マップ生成部３８は、記録したエラーログを統計分析し、エラー率に基づく設定可否マップを生成する（Ｓ４４参照）。図５Ｂに示すように設定可否マップは、測光量に対して、各露出値が設定可能か否かを規定している。露出値の設定可否マップは、露出設定部２３に提供される。設定可否マップの「○」の範囲が設定可を示す許可範囲であり、「×」の範囲が設定不可となる許可範囲外である。許可範囲では、エラー率が規定値以下となり、許可範囲外では、エラー率は、規程値を超える。尚、顔向きについてのエラー率は、視線方向のエラー率と同様の方法によって算出可能である。

図１に示す視線計測部３０は、視線方向及び顔向き等の検出結果の出力毎に、エラー率が規定値を超える露出条件を記録する。そして、エラーが生じない範囲で露出制御されるように、エラーの発生情報は、露出制御部２０及び撮像部１０の露出設定にフィードバックされる。

動作制御部４０は、動作指示部４１及び急変予測部４２を有している。動作指示部４１は、方向計測メモリ３７から視線方向及び顔向きの情報を取得する。動作指示部４１は、視線方向及び顔向きに基づき、ナビゲーション装置１１０に指示する動作を設定する。急変予測部４２は、車両の移動に伴う測光量の急変を予測する。急変予測部４２は、例えば地図データに基づき、車両がトンネル等に進入する少し前のタイミング、及び車両がトンネルから出る少し前のタイミングで、測光量の急変を予測する。急変予測部４２は、車両周囲の明るさ急変を予測するための情報を、外部通信部５０を通じて取得する。

外部通信部５０は、ナビゲーション装置１１０と直接的又は間接的に電気接続されている。外部通信部５０は、ナビゲーション装置１１０から、車両の進行方向の地図データ等を取得する。外部通信部５０は、地図データに基づき、トンネル等の位置情報を取得し、急変予測部４２に提供する。外部通信部５０は、動作指示部４１にて設定された動作を、指令信号としてナビゲーション装置１１０に出力する。動作指示部４１及び外部通信部５０による制御により、操作者Ｕは、視線方向等による表示画面のスクロール及びアイコンの選択等を行うことができる。

ナビゲーション装置１１０は、ＧＮＳＳ（Global Navigation Satellite System）受信機１１１、地図データベース（以下、「地図ＤＢ」）１１２、表示器１１３、及び通信機１１４を備えている。ＧＮＳＳ受信機１１１は、車両の現在位置を測位する。地図ＤＢ１１２は、大量の地図データを格納した記憶装置である。表示器１１３は、表示画面に車両の現在位置と周辺の地図データとを表示する。通信機１１４は、情報センター１２０に設けられた情報データベース（以下、「情報ＤＢ」）１２１から、交通規制情報等を取得する。ナビゲーション装置１１０は、上記の構成により、運転者である操作者Ｕに、目的地までのルートを案内する。

次に、露出制御部２０にて実施される露出制御の詳細を、図６に基づき、図１を参照しつつ説明する。図６に示すタイムチャートは、車両がトンネルを通過する場合の露出制御の推移を示している。尚、図６では、実線がフィードバックを含む露出制御の推移であり、破線は、比較のためのフィードバックを行わない露出制御の推移である。

時刻ｔ１以前の通常走行時において、露出時間は、顔画像ＰＦから算出される測光量に基づき、設定可否マップ（図５Ｂ参照）にて設定可能とされた許可範囲内で制御されている。そして、時刻１では、ナビゲーション装置１１０から取得する地図データに基づき、急変予測部４２が、進行方向のトンネルの入口を検出する。急変予測部４２にて、明から暗への明るさ変化が先読みされると、露出設定部２３は、明るさの変化が生じる少し前から、露出時間を露出オーバー側へシフトするような露出値の調整を行う。具体的に、露出時間は、通常時の露出フィードバック計算値とオーバー側シフト設定値との総和に設定される。シフト後の露出時間は、現在の測光量に対する上限値を超えないように、上限値に対し余裕度を取った値に設定される。尚、露出時間の上限値及び下限値は、設定可否マップと実質同一の考え方で設定可能であり、エラー率が規定値以下になる領域の境界値である。

時刻２にてトンネルへ進入すると、明から暗への明るさの急変が生じる。このとき、予め行われていた露出時間のシフトにより、測光量に露出値が追従する追従時間は、短縮され得る。その結果、エラーの防止、或いはエラーからの極めて短時間での正常復帰が可能になる。

さらに時刻ｔ２では、測光量の急変の検出をトリガとして、露出制御部２０は、測光量に応じて露出値を変化させる応答制御の制御ゲインを高く設定する。これにより、露出時間の応答遅れが短縮される。具体的に、制御ゲインは、通常値から、予め設定された加速制御用ゲインに切り替えられる。加速制御用ゲインは、時刻ｔ２から時刻ｔ３までの制御対象範囲にて、一時的に設定される。加速制御用ゲインを用いて算定された露出値が設定可否マップの許可範囲内である場合、算定された露出値は、そのままコントローラ１４で用いられる。一方、加速制御用ゲインを用いて算定された露出値が設定可否マップの許可範囲外である場合、算定された露出値は、許可範囲に入るように補正される。以上のように、制御対象範囲内においても、露出値は、視線方向の検出に適していると学習された値のみが使用される。

そして時刻４では、急変予測部４２が、進行方向のトンネルの出口を検出し、暗から明への明るさ変化を先読みする。その結果、露出設定部２３は、明るさの変化が生じる少し前から、露出時間を露出アンダー側へシフトするような露出値の調整を行う。具体的に、露出時間は、通常時の露出フィードバック計算値とアンダー側シフト設定値との総和に設定される。シフト後の露出時間は、現在の測光量に対する下限値を超えないように、下限値に対し余裕度を取った値に設定される。オーバー側シフト設置値は、露出時間を長くするような正の値であり、アンダー側シフト設定値は、露出時間を短くするような負の値である。

時刻５では、トンネル出口への接近により、暗から明への明るさの急変が生じると、測光量の急変の検出をトリガとして、露出値を制御する制御ゲインは、通常値から加速制御用ゲインへと切り替えられる。時刻ｔ６では、車両がトンネルの出口を通過する。暗から明への明るさの急変の場合でも、加速制御用ゲインは、時刻ｔ５から時刻ｔ７までの制御対象範囲にて、一時的に設定される。以上により、露出時間は、明るさが急変する過渡期間においても、上限値及び下限値の間で推移するようになる。

尚、急変予測部４２による明るさ変化の先読み方法は、適宜変更されてよい。例えば急変予測部４２は、車両に設けられた周辺監視カメラ又はドライブレコーダ等の進行方向の画像から、将来的な車両周囲の明るさを予測してもよい。さらに、ナビゲーション装置１１０にて、直射日光が操作者Ｕの顔に当たることを計算し、その情報が急変予測部４２に提供されてもよい。

以上のタイムチャートに例示した制御を実現するため、視線操作装置１００にて実施される制御の詳細を、図７〜図９に基づき、図１及び図６を参照しつつ、説明する。図７〜図９に記載の各フローは、視線操作装置１００の起動に伴って開始され、視線操作装置１００の停止まで繰り返し実施される。

図７及び図８に示す露出制御処理は、主に露出制御部２０にて実施され、検出エラーが規定値以下に抑制されるように、露出設定可否マップを使用して露出値を設定する処理である。露出制御処理のＳ５１では、顔画像ＰＦの撮像毎に露出の制御を行い、Ｓ５２に進む。Ｓ５２では、露出制御の初期化が済んでいるか否かを判定し、初期化が完了している場合は、Ｓ５５に進む。一方で、初期化が済んでいない場合は、Ｓ５３に進む。

Ｓ５３では、起動時に用いられる仮の値として設定値の初期値をロードし、Ｓ５４に進む。Ｓ５４では、初期化済みのフラグをセットし、Ｓ５５に進む。Ｓ５５では、マップ生成処理（図４参照）によって新たに更新された設定可否マップのデータがあるか否かを判定する。Ｓ５５にて、更新データが無いと判定した場合、Ｓ５７に進む。一方、Ｓ５５にて、更新データがあると判定した場合、Ｓ５６に進む。Ｓ５６では、設定可否マップを更新し、Ｓ５７に進む。

Ｓ５７では、顔画像ＰＦから測光量を算出し、目標光量を計算する。一例として、Ｓ５７では、顔画像ＰＦから算出する平均輝度から、現在の明るさを推定し、顔画像ＰＦの目標輝度を計算し、Ｓ５８に進む。

Ｓ５８では、後述する急変予測処理（図９参照）により、測光量の急変予測フラグがセットされているか否かを判定する。Ｓ５８にて、急変予測フラグを検出していない場合、Ｓ６０に進む。一方、Ｓ５８にて、急変予測フラグを検出した場合、Ｓ５９に進む。Ｓ５９では、測光量の目標光量を予め設定された所定値、増量又は減量し、Ｓ６０に進む。具体的に、明から暗への急変が予測される場合、露出時間にオーバー側シフト設定値が加算されるように、目標光量の増量を行う（図６ 時刻ｔ１〜ｔ２参照）。反対に、暗から明への急変が予測される場合、露出時間にアンダー側シフト設定値が加算されるように、目標光量の減量を行う（図６ 時刻ｔ４〜ｔ５参照）。

Ｓ６０では、後述する急変検出処理（図１０参照）により、測光量の急変フラグがセットされているか否かを判定する。Ｓ６０にて、急変フラグを検出していない場合、Ｓ６１に進む。Ｓ６１では、顔画像の測光量（平均輝度）が目標光量（目標輝度）になるよう、露出量（露出値）を計算する。加えてＳ６１では、露出値を制御する制御ゲインを、通常値に設定し、Ｓ６３に進む。

一方、Ｓ６０にて、急変フラグが検出された場合、Ｓ６２に進む。Ｓ６２でも、顔画像の測光量（平均輝度）が目標光量（目標輝度）になるよう、露出量（露出値）を計算する。加えてＳ６２では、制御ゲインを通常値から増量させる。具体的には、制御ゲインを通常値から、応答性の高い加速制御用ゲインに切り替え、Ｓ６３に進む（図６ 時刻ｔ２〜ｔ３，時刻ｔ５〜ｔ６参照）。

Ｓ６３では、Ｓ６１又はＳ６２にて計算した露出値、即ち、露出時間と測光量との関係を設定可否マップと照合し、Ｓ６４に進む。Ｓ６４では、Ｓ６１又はＳ６２にて計算した露出値がそのまま設定可能か否かを判定する。Ｓ６４にて、計算した値の設定が可能であると判定した場合、Ｓ６６に進み、露出値をコントローラ１４へ向けて送信する。

一方、Ｓ６４にて、計算した値が設定否の範囲であると判定した場合、Ｓ６５に進む。Ｓ６５では、露出時間と測定量との関係を補正する。具体的に、Ｓ６６では、設定可否マップにおける設定否の領域に入らないように、シフト設定値及び加速制御用ゲイン等の調整を行い、補正値を含む露出値を再計算して、Ｓ６６に進む。Ｓ６６では、Ｓ６５にて再計算した補正済みの露出値をコントローラ１４へ向けて送信する。

図９に示す急変予測処理は、主に急変予測部４２にて実施され、ナビゲーション装置１１０から取得する地図データに基づき、前方のトンネル等を検出し（図６ 時刻ｔ１，ｔ４参照）、露出制御モードを変更させる処理である。急変予測処理のＳ７１では、測光量が急変する予測情報、即ち前方のトンネル等の情報を、ナビゲーション装置１１０等の他機器から受信し、Ｓ７２に進む。

Ｓ７２では、Ｓ７１にて、測光量の急変が予測される情報を検出したか否かを判定する。Ｓ７２にて、急変予測情報を検出していない場合、急変予測処理を一旦終了する。一方、Ｓ７２にて、急変予測情報を検出した場合、Ｓ７３に進む。Ｓ７３では、測光量の急変予測フラグをセットし、Ｓ７４に進む。

Ｓ７４では、タイマーのセット済みフラグがセットされているか否かを判定する。Ｓ７４にて、タイマーがセット済みと判定した場合、急変予測処理を一旦終了する。一方、タイマーがセット済みでないと判定した場合、Ｓ７５に進む。Ｓ７５では、タイマーをセットし、Ｓ７６に進む。Ｓ７６では、タイマーのセット済みフラグをセットし、急変予測処理を一旦終了する。尚、Ｓ７５によるタイマーのセットにより、露出制御部２０は、測光量の急変検出の待機した状態となる。また、タイマーの値は、図１０に示す急変検出処理でも利用される。

図１０に示す急変検出処理は、主に露出制御部２０にて実施され、撮像部１０にて撮像された顔画像ＰＦの変化に基づき、明るさの急変を検出する処理である。急変検出処理のＳ８１では、顔画像ＰＦの平均輝度から、測光量が急変したかどうか監視し、Ｓ８２に進む。Ｓ８２では、Ｓ８１の監視によって測光量の急変を検出したか否かを判定する。Ｓ８２にて、測光量の急変を検出した場合、Ｓ８３に進む。Ｓ８３では、測光量の急変フラグをセットし、急変検出処理を一旦終了する。

一方、Ｓ８２にて、測光量の急変を検出していない場合、Ｓ８４に進む。Ｓ８４では、急変予測処理のＳ７５にて設定されたタイマーの値に基づき、急変の待機状態がタイムアウトしたか否かを判定する。タイマーの値が所定値未満の場合、急変検出処理を一旦終了する。対して、タイマーの値が所定値以上の場合、タイムアウトと判定し、Ｓ８５に進む。Ｓ８５では、測光量の急変検出の待機を中止し、Ｓ８６に進む。Ｓ８６では、タイマーの終了処理を行い、急変検出処理を一旦終了する。

ここまで説明した第一実施形態では、視線方向が顔画像ＰＦから検出できないエラーの発生が記録される。そして、エラーの発生率に基づき、測光量に対して設定可能な露出値の範囲が学習される。このように、視線の方向検出での出力段におけるエラーの発生が、露出値の設定にフィードバックされれば、予め想定困難な要因によるエラーの発生は、視線操作装置１００の使用を通じて徐々に低減され得る。以上によれば、視線操作装置１００は、撮像部１０における露出を適切な範囲内に制御できる。

加えて第一実施形態によれば、測光量の急変が予測された場合に、露出値は、こうした明るさの変化に対応する側に予めシフトされる。加えて、シフト後の露出値は、現在の測光量に対し設定可能とされた範囲内に収められている。以上によれば、露出値は、測光量の急変の前後において、エラーの頻発する範囲にはみ出ることなく、正常な範囲内に維持され得る。

また第一実施形態によれば、シフト後の露出値は、設定可否マップにて設定可能とされた露出値の範囲の上限又は下限の境界値に対して、余裕度を有している（図６参照）。故に、急変前に露出値がエラーの頻発する範囲にはみ出る事態は、抑制され得る。

さらに第一実施形態では、制御対象範囲にて、測光量に応じて露出値を変化させる制御ゲインが通常値から加速制御用ゲインへと一時的に高められる。故に、トンネル等の通過に伴い、測光量が急変した場合でも、露出値は、エラーが頻発しないような範囲内に収まるように、急変した測光量に追従可能となる。

加えて第一実施形態によれば、一時的に高めた加速制御用ゲインに従う露出値が許可範囲外にはみ出した場合でも、露出設定部２３は、許可範囲内に露出値を補正する。以上によれば、明るさの急変時に想定し得ない事態が生じた場合でも、エラーの頻発は、防止され得る。

また第一実施形態のように、設定可否マップの形態で学習結果が保持されていれば、露出設定部２３は、現在の測光量に対して、露出値を低負荷の処理で迅速に選択することが可能になる。故に、測光量に対する露出値の追従性が容易に向上可能となり、エラーの頻発は、いっそう低減され得る。

尚、第一実施形態では、操作者Ｕが「搭乗者」に相当し、露出評価部２２が「測光量取得部」に相当し、幾何計算部３５が「方向検出部」に相当する。また、マップ生成部３８が「設定学習部」に相当し、ナビゲーション装置１１０が「操作対象機器」に相当し、視線操作装置１００が「方向検出装置」及び「操作制御装置」に相当する。

（第二実施形態）
図１１に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態の露出制御部２０（図１参照）では、測光量の急変検出に基づく制御ゲインの増量制御が省略されている。露出制御部２０は、時刻１の直後にて、明るさ変化の先読みに基づき、露出オーバー側へ露出時間をシフトする一方で、時刻ｔ２〜ｔ３の制御対象範囲では、制御ゲインの通常値を使用して、測光量の増加に追従するよう露出時間をオーバー側に延長させる。同様に、露出制御部２０は、時刻４の直後にて、明るさ変化の先読みに基づき、露出アンダー側へ露出時間をシフトする一方で、時刻ｔ５〜ｔ６の制御対象範囲では、制御ゲインの通常値を使用して、測光量に追従するよう露出時間をアンダー側に短縮させる。

ここまで説明した第二実施形態では、露出シフトが実施される一方で、制御ゲインの増量は、実施されない。こうした第二実施形態でも、第一実施形態と同様に、方向検出でのエラーの発生は、設定可否マップとして学習され、露出値の設定にフィードバックされる。以上によれば、エラー傾向が高い露出設定が使用されなくなるため、撮像部１０（図１参照）における露出は、視線方向が検出可能な範囲内に制御可能となる。尚、図１１でも、実線がフィードバックを含む露出制御の推移であり、破線は、比較のためのフィードバックを行わない露出制御の推移である。

（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第二実施形態の変形例１では、図１２に示すように、制御ゲインの増量制御が省略される。こうした変形例１でも、方向検出でのエラーの発生は、設定可否マップとして学習され、露出値の設定にフィードバックされる。以上によれば、測光量の急変する時刻ｔ１〜ｔ２及び時刻ｔ３〜ｔ４の期間において、露出制御部は、露出アンダー及び露出オーバーを生じさせることなく、方向検出に適した顔画像を撮像可能な露出時間を設定し続けることができる。尚、図１２でも、実線がフィードバックを含む露出制御の推移であり、破線は、比較のためのフィードバックを行わない露出制御の推移である。

上記実施形態では、視線方向と顔向きの両方が検出されていた。しかし、視線操作装置によって検出される方向は、視線方向だけであってもよく、又は顔向きだけであってもよい。加えて、マップ生成部は、視線方向及び顔向きのそれぞれについての設定可否マップを生成してもよく、又は視線方向及び顔向きの両方の検出エラーに基づく一つの設定可否マップを生成してもよい。さらに、視線方向又は顔向きの検出エラーの情報は、設定可否マップとは異なる形態で学習されてもよい。例えば、視線方向又は顔向きの検出エラーに基づき、測光量に対し設定可能な露出値の許可範囲を規定する識別器（関数）が生成されてもよい。

上記実施形態における測光量は、顔画像の平均輝度として計測されていた。しかし、露出制御部は、光量を計測する計測器から測光量の計測データを逐次取得し、取得した測光量の計測データに基づいて、露出値を設定してもよい。

上記実施形態では、本開示による露出制御を視線操作装置に適用した例を説明したが、上述の露出制御は、動作制御部を備えない方向検出装置に適用されてもよい。さらに、顔画像は、視線操作装置又は方向検出装置とは別体の撮像部によって撮像され、有線通信又は無線通信によって視線操作装置又は方向検出装置に送信されてもよい。また、視線操作装置での視線検出によって操作可能な操作対象機器は、ナビゲーション装置に限定されない。例えば、視線操作装置によって遠隔操作が可能な操作対象機器は、オーディオ装置、空調制御装置、及び車両に持ち込まれた通信端末等であってもよい。

上記実施形態では、移動体としての車両に視線操作装置が搭載された例を説明した。しかし、移動体は、車両に限定されず、船舶、航空機、及び輸送機器等であってもよい。視線操作装置は、移動体に搭載された構成に限定されず、使用者によって移動体に持ち込まれる構成であってもよい。

ＰＦ 顔画像、Ｕ 操作者（搭乗者）、１０ 撮像部、２２ 露出評価部（測光量取得部）、２３ 露出設定部、３５ 幾何計算部（方向検出部）、３６ エラー検知部、３８ マップ生成部（設定学習部）、４０ 動作制御部、４２ 急変予測部、１００ 視線操作装置（方向検出装置，操作制御装置）、１１０ ナビゲーション装置（操作対象機器）

Claims (7)

1. 移動体に搭乗する搭乗者（Ｕ）の顔を撮影する撮像部（１０）にて撮像される顔画像（ＰＦ）を用いて前記搭乗者の視線及び顔の少なくとも一方の方向を検出する方向検出装置であって、
   前記搭乗者の周囲の明るさを示す測光量の情報を取得する測光量取得部（２２）と、
   前記測光量に基づき、前記撮像部にて用いられる露出値を設定し、前記撮像部における露出を制御する露出設定部（２３）と、
   前記顔画像から前記方向が検出できないエラーの状態を検知するエラー検知部（３６）と、
   前記エラーの発生を、前記測光量及び前記露出値と関連づけて記録し、記録した前記エラーの発生率に基づいて、前記測光量に対し設定可能な前記露出値の許可範囲を学習する設定学習部（３８）と、を備え、
   前記露出設定部は、前記測光量取得部にて取得された前記測光量に対し、前記設定学習部にて設定された前記許可範囲内の前記露出値を設定する方向検出装置。
2. 前記移動体の移動に伴う前記測光量の急変を予測する急変予測部（４２）、をさらに備え、
   前記露出設定部は、前記急変予測部にて前記測光量の急変が予測された場合に、前記測光量が急変する以前に、明るさの変化に対応する側への前記露出値のシフトを行い、
   前記露出値のシフト後の値は、前記測光量取得部にて取得されている前記測光量に対し、前記設定学習部にて設定可能とされた範囲内の値である請求項１に記載の方向検出装置。
3. 前記露出設定部は、前記設定学習部にて設定可能とされた範囲の境界値に対し余裕度のある値に、シフト後の前記露出値を設定する請求項２に記載の方向検出装置。
4. 前記露出設定部は、
   前記測光量取得部にて取得される前記測光量の監視により、前記測光量の急変を検出し、
   前記測光量の急変が生じている期間にて、前記測光量に応じて前記露出値を変化させる応答制御の制御ゲインを、前記測光量の急変が生じる以前よりも高める請求項１〜３のいずれか一項に記載の方向検出装置。
5. 前記露出設定部は、
   前記測光量の急変が生じている期間にて、補正された前記制御ゲインに従う前記露出値が、前記設定学習部にて設定された前記許可範囲内であるか否かを判定し、
   前記露出値が前記許可範囲内から外れていた場合に、前記許可範囲内に収まるよう前記露出値を補正する請求項４に記載の方向検出装置。
6. 前記設定学習部は、互いに異なる値の前記測光量に対して、複数の前記露出値がそれぞれ設定可能か否かを規定した設定可否マップを生成し、
   前記露出設定部は、前記測光量取得部にて取得されている前記測光量に対し、前記設定可否マップにて設定可能と規定された前記露出値を選択する請求項１〜５のいずれか一項に記載の方向検出装置。
7. 移動体に搭乗する搭乗者（Ｕ）によって操作可能な操作対象機器（１１０）と接続される操作制御装置であって、
   前記搭乗者の顔を撮影する撮像部（１０）にて撮像される顔画像（ＰＦ）を用いて、前記搭乗者の視線及び顔の少なくとも一方の方向を検出する方向検出部（３５）と、
   前記方向検出部にて検出された前記方向に基づき、前記操作対象機器の作動を制御する動作制御部（４０）と、
   前記搭乗者の周囲の明るさを示す測光量の情報を取得する測光量取得部（２２）と、
   前記測光量に基づき、前記撮像部にて用いられる露出値を設定し、前記撮像部における露出を制御する露出設定部（２３）と、
   前記顔画像から前記方向が検出できないエラーの状態を検知するエラー検知部（３６）と、
   前記エラーの発生を、前記測光量及び前記露出値と関連づけて記録し、記録した前記エラーの発生率に基づいて、前記測光量に対し設定可能な前記露出値の許可範囲を学習する設定学習部（３８）と、を備え、
   前記露出設定部は、前記測光量取得部にて取得された前記測光量に対し、前記設定学習部にて設定された前記許可範囲内の前記露出値を設定する操作制御装置。

Images