JP6252657B2 - 調整装置、調整方法およびプログラム - Google Patents

Description

本発明は、調整装置、調整方法およびプログラムに関する。

近年、自動車にはカーナビゲーション装置、オーディオシステム、エアコン等多くの機器が搭載されている。運転者によるそれらの機器を操作するときの通常のボタンの押下による操作は、運転者の視線の動きを伴うことになる。したがって、自動車の運転中のボタン操作による機器の操作は、運転者の前方不注意につながる誘因となるため、前方を見たままの状態で機器の操作が可能であることが望ましい。

このような、前方を見たままの機器の操作を可能とする操作入力装置として、カメラで運転者の手の形状および手振り（以下、ジェスチャーという）を撮像し、ジェスチャーを判別して、車載機器の操作を行う装置が提案されている（特許文献１参照）。特許文献１に記載された操作入力装置は、カメラとして主に昼間には可視光カメラを用い、夜間には赤外線カメラを用いて、ジェスチャーを撮像および判別するものとしている。

特開２００９−１０４２９７号公報

しかしながら、特許文献１に記載された操作入力装置は、赤外線カメラを使用する場合、昼間は太陽光による外乱の影響を受けるため、ジェスチャーの検出精度が悪いという問題点があった。また、赤外線カメラを夜間に用い、可視光カメラを昼間に用いる場合、２台のカメラが必要になり、コストアップにつながるという問題点もあった。

本発明は、上記に鑑みてなされたものであって、外乱の影響を抑制してジェスチャーの検出精度を向上させる調整装置、調整方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る調整装置は、 赤外線を照射する赤外線照射手段と、
赤外線を検出して画像を撮像する撮像手段と、
前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、
前記赤外線制御手段により前記照射強度が調整された場合の前記画像における、前記赤外線照射手段により赤外線が照射される第１エリアの第１輝度、および、前記撮像手段によって撮像された画像における前記第１エリア外に配置された複数の第２エリアのそれぞれの輝度を基準値である第２輝度として、記憶する記憶手段と、
前記撮像手段により撮像された前記画像における前記複数の第２エリアのそれぞれの第３輝度を求め、前記複数の第２エリアのうち少なくともいずれかに対応する前記第３輝度と前記基準値として記憶された第２輝度との差の絶対値が、所定値以上である場合、前記差に基づいて輝度補正値を算出し、前記輝度補正値により前記第１輝度を補正する輝度演算手段と、
を備える。
また、上述した課題を解決し、目的を達成するために、本発明に係る調整方法は、 赤外線を照射するステップと、
赤外線を検出して撮像し、画像を生成するステップと、
照射する赤外線の照射強度を調整するステップと、
前記照射強度を調整した場合の前記画像における赤外線が照射される第１エリアの第１輝度、および、前記画像を生成するステップによって生成された画像における前記第１エリア外に配置された第２エリアの輝度を基準値である第２輝度として、記憶するステップと、
撮像した前記画像における前記第２エリアの第３輝度を求め、前記第３輝度と前記基準値として記憶された第２輝度とにより算出された結果に基づいて、前記第１輝度を補正するステップと、
を備える。
また、上述した課題を解決し、目的を達成するために、本発明に係るプログラムは、赤外線を照射するステップと、
赤外線を検出して撮像し、画像を生成するステップと、
照射する赤外線の照射強度を調整するステップと、
前記照射強度を調整した場合の前記画像における赤外線が照射される第１エリアの第１輝度、および、前記画像を生成するステップによって生成された画像における前記第１エリア外に配置された第２エリアの輝度を基準値である第２輝度として、記憶するステップと、
撮像した前記画像における前記第２エリアの第３輝度を求め、前記第３輝度と前記基準値として記憶された第２輝度とにより算出された結果に基づいて、前記第１輝度を補正するステップと、
をコンピュータに実行させる。

本発明によれば、外乱の影響を抑制してカメラの検出精度を向上させることができる。

図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。 図２は、実施形態の入力コントローラのブロック構成の例を示す図である。 図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を示すフローチャートである。 図４は、実施形態のカメラユニットによって撮像される画像およびサンプルエリアの例を示す図である。 図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示すフローチャートである。 図６は、実施形態の入力コントローラにより撮像された画像の二値化画像の例を示す図である。 図７は、実施形態の入力コントローラにより撮像された画像の二値化画像から距離変換と輪郭抽出とを行ってもとめた輪郭抽出画像を示す図である。

以下に、図面を参照しながら、本発明に係る調整装置、調整方法、およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（操作入力システムの構成）
図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。図１を参照しながら、本実施形態に係る操作入力システム１の全体構成について説明する。なお、以下の説明において、図１に示す操作入力システム１が自動車に搭載される場合を例に説明するが、これに限定されるものではなく、電車または飛行機等に搭載されるものとしてもよい。

図１に示す操作入力システム１は、運転者のジェスチャーを認識して、ジェスチャーに対応した操作コマンドにしたがって、操作対象機器を操作するシステムである。操作入力システム１は、入力コントローラ１０（操作入力装置）と、カーナビゲーション装置２０とが、通信ケーブル３０によって接続されて構成されている。

入力コントローラ１０は、運転者のジェスチャーを認識して、ジェスチャーに対応する操作コマンドを生成し、通信ケーブル３０を介して、操作コマンドをカーナビゲーション装置２０に送信する装置である。入力コントローラ１０は、赤外線を照射する複数の赤外線ＬＥＤ４０１と、所定の画角内の画像を撮像するカメラ４１１と、カメラ４１１の光学系の入射側に取り付けられ、赤外線のみを透過させる赤外線透過フィルタ４１２と、を備えている。また、入力コントローラ１０は、撮像する画像に自動車のウィンドウが入らないような撮像方向となるように設置される。例えば、入力コントローラ１０は、自動車の
車内のダッシュボードに設置され、ダッシュボードから斜め上方の車内のルーフに向かう撮像方向となるように設置するようにするのが望ましい。これによって、後述するジェスチャー操作認識処理において、自動車のウィンドウから入り込んでくる太陽光等の外乱によるジェスチャーの検出精度の低下を抑制することができる。

カメラ４１１は、例えば、通常の可視光を検出するカメラでよいが、少なくとも赤外線についても検出できるカメラであるものとする。カメラ４１１は、図示しないレンズ等によって構成された光学系と、赤外線透過フィルタ４１２を透過して光学系に入射した赤外線を電気信号に変換することによって画像を生成する固体撮像素子（撮像素子）と、を備えている。固体撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。

上述のように、少なくとも赤外線を検出できるカメラ４１１および赤外線透過フィルタ４１２を使用しているので、赤外線のみを高精度に検出する赤外線カメラを使用する場合と比較してコストを低減することができる。

なお、図１に示すように、赤外線ＬＥＤ４０１は、カメラ４１１の周囲を囲むように複数設けられるものとしているが、複数の赤外線ＬＥＤ４０１の配置構成は、図１に示す配置構成に限定されるものではない。また、赤外線ＬＥＤ４０１は、複数ではなく、１つであってもよい。

カーナビゲーション装置２０は、入力コントローラ１０による操作対象機器の一例としての装置であり、搭載された自動車等の車両の現在地、および目的地への経路案内を表示する装置である。カーナビゲーション装置２０は、入力コントローラ１０によって生成され、通信ケーブル３０を介して受信した操作コマンドに従って、操作コマンドに対応した機能を実行する。カーナビゲーション装置２０は、自動車等の車両の現在地、および目的地への経路案内を表示する表示画面４２１を備えている。

通信ケーブル３０は、入力コントローラ１０およびカーナビゲーション装置２０の通信規格に対応したケーブルであり、例えば、ＵＳＢケーブルまたはＥｔｈｅｒｎｅｔ（登録商標）ケーブル等である。

なお、図１に示す操作対象機器としては、カーナビゲーション装置２０を例に示したが、これに限定されるものではなく、オーディオシステム、エアコンその他の車載機器であってもよい。

また、図１においては、入力コントローラ１０と、操作対象機器としてのカーナビゲーション装置２０とが別体として構成されているが、これに限定されるものではなく、一体型として構成されるものとしてもよい。この場合、カメラ４１１の位置は、カーナビゲーション装置２０をダッシュボードに設置したとき、ダッシュボードから斜め上方の車内のルーフに向かう撮像方向となる位置に設けることが望ましい。

（入力コントローラのブロック構成）
図２は、実施形態の入力コントローラのブロック構成の例を示す図である。図２を参照しながら、本実施形態の入力コントローラ１０のブロック構成について説明する。

図２に示すように、入力コントローラ１０は、赤外線ＬＥＤユニット１１（赤外線照射手段）と、カメラユニット１２（撮像手段）と、通信インターフェース（Ｉ／Ｆ）１３と、制御ユニット１４と、を備えている。

赤外線ＬＥＤユニット１１は、図１に示した赤外線ＬＥＤ４０１を備え、後述するＬＥＤ制御部１４２からの命令によって、赤外線を照射するユニットである。

カメラユニット１２は、画像を撮像し、制御ユニット１４に送信するユニットである。カメラユニット１２は、図１に示した赤外線透過フィルタ４１２が装着されたカメラ４１１によって実現される。

通信インターフェース１３は、操作対象機器であるカーナビゲーション装置２０の通信規格に対応したインターフェースであり、例えば、ＵＳＢインターフェースまたはＥｔｈｅｒｎｅｔインターフェース等である。

制御ユニット１４は、入力コントローラ１０の全体の制御をつかさどる。制御ユニット１４は、例えば、赤外線ＬＥＤユニット１１から照射する赤外線の強度の調整、カメラユニット１２によって撮像された画像に対する各種処理、撮像された画像に基づいた運転者のジェスチャーの判定、および、判定されたジェスチャーに対応する操作コマンドのカーナビゲーション装置２０への送信を制御する。制御ユニット１４は、輝度演算部１４１（輝度演算手段）と、ＬＥＤ制御部１４２（赤外線制御手段）と、画像処理部１４３（画像処理手段）と、ジェスチャー判定部１４４（判定手段）と、コマンド生成部１４５（命令手段）と、記憶部１４６（記憶手段）と、を有する。

輝度演算部１４１は、カメラユニット１２によって撮像された画像において、赤外線ＬＥＤユニット１１からの赤外線の照射領域に相当するエリアの輝度の平均値、および、照射領域外の所定のエリアの輝度の平均値を算出する。輝度演算部１４１は、照射領域に相当するエリアの輝度の平均値と、照射領域外の所定のエリアの輝度の平均値との輝度差を算出する。

ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射する赤外線の強度を制御する。

画像処理部１４３は、カメラユニット１２によって撮像された画像を二値化し、二値化した画像に運転者の手によるジェスチャーが含まれるか否かを判断する。

ジェスチャー判定部１４４は、画像処理部１４３によって検出されたジェスチャーが、どのようなジェスチャーであるかを判定する。なお、ジェスチャーは運転者の手によるものに限定されるものではなく、広く操作指示をするための指示物体（手を含む）であってもよい。

コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャーに対応する操作対象機器としてのカーナビゲーション装置２０に対する操作コマンドを生成する。

記憶部１４６は、ＬＥＤ制御部１４２によって照射する赤外線が所定の強度に制御された場合に、カメラユニット１２によって撮像された画像において赤外線の照射領域に相当するエリアの輝度最大値、および照射領域外の所定のエリアの輝度の平均値を記憶する。記憶部１４６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の書き換え可能な揮発性または不揮発性の記憶装置によって実現される。

輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５は、図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶されたプログラムをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が実行することにより実現される機能または手段である。なお、輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５の一部または全部は、ソフトウェアであるプログラムではなく、ハードウェア回路によって実現されてもよい。また、輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５は、機能を概念的に構成したものであって、このような構成に限定されるものではない。

（輝度調整処理の動作）
図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を示すフローチャートである。図４は、実施形態のカメラユニットによって撮像される画像およびサンプルエリアの例を示す図である。図３および４を参照しながら、本実施形態の入力コントローラ１０における赤外線ＬＥＤユニット１１から照射される赤外線についての輝度調整処理について説明する。

＜ステップＳ１１＞
制御ユニット１４のＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から所定強度の赤外線をある程度の広がりをもった状態で照射させる。カメラユニット１２は、自動車のルーフに向かう撮像方向の画像を撮像し、画像を制御ユニット１４の輝度演算部１４１に送信する。カメラユニット１２が撮像する画像は、赤外線ＬＥＤユニット１１から照射された赤外線のうち自動車のルーフ等から反射した赤外線が赤外線透過フィルタ４１２を透過して撮像された白黒の画像である。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
輝度演算部１４１は、図４に示すように、受信した画像である撮像画像２０１において、赤外線ＬＥＤユニット１１からルーフに照射される赤外線のエリアである照射領域２５１内に含まれる所定のエリアである照射領域サンプルエリア２０２（第１エリア）の輝度の平均値（以下、照射部輝度平均値という）（第４輝度）を算出する。また、輝度演算部１４１は、撮像画像２０１において、照射領域２５１外の所定のエリアである周辺部サンプルエリア２０３ａ〜２０３ｄ（第２エリア）それぞれの輝度の平均値（以下、周辺部輝度平均値という）を算出する。輝度演算部１４１は、算出した周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの輝度の平均値から最大の平均値（以下、周辺部輝度最大平均値という）（第５輝度）を抽出する。この場合、赤外線が照射されている照射領域２５１内の照射領域サンプルエリア２０２の輝度は高く、赤外線が照射されていない照射領域２５１外の周辺部サンプルエリア２０３ａ〜２０３ｄの輝度は低い状態となる。そして、輝度演算部１４１は、照射部輝度平均値と周辺部輝度最大平均値との差である輝度差を算出する。そして、ステップＳ１３へ進む。なお、周辺部サンプルエリア２０３ａ〜２０３ｄについて、区別なく称する場合、または総称する場合、単に、周辺部サンプルエリア２０３というものとする。

図４に示す周辺部サンプルエリア２０３ａ〜２０３ｄのように、輝度の平均値を算出するサンプルエリアを複数とすることによって、照射領域２５１外のエリアの輝度情報の多くを含んだ状態で周辺部輝度最大平均値を算出することができる。これによって、輝度演算部１４１は、照射部輝度平均値と周辺部輝度最大平均値との差である輝度差を精度よく算出することができる。

なお、図４に示すように、照射領域サンプルエリア２０２は１つ、かつ、周辺部サンプルエリア２０３ａ〜２０３ｄは４つとしたが、これに限定されるものではなく、その他の数のサンプルエリアを構成するものとしてもよい。また、図４に示すように、周辺部サンプルエリア２０３ａ〜２０３ｄは、撮像画像２０１の四隅に配置されるものとしているが、これに限定されるものではなく、照射領域２５１外のエリアであればいずれに配置されるものとしてもよい。ただし、撮像画像２０１に自動車のウィンドウ部分が含まれている場合は、太陽光による赤外線の輝度の影響を低減するため、周辺部サンプルエリア２０３ａ〜２０３ｄを、ウィンドウ部分を避けた位置に構成することが望ましい。

＜ステップＳ１３＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とを比較する。ＬＥＤ制御部１４２による輝度差と目標値との比較の結果、輝度差が目標値よりも大きい場合（ステップＳ１３：大）、ステップＳ１４へ進み、輝度差が目標値よりも小さい場合（ステップＳ１３：小）、ステップＳ１５へ進み、そして、輝度差が目標値と同じである場合（ステップＳ１３：同）、ステップＳ１６へ進む。

なお、ＬＥＤ制御部１４２は、輝度差と所定の目標値との比較を実行しているが、所定の目標値であるか否かの判定は、輝度差が所定の目標範囲内にあるか否かを判定するものを含む概念とする。この場合、輝度差が所定の目標範囲よりも大きい場合、ステップＳ１４へ進み、輝度差が所定の目標範囲よりも小さい場合、ステップＳ１５へ進み、そして、輝度差が所定の目標範囲内である場合、ステップＳ１６へ進むものとすればよい。

＜ステップＳ１４＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所定量小さくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮像する。

＜ステップＳ１５＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所定量大きくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮像する。

このように、ステップＳ１４およびステップＳ１５の動作が繰り返されることによって、輝度差が所定の目標値と一致するように、赤外線ＬＥＤユニット１１から照射される赤外線の強度が調整される。

＜ステップＳ１６＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とが同じである場合、そのときの赤外線ＬＥＤユニット１１からの赤外線の照射強度を維持し、輝度演算部１４１は、照射領域サンプルエリア２０２の輝度最大値（第１輝度）を求め、その輝度最大値を記憶部１４６に記憶させる。さらに、ＬＥＤ制御部１４２は、輝度差と所定の目標値とが同じである場合において、ステップＳ１２において輝度演算部１４１により算出された周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの周辺部輝度平均値（第２輝度）を、記憶部１４６に記憶させる。ここで、記憶部１４６に記憶された周辺部輝度平均値を、「基準輝度平均値」というものとする。

以上のように輝度調整処理が実行される。輝度調整処理は、操作入力システム１の起動時に初期動作として実行され、その後は、所定時間ごとに実行されるものとすればよい。

（ジェスチャー操作認識処理）
図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示すフローチャートである。図６は、実施形態の入力コントローラにより撮像された画像の二値化画像の例を示す図である。図７は、実施形態の入力コントローラにより撮像された画像の二値化画像から距離変換と輪郭抽出とを行って求めた輪郭抽出画像を示す図である。図５〜７を参照しながら、本実施形態の入力コントローラ１０におけるジェスチャー操作認識処理について説明する。

＜ステップＳ３１＞
カメラユニット１２は、自動車のルーフに向かう撮像方向の画像を撮像し、画像を制御ユニット１４の輝度演算部１４１に送信する。そして、ステップＳ３２へ進む。

＜ステップＳ３２＞
輝度演算部１４１は、受信した画像である撮像画像２０１（図４参照）において、周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの周辺部輝度平均値（第３輝度）を算出する。また、輝度演算部１４１は、算出した周辺部輝度平均値と、記憶部１４６に記憶された基準輝度平均値との差の絶対値を周辺部サンプルエリア２０３ごとに算出する。そして、輝度演算部１４１は、算出した絶対値がそれぞれ所定値以上であるか否かを判定する。すべての周辺部サンプルエリア２０３に対応する絶対値が所定値以上である場合、輝度演算部１４１は、操作入力システム１を搭載する自動車がトンネルに突入した等の外部環境の明るさに変化が生じたものと判定し、ステップＳ３３へ進む。一方、周辺部サンプルエリア２０３に対応する絶対値のうち少なくともいずれかが所定値未満である場合、輝度演算部１４１は、外部環境の明るさに変化が生じていないと判定し、ステップＳ３４へ進む。

＜ステップＳ３３＞
輝度演算部１４１は、周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差の平均値を算出し、この平均値を輝度補正値とする。輝度演算部１４１は、記憶部１４６に記憶されている輝度最大値に対して、輝度補正値を加算することにより補正し、記憶部１４６に記憶されている輝度最大値を、補正した輝度最大値に更新する。そして、ステップＳ３４へ進む。

例えば、周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの基準輝度平均値が「１２０」、「１２３」、「１２４」、「１２５」である場合を考える。まず、外部環境の明るさが暗くなって、輝度演算部１４１により周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの周辺部輝度平均値が「９２」、「９３」、「９４」、「９３」と算出されたものとする。この場合、輝度演算部１４１により算出される周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差の絶対値は、それぞれ「２８」、「３０」、「３０」、「３２」となる。ここで、比較対象である所定値を「１０」とすると、すべての絶対値が所定値以上となるので、輝度演算部１４１は、外部環境の明るさに変化が生じたものと判定することになる。この場合、輝度演算部１４１により算出される周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差は、それぞれ「−２８」、「−３０」、「−３０」、「−３２」となる。そして、輝度演算部１４１は、これらの差の平均値である「−３０」を算出して輝度補正値とする。記憶部１４６に記憶されている輝度最大値が、例えば「１３５」であるとすると、輝度演算部１４１は、輝度最大値「１３５」に対して、輝度補正値「−３０」を加算することにより補正し、補正した輝度最大値「１０５」を求める。

一方、外部環境の明るさが明るくなって、輝度演算部１４１により周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの周辺部輝度平均値が「１３７」、「１４１」、「１４３」、「１４３」と算出されたものとする。この場合、輝度演算部１４１により算出される周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差の絶対値は、それぞれ「１７」、「１８」、「１９」、「１８」となる。ここで、比較対象である所定値が上述と同様に「１０」であるとすると、すべての絶対値が所定値以上となるので、輝度演算部１４１は、外部環境の明るさに変化が生じたものと判定することになる。この場合、輝度演算部１４１により算出される周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差は、それぞれ「１７」、「１８」、「１９」、「１８」となる。そして、輝度演算部１４１は、これらの差の平均値である「１８」を算出して輝度補正値とする。記憶部１４６に記憶されている輝度最大値が、上述と同様に「１３５」であるとすると、輝度演算部１４１は、輝度最大値「１３５」に対して、輝度補正値「１８」を加算することにより補正し、補正した輝度最大値「１５３」を求める。

なお、ステップＳ３２において、輝度演算部１４１が、すべての周辺部サンプルエリア２０３に対応する絶対値が所定値以上である場合、外部環境の明るさに変化が生じたものと判定するものとしているが、これに限定されるものではない。例えば、輝度演算部１４１は、複数の周辺部サンプルエリア２０３のうち半数以上に対応する絶対値が所定値以上である場合、外部環境の明るさに変化が生じたものと判定するものとしてもよい。この場合、ステップＳ３３において、輝度演算部１４１は、絶対値が所定値以上である周辺部サンプルエリア２０３に対応する周辺部平均値と基準輝度平均と差の平均値を算出し、この平均値を輝度補正値とすればよい。

また、ステップＳ３３において、輝度演算部１４１は、周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差の平均値を算出し、この平均値を輝度補正値としているが、これに限定されるものではない。例えば、輝度演算部１４１は、周辺部サンプルエリア２０３ごとの周辺部輝度平均値と基準輝度平均値との差のうち、最大値もしくは最小値等を輝度補正値としてもよく、または、差の平均値、最大値もしくは最小値に所定の係数を乗じた値もしくは所定値を加算した値等を輝度補正値としてもよい。

＜ステップＳ３４＞
輝度演算部１４１は、受信した画像を構成する各画素の画素値と、記憶部１４６に記憶されている輝度最大値とを比較して画像を二値化し、図６に示す二値化画像２０１ａを生成する。例えば、輝度演算部１４１は、受信した画像を構成する各画素の画素値が、輝度最大値よりも大きい場合、値が「１」である画素に変換し、輝度最大値以下である場合、値が「０」である画素に変換して、二値化画像２０１ａを生成する。そして、ステップＳ３５へ進む。

＜ステップＳ３５＞
図６に示した二値化画像２０１ａは、撮像した画像を二値化した例を示すものであり、画素値「１」の画素の塊であるブロックとしてブロック３０１〜３０３を有している。運転者は、入力コントローラ１０のカメラユニット１２の前に手をかざすと、赤外線ＬＥＤ４０１から照射した赤外線が手に当たる。手をかざす前は、赤外線ＬＥＤ４０１から照射した赤外線は、車内のルーフに当たっていたが、手をかざすことによって、ルーフまでの距離よりも短い手の位置で反射し、カメラユニット１２に入射することになる。したがって、手をかざした状態でカメラユニット１２により撮像された画像において、手の領域部分の輝度は、手をかざしていない状態でカメラユニット１２により撮像された画像においてルーフに相当する部分の輝度と比較して高い値となる。よって、カメラユニット１２により撮像された画像を二値化すると、手の領域部分の画素の画素値は「１」となり、手の領域以外の部分の画素の画素値は「０」となる。

ただし、上述のような方法で撮像画像を二値化すると、細かいノイズが発生することがあるので、ノイズ除去のためのフィルタをかけるのが望ましい。二値化画像のノイズ除去のために、例えば、メディアンフィルタによってフィルタ処理を行う。ここで、メディアンフィルタとは、フィルタ対象の画像におけるｎ×ｎの局所領域における画素の画素値を小さい順に並べ、並べた画素値のうち真中に相当する画素値を局所領域の中央の画素の画素値として置換するフィルタである。このような、ノイズ除去のためのフィルタをかけた後でも、手の領域のブロック以外のブロックが残る場合がある。したがって、画像処理部１４３は、二値化画像２０１ａに複数のブロックが存在する場合、それぞれのブロックの面積を算出し、最大面積のブロックを手の領域のブロックの候補として抽出する。図６においては、画像処理部１４３は、ブロック３０１〜３０３のうち、最大面積を有するブロック３０１を手の領域のブロックの候補として抽出する。そして、ステップＳ３６へ進む。

＜ステップＳ３６＞
画像処理部１４３は、二値化画像２０１ａにおける手の領域の候補であるブロック３０１の面積を、所定の閾値と比較し、閾値よりも大きい場合、ブロック３０１が手の領域に対応するものであると判定する。画像処理部１４３は、二値化画像２０１ａにおいて手の領域の候補であるブロック３０１の面積が所定の閾値以下である場合、ブロック３０１が手の領域のブロックでないと判断し、ジェスチャー操作認識処理を終了する。一方、画像処理部１４３は、手の領域の候補であるブロック３０１の面積が所定の閾値より大きい場合、ブロック３０１が手の領域のブロックであると判断し、ステップＳ３７へ進む。

＜ステップＳ３７＞
画像処理部１４３は、二値化画像２０１ａにおいて、手の領域のブロックと判定したブロック３０１の輪郭線を抽出した図７に示す輪郭抽出ブロック３０１ａを含む輪郭抽出画像２０１ｂを得る。具体的には、画像処理部１４３は、二値化画像２０１ａのうちブロック３０１以外のブロックであるブロック３０２、３０３を消去した画像に対して、距離変換処理を実行する。ここで、距離変換処理とは、二値化画像における画素値が「１」である画素の画素値を、その画素から最も近い画素値が「０」である画素までの距離に置換する処理である。距離変換処理した画像において、距離が「１」である画素を結ぶことによって、画像における図形の輪郭線を求めることができる。このようにして求めた画像が輪郭抽出画像２０１ｂである。さらに、画像処理部１４３は、輪郭抽出ブロック３０１ａの輪郭線の長さを算出する。そして、ステップＳ３８へ進む。

＜ステップＳ３８＞
ジェスチャー判定部１４４は、ここでは、例えば、運転者の手によるジェスチャーとして「グー」、「チョキ」および「パー」のいずれのジェスチャーであるかを判定するものとする。手のジェスチャーが「パー」である場合、指それぞれの輪郭線が現れるため、輪郭線が長くなるのに対し、「グー」である場合、手の形状が楕円のようになるため輪郭線も短くなるという特徴がある。ここで、特徴量として（輪郭線の長さ）／（面積の平方根）を定義する。「パー」のような複雑な図形の場合、上述の特徴量は大きくなり、「グー」のような単純な図形の場合、特徴量は小さくなり、「チョキ」の場合は、特徴量はそれらの中間の値となることから、この特徴量を採用することによって、「グー」、「チョキ」および「パー」のジェスチャーの判定が可能となる。ジェスチャー判定部１４４は、画像処理部１４３によって算出されたブロック３０１の面積、および、輪郭抽出ブロック３０１ａの輪郭線の長さから上述の特徴量を算出し、この特徴量に基づいて、手のジェスチャーが「グー」、「チョキ」または「パー」のいずれであるか判定する。そして、ステップＳ３９へ進む。

なお、上述のように、ジェスチャー判定部１４４が判定するジェスチャーとして「グー」、「チョキ」および「パー」を例に挙げたが、これに限定されるものではない。例えば、ジェスチャー判定部１４４は、立てた指の本数を検出してジェスチャーを判定するものとしてもよい。

また、ジェスチャー判定部１４４がジェスチャーを判定するための特徴量として、（輪郭線の長さ）／（面積の平方根）を挙げたが、これに限定されるものではなく、ジェスチャーを判定することが可能な特徴量であれば、どのような特徴量を用いてもよい。

また、ジェスチャー判定部１４４は、上述のような「グー」、「チョキ」および「パー」のように静的な運転者のジェスチャーのみではなく、過去のジェスチャーと比較して、運転者の手の動き、その方向および指の屈伸等、動的なジェスチャーを判定するものとしてもよい。

＜ステップＳ３９＞
コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャーに対応するカーナビゲーション装置２０に対する操作コマンドを生成する。そして、ステップＳ４０へ進む。

＜ステップＳ４０＞
コマンド生成部１４５は、生成した操作コマンドを、通信インターフェース１３および通信ケーブル３０を介して、カーナビゲーション装置２０に送信する。カーナビゲーション装置２０は、受信した操作コマンドにしたがって、操作コマンドに対応した機能を実行する。

例えば、カーナビゲーション装置２０は、ジェスチャー判定部１４４によって判定されたジェスチャーが「パー」である場合、表示画面４２１に表示されている地図を市街図に変更する。また、カーナビゲーション装置２０は、ジェスチャーが「チョキ」である場合、表示画面４２１に表示されている地図を拡大し、ジェスチャーが「グー」である場合、表示画面４２１に表示されている地図を縮小する。

以上のようなジェスチャー操作認識処理は、繰り返し実行されるものとする。上述のようなジェスチャー操作認識処理が実行されることによって、運転者のジェスチャーによって、操作対象機器であるカーナビゲーション装置２０を操作することが可能になる。

また、ステップＳ３５で、画像処理部１４３により何らかの最大面積を有するブロックが抽出され、ステップＳ３６で、画像処理部１４３によりそのブロックの面積が所定の閾値以下である場合、運転者が何らかのジェスチャー操作を試みた可能性が高く、輝度調整処理が適切に実行されていない可能性も高い。このように、ステップＳ３６で画像処理部１４３によりそのブロックの面積が所定の閾値以下となり、ジェスチャー操作認識処理が終了したとき、制御ユニット１４は、輝度調整処理を実行するのが望ましい。

以上のように、入力コントローラ１０は、輝度調整処理において、周辺部サンプルエリア２０３それぞれの周辺部輝度平均値を記憶して基準輝度平均値とし、ジェスチャー操作認識処理において、周辺部輝度平均値と基準輝度平均値との差の絶対値に基づいて、外部環境の明るさに変化が生じたか否かを判定している。そして、入力コントローラ１０は、外部環境の明るさに変化が生じたと判定した場合、周辺部輝度平均値と基準輝度平均値との差に基づいて輝度補正値として算出し、この輝度補正値によって輝度最大値を補正するものとしている。これによって、自動車がトンネルに入り、または、出た場合等のように外部環境の明るさが変化した場合において、輝度最大値が補正され、補正された輝度最大値に基づいてジェスチャーが検出されるため、外乱の影響を抑制してジェスチャーの検出精度を向上させることができる。

また、赤外線ＬＥＤユニット１１によって撮像される赤外線による画像において、照射領域サンプルエリア２０２の輝度と、周辺部サンプルエリア２０３ａ〜２０３ｄの輝度との差である輝度差が、目標の輝度差となるように、赤外線ＬＥＤユニット１１から照射される赤外線の照射強度を調整している。これによって、入力コントローラ１０の周辺環境の変化に応じて、赤外線の照射強度が調整されるので、ジェスチャー操作認識処理に対する外乱の影響を抑制し、ジェスチャーの検出精度を向上させることができる。また、可視光を利用せずに赤外線を利用するので夜間でも使用することが可能であり、かつ、昼間でも外乱として太陽光の影響も受けにくいので、入力コントローラ１０の機器の信頼性が向上する。さらに、赤外線ＬＥＤユニット１１から照射される赤外線の照射強度は、上述のように、目標の輝度差となるように調整されるので、消費電力の増大を抑制することができる。

また、本実施の形態に係る操作入力システム１は、昼間は可視光カメラを使用し、夜間は赤外線カメラを使用するというように、２つのカメラを使用する必要がないので、コストの増大を抑制することができる。

なお、図３に示すステップＳ１２、および図５に示すステップＳ３２において、周辺部サンプルエリア２０３ぞれぞれの輝度の平均値が周辺部輝度平均値として算出されているが、これに限定されるものではない。例えば、周辺部サンプルエリア２０３それぞれの輝度の最大値または最小値等が算出されるものとしてもよい。

また、図３に示すステップＳ１６において、照射領域サンプルエリア２０２の輝度の最大値である輝度最大値が求められ、図５に示すステップＳ３３において、輝度最大値に対して輝度補正値により補正がなされ、ステップＳ３４において、輝度最大値が撮像画像に対する画像処理（二値化）の基準値として用いられているが、これに限定されるものではない。例えば、ステップＳ１６において、照射領域サンプルエリア２０２の輝度の平均値が求められてもよく、または、輝度の最大値もしくは平均値に所定の係数を乗じた値もしくは所定値を加算した値等が求められてもよい。この場合、図５に示すステップＳ３３において、ステップＳ１６において求められた値に対して輝度補正値により補正がなされ、ステップＳ３４において、ステップＳ１６において求められた値を撮像画像に対する画像処理の基準値として用いられるものとすればよい。

１ 操作入力システム
１０ 入力コントローラ
１１ 赤外線ＬＥＤユニット
１２ カメラユニット
１３ 通信インターフェース
１４ 制御ユニット
２０ カーナビゲーション装置
３０ 通信ケーブル
１４１ 輝度演算部
１４２ ＬＥＤ制御部
１４３ 画像処理部
１４４ ジェスチャー判定部
１４５ コマンド生成部
１４６ 記憶部
２０１ 撮像画像
２０１ａ 二値化画像
２０１ｂ 輪郭抽出画像
２０２ 照射領域サンプルエリア
２０３、２０３ａ〜２０３ｄ 周辺部サンプルエリア
２５１ 照射領域
３０１〜３０３ ブロック
３０１ａ 輪郭抽出ブロック
４０１ 赤外線ＬＥＤ
４１１ カメラ
４１２ 赤外線透過フィルタ
４２１ 表示画面

Claims (11)

1. 赤外線を照射する赤外線照射手段と、
   赤外線を検出して画像を撮像する撮像手段と、
   前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、
   前記赤外線制御手段により前記照射強度が調整された場合の前記画像における、前記赤外線照射手段により赤外線が照射される第１エリアの第１輝度、および、前記撮像手段によって撮像された画像における前記第１エリア外に配置された複数の第２エリアのそれぞれの輝度を基準値である第２輝度として、記憶する記憶手段と、
   前記撮像手段により撮像された前記画像における前記複数の第２エリアのそれぞれの第３輝度を求め、前記複数の第２エリアのうち少なくともいずれかに対応する前記第３輝度と前記基準値として記憶された第２輝度との差の絶対値が、所定値以上である場合、前記差に基づいて輝度補正値を算出し、前記輝度補正値により前記第１輝度を補正する輝度演算手段と、
   を備えた調整装置。
   
2. 前記輝度演算手段は、前記第２エリアが複数であり、前記複数の第２エリアのうち少なくともいずれかに対応する前記第３輝度と前記基準値として記憶された第２輝度との差の絶対値が、前記所定値以上である場合、前記第１輝度を補正する請求項１に記載の調整装置。
3. 前記輝度演算手段は、前記複数の第２エリアのうちすべてに対応する前記第３輝度と前記基準値として記憶された第２輝度との差の絶対値が、前記所定値以上である場合、前記第１輝度を補正する請求項１または２に記載の調整装置。
4. 前記輝度演算手段は、前記第１エリアの輝度の平均値である第４輝度と、前記複数の第２エリアについてのそれぞれの輝度の平均値のうち最大の値である第５輝度との輝度差を算出し、
   前記赤外線制御手段は、前記輝度差が所定の目標値になるように、前記照射強度を調整し、
   前記輝度演算手段は、前記輝度差が前記所定の目標値になった場合における前記第１輝度および前記第２輝度を前記記憶手段に記憶させる請求項１から３のいずれか一項に記載の調整装置。
5. 前記第１輝度は、前記第１エリアの輝度の最大値である請求項１から４のいずれか一項に記載の調整装置。
6. 前記第２輝度および前記第３輝度は、前記第２エリアの輝度の平均値である請求項１から５のいずれか一項に記載の調整装置。
7. 赤外線を照射する赤外線照射手段と、
   赤外線を検出して画像を撮像する撮像手段と、
   前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、
   前記赤外線制御手段により前記照射強度が調整された場合の前記撮像手段によって撮像された画像における、前記赤外線照射手段により赤外線が照射される第１エリアの第１輝度、および、前記画像における前記第１エリア外に配置された複数の第２エリアのそれぞれの輝度を基準値である第２輝度として、記憶する記憶手段と、
   前記撮像手段により撮像された前記画像における前記複数の第２エリアのそれぞれの第３輝度を求め、前記複数の第２エリアのうち少なくともいずれかに対応する前記第３輝度と前記基準値として記憶された第２輝度とにより算出された結果に基づいて、前記第１輝度を補正する輝度演算手段と、
   を備えた調整装置。
8. 前記照射強度の調整を所定間隔に実行する請求項１から７のいずれか一項に記載の調整装置。
9. 前記撮像手段は、少なくとも赤外線を検出する撮像素子と、前記撮像素子の入射側に配置された赤外線透過フィルタと、を含む請求項１から８のいずれか一項に記載の調整装置。
10. 赤外線を照射するステップと、
    赤外線を検出して撮像し、画像を生成するステップと、
    照射する赤外線の照射強度を調整するステップと、
    前記照射強度を調整した場合の前記画像における赤外線が照射される第１エリアの第１輝度、および、前記画像を生成するステップによって生成された画像における前記第１エリア外に配置された第２エリアの輝度を基準値である第２輝度として、記憶するステップと、
    撮像した前記画像における前記第２エリアの第３輝度を求め、前記第３輝度と前記基準値として記憶された第２輝度とにより算出された結果に基づいて、前記第１輝度を補正するステップと、
    を有する調整方法。
11. 赤外線を照射するステップと、
    赤外線を検出して撮像し、画像を生成するステップと、
    照射する赤外線の照射強度を調整するステップと、
    前記照射強度を調整した場合の前記画像における赤外線が照射される第１エリアの第１輝度、および、前記画像を生成するステップによって生成された画像における前記第１エリア外に配置された第２エリアの輝度を基準値である第２輝度として、記憶するステップと、
    撮像した前記画像における前記第２エリアの第３輝度を求め、前記第３輝度と前記基準値として記憶された第２輝度とにより算出された結果に基づいて、前記第１輝度を補正するステップと、
    をコンピュータに実行させるプログラム。