JP6222306B2 - 調整装置、およびプログラム - Google Patents

Description

本発明は、調整装置、およびプログラムに関する。

近年、自動車にはカーナビゲーション装置、オーディオシステム、エアコン等多くの機
器が搭載されている。運転者によるそれらの機器を操作するときの通常のボタンの押下に
よる操作は、運転者の視線の動きを伴うことになる。したがって、自動車の運転中のボタ
ン操作による機器の操作は、運転者の前方不注意につながる誘因となるため、前方を見た
ままの状態で機器の操作が可能であることが望ましい。

このような、前方を見たままの機器の操作を可能とする操作入力装置として、カメラで
運転者の手の形状および手振り（以下、ジェスチャーという）を撮像し、ジェスチャーを
判別して、車載機器の操作を行う装置が提案されている（特許文献１参照）。特許文献１
に記載された操作入力装置は、カメラとして主に昼間には可視光カメラを用い、夜間には
赤外線カメラを用いて、ジェスチャーを撮像および判別するものとしている。

特開２００９−１０４２９７号公報

しかしながら、特許文献１に記載された操作入力装置は、赤外線カメラを使用する場合
、昼間は太陽光による外乱の影響を受けるため、ジェスチャーの検出精度が悪いという問
題点があった。また、赤外線カメラを夜間に用い、可視光カメラを昼間に用いる場合、２
台のカメラが必要になり、コストアップにつながるという問題点もあった。

本発明は、上記に鑑みてなされたものであって、外乱の影響を抑制してジェスチャーの検出精度を向上させる調整装置、プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る調整装置は、赤外線を照射する赤外線照射手段と、赤外線を検出して撮像し、画像を生成する撮像手段と、前記画像において、前記赤外線照射手段により赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算手段と、前記輝度差が所定の目標範囲より大きい場合には、前記赤外線照射手段から照射される赤外線の照射強度を小さくし、前記輝度差が所定の目標範囲より小さい場合には、前記照射強度を大きくすることで、前記照射強度を調整する赤外線制御手段とを備える。
また、上述した課題を解決し、目的を達成するために、本発明に係るプログラムは、赤外線を照射する赤外線照射ステップと、赤外線を検出して撮像し、画像を生成する撮像ステップと、前記画像において、前記赤外線照射ステップにより赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算ステップと、前記輝度差が所定の目標範囲より大きい場合には、前記赤外線照射ステップから照射される赤外線の照射強度を小さくし、前記輝度差が所定の目標範囲より小さい場合には、前記照射強度を大きくすることで、前記照射強度を調整する赤外線制御ステップとをコンピュータに実行させる。

本発明によれば、外乱の影響を抑制してカメラの検出精度を向上させることができる。

図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。 図２は、実施形態の入力コントローラのブロック構成の例を示す図である。 図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を示すフローチャートである。 図４は、実施形態のカメラユニットによって撮像される画像およびサンプルエリアの例を示す図である。 図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示すフローチャートである。 図６は、実施形態の入力コントローラにより撮像された画像の二値化画像の例を示す図である。 図７は、実施形態の入力コントローラにより撮像された画像の二値化画像から距離変換と輪郭抽出とを行ってもとめた輪郭抽出画像を示す図である。

以下に、図面を参照しながら、本発明に係る操作入力装置（調整装置）、およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（操作入力システムの構成）
図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。図１を参照
しながら、本実施形態に係る操作入力システム１の全体構成について説明する。なお、以
下の説明において、図１に示す操作入力システム１が自動車に搭載される場合を例に説明
するが、これに限定されるものではなく、電車または飛行機等に搭載されるものとしても
よい。

図１に示す操作入力システム１は、運転者のジェスチャーを認識して、ジェスチャーに
対応した操作コマンドにしたがって、操作対象機器を操作するシステムである。操作入力
システム１は、入力コントローラ１０（操作入力装置）と、カーナビゲーション装置２０
とが、通信ケーブル３０によって接続されて構成されている。

入力コントローラ１０は、運転者のジェスチャーを認識して、ジェスチャーに対応する
操作コマンドを生成し、通信ケーブル３０を介して、操作コマンドをカーナビゲーション
装置２０に送信する装置である。入力コントローラ１０は、赤外線を照射する複数の赤外
線ＬＥＤ４０１と、所定の画角内の画像を撮像するカメラ４１１と、カメラ４１１の光学
系の入射側に取り付けられ、赤外線のみを透過させる赤外線透過フィルタ４１２と、を備
えている。また、入力コントローラ１０は、撮像する画像に自動車のウィンドウが入らな
いような撮像方向となるように設置される。例えば、入力コントローラ１０は、自動車の
車内のダッシュボードに設置され、ダッシュボードから斜め上方の車内のルーフに向かう
撮像方向となるように設置するようにするのが望ましい。これによって、後述するジェス
チャー操作認識処理において、自動車のウィンドウから入り込んでくる太陽光等の外乱に
よるジェスチャーの検出精度の低下を抑制することができる。

カメラ４１１は、例えば、通常の可視光を検出するカメラでよいが、少なくとも赤外線
についても検出できるカメラであるものとする。カメラ４１１は、図示しないレンズ等に
よって構成された光学系と、赤外線透過フィルタ４１２を透過して光学系に入射した赤外
線を電気信号に変換することによって画像を生成する固体撮像素子（撮像素子）と、を備
えている。固体撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉ
ｃｅ）センサ、またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。

上述のように、少なくとも赤外線を検出できるカメラ４１１および赤外線透過フィルタ
４１２を使用しているので、赤外線のみを高精度に検出する赤外線カメラを使用する場合
と比較してコストを低減することができる。

なお、図１に示すように、赤外線ＬＥＤ４０１は、カメラ４１１の周囲を囲むように複
数設けられるものとしているが、複数の赤外線ＬＥＤ４０１の配置構成は、図１に示す配
置構成に限定されるものではない。また、赤外線ＬＥＤ４０１は、複数ではなく、１つで
あってもよい。

カーナビゲーション装置２０は、入力コントローラ１０による操作対象機器の一例とし
ての装置であり、搭載された自動車等の車両の現在地、および目的地への経路案内を表示
する装置である。カーナビゲーション装置２０は、入力コントローラ１０によって生成さ
れ、通信ケーブル３０を介して受信した操作コマンドに従って、操作コマンドに対応した
機能を実行する。カーナビゲーション装置２０は、自動車等の車両の現在地、および目的
地への経路案内を表示する表示画面４２１を備えている。

通信ケーブル３０は、入力コントローラ１０およびカーナビゲーション装置２０の通信
規格に対応したケーブルであり、例えば、ＵＳＢケーブルまたはＥｔｈｅｒｎｅｔ（登録
商標）ケーブル等である。

なお、図１に示す操作対象機器としては、カーナビゲーション装置２０を例に示したが
、これに限定されるものではなく、オーディオシステム、エアコンその他の車載機器であ
ってもよい。

また、図１においては、入力コントローラ１０と、操作対象機器としてのカーナビゲー
ション装置２０とが別体として構成されているが、これに限定されるものではなく、一体
型として構成されるものとしてもよい。この場合、カメラ４１１の位置は、カーナビゲー
ション装置２０をダッシュボードに設置したとき、ダッシュボードから斜め上方の車内の
ルーフに向かう撮像方向となる位置に設けることが望ましい。

（入力コントローラのブロック構成）
図２は、実施形態の入力コントローラのブロック構成の例を示す図である。図２を参照
しながら、本実施形態の入力コントローラ１０のブロック構成について説明する。

図２に示すように、入力コントローラ１０は、赤外線ＬＥＤユニット１１（赤外線照射
手段）と、カメラユニット１２（撮像手段）と、通信インターフェース（Ｉ／Ｆ）１３と
、制御ユニット１４と、を備えている。

赤外線ＬＥＤユニット１１は、図１に示した赤外線ＬＥＤ４０１を備え、後述するＬＥ
Ｄ制御部１４２からの命令によって、赤外線を照射するユニットである。

カメラユニット１２は、画像を撮像し、制御ユニット１４に送信するユニットである。
カメラユニット１２は、図１に示した赤外線透過フィルタ４１２が装着されたカメラ４１
１によって実現される。

通信インターフェース１３は、操作対象機器であるカーナビゲーション装置２０の通信
規格に対応したインターフェースであり、例えば、ＵＳＢインターフェースまたはＥｔｈ
ｅｒｎｅｔインターフェース等である。

制御ユニット１４は、入力コントローラ１０の全体の制御をつかさどる。制御ユニット
１４は、例えば、赤外線ＬＥＤユニット１１から照射する赤外線の強度の調整、カメラユ
ニット１２によって撮像された画像に対する各種処理、撮像された画像に基づいた運転者
のジェスチャーの判定、および、判定されたジェスチャーに対応する操作コマンドのカー
ナビゲーション装置２０への送信を制御する。制御ユニット１４は、輝度演算部１４１（
輝度演算手段）と、ＬＥＤ制御部１４２（赤外線制御手段）と、画像処理部１４３（画像
処理手段）と、ジェスチャー判定部１４４（判定手段）と、コマンド生成部１４５（命令
手段）と、記憶部１４６（記憶手段）と、を有する。

輝度演算部１４１は、カメラユニット１２によって撮像された画像において、赤外線Ｌ
ＥＤユニット１１からの赤外線の照射領域に相当するエリアの輝度の平均値、および、照
射領域外の所定のエリアの輝度の平均値を算出する。輝度演算部１４１は、照射領域に相
当するエリアの輝度の平均値と、照射領域外の所定のエリアの輝度の平均値との輝度差を
算出する。

ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射する赤外線の強度を制御す
る。

画像処理部１４３は、カメラユニット１２によって撮像された画像を二値化し、二値化
した画像に運転者の手によるジェスチャーが含まれるか否かを判断する。

ジェスチャー判定部１４４は、画像処理部１４３によって検出されたジェスチャーが、
どのようなジェスチャーであるかを判定する。なお、ジェスチャーは運転者の手によるも
のに限定されるものではなく、広く操作指示をするための指示物体（手を含む）であって
もよい。

コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャー
に対応する操作対象機器としてのカーナビゲーション装置２０に対する操作コマンドを生
成する。

記憶部１４６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＳＤ
（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の書き換え可能な揮発性または不揮発性の記
憶装置によって実現される。記憶部１４６は、ＬＥＤ制御部１４２によって照射する赤外
線が所定の強度に制御された場合に、カメラユニット１２によって撮像された画像におい
て赤外線の照射領域に相当するエリアの最大輝度値を記憶する。

輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４
４およびコマンド生成部１４５は、図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒ
ｙ）等に記憶されたプログラムに従ったＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）からの命令により動作することで実現される機能または手段である。なお、
輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４
およびコマンド生成部１４５の一部または全部は、ソフトウェアであるプログラムではな
く、ハードウェア回路によって実現されてもよい。また、輝度演算部１４１、ＬＥＤ制御
部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５は
、機能を概念的に構成したものであって、このような構成に限定されるものではない。

（輝度調整処理の動作）
図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を
示すフローチャートである。図４は、実施形態のカメラユニットによって撮像される画像
およびサンプルエリアの例を示す図である。図３および４を参照しながら、本実施形態の
入力コントローラ１０における赤外線ＬＥＤユニット１１から照射される赤外線について
の輝度調整処理について説明する。

＜ステップＳ１１＞
制御ユニット１４のＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から所定強度の
赤外線をある程度の広がりをもった状態で照射させる。カメラユニット１２は、自動車の
ルーフに向かう撮像方向の画像を撮像し、画像を制御ユニット１４の輝度演算部１４１に
送信する。カメラユニット１２が撮像する画像は、赤外線ＬＥＤユニット１１から照射さ
れた赤外線のうち自動車のルーフ等から反射した赤外線が赤外線透過フィルタ４１２を透
過して撮像された白黒の画像である。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
輝度演算部１４１は、図４に示すように、受信した画像である撮像画像２０１において
、赤外線ＬＥＤユニット１１からルーフに照射される赤外線のエリアである照射領域２５
１内に含まれる所定のエリアである照射領域サンプルエリア２０２（第１エリア）の輝度
の平均値（以下、照射部輝度平均値という）を算出する。また、輝度演算部１４１は、撮
像画像２０１において、照射領域２５１外の所定のエリアである周辺部サンプルエリア２
０３ａ〜２０３ｄ（第２エリア）それぞれの輝度の平均値を算出する。輝度演算部１４１
は、算出した周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの輝度の平均値から最大
の平均値（以下、周辺部輝度平均値という）を抽出する。この場合、赤外線が照射されて
いる照射領域２５１内の照射領域サンプルエリア２０２の輝度は高く、赤外線が照射され
ていない照射領域２５１外の周辺部サンプルエリア２０３ａ〜２０３ｄの輝度は低い状態
となる。そして、輝度演算部１４１は、照射部輝度平均値と周辺部輝度平均値との差であ
る輝度差を算出する。そして、ステップＳ１３へ進む。

図４に示す周辺部サンプルエリア２０３ａ〜２０３ｄのように、輝度の平均値を算出す
るサンプルエリアを複数とすることによって、照射領域２５１外のエリアの輝度情報の多
くを含んだ状態で周辺部輝度平均値を算出することができる。これによって、輝度演算部
１４１は、照射部輝度平均値と周辺部輝度平均値との差である輝度差を精度よく算出する
ことができる。

なお、図４に示すように、照射領域サンプルエリア２０２は１つ、かつ、周辺部サンプ
ルエリア２０３ａ〜２０３ｄは４つとしたが、これに限定されるものではなく、その他の
数のサンプルエリアを構成するものとしてもよい。また、図４に示すように、周辺部サン
プルエリア２０３ａ〜２０３ｄは、撮像画像２０１の四隅に配置されるものとしているが
、これに限定されるものではなく、照射領域２５１外のエリアであればいずれに配置され
るものとしてもよい。ただし、撮像画像２０１に自動車のウィンドウ部分が含まれている
場合は、太陽光による赤外線の輝度の影響を低減するため、周辺部サンプルエリア２０３
ａ〜２０３ｄを、ウィンドウ部分を避けた位置に構成することが望ましい。

＜ステップＳ１３＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とを比較する。ＬＥＤ制御部１４２によ
る輝度差と目標値との比較の結果、輝度差が目標値よりも大きい場合（ステップＳ１３：
大）、ステップＳ１４へ進み、輝度差が目標値よりも小さい場合（ステップＳ１３：小）
、ステップＳ１５へ進み、そして、輝度差が目標値と同じである場合（ステップＳ１３：
同）、ステップＳ１６へ進む。

なお、ＬＥＤ制御部１４２は、輝度値と所定の目標値との比較を実行しているが、所定
の目標値であるか否かの判定は、輝度値が所定の目標範囲内にあるか否かを判定するもの
を含む概念とする。この場合、輝度値が所定の目標範囲よりも大きい場合、ステップＳ１
４へ進み、輝度値が所定の目標範囲よりも小さい場合、ステップＳ１５へ進み、そして、
輝度値が所定の目標範囲内である場合、ステップＳ１６へ進むものとすればよい。

＜ステップＳ１４＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所
定量小さくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮
像する。

＜ステップＳ１５＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所
定量大きくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮
像する。

このように、ステップＳ１４およびステップＳ１５の動作が繰り返されることによって
、輝度差が所定の目標値と一致するように、赤外線ＬＥＤユニット１１から照射される赤
外線の強度が調整される。

＜ステップＳ１６＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とが同じである場合、そのときの赤外線
ＬＥＤユニット１１からの赤外線の照射強度を維持し、輝度演算部１４１は、照射領域サ
ンプルエリア２０２の最大輝度値をもとめ、その最大輝度値を記憶部１４６に記憶させる
。

以上のように輝度調整処理が実行される。輝度調整処理は、操作入力システム１の起動
時に初期動作として実行され、その後は、所定時間ごとに実行されるものとすればよい。

（ジェスチャー操作認識処理）
図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示
すフローチャートである。図６は、実施形態の入力コントローラにより撮像された画像の
二値化画像の例を示す図である。図７は、実施形態の入力コントローラにより撮像された
画像の二値化画像から距離変換と輪郭抽出とを行ってもとめた輪郭抽出画像を示す図であ
る。図５〜７を参照しながら、本実施形態の入力コントローラ１０におけるジェスチャー
操作認識処理について説明する。

＜ステップＳ３１＞
カメラユニット１２は、自動車のルーフに向かう撮像方向の画像を撮像し、画像を制御
ユニット１４の輝度演算部１４１に送信する。そして、ステップＳ３２へ進む。

＜ステップＳ３２＞
輝度演算部１４１は、受信した画像を構成する各画素の画素値と、記憶部１４６に記憶
されている最大輝度値とを比較して画像を二値化し、図６に示す二値化画像２０１ａを生
成する。例えば、輝度演算部１４１は、受信した画像を構成する各画素の画素値が、最大
輝度値よりも大きい場合、値が「１」である画素に変換し、最大輝度値以下である場合、
値が「０」である画素に変換して、二値化画像２０１ａを生成する。そして、ステップＳ
３３へ進む。

＜ステップＳ３３＞
図６に示した二値化画像２０１ａは、撮像した画像を二値化した例を示すものであり、
画素値「１」の画素の塊であるブロックとしてブロック３０１〜３０３を有している。運
転者は、入力コントローラ１０のカメラユニット１２の前に手をかざすと、赤外線ＬＥＤ
４０１から照射した赤外線が手に当たる。手をかざす前は、赤外線ＬＥＤ４０１から照射
した赤外線は、車内のルーフに当たっていたが、手をかざすことによって、ルーフまでの
距離よりも短い手の位置で反射し、カメラユニット１２に入射することになる。したがっ
て、手をかざした状態でカメラユニット１２により撮像された画像において、手の領域部
分の輝度は、手をかざしていない状態でカメラユニット１２により撮像された画像におい
てルーフに相当する部分の輝度と比較して高い値となる。よって、カメラユニット１２に
より撮像された画像を二値化すると、手の領域部分の画素の画素値は「１」となり、手の
領域以外の部分の画素の画素値は「０」となる。

ただし、上述のような方法で撮像画像を二値化すると、細かいノイズが発生することが
あるので、ノイズ除去のためのフィルタをかけるのが望ましい。二値化画像のノイズ除去
のために、例えば、メディアンフィルタによってフィルタ処理を行う。ここで、メディア
ンフィルタとは、フィルタ対象の画像におけるｎ×ｎの局所領域における画素の画素値を
小さい順に並べ、並べた画素値のうち真中に相当する画素値を局所領域の中央の画素の画
素値として置換するフィルタである。このような、ノイズ除去のためのフィルタをかけた
後でも、手の領域のブロック以外のブロックが残る場合がある。したがって、画像処理部
１４３は、二値化画像２０１ａに複数のブロックが存在する場合、それぞれのブロックの
面積を算出し、最大面積のブロックを手の領域のブロックの候補として抽出する。図６に
おいては、画像処理部１４３は、ブロック３０１〜３０３のうち、最大面積を有するブロ
ック３０１を手の領域のブロックの候補として抽出する。そして、ステップＳ３４へ進む
。

＜ステップＳ３４＞
画像処理部１４３は、二値化画像２０１ａにおける手の領域の候補であるブロック３０
１の面積を、所定の閾値と比較し、閾値よりも大きい場合、ブロック３０１が手の領域に
対応するものであると判定する。画像処理部１４３は、二値化画像２０１ａにおいて手の
領域の候補であるブロック３０１の面積が所定の閾値以下である場合、ブロック３０１が
手の領域のブロックでないと判断し、ジェスチャー操作認識処理を終了する。一方、画像
処理部１４３は、手の領域の候補であるブロック３０１の面積が所定の閾値より大きい場
合、ブロック３０１が手の領域のブロックであると判断し、ステップＳ３５へ進む。

＜ステップＳ３５＞
画像処理部１４３は、二値化画像２０１ａにおいて、手の領域のブロックと判定したブ
ロック３０１の輪郭線を抽出した図７に示す輪郭抽出ブロック３０１ａを含む輪郭抽出画
像２０１ｂを得る。具体的には、画像処理部１４３は、二値化画像２０１ａのうちブロッ
ク３０１以外のブロックであるブロック３０２、３０３を消去した画像に対して、距離変
換処理を実行する。ここで、距離変換処理とは、二値化画像における画素値が「１」であ
る画素の画素値を、その画素から最も近い画素値が「０」である画素までの距離に置換す
る処理である。距離変換処理した画像において、距離が「１」である画素を結ぶことによ
って、画像における図形の輪郭線をもとめることができる。このようにしてもとめた画像
が輪郭抽出画像２０１ｂである。さらに、画像処理部１４３は、輪郭抽出ブロック３０１
ａの輪郭線の長さを算出する。そして、ステップＳ３６へ進む。

＜ステップＳ３６＞
ジェスチャー判定部１４４は、ここでは、例えば、運転者の手によるジェスチャーとし
て「グー」、「チョキ」および「パー」のいずれのジェスチャーであるかを判定するもの
とする。手のジェスチャーが「パー」である場合、指それぞれの輪郭線が現れるため、輪
郭線が長くなるのに対し、「グー」である場合、手の形状が楕円のようになるため輪郭線
も短くなるという特徴がある。ここで、特徴量として（輪郭線の長さ）／（面積の平方根
）を定義する。「パー」のような複雑な図形の場合、上述の特徴量は大きくなり、「グー
」のような単純な図形の場合、特徴量は小さくなり、「チョキ」の場合は、特徴量はそれ
らの中間の値となることから、この特徴量を採用することによって、「グー」、「チョキ
」および「パー」のジェスチャーの判定が可能となる。ジェスチャー判定部１４４は、画
像処理部１４３によって算出されたブロック３０１の面積、および、輪郭抽出ブロック３
０１ａの輪郭線の長さから上述の特徴量を算出し、この特徴量に基づいて、手のジェスチ
ャーが「グー」、「チョキ」または「パー」のいずれであるか判定する。そして、ステッ
プＳ３７へ進む。

なお、上述のように、ジェスチャー判定部１４４が判定するジェスチャーとして「グー
」、「チョキ」および「パー」を例に挙げたが、これに限定されるものではない。例えば
、ジェスチャー判定部１４４は、立てた指の本数を検出してジェスチャーを判定するもの
としてもよい。

また、ジェスチャー判定部１４４がジェスチャーを判定するための特徴量として、（輪
郭線の長さ）／（面積の平方根）を挙げたが、これに限定されるものではなく、ジェスチ
ャーを判定することが可能な特徴量であれば、どのような算出式を用いてもよい。

また、ジェスチャー判定部１４４は、上述のような「グー」、「チョキ」および「パー
」のように静的な運転者のジェスチャーのみではなく、過去のジェスチャーと比較して、
運転者の手の動き、その方向および指の屈伸等、動的なジェスチャーを判定するものとし
てもよい。

＜ステップＳ３７＞
コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャー
に対応するカーナビゲーション装置２０に対する操作コマンドを生成する。そして、ステ
ップＳ３８へ進む。

＜ステップＳ３８＞
コマンド生成部１４５は、生成した操作コマンドを、通信インターフェース１３および
通信ケーブル３０を介して、カーナビゲーション装置２０に送信する。カーナビゲーショ
ン装置２０は、受信した操作コマンドにしたがって、操作コマンドに対応した機能を実行
する。

例えば、ジェスチャー判定部１４４によって判定されたジェスチャーが「パー」である
場合、カーナビゲーション装置２０は、表示画面４２１に表示されている地図を市街図に
変更する。また、カーナビゲーション装置２０は、ジェスチャーが「チョキ」である場合
、表示画面４２１に表示されている地図を拡大し、ジェスチャーが「グー」である場合、
表示画面４２１に表示されている地図を縮小する。

以上のようなジェスチャー操作認識処理は、繰り返し実行されるものとする。上述のよ
うなジェスチャー操作認識処理が実行されることによって、運転者のジェスチャーによっ
て、操作対象機器であるカーナビゲーション装置２０を操作することが可能になる。

また、ステップＳ３３で、画像処理部１４３により何らかの最大面積を有するブロック
が抽出され、ステップＳ３４で、画像処理部１４３によりそのブロックの面積が所定の閾
値以下である場合、運転者が何らかのジェスチャー操作を試みた可能性が高く、輝度調整
処理が適切に実行されていない可能性も高い。このように、ステップＳ３４で画像処理部
１４３によりそのブロックの面積が所定の閾値以下となり、ジェスチャー操作認識処理が
終了したとき、制御ユニット１４は、輝度調整処理を実行するのが望ましい。

以上のように、赤外線ＬＥＤユニット１１によって撮像される赤外線による画像におい
て、照射領域サンプルエリア２０２の輝度と、周辺部サンプルエリア２０３ａ〜２０３ｄ
の輝度との差である輝度差が、目標の輝度差となるように、赤外線ＬＥＤユニット１１か
ら照射される赤外線の照射強度を調整している。これによって、入力コントローラ１０の
周辺環境の変化に応じて、赤外線の照射強度が調整されるので、ジェスチャー操作認識処
理に対する外乱の影響を低減し、ジェスチャーの検出精度を向上させることができる。ま
た、可視光を利用しないで赤外線を利用するので夜間でも使用することが可能であり、か
つ、昼間でも外乱として太陽光の影響も受けにくいので、入力コントローラ１０の機器の
信頼性が向上する。さらに、赤外線ＬＥＤユニット１１から照射される赤外線の照射強度
は、上述のように、目標の輝度差となるように調整されるので、消費電力の増大を抑制す
ることができる。

また、本実施の形態に係る操作入力システム１は、昼間は可視光カメラを使用し、夜間
は赤外線カメラを使用するというように、２つのカメラを使用する必要がないので、コス
トの増大を抑制することができる。

１ 操作入力システム
１０ 入力コントローラ
１１ 赤外線ＬＥＤユニット
１２ カメラユニット
１３ 通信インターフェース
１４ 制御ユニット
２０ カーナビゲーション装置
３０ 通信ケーブル
１４１ 輝度演算部
１４２ ＬＥＤ制御部
１４３ 画像処理部
１４４ ジェスチャー判定部
１４５ コマンド生成部
１４６ 記憶部
２０１ 撮像画像
２０１ａ 二値化画像
２０１ｂ 輪郭抽出画像
２０２ 照射領域サンプルエリア
２０３ａ〜２０３ｄ 周辺部サンプルエリア
２５１ 照射領域
３０１〜３０３ ブロック
３０１ａ 輪郭抽出ブロック
４０１ 赤外線ＬＥＤ
４１１ カメラ
４１２ 赤外線透過フィルタ
４２１ 表示画面

Claims (7)

1. 赤外線を照射する赤外線照射手段と、
   赤外線を検出して撮像し、画像を生成する撮像手段と、
   前記画像において、前記赤外線照射手段により赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算手段と、
   前記輝度差が所定の目標範囲より大きい場合には、前記赤外線照射手段から照射される赤外線の照射強度を小さくし、前記輝度差が所定の目標範囲より小さい場合には、前記照射強度を大きくすることで、前記照射強度を調整する赤外線制御手段と、
   を備えた調整装置。
2. 前記輝度演算手段は、前記画像において、前記第１エリアの輝度の平均値と、前記第２エリアの輝度の平均値との差を前記輝度差として算出する請求項１に記載の調整装置。
3. 前記赤外線制御手段は、前記輝度差が所定の目標範囲より大きい場合には、前記赤外線照射手段から照射される赤外線の照射強度を小さくし、前記輝度差が所定の目標範囲より小さい場合には、前記照射強度を大きくすることで、前記輝度差が所定の目標範囲内に入るように前記照射強度を調整する請求項１または２のいずれか一項に記載の調整装置。
4. 前記照射強度の調整を所定間隔に実行する請求項１から３のいずれか一項に記載の調整装置。
5. 前記撮像手段は、少なくとも赤外線を検出する撮像素子と、前記撮像素子の入射側に配置された赤外線透過フィルタと、を含む請求項１から４のいずれか一項に記載の調整装置。
6. 前記第２エリアは、前記画像において複数配置された請求項１から５のいずれか一項に記載の調整装置。
7. 赤外線を照射する赤外線照射ステップと、
   赤外線を検出して撮像し、画像を生成する撮像ステップと、
   前記画像において、前記赤外線照射ステップにより赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算ステップと、
   前記輝度差が所定の目標範囲より大きい場合には、前記赤外線照射ステップから照射される赤外線の照射強度を小さくし、前記輝度差が所定の目標範囲より小さい場合には、前記照射強度を大きくすることで、前記照射強度を調整する赤外線制御ステップと、
   をコンピュータに実行させる調整プログラム。