JP4797752B2 - 移動体用操作物体抽出装置 - Google Patents

Description

本発明は、操作物体もしくは物体の位置情報等を表示装置に重畳表示する移動体用機器の操作装置に用いられ、操作物体の情報を抽出する操作物体抽出装置に関する。

従来、カーナビゲーション装置のような車載機器を操作する際に、操作者の手指やタッチペンなどの操作物体を画像処理を用いて抽出し、抽出した操作物体を表示装置上に他の画像とともに重畳表示し、運転操作などの視認に支障とならない操作を可能とした安全操作システムがある（例えば、特許文献１参照）。

このような安全操作システムにおいて操作物体を抽出する方法としては、クロマキー像による方法がある。クロマキー像による方法では、ビデオ信号処理において映像信号の色ゲインを可変制御した後、所定の色に対応するクロマキー像を抽出する。そして、抽出したクロマキー像とあらかじめ設定した特定パターンとの形状が一致するか否かを判定して、一致する場合には操作物体を抽出したとして、操作信号を発生している（例えば、特許文献２参照）。
特開平１０−１７９１５５号公報 特開平６−８４０８１号公報

ところが、車載環境は車両の窓などから入射する外光の明るさや色が大きく変化するため、上記のクロマキー像による操作物体抽出方法では以下のような問題が発生する。
（１）特定の色や明るさを用いて操作物体の抽出を行っても、直射日光や影、トンネル照明の影響で見た目の色・明るさ変化してしまうので、安定して操作物体を検出することが困難。
（２）外光の明るさの変化の大きさに対応するため、感度レンジの大きなカメラを使用したり、レンズ絞りなどの制御を広範囲に行う必要があるためコストが増大する。

本発明は、このような問題に鑑みなされたものであり、外光の変化の影響を受けにくく、しかも安価な移動体用操作物体抽出装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の操作物体抽出装置は、撮像手段を、操作物体において外光の当たる面とは反対の面を取得できる位置に配置している。
操作物体において外光の当たる面とは反対の面（以下、単に反対面とも呼ぶ。）は、外光の影になるので、外光の照度が変化しても輝度の変化は少ない。つまり、外光の照度の変化が大きくても反対面の輝度の変化が小さいので、外光の影響を受けにくく、かつ、撮像手段の感度レンジや絞りなどの光学系構成部分の制御範囲が小さくすることができる。

撮像範囲の感度レンジを小さくすることができれば、撮像手段を構成する撮像体、例えば、撮像管や撮像素子を安価で小型・軽量なものとすることができる。そして、絞りなどの光学系構成部分の制御範囲が小さければ、光学系構成部分を安価で小型・軽量なものにすることもできる。したがって、結果的に、移動体用操作物体抽出装置を安価で小型・軽量なものにすることができる。

ここで、「移動体」とは、自動車、列車、船舶、航空機あるいは人のように空間を移動するもののことであり、「移動体用機器」とは、移動体に組み込まれたり、移動体において使用される機器のことであり、例えば、ナビゲーション装置、航法装置、操縦装置のように自動車、列車、航空機などに組み込まれる機器や娯楽用機器のように自動車、列車、航空機の中で使用される機器あるいはＨＭＤ（Head Mounted Displayの略）のように人が身に付けて操作する機器などを意味する。

また、「移動体用機器の操作を行うための操作物体」とは、移動体用機器の操作を操作者が行うためのものであり、操作者の手指やタッチペンなどを意味している。
また、「撮像手段」とは、撮像のための撮像素子や撮像管及びレンズなどの光学系が一体化された、いわゆるカメラの他に、撮像素子や撮像管と光学系とが分離されて配置されているものを含んでいる。

さらに、「外光の当たる面とは反対の面の操作物体の画像を取得できる位置に撮像手段を配置する」とは、カメラを反対面側に配置する場合だけでなく、反対面を写す反射鏡などの光学系構成部分を反対面側に配置し、撮像体は反対面側以外に配置する場合も含んでいる。

ところで、外光の変化が大きい場合には、反対面の照度変化は、外光が直接当たる面に比べて小さいものの、多少は変化をする。そこで、外光の変化の影響をさらに受けないようにするために、反対面を取得できる位置に撮像手段を配置するだけでなく、照明手段と制御手段と操作物体抽出手段とを設けるようにするとよい。

そして、発光した光が操作物体において外光の当たる面と反対面に当たるように照明手段を配置し、照明手段の輝度制御及び撮像手段の画像取得のための制御手段及びその制御手段によって複数の輝度条件となるように制御された照明手段によって実現される複数の照度条件下で撮像手段により取得した画像を記憶する画像記憶手段を設ける。そして、操作物体抽出手段によって、画像記憶手段に記憶された複数の照度条件下で取得された画像を比較して操作物体を抽出するのである。

このように、複数の照度条件下で取得した画像を比較することによって、抽出処理に適した条件、例えば、操作物体と背景とに抽出処理に必要となる照度差がある画像を選択して抽出処理を行うことができるので、外光の照度変化が大きくても、その影響を受けずに操作物体の抽出を行うことができる。

また、外光の照度に拘わらず、予め条件が分かっている複数の照度条件下で撮像すればよいので、撮像手段の感度レンジや絞りなどの光学系構成部分の制御範囲が小さくて済む。

さらに、複数の照度条件下で撮像手段により取得した画像を記憶する画像記憶手段を有しているので、複数の照度条件下の画像を１つの撮像手段で取得して比較することができる。つまり、１つの撮像手段で比較のための複数の画像を得ることができるので、移動体用操作物体抽出装置を安価かつ小型・軽量に構成することができる。

ところで、複数の輝度条件によって手段を制御するために、制御手段は、照明手段の点灯／消灯を行い、操作物体抽出手段は、照明手段を点灯した状態で取得して画像記憶手段に記憶された画像と照明手段を消灯した状態で取得して画像記憶手段に記憶された画像とを比較することによって操作物体を抽出するようにするとよい。

このようにすると、照明手段の点灯時の照度が外光照度に比べ十分に大きいときには、外光の照度の変化が大きくても照明手段を点灯したときの画像（以下、点灯画像と呼ぶ。）と照明手段を消灯したときの画像（以下、消灯画像と呼ぶ。）とにコントラストが得られる。したがって、点灯画像と消灯画像とを比較することによって、操作物体の抽出を行うことができるので、操作物体影の部分の画像を取得するための撮像手段の感度レンジや絞りなどの光学系構成部分の制御範囲が小さくて済む。これを詳細に説明する。

図３に、点灯照度、消灯照度及び照明のみ照度の関係を示す。点灯照度は、外光がある場合に照明手段を点灯したときの照度であり、消灯照度は、外光がある場合に照明手段を消灯したときの照度であり、照明のみ照度は、外光が全くない状態で照明のみが移動物体に当った場合の照度である。

照明のみ照度は、外光が全くない状態で照明のみが当たっている状態なので一定の照度である。また、消灯照度は、外光の反射光などにより外光照度の上昇とともに上昇する。点灯照度は消灯照度に照明のみ照度を加えた値となるので、外光照度が低い場合には照明のみ照度と同じようにほぼ一定の照度となり、外光照度が高くなるに従って上昇する。

したがって、外光照度が強い場合には図４（ａ）に示すように、点灯画像には操作物体がほとんど現れないが、消灯画像には操作物体が陰影の強い影として現れるので、両者の差分を取れば操作物体の差分画像が得られる。逆に、外光照度が弱い場合には図４（ｂ）に示すように、点灯画像に操作物体が明確に現れ、消灯画像には操作物体の陰影が得られないので、両者の差分を取れば操作物体の映像（差分画像）が得られる。

このように、差分画像に基づいて操作物体を抽出すると、前述したように外光の照度の変化が大きくても操作物体の影の部分の変化が小さいので、影の部分の画像を取得するための撮像手段の感度レンジや絞りなどの光学系構成部分の制御範囲が小さくて済むのである。

ここで、「画像取得のための制御」とは、撮像手段に対する画像取得タイミングの制御及び絞り量などの光学系の制御をいう。
また、「比較する」とは、上記のように複数の画像の差をとる以外に、複数の画像の商をとったり、単純にｉｆ文によって比較するものなどがある。
また、操作物体による操作の際に、操作物体が動いてしまう場合がある。操作物体の動きが速いと差分画像がいわゆるボケた状態になるので、操作物体を精確に抽出することができなくなるおそれがある。
そこで、操作物体の動きを検出するための操作物体作動検出手段を設け、操作物体作動検出手段により検出した操作物体の動きの速さに応じて、照明手段の点灯／消灯及び照明手段の点灯／消灯時の撮像手段による画像取得の間隔を変化させるように制御手段が構成されているとよい。
このようにすると、操作物体検出手段により操作物体の動きを検出し、その動きの速さに応じて、例えば、動きが速いときには、照明手段の点灯／消灯の間隔を短くして各々の画像（点灯画像と消灯画像）を取得すれば、差分画像にボケが生じにくくなる。差分画像にボケが生じにくくなるので、その差分画像に基づいて、操作物体を精確に抽出することができる。

さらに、請求項２に記載のように、外光照度を検出するための外光照度検出手段を設け、制御手段は、外光照度検出手段により検出した外光照度に応じて照明手段の点灯時の輝度を制御するようにするとよい。

このようすると、外光照度検出手段によって検出した外光照度に応じて、例えば、外光照度に比例して照明手段の点灯時の輝度を制御し、外光照度が変化しても一定の照度差が得られるようにすれば、外光照度が低いときには照明手段の輝度を減らすことができるので、消費電力を抑制することができる。

また、外光照度が変化しても一定の照度差が得られるようにすれば、撮像手段の感度レンジを小さくすることができるので、撮像手段を安価、かつ、小型・軽量にすることができる。

ところで、撮像手段で取得した画像には種々のノイズが重畳する。例えば、操作物体を載置するために照明光と同じ波長の光を透過するパネルが設けられており、そのパネルに載置された状態の操作物体の画像を取得するような場合、そのパネルに傷やほこりがあると、その傷やほこりなどに照明光が反射して背景ノイズとなって出力信号に重畳する。

ところが、パネルの傷やほこりなどの大きさは、操作物体に比べ非常に小さいので、それらによる背景ノイズは、スパイク状のノイズとなる。したがって、請求項３に記載のように撮像手段によって得られた画像を平滑化するための空間フィルタを備えるようにするとよい。

このようにすると、スパイク状のノイズ、つまり、傷やほこりなどの背景ノイズの影響を排除することができるので、精確に操作物体の抽出を行うことができる。
また、請求項４に記載のように、撮像手段の焦点を操作物体がパネル面から操作物体方向又はその反対方向へずらずようにすると取得した画像にいわゆるボケが生じる。したがって、パネルに傷やほこりなどがあっても、それらは、操作物体に比べて非常に小さいので、ボケによって、それらが画像として取得されない。つまり、請求項３に記載のノイズを平滑化するための空間フィルタを設けた場合と同様の効果が得られる。

ところで、照明手段の発光する光が可視光であると、照明手段が点灯／消灯する、いわゆる連続的にストロボが点滅するような状態になるので、操作者は違和感を与えるおそれがある。特に、このような移動体用操作物体抽出装置を車載した場合、車内で照明が連続的に点滅することになるので、操作者、特に運転者に違和感を与え、延いては安全運転に影響を与えるおそれがある。

そこで、請求項５に記載のように、照明手段が赤外光を発光可能に構成され、撮像手段が赤外画像を取得可能に構成されていれば、赤外光は操作者の目に見えないので、連続的に点滅がなされても操作者、特に運転者に違和感を与えることがなくなり、安全運転に影響を与えることもない。

ここで、「赤外線画像を取得可能に構成され」とは、撮像素子そのものが赤外線を感知する材料、例えば、ＩｎＰｂ、ＨｇＣｄＴｅ、熱電対あるいは集電センサなど構成されていてもよいし、通常の可視光カメラに、赤外光を可視光に変換する非線形光学材料を用いた光波長変換素子を装着して、赤外線フィルタを装着して赤外画像を取得できるように構成されていてもよい。

ところで、点灯画像及び消灯画像を取得する場合、照明手段を点灯し、点灯画像を取得した直後に照明手段を消灯して消灯画像を取得してもよいが、請求項６に記載のように、照明手段の点灯／消灯及び照明手段の点灯／消灯時の撮像手段による画像取得を等間隔に行うように制御手段が構成されているようにするとよい。

このように、点灯画像を取得してから消灯画像を取得し、再び点灯画像を取得するまでの間隔を等間隔にすると差分画像の数が増加する。つまり、最初に取得した点灯画像と次に取得した消灯画像との間で差分画像を取得し、その消灯画像と次に取得した点灯画像とで差分画像を取得するのである。このようにすると、照明手段を同じ回数点滅させても取得できる差分画像の数は増える。

さらに、上記のように点灯画像の取得と消灯画像の取得との間隔を等間隔で行うと、その間に操作物体が多少動いてもその動きが少ない間に差分画像を取得することができるので精確な差分画像を得ることができる。

さらに、請求項７に記載のように、操作物体が操作位置にあるか否かを検知するための操作物体検知手段を設け、操作物体検知手段により操作物体が検知されないときには、照明手段の点灯／消灯及び撮像手段による画像取得を行わないように制御手段が構成されているとよい。

このようにすると、操作物体が操作位置にある場合にだけ照明手段の点灯や撮像手段による画像取得を行う、換言すれば、操作が行われていないときには照明手段の点灯や撮像手段による画像取得を行わないので、消費電力を抑制することができる。

ここで、「操作位置」とは、移動体用操作物体抽出装置によって移動体用機器の操作ができる操作物体の位置あるいは操作ができるであろうと推定できる位置を意味している。例えば、操作者の手指が操作物体である場合は、その手指の位置が移動体用操作物体抽出装置によって検出できる位置だけでなく、走者が操作時に手のひらの一部を載置する、いわゆるパームレスト等を含んでいる。パームレスト等に手のひらの一部が載置されていれば、操作者の手指が操作状態にあると推定できるからである。

また、請求項８に記載のように、撮像手段を複数の光学系と複数の撮像素子とから構成すると、複数の照度条件下における画像の取得の際、各々の照度条件に最適な撮像手段を構成することができるので、より鮮明な画像を取得することができるので、操作物体をより精確に抽出することが可能となる。

さらに、複数の光学系や撮像素子を備えていても各々の光学系や撮像素子を各照度条件にあった特性のものとすればよいので、各光学系や撮像素子を簡素化することができるので、照度条件によっては、却って撮像手段を小型化できるという効果も期待できる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［第１実施形態］
（構成の説明）
図１は、本発明に係る操作物体抽出装置が組み込まれたカーナビゲーション装置の概略構成を示す図である。

カーナビゲーション装置１は、図１に示すように車室内に配置され、表示装置２、操作物体抽出装置５などから構成される。
表示装置２は、地図上にナビゲーションのための車両シンボルの表示を行ったり、道路交通情報など、運転者Ａに種々の情報を表示するための装置であり、液晶パネルなどで構成されており、車室内の前部に運転者Ａから視認可能な位置に設置されている。

操作物体抽出装置５は、カーナビゲーション装置１の操作を行う運転者Ａの手指Ｂを画像処理にて抽出するものである。操作物体抽出装置５の詳細については、図２に基づき説明する。

（操作物体抽出装置５の説明）
図２は、操作物体抽出装置５の構成を示すブロック図である。図２に示すように、操作物体抽出装置５は、カーナビゲーション装置１の操作を行うための運転者Ａの手指Ｂを画像処理にて抽出する装置であり、撮像装置１２、照明装置１４、制御部１６、画像メモリ１８、パネル２０などから構成されている。

撮像装置１２は、赤外画像を取得可能に構成されている。具体的には、可視画像を撮像するための撮像素子、赤外光を反射する反射鏡や赤外光を集光するためのレンズあるいは赤外光を可視光に変換する非線形光学材料を用いた光波長変換素子などから構成される。

また、撮像装置１２は、運転者Ａの手指Ｂがパネル２０のパネル面から運転者Ａの手指Ｂ側へずれた位置に焦点を有しており、運転者Ａの手指Ｂの外光の当たる面と反対面、つまり、パネル２０のパネル面を撮像できる位置に、具体的には、操作物体抽出装置５の内部でパネル２０の下側に配置されている。

照明装置１４は、赤外光を発光可能に構成されており、赤外ＬＥＤのように赤外線を直接発光するものや白熱ランプ、ネルンストグロワランプ、グローバ、アーク放電管、タングステンランプなどの発光体に赤外線透過フィルタを装着したものが使用される。そして、発光した赤外光が運転者Ａの手指Ｂがパネル２０に面している部分に当たるように操作物体抽出装置５の内部に配置されている。

画像メモリ１８は、照明装置１４を点灯した状態で撮像装置１２で取得した画像（点灯画像）と照明装置１４を消灯した状態で撮像装置１２により取得した画像（消灯画像）とを記憶するものである。点灯画像及び消灯画像を各々１枚ずつ記憶できる以上の容量を有している。

パネル２０は、運転者Ａが手指Ｂでカーナビゲーション装置１の操作、例えば、目的地の入力、表示の拡大・縮小の設定入力などを行うために、手指Ｂを載置するためのものであり、赤外線を透過する材料、例えば、アクリル板などで形成されている。

操作物体センサ２２は、運転者Ａの手指Ｂが操作位置にあるか否かを検知するためのセンサであり、具体的には、マイクロスイッチや感圧シートなどである。操作物体センサ２２は、パネル２０の近傍であって、運転者Ａがパネル２０に手指Ｂを載置する際に、運転者Ａの手のひら又は手首によって押下される部分に設置されており、パネル２０に運転者Ａの手指Ｂが載置されていなければオフであり、手指Ｂが載置されたときにオンになる。

制御部１６は、照明装置１４の点灯／消灯及び撮像装置１２の画像取得のための制御を行うものであり、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されている。
制御部１６は、操作物体センサ２２の状態を入力し、操作物体センサ２２がオンのとき、つまり、運転者Ａが手指Ｂをパネル２０に載置したときに、照明装置１４を点灯した状態で撮像装置１２により取得した画像（点灯画像）と照明装置１４を消灯した状態で撮像装置１２により取得した画像（消灯画像）との差に基づいて操作物体を抽出する処理を行う。

より具体的には、制御部１６は、照明装置１４を点灯させるとともに、撮像装置１２によって画像（点灯画像）を取得し、取得した点灯画像を画像メモリ１８に記憶する。次に、制御部１６は、照明装置１４を消灯させるとともに、撮像装置１２によって画像（消灯画像）を取得し、消灯画像を画像メモリ１８に記憶する。そして、制御部１６は、画像メモリ１８に記憶された点灯画像と消灯画像と差の画像（差分画像）に基づいて運転者Ａの手指Ｂを抽出する。

ここで、点灯画像と消灯画像とに基づいて運転者Ａの手指Ｂを抽出原理について、図３及び図４に基づいて説明する。図３は、点灯照度α、消灯照度β及び照明のみ照度γの関係を示した図である。図４は、外光照度が高い場合と低い場合とで得られる差分画像を示した図である。

ここで、点灯照度αは、外光がある場合に照明手段を点灯したときの照度であり、消灯照度βは、外光がある場合に照明手段を消灯したときの照度であり、照明のみ照度γは、外光がなく照明のみが移動物体に当った場合の照度である。

図３に示すように、照明のみ照度γは、外光がないので一定の照度である。また、消灯照度βは、外光の反射光などにより外光照度の上昇とともに上昇する。点灯照度αは消灯照度βに照明のみ照度γを加えた値となるので、外光照度が低い場合には照明のみ照度γと同じようにほぼ一定の照度となり、外光照度が高くなるに従って上昇する。

したがって、外光照度が強い場合には、図４（ａ）に示すように、点灯画像には運転者Ａの手指Ｂがほとんど現れないが、消灯画像には手指Ｂが陰影の強い影として現れる。そのため、両者の差分を取れば手指Ｂの映像（差分画像）が得られる。逆に、外光照度が弱い場合には、図４（ｂ）に示すように、点灯画像に手指Ｂが明確に現れる。そのため、消灯画像には手指Ｂの陰影が得られないので、両者の差分を取れば手指Ｂの映像（差分画像）が得られる。

また、制御部１６は、以上のようにして抽出した運転者Ａの手指Ｂを操作のための表示に重畳させて表示装置２に表示させる。
なお、制御部１６は、操作物体抽出装置５の制御以外に、カーナビゲーション装置１のを制御するための各種処理、例えば、経路検索処理、経路案内処理、表示処理などを行っている。

（作動の説明）
以上のように構成されたカーナビゲーション装置１では、図１に示すように運転者Ａがパネル２０に手指Ｂを載せると操作物体センサ２２がオンになる。操作物体センサ２２がオンになった場合、制御部１６が照明装置１４及び撮像装置１２を制御し、点灯画像と消灯画像とを取得して、画像メモリ１８に記憶させる。

制御部１６は、画像メモリ１８に記憶させた点灯画像と消灯画像との差、つまり、差分画像に基づいて運転者Ａの手指Ｂを抽出し、カーナビゲーション装置１の操作のための表示とともに抽出した手指Ｂを表示する。

（カーナビゲーション装置１の特徴）
カーナビゲーション装置１に組み込まれた操作物体抽出装置５によれば、撮像装置１２を手のひら側、つまり、運転者Ａの手指Ｂを外光の当たる面とは反対側に配置して撮像している。そして、手のひら側が外光によって影になったときに撮像手段で取得した画像（消灯画像）と反対面に照明が当ったときに取得した画像（点灯画像）との差分画像（差分画像）に基づいて手指Ｂを抽出する。

このように、差分画像に基づいて運転者Ａの手指Ｂを抽出しているので、外光の照度の変化があっても手指Ｂの影の部分の変化が小さいので、影の部分の画像を取得するための撮像手段の感度レンジや絞りなどの光学系構成部分の制御範囲が小さくて済む。

撮像範囲の感度レンジが小さくすることができれば、撮像手段を構成する撮像体、例えば、撮像管や撮像素子を安価で小型・軽量なものとすることができる。そして、絞りなどの光学系構成部分の制御範囲が小さければ、光学系構成部分を安価で小型・軽量なものにすることもできる。したがって、結果的に、移動体用操作物体抽出装置を安価で小型・軽量なものにすることができる。

また、画像メモリ１８を備えているので、点灯画像の取得タイミングと消灯画像の取得タイミングとに時間差を設け、別々に取得することができる。したがって、１台の撮像装置１２で差分画像を取得することができるので、移動体用操作物体抽出装置を安価かつ小型・軽量に構成することができる。

また、運転者Ａの手指Ｂがパネル２０に面している部分から運転者Ａの手指Ｂ側へずれた位置に撮像手段の焦点があるので、取得した画像にいわゆるボケが生じる。画像にボケが生じれば、パネルに傷やほこりなどがあっても、それらは、手指Ｂに比べて非常に小さいので、ボケによって、それらが画像として取得されない。したがって、その画像に基づいて手指Ｂの抽出を精確に行うことができる。

また、撮像装置１２が赤外画像を取得するように構成されている。赤外光は操作者の目に見えない。したがって、連続的に点滅がなされても運転者Ａに違和感を与えることがないので、安全運転に影響を与えることもない。

さらに、手指Ｂが操作位置にある場合にだけ照明装置１４の点灯や撮像装置１２による画像取得を行う、換言すれば、操作が行われていないときには照明手段の点灯や撮像装置１２による画像取得を行わないので、消費電力を抑制することができる。

［第２実施形態］
次に、本発明に係る他の形態の操作物体抽出装置が組み込まれたカーナビゲーション装置１について説明する。第２実施形態のカーナビゲーション装置１は、操作物体抽出装置の形態が第１実施形態において説明した操作物体抽出装置５と異なるのみであるので、その部分について説明する。

（操作物体抽出装置７の説明）
図６は、操作物体抽出装置７の構成を示すブロック図である。図６に示すように、操作物体抽出装置５に対して照度センサ２４が付加されていること、撮像装置１２にローパスフィルタが設けられていること、撮像装置１２がパネル２０のパネル面に焦点を有していること、制御部１６における照明装置１４の点灯／消灯タイミング及び画像処理の方法が異なっていること以外は操作物体抽出装置５と同じ構成及び機能を有している。したがって、照度センサ２４及び撮像装置１２に関する部分についての構成及び機能の説明を行い、その他の説明は省略する。

照度センサ２４は、外光照度を検出するためのセンサであり、具体的には、フォトダイオードやフォトトランジスタなどで構成されている。
撮像装置１２は、パネル２０のパネル面に焦点を有し、かつ、取得した画像を出力信号として出力する際にその出力信号を平滑化するフィルタ、つまり、所定周波数以上の周波数の出力信号を透過しないローパスフィルタを信号出力部分に備えている。

ここで、「所定周波数」とは、除去するノイズの特性、つまり、パネル２０の傷やほこりの大きさによって決まる周波数であり、傷やほこりが小さければ、ノイズはスパイク状になるので所定周波数は高くなるし、逆に、傷やほこりが大きければ所定周波数は低くなる。

ローパスフィルタを備えることにより、高帯域の信号、つまり、パネル２０のパネル面の傷やほこりなどの高帯域ノイズを除去することができるので、出力信号を平滑化することができる。したがって、撮像装置１２がパネル２０のパネル面にからずれた位置に焦点を有していることと同じ効果が得られる。

制御部１６は、照度センサ２４により検出した外光照度に応じて照明装置１４の点灯時の輝度を制御するように構成されている。具体的には、外光照度が大きいときには、点灯時の照明装置１４の輝度を大きくし、外光照度が小さいときには、輝度を小さくする。

このように外光照度が大きいときには照明装置１４の輝度を大きくし、外光照度が小さいときには照明装置１４の輝度を小さくすれば、運転者Ａの手指Ｂのパネル２０面側における照度を一定にすることができる。

運転者Ａの手指Ｂのパネル２０面側における照度を一定にすることができれば、撮像装置１２の撮像素子の感度レンジや絞りなどの制御範囲を小さくすることができるので、撮像装置１２を安価で小型・軽量にすることができる。また、外光照度が低いときには照明装置１４の輝度を減らすことができるので、消費電力を抑制することができる。

また、制御部１６は、照明装置１４の点灯及び消灯を等間隔で行い、画像メモリ１８に点灯画像と消灯画像とを順次記憶させて、差分画像を得る。つまり、最初に取得した点灯画像と次に取得した消灯画像との間で差分画像を取得し、その消灯画像と次に取得した点灯画像とで差分画像を取得するのである。

このようにすると、照明手段を同じ回数点滅させても取得できる差分画像の数は増える。さらに、上記のように点灯画像の取得と消灯画像の取得との間隔を等間隔で行うと、その間に操作物体が多少動いてもその動きが少ない間に差分画像を取得することができるので精確な差分画像を得ることができるのである。

［第３実施形態］
次に、本発明に係る他の形態の操作物体抽出装置が組み込まれたカーナビゲーション装置１について説明する。第３実施形態のカーナビゲーション装置１は、操作物体抽出装置の形態が第１実施形態及び第２実施形態において説明した操作物体抽出装置５，７と制御部１６における画像処理の内容が異なるのみであるので、その部分について説明する。

（制御部１６での処理の説明）
図７は、制御部１６における照明装置制御処理の内容を示したフローチャートである。第３実施形態における制御部１６では、第１実施形態及び第２実施形態で説明した処理に加え、図７に示す照明制御処理が実行される。

制御部１６では、図７に示すように、Ｓ１００において、画像メモリ１８に記憶されている差分画像（第１差分画像）が取得され、Ｓ１０５へ移行される。
Ｓ１０５では、Ｓ１００において取得された第１差分画像が二値化され、続くＳ１１０では、Ｓ１０５において二値化された第１差分画像から運転者Ａの手指Ｂの輪郭が抽出された後、Ｓ１１５へ移行される。

Ｓ１１５では、Ｓ１００において取得された第１差分画像の次のタイミングで得られた差分画像（第２差分画像）が画像メモリ１８から取得され、Ｓ１２０へ移行される。
Ｓ１２０では、Ｓ１１５において取得された第２差分画像が二値化され、続くＳ１２５では、Ｓ１２０において二値化された第２差分画像から運転者Ａの手指Ｂの輪郭が抽出された後、Ｓ１３０へ移行される。

Ｓ１３０では、Ｓ１１０において抽出された運転者Ａの手指Ｂの輪郭の位置とＳ１１５において抽出された運転者Ａの手指Ｂの輪郭の位置とが比較され、両者の位置が所定の値以上変化しているか否かが判定される。

そして、手指Ｂの輪郭の位置が所定の値以上変化していれば（Ｓ１３０：Ｙｅｓ）、Ｓ１３５へ移行され、位置の変化が所定の値よりも小さければ（Ｓ１３０：Ｎｏ）、Ｓ１４０へ移行される。

Ｓ１３５では、照明装置１４の点灯及び消灯の周期を所定の時間短くした後、Ｓ１００へ戻って処理が繰り返される。
Ｓ１４０では、照明装置１４の点灯及び消灯の周期を所定の時間長くした後、Ｓ１００へ戻って処理が繰り返される。

以上のように、運転者Ａの手指Ｂの動きを検出し、その動きの速さに応じて、動きが速いときには、照明手段の点灯／消灯の間隔を短くして各々の画像（点灯画像と消灯画像）を取得すれば、差分画像にボケが生じにくくなる。差分画像にボケが生じにくくなるので、その差分画像に基づいて、操作物体を精確に抽出することができる。

［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

（１）例えば、上記各実施形態では、運転者Ａの手指Ｂを抽出していたが、手指Ｂの代りに運転者Ａが持つタッチペンなどの操作用物体を抽出するようにしてもよい。
（２）また、第１実施形態では、撮像装置１２は、赤外光を可視光に変換する非線形光学材料を用いた光波長変換素子や可視画像を撮像するための撮像素子などにより構成されていたが、赤外画像を撮像するための撮像素子を有する赤外線カメラを用いるようにしてもよい。

赤外線カメラの撮像素子は、検出する波長帯域に応じて、ＩｎＰｂやＨｇＣｄＴｅのような半導体素子であってもよいし、熱電対やボロメータあるいは集電センサであってもよい。

（３）また、第１実施形態の撮像装置１２では、焦点を、パネル２０のパネル面から運転者Ａの手指Ｂ側へずらしていたが、反対に、パネル面から撮像装置１２側へ焦点をずらすようにしてもよい。

（４）また、上記実施形態では、照明装置１４を点灯及び消灯させて点灯画像と消灯画像とを取得し、差分画像を取得していたが、照明装置１４の輝度を数段階に変化させ、各輝度における画像を取得し、その中から運転者Ａの手指Ｂの抽出のための画像処理に適した画像を選択するようにしてもよい。

なお、上記の各実施形態において、カーナビゲーション装置１が移動体用機器の相当し、操作物体抽出装置５，７が移動体用操作物体抽出装置に相当し、撮像装置１２が撮像手段に相当する。また、照明装置１４が照明手段に相当し、制御部１６が制御手段に相当し、画像メモリ１８が画像記憶手段に相当する。

さらに、操作物体センサ２２が操作物体検知手段に相当し、照度センサ２４が外光照度検出手段に相当し、照明装置制御処理におけるＳ１３０の処理が操作物体作動検出手段に相当する。

操作物体抽出装置５が組み込まれたカーナビゲーション装置１の概略構成を示す図である。 操作物体抽出装置５の構成を示すブロック図である。 点灯照度α、消灯照度β及び照明のみ照度γの関係を示す図である。 外光照度が高い場合と低い場合とで得られる差分画像を示した図である。 撮像装置１２におけるノイズ除去の原理図である。 操作物体抽出装置７の構成を示すブロック図である。 制御部１６における照明装置制御処理の内容を示したフローチャートである。

符号の説明

１…カーナビゲーション装置、２…表示装置、５，７…操作物体抽出装置、１２…撮像装置、１４…照明装置、１６…制御部、１８…画像メモリ、２０…パネル、２２…操作物体センサ、２４…照度センサ。

Claims (8)

1. 移動体用機器の操作を行うための操作物体を画像処理にて抽出する移動体用操作物体抽出装置であって、
   前記操作物体における外光の当たる面とは反対の面を取得できる位置に配置された撮像手段と、
   発光した光が前記操作物体における外光の当たる面とは反対の面に当たるように配置された照明手段と、
   前記照明手段の輝度制御及び前記撮像手段の画像取得のための制御を行う制御手段と、
   前記制御手段により複数の輝度条件となるように制御された前記照明手段によって実現される複数の照度条件下で前記撮像手段により取得した画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶された前記複数の照度条件下で取得された画像を比較して前記操作物体を抽出する操作物体抽出手段と、
   前記操作物体の動きを検出するための操作物体作動検出手段と、
   を備え、
   前記操作物体抽出手段は、前記照明手段を点灯した状態で取得して前記画像記憶手段に記憶された画像と前記照明手段を消灯した状態で取得して前記画像記憶手段に記憶された画像とを比較することによって前記操作物体を抽出し、
   前記制御手段は、前記照明手段の点灯／消灯を行うとともに、前記操作物体作動検出手段により検出した前記操作物体の動きの速さに応じて、前記照明手段の点灯／消灯及び前記照明手段の点灯／消灯時の前記撮像手段による画像取得の間隔を変化させるよう構成されていることを特徴とする移動体用操作物体抽出装置。
2. 請求項１に記載の移動体用操作物体抽出装置において、
   外光照度を検出するための外光照度検出手段を備え、
   前記制御手段は、前記外光照度検出手段により検出した外光照度に応じて前記照明手段の点灯時の輝度を制御することを特徴とする移動体用操作物体抽出装置。
3. 請求項１又は請求項２に記載の移動体用操作物体抽出装置において、
   前記撮像手段によって得られた画像を平滑化するための空間フィルタを備えたことを特徴とする移動体用操作物体抽出装置。
4. 請求項１〜請求項３の何れかに記載の移動体用操作物体抽出装置において、
   前記操作物体を載置するためのパネルを備え、
   前記撮像手段は、前記操作物体が前記パネルのパネル面から操作物体方向又はその反対方向へずれた位置に焦点を有することを特徴とする移動体用操作物体抽出装置。
5. 請求項１〜請求項４の何れかに記載の移動体用操作物体抽出装置において、
   前記照明手段は、赤外光を発光可能に構成され、
   前記撮像手段は、赤外画像を取得可能に構成されていることを特徴とする移動体用操作物体抽出装置。
6. 請求項１〜請求項５の何れかに記載の移動体用操作物体抽出装置において、
   前記制御手段は、前記照明手段の点灯／消灯及び前記照明手段の点灯／消灯時の前記撮像手段による画像取得を等間隔に行うよう構成されていることを特徴とする移動体用操作物体抽出装置。
7. 請求項１〜請求項６の何れかに記載の移動体用操作物体抽出装置において、
   前記操作物体が操作位置にあるか否かを検知するための操作物体検知手段を備え、
   前記制御手段は、前記操作物体検知手段により前記操作物体が検知されないときには、前記照明手段の点灯／消灯及び前記撮像手段による画像取得を行わないよう構成されていることを特徴とする移動体用操作物体抽出装置。
8. 請求項１〜請求項７の何れかに記載の移動体用操作物体抽出装置において、
   前記撮像手段は、複数の光学系と複数の撮像素子とから構成されていることを特徴とする移動体用操作物体抽出装置。