JP5182247B2 - 情報機器操作装置 - Google Patents

Description

本発明は、操作物体若しくは物体の位置情報等を表示装置に重畳表示して移動体用機器又は情報機器の操作を行うための情報機器操作装置に関する。

従来、カーナビゲーション装置のような車載機器を操作する際に、手のひらに対する特定の指（例えば親指）の出し入れを検出する都度、複数の制御対象の中の１つを巡回的に選択指定する機能選択手段と、あらかじめ設定された手指形状（例えば指差し形状）をなす手のひらの動きに比例して、上記機能選択手段にて指定された制御対象に対する制御量を付与する機器操作手段を備える安全操作システムがある（例えば、特許文献１参照）。

この安全操作システムでは、手のひらを握った握り拳の状態において親指を屈伸させることで、あたかも手のひらにより把持した押し釦スイッチを親指にて押圧操作するような自然性の高い操作感覚で複数の制御対象機器を巡回的に選択指定することができる。したがって複数の制御対象機器の1つを違和感なく選択することができ、その操作性を高める
ことができる。

特開２００５−６３０９０号公報

しかしながら、上記安全操作システムではカメラを操作物体の上側に配置し、操作物体の外光の当たる面を撮影する。車載環境は外光の変化が大きいため、このような構成では、操作物体の輝度が大きく変化するので、安定して手領域を抽出するのは困難であり、手指形状や動作の誤った検出の原因となる。

また、三次元的な動きによってナビ地図等の操作を行おうとすると手のひらの角度やカメラからの距離を精度よく検出する必要がある。そのためには、照明を当てて距離や角度による輝度変化をカメラで撮影して検出する方法が考えられる。

ところが、車両においてこれを実現しようとした場合、天井にカメラ及び照明を設置すると、手までの距離が長くなるため手の角度変化を伴う輝度変化を検出するためにステレオカメラなどを用いる必要があり、機器構成が複雑になるという問題がある。

本発明はこのような問題に鑑みなされたものであり、外光の影響を受けにくく、かつ手指の動きにより容易に対象機器を操作する情報機器操作装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の情報機器操作装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、移動体用機器又は情報機器（１０）の操作を行うための操作物体を画像処理にて抽出する情報機器操作装置（１）であって、撮像手段（２０）、照明手段（３０）、制御手段（４０）、画像記憶手段（５０）、操作物体抽出手段（６０）、検出手段（７０）及び信号出力手段（８０）を備えることを特徴とする。

撮像手段（２０）は、操作物体に外光が直接当たったときに、外光に対して影になる面を撮像できる位置に配置され、照明手段（３０）は、発した光が操作物体に外光が直接当たったときに、外光に対して影になる面に当たるように配置されている。

制御手段（４０）は、照明手段（３０）の輝度制御及び撮像手段（２０）の画像取得のための制御を行い、画像記憶手段（５０）は、制御手段（４０）により複数の輝度条件となるように制御された照明手段（３０）によって実現される複数の照度条件下で撮像手段（２０）により取得した画像を記憶する。

操作物体抽出手段（６０）は、画像記憶手段（５０）に記憶された複数の照度条件下で取得された画像を比較して操作物体を抽出し、検出手段（７０）は、操作物体抽出手段（６０）で抽出された操作物体の所定の形状や動きを検出する。また、信号出力手段（８０）は、検出手段（７０）によって検出された操作物体の所定の形状や動きに対応した信号を情報機器（１０）へ出力する。
また、検出手段（７０）は、撮像手段（２０）の光軸と、光軸に垂直な面において直交する２方向の軸と、からなる三次元空間における操作物体の動きを検出するとともに、三次元空間における撮像手段（２０）の光軸及び光軸に垂直な面において直交する２方向の軸の周りの操作物体の角度である三次元回転角度を検出する空間回転角検出手段（７６）を備え、
さらに、空間回転角検出手段（７６）は、操作物体抽出手段（６０）によって抽出された操作物体を複数の領域に分割し、分割された領域ごとに平均輝度及び重心位置を検出し、検出した領域ごとの平均輝度と重心位置とに基づいて操作物体の三次元回転角度を検出するとともに、
操作物体抽出手段（６０）によって抽出された操作物体を複数の領域に分割する際、操作物体の重心を求め、求めた重心を通る複数の線により分割するか又は重心を通る線の平行線及びその線に交わる線により分割し、信号出力手段（８０）は、空間回転角検出手段（７６）によって検出された操作物体の三次元回転角度を出力する。

このような、情報機器操作装置（１）は、外光の影響を受けにくく、操作物体の動きにより容易に対象機器を操作することができる。以下説明する。
情報機器操作装置は、操作物体における外光の当たる面とは反対の面を撮像できる位置に撮像手段（２０）が配置されている。つまり、撮像手段（２０）では、操作物体の陰の部分の画像を取得することになる。したがって、外光の照度が変化しても操作物体の陰の部分の照度の変化は少ないので、外光の影響を受けにくい。

また、発した光が操作物体における外光の当たる面とは反対の面に当たるように照明手段（３０）が配置されている。したがって、操作物体の外光に対して陰になる部分に照明が当たるので、外光の照度が変化しても陰の部分の照度の変化は少ない。

さらに、操作物体の陰の部分について複数の照度条件下で取得された画像を記憶し、記憶した複数の画像を比較して操作物体を抽出する。つまり、異なる照度で操作物体の画像を取得して比較するので、操作物体のコントラストが明確になる。したがって、外光が変化しても、その影響を受けずに操作物体の形状や動きを抽出することができる。

また、抽出した操作物体の形状や動きに対応した信号を情報機器へ出力しているので、情報機器においてその信号を使用し、情報機器を制御すれば、情報機器の操作ができる。
例えば、表示装置に操作用の表示をさせる情報機器（１０）の場合には、その操作用の表示に、操作物体を重畳表示させれば、その表示を操作者が目視しながら情報機器（１０）の操作を行うことができる。

また、検出手段（７０）は、撮像手段（２０）の光軸と、光軸に垂直な面において直交する２方向の軸と、からなる三次元空間における操作物体の動きを検出する。
このように、三次元空間における操作物体の動きを検出すれば、二次元面における操作物体の動きに比べ、より多くの情報が得られる。したがって、検出した三次元空間における操作物体の動きによって、情報機器（１０）のより複雑な操作を行うことができる。

三次元空間における操作物体の動きには、回転と移動がある。そこで、検出手段（７０）は、三次元空間における撮像手段（２０）の光軸及び光軸に垂直な面において直交する２方向の軸の周りの操作物体の角度である三次元回転角度を検出する空間回転角検出手段（７６）を備え、信号出力手段（８０）は、空間回転角検出手段（７６）によって検出された操作物体の三次元回転角度を出力するようにする。

このように、三次元回転角度を検出し、出力すると二次元平面での操作に比べ、より複雑な操作を行うことができる。例えば、カーナビゲーション装置（１０）において三次元地図表示がなされることがあるが、その三次元地図の視点を三次元空間内で移動させることができる。

三次元回転角度を検出するには、空間回転角検出手段（７６）は、操作物体抽出手段（６０）によって抽出された操作物体を複数の領域に分割し、分割された領域ごとに平均輝度及び重心位置を検出し、検出した領域ごとの平均輝度と重心位置とに基づいて操作物体の三次元回転角度を検出するとよい。

このようにすると、三次元回転角度を検出することができる。つまり、操作物体が撮像手段（２０）の光軸と垂直な平面に平行であれば、操作物体を複数の領域に分割した場合、分割された領域ごとの平均輝度は同じになる。ところが、操作物体が撮像手段（２０）の光軸と垂直な平面と平行でなければ、分割された領域ごとの平均輝度は異なる。

そこで、分割した領域ごとの重心と平均輝度と検出し、その重心位置が平均輝度の位置であるとすれば、最小二乗法などにより各重心位置を通る二次元平面を近似することができる。そして、この近似した二次元平面の各軸に対する傾きの角度が三次元回転角として検出できる。

また、画像から抽出された操作物体を複数の領域に分割する方法としては、操作物体の重心を求め、求めた重心を通る複数の線により分割するか又は重心を通る少なくとも１本の線及びその線に交わる線により分割するとよい。

このようにすると、容易に求めることができる重心を基準として分割できるので、容易に分割できる。
ところで、三次元回転角度を検出するには、前述の操作物体の画像を用いる方法以外にも、操作物体までの距離を用いる方法もある。つまり、請求項２に記載のように、操作物体までの距離を計測するための少なくとも３つの距離センサ（９０）を備え、空間回転角検出手段（７６）は、少なくとも３つの距離センサ（９０）によって検出された距離に基づいて操作物体の三次元回転角度を検出するのである。

このようにすると、複雑で処理負荷の大きな画像処理を行わなくてもよいので、情報機器操作装置（１）における処理負荷が軽減される。

また、情報機器（１０）の操作のためには、操作物体の三次元回転角度だけでなく操作物体の移動方向と移動量を検出できると便利である。そこで、請求項３に記載のように、操作物体の三次元空間における移動方向及び移動量を検出する空間移動検出手段（７８）を備え、信号出力手段（８０）は、空間移動検出手段（７８）によって検出された操作物体の空間における移動方向及び移動量を出力するよう構成するとよい。

このようにすると、三次元空間における操作物体の移動方向と移動量とが検出でき、検出した移動方向と移動量とが出力されるので、情報機器（１０）の操作のための情報量が増える。したがって、情報機器（１０）の複雑な操作を行うことができるので操作者にとって便利である。

操作物体の移動方向と移動量とを検出するには、請求項４に記載のように、空間移動検出手段（７８）は、操作物体抽出手段（６０）によって抽出された操作物体領域の平均輝度を所定の時間間隔で検出し、検出した複数の平均輝度を比較することによって、操作物体の撮像手段（２０）の光軸方向の移動を検出するとよい。

このようにすると、検出した平均輝度が低くなれば操作物体までの距離が大きくなり、平均輝度が高くなれば操作物体までの距離が小さくなることが検出できる。
また、請求項５に記載のように、操作物体までの距離を計測するための距離センサ（９０）を備え、空間移動検出手段（７８）は、距離センサ（９０）によって検出された距離に基づいて操作物体の三次元空間における移動方向及び移動量を検出するようにしてもよい。

このようにすると、複雑で処理負荷の大きな画像処理を行わなくてもよいので、情報機器操作装置（１）における処理負荷が軽減される。
また、２つの照明を用いる方法もある。すなわち、請求項６に記載のように、照明手段（３０）を、第１照明手段（３２）と、第１照明手段（３２）と異なる位置に配置され、照射された光が第１照明手段（３２）から照射された光と撮像手段（２０）から所定の距離で交わるように構成された第２照明手段（３４）とから構成する。

そして、空間移動検出手段（７８）は、距離センサ（９０）に代えて、撮像手段（２０）によって入力した画像から、第１照明手段（３２）及び第２照明手段（３４）から操作物体に投射された光を検出し、検出した第１照明手段（３２）及び第２遮光手段（３４）から投射され、操作物体に形成された各々の光点の大きさを撮像手段（２０）から取得した画像から検出し、検出した光点の大きさに基づいて、操作物体までの距離を検出する。

このとき、請求項７に記載のように、第１照明手段（３２）及び第２照明手段（３４）は、照射される光が指向性を有しているとよい。例えば、第１照明手段（３２）及び第２照明手段（３４）に、レーザダイオードのような極めて指向性が狭い照明を用いると明確な形状の光点が形成されるので、操作物体までの距離及び移動量をさらに正確に検出できる。

さらに、請求項８に記載のように、照明手段（３０）を第１照明手段（３２）と第１照明手段（３２）と異なる位置に配置された第２照明手段（３４）とから構成する。また、第１照明手段（３２）と操作物体との間に設置され、開口部を有し、その開口部から第１照明手段（３２）の光の一部を操作物体に投射するための第１遮光手段（３６）及び第２照明手段（３４）と操作物体との間に設置され、開口部を有し、その開口部から第２照明手段（３４）の光の一部を操作物体に投射するための第２遮光手段（３８）とを備える。

また、第１遮光手段（３６）及び第２遮光手段（３８）は、第１遮光手段（３６）及び第２遮光手段（３８）の開口部から投射された光が撮像手段（２０）から所定の距離で交わるよう構成され、
そして、空間移動検出手段（７８）は、距離センサ（９０）に代えて、撮像手段（２０）によって入力した画像から、第１遮光手段（３６）及び第２遮光手段（３８）の開口部から操作物体に投射された光を検出し、検出した第１遮光手段（３６）及び第２遮光手段（３８）の開口部から投射され、操作物体に形成された各々の光点の大きさを撮像手段（２０）から取得した画像から検出し、検出した光点の大きさに基づいて、操作物体までの距離を検出してもよい。

このようにすると、操作物体までの距離を検出することができる。詳細に説明すると、第１遮光手段（３６）の開口部及び第２遮光手段（３８）の開口部から投射された光が操作物体に投射される。各々の遮光手段の開口部から操作物体に投射された光は、所定の距離で交わるようになっている。

したがって、操作物体が所定の距離にある場合、投射された光は、操作物体表面の１点を投影する。つまり、操作物体表面の１点に光点が現れる。一方、操作物体までの距離が所定の距離よりも小さくなったり、大きくなったりすると操作物体表面には２点の光点が現れる。

この２点の光点の距離は、操作物体までの距離が所定の距離よりも小さくなったり大きくなったりすると、その距離に比例して小さくなったり大きくなったりする。また、距離が所定の距離よりも小さい場合と大きい場合とでは、第１遮光手段（３６）及び第２遮光手段（３８）の開口部から投影される光により現れる光点の位置関係が異なるので、操作物体までの距離が所定の距離よりも小さいの大きいのかが判別できる。

つまり、２つの光点間の距離と位置関係とから操作物体までの距離が検出できるのである。
また、請求項９に記載のように、信号出力手段（８０）は、検出手段（７０）によって検出された操作物体の空間における回転角度、移動方向又は移動量の少なくとも１つを出力するよう構成されていると、操作物体の三次元回転角度、移動方向及び移動量をすべて出力することができる。したがって、情報機器（１０）でそれらの情報を用いれば、種々の操作が可能となる。

ところで、情報機器操作装置からの出力信号としては、角度、移動方向や移動量以外にも請求項１０に記載のように、信号出力手段（８０）は、検出手段（７０）で検出した操作物体の所定の形状に対応した出力信号を出力するように構成するとよい。

このようにすると、操作物体が所定の形状となった場合、例えば、操作者が手を握った場合や１本又は複数本の指を立てた状態の場合などに、その形状に対応した出力信号が出力される。したがって、情報機器（１０）では、その信号に対応した操作をあらかじめ決めておけば、操作者は、簡単な操作で、情報機器（１０）を操作することができる。

操作物体が所定の形状になったかどうかを検出するのは、請求項１１に記載のように、画像記憶手段（５０）は、あらかじめ用意された所定のパターン画像を記憶し、検出手段（７０）は、画像記憶手段（５０）に記憶されたパターン画像と操作物体抽出手段（６０）によって抽出された操作物体の画像とを比較することによって、操作物体が所定の形状であることを検出するとよい。

このようにすると、パターンマッチング技術を用いて容易に操作物体が所定の形状であることを検出できる。
また、請求項１２に記載のように、信号出力手段（８０）から出力される出力信号を操作者の操作によって切り替えるための出力切替手段（１００）を備え、信号出力手段（８０）を操作物体が所定の形状や動きをした際に、出力切替手段（１００）の状態に応じて異なる信号を出力するように構成するとよい。

このようにすると、操作物体の回転や移動などの動きや操作物体の形状が同じであっても、出力切替手段（１００）の操作状況に応じて、異なる信号が出力されるので、情報機器（１０）の異なった操作を行うことができる。

そして、出力切替手段（１００）は、請求項１３に記載のように、操作者の押下操作によって作動し、信号出力手段（８０）は、出力切替手段（１００）が押下状態にある場合と押下状態にない場合とで異なる信号を出力するように構成されているとよい。

このようにすると、操作スイッチの押下状態に応じて異なった信号を出力すればよいので、情報機器操作装置（１）の構成が簡単なものになる。

カーナビゲーション操作装置１の概略の構成を示すブロック図である。 運転者の手の回転角度、移動方向及び移動量を検出するための画像処理の内容を示す図である。 カーナビゲーション操作装置２の概略の構成を示すブロック図である。 空間回転角検出の原理を示す図である。 検出処理のフローチャートである。 空間回転角検出のサブルーチンのフローチャートである。 空間移動検出のサブルーチンのフローチャートである。 カーナビゲーション操作装置３の概略の構成を示すブロック図である。 カーナビゲーション操作装置４の概略の構成を示すブロック図である。 運転者の手の画像の分割方法を示す図である。 パソコン１２に情報機器操作装置を使用した状態を示す図である。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［第１実施形態］
まず、カーナビゲーション装置１０を操作するためのカーナビゲーション操作装置１（以降、カーナビ操作装置１とも呼ぶ）について、図１及び図２を用いて説明する。図１は、カーナビ操作装置１の概略の構成を示すブロック図であり、図２は、操作物体である運転者の手の回転角度、移動方向及び移動量を検出するための画像処理の内容を示す図である。

カーナビ操作装置１は、図１に示すように、カーナビゲーション装置１０の操作を行うための運転者の手を画像処理にて抽出する操作装置であって、カメラ２０、照明３０、制御部４０、画像メモリ５０、操作物体抽出部６０、検出部７０及び信号出力部８０を備えている。

カメラ２０は、小型のＣＣＤ又はＣＭＯＳカメラであり、運転者の手における外光の当たる面とは反対の面を撮像できる位置、つまり、図１中では、タッチパネル１００より下方に配置されている。

照明３０は、発した光が運転者の手における外光の当たる面とは反対の面に当たるように、つまり、図１中では、タッチパネル１００より下方に配置されている。
制御部４０は、照明３０の輝度制御及びカメラ２０の画像取得のための制御を行うものであり、照明３０を複数の輝度条件となるように制御（点灯／消灯）する。

画像メモリ５０は、制御部４０により複数の輝度条件となるように制御された照明３０によって実現される複数の照度条件下でカメラ２０により取得した画像を記憶するものであり、ＲＡＭやハードディスクである。

操作物体抽出部６０は、画像メモリ５０に記憶された複数の照度条件下で取得された画像を比較し、画像処理により運転者の手を抽出し、検出部７０は、操作物体抽出部６０で抽出された運転者の手の所定の形状や動きを検出する。

具体的には、図２（ａ）に示すように、明と暗の２つの照度条件においてカメラ２０で取得された画像の差分をとって、取得された差分画像から運転者の手を抽出する。照明３０の光は運転者の手によって反射され、その他の領域では反射されない。したがって、明と暗の２つの照度で運転者の手を照らせば、両条件で得られた画像の運転者の手の部分は輝度差が得られるためコントラストの強い画像となるため、その差分をとることによって、運転者の手を抽出できるのである。

検出部７０は、運転者の手のカメラ２０の光軸に垂直な面において直交する２方向の動きを検出する。具体的には、タッチパネル１００上を動く運転者の手の動きを検出するものであり、タッチパネル１００上の運転者の手の回転角度を検出する回転角検出部７２と運転者の手の移動方向及び移動量を検出する移動検出部７４を備えている。

回転角検出部７２は、図２（ｂ）に示すように画像メモリ５０に記憶された抽出画像（図２（ａ）参照）について、ソーベルオペレータなどの１次差分オペレータを用いて各画素のｘ方向の輝度勾配Ｄ_xとｙ方向の輝度勾配Ｄ_yを求め、以下の式によってエッジ強度とエッジ方向を検出する。

エッジ強度：（Ｄ_x ²＋Ｄ_y ²）^1/2
エッジ方向：ｔａｎ^-1（Ｄ_y／Ｄ_x）
そして、検出されたエッジの明度強度が所定の閾値より高い部分（図２（ｂ）参照）の各画素のエッジ方向からエッジの平均方向を検出し、検出したエッジの平均方向を運転者の手の角度とする。

このとき、「平均エッジ方向」は、エッジ方向の平均値だけではなく、最頻値や中央値などを平均エッジ方向としてもよい。また、各画素についてエッジ方向を求めずに、エッジ強度が所定の閾値より高い部分について、ｘ方向の輝度勾配Ｄ_xとｙ方向の輝度勾配Ｄ_yの平均をそれぞれとり、平均値によって平均エッジ方向を算出してもよい。

移動検出部７４は、図２（ｃ）に示すように画像メモリ５０に時系列に記憶された複数の抽出画像（図２（ａ）参照）から運転者の手の重心位置を検出する。そして、図２（ｄ）に示すように、検出された運転者の手の重心位置が時系列で移動する方向及び移動量を運転者の手の移動方向及び移動量として検出する。また、オプティカルフローやパターンマッチを使用して手の移動方向及び移動量を検出してもよい。

このとき、複数の重心位置を直線近似や二次元直線近似などの近似方法によって近似して、運転者の手の移動方向や移動距離を検出してもよい。このようにすると、ノイズが除去され、運転者の手の動きが滑らかな状態で移動方向や移動距離が検出できる。

信号出力部８０は、回転角検出部７２によって検出された運転者の手の回転角度及び移動検出部７４で検出した運転者の手の移動方向及び移動量をカーナビゲーション装置１０へ出力する。

（カーナビ操作装置１の特徴）
このような、カーナビ操作装置１は、外光の影響を受けにくく、運転者の手の動きにより容易に対象機器を操作することができる。以下説明する。

カーナビ操作装置１は、運転者の手における外光の当たる面とは反対の面を撮像できる位置にカメラ２０が配置されている。つまり、カメラ２０では、運転者の手の陰の部分の画像を取得することになる。したがって、外光の照度が変化しても運転者の手の陰の部分の照度の変化は少ないので、外光の影響を受けにくい。

また、発した光が運転者の手における外光の当たる面とは反対の面に当たるように照明３０が配置されている。したがって、運転者の手の外光に対して陰になる部分に照明が当たるので、外光の照度が変化しても陰の部分の照度は変化は少ない。

さらに、運転者の手の陰の部分に複数の照度条件下で取得された画像を記憶し、記憶した複数の画像を比較して運転者の手を抽出する。つまり、異なる照度で運転者の手の画像を取得して比較するので、運転者の手のコントラストが明確になる。したがって、外光が変化しても、その影響を受けずに運転者の手の形状や動きを抽出することができる。

また、抽出した運転者の手の形状や動きに対応した信号を移動体機器へ出力しているので、移動体機器においてその信号を使用し、移動体機器を制御すれば、移動体機器の操作ができる。

例えば、表示装置に操作用の表示をさせるカーナビゲーション装置１０の場合には、その操作用の表示に、運転者の手を重畳表示させれば、その表示を操作者が目視しながらカーナビゲーション装置１０の操作を行うことができる。

運転者の手のタッチパネル１００上（カメラ２０の光軸に垂直な面において直交する２方向の動き）における、運転者の手の回転や移動を検出することができる。したがって、本カーナビ操作装置１をカーナビゲーション装置１０に使用し、表示する地図の回転や移動・拡大操作や音量の調整の操作を容易に行うことができる。

［第２実施形態］
第１実施形態のカーナビ操作装置１は、タッチパネル１００上の運転者の手の動きによってカーナビゲーション装置１０の操作を行うための出力を行うものであったが、三次元空間の運転者の手の動きによってカーナビゲーション装置１０を操作するようにしたカーナビゲーション操作装置２（以降、カーナビ操作装置２とも呼ぶ）について図３及び図４に基づいて説明する。なお、カーナビ操作装置２は、第１実施形態のカーナビ操作装置１と類似の構成であるので、カーナビ操作装置１と同じ構成品には同じ符号を付し、その説明を省略する。

図３は、カーナビゲーション操作装置２（以降、カーナビ操作装置２とも呼ぶ）の概略の構成を示すブロック図であり、図４は、空間回転角検出の原理を示す図である。
カーナビ操作装置２では、検出部７０は、運転者の手のカメラ２０の光軸と、光軸に垂直な面において直交する２方向の軸と、からなる三次元空間における運転者の手の動きを検出する。

検出部７０は、運転者の手の三次元回転角度を検出する空間回転角検出部７６と運転者の手の三次元空間における移動方向及び移動量を検出する空間移動検出部７８を備えている。

空間回転角検出部７６は、操作物体抽出部６０によって抽出された運転者の手を複数の領域に分割し、分割された領域ごとに平均輝度及び重心位置を検出し、検出した領域ごとの平均輝度と重心位置とに基づいて運転者の手の三次元回転角度を検出する。

画像から抽出された運転者の手を複数の領域に分割する方法としては、図４（ａ）に示すように、操作物体抽出部６０によって得られた抽出画像から、図４（ｂ）に示すように運転者の手の重心を求め、求めた重心を通る直交する２本の線により分割する。

なお、「三次元回転角度」とは、三次元空間を定義する３つの軸、つまり、カメラ２０の光軸と光軸に垂直な面において直交する２方向の軸の周りの角度である。
空間移動検出部７８は、操作物体抽出部６０によって抽出された運転者の手の領域の平均輝度を所定の時間間隔で検出し、検出した複数の平均輝度を比較することによって、運転者の手の上下移動を検出する。

信号出力部８０は、空間回転角検出部７６によって検出された運転者の手の三次元回転角度と空間移動検出部７８によって検出された運転者の手の空間における移動方向及び移動量を出力する。

（検出処理）
次に、検出部７０実行される検出処理について図５、図６、図７に基づいて説明する。
図５は、検出処理のフローチャートであり、図６は、空間回転角検出のサブルーチンのフローチャートであり、図７は、空間移動検出のサブルーチンのフローチャートである。

検出処理では、図５に示すように、Ｓ１００において、操作物体抽出部６０において取得した運転者の手の差分画像が取得される。
続くＳ１０５において、空間回転角が検出され、Ｓ１１０において空間移動が検出される。その後Ｓ１１５にて、Ｓ１０５において検出された空間回転角及びＳ１１０において検出された空間移動方向と移動量とがカーナビゲーション装置１０へ出力される。

（空間回転角検出処理）
空間回転角検出処理では、図６に示すように、Ｓ２００にて、Ｓ１００において取得された差分画像（図４（ａ）参照）が２値化される。

続くＳ２０５にて、Ｓ２００において２値化された差分画像の重心位置が検出される（図４（ｂ）参照）。
また、Ｓ２１０にて、Ｓ２００において２値化された差分画像がマスク処理され、差分画像から運転者の手の画像が抽出される。

続くＳ２１５では、Ｓ２１０において検出された差分画像の重心位置を通る直交する２本の直線で、Ｓ２１０において抽出された運転者の手の画像が４分割される（図４（ｂ）参照）。

続くＳ２２０では、Ｓ２１５において分割された運転者の手の画像の各領域ごとの平均輝度が検出され（図４（ｄ）参照）、続くＳ２２５では、Ｓ２２０において検出された平均輝度にあらかじめ決められた定数が積算され、輝度補正が行われる（図４（ｅ）参照）。

また、Ｓ２３０では、Ｓ２１５において分割された運転者の手の領域ごとに重心が検出される（図４（ｃ）参照）。
Ｓ２３５では、Ｓ２３０において検出された各領域ごとの重心とＳ２３５において補正された各領域ごとの平均輝度とから、近似平面が検出され、検出された近似平面から運転者の手の空間回転角度が検出される（図４（ｆ）参照）。

近似平面は、角領域ごとの平均輝度の逆数と各領域ごとの重心を用い、各重心ごとの平均輝度の逆数を最小自乗法で平面に近似（平面フィッティング）させることにより検出される。Ｓ２３５において近似明面が検出された後、空間回転角検出処理が終了される。

（空間移動検出処理）
空間移動検出処理では、図７に示すように、Ｓ３００にて、Ｓ１００において取得された差分画像（図４（ａ）参照）が２値化される。

続くＳ３０５にて、Ｓ３００において２値化された差分画像の重心位置が検出される（図４（ｂ）参照）。
また、Ｓ３１０にて、Ｓ３００において２値化された差分画像がマスク処理され、差分画像から運転者の手の画像が抽出され、続くＳ３１５では、Ｓ３１０において抽出された運転者の手の画像の平均輝度が検出される。

Ｓ３２０では、Ｓ３０５において検出された差分画像の重心位置とＳ３１５において検出された運転者の手の領域の平均輝度とから運転者の手の移動方向と移動量とが検出される。

移動方向と移動量とは、最新の運転者の手の画像の平均輝度の逆数の平方根と１時刻前の運転者の手の画像の平均輝度の逆数の平方根との差分、及び、最新の運転者の手の画像の重心位置と１時刻前の運転者の手の画像の重心位置との差を運転者の手の移動方向と移動量として検出する。検出した後、空間移動処理が終了される。

このとき、移動方向や移動量を直線近似や二次元直線近似などの近似方法によって近似して、運転者の手の移動方向や移動量を検出してもよい。このようにすると、ノイズが除去され、運転者の手の動きが滑らかな状態で移動方向や移動量が検出できる。

（カーナビ操作装置２の特徴）
このように、カメラ２０で撮像した画像を処理して、三次元空間における運転者の手の回転角度（三次元回転角度）、移動方向あるいは移動量を検出しているので、二次元面における運転者の手の動きに比べ、より多くの情報が得られる。

したがって、検出した三次元空間における運転者の手の動きによって、カーナビゲーション装置１０のより複雑な操作を行うことができる。
［第３実施形態］
次に、運転者の手の動きを画像ではなく、距離センサにより検出するカーナビゲーション操作装置３（以降、カーナビ操作装置３とも呼ぶ）について図８に基づき説明する。カーナビ操作装置３は、第１実施形態のカーナビ操作装置２と類似の構成であるので、カーナビ操作装置２と同じ構成品には同じ符号を付し、その説明を省略する。

図８は、カーナビ操作装置３の概略の構成を示すブロック図である。カーナビ操作装置３は、図８に示すように、タッチパネル１００の端部４箇所に指向性を有する超音波距離センサ９０が備えられている。

空間回転角検出部７６は、その４つの超音波距離センサ９０から得られた距離に基づいて運転者の手の三次元角度を検出する。
つまり、４つの超音波距離センサ９０は指向性を有するので、４つの超音波距離センサ９０で計測された距離は、運転者の手の異なる４箇所までの距離となる。したがって、この計測された４つの距離を用いて最小２乗法により平面を近似することができる（この近似した平面を近似明面と呼ぶ）。

この近似平面の傾きから三次元の各軸の角度を求めれば、運転者の手の三次元回転角度を求まることができる。
また、空間移動検出部７８は、運転者の三次元空間における移動方向及び移動量を検出する。三次元空間における移動方向及び移動量のうち、カメラ２０の光軸方向（図８中上下方向）は、上記近似平面の上下を検出することによって検出できる。

また、タッチパネル１００に水平な方向は、各超音波距離センサ９０によって検出した距離の時系列の差分をとっていくことによって検出できる。
このとき、距離センサは光学式や電波式のものを使用してもよい。

［第４実施形態］
次に、開口部を有する遮光手段を用いて、運転者の手の三次元角度と移動を検出するカーナビゲーション操作装置４（以降、カーナビ操作装置４とも呼ぶ）について図９に基づき説明する。なお、カーナビ操作装置４は、第１実施形態のカーナビ操作装置１と類似の構成であるので、カーナビ操作装置１と同じ構成品には同じ符号を付し、その説明を省略する。

図９は、カーナビ操作装置３の概略の構成を示すブロック図である。カーナビ操作装置４は、図９（ａ）に示すように、第１照明３２、第２照明３４、第１遮光板３６及び第２遮光板３８を備えている。

第２照明３４は、第１照明３２と対向する位置に配置されている。
第１遮光板３６は、第１照明３２と運転者の手との間に設置され、開口部を有し、その開口部から第１照明３２からの光の一部を操作物体に投射する。

第２遮光板３８は、第２照明３４と運転者の手との間に設置され、開口部を有し、その開口部から第２照明３４からの光の一部を操作物体に投射する。
そして、第１遮光板３６及び第２遮光板３８を、第１遮光板３６及び第２遮光板３８の開口部から投射された光がカメラ２０から所定の距離で交わるよう構成してある。

空間回転角検出部７６は、カメラ２０によって入力した画像から、第１遮光板３６及び第２遮光板３８の開口部から運転者の手に投射された光を検出する。そして、検出した第１遮光板３６及び第２遮光板３８の開口部から運転者の手に投射される各々の光は、カメラ２０から所定の距離にあるタッチパネル１００からの距離に基づいて、運転者の手の空間回転角度を検出する。

つまり、第１遮光板３６の開口部及び第２遮光板３８の開口部から投射された光が運転者の手に投射される。各々の遮光板の開口部から運転者の手に投射された光は、タッチパネル１００上の運転者の手の位置で交わるようになっている。

したがって、運転者の手がタッチパネル１００に接していれば、運転者の手の表面には、第１遮光板３６の開口部から投射された光と第２遮光板３８の開口部から投射された光の２つの光が重なって、図９（ｂ）に示すように、１つの光点が現れる。

運転者の手がタッチパネル１００から離れれば、運転者の手には２つの光点が現れる。そして、運転者の手が傾くと、その傾きの度合いに応じて運転者の手の表面に現れる光点の間の距離が異なってくる。

つまり、図９（ｃ）に示すように、傾きが大きくなれば、運転者の手の一端と他端とに距離の差ができる。距離の差が小さければ操作物体表面の光点の間の距離は小さく、距離の差が大きくなれば光点の間の距離は小さくなる。

このように、運転者の手が傾けば、運転者の手の表面に現れる２つの光点の間の距離が異なってくるので、運転者の手の表面上の２つの光点の間の距離を検出すれば、運転者の手の三次元回転角度が検出できるのである。

さらに、運転者の手に現れる光点の大きさを検出することによって、運転者の手までの距離を検出することができる。
前述したように、運転者の手がタッチパネル１００上にある場合、投射された光は、運転者の手の１点を投影する。つまり、操作物体表面の１点に光点が現れる。一方、運転者の手が操作パネルから離れ所定の距離よりも大きくなると、運転者の手の表面には２点の光点が現れる。

この２点の光点の間の距離は、タッチパネル１００から運転者の手までの距離が小さくなったり大きくなったりすると、その距離に比例して小さくなったり大きくなったりする。また、２つの光点の大きさも変化するが、２つの光点の大きさの比は同じである。

したがって、２つの光点の間の距離と２つの光点の大きさの比を検出すれば、運転者の手までの距離が検出できる。
また、照明と遮光版の組合せの代わりに、指向性が狭くなるように構成された照明を使用してもよい。

［第５実施形態］
次に、運転者の手の形によって、カーナビゲーション装置１０を操作するカーナビゲーション操作装置５（以後、カーナビ操作装置５とも呼ぶ）について説明する。

カーナビ操作装置５の構成は、カーナビ操作装置１の構成と同じであるので、説明を省略する。カーナビ操作装置５では、画像メモリ５０にあらかじめ用意された所定の運転者の手のパターン画像を記憶する。パターン画像としては、運転者が握った手の形状、指を１本又は複数本立てた手の形状、人差し指と親指とで作った○字形状など、運転者が手をある形にした場合の手の形状である。

また、検出部７０は、画像メモリ５０に記憶されたパターン画像と操作物体抽出部６０によって抽出された運転者の手の画像とを比較することによって、パターン画像と同一又は最も類似している運転者の手の形状が所定の形状であることを検出する。

信号出力部８０は、検出部７０で検出した運転者の手の所定の形状に対応した出力信号を出力する。つまり、運転者の手が握られている場合には、カーナビゲーション装置１０に対して、「操作停止」の信号を出力したり、立っている運転者の指の本数に応じてカーナビゲーション装置１０の種々のコマンドを出力したりする。

このようにすると、パターンマッチングという容易に実現できる処理で、運転者の手が所定の形状となった場合、その形状に対応した出力信号が出力される。したがって、カーナビゲーション装置１０では、その信号に対応した操作をあらかじめ決めておけば、運転者は、簡単な操作で、カーナビゲーション装置１０を操作することができる。

［第６実施形態］
（１）一部（操作スイッチ部分）が押下されたことを検出するタッチパネル１００を備え、信号出力部８０は、運転者の手が所定の形状や動きをした際に、タッチパネル１００で検出された操作スイッチの操作状況に応じて異なる信号を出力するように構成する。

このようにすると、上記第１実施形態から第５実施形態において、運転者の手の回転や移動などの動きや運転者の手の形状が同じであっても、操作スイッチの操作状況が異なれば、異なる信号が出力されるので、カーナビゲーション装置１０の異なった操作を行うことができる。

（２）第２実施形態においては、操作物体抽出部６０によって得られた差分画像から、運転者の手の重心を求め、求めた重心を通る直交する２本の線により分割していたが、その分割の仕方は、運転者の手の指の方向とそれに直交する方向ではなく、図１０（ａ）に示すものであってもよい。

また、他の分割方法として、図１０（ｂ）示すようにしてもよい。すなわち、操作物体抽出部６０によって抽出された運転者の手を複数の領域に分割する際、運転者の手の重心を求め、求めた重心を通る線の平行線及びその線に交わる線により分割するようにしてもよい。

[その他の実施形態]
以上第１実施形態〜第６実施形態で説明したのは、カーナビゲーション装置１０を情報機器操作装置（カーナビ操作装置１〜５）で操作するようにしたものであるが、情報機器操作装置６をパソコン１２等の情報機器を遠隔操作する際にも同様に利用することができる。

この場合図１１に示すように、卓上に設置した情報機器操作装置６をパソコン１２に接続し、押下位置と抽出した手の領域をパソコン１２上で動作する地図表示ソフトウェアや電卓といったソフトウェアの画面と連動して動作するようにすればよい。

１，２，３，４，５…カーナビゲーション操作装置（カーナビ操作装置）、６…情報機器操作装置、１０…カーナビゲーション装置、１２…パソコン、２０…カメラ、３０…照明、３２…第１照明、３４…第２照明、３６…第１遮光板、３８…第２遮光板、４０…制御部、５０…画像メモリ、６０…操作物体抽出部、７０…検出部、７２…回転角検出部、７４…移動検出部、７６…空間回転角検出部、７８…空間移動検出部、８０…信号出力部、９０…超音波距離センサ、１００…タッチパネル。

Claims (13)

1. 移動体用機器又は情報機器の操作を行うための操作物体を画像処理にて抽出する情報機器操作装置であって、
   前記操作物体に外光が直接当たったときに、前記外光に対して影になる面を撮像できる位置に配置された撮像手段と、
   発した光が前記操作物体に外光が直接当たったときに、前記外光に対して影になる面に当たるように配置された照明手段と、
   前記照明手段の輝度制御及び前記撮像手段の画像取得のための制御を行う制御手段と、
   前記制御手段により複数の輝度条件となるように制御された前記照明手段によって実現される複数の照度条件下で前記撮像手段により取得した画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶された前記複数の照度条件下で取得された画像を比較して前記操作物体を抽出する操作物体抽出手段と、
   前記操作物体抽出手段で抽出された前記操作物体の所定の形状や動きを検出する検出手段と、
   前記検出手段によって検出された前記操作物体の所定の形状や動きに対応した信号を前記移動体用機器へ出力する信号出力手段と、
   を備え、
   前記検出手段は、前記撮像手段の光軸と、前記光軸に垂直な面において直交する２方向の軸と、からなる三次元空間における前記操作物体の動きを検出するとともに、前記三次元空間における前記撮像手段の光軸及び前記光軸に垂直な面において直交する２方向の軸の周りの前記操作物体の角度である三次元回転角度を検出する空間回転角検出手段を備え、
   前記空間回転角検出手段は、
   前記操作物体抽出手段によって抽出された前記操作物体を複数の領域に分割し、分割された領域ごとに平均輝度及び重心位置を検出し、検出した前記領域ごとの平均輝度と重心位置とに基づいて前記操作物体の三次元回転角度を検出するとともに、
   前記操作物体抽出手段によって抽出された前記操作物体を複数の領域に分割する際、前記操作物体の重心を求め、求めた前記重心を通る複数の線により分割するか又は前記重心を通る線の平行線及びその線に交わる線により分割し、
   前記信号出力手段は、前記空間回転角検出手段によって検出された前記操作物体の三次元回転角度を出力することを特徴とする情報機器操作装置。
2. 請求項１に記載の情報機器操作装置において、
   前記操作物体までの距離を計測するための少なくとも３つの距離センサを備え、
   前記空間回転角検出手段は、
   前記少なくとも３つの距離センサによって検出された距離に基づいて前記操作物体の前記三次元回転角度を検出することを特徴とする情報機器操作装置。
3. 請求項１又は請求項２に記載の情報機器操作装置において、
   前記操作物体の前記三次元空間における移動方向及び移動量を検出する空間移動検出手段を備え、
   前記信号出力手段は、前記空間移動検出手段によって検出された前記操作物体の空間における移動方向及び移動量を出力するよう構成されていることを特徴とする情報機器操作装置。
4. 請求項３に記載の情報機器操作装置において、
   前記空間移動検出手段は、
   前記操作物体抽出手段によって抽出された操作物体領域の平均輝度を所定の時間間隔で検出し、検出した複数の平均輝度を比較することによって、前記操作物体の前記撮像手段の光軸方向の移動を検出することを特徴とする情報機器操作装置。
5. 請求項３に記載の情報機器操作装置において、
   前記操作物体までの距離を計測するための距離センサを備え、
   前記空間移動検出手段は、前記距離センサによって検出された距離に基づいて前記操作物体の前記三次元空間における移動方向及び移動量を検出することを特徴とする情報機器操作装置。
6. 請求項３に記載の情報機器操作装置において、
   前記照明手段は、第１照明手段と、前記第１照明手段と異なる位置に配置され、照射された光が前記第１照明手段から照射された光と前記撮像手段から所定の距離で交わるように構成された第２照明手段とからなり、
   前記空間移動検出手段は、
   前記距離センサに代えて、前記撮像手段によって入力した画像から、前記第１照明手段及び前記第２照明手段から前記操作物体に投射された光を検出し、検出した前記第１照明手段及び前記第２遮光手段から投射され、前記操作物体に形成された各々の光点の大きさを前記撮像手段から取得した画像から検出し、検出した光点の大きさに基づいて、前記操作物体までの距離を検出することを特徴とする情報機器操作装置。
7. 請求項６に記載の情報機器操作装置において、
   前記第１照明手段及び前記第２照明手段は、照射される光が指向性を有していることを特徴とする情報機器操作装置。
8. 請求項５に記載の情報機器操作装置において、
   前記第１照明手段と前記操作物体との間に設置され、開口部を有し、その開口部から前記第１照明手段の光の一部を前記操作物体に投射するための第１遮光手段と、
   前記第２照明手段と前記操作物体との間に設置され、開口部を有し、その開口部から前記第２照明手段の光の一部を前記操作物体に投射するための第２遮光手段と、
   を備え、
   前記第１遮光手段及び前記第２遮光手段は、前記第１遮光手段及び前記第２遮光手段の開口部から投射された光が前記撮像手段から所定の距離で交わるよう構成され、
   前記空間移動検出手段は、
   前記距離センサに代えて、前記撮像手段によって入力した画像から、前記第１遮光手段及び前記第２遮光手段の開口部から前記操作物体に投射された光を検出し、検出した前記第１遮光手段及び前記第２遮光手段の開口部から投射され、前記操作物体に形成された各々の光点の大きさを前記撮像手段から取得した画像から検出し、検出した光点の大きさに基づいて、前記操作物体までの距離を検出することを特徴とする情報機器操作装置。
9. 請求項１〜請求項８の何れかに記載の情報機器操作装置において、
   前記信号出力手段は、前記検出手段によって検出された前記操作物体の空間における回転角度、移動方向又は移動量の少なくとも１つを出力するよう構成されていることを特徴とする情報機器操作装置。
10. 請求項１〜請求項９の何れかに記載の情報機器操作装置において、
    前記信号出力手段は、前記検出手段で検出した前記操作物体の所定の形状に対応した出力信号を出力するように構成されていることを特徴とする情報機器操作装置。
11. 請求項１０に記載の情報機器操作装置において、
    前記画像記憶手段は、あらかじめ用意された所定のパターン画像を記憶し、
    前記検出手段は、前記画像記憶手段に記憶されたパターン画像と前記操作物体抽出手段によって抽出された操作物体の画像とを比較することによって、前記操作物体が所定の形状であることを検出することを特徴とする情報機器操作装置。
12. 請求項１〜請求項１１の何れかに記載の情報機器操作装置において、
    前記信号出力手段から出力される出力信号を操作者の操作によって切り替えるための出力切替手段を備え、
    前記信号出力手段は、前記操作物体が所定の形状や動きをした際に、前記出力切替手段の状態に応じて異なる信号を出力するように構成されていることを特徴とする情報機器操作装置。
13. 請求項１２に記載の情報機器操作装置において、
    前記出力切替手段は、前記操作者の押下操作によって作動し、
    前記信号出力手段は、前記出力切替手段が押下状態にある場合と押下状態にない場合とで異なる信号を出力するように構成されていることを特徴とする情報機器操作装置。