JP5989251B2 - 操作入力装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、操作入力装置及び方法に関し、特にジェスチャーによる操作入力に関する。本発明の操作入力装置及び方法は例えば車載用の情報機器の操作入力に利用されるものである。本発明はまた、上記の操作入力装置及び方法における処理をコンピュータに実行させるためのプログラム及び記録媒体に関する。

車両には、カーナビゲーション装置、オーディオ装置、エアコン（空気調和機）等多くの機器が搭載されており、運転者にとってそれらの機器を操作する時に、ボタン操作、操作パネルの表示内容の確認等を行う必要があって、視線の動きが増えるという問題があった。

この改善策として、ジェスチャー操作入力を利用することが考えられている。
ジェスチャー操作入力のため、例えば撮像手段により撮影した画像から手の画像を抽出して、手の形状及び動きから意図された操作を判定し、判定した操作に基づいて選択したメニューを表示してユーザーに知らせる装置が提案されている（たとえば、特許文献１）。
特許文献１にはさらに、撮像手段として、可視光カメラと赤外線カメラを備え、周囲が明るいときには、可視光カメラを用い、暗いときには赤外線カメラを用いることが開示されている。

また、赤外線カメラを使う場合、赤外線カメラは外光の影響を受け易いことを考慮して、赤外光を短い間隔で周期的に点灯、消灯して、差分画像を算出し、手の画像を得る手法が開示されている（たとえば、特許文献２）。

特開２００９−１０４２９７号公報 特開平１０−２２２２８５号公報

上記のような操作入力装置においては、例えば、太陽光、街路灯などの外光が直接カメラに差し込み、手の画像が影響を受けるという問題がある。外光が直接差し込まないようにカメラを設置することができればこの問題は生じないが、四方に窓を備え、移動する自動車の場合、外光が差し込まないようにカメラを設置することは極めて困難である。外光が差し込むと、そのために手の画像を正しく取得することができず、手の形状の検出に誤りが生じるという問題がある。
車載用の機器に限らず、家庭用或いはオフィス用の機器の操作入力装置で、室内の照明灯からの光が差し込む場合も同様の問題がある。

本発明は上記の課題を解決するためになされたものであり、太陽、照明灯などの光源の影響によって、手の形状の判定に誤りが生じるのを少なくすることを目的とする。

本発明に係る操作入力装置は、
撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出部と、
前記手領域検出部で検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成部と、
前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出部により検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定部と、
前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出部で検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価部と、
前記形状解析評価部による判断の結果と、前記手領域検出部で検出された手領域を表す情報に基づいて、手の動作を判断する動作判断部と
を備えるものである。

本発明によれば、撮像画像中の手領域に光源の影響で欠損が生じていると判断された場合に、手領域を補正し、補正された手領域に基づいて手の動作を判断するので、光源の影響で手領域画像に欠損が生じていても、ジェスチャーを正確に認識することができる。

本発明の実施の形態１に係る操作入力装置の構成を示すブロック図である。 実施の形態１に係る操作入力装置の動作を示すフローチャートである。 実施の形態１に係る操作入力装置の撮像部の設置例を示す図である。 （ａ）〜（ｃ）は、撮像部１１が可視光カメラである場合の撮像画像の例を示す図である。 （ａ）〜（ｃ）は、撮像部１１が可視光カメラである場合の撮像画像の他の例を示す図である。 （ａ）〜（ｃ）は、撮像部１１が可視光カメラである場合の撮像画像さらに他の例を示す図である。 撮像部１１による実際の撮影画像の例を示す図である。 （ａ）〜（ｄ）は、撮像部１１が赤外線カメラである場合の撮像画像の例を示す図である。 （ａ）及び（ｂ）は、撮像部１１が赤外線カメラである場合の撮像画像の他の例である。 図１の光源存在度情報生成部２２の構成例を示すブロック図である。 （ａ）〜（ｃ）は、図１の光源存在度情報生成部２２による動作を示す図である。 図１の光源存在度情報生成部２２による動作を示す図である。 図１の光源推定部２３の動作、即ち、図２のステップＳ３〜Ｓ５の詳細を示すフローチャートである。 （ａ）及び（ｂ）は、図１の光源推定部２３による動作を示す図である。 図１の光源推定部２３による動作を示す図である。 図１の形状解析評価部２４の構成例を示すブロック図である。 図１の形状解析評価部２４によって処理される手特徴情報ＤＨの一例を示す図である。 図１６の特徴解析部２４１の構成例を示すブロック図である。 図１の形状解析評価部２４で得られる、角度と距離の関係の一例を示す図である。 図１６の形状尤度判定部２４２の構成例を示すブロック図である。 図１の形状解析評価部２４によって処理される手特徴情報ＤＨの他の例を示す図である。 図１６の形状評価部２４３の構成例を示すブロック図である。 図１の形状解析評価部２４で得られる、角度と距離の関係の他の例を示す図である。 図１の形状補正部２６２の構成例を示すブロック図である。 （ａ）及び（ｂ）は、図１の形状補正部２６２による動作を示す図である。 （ａ）及び（ｂ）は、図２４の位置修正部２６２ｂの動作を示す図である。 図１の動作情報生成部２６４の構成例を示すブロック図である。 （ａ）及び（ｂ）は、図１の動作情報生成部２６４による動作を示す図である。 図１の操作内容決定部２７の構成例を示すブロック図である。 図１の操作内容決定部２７による操作の内容の例を示す図である。 本発明の実施の形態２に係る操作入力装置の構成を示すブロック図である。 実施の形態２に係る操作入力装置の動作を示すフローチャートである。 図２の動作判断部２６ｂの構成例を示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１に係る操作入力装置の構成を示すブロック図である。
図示の操作入力装置は、撮像部１１、空間ジェスチャー認識装置２、及び表示部３１を備え、被制御部３２に対する制御を行う。
空間ジェスチャー認識装置２は、手領域検出部２１、光源存在度情報生成部２２、光源推定部２３、形状解析評価部２４、動作判断部２６、及び操作内容決定部２７を有する。
以下各構成要素の機能を、図２のフローチャートを随時参照しながら説明する。

図１の操作入力装置は、例えば自動車に搭載されるものであり、運転席、助手席等に着席した操作者により操作されるものである。図３に示すように、自動車４の内部の、前方付近には、ダッシュボード４１、ハンドル４２、シフトレバー４３、座席４４ａ、４４ｂ、フロントウィンドウ４５などが設けられている。

操作入力装置の撮像部１１は、ダッシュボード４１に備えられる表示部３１付近に、運転席４４ａ及び／又は助手席４４ｂに着席した人物が操作入力のためのジェスチャーを行う空間乃至領域（操作領域）ＲＪを撮影できるように設けられる。撮像部１１は特に、上記人物によってジェスチャーが行われる空間を含むように撮影できる方向に向けて設置されるのが望ましい。後部座席からの操作をも受け付ける場合には、後部座席の操作者によってジェスチャーが行われる空間をも撮影範囲に含める。空間ジェスチャー認識装置２は、車載機器に搭載される他の演算装置とともに、あるいはその一部としてダッシュボード４１の内部に収納することとしても良い。

図３の例では、表示部３１は、ダッシュボードに備えられているが、表示部３１の形態、設置場所等はこれに限るものではない。たとえば、フロントウィンドウ４５にＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）を備えて表示を行っても良いし、表示部３１を複数個設けて、後部座席でも見ることができるようにしても良い。

手を撮影する撮像部１１は、極力、逆光にならず、光源による直射を受けないように場所及び向きを選んで、設置することが望ましい。これは、本発明によって光源の影響を軽減できるとはいえ、影響を完全になくせるとは限らないからである。
撮像部１１は、上記のように表示部３１付近に設ける代わりに、ハンドル４２に撮像部１１を取り付けることとしても良く、ダッシュボード４１の上部に配置しても良い。

操作入力装置を、家庭用、或いはオフィス用のテレビ、ディスプレーモニター、プロジェクター等、表示機器に用いる場合、撮像部１１は視聴者がいる可能性が高い位置を含む方向を撮影するように設置される。テレビ及びディスプレーモニターの場合には、表示部の正面方向になるが、壁などの不透光性の面に投影することが想定されるプロジェクターでは投影される側と反対の方向を撮像するように撮像部１１を設ける。

撮像部１１は、撮像範囲内の画像（撮像画像）Ｓａを取得し、取得した画像Ｓａを表す情報を空間ジェスチャー認識装置２の手領域検出部２１に出力する。以下では、画像Ｓａを表す画像情報を、当該画像と同じ符号「Ｓａ」で表す。他の画像情報についても同様である。

撮像部１１は例えばカメラを有する。カメラは可視光カメラであっても、赤外線カメラであっても良い。赤外線カメラを用いる場合には、赤外線ＬＥＤ等の赤外光投光機を併せて用いる。赤外線カメラとしては、通常の可視光カメラに赤外線フィルターを備えつけ可視光成分を除去する構成のものを用いても良い。また、カメラの素子はＣＭＯＳであってもＣＣＤであっても良く、種類に影響されるものでもない。

撮像部１１は、自動車或いは表示機器等の一部として備えられていることを想定しているが、独立した機器、或いは他の用途にも用いられている機器の撮像部を利用しても良い。例えば、スマートフォンなどの携帯機器に備えられたカメラを自動車内、或いは表示機器周辺に持ち込み、その撮像部による映像を、通信回線を経由して、空間ジェスチャー認識装置２に伝送して操作入力に利用することとしても良い。

撮像部１１によって得られる画像情報Ｓａは、動画像を示す情報であり、各々静止画像を表すフレームの時系列から成る。演算装置の処理負荷を小さくするためには、解像度が低く、画素数が少ない方が良いが、ジェスチャー判定に必要な画素数は、撮影される対象までの距離にも依存する。解像度を低くした結果、ジェスチャー判定ができなくなることがないよう、利用される機器に応じて検出が可能である距離を設定し、その距離で必要となる解像度が得られるように最適化する。

また、ジェスチャー判定のために、動きを十分に追随する必要があり、その観点から動画像のフレームレートは３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）以上であるのが望ましい。

手領域検出部２１は、撮像部１１による撮影で得られた画像情報Ｓａを受け、手の領域Ｄｈｔを検出し、手の領域の画像（手領域画像）Ｄｈｔ及び手領域以外の領域（背景領域）の画像（背景画像）Ｄｂａを生成する。背景画像Ｄｂａは、画像情報Ｓａで表される画像から手領域画像Ｄｈｔを取り除くことで得ることができる。得られた背景画像Ｄｂａと手領域画像Ｄｈｔを示す情報を画像情報Ｓｂとして光源存在度情報生成部２２に出力する（図２のステップＳ１）。なお、以下では、「手領域」を、「手領域画像」と同じ符号「Ｄｈｔ」で表し、「背景領域」を「背景画像」と同じ符号Ｄｂａで表す。

手領域検出部２１についてその動作をより詳しく説明する。
可視光カメラによる映像を受けた場合、図４（ａ）に示されるような画像情報Ｓａが得られる。画像情報Ｓａから、手領域画像Ｄｈｔを検出するためには公知の手法を利用することができる。例えば、ＨＳＶ（Ｈｕｅ， Ｓａｔｕｒａｔｉｏｎ， Ｖａｌｕｅ：色相、彩度、明度）色空間に変換して肌色領域を抽出する方法、動きベクトル、オプティカルフロー、又はＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を利用する方法等、いずれの方法によって検出しても良い。可視光カメラによる映像から、手領域画像Ｄｈｔを得る方法は、本発明の特徴ではなく、公知の方法で実施できるため詳しくは記載しない。

手領域検出部２１によって、抽出された手領域画像Ｄｈｔは、例えば図４（ｂ）のようになる。また、背景画像Ｄｂａは、画像Ｓａから手領域画像Ｄｈｔを除くことで得られ、例えば図４（ｃ）のようになる。

画像Ｓａに光源による影響がない場合には、上記のようにして手の形状を検出することができる。一方、画像Ｓａに光源が含まれている場合には、カメラの前に手を広げていても正しく手を検出できない場合がある。

画像Ｓａに光源Ｂが含まれている例を図５（ａ）及び図６（ａ）に示す。
図５（ａ）に示される例では、光源Ｂの領域と、開いた手の領域が離れている。このような場合には、上記した方法で、図５（ｂ）及び図５（ｃ）に示される手領域画像Ｄｈｔ及び背景画像Ｄｂａを得ることができる。

一方、図６（ａ）の例では、画像Ｓａに含まれる光源Ｂの領域と、開いた手の領域が重なっている。このような場合においては、光源Ｂからの光が手の指の間を回折して本来は指によって隠れているはずの光まで、画像Ｓａに現れてしまう。手領域検出部２１によって、図６（ａ）のような画像Ｓａから、手領域を検出すると光源Ｂの影響のある領域（光源領域Ｂｒ）に重なった手の領域を正しく検出することができず、その結果、手領域画像Ｄｈｔが図６（ｂ）のように、光源Ｂによる影響のある部分が欠けたものとなり、背景画像Ｄｂａも図６（ｃ）に示すごとくとなる。光源Ｂが存在する場合、このように正しく手を検出できないことが起こり得る。

なお、画像Ｓａは、図６（ａ）などでは簡略化して示しているが、カメラによって撮影される実際の画像Ｓａは例えば図７のようになる。
図６（ａ）及び（ｂ）、並びに図７に示されるように、手を検出する際に最も影響を受けるのは指の部分である。回折は光が物体を回り込む現象であるためである。

このような光源Ｂの影響を受けた手領域画像Ｄｈｔに基づいて手の形状を表す情報を算出し、ジェスチャーの判定を行うと、誤判定が生じたり、意図したジェスチャーが認識されなかったりする。そこで、本発明では光源Ｂの有無とその影響のある領域を光源存在度情報生成部２２によって求め、形状解析評価部２４、及び動作判断部２６によって光源による影響を軽減することとしている。

上記のような光源Ｂの影響は、可視光カメラではなく、赤外線カメラによる映像を受ける場合にも生じる。赤外線カメラは、通常、カメラ周辺に赤外線の発光部を備え、被写体にあたった赤外線をカメラによって得るものである。しかしながら、太陽光を含む多くの光源は赤外光を含んでいるため赤外線カメラによる撮影においても、画像Ｓａに光源Ｂが含まれることがある。

赤外線カメラによる画像から背景を抽出する方法は、例えば特許文献２に記載されているように、赤外線を短い間隔で周期的に点灯、消灯して、差分画像を得て背景画像Ｄｂａおよび手領域画像Ｄｈｔを得ることができる

例えば、赤外線が点灯されているときは、赤外線の発光を受けた手から赤外線が反射されるため、そのときに得られる画像ＳａＮは、図８（ａ）に示すように、手領域が明るい。一方、赤外線を消灯したときに得られる画像ＳａＦは、図８（ｂ）に示すように、手領域が暗く、極端な場合によっては映らない（真っ暗となる）。

背景画像Ｄｂａを抽出するためには、画像ＳａＮと画像ＳａＦの差分を得て、図８（ｃ）の手領域画像Ｄｈｔを取得した後、画像ＳａＮあるいは画像ＳａＦと手領域画像Ｄｈｔとから、図８（ｄ）のような背景画像Ｄｂａを得る。たとえば、画像ＳａＮと手領域画像Ｄｈｔとから背景画像Ｄｂａを得る場合は、画像ＳａＮ上で手領域画像Ｄｈｔに該当する領域の画素値を０とすることで、背景画像Ｄｂａを得る。手領域画像Ｄｈｔに該当する領域の画素値は、手領域Ｄｈｔの周辺の画素値を参考にした値としても構わない。画像ＳａＦと手領域画像Ｄｈｔとから背景画像Ｄｂａを得る場合も同様である。

赤外線カメラを利用した場合にも、光源Ｂの影響で、例えば図９（ａ）に示される画像Ｓａが得られて、その結果、手領域画像Ｄｈｔも図９（ｂ）に示すものとなることがある。これらの画像情報（手領域画像Ｄｈｔと背景画像Ｄｂａ）は、可視光カメラによって取得した画像と同様の特徴を有し、そのため、同様の処理によって、光源による影響を軽減することができる。

以上のようにして、手領域検出部２１からは、手領域画像Ｄｈｔ及び背景画像Ｄｂａを示す情報が、画像情報Ｓｂとして出力される。

光源存在度情報生成部２２は、手領域検出部２１から供給される画像情報Ｓｂに基づき、背景画像Ｄｂａの各部分、例えば各画素又は各ブロックの輝度情報に応じて、当該部分についての光源存在度ＰｏｓＢを求め、光源存在度ＰｏｓＢを示す情報と、手領域検出部２１から供給された手領域画像Ｄｈｔを示す情報とを、画像情報Ｓｃとして光源存在度情報生成部２２に出力する（図２のステップＳ２）。光源存在度ＰｏｓＢは、各部分に光源Ｂが存在する可能性を表す。「ブロック」とは複数の互いに隣接又は近接した位置にある画素、例えば矩形状に並んだ画素、例えば、８×８個の画素から成る。

光源存在度情報生成部２２は、図１０に示すように、光源存在度検出部２２ａと、孤立点除去部２２ｂと、光源存在度記憶部２２ｃと、光源存在度修正部２２ｄとを有する。
光源存在度検出部２２ａは、各フレームの背景画像Ｄｂａ中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分乃至各位置における光源存在度Ｐｏｓを検出する。例えば、光源存在度検出部２２ａは、各フレームの背景画像Ｄｂａ中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分を複数の領域に分割乃至分類し、分類によって生成された領域毎に光源存在度Ｐｏｓを設定する。
分類によって生成される複数の領域の各々は、連続した領域であるとは限らず、複数の小領域に分かれている場合がある。

背景画像Ｄｂａは、例えば暗背景領域Ｄｂｌと明背景領域Ｄｂｈに分類される。
輝度情報をもとにして、暗背景領域Ｄｂｌと明背景領域Ｄｂｈとに分類する最も単純な方法は、輝度に対する閾値Ｔｈａを設定し、閾値Ｔｈａより低い部分を暗背景領域Ｄｂｌとし、閾値以上の部分を明背景領域Ｄｂｈとすることである。例えば、図４（ｃ）に示した背景画像Ｄｂａを、閾値Ｔｈａにより暗背景領域Ｄｂｌと、明背景領域Ｄｂｈに分割した場合、例えば図１１（ａ）のように外光が入る窓の部分にあたる画像領域が明背景領域Ｄｂｈとなり、車の内部にあたる画像領域が暗背景領域Ｄｂｌとなる。

暗背景領域Ｄｂｌと明背景領域Ｄｂｈに、それぞれ、光源Ｂが存在する可能性を示す光源存在度Ｐｏｓを設定する。本例では、暗背景領域Ｄｂｌにおける光源存在度をＰｏｓｌ、明背景領域Ｄｂｈにおける光源存在度をＰｏｓｈとする。光源存在度Ｐｏｓは０〜１００のようなパーセントで表しても、０〜１の割合で表しても良い。暗背景領域Ｄｂｌには光源Ｂが存在しないと推定されるため、光源存在度Ｐｏｓｌを低く設定する。一方、光源Ｂは明背景領域Ｄｂｈに含まれていると推定されるため、光源存在度Ｐｏｓｈを高く設定する。

光源存在度Ｐｏｓは、画像の部分毎に（例えば、画素毎に或いはブロック毎に）設定される数値として表されるため、画像内の各部分の位置を示す座標を（ｘ、ｙ）とし、それに対応する光源存在度Ｐｏｓ（ｘ,ｙ）を、２次元平面上のデータ配列として管理することができる。この場合、光源存在度Ｐｏｓ（ｘ，ｙ）を第３の軸、即ちｚ軸方向の変数として、３次元座標として管理することができる。データ配列の例を図１１（ｃ）に示す。図示のように、暗背景領域Ｄｂｌの光源存在度Ｐｏｓｌは低くなり、明背景領域Ｄｂｈの光源存在度Ｐｏｓｈは、高くなる。

ブロック毎に光源存在度Ｐｏｓを求める場合、各ブロック内の画素の輝度値の平均Ｙａｖｅを算出し、該平均輝度値Ｙａｖｅに基づいて、光源存在度を求める。
各ブロックの位置は、その代表位置の座標（ｘ，ｙ）で表される。ブロックの特定の位置、例えば、中心位置又は左上隅の位置が代表位置として用いられる。

最初に閾値Ｔｈａによって、暗背景領域Ｄｂｌと明背景領域Ｄｂｈに分類した後、明背景領域Ｄｂｈをさらに細かく領域分けして、光源存在度を設定することとしても良い。明背景領域Ｄｂｈをさらに細かく領域分けする場合には、輝度に対する複数の閾値を一定の間隔で設定しても良く、異なる間隔で設定しても良い。

閾値及び光源存在度Ｐｏｓの値は、撮像部１１の特性に合わせて適宜調整するのが望ましい。
例えば、撮像部１１が取得可能な輝度情報の最大値が２３０である場合に、明背景領域Ｄｂｈと暗背景領域Ｄｂｌに分類するための閾値Ｔｈａを２４０と設定するのは、適切でない。なぜならば、このような場合には、背景画像Ｄｂａの全部が、暗背景領域Ｄｂｌと判断されるためである。

背景画像Ｄｂａを３つ以上の領域に分類しても良い。例えば、輝度に対する閾値Ｔｈａに加えて、閾値（第１の閾値）Ｔｈａより大きい値を設定した閾値（第２の閾値）Ｔｈｂを用意し、輝度が第１の閾値Ｔｈａより小さい領域を暗背景領域とし、輝度が第２の閾値Ｔｈｂ以上の領域を明背景領域とし、輝度が第１の閾値Ｔｈａ以上で第２の閾値Ｔｈｂより小さい領域を中背景領域としても良い。

図４（ｃ）の背景画像Ｄｂａを、３つの領域に分割すると、例えば図１１（ｂ）のようになる。本例においても領域毎に光源存在度Ｐｏｓを設定する。中背景領域Ｄｂｍの光源存在度をＰｏｓｍとすると、値の大小関係は、Ｐｏｓｌ＜Ｐｏｓｍ＜Ｐｏｓｈとなる。

図１１（ｂ）の例では、光源存在度を０〜１００で表すとして、領域Ｄｂｌ、Ｄｂｍ、Ｄｂｈに分割するための閾値Ｔｈａ、Ｔｈｂを、それぞれ２００、２３０と設定して、領域Ｄｂｌ（輝度の範囲は、０≦Ｄｂｌ＜２００）の光源存在度Ｐｏｓｌを０、領域Ｄｂｍ（２００≦Ｄｂｍ＜２３０）の光源存在度Ｐｏｓｍを５０、領域Ｄｂｈの光源存在度Ｐｏｓｈを７０と設定している。

さらに別の例では、Ｐｏｓｌ＝０、Ｐｏｓｍ＝５０は上記の例と同じとして、光源存在度Ｐｏｓｈを、輝度を変数とする関数で表すこともできる。例えば、背景画像Ｄｂａ中の画素の輝度をＹとすると、２３０≦Ｙ≦２５５であるため、
Ｐｏｓｈ＝｛（Ｙ−２３０）／（２５５−２３０）｝×２５＋７５
と設定することで、光源存在度Ｐｏｓｈは、７５〜１００の値をとることができる。上記の式は輝度Ｙが１増加する毎に一定値（＝１）ずつ増加しているため、明背景領域Ｄｂｈを２６個の領域に分割し、光源存在度を領域間で１ずつ増加させて設定したのと同じ意味を持つ。

分類する領域の数をさらに多くしても良い。
背景画像Ｄｂａは輝度情報をもとに分類されるので、輝度情報の取り得る値の範囲が０〜２５５であるとすると、分類可能な領域の数は最大２５６個になり、分類の閾値を１階調毎に設定すると、背景画像Ｄｂａを２５６個の領域Ｄｂ０〜Ｄｂ２５５に分割することもできる。このような場合、光源存在度をＰｏｓ０〜Ｐｏｓ２５５して、各領域の輝度情報の値をそのまま光源存在度として設定することもできる。

以上のようにして、光源存在度検出部２２ａで、フレーム毎に、画像内の各部分、例えば各画素又は各ブロックの光源存在度Ｐｏｓが設定される。

なお、上記の例では背景領域を輝度情報に応じて分類したが、輝度情報ではなく色情報のみに応じて分類しても良く、輝度情報と色情報を組み合わせに応じて分類しても良い。色情報は、ＲＧＢ色空間における各Ｒ、Ｇ、Ｂの値でも良く、ＨＳＶ色空間のＨ（色相）或いはＳ（彩度）でも良い。例えば、光源の色は白色、黄色、又は赤色の画素として得られることが多いことを考慮し、これらの色成分を明背景領域Ｄｂｈとし、これら以外の色成分を、暗背景領域Ｄｂｌとしても良い。

光源存在度検出部２２ａで検出された光源存在度Ｐｏｓは、光源存在度記憶部２２ｃに保持される。光源存在度記憶部２２ｃは、画像Ｓａの画素又はブロックにそれぞれ対応するアドレスを有し、画素ごとにあるいはブロックごとに光源存在度Ｐｏｓを保持する。
代わりに、各値の光源存在度が設定された領域の輪郭（他の値の光源存在度が設定された領域との境界線）を示す情報を、当該光源存在度と関連付けて、光源存在度記憶部２２ｃに保持させることとしても良い。
例えば、各領域の輪郭が折れ線で表される場合、該折れ線の頂点座標を当該光源存在度と関連付けて、光源存在度記憶部２２ｃに保持させることとしても良い。

領域を分割した結果、図１２のように、暗背景領域Ｄｂｌの内部に、ごく小さい明背景領域Ｄｂｈ２、即ち孤立点が生じることがある。このような場合は、画像処理のノイズ除去の一般的手法である、膨張及び収縮を一定回数繰り返して、孤立点となっている明背景領域Ｄｂｈ２を除去する。すなわち、複数回膨張した後、同じ回数収縮するクロージング（Ｃｌｏｓｉｎｇ）処理、或いは複数回収縮した後、同じ回数膨張するオープニング（Ｏｐｅｎｉｎｇ）処理を行って孤立点を除去するのが良い。このような処理のため孤立点除去部２２ｂが設けられている。孤立点除去部２２ｂは、光源存在度検出部２２ａから出力された光源存在度を表す情報を受け、上記の孤立点除去を行い、孤立点除去後のデータを、光源存在度記憶部２２ｃに記憶させる。

以上のように、光源存在度検出部２２ａ及び孤立点除去部２２ｂによって、各フレームの輝度情報などに基づいて各領域の光源存在度Ｐｏｓが決定される。
光源存在度修正部２２ｄは、各フレームにおける光源存在度Ｐｏｓを、時間的に前のフレームの光源存在度を用いて修正する。この処理は、各フレーム及び時間的に前のフレームの光源存在度に基づいて各フレームについての修正された光源存在度を求める処理であるとも言える。

このような修正を行う理由は以下の通りである。即ち、各フレームの処理において、手領域画像Ｄｈｔによって隠れていて、背景の輝度が得られていない部分が存在する。このような部分も、手領域が移動すれば、背景の輝度が得られることがある。そこで、複数のフレームにわたる処理によってこのような部分についても光源存在度を取得する。
光源存在度の修正のために、各フレームの処理で、手領域に隠れている部分については、光源存在度が不明であることを意味する値Ｐｘを暫定的に設定する。手領域画像Ｄｈｔは常に同じ位置を占めるわけではないため、別のフレームの処理において光源存在度が検出できた場合には、検出された光源存在度を用いて値Ｐｘに対する置換えを行う。

また、光源の位置は、時間とともに移動することがあり、このことを考慮して、光源存在度の修正を行う必要がある。

室内に設置されるテレビ等の表示機器の場合には、撮像部１１と光源Ｂの位置関係はそれほど変化しない。なぜならば、室内における表示機器は、外光の影響を受けにくい場所に設置されることが多く、そのため光源はほとんどの場合室内照明であるからである。一方、車載機器の場合には、撮像部１１と光源Ｂの位置関係は、自動車の移動に伴って絶えず変化する。このように時間とともに、光源の位置が変化するため、この理由からも、光源存在度Ｐｏｓをフレーム毎に必要に応じて更新する必要がある。
また、撮影した画像にブレが生じたり、光の揺らぎによる一時的なノイズが生じたりすることがある。これらの影響を軽減するためには、複数フレームの情報を利用することが有効である。

そこで本実施の形態では、各フレームにおける画像から得られた光源存在度Ｐｏｓを、１又は２以上の時間的に前のフレームについての光源存在度Ｐｏｓを用いて修正し、修正した光源存在度ＰｏｓＢを用いることとしている。このような処理は、１フレーム期間前のフレーム（前フレーム）について求められた、修正された光源存在度ＰｏｓＢを、現フレームの画像から得られた光源存在度Ｐｏｓを用いて更新する形で実現することができる。

光源存在度の更新にあたっては、暫定的に設定した値Ｐｘを有する位置の処理を優先的に行う。例えば、あるフレーム（前フレーム）の画像Ｓａ（ｎ−１）中の、光源存在度が値Ｐｘと設定されている画素あるいはブロックであって、次のフレーム（現フレーム）の画像Ｓａ（ｎ）中の同じ画素あるいはブロックについての光源存在度Ｐｏｓ（ｎ）（ｘ，ｙ）が、値Ｐｘでなければ、当該次のフレームで得られた光源存在度Ｐｏｓ（ｎ）（ｘ，ｙ）を、当該画素又はブロックについての修正された光源存在度ＰｏｓＢとして設定する。

光源存在度がＰｘ以外の値に設定されている画素又はブロックについては、１又は２以上の時間的に前のフレームの光源存在度Ｐｏｓ（ｎ−ｑ）（ｘ，ｙ）、Ｐｏｓ（ｎ−ｑ＋１）（ｘ，ｙ）、…Ｐｏｓ（ｎ−１）（ｘ，ｙ）と現フレームの光源存在度Ｐｏｓ（ｎ）（ｘ，ｙ）との単純平均又は加重平均を、当該現フレームについての修正された光源存在度ＰｏｓＢとして用いても良い。

加重平均を取る場合、重み付けは、フレーム毎に及び／又は領域毎に行うことができる。
例えば、状況が時間とともに変化していることを鑑み、より新しい画像情報により大きな重みを付けるのが良い。
また、領域毎に重みを付ける場合、輝度の高い領域により大きな重みを付けるのが良い。
例えば、図４（ａ）〜（ｃ）及び図１１（ａ）〜（ｃ）に示す例では、暗背景領域Ｄｂｌよりも、明背景領域Ｄｂｈにより大きな重みをつける。これは、基本的に背景画像Ｄｂａ（ｎ）において明るい領域は、外光の影響がある領域であり、そのような領域では、明るさが比較的頻繁に変化するからである。さらには画素或いはブロックごとの、光源存在度の変化の頻度を記憶しておいて、変化の頻度によって重みを設定することもできる。

また、前フレームについて求めた、修正された光源存在度ＰｏｓＢ（ｎ−１）（ｘ，ｙ）と現フレームの光源存在度Ｐｏｓ（ｎ）（ｘ，ｙ）の単純平均又は加重平均を、当該現フレームについての修正された光源存在度ＰｏｓＢ（ｎ）（ｘ，ｙ）として用いても良い。
この場合にも、加重平均に当たり、領域毎に重みをつけても良い。

さらに、上記のように平均を求める代わりに、１又は２以上の時間的に前のフレームの光源存在度Ｐｏｓ（ｎ−ｑ）（ｘ，ｙ）、Ｐｏｓ（ｎ−ｑ＋１）（ｘ，ｙ）、…Ｐｏｓ（ｎ−１）（ｘ，ｙ）と現フレームの光源存在度Ｐｏｓ（ｎ）（ｘ，ｙ）の中央値（大きさの順に並べたときに中央に位置する値）を、当該現フレームについての修正された光源存在度ＰｏｓＢとして用いても良い。

光源存在度情報生成部２２は、手領域検出部２１から供給された手領域画像Ｄｈｔと、光源存在度修正部２２ｄで生成された光源存在度ＰｏｓＢを、画像情報Ｓｃとして、光源推定部２３に出力する。
上記のように、光源存在度ＰｏｓＢは、複数のフレームの情報から生成されるものである。
操作入力装置の起動直後等であって複数のフレームを取得できない場合には、修正後の情報は得ることができないため、例えば、起動後の予め定められた時間（数秒程度）は起動準備時間とする等の処置により、複数のフレームが得られた後に光源推定部２３を動作させるのが望ましい。以降、複数のフレームが得られているものとして説明する。

光源推定部２３は、光源存在度情報生成部２２から出力される画像情報Ｓｃ（手領域画像Ｄｈｔ、及び光源存在度ＰｏｓＢ）を受けて、光源領域Ｂｒを推定し（図２のステップＳ３）、予め定められたサイズ以上の光源領域Ｂｒが存在するか否かを判断し（図２のステップＳ４）、手領域Ｄｈｔと光源領域Ｂｒが隣接又は近接しているか否かを判断し（図２のステップＳ５）、この判断の結果を示す情報（光源影響情報）Ｂｅと、上記の推定及び判断の結果生成された画像情報Ｓｄを出力する（ステップＳ６、Ｓ７）。生成される画像情報Ｓｄは手領域画像Ｄｈｔを示す情報及び光源存在度ＰｏｓＢを示す情報を含み、光源影響情報Ｂｅが「１」のときは、さらに、光源領域Ｂｒを示す情報を含む。
このように、光源推定部２３は、図２のステップＳ３〜Ｓ７の処理を行う。
図１３は、光源推定部２３の処理（図２のステップＳ３〜Ｓ７）をより詳細に示したものである。図１３で図２と同じステップには同じ符号が付されている。

最初に、光源推定部２３は、背景領域の各部分（各画素又は各ブロック）の光源存在度ＰｏｓＢが閾値Ｔｈｒ以上か否かの判断を行い、閾値Ｔｈｒ以上の領域を、光源領域Ｂｒと推定する（ステップＳ３）。

次にステップＳ４において、予め定められたサイズ以上の光源領域Ｂｒが存在するか否かの判定をする。ここで「予め定められたサイズ以上の光源領域Ｂｒ」とは、互いに連続した領域を意味し、一つのフレーム内における光源存在度ＰｏｓＢが閾値Ｔｈｒ以上の領域（光源領域Ｂｒ）のサイズの合計が上記の「予め定められたサイズ」以上であっても、そのこと自体は、上記の「予め定められたサイズ以上の光源領域Ｂｒが存在する」との条件は満たすことにはならない。ステップＳ４の判定処理は、１又は２以上の光源領域Ｂｒが存在するか否かの判定（ステップＳ２３ｂ）と、ステップＳ３において検出された光源領域Ｂｒのいずれかが、予め定められたサイズＴｈｓｚ以上であるか否かの判定（ステップＳ２３ｃ）を含む。

予め定められたサイズ以上の光源領域Ｂｒが存在しない場合（ステップＳ４でＮｏ）、即ち、光源領域Ｂｒが存在しない場合（ステップＳ２３ｂでＮｏ）、あるいは光源領域Ｂｒが予め定められたサイズＴｈｓｚより小さい（ステップＳ２３ｃでＮｏ）場合には、手領域画像Ｄｈｔが光源による影響を受けた可能性が小さいと判断し、ステップＳ６に進む。ステップＳ６では、光源推定部２３は、上記の判断結果を示す情報（光源影響情報）Ｂｅ（例えば第１の値、例えば「０」を表す）を生成し（ステップＳ２３ｅ）、生成した光源影響情報Ｂｅを出力するとともに、手領域画像Ｄｈｔと、光源存在度ＰｏｓＢを画像情報Ｓｄとして出力する（ステップＳ２３ｆ）。

以下では、「手領域画像Ｄｈｔが光源による影響を受けた可能性が小さい」との判断を、簡単のため、「光源による影響を受けなかった」との判断と言うことがある。
出力された情報は、形状解析評価部２４に供給される。

予め定められたサイズ以上の光源領域Ｂｒが存在する場合（ステップＳ４でＹｅｓ）、即ち、光源領域Ｂｒが存在し(ステップＳ２３ｂでＹｅｓ)、かつ該光源領域Ｂｒが予め定められたサイズ以上の大きさを有する（ステップＳ２３ｃでＹｅｓ）場合、光源Ｂによって手領域画像Ｄｈｔが影響を受けた可能性がある。そこで、次に、光源領域Ｂｒと手領域画像Ｄｈｔが形成されている手領域Ｄｈｔが隣接又は近接しているか否かを判断する（ステップＳ５）。
そのような判断をするのは、図１４（ａ）のように、光源領域Ｂｒと手領域Ｄｈｔが離れて位置している場合は、回折による影響はなく、手領域Ｄｈｔが正しく検出されていると推定されるのに対し、光源領域Ｂｒと手領域Ｄｈｔとが隣接又は近接している場合は図１４（ｂ）のように、回折による影響を受けている可能性が高いためである。

光源領域Ｂｒと手領域Ｄｈｔが離れている場合（ステップＳ５でＮｏ）も、ステップＳ４でＮｏの場合（予め定められたサイズ以上の光源領域Ｂｒが存在しない場合）と同じように、手領域検出部２１によって得られた手領域画像Ｄｈｔは光源による影響を受けなかったと判断される。このような場合にも、光源推定部２３は、形状解析評価部２４に、手領域画像Ｄｈｔと、光源存在度ＰｏｓＢとを画像情報Ｓｄとして出力するとともに、手領域画像Ｄｈｔに光源による影響がないことを示す光源影響情報Ｂｅ（＝０）を出力する（ステップＳ６）。

光源領域Ｂｒが手領域Ｄｈｔに隣接しているか否かの判断は、例えば、手領域画像Ｄｈｔの各画素についての、上下左右斜めの８方向における隣接画素位置を検査し、これらの隣接画素位置のいずれかが光源領域Ｂｒに含まれるか否かを判断することによって行われる。
手領域Ｄｈｔの内部の、ある画素位置の座標を（ｘ，ｙ）とすると、その８方向における隣接画素位置は、（ｘ−１，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ−１）、（ｘ，ｙ＋１）、（ｘ−１，ｙ−１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ−１）を座標とする位置、即ち図１５に太線部で示す３×３画素の領域のうち、中央の画素位置（ｘ，ｙ）を除く位置である。そして８方向の隣接画素位置のいずれかが光源領域Ｂｒに含まれれば、手領域Ｄｈｔが光源領域Ｂｒに隣接するとの判断をする。

光源領域Ｂｒが手領域Ｄｈｔに隣接しているか否かの判断のため、手領域Ｄｈｔ内のすべての画素について上記の判定を行っても良いが、代わりに、手領域画像Ｄｈｔから手領域の輪郭線Ｃｈｔを抽出し、手領域の輪郭線Ｃｈｔ上に位置する画素についてのみ上記の判定を行うこととしても良い。このような手法をとれば、計算量を削減することができる。
また、各画素について上下左右斜めの８方向における隣接画素位置について光源領域Ｂｒに含まれるか否かの判定を行う代わりに、上下左右の４方向における隣接画素位置についてのみ光源領域Ｂｒに含まれるか否かの判定を行うこととしても良い。そのようにすることで、判定のための計算量を少なくすることができる。

光源領域Ｂｒが手領域Ｄｈｔに隣接しているか否かの判断をする代わりに、光源領域Ｂｒが手領域Ｄｈｔに近接しているか否かの判断をする場合には、例えば、手領域内の各画素から予め定められた距離内の画素の各々が光源領域Ｂｒに含まれるか否かの検査をする。上記の予め定められた距離をｓとして、例えば、左方に位置する、座標
（ｘ−１，ｙ）、（ｘ−２，ｙ）、…（ｘ−ｓ，ｙ）
で表される位置の画素のすべてを検査する。
そして予め定められた距離ｓ内の画素のいずれかが光源領域Ｂｒに含まれていれば、手領域Ｄｈｔが光源領域Ｂｒに近接するとの判断をする。

予め定められたサイズ以上の光源領域Ｂｒが存在し（ステップＳ４でＹｅｓ）、且つ、手領域Ｄｈｔと、光源領域Ｂｒが隣接又は近接している場合（ステップＳ５でＹｅｓ）、光源Ｂｒによって手領域検出部２１による検出結果が影響を受けた可能性がある。そこで、光源推定部２３は、ステップＳ７の処理を行う。ステップＳ７では、光源推定部２３は、上記判断結果を示す光源影響情報Ｂｅ（例えば第２の値、例えば「１」を表す）を生成し（ステップＳ２３ｇ）、手領域画像Ｄｈｔと、光源存在度ＰｏｓＢを示す情報と、光源領域Ｂｒを示す情報を画像情報Ｓｄとして出力するとともに、手領域画像Ｄｈｔに光源による影響があることを示す光源影響情報Ｂｅ（＝１）を出力する(ステップＳ２３ｈ)。出力された情報（Ｓｄ、Ｂｅ）は、形状解析評価部２４に供給される。

形状解析評価部２４は、光源推定部２３から画像情報Ｓｄ（手領域画像Ｄｈｔ、光源存在度ＰｏｓＢを示す情報、光源領域Ｂｒを示す情報）および光源影響情報Ｂｅを受ける。形状解析評価部２４は例えば図１６に示すように、特徴解析部２４１と、形状尤度判定部２４２と、形状評価部２４３と、特徴情報記憶部２４４と、解析制御部２４５とを有する。

解析制御部２４５は、光源影響情報Ｂｅに基づいて、形状尤度判定部２４２及び形状評価部２４３の各々に処理を行わせるか否かの制御を行う。
特徴解析部２４１は、光源影響情報Ｂｅが、光源による影響があることを示すもの（Ｂｅ（＝１））であるか否かに拘わらず、処理を行って、手特徴情報ＤＨを生成し、生成した手特徴情報ＤＨを光源推定部２３からの画像情報Ｓｄに含まれる手領域画像Ｄｈｔを示す情報及び光源領域Ｂｒを示す情報とともに、画像情報Ｓｅとして出力する。

光源影響情報Ｂｅが、光源による影響があることを示す値（Ｂｅ（＝１））である場合、解析制御部２４５は、形状尤度判定部２４２及び形状評価部２４３に処理を行わせ、形状評価部２４３で得られる判定結果ＲＥ（を示す情報）を動作判断部２６に出力させる。
一方、光源影響情報Ｂｅが、光源による影響がないことを示すもの（Ｂｅ（＝０））である場合、解析制御部２４５は、形状尤度判定部２４２及び形状評価部２４３によるそれぞれの処理を省略させる。
形状評価部２４３は、形状評価の処理を行わない場合には、判定結果ＲＥとして、第１の値、例えば「０」を出力している。

特徴解析部２４１は、上記のように、各フレームの画像情報Ｓｄに含まれる手領域画像Ｄｈｔから、手特徴情報ＤＨを算出する。手特徴情報ＤＨは、「手の輪郭」の位置、「特徴点」の位置を表す座標、これらに関する面積、長さに関する情報を含む。
ここで「長さ」は、例えば、手のひらの中心位置から、輪郭或いは指先までの距離である。「面積」は、手領域の面積である。
「特徴点」は、特徴点例えば、「指先」、「手のひらの中心」である。

図１７は手特徴情報ＤＨの具体例を示す。
図１７に示す例では、特徴点としての第一指（親指）から第五指（小指）までの指先の位置をそれぞれＤｈｐ１〜Ｄｈｐ５で示している。また、さらなる特徴点としての手のひらの中心位置をＤｈｐ０で示し、手のひらの大きさを、手領域Ｄｈｔに収まる最大の円の半径Ｄｈｒで示す。中心位置Ｄｈｐ０を中心とし、半径Ｄｈｒの領域を手のひら領域と呼ぶ。
位置Ｄｈｐ０〜Ｄｈｐ５は、画像の座標系における座標で示され、半径Ｄｈｒは画像における長さで示される。

手特徴情報ＤＨを算出する方法を説明する。なお、以下に説明する方法はその一例であって、他の方法で手特徴情報ＤＨを算出しても良い。
手領域画像Ｄｈｔは、撮像画像Ｓａから手の領域を切り出しただけのものであり、画像処理を受けておらず、輝度情報及び／又は色情報を含んでいる。

特徴解析部２４１は、図１８に示すように、２値化部２４１ａと、孤立点除去部２４１ｂと、輪郭抽出部２４１ｃと、中心位置検出部２４１ｄと、手のひらサイズ検出部２４１ｅと、距離検出部２４１ｆと、指先位置検出部２４１ｇとを有する。

２値化部２４１ａは、手領域画像Ｄｈｔを２値化処理し、孤立点除去部２４１ｂは、膨張・収縮を一定回数ずつ繰り返して、孤立点を除去する。これには前述のクロージング（Ｃｌｏｓｉｎｇ）処理或いは、オープニング（Ｏｐｅｎｉｎｇ）処理など画像処理の手法が利用できる。

輪郭抽出部２４１ｃは、これらの処理を受けた手領域画像（処理前の手領域画像と同じ符号「Ｄｈｔ」で表す）について、手領域の輪郭Ｃｈｔを抽出する。

次に中心位置検出部２４１ｄは、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から、輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手のひらの中心位置Ｄｈｐ０と認定する。
また、手のひらサイズ検出部２４１ｅは、中心位置Ｄｈｐ０から輪郭までの最短距離を検出して、手のひらの大きさＤｈｒと認定する。

次に、距離検出部２４１ｆは、位置Ｄｈｐ０から、それぞれの方向における手領域の輪郭までの距離Ｒｄａを算出する。
方向は、例えば撮像画像の上方向を基準軸に対する角度で表される。
距離の算出は、中心Ｄｈｐ０のまわり全方向に関して行っても良いが、簡単のためここでは、手の指が撮像画像の上側に位置するように操作領域ＲＪに入れられる場合を想定し、中心位置Ｄｈｐ０よりも上側（左９０度から右９０度まで）までの範囲においてのみ距離を算出するものとして説明する。

横軸に角度（左９０度から右９０度まで）、縦軸に各角度における（各方向における）輪郭までの距離Ｒｄａを図示すると、例えば図１９に示すごとくとなる。図１９を角度距離曲線図と呼ぶ。図１９において、極大値は手領域画像の指先の方向（角度）に現れる。そこで、指先位置検出部２４１ｇで、極大値を取る方向における輪郭線上の位置を指先位置として、その座標を得る。また、複数ある極大値の間にある極小値は、指と指の間である水かき部分の方向（角度）に現れる。

以上の処理で得られたデータ、即ち、輪郭抽出部２４１ｃで得られた輪郭Ｃｈｔを示す情報、中心位置検出部２４１ｄで得られた中心位置Ｄｈｐ０を示す情報、手のひらサイズ検出部２４１ｅで得られた手のひら半径Ｄｈｒを示す情報、距離検出部２４１ｆで得られた距離Ｒｄａを示す情報、指先位置検出部２４１ｇで得られた指先位置Ｄｈｐ１〜Ｄｈｐ５を示す情報は、手特徴情報ＤＨとして、蓄積部２４４に蓄積され、後述のように、動作判断部２６の形状補正部２６２及び動作情報生成部２６４における処理に際し、時間的に前のフレームの手特徴情報ＤＨ（ｎ−１）、ＤＨ（ｎ−２）…、ＤＨ（ｎ−ｑ）として参照される。蓄積される手特徴情報のフレームの数ｑは、固定値でも可変値でも良いが、光源影響情報Ｂｅの内容によっては、後述するように形状補正部２６２において、時間的に前のフレームの手特徴情報ＤＨを利用することがあるため、光源の影響がないフレームの手特徴情報ＤＨが含まれるように、十分な数だけ記憶するのが望ましい。
記憶部２４４から読み出された手特徴情報ＤＨ（ｎ−１）〜ＤＨ（ｎ−ｑ）と、特徴解析部２４１から出力される手特徴情報ＤＨ（ｎ）とは、光源推定部２３からの画像情報Ｓｄに含まれる手領域画像Ｄｈｔを示す情報及び光源領域Ｂｒを示す情報とともに、画像情報Ｓｅとして出力される。

形状尤度判定部２４２は、特徴解析部２４１で生成された手特徴情報ＤＨ、特にその距離Ｒｄａを示す情報を受け、当該手特徴情報ＤＨが、ジェスチャー操作入力のために用いられた手の形状を正しく表すものである可能性乃至尤度、即ち、操作者がジェスチャー操作入力を行っており、かつ光源の影響で手領域画像に欠損が生じていない可能性乃至尤度を評価する。
形状尤度判定部２４２は、例えば図２０に示すように、形状照合部２４２ａと基準形状記憶部２４２ｂとを有する。

例えば、図２１に示される、第四指のみを曲げる手の形状は、手を開く形状、手を握る形状に比べて、作り出すのが困難である。
そのため、手特徴情報ＤＨが、図２１に示される手の形状を表すものである場合、該手特徴情報ＤＨは実際の手の形状を正しく表していないものである可能性が高く、補正が必要である可能性が高いと判断する。

形状尤度判定部２４２は、手特徴情報ＤＨで表される手の形状を特定するとともに、特定した形状が、ジェスチャー操作入力のために作られたものである可能性を評価する。
手の形状の特定のために、種々の、手の形状（標準形状）を示す情報（標準形状情報）が予め設定され、標準形状記憶部２４２ｂに記憶されており、形状照合部２４２ａは、手特徴情報ＤＨが標準形状記憶部２４２ｂに記憶されている手の形状を示す標準情報と照合して、類似度（マッチング度）が高ければ、操作者が、標準形状記憶部２４２ｂに記憶されている手の形状を作っていると判断する。
標準形状記憶部２４２ｂには、また標準形状の各々について、ジェスチャー操作入力のために作られる（用いられる）可能性を示す情報(可能性指標)ｒｈが設定され、標準形状に関連付けて記憶されている。これらの情報は、例えばテーブル形成で記憶されている。

ジェスチャー操作入力のために作られる可能性指標ｒｈとして、例えば、手を握った形状（５本の指を曲げた状態）、手を開いた状態（５本の指を伸ばした状態）については、その可能性指標ｒｈを高く設定する。次に、１本のみ（例えば第二指のみ）を伸ばした形状、２本のみ（例えば第二指及び第三指のみ）を伸ばした形状、３本のみ（例えば第二指、第三指及び第四指のみ）を伸ばした形状、及び４本のみ（例えば第二指、第三指、第四指及び第五指のみ）を伸ばした形状については、その可能性指標ｒｈを、中くらいに設定する。最後に、第二指、第三指及び第四指だけを曲げた形状については、その可能性指標ｒｈを低く設定する。

そして、記憶された標準形状と一致した（類似度が予め定められた値以上である）との判断がなされたときは、当該標準形状に関連付けて記憶された可能性指標ｒｈを出力する。
また、検出された手領域の形状が、いずれの基準形状に対しても類似度が低い場合には、低い値の可能性指標ｒｈを出力する。

形状評価部２４３は、形状尤度判定部２４２から出力された可能性指標ｒｈと、特徴解析部２４１で生成された各角度（各方向）における距離Ｒｄａを示す情報をもとに、手領域検出部２１で検出された手領域が光源の影響を受けて本来よりも小さく検出されたものであるか否か、即ち撮像画像中の手領域に欠損が生じているか否かを判断し、判断の結果を示す情報ＲＥを動作判断部２６に出力する（図２のステップＳ８）。
形状評価部２４３は、図２２に示すように、欠損範囲検出部２４３ａと、評価指標演算部２４３ｂと、比較部２４３ｃとを有する。

光源Ｂは点光源、面光源、あるいは線光源であり、従って光源領域Ｂｒは、円形又は楕円形となる。そのため、角度距離曲線図に現れる影響として、距離の変化が緩やかな角度範囲（方向範囲）があり、かつそのような角度範囲内に極小点が現れる。

そのような極小点の例を図２３に符号Ｌｍｎ１で示す。この極小点Ｌｍｎ１は、距離の変化が緩やかな角度範囲Ｒｍ内にある。また、この角度範囲Ｒｍ内には極大点が存在しない。この角度範囲Ｒｍは、左９０度から右９０度までの範囲のうちの１／５以上の大きさを占めることもある。
一方、第一指及び第二指のみを曲げた場合には、図２３に点線で示されるように、角度範囲Ｒｍ内の距離が小さくなるが、該点線は、上に凸となり、２本の指の位置に極大点Ｌｍｘ１、Ｌｍｘ２が現れる。

また、図２３に示されるように、伸ばした指の位置（図中Ｄｈｐ３〜Ｄｈｐ５）では、極大点（指先位置Ｄｈｐ３〜Ｄｈｐ５）の中心Ｄｈｐ０からの距離Ｒｄａと極小点Ｌｍｎ２、Ｌｍｎ３の中心Ｄｈｐ０からの距離Ｒｄａの間には、比較的大きな差異がある。一方、角度範囲Ｒｍにおいては、指を曲げることで極大点Ｌｍｘ１、Ｌｍｘ２が生じたとしても極大点Ｌｍｘ１、Ｌｍｘ２と極小点Ｌｍｎ４、Ｌｍｎ５とでは、距離Ｒｄａの差が小さい。このように、極大点であっても、極小点との距離Ｒｄａの差が小さいものは、伸ばした指による極大点とは判断しない。ここで、各極大点にその両側に隣接する極小点がある場合には、距離の差がより小さいものを、当該極大点について極小点との距離の差として用いる。

以上のことから、角度距離曲線図において、ある予め定められた大きさ以上の角度範囲Ｒｍ内に、極小点が１つだけある場合には、光源による影響を受けている可能性が高い。
この角度範囲Ｒｍに基づいて、手領域が光源の影響で本来よりも小さく検出されているか否か(光源の影響による欠損の有無）に関する指標ｒｊを生成する。この処理は、欠損範囲検出部２４３ａで行われる。例えば、極小点が１つだけ検出された角度範囲Ｒｍを欠損範囲として検出し、欠損範囲Ｒｍの大きさに基づいて指標ｒｊを算出する。この指標ｒｊは、例えば
ｒｊ＝１／Ｒｍ
によって求められ、Ｒｍが大きいほど（即ち、光源による影響を受けている範囲が広いほど）、小さな値となる。従って、光源による影響を受けていない可能性を示す指標であるとも言える。

なお、「極小点が一つだけである」ことに加えて「角度（方向）の変化に対する距離の変化の大きさが予め定められた値以下であること（角度距離曲線の傾きの絶対値が予め定められた値以下であること）」を条件として、これらの条件をともに満たす角度範囲Ｒｍを欠損範囲として検出することとしても良い。

評価指標演算部２４３ｂは、形状尤度判定度２４２で算出された形状の可能性指標ｒｈと、欠損範囲検出部２４３ａで生成された指標ｒｊとに基づき、評価指標ｒｋを生成する。
評価指標ｒｋは例えば下式で求められる。
ｒｋ＝ｋａ・ｒｈ・ｒｊ
上記の式で、ｋａは係数である。

なお、上記の式のように、ｒｈとｒｊを乗算する代わりに、両者を下式のように重み付け加算した値をｒｋとしても良い。
ｒｋ＝ｋｂ・ｒｈ＋ｋｃ・ｒｊ
上記の式でｋｂ、ｋｃは重み付け係数である。
要するに、ｒｈ、ｒｊの増加に伴って、増加する値をｒｋとして用いれば良い。ｒｋが大きいことは、ジェスチャー操作入力のための手の形状に対応する手領域が正しく得られている可能性が高いことを意味する。

上記のように、評価指標ｒｋは、指標ｒｈと指標ｒｊに基づいて定められるものであるが、指標ｒｊは欠損範囲Ｒｍに基づいて定められるものであるので、評価指標ｒｋは指標ｒｈと欠損範囲Ｒｍに基づいて定められるものであるとも言える。

比較部２４３ｃは、評価指標演算部２４３ｂで算出された評価指標ｒｋが予め定められた閾値Ｔｈｒｋ以上か否かの判定を行い、判定結果ＲＥを、動作判断部２６に出力する。判定結果ＲＥは、撮像画像中の手領域Ｄｈｔに光源の影響による欠損が生じているか否かを示す。
評価指標ｒｋが閾値Ｔｈｒｋ以上である場合、即ち光源の影響による欠損が生じていないと判断された場合には、判定結果ＲＥは、第１の値例えば「０」を表すものとなる。
一方、評価指標ｒｋが閾値Ｔｈｒｋ未満である場合、即ち光源の影響による欠損が生じていると判断された場合には、判定結果ＲＥは、第２の値例えば「１」を表すものとなる。
また、Ｂｅが第１の値「０」で、形状評価部２４３が形状評価の処理をしない場合には、判定結果ＲＥは、上記の第１の値「０」を維持する。
判定結果ＲＥは、先に述べた画像情報Ｓｅとともに動作判断部２６に供給される。

なお、光源Ｂによる影響がない場合には、光源領域Ｂｒを示す情報が出力されないため、光源推定部２３では光源影響情報Ｂｅを出力せずに、形状解析評価部２４では、光源領域Ｂｒの有無に基づいて、光源による影響の有無を判断することとしても良い。

動作判断部２６は、形状解析評価部２４から出力される判定結果ＲＥ及び画像情報Ｓｅに基づいて、手の動作を判断する。
動作判断部２６は、制御部２６１と、形状補正部２６２と、選択部２６３と、動作情報生成部２６４とを有する。

制御部２６１は、判定結果ＲＥに応じて、形状補正部２６２及び選択部２６３を制御する。
即ち、判定結果ＲＥが第１の値「０」を表すものである場合、即ち、撮像画像中の手領域Ｄｈｔに光源の影響による欠損が生じていないと判断された場合には、制御部２６１は、形状補正部２６２による補正を行わせず、選択部２６３に、形状解析評価部２４から出力される画像情報Ｓｅを選択させる。

一方、判定結果ＲＥが第２の値「１」を表すものである場合、即ち、撮像画像中の手領域Ｄｈｔに光源の影響による欠損が生じていると判断された場合、制御部２６１は、形状補正部２６２に補正を行わせ、選択部２６３に、形状補正部２６２から出力される画像情報Ｓｆを選択させる。
選択部２６３で選択された画像情報Ｓｅ又はＳｆは動作情報生成部２６４に供給される。

形状補正部２６２は、手領域検出部２１で検出された手領域の形状を表す手特徴情報ＤＨを補正するものであり、具体的には、形状解析評価部２４の特徴解析部２４１及び特徴情報記憶部２４４から供給される画像情報Ｓｅ（現フレーム及び時間的に前のフレームの手特徴情報ＤＨ（ｎ）〜ＤＨ（ｑ）、並びに現フレームの手領域画像Ｄｈｔを示す情報及び光源領域Ｂｒを示す情報）を受け、これに基づいて、現フレームｎの手特徴情報ＤＨ（ｎ）を補正して、補正された手特徴情報ＤＨｅ（ｎ）を生成する（図２のステップＳ９）。
以下では、手特徴情報ＤＨ（ｎ）のうち、手の特徴点、例えば、指先位置を表す情報を補正する場合を例に挙げて説明する。
形状補正部２６２は、図２４に示すように、位置推定部２６２ａ及び位置修正部２６２ｂを有する。

位置推定部２６２ａは、各フレームにおいて光源の影響で得られなかった手形状の特徴点の位置、例えば指先位置を推定する。
図２５（ｂ）に示すように、現フレームｎの手特徴情報ＤＨ（ｎ）に光源の影響で欠損があり、第一指及び第二指の指先位置Ｄｈｐ１（ｎ）およびＤｈｐ２（ｎ）を示す情報が得られず、一方、図２５（ａ）に示すように、前フレーム（ｎ−１）では、第一指及び第二指の指先位置Ｄｈｐ１（ｎ−１）およびＤｈｐ２（ｎ−１）を示す情報が得られているものとする。この場合、これらの前フレームの手特徴情報ＤＨ（ｎ−１）を利用して、現フレームｎにおける指先位置を推定し、現フレームｎの手特徴情報ＤＨ（ｎ）を、推定された指先位置を示すものとなるように補正する。

手特徴情報ＤＨ（ｎ）の中で手のひらの中心位置Ｄｈｐ０（ｎ）は、手領域が光源の影響を受けた場合にも検出できる可能性が高い。これは、回折は手の周辺部及び指の間を光が回り込んで見える現象であるため、指のような細い部分が最も多く影響を受ける一方、手のひらのような、大きい面積を持つ部分は影響が少ないためである。

手特徴情報ＤＨ（ｎ）のうちの第一指の指先位置Ｄｈｐ１（ｎ）を推定するためには、前フレームにおける手のひらの中心位置Ｄｈｐ０（ｎ−１）と、現フレームにおける手のひらの中心位置Ｄｈｐ０（ｎ）の差と、前フレームにおける第一指の指先位置Ｄｈｐ１（ｎ−１）を利用する。この場合、前フレームと現フレームとの間で、手のひらの中心と指先の位置関係が変化しないことを仮定し、
Ｄｈｐ０（ｎ−１）＝（ｘｂ０，ｙｂ０）、
Ｄｈｐ１（ｎ−１）＝（ｘｂ１，ｙｂ１）、
Ｄｈｐ０（ｎ）＝（ｘｎ０，ｙｎ０）
とすると、
Ｄｈｐ１（ｎ）＝（ｘｂ１＋（ｘｎ０−ｘｂ０）、ｙｂ１＋（ｙｎ０−ｙｂ０））
によって推定することができる。
他の指の指先位置Ｄｈｐ２（ｎ）〜Ｄｈｐ５（ｎ）も必要に応じて同様に推定を行うことができる。

なお、形状解析評価部２４で得られた手特徴情報ＤＨと区別する必要がある場合には、推定により得られた手特徴情報全体をＤＨｅと表記し、同様に、推定により得られたそれぞれの指の指先位置を示す情報をＤｈｐｅ１〜Ｄｈｐｅ５と表記する。

位置修正部２６２ｂは、位置推定部２６２ａによって推定された指先位置、即ち、推定により得られた手特徴情報ＤＨｅで示される位置が、手領域Ｄｈｔに隣接又は近接する光源領域Ｂｒの内部にあるか否かを判断し、判断の結果に基づいて手特徴情報ＤＨｅを修正する。修正後の手特徴情報も同じ符号ＤＨｅで表す。位置推定部２６２ａによる推定により得られた手特徴情報ＤＨｅで示される位置が、手領域Ｄｈｔに隣接又は近接する光源領域Ｂｒの内部にあるか否かの判断は、手のひら中心Ｄｈｐ０（ｎ）と、推定された指先位置Ｄｈｐｅ１（ｎ）及びＤｈｐｅ２（ｎ）を結ぶ線分Ｌ１、Ｌ２上の各画素が、光源領域Ｂｒ及び手領域Ｄｈｔのいずれかに含まれるか否かに基づいて行い得る。

光源推定部２３によって光源領域Ｂｒと手領域Ｄｈｔとが隣接しているか否かが判断された場合には、位置修正部２６２ｂは、推定された指先位置Ｄｈｐｅ１（ｎ）が手領域Ｄｈｔに隣接する光源領域Ｂｒ内に位置するか否かの判断をする。その場合は、図２６（ａ）及び（ｂ）に示すように、手のひらの中心位置Ｄｈｐ０（ｎ）と位置Ｄｈｐｅ１（ｎ）を結ぶ線分Ｌ１上のすべての画素（これには、推定された指先位置Ｄｈｐｅ１（ｎ）の画素が含まれる）を検査する。
図２６（ａ）に示すように、線分Ｌ１上の画素がすべて光源領域Ｂｒ内又は手領域Ｄｈｔ内に位置する(即ち、線分Ｌ１上が画素のいずれも、光源領域Ｂｒ以外の背景領域に位置しない)場合は、推定された指先位置Ｄｈｐｅ１（ｎ）を、正しく補正された指先位置Ｄｈｐ１（ｎ）として採用する。

図２６（ｂ）に示すように、線分Ｌ１上の画素のいずれかが、光源領域Ｂｒ及び手領域Ｄｈｔ以外に位置する（光源領域以外の背景領域に位置する）場合には、そのような画素のうちで、中心位置Ｄｈｐ０（ｎ）に最も近い画素の位置に隣接し、中心位置Ｄｈｐ０（ｎ）の側に位置する画素（光源領域Ｂｒ又は手領域Ｄｈｔ内に位置する）の位置を、補正された指先位置Ｄｈｐ１（ｎ）として採用する。

光源推定部２３によって光源領域Ｂｒと手領域Ｄｈｔが近接しているか否かが判断された場合には、位置修正部２６２ｂは、推定された指先位置Ｄｈｐｅ１（ｎ）が手領域Ｄｈｔに近接する（距離がｓ以下である）光源領域Ｂｒ内に位置するか否かの判断をする。その場合は、上記の線分Ｌ１上の画素のうち、手領域Ｄｈｔに近接する画素、即ち、手領域Ｄｈｔから距離ｓ以内の画素が光源領域Ｂｒ内に位置していなくても、光源領域Ｂｒ内に位置するものとみなす。それ以外の点では、上記した「手領域Ｄｈｔに隣接する光源領域Ｂｒ内に位置するか否かの判断」と同じである。

位置推定部２６２ａによる推定の結果或いは位置修正部２６２ｂによる修正の結果、補正された指先位置を示す情報が得られると、形状解析評価部２４から出力された手特徴情報ＤＨは、その一部が位置推定部２６２ａ或いは位置修正部２６２ｂで生成された情報によって置き換えられて、補正された特徴情報ＤＨｅとなる。

以上のように、線分Ｌ１上の画素を検査することで、光源領域Ｂｒの一部である（手領域の一部ではない）と判定された領域について、手領域の一部の領域であると認識を変更し（これにより手領域を拡張し）、欠落した手領域を補うことができる。

上記の位置推定部２６２ａ及び位置修正部２６２ｂの処理の結果を光源存在度情報生成部２２の光源存在度修正部２２ｄで利用して、光源存在度ＰｏｓＢの数値をさらに修正或いは更新することとしても良い。
例えば、補正された指先位置においては、現フレームにおいて光源が存在し、光源の影響があったと判定されたわけであるから、それ以降同じ位置についての光源存在度をより大きな値に設定することができる。例えば光源存在度が０〜１００の範囲の値を取る場合、光源存在度を１００に近付けることとし、これにより次フレーム以降の処理において、同じ位置が光源領域Ｂｒであると認識されやすくなるようにすることができる。

以上、手特徴情報ＤＨのうちの指先位置を示す情報を補正する場合について説明したが、指先以外の特徴点、或いは特徴点以外の手特徴情報、例えば手の輪郭の位置を示す情報、手の形状における長さ（例えば、手のひらの半径）或いは面積（例えば、手のひら領域の面積）を示す情報を補正することとしても良い。

以上のようにして位置推定部２６２ａ及び位置修正部２６２ｂで生成された手特徴情報ＤＨｅを、形状解析評価部２４で生成された手特徴情報ＤＨのうちの、位置推定部２６２ａ或いは位置修正部２６２ｂで生成された情報で置き換えられなかった部分ＤＨｆと合わせ、これらの情報ＤＨｅ及びＤＨｆを、光源推定部２３からの画像情報Ｓｄに含まれる手領域画像Ｄｈｔを示す情報及び光源領域Ｂｒを示す情報とともに、画像情報Ｓｆとして、選択部２６３を介して動作情報生成部２６４に出力する。

補正で得られる手特徴情報ＤＨｅは、形状解析評価部２４で生成された手特徴情報（手特徴情報ＤＨｅと同じフレーム内の異なる画像部分についての手特徴情報ＤＨｆ、及び手特徴情報ＤＨｅと異なるフレーム内の画像部分についての手特徴情報ＤＨ）と比べて信頼度が低いことを考慮し、手特徴情報ＤＨｅと形状解析評価部２４で生成された手特徴情報ＤＨｆ、ＤＨとで異なる値の信頼度Ｒを設定し（手特徴情報ＤＨｅの信頼度を形状解析評価部２４で生成された手特徴情報ＤＨｆ、ＤＨの信頼度よりも低くし）、動作情報生成部２６４において、手の形状或いは動きを判断する際に、信頼度Ｒを重みとして利用することもできる。

動作情報生成部２６４は、形状解析評価部２４から出力される画像情報Ｓｅ（手特徴情報ＤＨ）又は形状補正部２６２から出力される画像情報Ｓｆ（手特徴情報ＤＨｅと手特徴情報ＤＨｆの組合せで構成される手特徴情報ＤＨ）を得て、手の動作を解析し、解析結果の結果として得られる手の動作Ｃａを示す情報を生成し、操作内容決定部２７に出力する（図２のステップＳ１０）。手の動作の解析は、手の形状の識別乃至判定及びその変化の識別乃至判定を含む。変化の判定は、時間的に異なるフレーム間での変化（前フレームに対する現フレームの変化）を検出することで行われる。手の動作には、同じ形状を例えば予め定められた時間以上維持する動作が含まれる。

手の形状及び動きの判定に当たり、上記のように、形状補正部２６２における補正によって生成される手特徴情報ＤＨｅと、形状解析評価部２４から出力される手特徴情報ＤＨｆ、ＤＨとで、異なる値の信頼度Ｒが設定されている場合、該信頼度Ｒを重みとして用いることができる。

動作情報生成部２６４において、手特徴情報ＤＨに含まれる、手のひらの中心の位置Ｄｐｈ０、及び指先の位置Ｄｈｐ１〜Ｄｈｐ５等から各フレームにおける手の形状を分類乃至判別しても良い。
例えば、手を握った状態（グー）であるか否か、手を開いた状態（パー）であるか否か、伸ばしている指が何本であるかなどによって分類乃至判別を行うこととしても良い。

動作情報生成部２６４は、図２７に示すように、検出情報記憶部２６４ａと、動作パターン検出部２６４ｂと、パターン照合部２６４ｃと、標準パターン記憶部２６４ｄとを有する。
手の動作を判断するため、検出情報記憶部２６４ａは、各フレームの手特徴情報ＤＨ（形状補正部２６２からの手特徴情報ＤＨｅ及びＤＨｆの組合せで構成される場合もある）を蓄積し、動作パターン検出部２６４ｂは、互いに連続する複数のフレームの手特徴情報ＤＨを解析して動作パターンを検出し、パターン照合部２６４ｃは、動作パターン検出部２６４ｂで検出された動作パターンが、予め設定された標準パターンに一致するものとなったら、当該標準パターンに一致する動作が行われたと判定し、そのような判定結果を出力する（図２のステップＳ１１）。標準パターンのいずれとも一致しない場合には、その旨の情報を出力する。
標準パターンは、ジェスチャーの特徴を示すものであり、予め測定結果等に基づいて定められ、標準パターン記憶部２６４ｄに記憶されている。ジェスチャーの特徴としては、手の形状、その変化、移動（位置の変化）などがある。

手の形状の変化は、例えば、図２８（ａ）のように、握っていた手を開いたり（フレームｎ−αにおける「グー」からフレームｎにおける「パー」への変化）、図２８（ｂ）のように手を握った状態（フレームｎ−α）から、人差し指を伸ばす（フレームｎ）動作である。このような動作は、検出情報記憶部２６４ａに蓄積された、複数のフレームのそれぞれにおける、指先の位置Ｄｈｐ１〜Ｄｈｐ５及び手のひらの中心位置Ｄｈｐ０を示す情報に基づいて検出される。即ち、複数のフレームに亘り、中心位置Ｄｈｐ０の座標が大きく変化することなく、指先の位置Ｄｈｐ１〜Ｄｈｐ５のいずれか、あるいはすべての座標が変化したり、検知されていた指先が検知されなくなったり、逆に検知されていなかった指先が検知されるようになった場合に形状の変化があったとの判断がなされる。

手の位置の変化としては、例えば、上下左右への移動、回転がある。指先の位置Ｄｈｐ１〜Ｄｈｐ５と手のひらの中心位置Ｄｈｐ０の位置関係に大きな変化がないまま、これら全体が移動あるいは回転した場合に検出可能である。

手の位置の変化として、手を左右に傾けたりすることも検出できる。ここで「傾ける」とは、比較的狭い範囲での回転を意味する。「傾ける」動作は、手のひらの中心位置Ｄｈｐ０がほとんど変わることなく、検知されている指先の位置（Ｄｈｐ１〜Ｄｈｐ５）が円弧状の軌跡に沿って移動する（位置の座標が変化する）ことから検出できる。より単純には、中心位置Ｄｈｐ０に対する指先位置Ｄｈｐ１〜Ｄｈｐ５の方向(角度)の変化から求めることもできる。

手の前後方向（奥行方向）の移動を検出することとしても良い。この場合、奥行き方向の位置を表す情報が得られるのが望ましいが、撮像部が一つである場合には正確な奥行き方向の情報を得にくい。一つの撮像部からの映像に基づいて前後方向の移動を検出する方法として、手領域の面積の変化、各特徴点相互間の長さの変化等を利用することが可能である。

動作情報生成部２６４で生成された動作情報は、動作判断部２６の出力となる。この出力は、動作判断部２６で判定された手の動作を示す情報である。

操作内容決定部２７は、動作判断部２６によって判定された手の動作Ｃａに対応する操作指示Ｃｂを選択し、選択した操作指示Ｃｂを示す情報を表示部３１および被制御部３２に出力する（図２のステップＳ１２）。
手の動作Ｃａに対応する操作指示Ｃｂは、予め一意に決まるように機器に設定されている。

操作内容決定部２７は、例えば図２９に示すように、操作指示選択部２７ａと、操作指示記憶部２７ｂとを有する。
操作指示記憶部２７ｂは、手の動作Ｃａに対応付けて操作指示Ｃｂを例えばテーブル形式で記憶しており、操作指示選択部２７ａは、手の動作Ｃａを操作指示記憶部２７ｂにアドレスとして供給することで、当該アドレスに記憶されたデータを対応する操作指示Ｃｂとして読み出し、出力する。

手の動作Ｃａに対応する操作指示Ｃｂの例が図３０に示されている。図示の例では、手を開いた状態で、中央付近から上に動かした場合、オーディオ装置の音量を１単位上げる処理を行う動作を指示する操作指示Ｃｂを示す情報が出力される。
このような設定は基本的には、操作指示記憶部２７ｂに予め記憶されているが、操作者の好みによって変更できるように構成することもできる。

表示部３１は、操作内容決定部２７からの操作指示Ｃｂを受けて、これに応じて表示内容を変更する。具体的には、操作内容決定部２７による操作指示Ｃｂが、オーディオ装置の音量調整等であれば、表示部に音量の設定値を表示する。また、同様の操作指示を、表示部３１に示されている画面のスクロール、拡大縮小操作、メニューカーソルの移動に利用することもできる。さらには、位置そのものを操作内容として表示部３１に送信し、ポインティングに活用することもできる。

表示部３１で表示が行われると、表示の誘目性により、表示部３１に視線が向かってしまうことも考えられる。そこで、表示部３１の代わりに、音声、効果音等を利用してユーザーに、操作内容決定部２７によって指示された内容を通知することもできる。

被制御部３２は、操作内容決定部２７からの操作指示により動作する機器、諸機能等の総称である。その例として、オーディオ装置、エアコン、自動車の運転機能、自動車の付属機能等がある。自動車の付属機能としては、サイドミラーの向きの変更、窓の開け閉め、ドアのロックなどがある。
また、表示部３１も被制御部３２の１つであると見ることもできる。
複数の機器を組み合わせたものを被制御部３２として協調して動作させても良い。

以上ジェスチャーが片手で行われる場合を想定して説明したが、本発明は、ジェスチャーが両手で行われる場合にも適用でき、ジェスチャーが複数の人の手によって行われる場合にも適用できる。
車載用の操作入力装置であって、運転者が操作を行うものの場合には、ジェスチャー操作入力のための動作は簡単なものであることが望ましく、そのために、複数の手の動作で操作入力を行うのは避けるほうが望ましい。一方、エンターテイメント装置の操作入力装置には、複数の手の動作を利用する構成も利用可能であり、望ましい場合がある。

以上、ジェスチャーを行う操作体が手である場合について説明したが、本発明はこれに限定されず、人体の別の部位を用いてジェスチャー操作入力を行う場合にも適用でき、人体とは別の物体、例えばフォーク状のもの、杖状のものを操作体として用いてジェスチャー操作入力を行う場合にも適用可能である。その場合、実施の形態における手領域検出部を一般化した操作体領域検出部を用いることとなる。
ただし、手以外の操作体によりジェスチャー操作入力を行うとするには、まず当該操作体を手に取る必要があり、そのために視線の移動が必要になる。車載用の操作入力装置で運転者が操作を行う場合には、運転者の視線の動きを減らすという効果を得るためには、手でジェスチャー操作入力を行うことが望ましい。
一方、家庭用又はオフィス用のテレビ、ディスプレーモニター、プロジェクター等の表示機器の操作を行う場合には、手以外の操作体でジェスチャー操作入力を行うこととしても上記の問題が生じない。

実施の形態２．
図３１は、本発明の実施の形態２に係る操作入力装置の構成を示すブロック図である。図３１に示す操作入力装置は、図１に示される操作入力装置と概して同じであり、図１と同じ符号は同一または相当部分を示すが、動作判断部２６の代りに動作判断部２６ｂが設けられている点で異なる。

また、図３２は本発明の実施の形態２に係るフローチャートである。図３２に示すフローチャートは、図２に示されるフローチャートと概して同じであり、図２と同じ符号は同一または相当部分を示すが、ステップＳ９の処理が除かれている点で異なる。

動作判断部２６ｂは形状解析評価部２４から出力される画像情報Ｓｅと、欠損の有無の判定結果ＲＥを受けて、これらに基づいて手の動作を判断する。動作判断部２６ｂは、図３３に示すように、検出情報記録部２６４ｅと、動作パターン検出部２６４ｆと、パターン照合部２６４ｃと、標準パターン記憶部２６４ｄとを有する。

検出情報記録部２６４ｅは、各フレームの手特徴情報ＤＨと判定結果ＲＥを蓄積し、動作パターン検出部２６４ｆは、互いに連続する複数フレームの手特徴情報ＤＨと判定結果ＲＥを解析して動作パターンを検出する。
検出情報記録部２６４ｅは、図２７の検出情報記録部２６４ａと概して同じであるが、手特徴情報ＤＨだけでなく判定結果ＲＥを蓄積する点で、検出情報記録部２６４ａと異なる。また、動作パターン検出部２６４ｆは、図２７の動作パターン検出部２６４ｂと概して同じであるが、判定結果ＲＥに基づいて動作解析を行ったり、行わなかったりする点で動作パターン検出部２６４ｂと異なる。

動作パターン検出部２６４ｆは、判定結果ＲＥが「欠損有り」を示す場合（図３２のステップＳ８でＹｅｓの場合）は、手の動作を解析せずに、次の手領域画像取得する（図３２のステップＳ１）。一方で、判定結果ＲＥが「欠損無し」を示す場合（図３２のステップＳ８でＮｏの場合）は、手の動作を解析（図３２のステップＳ１０）し、検出した動作パターンをパターン照合部２６４ｃへ出力する。
パターン照合部２６４ｃ及び標準パターン記憶部２６４ｄは、図２７の例に関し説明したのと同様の動作をする。

このように構成された本実施の形態に係る操作入力装置では、光源による手領域の欠損判定の結果を利用し、動作判断を行うことで、光源により手領域が欠損された場合でも、欠損による操作入力（ジェスチャー）の誤認識を低減することができる。

なお、上記の例では、形状解析評価部２４により、欠損があると判定されている場合（ＲＥ＝「１」の場合）には、動作判断部２６ｂで、動作情報の生成を行わないこととしているが、このようにする代わりに、動作判断部２６ｂで、前フレームの手特徴情報ＤＨを現フレームの手特徴情報ＤＨとして利用して、動作情報の生成を行っても良い。

なお、本実施の形態では、欠損があると判定されている場合（ステップＳ８でＹｅｓの場合）は直ちに手領域画像を取得する処理（Ｓ１）に戻るとしたが、ステップＳ１２に進み、「欠損あり」に応じた操作指示を行っても良い。例えば、形状解析評価部２４から「欠損有り」を示す判定結果ＲＥが出力されると、動作判断部２６ｂは、判定結果ＲＥを操作内容決定部２７に伝え、操作内容決定部２７は、当該判定結果に基づいて、欠損がある（撮像画像中の手領域に欠損が生じている）ことを操作者に伝えるための操作指示を行う。この場合の操作指示は、例えば、欠損があることを操作者に知らせるための表示又は音声出力を行うことを指示するものであっても良い。

以上本発明を操作入力装置として説明したが、上記の操作入力装置で実施される方法もまた本発明の一部を成す。また、操作入力装置或いは操作入力方法の各処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

２ 空間ジェスチャー認識装置、 １１ 撮像部、 ２１ 手領域検出部、 ２２ 光源存在度情報生成部、 ２３ 光源推定部、 ２４ 形状解析評価部、 ２６、２６ｂ 動作判断部、 ２７ 操作内容決定部、 ３１ 表示部、 ３２ 被制御部、 ２４１ 特徴解析部、 ２４２ 形状尤度判定部、 ２４３ 形状評価部、 ２６１ 制御部、 ２６２ 形状補正部、 ２６３ 選択部、 ２６４ 動作情報生成部。

Claims (15)

1. 撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出部と、
   前記手領域検出部で検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成部と、
   前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出部により検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定部と、
   前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出部で検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価部と、
   前記形状解析評価部による判断の結果と、前記手領域検出部で検出された手領域を表す情報に基づいて、手の動作を判断する動作判断部と
   を備える操作入力装置。
2. 前記動作判断部は、
   前記形状解析評価部によって、前記撮像画像中の手領域に欠損が生じていると判断された場合に、前記手領域検出部で検出された前記手領域の形状を補正する形状補正部と、
   前記形状補正部によって補正された前記手領域の形状に基づいて、手の動作を示す動作情報を生成する動作情報生成部と
   を備えることを特徴とする請求項１に記載の操作入力装置。
3. 前記形状解析評価部は、
   手のひらの中心の位置を検出し、
   検出した手のひらの中心から、各方向における手領域の輪郭までの距離を求め、
   前記各方向における距離と、前記方向との関係に基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をする
   ことを特徴とする請求項１又は２に記載の操作入力装置。
4. 前記形状解析評価部は、
   前記各方向における距離と、前記方向との関係が、操作入力のためのジェスチャーを行っているときの手の形状に対応するものである可能性を推定し、
   前記推定された可能性に基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をすることを特徴とする請求項３に記載の操作入力装置。
5. 前記形状解析評価部は、
   前記各方向における距離と前記方向との関係を表す曲線において極小点を１つだけ有する方向範囲の大きさに基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をする
   ことを特徴とする請求項３又は４に記載の操作入力装置。
6. 前記方向範囲は、その内部において、前記各方向における距離と前記方向との関係を表す曲線に極大点が存在する場合、前記極大点と前記極小点の差が予め定められた閾値よりも小さい
   ことを特徴とする請求項５に記載の操作入力装置。
7. 前記方向範囲は、その内部において、前記方向の変化に対する前記距離の変化の大きさが予め定められた値以下であることを特徴とする請求項５又は６に記載の操作入力装置。
8. 前記撮像部で得られる画像が、各々静止画像を表すフレームの列で構成される動画像であり、
   前記形状補正部は、
   現フレームにおいて、前記光源の影響を受けたと推定された領域である光源領域を表す情報と、
   少なくとも１個の時間的に前のフレームの手領域における特徴点の情報をもとに、
   現フレームにおける手領域の特徴点の位置を、現フレームにおける前記光源領域内に推定し、該推定の結果に基づいて前記補正を行う
   ことを特徴とする請求項２に記載の操作入力装置。
9. 前記形状解析評価部は、手のひらの中心位置を検出し、
   前記推定された特徴点の位置と、検出された手のひらの中心位置とを結ぶ線分上の画素のうち、前記手領域からの距離が前記予め定められた距離以内の画素を除くすべての画素が、前記光源領域又は前記手領域内に位置する場合には、前記推定された特徴点の位置を、補正された特徴点の位置と認定し、
   前記推定された特徴点の位置と、検出された手のひらの中心位置とを結ぶ線分上の画素のうち、前記手領域からの距離が前記予め定められた距離以内の画素を除くすべての画素のいずれかが、前記光源領域及び前記手領域のいずれにも含まれない場合には、前記線分上にあり、前記光源領域及び前記手領域のいずれにも含まれない画素のうちの前記手のひらの中心位置に最も近いものに隣接し、かつ前記手のひらの中心位置の側に位置する画素の位置を、前記補正された特徴点の位置として認定する
   ことを特徴とする請求項８に記載の操作入力装置。
10. 前記動作判断部による判断の結果に基づいて判定された手の動作に対応する操作指示を行う操作内容決定部をさらに有することを特徴とする請求項１から９のいずれか一項に記載の操作入力装置。
11. 前記形状解析評価部で、前記撮像画像中の手領域に欠損が生じているとの判断をしたときは、前記動作判断部は、そのことを示す情報を前記操作内容決定部に伝え、前記操作内容決定部は、当該情報に基づいて、前記撮像画像中の手領域に欠損が生じていることを操作者に伝えるための操作指示を行うことを特徴とする請求項１０に記載の操作入力装置。
12. 前記形状解析評価部で、前記撮像画像中の手領域に欠損が生じているとの判断をしたときは、前記動作判断部は、当該撮像画像に基づく手の動作の判断を行わないことを特徴とする請求項１に記載の操作入力装置。
13. 撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出ステップと、
    前記手領域検出ステップで検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成ステップと、
    前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出ステップにより検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定ステップと、
    前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出ステップで検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価ステップと、
    前記形状解析評価ステップによる判断の結果と、前記手領域検出ステップで検出された手領域を表す情報に基づいて、手の動作を判断する動作判断ステップと
    を備える操作入力方法。
14. 請求項１３に記載の操作入力方法の各ステップの処理をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。

Images