JP5989251B2 - 操作入力装置及び方法、並びにプログラム及び記録媒体 - Google Patents
操作入力装置及び方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5989251B2 JP5989251B2 JP2015536456A JP2015536456A JP5989251B2 JP 5989251 B2 JP5989251 B2 JP 5989251B2 JP 2015536456 A JP2015536456 A JP 2015536456A JP 2015536456 A JP2015536456 A JP 2015536456A JP 5989251 B2 JP5989251 B2 JP 5989251B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- hand
- region
- unit
- hand region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001514 detection method Methods 0.000 claims description 63
- 238000011156 evaluation Methods 0.000 claims description 61
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 26
- 230000007547 defect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 230000002950 deficient Effects 0.000 claims description 8
- 210000003811 finger Anatomy 0.000 description 39
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 101150116596 dhp-1 gene Proteins 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 101100074794 Mesocricetus auratus Lhx1 gene Proteins 0.000 description 3
- 101150044989 dhp-2 gene Proteins 0.000 description 3
- 101150077556 LMNA gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、操作入力装置及び方法に関し、特にジェスチャーによる操作入力に関する。本発明の操作入力装置及び方法は例えば車載用の情報機器の操作入力に利用されるものである。本発明はまた、上記の操作入力装置及び方法における処理をコンピュータに実行させるためのプログラム及び記録媒体に関する。
車両には、カーナビゲーション装置、オーディオ装置、エアコン(空気調和機)等多くの機器が搭載されており、運転者にとってそれらの機器を操作する時に、ボタン操作、操作パネルの表示内容の確認等を行う必要があって、視線の動きが増えるという問題があった。
この改善策として、ジェスチャー操作入力を利用することが考えられている。
ジェスチャー操作入力のため、例えば撮像手段により撮影した画像から手の画像を抽出して、手の形状及び動きから意図された操作を判定し、判定した操作に基づいて選択したメニューを表示してユーザーに知らせる装置が提案されている(たとえば、特許文献1)。
特許文献1にはさらに、撮像手段として、可視光カメラと赤外線カメラを備え、周囲が明るいときには、可視光カメラを用い、暗いときには赤外線カメラを用いることが開示されている。
ジェスチャー操作入力のため、例えば撮像手段により撮影した画像から手の画像を抽出して、手の形状及び動きから意図された操作を判定し、判定した操作に基づいて選択したメニューを表示してユーザーに知らせる装置が提案されている(たとえば、特許文献1)。
特許文献1にはさらに、撮像手段として、可視光カメラと赤外線カメラを備え、周囲が明るいときには、可視光カメラを用い、暗いときには赤外線カメラを用いることが開示されている。
また、赤外線カメラを使う場合、赤外線カメラは外光の影響を受け易いことを考慮して、赤外光を短い間隔で周期的に点灯、消灯して、差分画像を算出し、手の画像を得る手法が開示されている(たとえば、特許文献2)。
上記のような操作入力装置においては、例えば、太陽光、街路灯などの外光が直接カメラに差し込み、手の画像が影響を受けるという問題がある。外光が直接差し込まないようにカメラを設置することができればこの問題は生じないが、四方に窓を備え、移動する自動車の場合、外光が差し込まないようにカメラを設置することは極めて困難である。外光が差し込むと、そのために手の画像を正しく取得することができず、手の形状の検出に誤りが生じるという問題がある。
車載用の機器に限らず、家庭用或いはオフィス用の機器の操作入力装置で、室内の照明灯からの光が差し込む場合も同様の問題がある。
車載用の機器に限らず、家庭用或いはオフィス用の機器の操作入力装置で、室内の照明灯からの光が差し込む場合も同様の問題がある。
本発明は上記の課題を解決するためになされたものであり、太陽、照明灯などの光源の影響によって、手の形状の判定に誤りが生じるのを少なくすることを目的とする。
本発明に係る操作入力装置は、
撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出部と、
前記手領域検出部で検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成部と、
前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出部により検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定部と、
前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出部で検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価部と、
前記形状解析評価部による判断の結果と、前記手領域検出部で検出された手領域を表す情報に基づいて、手の動作を判断する動作判断部と
を備えるものである。
撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出部と、
前記手領域検出部で検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成部と、
前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出部により検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定部と、
前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出部で検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価部と、
前記形状解析評価部による判断の結果と、前記手領域検出部で検出された手領域を表す情報に基づいて、手の動作を判断する動作判断部と
を備えるものである。
本発明によれば、撮像画像中の手領域に光源の影響で欠損が生じていると判断された場合に、手領域を補正し、補正された手領域に基づいて手の動作を判断するので、光源の影響で手領域画像に欠損が生じていても、ジェスチャーを正確に認識することができる。
実施の形態1.
図1は、本発明の実施の形態1に係る操作入力装置の構成を示すブロック図である。
図示の操作入力装置は、撮像部11、空間ジェスチャー認識装置2、及び表示部31を備え、被制御部32に対する制御を行う。
空間ジェスチャー認識装置2は、手領域検出部21、光源存在度情報生成部22、光源推定部23、形状解析評価部24、動作判断部26、及び操作内容決定部27を有する。
以下各構成要素の機能を、図2のフローチャートを随時参照しながら説明する。
図1は、本発明の実施の形態1に係る操作入力装置の構成を示すブロック図である。
図示の操作入力装置は、撮像部11、空間ジェスチャー認識装置2、及び表示部31を備え、被制御部32に対する制御を行う。
空間ジェスチャー認識装置2は、手領域検出部21、光源存在度情報生成部22、光源推定部23、形状解析評価部24、動作判断部26、及び操作内容決定部27を有する。
以下各構成要素の機能を、図2のフローチャートを随時参照しながら説明する。
図1の操作入力装置は、例えば自動車に搭載されるものであり、運転席、助手席等に着席した操作者により操作されるものである。図3に示すように、自動車4の内部の、前方付近には、ダッシュボード41、ハンドル42、シフトレバー43、座席44a、44b、フロントウィンドウ45などが設けられている。
操作入力装置の撮像部11は、ダッシュボード41に備えられる表示部31付近に、運転席44a及び/又は助手席44bに着席した人物が操作入力のためのジェスチャーを行う空間乃至領域(操作領域)RJを撮影できるように設けられる。撮像部11は特に、上記人物によってジェスチャーが行われる空間を含むように撮影できる方向に向けて設置されるのが望ましい。後部座席からの操作をも受け付ける場合には、後部座席の操作者によってジェスチャーが行われる空間をも撮影範囲に含める。空間ジェスチャー認識装置2は、車載機器に搭載される他の演算装置とともに、あるいはその一部としてダッシュボード41の内部に収納することとしても良い。
図3の例では、表示部31は、ダッシュボードに備えられているが、表示部31の形態、設置場所等はこれに限るものではない。たとえば、フロントウィンドウ45にHUD(Head Up Display)を備えて表示を行っても良いし、表示部31を複数個設けて、後部座席でも見ることができるようにしても良い。
手を撮影する撮像部11は、極力、逆光にならず、光源による直射を受けないように場所及び向きを選んで、設置することが望ましい。これは、本発明によって光源の影響を軽減できるとはいえ、影響を完全になくせるとは限らないからである。
撮像部11は、上記のように表示部31付近に設ける代わりに、ハンドル42に撮像部11を取り付けることとしても良く、ダッシュボード41の上部に配置しても良い。
撮像部11は、上記のように表示部31付近に設ける代わりに、ハンドル42に撮像部11を取り付けることとしても良く、ダッシュボード41の上部に配置しても良い。
操作入力装置を、家庭用、或いはオフィス用のテレビ、ディスプレーモニター、プロジェクター等、表示機器に用いる場合、撮像部11は視聴者がいる可能性が高い位置を含む方向を撮影するように設置される。テレビ及びディスプレーモニターの場合には、表示部の正面方向になるが、壁などの不透光性の面に投影することが想定されるプロジェクターでは投影される側と反対の方向を撮像するように撮像部11を設ける。
撮像部11は、撮像範囲内の画像(撮像画像)Saを取得し、取得した画像Saを表す情報を空間ジェスチャー認識装置2の手領域検出部21に出力する。以下では、画像Saを表す画像情報を、当該画像と同じ符号「Sa」で表す。他の画像情報についても同様である。
撮像部11は例えばカメラを有する。カメラは可視光カメラであっても、赤外線カメラであっても良い。赤外線カメラを用いる場合には、赤外線LED等の赤外光投光機を併せて用いる。赤外線カメラとしては、通常の可視光カメラに赤外線フィルターを備えつけ可視光成分を除去する構成のものを用いても良い。また、カメラの素子はCMOSであってもCCDであっても良く、種類に影響されるものでもない。
撮像部11は、自動車或いは表示機器等の一部として備えられていることを想定しているが、独立した機器、或いは他の用途にも用いられている機器の撮像部を利用しても良い。例えば、スマートフォンなどの携帯機器に備えられたカメラを自動車内、或いは表示機器周辺に持ち込み、その撮像部による映像を、通信回線を経由して、空間ジェスチャー認識装置2に伝送して操作入力に利用することとしても良い。
撮像部11によって得られる画像情報Saは、動画像を示す情報であり、各々静止画像を表すフレームの時系列から成る。演算装置の処理負荷を小さくするためには、解像度が低く、画素数が少ない方が良いが、ジェスチャー判定に必要な画素数は、撮影される対象までの距離にも依存する。解像度を低くした結果、ジェスチャー判定ができなくなることがないよう、利用される機器に応じて検出が可能である距離を設定し、その距離で必要となる解像度が得られるように最適化する。
また、ジェスチャー判定のために、動きを十分に追随する必要があり、その観点から動画像のフレームレートは30fps(frames per second)以上であるのが望ましい。
手領域検出部21は、撮像部11による撮影で得られた画像情報Saを受け、手の領域Dhtを検出し、手の領域の画像(手領域画像)Dht及び手領域以外の領域(背景領域)の画像(背景画像)Dbaを生成する。背景画像Dbaは、画像情報Saで表される画像から手領域画像Dhtを取り除くことで得ることができる。得られた背景画像Dbaと手領域画像Dhtを示す情報を画像情報Sbとして光源存在度情報生成部22に出力する(図2のステップS1)。なお、以下では、「手領域」を、「手領域画像」と同じ符号「Dht」で表し、「背景領域」を「背景画像」と同じ符号Dbaで表す。
手領域検出部21についてその動作をより詳しく説明する。
可視光カメラによる映像を受けた場合、図4(a)に示されるような画像情報Saが得られる。画像情報Saから、手領域画像Dhtを検出するためには公知の手法を利用することができる。例えば、HSV(Hue, Saturation, Value:色相、彩度、明度)色空間に変換して肌色領域を抽出する方法、動きベクトル、オプティカルフロー、又はHOG(Histograms of Oriented Gradients)特徴量を利用する方法等、いずれの方法によって検出しても良い。可視光カメラによる映像から、手領域画像Dhtを得る方法は、本発明の特徴ではなく、公知の方法で実施できるため詳しくは記載しない。
可視光カメラによる映像を受けた場合、図4(a)に示されるような画像情報Saが得られる。画像情報Saから、手領域画像Dhtを検出するためには公知の手法を利用することができる。例えば、HSV(Hue, Saturation, Value:色相、彩度、明度)色空間に変換して肌色領域を抽出する方法、動きベクトル、オプティカルフロー、又はHOG(Histograms of Oriented Gradients)特徴量を利用する方法等、いずれの方法によって検出しても良い。可視光カメラによる映像から、手領域画像Dhtを得る方法は、本発明の特徴ではなく、公知の方法で実施できるため詳しくは記載しない。
手領域検出部21によって、抽出された手領域画像Dhtは、例えば図4(b)のようになる。また、背景画像Dbaは、画像Saから手領域画像Dhtを除くことで得られ、例えば図4(c)のようになる。
画像Saに光源による影響がない場合には、上記のようにして手の形状を検出することができる。一方、画像Saに光源が含まれている場合には、カメラの前に手を広げていても正しく手を検出できない場合がある。
画像Saに光源Bが含まれている例を図5(a)及び図6(a)に示す。
図5(a)に示される例では、光源Bの領域と、開いた手の領域が離れている。このような場合には、上記した方法で、図5(b)及び図5(c)に示される手領域画像Dht及び背景画像Dbaを得ることができる。
図5(a)に示される例では、光源Bの領域と、開いた手の領域が離れている。このような場合には、上記した方法で、図5(b)及び図5(c)に示される手領域画像Dht及び背景画像Dbaを得ることができる。
一方、図6(a)の例では、画像Saに含まれる光源Bの領域と、開いた手の領域が重なっている。このような場合においては、光源Bからの光が手の指の間を回折して本来は指によって隠れているはずの光まで、画像Saに現れてしまう。手領域検出部21によって、図6(a)のような画像Saから、手領域を検出すると光源Bの影響のある領域(光源領域Br)に重なった手の領域を正しく検出することができず、その結果、手領域画像Dhtが図6(b)のように、光源Bによる影響のある部分が欠けたものとなり、背景画像Dbaも図6(c)に示すごとくとなる。光源Bが存在する場合、このように正しく手を検出できないことが起こり得る。
なお、画像Saは、図6(a)などでは簡略化して示しているが、カメラによって撮影される実際の画像Saは例えば図7のようになる。
図6(a)及び(b)、並びに図7に示されるように、手を検出する際に最も影響を受けるのは指の部分である。回折は光が物体を回り込む現象であるためである。
図6(a)及び(b)、並びに図7に示されるように、手を検出する際に最も影響を受けるのは指の部分である。回折は光が物体を回り込む現象であるためである。
このような光源Bの影響を受けた手領域画像Dhtに基づいて手の形状を表す情報を算出し、ジェスチャーの判定を行うと、誤判定が生じたり、意図したジェスチャーが認識されなかったりする。そこで、本発明では光源Bの有無とその影響のある領域を光源存在度情報生成部22によって求め、形状解析評価部24、及び動作判断部26によって光源による影響を軽減することとしている。
上記のような光源Bの影響は、可視光カメラではなく、赤外線カメラによる映像を受ける場合にも生じる。赤外線カメラは、通常、カメラ周辺に赤外線の発光部を備え、被写体にあたった赤外線をカメラによって得るものである。しかしながら、太陽光を含む多くの光源は赤外光を含んでいるため赤外線カメラによる撮影においても、画像Saに光源Bが含まれることがある。
赤外線カメラによる画像から背景を抽出する方法は、例えば特許文献2に記載されているように、赤外線を短い間隔で周期的に点灯、消灯して、差分画像を得て背景画像Dbaおよび手領域画像Dhtを得ることができる
例えば、赤外線が点灯されているときは、赤外線の発光を受けた手から赤外線が反射されるため、そのときに得られる画像SaNは、図8(a)に示すように、手領域が明るい。一方、赤外線を消灯したときに得られる画像SaFは、図8(b)に示すように、手領域が暗く、極端な場合によっては映らない(真っ暗となる)。
背景画像Dbaを抽出するためには、画像SaNと画像SaFの差分を得て、図8(c)の手領域画像Dhtを取得した後、画像SaNあるいは画像SaFと手領域画像Dhtとから、図8(d)のような背景画像Dbaを得る。たとえば、画像SaNと手領域画像Dhtとから背景画像Dbaを得る場合は、画像SaN上で手領域画像Dhtに該当する領域の画素値を0とすることで、背景画像Dbaを得る。手領域画像Dhtに該当する領域の画素値は、手領域Dhtの周辺の画素値を参考にした値としても構わない。画像SaFと手領域画像Dhtとから背景画像Dbaを得る場合も同様である。
赤外線カメラを利用した場合にも、光源Bの影響で、例えば図9(a)に示される画像Saが得られて、その結果、手領域画像Dhtも図9(b)に示すものとなることがある。これらの画像情報(手領域画像Dhtと背景画像Dba)は、可視光カメラによって取得した画像と同様の特徴を有し、そのため、同様の処理によって、光源による影響を軽減することができる。
以上のようにして、手領域検出部21からは、手領域画像Dht及び背景画像Dbaを示す情報が、画像情報Sbとして出力される。
光源存在度情報生成部22は、手領域検出部21から供給される画像情報Sbに基づき、背景画像Dbaの各部分、例えば各画素又は各ブロックの輝度情報に応じて、当該部分についての光源存在度PosBを求め、光源存在度PosBを示す情報と、手領域検出部21から供給された手領域画像Dhtを示す情報とを、画像情報Scとして光源存在度情報生成部22に出力する(図2のステップS2)。光源存在度PosBは、各部分に光源Bが存在する可能性を表す。「ブロック」とは複数の互いに隣接又は近接した位置にある画素、例えば矩形状に並んだ画素、例えば、8×8個の画素から成る。
光源存在度情報生成部22は、図10に示すように、光源存在度検出部22aと、孤立点除去部22bと、光源存在度記憶部22cと、光源存在度修正部22dとを有する。
光源存在度検出部22aは、各フレームの背景画像Dba中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分乃至各位置における光源存在度Posを検出する。例えば、光源存在度検出部22aは、各フレームの背景画像Dba中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分を複数の領域に分割乃至分類し、分類によって生成された領域毎に光源存在度Posを設定する。
分類によって生成される複数の領域の各々は、連続した領域であるとは限らず、複数の小領域に分かれている場合がある。
光源存在度検出部22aは、各フレームの背景画像Dba中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分乃至各位置における光源存在度Posを検出する。例えば、光源存在度検出部22aは、各フレームの背景画像Dba中の各部分、例えば各画素又は各ブロックの輝度情報に基づいて、背景画像の各部分を複数の領域に分割乃至分類し、分類によって生成された領域毎に光源存在度Posを設定する。
分類によって生成される複数の領域の各々は、連続した領域であるとは限らず、複数の小領域に分かれている場合がある。
背景画像Dbaは、例えば暗背景領域Dblと明背景領域Dbhに分類される。
輝度情報をもとにして、暗背景領域Dblと明背景領域Dbhとに分類する最も単純な方法は、輝度に対する閾値Thaを設定し、閾値Thaより低い部分を暗背景領域Dblとし、閾値以上の部分を明背景領域Dbhとすることである。例えば、図4(c)に示した背景画像Dbaを、閾値Thaにより暗背景領域Dblと、明背景領域Dbhに分割した場合、例えば図11(a)のように外光が入る窓の部分にあたる画像領域が明背景領域Dbhとなり、車の内部にあたる画像領域が暗背景領域Dblとなる。
輝度情報をもとにして、暗背景領域Dblと明背景領域Dbhとに分類する最も単純な方法は、輝度に対する閾値Thaを設定し、閾値Thaより低い部分を暗背景領域Dblとし、閾値以上の部分を明背景領域Dbhとすることである。例えば、図4(c)に示した背景画像Dbaを、閾値Thaにより暗背景領域Dblと、明背景領域Dbhに分割した場合、例えば図11(a)のように外光が入る窓の部分にあたる画像領域が明背景領域Dbhとなり、車の内部にあたる画像領域が暗背景領域Dblとなる。
暗背景領域Dblと明背景領域Dbhに、それぞれ、光源Bが存在する可能性を示す光源存在度Posを設定する。本例では、暗背景領域Dblにおける光源存在度をPosl、明背景領域Dbhにおける光源存在度をPoshとする。光源存在度Posは0〜100のようなパーセントで表しても、0〜1の割合で表しても良い。暗背景領域Dblには光源Bが存在しないと推定されるため、光源存在度Poslを低く設定する。一方、光源Bは明背景領域Dbhに含まれていると推定されるため、光源存在度Poshを高く設定する。
光源存在度Posは、画像の部分毎に(例えば、画素毎に或いはブロック毎に)設定される数値として表されるため、画像内の各部分の位置を示す座標を(x、y)とし、それに対応する光源存在度Pos(x,y)を、2次元平面上のデータ配列として管理することができる。この場合、光源存在度Pos(x,y)を第3の軸、即ちz軸方向の変数として、3次元座標として管理することができる。データ配列の例を図11(c)に示す。図示のように、暗背景領域Dblの光源存在度Poslは低くなり、明背景領域Dbhの光源存在度Poshは、高くなる。
ブロック毎に光源存在度Posを求める場合、各ブロック内の画素の輝度値の平均Yaveを算出し、該平均輝度値Yaveに基づいて、光源存在度を求める。
各ブロックの位置は、その代表位置の座標(x,y)で表される。ブロックの特定の位置、例えば、中心位置又は左上隅の位置が代表位置として用いられる。
各ブロックの位置は、その代表位置の座標(x,y)で表される。ブロックの特定の位置、例えば、中心位置又は左上隅の位置が代表位置として用いられる。
最初に閾値Thaによって、暗背景領域Dblと明背景領域Dbhに分類した後、明背景領域Dbhをさらに細かく領域分けして、光源存在度を設定することとしても良い。明背景領域Dbhをさらに細かく領域分けする場合には、輝度に対する複数の閾値を一定の間隔で設定しても良く、異なる間隔で設定しても良い。
閾値及び光源存在度Posの値は、撮像部11の特性に合わせて適宜調整するのが望ましい。
例えば、撮像部11が取得可能な輝度情報の最大値が230である場合に、明背景領域Dbhと暗背景領域Dblに分類するための閾値Thaを240と設定するのは、適切でない。なぜならば、このような場合には、背景画像Dbaの全部が、暗背景領域Dblと判断されるためである。
例えば、撮像部11が取得可能な輝度情報の最大値が230である場合に、明背景領域Dbhと暗背景領域Dblに分類するための閾値Thaを240と設定するのは、適切でない。なぜならば、このような場合には、背景画像Dbaの全部が、暗背景領域Dblと判断されるためである。
背景画像Dbaを3つ以上の領域に分類しても良い。例えば、輝度に対する閾値Thaに加えて、閾値(第1の閾値)Thaより大きい値を設定した閾値(第2の閾値)Thbを用意し、輝度が第1の閾値Thaより小さい領域を暗背景領域とし、輝度が第2の閾値Thb以上の領域を明背景領域とし、輝度が第1の閾値Tha以上で第2の閾値Thbより小さい領域を中背景領域としても良い。
図4(c)の背景画像Dbaを、3つの領域に分割すると、例えば図11(b)のようになる。本例においても領域毎に光源存在度Posを設定する。中背景領域Dbmの光源存在度をPosmとすると、値の大小関係は、Posl<Posm<Poshとなる。
図11(b)の例では、光源存在度を0〜100で表すとして、領域Dbl、Dbm、Dbhに分割するための閾値Tha、Thbを、それぞれ200、230と設定して、領域Dbl(輝度の範囲は、0≦Dbl<200)の光源存在度Poslを0、領域Dbm(200≦Dbm<230)の光源存在度Posmを50、領域Dbhの光源存在度Poshを70と設定している。
さらに別の例では、Posl=0、Posm=50は上記の例と同じとして、光源存在度Poshを、輝度を変数とする関数で表すこともできる。例えば、背景画像Dba中の画素の輝度をYとすると、230≦Y≦255であるため、
Posh={(Y−230)/(255−230)}×25+75
と設定することで、光源存在度Poshは、75〜100の値をとることができる。上記の式は輝度Yが1増加する毎に一定値(=1)ずつ増加しているため、明背景領域Dbhを26個の領域に分割し、光源存在度を領域間で1ずつ増加させて設定したのと同じ意味を持つ。
Posh={(Y−230)/(255−230)}×25+75
と設定することで、光源存在度Poshは、75〜100の値をとることができる。上記の式は輝度Yが1増加する毎に一定値(=1)ずつ増加しているため、明背景領域Dbhを26個の領域に分割し、光源存在度を領域間で1ずつ増加させて設定したのと同じ意味を持つ。
分類する領域の数をさらに多くしても良い。
背景画像Dbaは輝度情報をもとに分類されるので、輝度情報の取り得る値の範囲が0〜255であるとすると、分類可能な領域の数は最大256個になり、分類の閾値を1階調毎に設定すると、背景画像Dbaを256個の領域Db0〜Db255に分割することもできる。このような場合、光源存在度をPos0〜Pos255して、各領域の輝度情報の値をそのまま光源存在度として設定することもできる。
背景画像Dbaは輝度情報をもとに分類されるので、輝度情報の取り得る値の範囲が0〜255であるとすると、分類可能な領域の数は最大256個になり、分類の閾値を1階調毎に設定すると、背景画像Dbaを256個の領域Db0〜Db255に分割することもできる。このような場合、光源存在度をPos0〜Pos255して、各領域の輝度情報の値をそのまま光源存在度として設定することもできる。
以上のようにして、光源存在度検出部22aで、フレーム毎に、画像内の各部分、例えば各画素又は各ブロックの光源存在度Posが設定される。
なお、上記の例では背景領域を輝度情報に応じて分類したが、輝度情報ではなく色情報のみに応じて分類しても良く、輝度情報と色情報を組み合わせに応じて分類しても良い。色情報は、RGB色空間における各R、G、Bの値でも良く、HSV色空間のH(色相)或いはS(彩度)でも良い。例えば、光源の色は白色、黄色、又は赤色の画素として得られることが多いことを考慮し、これらの色成分を明背景領域Dbhとし、これら以外の色成分を、暗背景領域Dblとしても良い。
光源存在度検出部22aで検出された光源存在度Posは、光源存在度記憶部22cに保持される。光源存在度記憶部22cは、画像Saの画素又はブロックにそれぞれ対応するアドレスを有し、画素ごとにあるいはブロックごとに光源存在度Posを保持する。
代わりに、各値の光源存在度が設定された領域の輪郭(他の値の光源存在度が設定された領域との境界線)を示す情報を、当該光源存在度と関連付けて、光源存在度記憶部22cに保持させることとしても良い。
例えば、各領域の輪郭が折れ線で表される場合、該折れ線の頂点座標を当該光源存在度と関連付けて、光源存在度記憶部22cに保持させることとしても良い。
代わりに、各値の光源存在度が設定された領域の輪郭(他の値の光源存在度が設定された領域との境界線)を示す情報を、当該光源存在度と関連付けて、光源存在度記憶部22cに保持させることとしても良い。
例えば、各領域の輪郭が折れ線で表される場合、該折れ線の頂点座標を当該光源存在度と関連付けて、光源存在度記憶部22cに保持させることとしても良い。
領域を分割した結果、図12のように、暗背景領域Dblの内部に、ごく小さい明背景領域Dbh2、即ち孤立点が生じることがある。このような場合は、画像処理のノイズ除去の一般的手法である、膨張及び収縮を一定回数繰り返して、孤立点となっている明背景領域Dbh2を除去する。すなわち、複数回膨張した後、同じ回数収縮するクロージング(Closing)処理、或いは複数回収縮した後、同じ回数膨張するオープニング(Opening)処理を行って孤立点を除去するのが良い。このような処理のため孤立点除去部22bが設けられている。孤立点除去部22bは、光源存在度検出部22aから出力された光源存在度を表す情報を受け、上記の孤立点除去を行い、孤立点除去後のデータを、光源存在度記憶部22cに記憶させる。
以上のように、光源存在度検出部22a及び孤立点除去部22bによって、各フレームの輝度情報などに基づいて各領域の光源存在度Posが決定される。
光源存在度修正部22dは、各フレームにおける光源存在度Posを、時間的に前のフレームの光源存在度を用いて修正する。この処理は、各フレーム及び時間的に前のフレームの光源存在度に基づいて各フレームについての修正された光源存在度を求める処理であるとも言える。
光源存在度修正部22dは、各フレームにおける光源存在度Posを、時間的に前のフレームの光源存在度を用いて修正する。この処理は、各フレーム及び時間的に前のフレームの光源存在度に基づいて各フレームについての修正された光源存在度を求める処理であるとも言える。
このような修正を行う理由は以下の通りである。即ち、各フレームの処理において、手領域画像Dhtによって隠れていて、背景の輝度が得られていない部分が存在する。このような部分も、手領域が移動すれば、背景の輝度が得られることがある。そこで、複数のフレームにわたる処理によってこのような部分についても光源存在度を取得する。
光源存在度の修正のために、各フレームの処理で、手領域に隠れている部分については、光源存在度が不明であることを意味する値Pxを暫定的に設定する。手領域画像Dhtは常に同じ位置を占めるわけではないため、別のフレームの処理において光源存在度が検出できた場合には、検出された光源存在度を用いて値Pxに対する置換えを行う。
光源存在度の修正のために、各フレームの処理で、手領域に隠れている部分については、光源存在度が不明であることを意味する値Pxを暫定的に設定する。手領域画像Dhtは常に同じ位置を占めるわけではないため、別のフレームの処理において光源存在度が検出できた場合には、検出された光源存在度を用いて値Pxに対する置換えを行う。
また、光源の位置は、時間とともに移動することがあり、このことを考慮して、光源存在度の修正を行う必要がある。
室内に設置されるテレビ等の表示機器の場合には、撮像部11と光源Bの位置関係はそれほど変化しない。なぜならば、室内における表示機器は、外光の影響を受けにくい場所に設置されることが多く、そのため光源はほとんどの場合室内照明であるからである。一方、車載機器の場合には、撮像部11と光源Bの位置関係は、自動車の移動に伴って絶えず変化する。このように時間とともに、光源の位置が変化するため、この理由からも、光源存在度Posをフレーム毎に必要に応じて更新する必要がある。
また、撮影した画像にブレが生じたり、光の揺らぎによる一時的なノイズが生じたりすることがある。これらの影響を軽減するためには、複数フレームの情報を利用することが有効である。
また、撮影した画像にブレが生じたり、光の揺らぎによる一時的なノイズが生じたりすることがある。これらの影響を軽減するためには、複数フレームの情報を利用することが有効である。
そこで本実施の形態では、各フレームにおける画像から得られた光源存在度Posを、1又は2以上の時間的に前のフレームについての光源存在度Posを用いて修正し、修正した光源存在度PosBを用いることとしている。このような処理は、1フレーム期間前のフレーム(前フレーム)について求められた、修正された光源存在度PosBを、現フレームの画像から得られた光源存在度Posを用いて更新する形で実現することができる。
光源存在度の更新にあたっては、暫定的に設定した値Pxを有する位置の処理を優先的に行う。例えば、あるフレーム(前フレーム)の画像Sa(n−1)中の、光源存在度が値Pxと設定されている画素あるいはブロックであって、次のフレーム(現フレーム)の画像Sa(n)中の同じ画素あるいはブロックについての光源存在度Pos(n)(x,y)が、値Pxでなければ、当該次のフレームで得られた光源存在度Pos(n)(x,y)を、当該画素又はブロックについての修正された光源存在度PosBとして設定する。
光源存在度がPx以外の値に設定されている画素又はブロックについては、1又は2以上の時間的に前のフレームの光源存在度Pos(n−q)(x,y)、Pos(n−q+1)(x,y)、…Pos(n−1)(x,y)と現フレームの光源存在度Pos(n)(x,y)との単純平均又は加重平均を、当該現フレームについての修正された光源存在度PosBとして用いても良い。
加重平均を取る場合、重み付けは、フレーム毎に及び/又は領域毎に行うことができる。
例えば、状況が時間とともに変化していることを鑑み、より新しい画像情報により大きな重みを付けるのが良い。
また、領域毎に重みを付ける場合、輝度の高い領域により大きな重みを付けるのが良い。
例えば、図4(a)〜(c)及び図11(a)〜(c)に示す例では、暗背景領域Dblよりも、明背景領域Dbhにより大きな重みをつける。これは、基本的に背景画像Dba(n)において明るい領域は、外光の影響がある領域であり、そのような領域では、明るさが比較的頻繁に変化するからである。さらには画素或いはブロックごとの、光源存在度の変化の頻度を記憶しておいて、変化の頻度によって重みを設定することもできる。
例えば、状況が時間とともに変化していることを鑑み、より新しい画像情報により大きな重みを付けるのが良い。
また、領域毎に重みを付ける場合、輝度の高い領域により大きな重みを付けるのが良い。
例えば、図4(a)〜(c)及び図11(a)〜(c)に示す例では、暗背景領域Dblよりも、明背景領域Dbhにより大きな重みをつける。これは、基本的に背景画像Dba(n)において明るい領域は、外光の影響がある領域であり、そのような領域では、明るさが比較的頻繁に変化するからである。さらには画素或いはブロックごとの、光源存在度の変化の頻度を記憶しておいて、変化の頻度によって重みを設定することもできる。
また、前フレームについて求めた、修正された光源存在度PosB(n−1)(x,y)と現フレームの光源存在度Pos(n)(x,y)の単純平均又は加重平均を、当該現フレームについての修正された光源存在度PosB(n)(x,y)として用いても良い。
この場合にも、加重平均に当たり、領域毎に重みをつけても良い。
この場合にも、加重平均に当たり、領域毎に重みをつけても良い。
さらに、上記のように平均を求める代わりに、1又は2以上の時間的に前のフレームの光源存在度Pos(n−q)(x,y)、Pos(n−q+1)(x,y)、…Pos(n−1)(x,y)と現フレームの光源存在度Pos(n)(x,y)の中央値(大きさの順に並べたときに中央に位置する値)を、当該現フレームについての修正された光源存在度PosBとして用いても良い。
光源存在度情報生成部22は、手領域検出部21から供給された手領域画像Dhtと、光源存在度修正部22dで生成された光源存在度PosBを、画像情報Scとして、光源推定部23に出力する。
上記のように、光源存在度PosBは、複数のフレームの情報から生成されるものである。
操作入力装置の起動直後等であって複数のフレームを取得できない場合には、修正後の情報は得ることができないため、例えば、起動後の予め定められた時間(数秒程度)は起動準備時間とする等の処置により、複数のフレームが得られた後に光源推定部23を動作させるのが望ましい。以降、複数のフレームが得られているものとして説明する。
上記のように、光源存在度PosBは、複数のフレームの情報から生成されるものである。
操作入力装置の起動直後等であって複数のフレームを取得できない場合には、修正後の情報は得ることができないため、例えば、起動後の予め定められた時間(数秒程度)は起動準備時間とする等の処置により、複数のフレームが得られた後に光源推定部23を動作させるのが望ましい。以降、複数のフレームが得られているものとして説明する。
光源推定部23は、光源存在度情報生成部22から出力される画像情報Sc(手領域画像Dht、及び光源存在度PosB)を受けて、光源領域Brを推定し(図2のステップS3)、予め定められたサイズ以上の光源領域Brが存在するか否かを判断し(図2のステップS4)、手領域Dhtと光源領域Brが隣接又は近接しているか否かを判断し(図2のステップS5)、この判断の結果を示す情報(光源影響情報)Beと、上記の推定及び判断の結果生成された画像情報Sdを出力する(ステップS6、S7)。生成される画像情報Sdは手領域画像Dhtを示す情報及び光源存在度PosBを示す情報を含み、光源影響情報Beが「1」のときは、さらに、光源領域Brを示す情報を含む。
このように、光源推定部23は、図2のステップS3〜S7の処理を行う。
図13は、光源推定部23の処理(図2のステップS3〜S7)をより詳細に示したものである。図13で図2と同じステップには同じ符号が付されている。
このように、光源推定部23は、図2のステップS3〜S7の処理を行う。
図13は、光源推定部23の処理(図2のステップS3〜S7)をより詳細に示したものである。図13で図2と同じステップには同じ符号が付されている。
最初に、光源推定部23は、背景領域の各部分(各画素又は各ブロック)の光源存在度PosBが閾値Thr以上か否かの判断を行い、閾値Thr以上の領域を、光源領域Brと推定する(ステップS3)。
次にステップS4において、予め定められたサイズ以上の光源領域Brが存在するか否かの判定をする。ここで「予め定められたサイズ以上の光源領域Br」とは、互いに連続した領域を意味し、一つのフレーム内における光源存在度PosBが閾値Thr以上の領域(光源領域Br)のサイズの合計が上記の「予め定められたサイズ」以上であっても、そのこと自体は、上記の「予め定められたサイズ以上の光源領域Brが存在する」との条件は満たすことにはならない。ステップS4の判定処理は、1又は2以上の光源領域Brが存在するか否かの判定(ステップS23b)と、ステップS3において検出された光源領域Brのいずれかが、予め定められたサイズThsz以上であるか否かの判定(ステップS23c)を含む。
予め定められたサイズ以上の光源領域Brが存在しない場合(ステップS4でNo)、即ち、光源領域Brが存在しない場合(ステップS23bでNo)、あるいは光源領域Brが予め定められたサイズThszより小さい(ステップS23cでNo)場合には、手領域画像Dhtが光源による影響を受けた可能性が小さいと判断し、ステップS6に進む。ステップS6では、光源推定部23は、上記の判断結果を示す情報(光源影響情報)Be(例えば第1の値、例えば「0」を表す)を生成し(ステップS23e)、生成した光源影響情報Beを出力するとともに、手領域画像Dhtと、光源存在度PosBを画像情報Sdとして出力する(ステップS23f)。
以下では、「手領域画像Dhtが光源による影響を受けた可能性が小さい」との判断を、簡単のため、「光源による影響を受けなかった」との判断と言うことがある。
出力された情報は、形状解析評価部24に供給される。
出力された情報は、形状解析評価部24に供給される。
予め定められたサイズ以上の光源領域Brが存在する場合(ステップS4でYes)、即ち、光源領域Brが存在し(ステップS23bでYes)、かつ該光源領域Brが予め定められたサイズ以上の大きさを有する(ステップS23cでYes)場合、光源Bによって手領域画像Dhtが影響を受けた可能性がある。そこで、次に、光源領域Brと手領域画像Dhtが形成されている手領域Dhtが隣接又は近接しているか否かを判断する(ステップS5)。
そのような判断をするのは、図14(a)のように、光源領域Brと手領域Dhtが離れて位置している場合は、回折による影響はなく、手領域Dhtが正しく検出されていると推定されるのに対し、光源領域Brと手領域Dhtとが隣接又は近接している場合は図14(b)のように、回折による影響を受けている可能性が高いためである。
そのような判断をするのは、図14(a)のように、光源領域Brと手領域Dhtが離れて位置している場合は、回折による影響はなく、手領域Dhtが正しく検出されていると推定されるのに対し、光源領域Brと手領域Dhtとが隣接又は近接している場合は図14(b)のように、回折による影響を受けている可能性が高いためである。
光源領域Brと手領域Dhtが離れている場合(ステップS5でNo)も、ステップS4でNoの場合(予め定められたサイズ以上の光源領域Brが存在しない場合)と同じように、手領域検出部21によって得られた手領域画像Dhtは光源による影響を受けなかったと判断される。このような場合にも、光源推定部23は、形状解析評価部24に、手領域画像Dhtと、光源存在度PosBとを画像情報Sdとして出力するとともに、手領域画像Dhtに光源による影響がないことを示す光源影響情報Be(=0)を出力する(ステップS6)。
光源領域Brが手領域Dhtに隣接しているか否かの判断は、例えば、手領域画像Dhtの各画素についての、上下左右斜めの8方向における隣接画素位置を検査し、これらの隣接画素位置のいずれかが光源領域Brに含まれるか否かを判断することによって行われる。
手領域Dhtの内部の、ある画素位置の座標を(x,y)とすると、その8方向における隣接画素位置は、(x−1,y)、(x+1,y)、(x,y−1)、(x,y+1)、(x−1,y−1)、(x+1,y+1)、(x−1,y+1)、(x+1,y−1)を座標とする位置、即ち図15に太線部で示す3×3画素の領域のうち、中央の画素位置(x,y)を除く位置である。そして8方向の隣接画素位置のいずれかが光源領域Brに含まれれば、手領域Dhtが光源領域Brに隣接するとの判断をする。
手領域Dhtの内部の、ある画素位置の座標を(x,y)とすると、その8方向における隣接画素位置は、(x−1,y)、(x+1,y)、(x,y−1)、(x,y+1)、(x−1,y−1)、(x+1,y+1)、(x−1,y+1)、(x+1,y−1)を座標とする位置、即ち図15に太線部で示す3×3画素の領域のうち、中央の画素位置(x,y)を除く位置である。そして8方向の隣接画素位置のいずれかが光源領域Brに含まれれば、手領域Dhtが光源領域Brに隣接するとの判断をする。
光源領域Brが手領域Dhtに隣接しているか否かの判断のため、手領域Dht内のすべての画素について上記の判定を行っても良いが、代わりに、手領域画像Dhtから手領域の輪郭線Chtを抽出し、手領域の輪郭線Cht上に位置する画素についてのみ上記の判定を行うこととしても良い。このような手法をとれば、計算量を削減することができる。
また、各画素について上下左右斜めの8方向における隣接画素位置について光源領域Brに含まれるか否かの判定を行う代わりに、上下左右の4方向における隣接画素位置についてのみ光源領域Brに含まれるか否かの判定を行うこととしても良い。そのようにすることで、判定のための計算量を少なくすることができる。
また、各画素について上下左右斜めの8方向における隣接画素位置について光源領域Brに含まれるか否かの判定を行う代わりに、上下左右の4方向における隣接画素位置についてのみ光源領域Brに含まれるか否かの判定を行うこととしても良い。そのようにすることで、判定のための計算量を少なくすることができる。
光源領域Brが手領域Dhtに隣接しているか否かの判断をする代わりに、光源領域Brが手領域Dhtに近接しているか否かの判断をする場合には、例えば、手領域内の各画素から予め定められた距離内の画素の各々が光源領域Brに含まれるか否かの検査をする。上記の予め定められた距離をsとして、例えば、左方に位置する、座標
(x−1,y)、(x−2,y)、…(x−s,y)
で表される位置の画素のすべてを検査する。
そして予め定められた距離s内の画素のいずれかが光源領域Brに含まれていれば、手領域Dhtが光源領域Brに近接するとの判断をする。
(x−1,y)、(x−2,y)、…(x−s,y)
で表される位置の画素のすべてを検査する。
そして予め定められた距離s内の画素のいずれかが光源領域Brに含まれていれば、手領域Dhtが光源領域Brに近接するとの判断をする。
予め定められたサイズ以上の光源領域Brが存在し(ステップS4でYes)、且つ、手領域Dhtと、光源領域Brが隣接又は近接している場合(ステップS5でYes)、光源Brによって手領域検出部21による検出結果が影響を受けた可能性がある。そこで、光源推定部23は、ステップS7の処理を行う。ステップS7では、光源推定部23は、上記判断結果を示す光源影響情報Be(例えば第2の値、例えば「1」を表す)を生成し(ステップS23g)、手領域画像Dhtと、光源存在度PosBを示す情報と、光源領域Brを示す情報を画像情報Sdとして出力するとともに、手領域画像Dhtに光源による影響があることを示す光源影響情報Be(=1)を出力する(ステップS23h)。出力された情報(Sd、Be)は、形状解析評価部24に供給される。
形状解析評価部24は、光源推定部23から画像情報Sd(手領域画像Dht、光源存在度PosBを示す情報、光源領域Brを示す情報)および光源影響情報Beを受ける。形状解析評価部24は例えば図16に示すように、特徴解析部241と、形状尤度判定部242と、形状評価部243と、特徴情報記憶部244と、解析制御部245とを有する。
解析制御部245は、光源影響情報Beに基づいて、形状尤度判定部242及び形状評価部243の各々に処理を行わせるか否かの制御を行う。
特徴解析部241は、光源影響情報Beが、光源による影響があることを示すもの(Be(=1))であるか否かに拘わらず、処理を行って、手特徴情報DHを生成し、生成した手特徴情報DHを光源推定部23からの画像情報Sdに含まれる手領域画像Dhtを示す情報及び光源領域Brを示す情報とともに、画像情報Seとして出力する。
特徴解析部241は、光源影響情報Beが、光源による影響があることを示すもの(Be(=1))であるか否かに拘わらず、処理を行って、手特徴情報DHを生成し、生成した手特徴情報DHを光源推定部23からの画像情報Sdに含まれる手領域画像Dhtを示す情報及び光源領域Brを示す情報とともに、画像情報Seとして出力する。
光源影響情報Beが、光源による影響があることを示す値(Be(=1))である場合、解析制御部245は、形状尤度判定部242及び形状評価部243に処理を行わせ、形状評価部243で得られる判定結果RE(を示す情報)を動作判断部26に出力させる。
一方、光源影響情報Beが、光源による影響がないことを示すもの(Be(=0))である場合、解析制御部245は、形状尤度判定部242及び形状評価部243によるそれぞれの処理を省略させる。
形状評価部243は、形状評価の処理を行わない場合には、判定結果REとして、第1の値、例えば「0」を出力している。
一方、光源影響情報Beが、光源による影響がないことを示すもの(Be(=0))である場合、解析制御部245は、形状尤度判定部242及び形状評価部243によるそれぞれの処理を省略させる。
形状評価部243は、形状評価の処理を行わない場合には、判定結果REとして、第1の値、例えば「0」を出力している。
特徴解析部241は、上記のように、各フレームの画像情報Sdに含まれる手領域画像Dhtから、手特徴情報DHを算出する。手特徴情報DHは、「手の輪郭」の位置、「特徴点」の位置を表す座標、これらに関する面積、長さに関する情報を含む。
ここで「長さ」は、例えば、手のひらの中心位置から、輪郭或いは指先までの距離である。「面積」は、手領域の面積である。
「特徴点」は、特徴点例えば、「指先」、「手のひらの中心」である。
ここで「長さ」は、例えば、手のひらの中心位置から、輪郭或いは指先までの距離である。「面積」は、手領域の面積である。
「特徴点」は、特徴点例えば、「指先」、「手のひらの中心」である。
図17は手特徴情報DHの具体例を示す。
図17に示す例では、特徴点としての第一指(親指)から第五指(小指)までの指先の位置をそれぞれDhp1〜Dhp5で示している。また、さらなる特徴点としての手のひらの中心位置をDhp0で示し、手のひらの大きさを、手領域Dhtに収まる最大の円の半径Dhrで示す。中心位置Dhp0を中心とし、半径Dhrの領域を手のひら領域と呼ぶ。
位置Dhp0〜Dhp5は、画像の座標系における座標で示され、半径Dhrは画像における長さで示される。
図17に示す例では、特徴点としての第一指(親指)から第五指(小指)までの指先の位置をそれぞれDhp1〜Dhp5で示している。また、さらなる特徴点としての手のひらの中心位置をDhp0で示し、手のひらの大きさを、手領域Dhtに収まる最大の円の半径Dhrで示す。中心位置Dhp0を中心とし、半径Dhrの領域を手のひら領域と呼ぶ。
位置Dhp0〜Dhp5は、画像の座標系における座標で示され、半径Dhrは画像における長さで示される。
手特徴情報DHを算出する方法を説明する。なお、以下に説明する方法はその一例であって、他の方法で手特徴情報DHを算出しても良い。
手領域画像Dhtは、撮像画像Saから手の領域を切り出しただけのものであり、画像処理を受けておらず、輝度情報及び/又は色情報を含んでいる。
手領域画像Dhtは、撮像画像Saから手の領域を切り出しただけのものであり、画像処理を受けておらず、輝度情報及び/又は色情報を含んでいる。
特徴解析部241は、図18に示すように、2値化部241aと、孤立点除去部241bと、輪郭抽出部241cと、中心位置検出部241dと、手のひらサイズ検出部241eと、距離検出部241fと、指先位置検出部241gとを有する。
2値化部241aは、手領域画像Dhtを2値化処理し、孤立点除去部241bは、膨張・収縮を一定回数ずつ繰り返して、孤立点を除去する。これには前述のクロージング(Closing)処理或いは、オープニング(Opening)処理など画像処理の手法が利用できる。
輪郭抽出部241cは、これらの処理を受けた手領域画像(処理前の手領域画像と同じ符号「Dht」で表す)について、手領域の輪郭Chtを抽出する。
次に中心位置検出部241dは、2値化処理及び孤立点除去後の画像に対して、手領域内部の点から、輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手のひらの中心位置Dhp0と認定する。
また、手のひらサイズ検出部241eは、中心位置Dhp0から輪郭までの最短距離を検出して、手のひらの大きさDhrと認定する。
また、手のひらサイズ検出部241eは、中心位置Dhp0から輪郭までの最短距離を検出して、手のひらの大きさDhrと認定する。
次に、距離検出部241fは、位置Dhp0から、それぞれの方向における手領域の輪郭までの距離Rdaを算出する。
方向は、例えば撮像画像の上方向を基準軸に対する角度で表される。
距離の算出は、中心Dhp0のまわり全方向に関して行っても良いが、簡単のためここでは、手の指が撮像画像の上側に位置するように操作領域RJに入れられる場合を想定し、中心位置Dhp0よりも上側(左90度から右90度まで)までの範囲においてのみ距離を算出するものとして説明する。
方向は、例えば撮像画像の上方向を基準軸に対する角度で表される。
距離の算出は、中心Dhp0のまわり全方向に関して行っても良いが、簡単のためここでは、手の指が撮像画像の上側に位置するように操作領域RJに入れられる場合を想定し、中心位置Dhp0よりも上側(左90度から右90度まで)までの範囲においてのみ距離を算出するものとして説明する。
横軸に角度(左90度から右90度まで)、縦軸に各角度における(各方向における)輪郭までの距離Rdaを図示すると、例えば図19に示すごとくとなる。図19を角度距離曲線図と呼ぶ。図19において、極大値は手領域画像の指先の方向(角度)に現れる。そこで、指先位置検出部241gで、極大値を取る方向における輪郭線上の位置を指先位置として、その座標を得る。また、複数ある極大値の間にある極小値は、指と指の間である水かき部分の方向(角度)に現れる。
以上の処理で得られたデータ、即ち、輪郭抽出部241cで得られた輪郭Chtを示す情報、中心位置検出部241dで得られた中心位置Dhp0を示す情報、手のひらサイズ検出部241eで得られた手のひら半径Dhrを示す情報、距離検出部241fで得られた距離Rdaを示す情報、指先位置検出部241gで得られた指先位置Dhp1〜Dhp5を示す情報は、手特徴情報DHとして、蓄積部244に蓄積され、後述のように、動作判断部26の形状補正部262及び動作情報生成部264における処理に際し、時間的に前のフレームの手特徴情報DH(n−1)、DH(n−2)…、DH(n−q)として参照される。蓄積される手特徴情報のフレームの数qは、固定値でも可変値でも良いが、光源影響情報Beの内容によっては、後述するように形状補正部262において、時間的に前のフレームの手特徴情報DHを利用することがあるため、光源の影響がないフレームの手特徴情報DHが含まれるように、十分な数だけ記憶するのが望ましい。
記憶部244から読み出された手特徴情報DH(n−1)〜DH(n−q)と、特徴解析部241から出力される手特徴情報DH(n)とは、光源推定部23からの画像情報Sdに含まれる手領域画像Dhtを示す情報及び光源領域Brを示す情報とともに、画像情報Seとして出力される。
記憶部244から読み出された手特徴情報DH(n−1)〜DH(n−q)と、特徴解析部241から出力される手特徴情報DH(n)とは、光源推定部23からの画像情報Sdに含まれる手領域画像Dhtを示す情報及び光源領域Brを示す情報とともに、画像情報Seとして出力される。
形状尤度判定部242は、特徴解析部241で生成された手特徴情報DH、特にその距離Rdaを示す情報を受け、当該手特徴情報DHが、ジェスチャー操作入力のために用いられた手の形状を正しく表すものである可能性乃至尤度、即ち、操作者がジェスチャー操作入力を行っており、かつ光源の影響で手領域画像に欠損が生じていない可能性乃至尤度を評価する。
形状尤度判定部242は、例えば図20に示すように、形状照合部242aと基準形状記憶部242bとを有する。
形状尤度判定部242は、例えば図20に示すように、形状照合部242aと基準形状記憶部242bとを有する。
例えば、図21に示される、第四指のみを曲げる手の形状は、手を開く形状、手を握る形状に比べて、作り出すのが困難である。
そのため、手特徴情報DHが、図21に示される手の形状を表すものである場合、該手特徴情報DHは実際の手の形状を正しく表していないものである可能性が高く、補正が必要である可能性が高いと判断する。
そのため、手特徴情報DHが、図21に示される手の形状を表すものである場合、該手特徴情報DHは実際の手の形状を正しく表していないものである可能性が高く、補正が必要である可能性が高いと判断する。
形状尤度判定部242は、手特徴情報DHで表される手の形状を特定するとともに、特定した形状が、ジェスチャー操作入力のために作られたものである可能性を評価する。
手の形状の特定のために、種々の、手の形状(標準形状)を示す情報(標準形状情報)が予め設定され、標準形状記憶部242bに記憶されており、形状照合部242aは、手特徴情報DHが標準形状記憶部242bに記憶されている手の形状を示す標準情報と照合して、類似度(マッチング度)が高ければ、操作者が、標準形状記憶部242bに記憶されている手の形状を作っていると判断する。
標準形状記憶部242bには、また標準形状の各々について、ジェスチャー操作入力のために作られる(用いられる)可能性を示す情報(可能性指標)rhが設定され、標準形状に関連付けて記憶されている。これらの情報は、例えばテーブル形成で記憶されている。
手の形状の特定のために、種々の、手の形状(標準形状)を示す情報(標準形状情報)が予め設定され、標準形状記憶部242bに記憶されており、形状照合部242aは、手特徴情報DHが標準形状記憶部242bに記憶されている手の形状を示す標準情報と照合して、類似度(マッチング度)が高ければ、操作者が、標準形状記憶部242bに記憶されている手の形状を作っていると判断する。
標準形状記憶部242bには、また標準形状の各々について、ジェスチャー操作入力のために作られる(用いられる)可能性を示す情報(可能性指標)rhが設定され、標準形状に関連付けて記憶されている。これらの情報は、例えばテーブル形成で記憶されている。
ジェスチャー操作入力のために作られる可能性指標rhとして、例えば、手を握った形状(5本の指を曲げた状態)、手を開いた状態(5本の指を伸ばした状態)については、その可能性指標rhを高く設定する。次に、1本のみ(例えば第二指のみ)を伸ばした形状、2本のみ(例えば第二指及び第三指のみ)を伸ばした形状、3本のみ(例えば第二指、第三指及び第四指のみ)を伸ばした形状、及び4本のみ(例えば第二指、第三指、第四指及び第五指のみ)を伸ばした形状については、その可能性指標rhを、中くらいに設定する。最後に、第二指、第三指及び第四指だけを曲げた形状については、その可能性指標rhを低く設定する。
そして、記憶された標準形状と一致した(類似度が予め定められた値以上である)との判断がなされたときは、当該標準形状に関連付けて記憶された可能性指標rhを出力する。
また、検出された手領域の形状が、いずれの基準形状に対しても類似度が低い場合には、低い値の可能性指標rhを出力する。
また、検出された手領域の形状が、いずれの基準形状に対しても類似度が低い場合には、低い値の可能性指標rhを出力する。
形状評価部243は、形状尤度判定部242から出力された可能性指標rhと、特徴解析部241で生成された各角度(各方向)における距離Rdaを示す情報をもとに、手領域検出部21で検出された手領域が光源の影響を受けて本来よりも小さく検出されたものであるか否か、即ち撮像画像中の手領域に欠損が生じているか否かを判断し、判断の結果を示す情報REを動作判断部26に出力する(図2のステップS8)。
形状評価部243は、図22に示すように、欠損範囲検出部243aと、評価指標演算部243bと、比較部243cとを有する。
形状評価部243は、図22に示すように、欠損範囲検出部243aと、評価指標演算部243bと、比較部243cとを有する。
光源Bは点光源、面光源、あるいは線光源であり、従って光源領域Brは、円形又は楕円形となる。そのため、角度距離曲線図に現れる影響として、距離の変化が緩やかな角度範囲(方向範囲)があり、かつそのような角度範囲内に極小点が現れる。
そのような極小点の例を図23に符号Lmn1で示す。この極小点Lmn1は、距離の変化が緩やかな角度範囲Rm内にある。また、この角度範囲Rm内には極大点が存在しない。この角度範囲Rmは、左90度から右90度までの範囲のうちの1/5以上の大きさを占めることもある。
一方、第一指及び第二指のみを曲げた場合には、図23に点線で示されるように、角度範囲Rm内の距離が小さくなるが、該点線は、上に凸となり、2本の指の位置に極大点Lmx1、Lmx2が現れる。
一方、第一指及び第二指のみを曲げた場合には、図23に点線で示されるように、角度範囲Rm内の距離が小さくなるが、該点線は、上に凸となり、2本の指の位置に極大点Lmx1、Lmx2が現れる。
また、図23に示されるように、伸ばした指の位置(図中Dhp3〜Dhp5)では、極大点(指先位置Dhp3〜Dhp5)の中心Dhp0からの距離Rdaと極小点Lmn2、Lmn3の中心Dhp0からの距離Rdaの間には、比較的大きな差異がある。一方、角度範囲Rmにおいては、指を曲げることで極大点Lmx1、Lmx2が生じたとしても極大点Lmx1、Lmx2と極小点Lmn4、Lmn5とでは、距離Rdaの差が小さい。このように、極大点であっても、極小点との距離Rdaの差が小さいものは、伸ばした指による極大点とは判断しない。ここで、各極大点にその両側に隣接する極小点がある場合には、距離の差がより小さいものを、当該極大点について極小点との距離の差として用いる。
以上のことから、角度距離曲線図において、ある予め定められた大きさ以上の角度範囲Rm内に、極小点が1つだけある場合には、光源による影響を受けている可能性が高い。
この角度範囲Rmに基づいて、手領域が光源の影響で本来よりも小さく検出されているか否か(光源の影響による欠損の有無)に関する指標rjを生成する。この処理は、欠損範囲検出部243aで行われる。例えば、極小点が1つだけ検出された角度範囲Rmを欠損範囲として検出し、欠損範囲Rmの大きさに基づいて指標rjを算出する。この指標rjは、例えば
rj=1/Rm
によって求められ、Rmが大きいほど(即ち、光源による影響を受けている範囲が広いほど)、小さな値となる。従って、光源による影響を受けていない可能性を示す指標であるとも言える。
この角度範囲Rmに基づいて、手領域が光源の影響で本来よりも小さく検出されているか否か(光源の影響による欠損の有無)に関する指標rjを生成する。この処理は、欠損範囲検出部243aで行われる。例えば、極小点が1つだけ検出された角度範囲Rmを欠損範囲として検出し、欠損範囲Rmの大きさに基づいて指標rjを算出する。この指標rjは、例えば
rj=1/Rm
によって求められ、Rmが大きいほど(即ち、光源による影響を受けている範囲が広いほど)、小さな値となる。従って、光源による影響を受けていない可能性を示す指標であるとも言える。
なお、「極小点が一つだけである」ことに加えて「角度(方向)の変化に対する距離の変化の大きさが予め定められた値以下であること(角度距離曲線の傾きの絶対値が予め定められた値以下であること)」を条件として、これらの条件をともに満たす角度範囲Rmを欠損範囲として検出することとしても良い。
評価指標演算部243bは、形状尤度判定度242で算出された形状の可能性指標rhと、欠損範囲検出部243aで生成された指標rjとに基づき、評価指標rkを生成する。
評価指標rkは例えば下式で求められる。
rk=ka・rh・rj
上記の式で、kaは係数である。
評価指標rkは例えば下式で求められる。
rk=ka・rh・rj
上記の式で、kaは係数である。
なお、上記の式のように、rhとrjを乗算する代わりに、両者を下式のように重み付け加算した値をrkとしても良い。
rk=kb・rh+kc・rj
上記の式でkb、kcは重み付け係数である。
要するに、rh、rjの増加に伴って、増加する値をrkとして用いれば良い。rkが大きいことは、ジェスチャー操作入力のための手の形状に対応する手領域が正しく得られている可能性が高いことを意味する。
rk=kb・rh+kc・rj
上記の式でkb、kcは重み付け係数である。
要するに、rh、rjの増加に伴って、増加する値をrkとして用いれば良い。rkが大きいことは、ジェスチャー操作入力のための手の形状に対応する手領域が正しく得られている可能性が高いことを意味する。
上記のように、評価指標rkは、指標rhと指標rjに基づいて定められるものであるが、指標rjは欠損範囲Rmに基づいて定められるものであるので、評価指標rkは指標rhと欠損範囲Rmに基づいて定められるものであるとも言える。
比較部243cは、評価指標演算部243bで算出された評価指標rkが予め定められた閾値Thrk以上か否かの判定を行い、判定結果REを、動作判断部26に出力する。判定結果REは、撮像画像中の手領域Dhtに光源の影響による欠損が生じているか否かを示す。
評価指標rkが閾値Thrk以上である場合、即ち光源の影響による欠損が生じていないと判断された場合には、判定結果REは、第1の値例えば「0」を表すものとなる。
一方、評価指標rkが閾値Thrk未満である場合、即ち光源の影響による欠損が生じていると判断された場合には、判定結果REは、第2の値例えば「1」を表すものとなる。
また、Beが第1の値「0」で、形状評価部243が形状評価の処理をしない場合には、判定結果REは、上記の第1の値「0」を維持する。
判定結果REは、先に述べた画像情報Seとともに動作判断部26に供給される。
評価指標rkが閾値Thrk以上である場合、即ち光源の影響による欠損が生じていないと判断された場合には、判定結果REは、第1の値例えば「0」を表すものとなる。
一方、評価指標rkが閾値Thrk未満である場合、即ち光源の影響による欠損が生じていると判断された場合には、判定結果REは、第2の値例えば「1」を表すものとなる。
また、Beが第1の値「0」で、形状評価部243が形状評価の処理をしない場合には、判定結果REは、上記の第1の値「0」を維持する。
判定結果REは、先に述べた画像情報Seとともに動作判断部26に供給される。
なお、光源Bによる影響がない場合には、光源領域Brを示す情報が出力されないため、光源推定部23では光源影響情報Beを出力せずに、形状解析評価部24では、光源領域Brの有無に基づいて、光源による影響の有無を判断することとしても良い。
動作判断部26は、形状解析評価部24から出力される判定結果RE及び画像情報Seに基づいて、手の動作を判断する。
動作判断部26は、制御部261と、形状補正部262と、選択部263と、動作情報生成部264とを有する。
動作判断部26は、制御部261と、形状補正部262と、選択部263と、動作情報生成部264とを有する。
制御部261は、判定結果REに応じて、形状補正部262及び選択部263を制御する。
即ち、判定結果REが第1の値「0」を表すものである場合、即ち、撮像画像中の手領域Dhtに光源の影響による欠損が生じていないと判断された場合には、制御部261は、形状補正部262による補正を行わせず、選択部263に、形状解析評価部24から出力される画像情報Seを選択させる。
即ち、判定結果REが第1の値「0」を表すものである場合、即ち、撮像画像中の手領域Dhtに光源の影響による欠損が生じていないと判断された場合には、制御部261は、形状補正部262による補正を行わせず、選択部263に、形状解析評価部24から出力される画像情報Seを選択させる。
一方、判定結果REが第2の値「1」を表すものである場合、即ち、撮像画像中の手領域Dhtに光源の影響による欠損が生じていると判断された場合、制御部261は、形状補正部262に補正を行わせ、選択部263に、形状補正部262から出力される画像情報Sfを選択させる。
選択部263で選択された画像情報Se又はSfは動作情報生成部264に供給される。
選択部263で選択された画像情報Se又はSfは動作情報生成部264に供給される。
形状補正部262は、手領域検出部21で検出された手領域の形状を表す手特徴情報DHを補正するものであり、具体的には、形状解析評価部24の特徴解析部241及び特徴情報記憶部244から供給される画像情報Se(現フレーム及び時間的に前のフレームの手特徴情報DH(n)〜DH(q)、並びに現フレームの手領域画像Dhtを示す情報及び光源領域Brを示す情報)を受け、これに基づいて、現フレームnの手特徴情報DH(n)を補正して、補正された手特徴情報DHe(n)を生成する(図2のステップS9)。
以下では、手特徴情報DH(n)のうち、手の特徴点、例えば、指先位置を表す情報を補正する場合を例に挙げて説明する。
形状補正部262は、図24に示すように、位置推定部262a及び位置修正部262bを有する。
以下では、手特徴情報DH(n)のうち、手の特徴点、例えば、指先位置を表す情報を補正する場合を例に挙げて説明する。
形状補正部262は、図24に示すように、位置推定部262a及び位置修正部262bを有する。
位置推定部262aは、各フレームにおいて光源の影響で得られなかった手形状の特徴点の位置、例えば指先位置を推定する。
図25(b)に示すように、現フレームnの手特徴情報DH(n)に光源の影響で欠損があり、第一指及び第二指の指先位置Dhp1(n)およびDhp2(n)を示す情報が得られず、一方、図25(a)に示すように、前フレーム(n−1)では、第一指及び第二指の指先位置Dhp1(n−1)およびDhp2(n−1)を示す情報が得られているものとする。この場合、これらの前フレームの手特徴情報DH(n−1)を利用して、現フレームnにおける指先位置を推定し、現フレームnの手特徴情報DH(n)を、推定された指先位置を示すものとなるように補正する。
図25(b)に示すように、現フレームnの手特徴情報DH(n)に光源の影響で欠損があり、第一指及び第二指の指先位置Dhp1(n)およびDhp2(n)を示す情報が得られず、一方、図25(a)に示すように、前フレーム(n−1)では、第一指及び第二指の指先位置Dhp1(n−1)およびDhp2(n−1)を示す情報が得られているものとする。この場合、これらの前フレームの手特徴情報DH(n−1)を利用して、現フレームnにおける指先位置を推定し、現フレームnの手特徴情報DH(n)を、推定された指先位置を示すものとなるように補正する。
手特徴情報DH(n)の中で手のひらの中心位置Dhp0(n)は、手領域が光源の影響を受けた場合にも検出できる可能性が高い。これは、回折は手の周辺部及び指の間を光が回り込んで見える現象であるため、指のような細い部分が最も多く影響を受ける一方、手のひらのような、大きい面積を持つ部分は影響が少ないためである。
手特徴情報DH(n)のうちの第一指の指先位置Dhp1(n)を推定するためには、前フレームにおける手のひらの中心位置Dhp0(n−1)と、現フレームにおける手のひらの中心位置Dhp0(n)の差と、前フレームにおける第一指の指先位置Dhp1(n−1)を利用する。この場合、前フレームと現フレームとの間で、手のひらの中心と指先の位置関係が変化しないことを仮定し、
Dhp0(n−1)=(xb0,yb0)、
Dhp1(n−1)=(xb1,yb1)、
Dhp0(n)=(xn0,yn0)
とすると、
Dhp1(n)=(xb1+(xn0−xb0)、yb1+(yn0−yb0))
によって推定することができる。
他の指の指先位置Dhp2(n)〜Dhp5(n)も必要に応じて同様に推定を行うことができる。
Dhp0(n−1)=(xb0,yb0)、
Dhp1(n−1)=(xb1,yb1)、
Dhp0(n)=(xn0,yn0)
とすると、
Dhp1(n)=(xb1+(xn0−xb0)、yb1+(yn0−yb0))
によって推定することができる。
他の指の指先位置Dhp2(n)〜Dhp5(n)も必要に応じて同様に推定を行うことができる。
なお、形状解析評価部24で得られた手特徴情報DHと区別する必要がある場合には、推定により得られた手特徴情報全体をDHeと表記し、同様に、推定により得られたそれぞれの指の指先位置を示す情報をDhpe1〜Dhpe5と表記する。
位置修正部262bは、位置推定部262aによって推定された指先位置、即ち、推定により得られた手特徴情報DHeで示される位置が、手領域Dhtに隣接又は近接する光源領域Brの内部にあるか否かを判断し、判断の結果に基づいて手特徴情報DHeを修正する。修正後の手特徴情報も同じ符号DHeで表す。位置推定部262aによる推定により得られた手特徴情報DHeで示される位置が、手領域Dhtに隣接又は近接する光源領域Brの内部にあるか否かの判断は、手のひら中心Dhp0(n)と、推定された指先位置Dhpe1(n)及びDhpe2(n)を結ぶ線分L1、L2上の各画素が、光源領域Br及び手領域Dhtのいずれかに含まれるか否かに基づいて行い得る。
光源推定部23によって光源領域Brと手領域Dhtとが隣接しているか否かが判断された場合には、位置修正部262bは、推定された指先位置Dhpe1(n)が手領域Dhtに隣接する光源領域Br内に位置するか否かの判断をする。その場合は、図26(a)及び(b)に示すように、手のひらの中心位置Dhp0(n)と位置Dhpe1(n)を結ぶ線分L1上のすべての画素(これには、推定された指先位置Dhpe1(n)の画素が含まれる)を検査する。
図26(a)に示すように、線分L1上の画素がすべて光源領域Br内又は手領域Dht内に位置する(即ち、線分L1上が画素のいずれも、光源領域Br以外の背景領域に位置しない)場合は、推定された指先位置Dhpe1(n)を、正しく補正された指先位置Dhp1(n)として採用する。
図26(a)に示すように、線分L1上の画素がすべて光源領域Br内又は手領域Dht内に位置する(即ち、線分L1上が画素のいずれも、光源領域Br以外の背景領域に位置しない)場合は、推定された指先位置Dhpe1(n)を、正しく補正された指先位置Dhp1(n)として採用する。
図26(b)に示すように、線分L1上の画素のいずれかが、光源領域Br及び手領域Dht以外に位置する(光源領域以外の背景領域に位置する)場合には、そのような画素のうちで、中心位置Dhp0(n)に最も近い画素の位置に隣接し、中心位置Dhp0(n)の側に位置する画素(光源領域Br又は手領域Dht内に位置する)の位置を、補正された指先位置Dhp1(n)として採用する。
光源推定部23によって光源領域Brと手領域Dhtが近接しているか否かが判断された場合には、位置修正部262bは、推定された指先位置Dhpe1(n)が手領域Dhtに近接する(距離がs以下である)光源領域Br内に位置するか否かの判断をする。その場合は、上記の線分L1上の画素のうち、手領域Dhtに近接する画素、即ち、手領域Dhtから距離s以内の画素が光源領域Br内に位置していなくても、光源領域Br内に位置するものとみなす。それ以外の点では、上記した「手領域Dhtに隣接する光源領域Br内に位置するか否かの判断」と同じである。
位置推定部262aによる推定の結果或いは位置修正部262bによる修正の結果、補正された指先位置を示す情報が得られると、形状解析評価部24から出力された手特徴情報DHは、その一部が位置推定部262a或いは位置修正部262bで生成された情報によって置き換えられて、補正された特徴情報DHeとなる。
以上のように、線分L1上の画素を検査することで、光源領域Brの一部である(手領域の一部ではない)と判定された領域について、手領域の一部の領域であると認識を変更し(これにより手領域を拡張し)、欠落した手領域を補うことができる。
上記の位置推定部262a及び位置修正部262bの処理の結果を光源存在度情報生成部22の光源存在度修正部22dで利用して、光源存在度PosBの数値をさらに修正或いは更新することとしても良い。
例えば、補正された指先位置においては、現フレームにおいて光源が存在し、光源の影響があったと判定されたわけであるから、それ以降同じ位置についての光源存在度をより大きな値に設定することができる。例えば光源存在度が0〜100の範囲の値を取る場合、光源存在度を100に近付けることとし、これにより次フレーム以降の処理において、同じ位置が光源領域Brであると認識されやすくなるようにすることができる。
例えば、補正された指先位置においては、現フレームにおいて光源が存在し、光源の影響があったと判定されたわけであるから、それ以降同じ位置についての光源存在度をより大きな値に設定することができる。例えば光源存在度が0〜100の範囲の値を取る場合、光源存在度を100に近付けることとし、これにより次フレーム以降の処理において、同じ位置が光源領域Brであると認識されやすくなるようにすることができる。
以上、手特徴情報DHのうちの指先位置を示す情報を補正する場合について説明したが、指先以外の特徴点、或いは特徴点以外の手特徴情報、例えば手の輪郭の位置を示す情報、手の形状における長さ(例えば、手のひらの半径)或いは面積(例えば、手のひら領域の面積)を示す情報を補正することとしても良い。
以上のようにして位置推定部262a及び位置修正部262bで生成された手特徴情報DHeを、形状解析評価部24で生成された手特徴情報DHのうちの、位置推定部262a或いは位置修正部262bで生成された情報で置き換えられなかった部分DHfと合わせ、これらの情報DHe及びDHfを、光源推定部23からの画像情報Sdに含まれる手領域画像Dhtを示す情報及び光源領域Brを示す情報とともに、画像情報Sfとして、選択部263を介して動作情報生成部264に出力する。
補正で得られる手特徴情報DHeは、形状解析評価部24で生成された手特徴情報(手特徴情報DHeと同じフレーム内の異なる画像部分についての手特徴情報DHf、及び手特徴情報DHeと異なるフレーム内の画像部分についての手特徴情報DH)と比べて信頼度が低いことを考慮し、手特徴情報DHeと形状解析評価部24で生成された手特徴情報DHf、DHとで異なる値の信頼度Rを設定し(手特徴情報DHeの信頼度を形状解析評価部24で生成された手特徴情報DHf、DHの信頼度よりも低くし)、動作情報生成部264において、手の形状或いは動きを判断する際に、信頼度Rを重みとして利用することもできる。
動作情報生成部264は、形状解析評価部24から出力される画像情報Se(手特徴情報DH)又は形状補正部262から出力される画像情報Sf(手特徴情報DHeと手特徴情報DHfの組合せで構成される手特徴情報DH)を得て、手の動作を解析し、解析結果の結果として得られる手の動作Caを示す情報を生成し、操作内容決定部27に出力する(図2のステップS10)。手の動作の解析は、手の形状の識別乃至判定及びその変化の識別乃至判定を含む。変化の判定は、時間的に異なるフレーム間での変化(前フレームに対する現フレームの変化)を検出することで行われる。手の動作には、同じ形状を例えば予め定められた時間以上維持する動作が含まれる。
手の形状及び動きの判定に当たり、上記のように、形状補正部262における補正によって生成される手特徴情報DHeと、形状解析評価部24から出力される手特徴情報DHf、DHとで、異なる値の信頼度Rが設定されている場合、該信頼度Rを重みとして用いることができる。
動作情報生成部264において、手特徴情報DHに含まれる、手のひらの中心の位置Dph0、及び指先の位置Dhp1〜Dhp5等から各フレームにおける手の形状を分類乃至判別しても良い。
例えば、手を握った状態(グー)であるか否か、手を開いた状態(パー)であるか否か、伸ばしている指が何本であるかなどによって分類乃至判別を行うこととしても良い。
例えば、手を握った状態(グー)であるか否か、手を開いた状態(パー)であるか否か、伸ばしている指が何本であるかなどによって分類乃至判別を行うこととしても良い。
動作情報生成部264は、図27に示すように、検出情報記憶部264aと、動作パターン検出部264bと、パターン照合部264cと、標準パターン記憶部264dとを有する。
手の動作を判断するため、検出情報記憶部264aは、各フレームの手特徴情報DH(形状補正部262からの手特徴情報DHe及びDHfの組合せで構成される場合もある)を蓄積し、動作パターン検出部264bは、互いに連続する複数のフレームの手特徴情報DHを解析して動作パターンを検出し、パターン照合部264cは、動作パターン検出部264bで検出された動作パターンが、予め設定された標準パターンに一致するものとなったら、当該標準パターンに一致する動作が行われたと判定し、そのような判定結果を出力する(図2のステップS11)。標準パターンのいずれとも一致しない場合には、その旨の情報を出力する。
標準パターンは、ジェスチャーの特徴を示すものであり、予め測定結果等に基づいて定められ、標準パターン記憶部264dに記憶されている。ジェスチャーの特徴としては、手の形状、その変化、移動(位置の変化)などがある。
手の動作を判断するため、検出情報記憶部264aは、各フレームの手特徴情報DH(形状補正部262からの手特徴情報DHe及びDHfの組合せで構成される場合もある)を蓄積し、動作パターン検出部264bは、互いに連続する複数のフレームの手特徴情報DHを解析して動作パターンを検出し、パターン照合部264cは、動作パターン検出部264bで検出された動作パターンが、予め設定された標準パターンに一致するものとなったら、当該標準パターンに一致する動作が行われたと判定し、そのような判定結果を出力する(図2のステップS11)。標準パターンのいずれとも一致しない場合には、その旨の情報を出力する。
標準パターンは、ジェスチャーの特徴を示すものであり、予め測定結果等に基づいて定められ、標準パターン記憶部264dに記憶されている。ジェスチャーの特徴としては、手の形状、その変化、移動(位置の変化)などがある。
手の形状の変化は、例えば、図28(a)のように、握っていた手を開いたり(フレームn−αにおける「グー」からフレームnにおける「パー」への変化)、図28(b)のように手を握った状態(フレームn−α)から、人差し指を伸ばす(フレームn)動作である。このような動作は、検出情報記憶部264aに蓄積された、複数のフレームのそれぞれにおける、指先の位置Dhp1〜Dhp5及び手のひらの中心位置Dhp0を示す情報に基づいて検出される。即ち、複数のフレームに亘り、中心位置Dhp0の座標が大きく変化することなく、指先の位置Dhp1〜Dhp5のいずれか、あるいはすべての座標が変化したり、検知されていた指先が検知されなくなったり、逆に検知されていなかった指先が検知されるようになった場合に形状の変化があったとの判断がなされる。
手の位置の変化としては、例えば、上下左右への移動、回転がある。指先の位置Dhp1〜Dhp5と手のひらの中心位置Dhp0の位置関係に大きな変化がないまま、これら全体が移動あるいは回転した場合に検出可能である。
手の位置の変化として、手を左右に傾けたりすることも検出できる。ここで「傾ける」とは、比較的狭い範囲での回転を意味する。「傾ける」動作は、手のひらの中心位置Dhp0がほとんど変わることなく、検知されている指先の位置(Dhp1〜Dhp5)が円弧状の軌跡に沿って移動する(位置の座標が変化する)ことから検出できる。より単純には、中心位置Dhp0に対する指先位置Dhp1〜Dhp5の方向(角度)の変化から求めることもできる。
手の前後方向(奥行方向)の移動を検出することとしても良い。この場合、奥行き方向の位置を表す情報が得られるのが望ましいが、撮像部が一つである場合には正確な奥行き方向の情報を得にくい。一つの撮像部からの映像に基づいて前後方向の移動を検出する方法として、手領域の面積の変化、各特徴点相互間の長さの変化等を利用することが可能である。
動作情報生成部264で生成された動作情報は、動作判断部26の出力となる。この出力は、動作判断部26で判定された手の動作を示す情報である。
操作内容決定部27は、動作判断部26によって判定された手の動作Caに対応する操作指示Cbを選択し、選択した操作指示Cbを示す情報を表示部31および被制御部32に出力する(図2のステップS12)。
手の動作Caに対応する操作指示Cbは、予め一意に決まるように機器に設定されている。
手の動作Caに対応する操作指示Cbは、予め一意に決まるように機器に設定されている。
操作内容決定部27は、例えば図29に示すように、操作指示選択部27aと、操作指示記憶部27bとを有する。
操作指示記憶部27bは、手の動作Caに対応付けて操作指示Cbを例えばテーブル形式で記憶しており、操作指示選択部27aは、手の動作Caを操作指示記憶部27bにアドレスとして供給することで、当該アドレスに記憶されたデータを対応する操作指示Cbとして読み出し、出力する。
操作指示記憶部27bは、手の動作Caに対応付けて操作指示Cbを例えばテーブル形式で記憶しており、操作指示選択部27aは、手の動作Caを操作指示記憶部27bにアドレスとして供給することで、当該アドレスに記憶されたデータを対応する操作指示Cbとして読み出し、出力する。
手の動作Caに対応する操作指示Cbの例が図30に示されている。図示の例では、手を開いた状態で、中央付近から上に動かした場合、オーディオ装置の音量を1単位上げる処理を行う動作を指示する操作指示Cbを示す情報が出力される。
このような設定は基本的には、操作指示記憶部27bに予め記憶されているが、操作者の好みによって変更できるように構成することもできる。
このような設定は基本的には、操作指示記憶部27bに予め記憶されているが、操作者の好みによって変更できるように構成することもできる。
表示部31は、操作内容決定部27からの操作指示Cbを受けて、これに応じて表示内容を変更する。具体的には、操作内容決定部27による操作指示Cbが、オーディオ装置の音量調整等であれば、表示部に音量の設定値を表示する。また、同様の操作指示を、表示部31に示されている画面のスクロール、拡大縮小操作、メニューカーソルの移動に利用することもできる。さらには、位置そのものを操作内容として表示部31に送信し、ポインティングに活用することもできる。
表示部31で表示が行われると、表示の誘目性により、表示部31に視線が向かってしまうことも考えられる。そこで、表示部31の代わりに、音声、効果音等を利用してユーザーに、操作内容決定部27によって指示された内容を通知することもできる。
被制御部32は、操作内容決定部27からの操作指示により動作する機器、諸機能等の総称である。その例として、オーディオ装置、エアコン、自動車の運転機能、自動車の付属機能等がある。自動車の付属機能としては、サイドミラーの向きの変更、窓の開け閉め、ドアのロックなどがある。
また、表示部31も被制御部32の1つであると見ることもできる。
複数の機器を組み合わせたものを被制御部32として協調して動作させても良い。
また、表示部31も被制御部32の1つであると見ることもできる。
複数の機器を組み合わせたものを被制御部32として協調して動作させても良い。
以上ジェスチャーが片手で行われる場合を想定して説明したが、本発明は、ジェスチャーが両手で行われる場合にも適用でき、ジェスチャーが複数の人の手によって行われる場合にも適用できる。
車載用の操作入力装置であって、運転者が操作を行うものの場合には、ジェスチャー操作入力のための動作は簡単なものであることが望ましく、そのために、複数の手の動作で操作入力を行うのは避けるほうが望ましい。一方、エンターテイメント装置の操作入力装置には、複数の手の動作を利用する構成も利用可能であり、望ましい場合がある。
車載用の操作入力装置であって、運転者が操作を行うものの場合には、ジェスチャー操作入力のための動作は簡単なものであることが望ましく、そのために、複数の手の動作で操作入力を行うのは避けるほうが望ましい。一方、エンターテイメント装置の操作入力装置には、複数の手の動作を利用する構成も利用可能であり、望ましい場合がある。
以上、ジェスチャーを行う操作体が手である場合について説明したが、本発明はこれに限定されず、人体の別の部位を用いてジェスチャー操作入力を行う場合にも適用でき、人体とは別の物体、例えばフォーク状のもの、杖状のものを操作体として用いてジェスチャー操作入力を行う場合にも適用可能である。その場合、実施の形態における手領域検出部を一般化した操作体領域検出部を用いることとなる。
ただし、手以外の操作体によりジェスチャー操作入力を行うとするには、まず当該操作体を手に取る必要があり、そのために視線の移動が必要になる。車載用の操作入力装置で運転者が操作を行う場合には、運転者の視線の動きを減らすという効果を得るためには、手でジェスチャー操作入力を行うことが望ましい。
一方、家庭用又はオフィス用のテレビ、ディスプレーモニター、プロジェクター等の表示機器の操作を行う場合には、手以外の操作体でジェスチャー操作入力を行うこととしても上記の問題が生じない。
ただし、手以外の操作体によりジェスチャー操作入力を行うとするには、まず当該操作体を手に取る必要があり、そのために視線の移動が必要になる。車載用の操作入力装置で運転者が操作を行う場合には、運転者の視線の動きを減らすという効果を得るためには、手でジェスチャー操作入力を行うことが望ましい。
一方、家庭用又はオフィス用のテレビ、ディスプレーモニター、プロジェクター等の表示機器の操作を行う場合には、手以外の操作体でジェスチャー操作入力を行うこととしても上記の問題が生じない。
実施の形態2.
図31は、本発明の実施の形態2に係る操作入力装置の構成を示すブロック図である。図31に示す操作入力装置は、図1に示される操作入力装置と概して同じであり、図1と同じ符号は同一または相当部分を示すが、動作判断部26の代りに動作判断部26bが設けられている点で異なる。
図31は、本発明の実施の形態2に係る操作入力装置の構成を示すブロック図である。図31に示す操作入力装置は、図1に示される操作入力装置と概して同じであり、図1と同じ符号は同一または相当部分を示すが、動作判断部26の代りに動作判断部26bが設けられている点で異なる。
また、図32は本発明の実施の形態2に係るフローチャートである。図32に示すフローチャートは、図2に示されるフローチャートと概して同じであり、図2と同じ符号は同一または相当部分を示すが、ステップS9の処理が除かれている点で異なる。
動作判断部26bは形状解析評価部24から出力される画像情報Seと、欠損の有無の判定結果REを受けて、これらに基づいて手の動作を判断する。動作判断部26bは、図33に示すように、検出情報記録部264eと、動作パターン検出部264fと、パターン照合部264cと、標準パターン記憶部264dとを有する。
検出情報記録部264eは、各フレームの手特徴情報DHと判定結果REを蓄積し、動作パターン検出部264fは、互いに連続する複数フレームの手特徴情報DHと判定結果REを解析して動作パターンを検出する。
検出情報記録部264eは、図27の検出情報記録部264aと概して同じであるが、手特徴情報DHだけでなく判定結果REを蓄積する点で、検出情報記録部264aと異なる。また、動作パターン検出部264fは、図27の動作パターン検出部264bと概して同じであるが、判定結果REに基づいて動作解析を行ったり、行わなかったりする点で動作パターン検出部264bと異なる。
検出情報記録部264eは、図27の検出情報記録部264aと概して同じであるが、手特徴情報DHだけでなく判定結果REを蓄積する点で、検出情報記録部264aと異なる。また、動作パターン検出部264fは、図27の動作パターン検出部264bと概して同じであるが、判定結果REに基づいて動作解析を行ったり、行わなかったりする点で動作パターン検出部264bと異なる。
動作パターン検出部264fは、判定結果REが「欠損有り」を示す場合(図32のステップS8でYesの場合)は、手の動作を解析せずに、次の手領域画像取得する(図32のステップS1)。一方で、判定結果REが「欠損無し」を示す場合(図32のステップS8でNoの場合)は、手の動作を解析(図32のステップS10)し、検出した動作パターンをパターン照合部264cへ出力する。
パターン照合部264c及び標準パターン記憶部264dは、図27の例に関し説明したのと同様の動作をする。
パターン照合部264c及び標準パターン記憶部264dは、図27の例に関し説明したのと同様の動作をする。
このように構成された本実施の形態に係る操作入力装置では、光源による手領域の欠損判定の結果を利用し、動作判断を行うことで、光源により手領域が欠損された場合でも、欠損による操作入力(ジェスチャー)の誤認識を低減することができる。
なお、上記の例では、形状解析評価部24により、欠損があると判定されている場合(RE=「1」の場合)には、動作判断部26bで、動作情報の生成を行わないこととしているが、このようにする代わりに、動作判断部26bで、前フレームの手特徴情報DHを現フレームの手特徴情報DHとして利用して、動作情報の生成を行っても良い。
なお、本実施の形態では、欠損があると判定されている場合(ステップS8でYesの場合)は直ちに手領域画像を取得する処理(S1)に戻るとしたが、ステップS12に進み、「欠損あり」に応じた操作指示を行っても良い。例えば、形状解析評価部24から「欠損有り」を示す判定結果REが出力されると、動作判断部26bは、判定結果REを操作内容決定部27に伝え、操作内容決定部27は、当該判定結果に基づいて、欠損がある(撮像画像中の手領域に欠損が生じている)ことを操作者に伝えるための操作指示を行う。この場合の操作指示は、例えば、欠損があることを操作者に知らせるための表示又は音声出力を行うことを指示するものであっても良い。
以上本発明を操作入力装置として説明したが、上記の操作入力装置で実施される方法もまた本発明の一部を成す。また、操作入力装置或いは操作入力方法の各処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
2 空間ジェスチャー認識装置、 11 撮像部、 21 手領域検出部、 22 光源存在度情報生成部、 23 光源推定部、 24 形状解析評価部、 26、26b 動作判断部、 27 操作内容決定部、 31 表示部、 32 被制御部、 241 特徴解析部、 242 形状尤度判定部、 243 形状評価部、 261 制御部、 262 形状補正部、 263 選択部、 264 動作情報生成部。
Claims (15)
- 撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出部と、
前記手領域検出部で検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成部と、
前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出部により検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定部と、
前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出部で検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価部と、
前記形状解析評価部による判断の結果と、前記手領域検出部で検出された手領域を表す情報に基づいて、手の動作を判断する動作判断部と
を備える操作入力装置。 - 前記動作判断部は、
前記形状解析評価部によって、前記撮像画像中の手領域に欠損が生じていると判断された場合に、前記手領域検出部で検出された前記手領域の形状を補正する形状補正部と、
前記形状補正部によって補正された前記手領域の形状に基づいて、手の動作を示す動作情報を生成する動作情報生成部と
を備えることを特徴とする請求項1に記載の操作入力装置。 - 前記形状解析評価部は、
手のひらの中心の位置を検出し、
検出した手のひらの中心から、各方向における手領域の輪郭までの距離を求め、
前記各方向における距離と、前記方向との関係に基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をする
ことを特徴とする請求項1又は2に記載の操作入力装置。 - 前記形状解析評価部は、
前記各方向における距離と、前記方向との関係が、操作入力のためのジェスチャーを行っているときの手の形状に対応するものである可能性を推定し、
前記推定された可能性に基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をすることを特徴とする請求項3に記載の操作入力装置。 - 前記形状解析評価部は、
前記各方向における距離と前記方向との関係を表す曲線において極小点を1つだけ有する方向範囲の大きさに基づいて、前記撮像画像中の手領域に欠損が生じているか否かの判断をする
ことを特徴とする請求項3又は4に記載の操作入力装置。 - 前記方向範囲は、その内部において、前記各方向における距離と前記方向との関係を表す曲線に極大点が存在する場合、前記極大点と前記極小点の差が予め定められた閾値よりも小さい
ことを特徴とする請求項5に記載の操作入力装置。 - 前記方向範囲は、その内部において、前記方向の変化に対する前記距離の変化の大きさが予め定められた値以下であることを特徴とする請求項5又は6に記載の操作入力装置。
- 前記撮像部で得られる画像が、各々静止画像を表すフレームの列で構成される動画像であり、
前記形状補正部は、
現フレームにおいて、前記光源の影響を受けたと推定された領域である光源領域を表す情報と、
少なくとも1個の時間的に前のフレームの手領域における特徴点の情報をもとに、
現フレームにおける手領域の特徴点の位置を、現フレームにおける前記光源領域内に推定し、該推定の結果に基づいて前記補正を行う
ことを特徴とする請求項2に記載の操作入力装置。 - 前記形状解析評価部は、手のひらの中心位置を検出し、
前記推定された特徴点の位置と、検出された手のひらの中心位置とを結ぶ線分上の画素のうち、前記手領域からの距離が前記予め定められた距離以内の画素を除くすべての画素が、前記光源領域又は前記手領域内に位置する場合には、前記推定された特徴点の位置を、補正された特徴点の位置と認定し、
前記推定された特徴点の位置と、検出された手のひらの中心位置とを結ぶ線分上の画素のうち、前記手領域からの距離が前記予め定められた距離以内の画素を除くすべての画素のいずれかが、前記光源領域及び前記手領域のいずれにも含まれない場合には、前記線分上にあり、前記光源領域及び前記手領域のいずれにも含まれない画素のうちの前記手のひらの中心位置に最も近いものに隣接し、かつ前記手のひらの中心位置の側に位置する画素の位置を、前記補正された特徴点の位置として認定する
ことを特徴とする請求項8に記載の操作入力装置。 - 前記動作判断部による判断の結果に基づいて判定された手の動作に対応する操作指示を行う操作内容決定部をさらに有することを特徴とする請求項1から9のいずれか一項に記載の操作入力装置。
- 前記形状解析評価部で、前記撮像画像中の手領域に欠損が生じているとの判断をしたときは、前記動作判断部は、そのことを示す情報を前記操作内容決定部に伝え、前記操作内容決定部は、当該情報に基づいて、前記撮像画像中の手領域に欠損が生じていることを操作者に伝えるための操作指示を行うことを特徴とする請求項10に記載の操作入力装置。
- 前記形状解析評価部で、前記撮像画像中の手領域に欠損が生じているとの判断をしたときは、前記動作判断部は、当該撮像画像に基づく手の動作の判断を行わないことを特徴とする請求項1に記載の操作入力装置。
- 撮像部での撮像で得られた撮像画像中の手領域を検出する手領域検出ステップと、
前記手領域検出ステップで検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度又は色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する光源存在度情報生成ステップと、
前記光源存在度に基づいて、前記撮像画像中の、光源の影響を受けた領域を推定し、さらに前記光源の影響を受けたと推定された領域と、前記手領域検出ステップにより検出された前記手領域とが予め定められた距離以内にあるか否かを判定する光源推定ステップと、
前記光源存在度によって、前記光源の影響を受けたと推定された領域と、前記手領域とが、前記予め定められた距離以内にあると判断された場合に、前記手領域検出ステップで検出された前記手領域の形状に基づき前記撮像画像中の手領域に欠損が生じているか否かの判断をする形状解析評価ステップと、
前記形状解析評価ステップによる判断の結果と、前記手領域検出ステップで検出された手領域を表す情報に基づいて、手の動作を判断する動作判断ステップと
を備える操作入力方法。 - 請求項13に記載の操作入力方法の各ステップの処理をコンピュータに実行させるためのプログラム。
- 請求項14に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013189139 | 2013-09-12 | ||
JP2013189139 | 2013-09-12 | ||
PCT/JP2014/062906 WO2015037273A1 (ja) | 2013-09-12 | 2014-05-15 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5989251B2 true JP5989251B2 (ja) | 2016-09-07 |
JPWO2015037273A1 JPWO2015037273A1 (ja) | 2017-03-02 |
Family
ID=52665398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015536456A Expired - Fee Related JP5989251B2 (ja) | 2013-09-12 | 2014-05-15 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9939909B2 (ja) |
JP (1) | JP5989251B2 (ja) |
CN (1) | CN105612473B (ja) |
DE (1) | DE112014004212T5 (ja) |
WO (1) | WO2015037273A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2932268A4 (en) | 2012-12-17 | 2016-10-19 | Leukodx Ltd | SYSTEMS AND METHOD FOR RECOGNIZING A BIOLOGICAL CONDITION |
WO2015186341A1 (ja) * | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム記憶媒体 |
JP6607254B2 (ja) * | 2015-05-20 | 2019-11-20 | コニカミノルタ株式会社 | ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム |
JP6716897B2 (ja) * | 2015-11-30 | 2020-07-01 | 富士通株式会社 | 操作検出方法、操作検出装置、及び操作検出プログラム |
US20180217671A1 (en) * | 2016-02-23 | 2018-08-02 | Sony Corporation | Remote control apparatus, remote control method, remote control system, and program |
CN106250823A (zh) * | 2016-07-21 | 2016-12-21 | 同济大学 | 一种掌纹掌脉识别方法及掌纹掌脉图像采集仪 |
JP2018132986A (ja) * | 2017-02-16 | 2018-08-23 | 株式会社東海理化電機製作所 | 画像認識装置 |
JP2019101826A (ja) * | 2017-12-04 | 2019-06-24 | アイシン精機株式会社 | ジェスチャ判定装置およびプログラム |
US10628667B2 (en) | 2018-01-11 | 2020-04-21 | Futurewei Technologies, Inc. | Activity recognition method using videotubes |
CN108197596B (zh) * | 2018-01-24 | 2021-04-06 | 京东方科技集团股份有限公司 | 一种手势识别方法和装置 |
JP2019200560A (ja) * | 2018-05-16 | 2019-11-21 | パナソニックIpマネジメント株式会社 | 作業分析装置および作業分析方法 |
DE102018208739A1 (de) * | 2018-06-04 | 2019-12-05 | Conti Temic Microelectronic Gmbh | Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern |
CN110874179B (zh) * | 2018-09-03 | 2021-09-14 | 京东方科技集团股份有限公司 | 指尖检测方法、指尖检测装置、指尖检测设备及介质 |
DE102018216562A1 (de) * | 2018-09-27 | 2020-04-02 | Conti Temic Microelectronic Gmbh | Verfahren zum Detektieren von Lichtverhältnissen in einem Fahrzeug |
CN110850975B (zh) * | 2018-11-08 | 2024-03-19 | 英属开曼群岛商麦迪创科技股份有限公司 | 具有手掌辨识的电子系统、车辆及其操作方法 |
CN109947273B (zh) * | 2019-03-25 | 2022-04-05 | 广东小天才科技有限公司 | 一种点读定位方法及装置 |
JP6823839B2 (ja) * | 2019-06-17 | 2021-02-03 | 大日本印刷株式会社 | 判定装置、判定装置の制御方法、判定システム、判定システムの制御方法、及び、プログラム |
CN110428390B (zh) * | 2019-07-18 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 一种素材展示方法、装置、电子设备和存储介质 |
WO2022149251A1 (ja) * | 2021-01-08 | 2022-07-14 | 三菱電機株式会社 | ジェスチャ認識装置およびジェスチャ認識方法 |
CN113085870B (zh) * | 2021-04-02 | 2024-02-06 | 淮南联合大学 | 一种基于毫米波雷达的手势识别系统 |
CN113158912B (zh) * | 2021-04-25 | 2023-12-26 | 北京华捷艾米科技有限公司 | 手势识别方法及装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150669A (ja) * | 2010-01-22 | 2011-08-04 | Skyworkers:Kk | 手の平認識 |
JP2012073659A (ja) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | 操作判定装置、指先検出装置、操作判定方法、指先検出方法、操作判定プログラム、及び、指先検出プログラム |
WO2013136498A1 (ja) * | 2012-03-15 | 2013-09-19 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3410919B2 (ja) | 1997-01-31 | 2003-05-26 | 株式会社東芝 | 画像抽出装置 |
EP0837418A3 (en) | 1996-10-18 | 2006-03-29 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
JP3496563B2 (ja) | 1999-03-23 | 2004-02-16 | 日本電気株式会社 | 物体検出装置、物体検出方法及び物体検出プログラムを記録した記録媒体 |
JP2004152163A (ja) | 2002-10-31 | 2004-05-27 | Toshiba Corp | 顔照合装置及び顔照合方法 |
JP4372051B2 (ja) | 2005-06-13 | 2009-11-25 | 株式会社東芝 | 手形状認識装置及びその方法 |
JP2007052609A (ja) | 2005-08-17 | 2007-03-01 | Sony Corp | 手領域検出装置及び手領域検出方法、並びにプログラム |
US8890813B2 (en) * | 2009-04-02 | 2014-11-18 | Oblong Industries, Inc. | Cross-user hand tracking and shape recognition user interface |
US7566858B2 (en) * | 2006-11-07 | 2009-07-28 | Apple Inc. | Remote control systems that can distinguish stray light sources |
JP2008250774A (ja) | 2007-03-30 | 2008-10-16 | Denso Corp | 情報機器操作装置 |
US8102365B2 (en) * | 2007-05-14 | 2012-01-24 | Apple Inc. | Remote control systems that can distinguish stray light sources |
JP5228439B2 (ja) | 2007-10-22 | 2013-07-03 | 三菱電機株式会社 | 操作入力装置 |
JP4894741B2 (ja) | 2007-12-03 | 2012-03-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP2010079332A (ja) | 2008-09-24 | 2010-04-08 | Mitsubishi Electric Corp | 遠隔操作装置及び遠隔操作方法 |
US8433138B2 (en) * | 2008-10-29 | 2013-04-30 | Nokia Corporation | Interaction using touch and non-touch gestures |
JP5056798B2 (ja) * | 2009-06-08 | 2012-10-24 | 日本電気株式会社 | 判定装置、指紋入力装置、判定方法および判定プログラム |
EP2339534A1 (en) * | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
US9053356B2 (en) | 2010-10-22 | 2015-06-09 | Nec Solution Innovators, Ltd. | Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system |
US20120200486A1 (en) * | 2011-02-09 | 2012-08-09 | Texas Instruments Incorporated | Infrared gesture recognition device and method |
US9189068B2 (en) * | 2011-03-14 | 2015-11-17 | Lg Electronics Inc. | Apparatus and a method for gesture recognition |
ES2693060T3 (es) * | 2011-03-17 | 2018-12-07 | Ssi Schäfer Automation Gmbh | Control y supervisión de una instalación de almacén y preparación de pedidos mediante movimiento y voz |
US20120249422A1 (en) * | 2011-03-31 | 2012-10-04 | Smart Technologies Ulc | Interactive input system and method |
US8891868B1 (en) * | 2011-08-04 | 2014-11-18 | Amazon Technologies, Inc. | Recognizing gestures captured by video |
CN107643828B (zh) * | 2011-08-11 | 2021-05-25 | 视力移动技术有限公司 | 车辆、控制车辆的方法 |
TWI540461B (zh) * | 2011-12-05 | 2016-07-01 | 緯創資通股份有限公司 | 手勢輸入的方法及系統 |
US8766162B2 (en) * | 2012-01-12 | 2014-07-01 | Maxim Integrated Products, Inc. | Ambient light based gesture detection |
US8638989B2 (en) * | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
SE537579C2 (sv) * | 2013-04-11 | 2015-06-30 | Crunchfish Ab | Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning |
US9916009B2 (en) * | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9477314B2 (en) * | 2013-07-16 | 2016-10-25 | Google Technology Holdings LLC | Method and apparatus for selecting between multiple gesture recognition systems |
-
2014
- 2014-05-15 WO PCT/JP2014/062906 patent/WO2015037273A1/ja active Application Filing
- 2014-05-15 US US14/908,513 patent/US9939909B2/en not_active Expired - Fee Related
- 2014-05-15 CN CN201480049454.6A patent/CN105612473B/zh not_active Expired - Fee Related
- 2014-05-15 DE DE112014004212.9T patent/DE112014004212T5/de not_active Withdrawn
- 2014-05-15 JP JP2015536456A patent/JP5989251B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150669A (ja) * | 2010-01-22 | 2011-08-04 | Skyworkers:Kk | 手の平認識 |
JP2012073659A (ja) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | 操作判定装置、指先検出装置、操作判定方法、指先検出方法、操作判定プログラム、及び、指先検出プログラム |
WO2013136498A1 (ja) * | 2012-03-15 | 2013-09-19 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
DE112014004212T5 (de) | 2016-05-25 |
CN105612473B (zh) | 2018-08-28 |
US9939909B2 (en) | 2018-04-10 |
CN105612473A (zh) | 2016-05-25 |
WO2015037273A1 (ja) | 2015-03-19 |
US20160209927A1 (en) | 2016-07-21 |
JPWO2015037273A1 (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5989251B2 (ja) | 操作入力装置及び方法、並びにプログラム及び記録媒体 | |
JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
JP5228439B2 (ja) | 操作入力装置 | |
US8717288B2 (en) | Motion-based tracking | |
JP4915655B2 (ja) | 自動追尾装置 | |
US20160191795A1 (en) | Method and system for presenting panoramic surround view in vehicle | |
US8699749B2 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
US20210402134A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US8625898B2 (en) | Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method | |
JP2008542895A (ja) | 夜間に道路を検出する方法及びシステム | |
US20200389573A1 (en) | Image processing system, image processing method and storage medium | |
US10354413B2 (en) | Detection system and picture filtering method thereof | |
US20120219179A1 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
US11037014B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4826355B2 (ja) | 車両周囲表示装置 | |
US10803625B2 (en) | Detection system and picturing filtering method thereof | |
CN110622210A (zh) | 用于处理360度图像的方法和装置 | |
WO2022091577A1 (ja) | 情報処理装置および情報処理方法 | |
US9596410B2 (en) | Vision systems and methods for analysing images taken by image sensors | |
JP2015092643A (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
WO2020141588A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5912177B2 (ja) | 操作入力装置、操作入力方法及び操作入力プログラム | |
JP2010286995A (ja) | 車両用画像処理システム | |
JP4042602B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5989251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |