JP5156617B2 - 対象物検出用画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体 - Google Patents

Description

本発明は画像処理技術に関し、より詳細には、撮像された画像から対象物を認識するための画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体に関する。

動画像内の所定の移動物体（対象物）を認識するために様々な画像処理技術が考案されている。これらの技術によって人の手の動きやジェスチャを識別することができ、コンピュータ等のユーザインターフェース装置やテレビ等のリモコン装置に適用することが可能である。

上記画像処理技術において最も代表的なものとしてテンプレートマッチング技術が挙げられる。テンプレートマッチングは、認識する物体の画像（テンプレート画像）を予め用意し、処理対象の画像上に該テンプレート画像を移動させながら比較して、該物体の有無を識別する手法である。この手法は物体の形状や色の違いまで識別できるため、高い精度で物体を認識することが可能である。しかし、処理量が多く、それゆえ処理に時間がかかり高速に移動する物体をリアルタイムで認識する用途には適していない。また、上述のテンプレート画像を取得する手順は使用者にとっては煩わしい作業になり得る。

また、テンプレートマッチングは外乱光などの想定外の光の影響を受けやすく、さらに、対象物がその形状や角度を変化させる場合には正確に認識することができない。

上述の外乱光による影響を低減させるためには、特許文献１に開示する装置を用いればよい。この装置では、照明装置の光を所定の周期で点滅させ、照明装置が点灯時の画像と消灯時の画像とを撮像装置で取得する。次いで、これら２つの画像から時間差分画像を求め、その時間差分画像を基に対象物を検出する。点灯画像と消灯画像とから時間差分画像を求めることで、外乱光による影響を低減させて好適に移動物体を検出することを可能としている。

また、特許文献２は、ステレオカメラ（一対のカメラ）を用いることで移動物体を的確に検出する移動物体検出装置を開示している。

さらに、特許文献３は、物体を検出する技術を備えた対象物検出前処理装置および方法を開示している。この装置および方法は、低コストで、かつ周囲環境に影響されず安定して対象物（人物の顔）を検出することが可能である。
特開２００７−２７２５９６ 特開２００８−１５８６４０ 特開２００６−２７５９８８

しかし、上記特許文献１〜３が開示する装置では、以下のような不都合が生じてしまう。

特許文献１の装置が利用する時間差分画像は、元来動きにより生ずる差を識別するために用いるものである。そのため、撮像装置が手振れ等により動く、または、対象物の背後に他の移動物体が存在する場合には、対象物を正確に検出できない恐れがある。そのため、この装置は撮像装置をしっかりと固定し、かつ背景に他の移動物体が存在しない状態で使用しなくてはならない。すなわち、使用条件に制約が生じてしまう。

特許文献２の装置ではステレオカメラを用いているため、カメラと対象物との間の距離を算出することができる。そのため、対象物の背後にある移動物体に影響されることはない。しかし、２台のカメラを用いるため、装置が大型化し、かつ高価になり得る。さらに、カメラが２台あるため処理する画像の量が多くなり、演算能力の低い処理装置、特に家電機器などに適用することが困難になる。

特許文献３の装置では、カメラ等からなる撮像部に特定波長透過フィルタを装備している。このフィルタは装置の光源から放射される近赤外線領域の光のみを透過させる機能を有し、外乱光をカットする役目を果たす。しかし、外乱光光源となる太陽、蛍光灯、白熱灯などから放射される光には近赤外線領域の光も含まれるため、外乱光を十分にカットすることはできない。
また、該当の装置において、光量を制御するためには一定の明るさを有する面積が画像内に一定の割合で存在すること、対象物（顔）の特徴が予め把握していること、が必要である。すなわち、対象物の特徴を事前に装置に把握させる前処理が必要である。
さらに、異なる照射光量（明、暗）で画像を撮像し、その画像のうち良質な方を対象物の認識に用いている。そのため、検出に用いるフレームレートは、撮像部の実フレームレートの１／２に限定されてしまう。

本発明は上記のような事情に鑑みて創案されたものであり、本発明の課題は、前処理が不要で、かつ周囲環境（外乱光の照射、他の移動物体の存在、撮像装置の変位等）に影響されずに動画像内の対象物を認識可能な画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体を提供することである。

本発明の別の目的は、単一の撮像装置で実現可能で、かつ高度な演算処理が不要な対象物検出用画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体を提供することである。

前記課題を解決するために創案された請求項１の発明は、所定のフレームレートで対象物を含む風景を撮像する撮像手段と、三原色の何れか１つの領域または赤外領域の波長の光で前記対象物を照射する照射手段であって、前記撮像手段のフレームレートに同期して照射光を点滅させる照射手段と、を備え、前記撮像手段が撮像した画像から前記対象物を検出する対象物検出用画像処理装置であり、当該装置は、
（ａ１）前記撮像手段が撮像した複数のフレーム画像を時系列に受け取る画像取込手段と、
前記画像取込手段が受け取ったフレーム画像から、前記照射手段が点灯時に撮像されたフレーム画像と、前記照射手段が消灯時に撮像されたフレーム画像と、を選択して一対にするフレーム画像ペアリング手段と、
（ａ２）前記一対になったフレーム画像から前記照明手段の発光色に相当する色成分をそれぞれ抽出して、一対の第１成分フレーム画像を生成する第１成分画像生成手段と、
（ａ３）前記一対になったフレーム画像から前記照明手段の発光色とは異なる任意の１つの色成分をそれぞれ抽出して、一対の第２成分フレーム画像を生成する第２成分画像生成手段と、
（ａ４）前記一対の第１成分フレーム画像から第１差分画像を生成する第１差分画像生成手段と、
（ａ５）前記一対の第２成分フレーム画像から第２差分画像を生成する第２差分画像生成手段と、
（ａ６）前記第１差分画像と前記第２差分画像とから第３差分画像を生成し、その第３差分画像を基に前記対象物を認識する対象物抽出手段と、
を備えることを特徴とする。

前記課題を解決するために創案された請求項２の発明は、請求項１に記載の対象物検出用画像処理装置において、前記照射手段が１つまたは複数の発光ダイオードから構成されることを特徴とする。

前記課題を解決するために創案された請求項３の発明は、請求項１または２に記載の対象物検出用画像処理装置において、前記フレーム画像ペアリング手段による前記一対のフレーム画像の選択が、前記撮像手段のフレームレートと、前記照射手段の照射光の点灯周期と、前記対象物の挙動とに基づいて行われることを特徴とする。

前記課題を解決するために創案された請求項４の発明は、請求項１ないし３の何れか一項に記載の対象物検出用画像処理装置において、前記撮像手段が単一のカメラから構成されることを特徴とする。

前記課題を解決するために創案された請求項５の発明は、所定のフレームレートで対象物を含む風景を撮像する撮像手段と、三原色の何れか１つの領域または赤外領域の波長の光で前記対象物を照射する照射手段であって、前記撮像手段のフレームレートに同期して照射光を点滅させる照射手段と、を備えた画像処理装置によって行われる、前記撮像手段が撮像した画像から前記対象物を検出する対象物検出用画像処理方法であり、当該方法は、
（ｂ１）前記撮像手段が撮像した複数のフレーム画像を時系列に受け取る画像取込段階と、
前記画像取込段階で受け取ったフレーム画像から、前記照射手段が点灯時に撮像されたフレーム画像と、前記照射手段が消灯時に撮像されたフレーム画像と、を選択して一対にするフレーム画像ペアリング段階と、
（ｂ２）前記一対になったフレーム画像から前記照明手段の発光色に相当する色成分をそれぞれ抽出して、一対の第１成分フレーム画像を生成する第１成分画像生成段階と、
（ｂ３）前記一対になったフレーム画像から前記照明手段の発光色とは異なる任意の１つの色成分をそれぞれ抽出して、一対の第２成分フレーム画像を生成する第２成分画像生成段階と、
（ｂ４）前記一対の第１成分フレーム画像から第１差分画像を生成する第１差分画像生成段階と、
（ｂ５）前記一対の第２成分フレーム画像から第２差分画像を生成する第２差分画像生成段階と、
（ｂ６）前記第１差分画像と前記第２差分画像とから第３差分画像を生成し、その第３差分画像を基に前記対象物を認識する対象物抽出段階と、
を含むことを特徴とする。

前記課題を解決するために創案された請求項６の発明は、請求項５に記載の対象物検出用画像処理方法において、前記照射手段が１つまたは複数の発光ダイオードから構成されることを特徴とする。

前記課題を解決するために創案された請求項７の発明は、請求項５または６に記載の対象物検出用画像処理方法において、前記フレーム画像ペアリング段階における前記一対のフレーム画像の選択が、前記撮像手段のフレームレートと、前記照射手段の照射光の点灯周期と、前記対象物の挙動とに基づいて行われることを特徴とする。

前記課題を解決するために創案された請求項８の発明は、請求項５ないし７の何れか一項に記載の対象物検出用画像処理方法において、前記撮像手段が単一のカメラから構成されることを特徴とする。

前記課題を解決するために創案された請求項９の発明は、請求項５ないし８の何れか１項に記載の方法をコンピュータに実行させるソフトウェアである。

前記課題を解決するために創案された請求項１０の発明は、請求項９に記載のソフトウェアを格納したコンピュータ可読媒体である。

請求項１の装置および請求項５の方法は、周囲の環境変化に影響を受けずに動画像内の対象物を検出することが可能である。
具体的には、対象物を撮像時に外乱光の照射を受けても対象物の検出に影響を及ぼさない。外乱光の光源は、通常、太陽、白熱球、蛍光灯等が挙げられるが、そのうち太陽および白熱球からの光はほぼ直流の光のため、一対の第１成分フレーム画像（または一対の第２成分フレーム画像）の双方に同一に照射される。そのため、第１差分画像（または第２差分画像）生成時にその影響が削除される。同様に、蛍光灯、特に数１００Ｈｚ程度で点灯するインバータ蛍光灯の光が照射しても、フレーム画像ペアリング手段が当該蛍光灯の点灯周期と重ならない周期で一対のフレーム画像を選択すれば、第１および第２差分画像生成時にその影響を削除することができる。
また、撮像時に撮像手段が振動、手ぶれ等で変位しても第１および第２成分画像を生成時にその影響が除去される。さらに、対象物の後方に移動物体が存在しても、第３差分画像生成時にその影響が除去される。

上記の内容に加え、請求項１の装置および請求項５の方法では、事前に対象物を撮像するなどの前処理を行う必要がない。それゆえ容易に対象物の検出を行うことが可能である。また、対象物がその角度や形状を変化させても、識別が可能である。

請求項２の装置および請求項６の方法では、照射手段として１つまたは複数のＬＥＤを用いることができる。ＬＥＤを用いることで、安価でコンパクトな照射手段を構成することが可能である。加えて、ＬＥＤは長い動作寿命を有しているため、照射手段が故障する可能性も低減される。

請求項３の装置および請求項７の方法では、前記撮像手段のフレームレートと、前記照射手段の照射光の点灯周期と、前記対象物の挙動とに基づいて前記フレーム画像ペアリング手段による前記一対のフレーム画像を選択することで、応答性や処理するデータ量などを最適化することができる。

請求項４の装置および請求項８の方法では、単一のカメラで照明手段を実現するため、照明装置をコンパクトで、かつ軽量にすることが可能となる。また、既存のステレオカメラを用いた装置と比べると処理に用いる画像データの量が１／２になるため、装置の演算機能への負荷が低減される。それゆえ、演算能力の高くない処理装置で当該画像装置を実現することが可能であり、テレビのリモコン装置など、一般家電製品に適用することが可能となる。

請求項９のソフトウェアによって、上記の対象物検出用画像処理方法を任意のコンピュータに実行させることが可能となる。

請求項１０のコンピュータ可読媒体によって、上記の対象物検出用画像処理方法を特定のユーザに好適に提供することが可能となる。

本発明により、前処理が不要で、かつ周囲環境（外乱光の照射、他の移動物体の存在、撮像装置の変位等）に影響されずに動画像内の対象物を認識可能な画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体を提供することが可能となる。さらに、単一の撮像装置で実現可能で、かつ高度な演算処理が不要な対象物検出用画像処理装置、方法、プログラム、並びに該プログラムを格納するコンピュータ可読媒体も提供することが可能となる。

添付図面を参照して本発明の一実施形態を説明する。なお、本実施形態において、動画を構成する複数のコマ画像を「フレーム画像」、画像内の被検出物体を「対象物」と称する。
また、本発明の一実施形態において「フレーム差分処理」とは、一対のフレーム画像の画素間の差分を求めることにより、当該フレーム画像間で異なる部分を抽出する処理であり、この処理で得られた画像を「差分画像」と称する。

図１は、本発明の一実施形態に係る対象物検出用画像処理装置（以下、「画像処理装置」）１０００の機能ブロック図である。この画像処理装置１０００は、外部機能要素として画像撮像部２０００と、対象物照射部３０００とを備え、さらに内部機能要素として画像取込部１０と、フレーム画像ペアリング部２０と、成分画像生成部３０と、成分差分画像生成部４０と、対象物抽出部５０とを備え、画像撮像部２０００が撮像した動画像から対象物を識別し、その位置を検出する機能を有する。

以下に図１に示す画像処理装置１０００の各機能要素についての簡単に説明する。
［画像撮像部］
画像撮像部２０００は対象物を含む風景を所定のフレームレートで撮像し、その撮像した風景を所定形式のデジタル画像データとして画像取込部１０に送る機能を有する。この画像撮像部２０００には、既存の動画像を撮像可能なデジタル式カメラ、通称ムービーカメラを用いてよい。

［対象物照射部］
対象物照射部３０００は、カメラ用のライトのように対象物に光を照射する機能を有する。ただし、照射光は、通常の白熱光ではなく、光の三原色（Ｒ、Ｇ、Ｂ）の何れかの領域内、あるいは赤外領域内の単一の波長の光成分のみを含む。さらに、詳細は後述するが、照射光は画像撮像部２０００の撮像の実施／停止に同期して点滅する。したがって、マイクロ秒オーダの高速な応答性を有する。
対象物照射部３０００は、特に限定するものではないが、発光ダイオード（ＬＥＤ）、レーザダイオードと光学部品、白熱球または蛍光灯と光学フィルタとシャッタ機構等で実現することができる。しかし、実現の容易さ、コスト、コンパクト性、信頼性等を考慮するとＬＥＤを用いることが最も好ましい。

［画像取込部］
画像取込部１０は、画像撮像部２０００とケーブル、無線、赤外線等で接続され、画像撮像部２０００が撮像したフレーム画像のデータを時系列に受け取る機能を有する。受け取ったフレーム画像のデータは、フレーム画像ペアリング部２０に送付する。

［フレーム画像ペアリング部］
フレーム画像ペアリング部２０は、画像取込部１０から受け取った複数のフレーム画像から所定のフレーム画像を抽出し、それらを一対に組み合わせる機能を有する。フレーム画像の抽出条件については後述するが、一対のフレーム画像のうち、一方は対象物に対象物照射部３０００の光が照射された状態で画像撮像部２０００によって撮像されたフレーム画像であり、他方は対象物に光が照射されない状態で撮像されたフレーム画像である。

［成分画像生成部］
成分画像生成部３０は、Ｒ成分生成部３１０と、Ｇ成分生成部３２０と、Ｂ成分生成部３３０とから構成され、フレーム画像ペアリング部２０が組み合わせた一対のフレーム画像からそれぞれＲ、Ｇ、Ｂ成分を抽出し、一対のＲ、Ｇ、Ｂ成分フレーム画像を生成する機能を有する。

［成分差分画像生成部］
成分差分画像生成部４０は、Ｒ成分差分画像生成部４１０と、Ｇ成分差分画像生成部４２０と、Ｂ成分差分画像生成部４３０とから構成され、成分画像生成部３０から受け取った一対のＲ、Ｇ、Ｂ成分フレーム画像を基に、それぞれＲ、Ｇ、Ｂ成分差分画像を生成する機能を有する。

［対象物抽出部］
対象物抽出部５０は、成分差分画像生成部４０から受け取ったＲ、Ｇ、Ｂ成分差分画像を基に、画像撮像部２０００が撮像したフレーム画像内の対象物を識別し、その位置座標を求め、求めた座標を外部に出力する機能を有する。また、当該対象物抽出部５０は、差分画像生成部５１０と、二値化処理部５２０と、ラベリング処理部５３０と、領域選定部５４０とから構成される。以下にそれぞれの機能について説明する。
（差分画像生成部）
差分画像生成部５１０は、成分差分画像生成部４０から受け取ったＲ、Ｇ、Ｂ成分差分画像を基に、その差分画像（以降、「最終差分画像」と称する）を生成する機能を有する。
（二値化処理部）
二値化処理部５２０は、差分画像生成部５１０が生成した最終差分画像に対して二値化処理を行う機能を有する。この二値化処理には当該技術分野において周知な手法、例えば固定閾値法、Ｐタイル法、モード法、判別分析２値化法などを用いてよい。
（ラベリング処理部）
ラベリング処理部５３０は、二値化処理部５２０が二値化処理を施した最終差分画像にラベリング処理を行う機能を有する。ラベリング処理とは、画像の各画素における色情報を分析し、連結している画素に同一ラベルを付加することで複数の領域をグループとして分類する処理である。また、同時に各領域における重心を求めその位置を測定することが好ましい。これは、異なるフレーム画像間でこれらの領域の形や大きさが変化した場合に柔軟に対応するためである。
（領域選定部）
領域選定部５４０は、ラベリング処理部５３０が画定した複数の領域の輝度を求めて、それを比較し、最も輝度の高い領域を検出物と判断してその位置の座標を出力する機能を有する。

次に、図２の処理条件および図３の各種生成画像を参照しながら、図４のフロー図に従って、上述の機能を有する画像処理装置１０００が行う画像処理の内容および手順の実施例を詳細に説明する。なお、図２および図３の原画像図を本出願と同時に提出した物件提出書にそれぞれ参考図面１および２として添付したので参照されたい。

図２（ａ）は本実施例の撮像条件を示している。画像処理装置１０００の画像撮像部２０００で１人の人物の顔とその右掌、並びにその他の人物の左掌を撮像して動画像を作成し、その動画像から対象物である右掌を識別し、その位置を検出する。ここで、画像撮像部２０００と人物の各部位との距離関係は、該画像撮像部２０００に近い順に当該１人の人物の右掌、顔、当該その他人物の左掌となる。また、撮像中に人物は動かず、人物の後方に画像撮像部２０００から向かって左から右方向に自動車が走行するものとする。

最初に、画像処理装置１０００の対象物照射部３０００の照射光を調整する（図４のステップＳ１０）。まず、対象物照射部３０００の照射光の種類の決定であるが、ここでは人物への影響を低減するために赤外光とする。この場合、画像撮像部２０００の仕様によるが、一般的には赤外成分の情報はＲ、Ｇ、Ｂ成分の何れかの情報に加えられて出力される。本実施形態では、Ｒ成分に加えられるものとする。すなわち、画像処理装置１０００は、対象物照射部３０００がＲ領域の光を照射する場合と同様の処理を行えばよい。

次いで、対象物である右掌の全体にできる限り均一に光が照射されるよう対象物照射部３０００の照射範囲を調整する。本実施例では右掌は移動しないが、移動する場合には移動範囲全域に渡って光が右掌に照射されるよう調整しなくてはならない。対象物照射部３０００をＬＥＤで構成している場合には、ＬＥＤの数を増減することで照射光の照射範囲を可変すればよい。

最後に、照射光の点滅のタイミングを調整する。本実施例では図２（ｂ）に示すように、画像撮像部２０００が撮像を行う毎に消灯／点灯を繰り返すよう調整する。

以上で、図４のステップＳ１０の調整は完了する。ステップＳ１０の手順が完了すると、次は画像撮像部２０００が対象物を含む風景を撮像する（図４のステップＳ２０）。撮像された動画像を構成する各フレーム画像は、画像撮像部２０００から画像取込部１０に送られる（図４のステップＳ３０）。このとき送られるフレーム画像の例を図２（ｃ）に示す。撮像された順にフレーム画像を第１〜第４フレーム画像とする。ここで、第１および第３フレーム画像は、対象物（右掌）に対象物照射部３０００の光が照射されない状態で撮像されたものであり、第２および第４フレーム画像は、対象物に光が照射された状態で撮像されたものであることに留意されたい。

第１〜４フレーム画像が画像取込部１０に送られると、フレーム画像ペアリング部２０が第１および第２フレーム画像、並びに、第３および第４フレーム画像をそれぞれ一対に組み合わせる（図４のステップＳ４０）。
なお、これらの一対のフレーム画像は同一の処理が施されるため、以降は第１および第２フレーム画像のペアへの処理についてのみ説明する。

成分画像生成部３０は、フレーム画像ペアリング部２０から第１および第２フレーム画像（図３（ａ））を受け取ると、それらを基に第１および第２Ｒ成分フレーム画像（図３（ｂ））を生成する（図４のステップＳ５０）。図３（ｂ）に示すように、第２Ｒ成分フレーム画像では色の明暗が明瞭になっている。それは、人物の各部位に対象物照射部３０００の光が照射されているためである。対象物である右掌は対象物照射部３０００と最も近接しているため最も強く照射光を反射する。したがって一番明るい色で表示される。また、顔も右掌ほどではないが照射光を反射するため明るい色となる。一方、左掌および人物の後方を走行する自動車は暗い色となっている。つまり、左掌と自動車には対象物照射部３０００の照射光が到達していない。また、図ではわかりにくいが、第１および第２Ｒ成分フレーム画像では、人物の後方を走行する自動車の位置が異なっている。

第１および第２Ｒ成分フレーム画像は、成分画像生成部３０から成分差分画像生成部４０に送られ、成分差分画像生成部４０はこれらの画像の差分画像であるＲ成分差分画像を生成する（図４のステップＳ６０）。このＲ成分差分画像を図３（ｂ）の一番右側に示す。この図で、右掌と自動車の前方部分とが黒く塗り潰されているのがわかる。右掌は照射光の反射によって差分を生じており、自動車の前方部分は該自動車の移動によって差分を生じている。すなわち、Ｒ成分差分画像は、明暗の差分成分と動きの差分成分とを有する。

上記ステップＳ５０およびＳ６０の手順と並列して、以下のステップＳ７０とＳ８０の手順が行われる。
ステップＳ５０の手順と同様に、成分画像生成部３０は、第１および第２フレーム画像（図３（ａ））を基に第１および第２Ｇ成分フレーム画像（図３（ｃ））を生成する（図４のステップＳ７０）。

ステップＳ６０の処理と同様に、第１および第２Ｇ成分フレーム画像が成分差分画像生成部４０に送られると、成分差分画像生成部４０は第１および第２Ｇ成分フレーム画像の差分画像であるＧ成分差分画像を生成する（図４のステップＳ８０）。そのＧ成分差分画像を図３（ｃ）の一番右側に示す。この図において、自動車の前方部分が黒く塗り潰されている。これはＲ成分差分画像と同様に該自動車の移動によって生じた差分である。一方、対象物照射部３０００の照射光はＧ成分の光を含んでいないため、Ｇ成分差分画像にはＲ成分差分画像とは異なり明暗の差分が生じない。つまり、Ｇ成分差分画像は動きの差分成分のみを有する。

成分差分画像生成部４０で生成されたＲおよびＧ成分差分画像は対象物抽出部５０に送られ、これらの画像の差分画像（最終差分画像（図３（ｄ）の一番右の図を参照））が生成される（図４のステップＳ９０）。図３（ｄ）の最終差分画像では、対象物である右掌のみが黒く塗り潰されている。これは、ＲおよびＧ成分差分画像が有していた、自動車の移動により生じた動きの差分が除去され、Ｒ成分差分画像のみが有していた右掌の明暗の差分のみが表示されているからである。すなわち、Ｒ成分差分画像（明暗差分成分＋動き差分成分）−Ｇ成分差分画像（動き差分成分）＝最終差分画像（明暗差分成分）となる。
以降、この最終差分画像に二値化、ラベリング、領域選定処理を行うことで対象物（右掌）の位置を検出する（図４のステップＳ１００）。

以上が本発明の一実施形態に係る画像処理装置１０００によって行われる対象物検出用画像処理の内容および手順である。しかし、本発明の対象物検出用画像処理は、これらの内容および手順に限定されるものではない。

実施例１では、成分画像生成部３０と成分差分画像生成部４０は、Ｒ成分の画像とＧ成分の画像を処理しているが、本発明はこれに限定されるものではなく、他の実施例においてＧ成分の画像の代わりにＢ成分の画像を取り扱ってよい。対象物照射部３０００の照射光が赤外光である限り、Ｇ成分の画像とＢ成分の画像は同一となる。したがって、Ｇ成分の画像とＢ成分の画像の何れの画像を取り扱っても得られる最終結果は同一となる。
また、本実施例では対象物である右掌は静止しているが、移動していても照射光が到達可能な距離内に存在する限り好適にその位置を検出することができる。

実施例１では、図２（ｂ）に示すように画像撮像部２０００の撮像毎に対象物照射部３０００の照射光を消灯／点灯させているが、本発明において照射光はこの点滅タイミングに限定されるものではない。さらに、実施例では、フレーム画像ペアリング部２０は時間軸上で隣接するフレーム画像同士を一対に組み合わせているが、本発明はこの組み合わせ方法に限定されるものではない。他の実施例において、対象物照射部３０００は、画像撮像部２０００が２度撮像する毎に照射光を消灯／点灯させてもよい。つまり、図２（ｃ）の第１および第２フレーム画像は照射光が消灯時に撮像され、第３および第４フレーム画像は照射光が点灯時に撮像されることになる。さらに、フレーム画像ペアリング部２０は、第１フレーム画像と第３フレーム画像とを一対に組み合わせ、第２および第４フレームには処理を行わないことも可能である。かかる場合、検出の応答性は下がるが、処理するデータ量が１／２に低減するため画像処理装置１０００への負荷が軽減される。
したがって、本発明における画像処理装置の照射光の消灯／点灯のタイミングと、フレーム画像ペアリング部２０が行うフレーム画像の組み合わせ方法とは、対象物の挙動、画像撮像物のフレームレート、画像処理装置の演算能力などの種々の条件に基づいて選択されることが好ましい。

以上説明した本発明の一実施形態に係る画像処理１０００は、従来の画像処理装置に比べて以下に示すような有利点を提供することができる。
［１］周囲環境の変化による影響が少ない。具体的には、外乱光（太陽光、白熱球および蛍光灯の光等）が対象物を照射しても、成分画像生成部３０が成分差分画像（図３（ｂ）（ｃ）の一番右の画像）を生成する段階で外乱光による影響が除去される。同様に、画像撮像部２０００が撮像中に多少動いても成分差分画像を生成する段階で影響が除去される。さらに、対象物の背後に移動物体が存在しても、対象物抽出部５０が最終差分画像（図３の一番右の画像）を生成する段階で移動物体による影響が除去される。
［２］テンプレートマッチング処理等と異なり、前処理が不要である。また、対象物が動いて風景画内の対象物の大きさや角度が変わっても良好に検出することができる。
［３］単一の撮像装置しか用いていないため、ステレオカメラを用いる従来の画像処理装置と比べ、処理する画像の量が少ない。さらに、複雑な演算処理を行っていないため、画像処理装置１０００に過大な負荷がかからない。

本発明の一実施形態に係る画像認識装置１０００は、以上のような有利点を有しているため、様々な用途に好適に適用可能である。例えば、実施例２で後述するコンピュータ用ポインティングデバイス、物体の動きの軌跡を解析するためのモーションキャプチャー、あるいは家電製品のリモコン装置などに適用できる。

上述した本発明の一実施形態に係る対象物検出用画像処理方法は、プログラムとして実装されることが好ましい。その場合には、プログラムはメインのサーバから該方法を実行するコンピュータへダウンロードされるか、コンピュータ可読媒体の形態で分配されることが好ましい。コンピュータ可読媒体の例としては、ハードディスク、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光学式データ保存装置などが挙げられる。

実施例２では、上述の本発明の１実施形態に係る対象物検出用画像処理装置をコンピュータ用のユーザインターフェース装置に適用した場合を例示して説明する。
図５は、画像処理装置１０００を搭載したユーザインターフェース装置４０００を示している。このインターフェース装置４０００は、ライト６００と、ウェブカメラ７００と、コンピュータ８００とから構成されている。なお、ライト６００およびウェブカメラ７００は、画像処理装置１０００の対象物照射部３０００および画像撮像部２０００（図１参照）にそれぞれ該当する。コンピュータ８００は汎用コンピュータ等で実装され、画像処理装置１０００の内部要素１０〜５０（図１参照）の機能を搭載している。

本実施例のユーザインターフェース装置４０００は非接触式であり、ユーザの手のジェスチャに従ってコンピュータ８００に種々の動作を実行させる機能を有する。
図５および図６を参照し、かつ図７のフロー図に従ってユーザインターフェース装置４０００の動作の手順を以下に説明する。
まず、図５（ａ）に示すようにユーザはユーザインターフェース装置４０００に対峙し、右手をウェブカメラ７００の視野内に配置する。なお、このとき右手は他の部位よりもウェブカメラ７００およびライト６００に接近させることが必要である。この状態でユーザは右手で所定のジェスチャをすることでコンピュータ８００に所望の動作を行わせることができる。本実施例では、所定のジェスチャを親指と人差し指の先端を接触、あるいは近接させて輪を作る行為（以下「摘み動作」）とする。

ユーザインターフェース装置４０００はウェブカメラ７００が撮像した風景から対象物を常時識別している。ユーザの右手が撮像風景の中に現れるとユーザインターフェース装置４０００はその手を対象物として識別し、その位置を検出する（図７のステップＳ２００）。なお、その詳細な検出手順は上述した図４のフロー図の手順ステップＳ１０〜Ｓ１００に従うものとする。

対象物を検出すると、次は図５（ｂ）のように手の重心から手の端までの距離を求める（図７のステップＳ２１０）。具体的には、手の重心には図４のステップＳ１００におけるラベリング処理で求めた重心を用い、その重心を中心として所定の角度ステップ（５°等）で所定の角度範囲（３６０°等）における手の端を求め、その端と重心との間の距離を測定する。そして、最も距離が長い５つの端を指先（ａ、ｂ、ｃ、ｄ、ｅ）として認識する。

指を認識後、その指の形状から指が曲がっているかどうかを判断し、曲がっている場合にはその曲がり方向を特定する（図７のステップＳ２２０）。図５（ｃ）の手の形状では、それぞれの指はその指先上部に示す矢印の方向に曲がっていると特定される。人間の手の指は親指のみが他の指と異なる方向に曲がる。したがって、個々の指の曲がり方向が特定できれば、指の中から親指（ａ）と人差し指（ｂ）を特定することが可能である。

次に、手が摘み動作を行っているかどうかを判断する（図７のステップＳ２３０）。摘み動作を行っていると判断した場合には（ステップＳ２３０で「ＹＥＳ」）、コンピュータ８００に所定の動作を実行させる（図７のステップＳ２４０）。行っていないと判断した場合には（ステップＳ２３０で「ＮＯ」）、再度ステップＳ２００から手順を繰り返す。摘み動作を行っているか否かの判断は、図（ｄ）に示すように、親指（図のａ）と人差し指（図のｂ）とが閉ループを形成しているか否かで行う。

以上が本実施例のユーザインターフェース装置４００が行う一連の手順である。従来のジェスチャを識別する非接触式ユーザインターフェースでは、事前に所定のジェスチャを登録し、その登録した画像と撮像した画像とのマッチング処理を行う必要がある。この事前の登録作業はユーザにとっては煩わしいものである。さらに、ジェスチャには識別しやすいようにグー、チョキ、パーなどの形状にした手を登録する必要があったが、これでは長時間作業するとユーザは手に疲労を感じてしまう。また、他人の目が気になりユーザが使用を控える恐れもある。しかし、本実施例のユーザインターフェース装置４００では事前登録が不要であり、かつ、摘み動作などのより自然で、控えめなジェスチャを設定することができる。

また、本実施例のユーザインターフェース装置４００は、指の曲がる角度を基にユーザの親指と人差し指を識別するため、ユーザが右手と左手の何れを用いても、あるいは手の向きを反転させても親指と人差し指を正確に検出することができる。加えて、ユーザの手が上下左右、あるいは回転方向に移動しても、ウェブカメラ７００の視野内に存在する限り検出することが可能である。

上記の特徴により、図６に示すようなビジュアル機能を提供することができる。この図の（ａ）〜（ｃ）の右側の円形のオブジェクトは、コンピュータ８００の画面に表示されるアイコンである。このアイコンはユーザのジェスチャに依存して形状を適宜変化させる。

例えば、図６（ａ）では、ユーザの手は摘み動作を行っていない状態、あるいは行う直前である。このときアイコンは略真円の形状である。図６（ｂ）ではユーザの手が摘み動作を行っている。このときアイコンは潰れた形状となる。当該アイコンは摘み動作と同一の角度に潰れる。さらに、図６（ｃ）ではユーザは摘んだ状態で手を傾けている。このとき図の右側に示すように潰れたアイコンが同様に傾く。

このように、本実施例のユーザインターフェース装置４００は、ユーザのジェスチャに連動した視覚的なフィードバックが可能であり、例えば、カーソルの摘みの有無、摘む角度、捻り具合、移動および回転の具合等をビジュアル化することにより、より実体感があり、かつユーザの直感に訴えた操作性を提供することができる。

以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。

本発明の一実施形態に係る対象物検出用画像処理装置の機能を示すブロック図である。 本発明の一実施形態に係る対象物検出用画像処理装置の画像処理を説明するための図であり、（ａ）は撮像条件を示す図であり、（ｂ）は撮像と照射光の点滅とのタイミングを示す図であり、（ｃ）はそのときに撮像されたフレーム画像である。なお、本図面を物件提出書に添付する。 本発明の一実施形態に係る対象物検出用画像処理装置の画像処理を説明するための図であり、（ａ）は撮像したフレーム画像であり、（ｂ）はＲ成分のフレーム画像および差分画像であり、（ｃ）はＧ成分のフレーム画像および差分画像であり、（ｄ）はＲおよびＧ成分差分画像と最終差分画像である。なお、本図面を物件提出書に添付する。 本発明の一実施形態に係る対象物検出用画像処理装置が行う画像処理のフロー図である。 本発明の一実施形態に係る対象物検出用画像処理装置を搭載したユーザインターフェース装置の態様を説明する図であり、（ａ）は当該ユーザインターフェース装置であり、（ｂ）ないし（ｄ）は対象物である掌の検出方法を説明するための図である。 本発明の一実施形態に係る対象物検出用画像処理装置を搭載したユーザインターフェース装置のカーソルの態様を説明するための図である。 本発明の一実施形態に係る対象物検出用画像処理装置の動作手順のフロー図である。

符号の説明

１０ 画像取込部
２０ フレーム画像ペアリング部
３０ 成分画像生成部
４０ 成分差分画像生成部
５０ 対象物抽出部
３１０ Ｒ成分生成部
３２０ Ｇ成分生成部
３３０ Ｂ成分生成部
４１０ Ｒ成分差分画像生成部
４２０ Ｇ成分差分画像生成部
４３０ Ｂ成分差分画像生成部
５１０ 差分画像生成部
５２０ 二値化処理部
５３０ ラベリング処理部
５４０ 領域選定部
１０００ 対象物検出用画像処理装置
２０００ 画像撮像部
３０００ 対象物照射部

Claims (10)

1. 所定のフレームレートで対象物を含む風景を撮像する撮像手段と、三原色の何れか１つの領域または赤外領域の波長の光で前記対象物を照射する照射手段であって、前記撮像手段のフレームレートに同期して照射光を点滅させる照射手段と、を備え、前記撮像手段が撮像した画像から前記対象物を検出する対象物検出用画像処理装置において、
   前記撮像手段が撮像した複数のフレーム画像を時系列に受け取る画像取込手段と、
   前記画像取込手段が受け取ったフレーム画像から、前記照射手段が点灯時に撮像されたフレーム画像と、前記照射手段が消灯時に撮像されたフレーム画像と、を選択して一対にするフレーム画像ペアリング手段と、
   前記一対になったフレーム画像から前記照明手段の発光色に相当する色成分をそれぞれ抽出して、一対の第１成分フレーム画像を生成する第１成分画像生成手段と、
   前記一対になったフレーム画像から前記照明手段の発光色とは異なる任意の１つの色成分をそれぞれ抽出して、一対の第２成分フレーム画像を生成する第２成分画像生成手段と、
   前記一対の第１成分フレーム画像から第１差分画像を生成する第１差分画像生成手段と、
   前記一対の第２成分フレーム画像から第２差分画像を生成する第２差分画像生成手段と、
   前記第１差分画像と前記第２差分画像とから第３差分画像を生成し、その第３差分画像を基に前記対象物を認識する対象物抽出手段と、
   を備えることを特徴とする対象物検出用画像処理装置。
2. 前記照射手段は、１つまたは複数の発光ダイオードから構成されることを特徴とする請求項１に記載の対象物検出用画像処理装置。
3. 前記フレーム画像ペアリング手段による前記一対のフレーム画像の選択は、前記撮像手段のフレームレートと、前記照射手段の照射光の点灯周期と、前記対象物の挙動とに基づいて行われることを特徴とする請求項１または２に記載の対象物検出用画像処理装置。
4. 前記撮像手段は、単一のカメラから構成されることを特徴とする請求項１ないし３の何れか一項に記載の対象物検出用画像処理装置。
5. 所定のフレームレートで対象物を含む風景を撮像する撮像手段と、三原色の何れか１つの領域または赤外領域の波長の光で前記対象物を照射する照射手段であって、前記撮像手段のフレームレートに同期して照射光を点滅させる照射手段と、を備えた画像処理装置によって行われる、前記撮像手段が撮像した画像から前記対象物を検出する対象物検出用画像処理方法において、
   前記撮像手段が撮像した複数のフレーム画像を時系列に受け取る画像取込段階と、
   前記画像取込段階で受け取ったフレーム画像から、前記照射手段が点灯時に撮像されたフレーム画像と、前記照射手段が消灯時に撮像されたフレーム画像と、を選択して一対にするフレーム画像ペアリング段階と、
   前記一対になったフレーム画像から前記照明手段の発光色に相当する色成分をそれぞれ抽出して、一対の第１成分フレーム画像を生成する第１成分画像生成段階と、
   前記一対になったフレーム画像から前記照明手段の発光色とは異なる任意の１つの色成分をそれぞれ抽出して、一対の第２成分フレーム画像を生成する第２成分画像生成段階と、
   前記一対の第１成分フレーム画像から第１差分画像を生成する第１差分画像生成段階と、
   前記一対の第２成分フレーム画像から第２差分画像を生成する第２差分画像生成段階と、
   前記第１差分画像と前記第２差分画像とから第３差分画像を生成し、その第３差分画像を基に前記対象物を認識する対象物抽出段階と、
   を含むことを特徴とする対象物検出用画像処理方法。
6. 前記照射手段は、１つまたは複数の発光ダイオードから構成されることを特徴とする請求項５に記載の対象物検出用画像処理方法。
7. 前記フレーム画像ペアリング段階における前記一対のフレーム画像の選択は、前記撮像手段のフレームレートと、前記照射手段の照射光の点灯周期と、前記対象物の挙動とに基づいて行われることを特徴とする請求項５または６に記載の対象物検出用画像処理方法。
8. 前記撮像手段は、単一のカメラから構成されることを特徴とする請求項５ないし７の何れか一項に記載の対象物検出用画像処理方法。
9. 請求項５ないし８の何れか１項に記載の方法をコンピュータに実行させるソフトウェア。
10. 請求項９に記載のソフトウェアを格納したコンピュータ可読媒体。

Images