JP4635663B2

JP4635663B2 - 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP4635663B2
Application number: JP2005073752A
Authority: JP
Inventors: 啓喬石井; 丹一安藤
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2005-03-15
Filing date: 2005-03-15
Publication date: 2011-02-23
Anticipated expiration: 2025-03-15
Also published as: JP2006259899A

Description

本発明は、画像処理システム、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、被写体の動きを検出する画像処理システム、画像処理装置および方法、記録媒体、並びにプログラムに関する。

従来、ボタンやスイッチなどを操作せずに、画像認識の技術を用いてユーザの身体の動きや形を認識して、ユーザの身振りや手振りなどにより各種の装置の操作を行うインタフェース（以下、ジェスチャインタフェースと称する）の研究が行われている。例えば、車載用のナビゲーションシステムにジェスチャインタフェースを用いて、手を動かした方向に画面がスクロールしたり、指で示した数の項目が選択されるようにしたりすれば、運転中でも、簡単かつ安全にナビゲーションシステムを操作することができるようになる。

ところで、ジェスチャインタフェースを実現するには、被写体の動きを正確に検出する技術が重要である。

被写体の動きを検出する手法には、フレーム間の画像の差分をとり、フレーム間の違いを検出することにより、被写体の動きを検出する方法（以下、差分検出方法と称する）がある（例えば、特許文献１参照）。

また、画像内の被写体の輪郭を抽出して、被写体の動きを検出する方法（以下、輪郭検出方法と称する）がある。例えば、輪郭検出方法では、例えば、まず、画像内の画素値が急激に変化する部分などから被写体の輪郭を抽出する。次に、物体形状認識の手法を用いて、予め登録されている検出対象物（例えば、ユーザの手）の特徴量に基づいて、抽出した輪郭の中から検出対象物の輪郭を検出する。そして、複数のフレーム間の検出対象物の位置や形状の変化などに基づいて、検出対象物の動きを検出する。

特開平１１−３０８６０１号公報

図１は、従来の撮像装置に使用されるCCD（Charge Coupled Device）撮像素子の感度特性を示すグラフである。図１の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１はCCD撮像素子の感度特性を示し、線２は人の目の感度特性を示している。なお、従来のCMOS（Complementary Metal Oxide Semiconductor）撮像素子の感度特性は、線１に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。

図１に示されるように、CCD撮像素子は、人の目よりダイナミックレンジが狭い。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要がある。

しかしながら、被写体の光の照度の範囲がCCD撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値がCCD撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値がCCD撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生する。また、入射光量を調整した場合、例えば、被写体の輝度が変動しない領域に対応する入射光量が変動し、その領域の画素値が変動するなど、入射光量の調整に伴う画素値の変動が発生する。すなわち、従来のCCD撮像素子を用いた撮像装置では、被写体の輝度の変動および被写体の動き以外の要因により画素値が変動する。

従って、被写体の動きを正確に検出するためには、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分する必要がある。そのため、差分検出方法においても、例えば、その被写体の画像の輪郭を強調する輪郭強調処理などを行う必要があり、処理が複雑になってしまう。また、周囲の明るさが大きく変化したり、被写体の輝度の範囲が広い場合には、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分することが困難であり、被写体の動きを正確に検出できない場合がある。

また、輪郭検出方法では、上述したように輪郭抽出処理、検出対象物の検出処理、および、動き検出処理など複雑な処理を行う必要がある。さらに、輪郭検出方法では、周囲の明るさなどの撮像条件の変動、物体の重なり、物体の向きや変形などを考慮する必要があり、被写体の動きを正確に検出することが困難である。また、輪郭抽出処理はノイズの影響を受けやすく、被写体の動きを正確に検出することが困難である。

本発明は、このような状況に鑑みてなされたものであり、より簡単かつ正確に被写体の動きを検出するようにするものである。

本発明の画像処理システムは、被写体を撮像し、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、撮像装置から出力された画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値の範囲が最小の階級の範囲内の差分値の絶対値を変動閾値に設定する閾値設定手段と、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きを検出する動き検出手段とを含むことを特徴とする。

撮像装置は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により構成される。

差分データ生成手段、閾値設定手段、および、動き検出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。

差分データは、例えば、２枚のフレーム間の画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。

本発明の画像処理システムにおいては、被写体が撮像され、入射光量の対数にほぼ比例した画素値からなる画像データが出力され、出力された画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データが生成され、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値の範囲が最小の階級の範囲内の差分値の絶対値が変動閾値に設定され、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きが検出される。

従って、被写体の動きを簡単かつ確実に検出することができる。これにより、動き検出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。

本発明の画像処理装置は、被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値が最小の階級の範囲内の差分値の絶対値を変動閾値に設定する閾値設定手段と、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きを検出する動き検出手段とを含むことを特徴とする。

本発明の画像処理装置においては、被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データが生成され、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値が最小の階級の範囲内の差分値の絶対値が変動閾値に設定され、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きが検出される

本発明の画像処理装置においては、動き検出手段は、抽出領域内において、被写体の輪郭を抽出し、被写体の移動方向の輪郭の幅に基づいて、被写体の動きベクトルの大きさを求め、差分データにおける差分値の位置の分布に基づいて、被写体の動きベクトルの方向を求めるようにすることができる。

本発明の画像処理装置においては、画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力されるようにすることができる。

従って、周囲の明るさが大きく変動する環境下においても、被写体の動きを確実に検出することができる。また、被写体の輝度などに応じて、入射光量を調整する必要がないため、動き検出処理に要する時間を短縮することができる。

本発明の画像処理装置においては、撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるようにすることができる。

本発明の画像処理方法およびプログラムは、被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値が最小の階級の範囲内の差分値の絶対値を変動閾値に設定する閾値設定ステップと、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きを検出する動き検出ステップとを含むことを特徴とする。

画像データは、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により撮像される。

本発明の画像処理方法およびプログラムにおいては、被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データが生成され、差分データにおける差分値の絶対値の度数分布において、画素数が極小となる階級のうち差分値の絶対値が最小の階級の範囲内の差分値の絶対値が変動閾値に設定され、差分データにおいて差分値の絶対値が変動閾値以上の画素からなる抽出領域内の被写体の輪郭に基づいて、被写体の動きが検出される。

本発明によれば、被写体の動きを検出することができる。また、本発明によれば、より簡単かつ正確に被写体の動きを検出することができる。

図２は、本発明を適用した画像処理システム１０１の一実施の形態を示す図である。画像処理システム１０１は、撮像装置１１１および画像処理装置１１２を含むように構成される。

撮像装置１１１は、図３を参照して後述するように、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで被写体を撮像し、撮像した被写体の画像の画像データを画像処理装置１１２に供給する。

画像処理装置１１２は、画像入力制御部１２１、画像記憶部１２２、差分処理部１２３、差分値分布検出部１２４、閾値決定部１２５、および、動き検出部１２６を含むように構成される。

画像入力制御部１２１は、撮像装置１１１から入力される画像データを画像記憶部１２２に記憶させる。

画像記憶部１２２は、RAM（Random Access Memory）などの揮発性のメモリ、または、EEPROM（Electrically Erasable and Programmable Read Only Memory）などの不揮発性のメモリにより構成され、画像入力制御部１２１を介して、撮像装置１１１から入力される画像データを記憶する。

差分処理部１２３は、画像記憶部１２２から２枚のフレームの画像データを読み出す。差分処理部１２３は、２枚のフレーム間の画像データの同じ位置にある画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを、差分値分布検出部１２４、および、動き検出部１２６に供給する。なお、以下、差分データの各画素の画素値を、差分値とも称する。

差分値分布検出部１２４は、図５を参照して後述するように、差分データの差分値の分布を検出する。差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。

閾値決定部１２５は、図５を参照して後述するように、差分データの差分値の分布に基づいて、動いている被写体の画像の画素の差分値と、それ以外の動いていない被写体の画像の画素の差分値とを区分する閾値（以下、変動閾値と称する）を決定する。換言すれば、変動閾値は、被写体の動きにより画素値が変動した画素とそれ以外の画素とを区分する閾値である。閾値決定部１２５は、変動閾値示すデータを動き検出部１２６に供給する。

動き検出部１２６は、図５を参照して後述するように、フレーム間の被写体の動きを検出し、検出した被写体の動きの方向および大きさを示すデータ（以下、動きデータと称する）を外部に出力する。

図３は、図２の撮像装置１１１の一実施の形態を示すブロック図である。撮像装置１１１は、レンズ１３１、および対数変換型撮像素子１３２を含むように構成される。対数変換型撮像素子１３２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１４１、対数変換部１４２、A/D変換部１４３、および撮像タイミング制御部１４４を含むように構成される。

撮像装置１１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１３１に入射し、対数変換型撮像素子１３２の光検出部１４１の図示せぬ光検出面に結像する。

光検出部１４１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部１４１は、レンズ１３１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１４１は、撮像タイミング制御部１４４から供給される制御信号に同期して、蓄積した電荷を対数変換部１４２に供給する。

対数変換部１４２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１４２は、MOSFETのサブスレッショルド特性を利用して、光検出部１４１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１４２は、生成したアナログの電気信号をA/D変換部１４３に供給する。

A/D変換部１４３は、撮像タイミング制御部１４４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２¹⁴−１の範囲の値をとる。A/D変換部１４３は、変換したデジタルの画像データを画像処理装置１１２に供給する。なお、上述した画像データのビット数および画素値の範囲は、その一例であり、それぞれ14bitおよび０乃至２¹⁴−１に限定されるものではない。

このように、撮像装置１１１は、光検出部１４１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

図４は、対数変換型撮像素子１３２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２０１は対数変換型撮像素子１３２の感度特性を示し、線２０２はCCD撮像素子の感度特性を示し、線２０３は銀塩フィルムの感度特性を示し、線２０４は人の目の感度特性を示している。なお、CCD撮像素子の感度特性を示す線２０２は図１の線１に対応し、人の目の感度特性を示す線２０４は図１の線２に対応する。

対数変換型撮像素子１３２は、上述したように、入射光量の対数にほぼ比例した画素値からなる画像データを出力することにより、対数変換型撮像素子１３２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。

従って、対数変換型撮像素子１３２を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。

例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。

また、CCD撮像素子および銀塩フィルムでは、線２０２および線２０３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１３２では、感度特性が入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子１３２を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１１１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。

また、撮像装置１１１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log₁₀10）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。

また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log₁₀1.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。

次に、図５のフローチャートを参照して、監視システム１０１により実行される動き検出処理を説明する。なお、この処理は、例えば、ユーザにより動き検出処理の開始の指令が、画像処理装置１１２に入力されたとき開始される。

ステップＳ１において、撮像装置１１１は被写体を撮像する。具体的には、撮像装置１１１は被写体を撮像し、撮像した画像データを画像入力制御部１２１に出力する。画像入力制御部１２１は、取得した画像データを画像記憶部１２２に記憶させる。

なお、以下、適宜、図６に示されるフレーム２１１−１乃至２１１−５が撮像装置１１１により撮像され、フレーム２１１−１とフレーム２１１−２の間における被写体の動き、および、フレーム２１１−３とフレーム２１１−４の間における被写体の動きを検出する場合の例について説明する。

なお、図６に示される全てのフレームには、手２２１、机２２２、椅子２２３、および、棚２２４が写っている。そのうち、机２２２、椅子２２３、および、棚２２４の位置は、全てのフレームにおいて同じである。机２２２は、フレーム内のほぼ下半分を占める位置にある。椅子２２３は、机２２２の後方であって、フレームの中央やや左よりの位置にある。棚２２４は、机２２２の後方かつ左側であって、フレームの縦方向のほぼ中央かつ左端にある。手２２１は、手のひらをほぼ正面に向けた状態で、机２２２および椅子２２３の前方であって、フレームの右側の位置にある。手２２１は、フレーム２１１−１から２１１−５に進むにつれて、手のひらを広げたまま、フレーム内の下方向に移動している。

また、フレーム２１１−１乃至２１１−３において、周囲の明るさはほぼ一定であり、フレーム２１１−３とフレーム２１１−４との間において、周囲の明るさが暗くなり、フレーム２１１−４および２１１−５において、周囲の明るさはほぼ一定であるものとする。従って、フレーム２１１−４および２１１−５内の被写体の輝度は、フレーム２１１−１乃至２１１−３内の被写体の輝度に比べて、全体的にほぼ一様に下がっている。

ステップＳ２において、差分処理部１２３は、差分データを生成する。具体的には、例えば、フレーム２１１−１とフレーム２１１−２との間の画像データの差分を取る場合、差分処理部１２３は、フレーム２１１−１および２１１−２の画像データを画像記憶部１２２から読み出す。差分処理部１２３は、読み出した画像データの同じ位置の画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを差分値分布検出部１２４および動き検出部１２６に供給する。

図７の差分画像２３１は、フレーム２１１−１と２１１−２との間の差分をとった差分データに基づく画像を模式的に示しており、差分画像２３２は、フレーム２１１−３と２１１−４との間の差分をとった差分データに基づく画像を模式的に示している。

上述したように、撮像装置１１１から出力される画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するよう変動する。従って、差分画像２３１において、フレーム間で動いている被写体に対応する（被写体の動きがあった）領域（フレーム２１１−１または２１１−２において手２２１が写っている領域）は、差分値の絶対値は大きくなり、明るくなる。また、フレーム２１１−１とフレーム２１１−２間で、周囲の明るさがほぼ同じで、被写体の輝度がほとんど変動しないため、差分画像２３１において、フレーム間で動いていない被写体に対応する（被写体の動きがなかった）領域（フレーム２１１−１および２１１−２において手２２１が写っていない領域）は、差分値の絶対値が０かまたはそれに近い値となり、非常に暗くなる。従って、差分画像２３１において、フレーム間で動いている被写体に対応する領域が明確に現れる。

また、動いている被写体の移動方向の輪郭付近の領域（フレーム２１１−１で手２２１が写っていなくて、フレーム２１１−２で手２２１が写っている領域）は、特に画素値の変動が大きく、差分画像２３１において、顕著に明るくなる。従って、差分画像２３１において、動いている被写体（手２２１）の移動方向の輪郭が明確に現れる。

また、フレーム２１１−３とフレーム２１１−４の間で、周囲の明るさが変化し、被写体の輝度が全体的にほぼ一様に変動することにより、差分画像２３２において、フレーム間で動いていない被写体に対応する領域（フレーム２１１−３および２１１−４において手２２１が写っていない領域）は、差分画像２３１におけるフレーム間で動いていない被写体に対応する領域に比べて、ほとんどの画素の差分値の絶対値が大きくなり、全体的に明るくなる。しかし、通常のフレーム速度（例えば、30fps（Frame per second））において、フレーム間の周囲の明るさの変動は小さいため、差分画像２３２においても、フレーム間で動いている被写体に対応する領域（フレーム２１１−３または２１１−４において手２２１が写っている領域）が明確に現れる。

また、動いている被写体の移動方向の輪郭付近の領域（フレーム２１１−３で手２２１が写っていなくて、フレーム２１１−４で手２２１が写っている領域）は、特に画素値の変動が大きく、差分画像２３２において、顕著に明るくなる。従って、差分画像２３２において、動いている被写体（手２２１）の移動方向の輪郭が明確に現れる。

ステップＳ３において、差分値分布検出部１２４は、差分データの差分値の分布を検出する。具体的には、差分値分布検出部１２４は、差分値の絶対値の範囲を所定の数（例えば、１００）の階級に区分して、差分データ内の各画素の差分値の絶対値がどの階級に属するかを検出する。そして、各階級に属する画素の数（度数）を集計することにより、差分データの差分値の分布を検出する。すなわち、差分値の絶対値の度数分布を検出する。なお、例えば、階級の数が１００の場合、各階級には、含まれる差分値の絶対値が小さい階級から順に０から９９までの値（以下、階級識別値と称する）が割り当てられる。

図８のグラフ２４１は、差分画像２３１の差分データの差分値の分布を示し、グラフ２４２は、差分画像２３２の差分データの差分値の分布を示している。グラフ２４１および２４２において、横軸は階級識別値を示し、縦軸は各階級に属する画素の数を示している。また、グラフ２４１および２４２において、縦軸方向の画素数が１０００を超える領域の表示を省略している。

グラフ２４１において、階級識別値が０または０に近い階級に属する画素数、すなわち、差分値の絶対値が０または０に近い値の画素数が突出している。この画素数の突出したピークは、差分画像２３１において、フレーム間で被写体の動いていない領域の画素数が反映されたものである。

そして、グラフ２４１を原点から階級識別値（差分値の絶対値）が大きくなる方向（右方向）に見た場合、画素数は急激に減少し、極小点２４１−１において極小となる。なお、フレーム２１１−１とフレーム２１１−２との間で周囲の明るさがほとんど変化せず、被写体が動いていない領域の画素値はほとんど変動しないため、極小点２４１−１は原点に近い位置となる。その後、画素数は増加に転じ、極大点２４１−２において極大となり、再び減少傾向となり、階級識別値（差分値の絶対値）が大きくなるに従い、０に近づいていく。図７の差分画像２３１を見て明らかなように、この極小点２４１−１より右側の画素数の変化は、差分値の絶対値が大きい被写体（手２２１）が動いている領域内の画素数が反映されたものである。

差分画像２３２の差分データでは、フレーム２１１−３とフレーム２１１−４との間で周囲の明るさが変化したため、全体的に差分値の絶対値が大きくなる傾向となる。また、上述したように、撮像装置１１１から出力される画像データの画素値の分布は、被写体に照射される光の照度に関わらず、被写体の反射率の分布がほぼ同様に反映される。従って、グラフ２４２の波形は、グラフ２４１の波形を右方向（差分値の絶対値が大きくなる方向）に平行移動させたものに近い波形となる。それに合わせて、極小点２４２−１および極大点２４２−２は、極大点２４１−１および極小点２４１−２と比べて、右方向に移動する。

差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。

なお、差分データの差分値の分布を、差分値の絶対値の範囲を階級に区分せずに、差分値ごとに検出するようにしてもよい。

ステップＳ４において、閾値決定部１２５は、変動閾値を決定する。具体的には、閾値決定部１２５は、差分データの差分値の分布において、画素数が極小となる階級のうち、階級識別値が最小値となる階級（以下、閾値階級と称する）を求める。例えば、差分画像２３１の差分データにおいて、グラフ２４１の極小点２４１−１に対応する階級が閾値階級となり、差分画像２３２の差分データにおいて、グラフ２４２の極小点２４２−１に対応する階級が閾値階級となる。閾値決定部１２５は、例えば、閾値階級の範囲内の差分値の絶対値の最大値、最小値、または、中間値を変動閾値とする。

このように、差分データの差分値の分布において、周囲の明るさの変化に関わらず、動いている被写体の画像の画素の差分値と、動いていない被写体の画像の画素の差分値との差が明確に現れるため、変動閾値を簡単かつ確実に決定することができる。

なお、差分データの差分値の分布を、差分値の絶対値の範囲を所定の範囲の階級に区分せずに検出した場合、変動閾値は、差分値の分布において、差分値の絶対値が同じ画素の数が極小となる差分値の絶対値のうち最小の値に決定される。

また、差分値の分布の画素数の細かな変動（振動）による変動閾値の誤検出を防止するために、差分値の絶対値の範囲を階級に区分した場合、画素数が所定の閾値以下となる階級のみを閾値階級の対象とするようにし、差分値の絶対値の範囲を階級に区分しない場合、画素数が所定の閾値以下となる画素値の絶対値のみを変動閾値とするようにしてもよい。

閾値決定部１２５は、変動閾値を示すデータを動き検出部１２６に供給する。

ステップＳ５において、動き検出部１２６は、被写体の動きを検出し、動き検出処理は終了する。具体的には、まず、動き検出部１２６は、差分データから、動いている被写体に対応する領域を抽出する。例えば、動き検出部１２６は、差分データにおいて、差分値の絶対値が変動閾値未満の画素の値（差分値）を０にする。これにより、差分データから、差分値の絶対値が変動閾値以上の画素の領域、すなわち、動いている被写体に対応する領域（以下、抽出領域と称する）が抽出される。

次に、動き検出部１２６は、抽出領域内の画像の輪郭を抽出する。差分画像２３１および２３２に示されるように、差分画像において、動いている被写体の移動方向の輪郭が明確に現れるため、輪郭抽出の手法によらず、動いている被写体の移動方向の輪郭を、ほぼ正確に抽出することができる。また、抽出領域以外の領域については、輪郭の抽出処理を行う必要がないため、輪郭抽出に要する計算量を削減することができる。

そして、動き検出部１２６は、動いている被写体の移動方向の輪郭に基づいて、被写体の動きベクトルを検出する。例えば、動き検出部１２６は、動いている被写体の移動方向の輪郭の幅に基づいて、被写体の動きベクトルの大きさを求め、差分データにおける差分値の位置分布に基づいて、被写体の動きベクトルの方向を求める。動き検出部１２６は、被写体の動きベクトルを示す動きデータを外部に出力する。

以上のようにして、被写体の動きを簡単かつ確実に検出することができる。これにより、動き検出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、周囲の明るさが大きく変動する環境下においても、被写体の動きを確実に検出することができる。さらに、被写体の輝度などに応じて、入射光量を調整する必要がないため、動き検出処理に要する時間を短縮することができる。

なお、撮像装置１１１のフレーム間隔は、動きを検出する対象となる被写体の動きの早さに応じて設定することが望ましい。例えば、被写体のフレーム間における移動距離が、検出したい移動距離の最小値となるようにフレーム間隔を設定することが望ましい。例えば、手のひらの動きを検出する場合、フレーム間の手の移動距離が指の幅程度となるフレーム間隔（例えば、30fps（Frame per second））に設定する。これにより、フレーム間の周囲の明るさの変動による画素値の変動を抑えることができ、被写体の動きによる画素値の変動値と、他の要因による画素値の変動値との差をより大きくすることができるため、被写体の動きの検出精度が向上する。

また、以上では、図８の極小点２４１−１および２４２−１を、グラフ２４１および２４２を原点から階級識別値（差分値の絶対値）が大きくなる方向（右方向）に見て検索する例を説明したが、グラフ２４１および２４２を階級識別値の最大値から階級識別値（差分値の絶対値）が小さくなる方向（左方向）に見て、まず、顕著な極大点２４１−２および２４２−２を検索して、その次に画素数が極小となる点を検索することにより、極小点２４１−１および２４２−１を検索するようにしてもよい。

なお、本発明は、ジェスチャインタフェースを用いた機器に適用することができる。例えば、本発明を車載用のナビゲーションシステムに適用することにより、周囲の明るさが大きく変動する走行中においても、誤動作のないジェスチャインタフェースを実現することができる。また、例えば、本発明を携帯電話機やデジタルカメラに適用することにより、使用する環境によって周囲の明るさが大きく変動しても、ユーザのジェスチャにより携帯電話機やデジタルカメラの操作が行えるようになる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図９は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。

入出力インタフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびモデムやターミナルアダプタなどで構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０２または記録部９０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。

CCD撮像素子などの感度特性を示すグラフである。本発明の画像処理システムの一実施の形態を示すブロック図である。図２の撮像装置の一実施の形態を示すブロック図である。対数変換型撮像素子などの感度特性を示すグラフである。図２の画像処理システムにより実行される動き検出処理を説明するフローチャートである。図２の撮像装置により撮像される画像の例を示す図である。図６の画像データの差分をとった差分データの例を示す図である。図７の差分データの差分値の分布の例を示すグラフである。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０１画像処理システム
１１１撮像装置
１１２画像処理装置
１２１画像入力制御部
１２２画像記憶部
１２３差分処理部
１２４差分値分布検出部
１２５閾値決定部
１２６動き検出部
１３２対数変換型撮像素子
１４１光検出部
１４２対数変換部
９０１ CPU
９０２ ROM
９０３ RAM
９０８記録部
９１０ドライブ
９２１リムーバブルメディア

Claims

被写体を撮像し、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、
前記撮像装置から出力された前記画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
前記差分データにおける前記差分値の絶対値の度数分布において、画素数が極小となる階級のうち前記差分値の絶対値の範囲が最小の階級の範囲内の前記差分値の絶対値を変動閾値に設定する閾値設定手段と、
前記差分データにおいて前記差分値の絶対値が前記変動閾値以上の画素からなる抽出領域内の前記被写体の輪郭に基づいて、前記被写体の動きを検出する動き検出手段と
を含むことを特徴とする画像処理システム。
被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
前記差分データにおける前記差分値の絶対値の度数分布において、画素数が極小となる階級のうち前記差分値の絶対値が最小の階級の範囲内の前記差分値の絶対値を変動閾値に設定する閾値設定手段と、
前記差分データにおいて前記差分値の絶対値が前記変動閾値以上の画素からなる抽出領域内の前記被写体の輪郭に基づいて、前記被写体の動きを検出する動き検出手段と
を含むことを特徴とする画像処理装置。
前記動き検出手段は、前記抽出領域内において、前記被写体の輪郭を抽出し、前記被写体の移動方向の輪郭の幅に基づいて、前記被写体の動きベクトルの大きさを求め、前記差分データにおける前記差分値の位置の分布に基づいて、前記被写体の動きベクトルの方向を求める
ことを特徴とする請求項２に記載の画像処理装置。
前記画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力される
ことを特徴とする請求項２に記載の画像処理装置。
前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
ことを特徴とする請求項４に記載の画像処理装置。
被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
前記差分データにおける前記差分値の絶対値の度数分布において、画素数が極小となる階級のうち前記差分値の絶対値が最小の階級の範囲内の前記差分値の絶対値を変動閾値に設定する閾値設定ステップと、
前記差分データにおいて前記差分値の絶対値が前記変動閾値以上の画素からなる抽出領域内の前記被写体の輪郭に基づいて、前記被写体の動きを検出する動き検出ステップと
を含むことを特徴とする画像処理方法。
被写体を撮像した画像の画像データであって、入射光量の対数にほぼ比例した画素値からなる画像データの第１のフレームの各画素値と第２のフレームの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
前記差分データにおける前記差分値の絶対値の度数分布において、画素数が極小となる階級のうち前記差分値の絶対値が最小の階級の範囲内の前記差分値の絶対値を変動閾値に設定する閾値設定ステップと、
前記差分データにおいて前記差分値の絶対値が前記変動閾値以上の画素からなる抽出領域内の前記被写体の輪郭に基づいて、前記被写体の動きを検出する動き検出ステップと
を含むことを特徴とするプログラム。
請求項７に記載のプログラムを記録した記録媒体。