JP5517555B2 - 画像処理装置、物体検出方法及びプログラム - Google Patents
画像処理装置、物体検出方法及びプログラムInfo
- Publication number
- JP5517555B2 JP5517555B2 JP2009240608A JP2009240608A JP5517555B2 JP 5517555 B2 JP5517555 B2 JP 5517555B2 JP 2009240608 A JP2009240608 A JP 2009240608A JP 2009240608 A JP2009240608 A JP 2009240608A JP 5517555 B2 JP5517555 B2 JP 5517555B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- frame rate
- reduction
- reduced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置、物体検出方法及びプログラムに関する。
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮等の多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１の"Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｉｍａｇｅｓ： Ａ Ｓｕｒｖｅｙ"と題するＹａｎｇらの報告に各種方式が挙げられている。この中では、いくつかの顕著な特徴（２つの目、口、鼻等）とその特徴間の固有の幾何学的位置関係とを利用する等して人間の顔を検出する方式が示されている。
例えば、非特許文献２に"Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ"と題するＲｏｗｌｅｙらの報告で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。
まず、装置は、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されている。装置は、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
例えば、非特許文献２に"Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ"と題するＲｏｗｌｅｙらの報告で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。
まず、装置は、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されている。装置は、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
上記顔検出を監視カメラに適用する場合には、フレーム間で画面から消える可能性がある被写体を優先して検出していくことが求められる。つまり、画面から消える可能性が高い被写体においては、あるフレームで検出できないと、画面から消える可能性が高いので、次のフレーム以降でも検出できないからである。
ここで、画面から消える可能性のある被写体とは、画面内での動きが大きい被写体である。つまり、フレーム間で画面内の動きの大きい被写体から検出していくことが必要である。
画面内の動きが大きいか、小さいかは被写体とカメラとの距離に依存する。例えば、図１において、被写体Ａと被写体Ｂとがいる。被写体Ａと被写体Ｂとが同じ量の移動をしたとしても、カメラから近いので、被写体Ａは動きが大きくなる。逆に、カメラから遠いので、被写体Ｂは動きが小さくなる。ここで、図１は、カメラと被写体との距離の関係を説明するための図である。
次に、カメラから近い被写体Ａは画像に大きく写る。逆にカメラから遠い被写体Ｂは画像に小さく写る。
このことから、監視カメラでは、小さく写っている被写体よりも、大きく写っている被写体に対する検出を優先的に行うことが必要とされている。
ここで、画面から消える可能性のある被写体とは、画面内での動きが大きい被写体である。つまり、フレーム間で画面内の動きの大きい被写体から検出していくことが必要である。
画面内の動きが大きいか、小さいかは被写体とカメラとの距離に依存する。例えば、図１において、被写体Ａと被写体Ｂとがいる。被写体Ａと被写体Ｂとが同じ量の移動をしたとしても、カメラから近いので、被写体Ａは動きが大きくなる。逆に、カメラから遠いので、被写体Ｂは動きが小さくなる。ここで、図１は、カメラと被写体との距離の関係を説明するための図である。
次に、カメラから近い被写体Ａは画像に大きく写る。逆にカメラから遠い被写体Ｂは画像に小さく写る。
このことから、監視カメラでは、小さく写っている被写体よりも、大きく写っている被写体に対する検出を優先的に行うことが必要とされている。
ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ， ＶＯＬ．２４ ， ＮＯ．１， ＪＡＮＵＡＲＹ ２００２.
ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ， ＶＯＬ．２０ ， ＮＯ．１， ＪＡＮＵＡＲＹ １９９８.
しかしながら、従来技術では、様々な解像度の画像に対して、顔検出処理が必要な為、計算量が多い。例えば、大きなサイズの画像から顔検出を行った場合、途中で計算の打ち切りが行われると、画面中に大きく写った顔を検出できない問題があった。一方、小さいサイズの画像から顔検出を行った場合、途中で計算を打ち切ると、画面中に小さく写った顔を検出できない問題があった。
本発明はこのような問題点に鑑みなされたもので、画像からの物体検出にかかる計算量を減らすことを目的とする。
そこで、本発明の画像処理装置は、画像をフレーム単位で入力する画像入力手段と、前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、を有する。
本発明によれば、画像からの物体検出にかかる計算量を減らすことができる。
以下、本発明の実施形態について図面に基づいて説明する。
図２は、画像処理装置の構成の一例を示す図である。
撮像部１０１は、例えばデジタルスチルカメラ、カムコーダ、フィルムスキャナー等で構成され、画像データを撮像する。
画像入力部１０２は、撮像部１０１で撮影した画像データを所定時間間隔で取得し、フレーム単位で出力する。
画像縮小部１０３は、画像入力部１０２から出力された画像データを所定の倍率にしたがって縮小し、出力する。
フレームレート制御部１０４は、入力されたフレーム数をカウントして、縮小画像の顔検出を縮小率に応じた所望のフレームレートで行う為の制御を行う。
画像メモリ１２０は、画像入力部１０２及び画像縮小部１０３から出力された画像データを一時的に記憶する。
顔検出部１０５は、画像の中から顔の領域を抽出する。顔検出部１０５は、以下の領域切り出し部１１１、顔判別部１１２により構成される。
領域切り出し部１１１は、画像メモリ１２０に記憶されている画像データから所定の部分領域を照合対象のパターンとして抽出する。
顔判別部１１２は、領域切り出し部１１１から出力された照合パターンが顔パターンか非顔パターンかを判別する。
図２は、画像処理装置の構成の一例を示す図である。
撮像部１０１は、例えばデジタルスチルカメラ、カムコーダ、フィルムスキャナー等で構成され、画像データを撮像する。
画像入力部１０２は、撮像部１０１で撮影した画像データを所定時間間隔で取得し、フレーム単位で出力する。
画像縮小部１０３は、画像入力部１０２から出力された画像データを所定の倍率にしたがって縮小し、出力する。
フレームレート制御部１０４は、入力されたフレーム数をカウントして、縮小画像の顔検出を縮小率に応じた所望のフレームレートで行う為の制御を行う。
画像メモリ１２０は、画像入力部１０２及び画像縮小部１０３から出力された画像データを一時的に記憶する。
顔検出部１０５は、画像の中から顔の領域を抽出する。顔検出部１０５は、以下の領域切り出し部１１１、顔判別部１１２により構成される。
領域切り出し部１１１は、画像メモリ１２０に記憶されている画像データから所定の部分領域を照合対象のパターンとして抽出する。
顔判別部１１２は、領域切り出し部１１１から出力された照合パターンが顔パターンか非顔パターンかを判別する。
以下、画像処理装置１００の動作について説明する。
本実施形態では、画像処理装置１００が、入力画像及び縮小画像を０．８の縮小率で順次、縮小し、それに対して顔を検出していく例を示す。また、本実施形態では、画像処理装置１００が、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とする。ここで、縮小した画像の縮小率が入力画像に対して０．７以上は小さく写っている顔を検出する高解像度画像、０．７未満で０．４以上は次に小さく写っている顔を検出する中解像度画像、０．４未満は大きく写っている顔を検出する低解像度画像とする。次に、顔検出処理のフレームレートは、高解像度画像で４フレームに１回、中解像度画像で２フレームに１回、低解像度画像でフレーム毎とする。次に本実施形態の動作を図３に従って説明する。
本実施形態では、画像処理装置１００が、入力画像及び縮小画像を０．８の縮小率で順次、縮小し、それに対して顔を検出していく例を示す。また、本実施形態では、画像処理装置１００が、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とする。ここで、縮小した画像の縮小率が入力画像に対して０．７以上は小さく写っている顔を検出する高解像度画像、０．７未満で０．４以上は次に小さく写っている顔を検出する中解像度画像、０．４未満は大きく写っている顔を検出する低解像度画像とする。次に、顔検出処理のフレームレートは、高解像度画像で４フレームに１回、中解像度画像で２フレームに１回、低解像度画像でフレーム毎とする。次に本実施形態の動作を図３に従って説明する。
図３は、物体検出に係る処理の一例を示すフローチャートである。
まず、画像入力部１０２は、撮像部１０１で撮影した画像データを取得する（ＳＴＥＰ００１）。ここで取得した画像データは、例えば８ビットの画素により構成される２次元配列データであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合、画像入力部１０２は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。更に、本実施形態ではＲＧＢデータを輝度データ（輝度画像データ）に変換し、輝度画像データを以後の処理に適用するものとする。画像入力部１０２は、画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
画像入力部１０２は、取得した画像データを画像縮小部１０３と画像メモリ１２０とに出力する。
フレームレート制御部１０４は、入力フレーム数をカウントする。フレームレート制御部１０４は、カウント数に応じてＮフレーム目が４フレームに１回である否か判定する（ＳＴＥＰ００２）。
まず、画像入力部１０２は、撮像部１０１で撮影した画像データを取得する（ＳＴＥＰ００１）。ここで取得した画像データは、例えば８ビットの画素により構成される２次元配列データであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合、画像入力部１０２は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。更に、本実施形態ではＲＧＢデータを輝度データ（輝度画像データ）に変換し、輝度画像データを以後の処理に適用するものとする。画像入力部１０２は、画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
画像入力部１０２は、取得した画像データを画像縮小部１０３と画像メモリ１２０とに出力する。
フレームレート制御部１０４は、入力フレーム数をカウントする。フレームレート制御部１０４は、カウント数に応じてＮフレーム目が４フレームに１回である否か判定する（ＳＴＥＰ００２）。
まず、フレームレート制御部１０４がＮフレーム目を４フレームに１回ではないと判定した場合について説明する。即ち、Ｎを４で割った余りが０以外の場合、顔検出部１０５は、高解像度画像の顔検出処理は行わない。この場合、画像縮小部１０３は、中解像度画像の顔検出処理で必要な倍率の縮小画像を生成する（ＳＴＥＰ１００）。中解像度画像の顔検出処理では、入力画像に対して０．７未満の縮小率の画像が必要になる。その為、ＳＴＥＰ１００では、画像縮小部１０３は、入力画像に対して、０．８の倍率を２回掛けた０．６４の倍率で縮小する。つまり、画像縮小部１０３は、画像入力部１０２から出力されてくる入力画像に対して０．６４の倍率で縮小を行い、画像メモリ１２０に出力する。
次に、フレームレート制御部１０４がＮフレーム目を４フレームに１回であると判定した場合について説明する。即ち、Ｎを４で割った余りが０の場合、顔検出部１０５は、画像メモリ１２０に保存されている入力画像で顔検出処理を行う（ＳＴＥＰ００３）。まず、領域切り出し部１１１は、画像メモリ１２０に保存されている入力画像を選択して読み出す。領域切り出し部１１１は、読み出した画像データから所定の大きさの部分領域を抽出して、顔判別部１１２に出力する。この様子を図４に示す。図４のＡの列は画像縮小部１０３で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図４のＢの列はそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。
顔判別部１１２は、領域切り出し部１１１で抽出された照合パターンが顔パターンか非顔パターンかを判別する。顔判別部１１２における顔判別の方法は、例えば非特許文献２による方法を用いる。
次に、画像縮小部１０３は、画像入力部１０２から出力されてくる入力画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．７より小さいか比較する（ＳＴＥＰ００５）。０．７以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００３）。更に、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００５に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．７より小さくなるまで繰り返して高解像度画像の顔検出が終了する。
顔判別部１１２は、領域切り出し部１１１で抽出された照合パターンが顔パターンか非顔パターンかを判別する。顔判別部１１２における顔判別の方法は、例えば非特許文献２による方法を用いる。
次に、画像縮小部１０３は、画像入力部１０２から出力されてくる入力画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．７より小さいか比較する（ＳＴＥＰ００５）。０．７以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００３）。更に、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００５に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．７より小さくなるまで繰り返して高解像度画像の顔検出が終了する。
次に、中解像度画像の顔検出の処理について説明する。
フレームレート制御部１０４は、Ｎフレーム目が２フレームに１回であるか判定する（ＳＴＥＰ００６）。
まず、フレームレート制御部１０４がＮフレーム目を２フレームに１回ではないと判定した場合について説明する。即ち、Ｎを２で割った余りが０以外の場合、顔検出部１０５は、中解像度画像の顔検出処理は行わない。この場合に、低解像度画像の顔検出処理で必要な倍率の縮小画像を生成する必要がある（ＳＴＥＰ１０１）。低解像度画像の顔検出処理では、入力画像に対して０．４未満の縮小率の画像が必要になる。ＳＴＥＰ００４若しくはＳＴＥＰ１００で、入力画像に対して０．６４の倍率で縮小されている。その為、ＳＴＥＰ１０１では、画像縮小部１０３が、ＳＴＥＰ００４若しくはＳＴＥＰ１００で縮小された画像に対して、０．８の倍率を３回掛けた０．５１２の倍率で縮小する。つまり、ＳＴＥＰ１０１で縮小する画像は、入力画像に対して０．３２７６８の倍率になる。以上から、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して０．５１２の倍率で縮小を行い、画像メモリ１２０に出力する。
フレームレート制御部１０４は、Ｎフレーム目が２フレームに１回であるか判定する（ＳＴＥＰ００６）。
まず、フレームレート制御部１０４がＮフレーム目を２フレームに１回ではないと判定した場合について説明する。即ち、Ｎを２で割った余りが０以外の場合、顔検出部１０５は、中解像度画像の顔検出処理は行わない。この場合に、低解像度画像の顔検出処理で必要な倍率の縮小画像を生成する必要がある（ＳＴＥＰ１０１）。低解像度画像の顔検出処理では、入力画像に対して０．４未満の縮小率の画像が必要になる。ＳＴＥＰ００４若しくはＳＴＥＰ１００で、入力画像に対して０．６４の倍率で縮小されている。その為、ＳＴＥＰ１０１では、画像縮小部１０３が、ＳＴＥＰ００４若しくはＳＴＥＰ１００で縮小された画像に対して、０．８の倍率を３回掛けた０．５１２の倍率で縮小する。つまり、ＳＴＥＰ１０１で縮小する画像は、入力画像に対して０．３２７６８の倍率になる。以上から、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して０．５１２の倍率で縮小を行い、画像メモリ１２０に出力する。
次に、フレームレート制御部１０４がＮフレーム目を２フレームに１回であると判定した場合について説明する。即ち、Ｎを２で割った余りが０の場合、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出処理を行う（ＳＴＥＰ００７）。次に、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８倍の倍率に縮小する（ＳＴＥＰ００８）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．４より小さいか比較する（ＳＴＥＰ００９）。０．４以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００７）。その後、画像縮小部１０３は、縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００８）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００９に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．４より小さくなるまで繰り返して中解像度画像の顔検出が終了する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．４より小さいか比較する（ＳＴＥＰ００９）。０．４以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００７）。その後、画像縮小部１０３は、縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００８）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００９に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．４より小さくなるまで繰り返して中解像度画像の顔検出が終了する。
次に、低解像度画像の顔検出のフローについて説明する。低解像度の画像の顔検出処理はフレーム毎、行われる。顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出処理を行う（ＳＴＥＰ０１０）。次に、フレームレート制御部１０４が、低解像度画像の縮小率により低解像度画像の顔検出が終了するか判定を行う。ただし、縮小率は、画像メモリ１２０に保存されている縮小画像の縮小率ではなく、フレームレート制御部１０４は、次のＳＴＥＰ０１２で縮小した場合の縮小率で比較を行う。つまり、フレームレート制御部１０４は、ＳＴＥＰ０１２で縮小した場合の縮小率が入力画像に対して０．２より小さいか比較する（ＳＴＥＰ０１１）。ここで、画像縮小部１０３が縮小する画像の縮小率が入力画像に対して０．２未満であると、ここで終了する。
画像縮小部１０３が縮小する画像の縮小率が入力画像に対して０．２以上の場合、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８倍の倍率に縮小する（ＳＴＥＰ０１２）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。その後、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ０１０）。同じように、フレームレート制御部１０４は、次のＳＴＥＰ０１２で縮小する画像の縮小率が入力画像に対して０．２より小さいか比較する（ＳＴＥＰ０１１）。
このようにして、画像を縮小していき、縮小率が入力画像に対して０．２より小さくなるまで繰り返して低解像度画像の顔検出が終了する。
画像縮小部１０３が縮小する画像の縮小率が入力画像に対して０．２以上の場合、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８倍の倍率に縮小する（ＳＴＥＰ０１２）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。その後、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ０１０）。同じように、フレームレート制御部１０４は、次のＳＴＥＰ０１２で縮小する画像の縮小率が入力画像に対して０．２より小さいか比較する（ＳＴＥＰ０１１）。
このようにして、画像を縮小していき、縮小率が入力画像に対して０．２より小さくなるまで繰り返して低解像度画像の顔検出が終了する。
以上のように、画像処理装置１００は、大きく写っている被写体は所定のフレームレートより高い高フレームレートで検出を行い、小さく写っている被写体は所定のフレームレートより低い低フレームレートで検出処理を行う。このことにより、処理負荷が軽くなると共に、カメラから近い被写体はフレーム毎に認識することができる。
以上説明した実施形態では、入力画像及び縮小画像の縮小率を０．８で説明したが、これは一例であって他の縮小率でもよい。
また、本実施形態では、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とで説明した。つまり、画像処理装置１００は、縮小率が所定の縮小率以上（０．７以上）の画像に対しては低フレームレートで被写体（物体）の検出を行い、縮小率が所定の縮小率未満（０．４未満）の画像に対しては高フレームレートで被写体の検出を行うよう説明した。しかしながら、これは一例であって他の複数の縮小率でもよい。
また、本実施形態では、顔検出のフレームレートを高解像度画像は４フレームに１回、中解像度画像は２フレームに１回、低解像度画像はフレーム毎で説明したが、他のフレームレートでもよい。
また、本実施形態では、様々な大きさの顔を検出する為に、複数の解像度の画像から、画像中の顔パターンを検出することによりする方法で説明したが、顔検出部１０５を人体等の他のオブジェクトの検出に置き換えてもよい。
以上説明した実施形態では、入力画像及び縮小画像の縮小率を０．８で説明したが、これは一例であって他の縮小率でもよい。
また、本実施形態では、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とで説明した。つまり、画像処理装置１００は、縮小率が所定の縮小率以上（０．７以上）の画像に対しては低フレームレートで被写体（物体）の検出を行い、縮小率が所定の縮小率未満（０．４未満）の画像に対しては高フレームレートで被写体の検出を行うよう説明した。しかしながら、これは一例であって他の複数の縮小率でもよい。
また、本実施形態では、顔検出のフレームレートを高解像度画像は４フレームに１回、中解像度画像は２フレームに１回、低解像度画像はフレーム毎で説明したが、他のフレームレートでもよい。
また、本実施形態では、様々な大きさの顔を検出する為に、複数の解像度の画像から、画像中の顔パターンを検出することによりする方法で説明したが、顔検出部１０５を人体等の他のオブジェクトの検出に置き換えてもよい。
＜その他の実施形態＞
上述した機能又はフローチャートに係る工程は、ネットワーク又は各種記憶媒体を介して記憶装置等に記憶したソフトウェア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
上述した機能又はフローチャートに係る工程は、ネットワーク又は各種記憶媒体を介して記憶装置等に記憶したソフトウェア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
以上、上述した各実施形態によれば、画像からの物体検出にかかる計算量を減らすことができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０２ 画像入力部、１０３ 画像縮小部、１０５ 顔検出部
Claims (3)
- 画像をフレーム単位で入力する画像入力手段と、
前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、
前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、
を有する画像処理装置。 - 画像処理装置が実行する物体検出方法であって、
画像をフレーム単位で入力する画像入力ステップと、
前記画像入力ステップで入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小ステップと、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御ステップと、
前記制御ステップで制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出ステップと、
を含む物体検出方法。 - コンピュータを、
画像をフレーム単位で入力する画像入力手段と、
前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、
前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、
して機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009240608A JP5517555B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置、物体検出方法及びプログラム |
| US12/903,017 US8749654B2 (en) | 2009-10-19 | 2010-10-12 | Detecting objects from images of different resolutions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009240608A JP5517555B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置、物体検出方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011086246A JP2011086246A (ja) | 2011-04-28 |
| JP5517555B2 true JP5517555B2 (ja) | 2014-06-11 |
Family
ID=43879003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009240608A Active JP5517555B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置、物体検出方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8749654B2 (ja) |
| JP (1) | JP5517555B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6301759B2 (ja) * | 2014-07-07 | 2018-03-28 | 東芝テック株式会社 | 顔識別装置及びプログラム |
| JP6508648B2 (ja) | 2014-11-27 | 2019-05-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | データベースを管理するシステム及び方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000270298A (ja) * | 1999-03-19 | 2000-09-29 | Sharp Corp | 撮像装置 |
| JP2005073218A (ja) * | 2003-08-07 | 2005-03-17 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JP4479478B2 (ja) * | 2004-11-22 | 2010-06-09 | 株式会社日立製作所 | パターン認識方法および装置 |
| JP4386447B2 (ja) * | 2005-09-26 | 2009-12-16 | 富士フイルム株式会社 | 画像分割装置および方法並びにプログラム |
| JP4933186B2 (ja) * | 2006-07-26 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US8249359B2 (en) * | 2007-04-13 | 2012-08-21 | Panasonic Corporation | Detector for detecting a predetermined image in an input image, and detection method and integrated circuit for performing the same |
| US20090022403A1 (en) * | 2007-07-20 | 2009-01-22 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| JP4905279B2 (ja) * | 2007-07-20 | 2012-03-28 | ソニー株式会社 | 撮像回路および撮像装置 |
| JP4539729B2 (ja) * | 2008-02-15 | 2010-09-08 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
| JP2009211311A (ja) * | 2008-03-03 | 2009-09-17 | Canon Inc | 画像処理装置及び方法 |
| JP4535164B2 (ja) * | 2008-04-09 | 2010-09-01 | ソニー株式会社 | 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム |
| JP4623193B2 (ja) * | 2008-09-29 | 2011-02-02 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
-
2009
- 2009-10-19 JP JP2009240608A patent/JP5517555B2/ja active Active
-
2010
- 2010-10-12 US US12/903,017 patent/US8749654B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8749654B2 (en) | 2014-06-10 |
| US20110090360A1 (en) | 2011-04-21 |
| JP2011086246A (ja) | 2011-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7357998B2 (ja) | 画像処理方法、スマート機器及びコンピュータプログラム | |
| US8508599B2 (en) | Motion vector detection apparatus, motion vector detection method, and image capturing apparatus | |
| CN113850833A (zh) | 使用降低分辨率的神经网络和先前帧的掩模的视频帧分割 | |
| EP3082065A1 (en) | Duplicate reduction for face detection | |
| JP5517504B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6624878B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20090116705A1 (en) | Image processing apparatus, image processing method, image processing program, image capturing apparatus, and controlling method thereof | |
| JP5693094B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| GB2594761A (en) | Video stream manipulation | |
| JP5578816B2 (ja) | 画像処理装置 | |
| JP5279517B2 (ja) | 物体検知装置及び物体検知方法 | |
| JP2010165052A (ja) | 画像処理装置及び画像処理方法 | |
| US8482812B2 (en) | Image processing apparatus for detecting object from image and method thereof | |
| KR101861245B1 (ko) | 멀티 센서 ｃｃｔｖ 파노라마 영상에서 움직임 검출 시스템 및 방법 | |
| US20230018877A1 (en) | Image/video analysis with activity signatures | |
| US8625933B2 (en) | Image processing apparatus and method for the same | |
| JP5258506B2 (ja) | 情報処理装置 | |
| JP5517555B2 (ja) | 画像処理装置、物体検出方法及びプログラム | |
| JP5042251B2 (ja) | 画像処理装置および画像処理方法 | |
| Satiro et al. | Super-resolution of facial images in forensics scenarios | |
| US9159118B2 (en) | Image processing apparatus, image processing system, and non-transitory computer-readable medium | |
| JP2020194532A (ja) | 歪み画像内の対象物を検出するための方法、システム、およびデバイス | |
| JP6915685B2 (ja) | 学習装置、超解像化装置、学習方法、超解像化方法およびプログラム | |
| CN110647792A (zh) | 信息处理设备、控制方法和存储介质 | |
| WO2023276050A1 (ja) | 画像処理システム及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140401 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5517555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |