JP5713790B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5713790B2 JP5713790B2 JP2011104517A JP2011104517A JP5713790B2 JP 5713790 B2 JP5713790 B2 JP 5713790B2 JP 2011104517 A JP2011104517 A JP 2011104517A JP 2011104517 A JP2011104517 A JP 2011104517A JP 5713790 B2 JP5713790 B2 JP 5713790B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- background model
- foreground
- background
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000001514 detection method Methods 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 88
- 230000008569 process Effects 0.000 description 61
- 238000004364 calculation method Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000001186 cumulative effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
また、画像から顔、人などの特定の被写体を検出する方法もある。例えば、人体を検出する技術が開示されている(特許文献1参照。)。この技術では、所定の大きさの検出ウィンドウが入力画像上で走査され、検出ウィンドウ内の画像が切り出されたパターン画像に対して、被写体であるか否かの判別(2クラス判別)が行われる。
ここで、背景差分によって求められた移動物体の領域についてのみ、被写体(人物)であるかどうかの認識を行う技術が開示されている(特許文献2参照。)。一般的に、被写体の検出は、検出ウィンドウを画像中で走査し、毎回、複数の判別器を適用するために処理コストが非常に高くなる。したがって、特許文献1に開示された技術のように、背景差分で検知された移動物体の領域に対してのみ、被写体の検出を行うことで、画像内の全領域に対して行うよりも、全体の処理コストを削減することができる。
特許文献1に開示された技術のように、背景差分によって被写体の検出の探索範囲の絞り込みを行うとしても、このような場合には前景の領域が広くなってしまう。つまり、被写体の検出の探索範囲の絞り込みが適切に行えず、例えば結果として高速な被写体の検知ができなくなってしまう。
本実施形態では、動画像から、人物、動物、車両、物体などの特定の被写体又は被写体の一部を検出する画像処理装置(ネットワークカメラなどのデジタル画像機器)、画像処理ソフトウェア、画像処理方法などに適用可能な技術に関して説明する。
図1は、本実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。CPU101は、ROM102、RAM103等に格納されたプログラムに従って命令を実行する。ROM102は、不揮発性メモリであり、後述のフローチャートに係るプログラム、その他の制御に必要なプログラム、データなどを格納する。RAM103は、揮発性メモリであり、フレーム画像データ(フレーム画像)、パターン判別の結果などの一時的なデータを記憶する。
画像入力装置105は、デジタルビデオカメラ、ネットワークカメラ、赤外線カメラなどであり、画像を入力するものである。入力装置106は、キーボード、マウスなどであり、ユーザからの入力を可能とするものである。表示装置107は、ブラウン管CRT、液晶ディスプレイなどであり、ユーザに対して処理結果などを表示するものである。
ネットワークI/F108は、インターネット、イントラネットなどのネットワークと接続を行うモデム、LANなどである。バス109は、これらのデバイス(101〜108)を接続して相互にデータの入出力を行う。なお、本画像処理装置では、CPU101によりプログラムが実行されることにより実装されるオペレーティングシステムの上で動作するアプリケーションにより、画像処理装置の機能、後述するフローチャートに係る処理の全部または一部が実現される。
差分算出部203は、背景モデル記憶部204より読み出した背景モデルと入力映像との差分を求めるものである。背景モデル記憶部204は、RAM103、2次記憶装置104等により実現され、入力映像内の各位置の状態を画像特徴量で代表させた背景モデルとして記憶するものである。なお、背景モデルの詳細については後述する。入力状態判定部205は、差分算出部203の結果に基づいて、入力映像に近い背景モデル中の状態を判定するものである。
前景背景判定部206は、入力状態判定部205の結果に基づいて、入力映像中の各位置が前景であるか背景であるかを判定するものである。被写体検出部207は、映像入力部201からの入力映像の中で、前景背景判定部206にて前景であると判定された領域から、特定の被写体(本実施例では人体とする。)の領域を検出するものである。
背景モデル更新部208は、入力状態判定部205と被写体検出部207との結果に基づいて、背景モデル記憶部204に記憶されている背景モデルの更新を行うものである。
まず、映像入力部201は、撮像などが行われることにより映像が入力されると、所定の時間ごとにフレーム画像を取得する(S301)。次に、特徴量抽出部202は、取得されたフレーム画像から特徴量を抽出し、差分算出部203は、背景モデル記憶部204より背景モデル中の特徴量を読み出し、フレーム画像中の特徴量との差分を算出する(S302)。
次に、入力状態判定部205は、差分算出部203の結果に基づいて、フレーム画像に近い背景モデル中の状態を求める(S303)。次に、前景背景判定部206は、映像中の領域を部分領域毎(前景領域と背景領域と)に分ける(S304)。
次に、背景モデル更新部208は、入力状態判定部205の結果と被写体検出部207の結果とを背景モデルに反映し、背景モデルの更新を行う(S307)。次に、制御部は、電源OFFなどによるユーザからの終了指示の判定を行う(S308)。このとき、制御部は、終了指示を受け付けたと判断した場合、処理を終了する。他方、制御部が終了指示を受け付けていないと判断した場合、S301の処理が行われる。即ち、終了指示が行われるまで、S301からS307までの処理が繰り返えされる。
まず、特徴量抽出部202は、映像入力部201で取得されたフレーム画像より各位置の状態を表す値として画像特徴量を抽出する(S401)。画像特徴量の例としては、輝度、色、エッジなどが挙げられるが、特にこれらに限定されるものではない。また、画素ごとの特徴量であっても、部分領域ごとの特徴量であってもよい。部分領域ごとの特徴量の例としては、8×8画素ブロック内の画素の平均輝度、DCT係数などが挙げられる。DCT係数とは、離散コサイン変換(Discrete Cosine Transform)した結果である。
本実施形態では、画素ごとの輝度を採用した場合を例に挙げて説明する。なお、フレーム画像の左上の画素を開始点とし、以降、左より右へ、行ごとに下へ(以下ではラスタスキャン順と適宜称する。)処理の対象が移動し、以降の処理が行われるものとする。
ここで、背景モデル記憶部204に記憶されている背景モデルについて図5を用いて説明する。図5は、背景モデルの一例を示す図である。背景モデルは、フレーム画像中の各位置の状態を画像特徴量で現したものである。背景モデルは、背景モデル管理情報と位置毎背景モデル情報との2種類の情報から構成されている。
背景モデル管理情報は、位置情報と各位置における位置毎背景モデル情報へのポインタとから構成される。位置情報は、フレーム画像の画素の位置をXY座標で示した値であってもいいし、8×8画素などのブロックの位置を、ラスタスキャン順に振った番号であってもよい。なお、本実施形態では、フレーム画像の画素の位置をXY座標で示した値であるものとして説明する。
状態番号とは、各状態を識別するための番号であり、1番から順に発番されるものである。作成時刻とは、その状態が始めて背景モデル内に作成された時刻であり、時間、フレーム番号で表現される。本実施形態では、フレーム番号で表現するものとする。出現時間は、その状態が作成されてから現在までに入力映像中に類似した状態が出現した時間、フレーム数などである。本実施形態では、フレーム数で表現するものとする。
例えば、注目位置に対応する全ての状態の読み出しは、差分算出部203が、背景モデル管理情報から注目位置とその次の位置とのポインタを参照し、注目位置のアドレスから次の位置の1つ手前のアドレスまでを読み出すことで実現される。
図5の例で、初めの位置である場合、差分算出部203は、次の2つの状態の位置毎背景モデル情報を読み出す。1つ目の状態の位置毎背景モデル情報として、1200番地より、状態番号「1」、特徴量「100」、作成時刻「0」、出現時間「300」が読み出される。また、2つ目の状態の位置毎背景モデル情報として、1201番地より、状態番号「2」、特徴量「230」、作成時刻「101」、出現時間「35」が読み出される。
次に、差分算出部203は、注目位置で差分を算出していない状態が存在するかどうかを判定する(S405)。このとき、差分算出部203は、存在すると判断した場合、S406の処理を行い、他方、存在しないと判断した場合、S407の処理を行う。S406では、差分算出部203は、処理の対象を次の状態に進め、続いてS403の処理を行う。
次に、差分算出部203は、フレーム画像中の全ての画素(座標)について処理を行ったかどうかを判定する(S409)。このとき、行ったと判断した場合、S411の処理が行われ、他方、行っていないと判断された場合、S410の処理が行われる。S410では、差分算出部203は、ラスタスキャン順に次の画素へ処理の対象を進め、続いてS401の処理の処理を行う。
なお、本画像処理装置の開始時(起動時)は、背景モデルが記憶されていないので、差分の算出の際の値として、差分値として取り得る最大値などを設定しておく。これらは、後述するように新規の状態であると判定され、背景モデルとして記憶される。このように、起動時のフレーム画像によって背景モデルの初期化が行われる。
以上が、S302の処理(差分算出処理)の詳細である。
まず、入力状態判定部205は、S302の差分算出処理の結果である最小差分値を取得する(S701)。より具体的には、入力状態判定部205は、フレーム画像の左上の画素を開始点とし、以降、ラスタスキャン順に移動しながら1つずつ最小差分値情報(図6)の座標を参照し、最小差分値を取得する。
次に、入力状態判定部205は、注目位置における最小差分値と閾値Aとを比較する(S702)。このとき、入力状態判定部205は、最小差分値のほうが小さい場合、背景モデルに記憶されている状態に類似していると判断し、続いてS703の処理を行う。他方、入力状態判定部205は、最小差分値のほうが大きい場合、背景モデルに記憶されているどの状態とも異なり、新しい状態であると判定し、続いてS704の処理を行う。
S704では、入力状態判定部205は、新しい状態を意味する特殊な番号(例:0)を状態番号として設定する。なお、状態番号「0」は、背景モデル更新部208により背景モデル更新時に改めて発番される。次に、入力状態判定部205は、現在時刻を本状態が初めて作成された時刻として作成時刻に設定する(S705)。なお、本実施形態では、現在のフレーム番号を用いるが、何時何分何秒といった通常の時刻を用いてもよい。次に、入力状態判定部205は、新しく出現した状態であるので、出現時間を(フレーム数)1とする(S706)。
次に、入力状態判定部205は、フレーム画像中の全ての画素(座標)について、処理を行ったかどうかを判定する(S708)。このとき、入力状態判定部205は、行ったと判断した場合、S710の処理を行い、他方、行っていないと判断した場合、S709の処理を行う。S709では、入力状態判定部205は、ラスタスキャン順に次の画素へ処理の対象を進め、続いてS701の処理を行う。
S710では、入力状態判定部205は、全画素分の入力状態情報を前景背景判定部206と背景モデル更新部208とに対して出力する。
以上が、S303の処理(入力状態判定処理)の詳細である。
まず、前景背景判定部206は、S303の入力状態判定処理の出力である入力状態情報(図8)を取得する(S901)。より具体的には、前景背景判定部206は、フレーム画像の左上の画素を開始点として、ラスタスキャン順に1つずつ参照し、入力状態情報を取得する。
次に、前景背景判定部206は、前景であるかどうかを時間の情報を用いて判断する(S902)。時間の情報としては、出現時間、存在時間(ある状態(特徴)が映像に出現した時刻から現在まで、つまり現在時刻と作成時刻との差分の時間)などが考えられる。即ち、特定の状態に関する時間情報を適宜採用できる。
S903では、前景背景判定部206は、処理の対象の画素(現在の画素)が背景であると判定する。例えば、前景背景判定部206は、前景フラグを、背景を意味する「0」にする。S904では、前景背景判定部206は、処理の対象の画素が前景であると判定する。例えば、前景背景判定部206は、前景フラグを、前景を意味する「1」にする。
次に、前景背景判定部206は、フレーム画像中の全ての画素(位置)について、処理を行ったかどうかを判定する(S906)。このとき、前景背景判定部206は、行っていると判断した場合、S908の処理を行い、他方、行っていないと判断した場合、S907の処理を行う。S907では、前景背景判定部206は、次の画素へ処理の対象を進め、続いてS901の処理を行う。なお、次に説明するS908からS919までの処理では、前景背景判定部206は、連続する前景の画素を統合して前景領域を求める。
次に、前景背景判定部206は、フレーム画像の左上の画素を開始点として、RAM103中の前景フラグ情報(図10)の座標を参照し、前景フラグを取得する(S909)。
S911では、前景背景判定部206は、現在の画素から、ラスタスキャン順で次の画素に処理の対象を進め、続いてS909の処理を行う。
S912では、処理の対象の画素が前景であるので、現在の座標の探索済みフラグが「0」であるかどうか、つまり未探索であるかどうかをチェックする(S912)。このとき、前景背景判定部206は、「1」であると判断した場合、探索済みであるのでS911の処理を行い、他方、「0」であると判断した場合、未探索であるのでS913の処理を行う。
次に、前景背景判定部206は、近傍の前景フラグが「1」であるかをチェックする(S916)。このとき、前景背景判定部206は、「1」である場合、連続する画素であると判断し、S917の処理を行い、他方、「0」である場合、S918の処理を行う。S917では、前景背景判定部206は、探索済みフラグが「0」であるかを判定する。このとき、前景背景判定部206は、「0」である場合、未探索であると判断し、更に近傍を探索するため、S913の処理を行う。他方、前景背景判定部206は、「1」である場合、S918の処理を行う。
S918では、即ち、S913からS917までの処理で連続する前景の画素が探索された場合、前景背景判定部206は、一時的に記憶されているこれらの画素の座標から外接矩形を求め、右下の座標と左上の座標とをRAM103に一時記憶する(S918)。
次に、前景背景判定部206は、フレーム画像中の全画素について、S909からS918までの処理を行ったかどうかを判定する(S919)。このとき、前景背景判定部206は、行っていないと判断した場合、S911の処理を行い、他方、行ったと判断した場合、S920の処理を行う。
図11は、前景領域情報の一例であり、前景領域座標データ先頭ポインタは、各前景領域(矩形領域)の左上の座標及び右下の座標にアクセスするためのポインタである。図11の例では、前景領域は2つ存在し、前景領域座標データ先頭ポインタの指し示す1400番地より1401番地まで順に、2つ分の矩形領域の左上の座標及び右下の座標を読み出すことができる。
以上が、S304の処理(前景背景判定処理)の詳細である。
まず、被写体検出部207は、映像入力部201よりフレーム画像を取得する(S1201)。次に、S304の前景背景判定処理の結果である前景領域情報(図11)から1つの前景領域の外接矩形の座標を取得する(S1202)。次に、被写体検出部207は、特許文献1などの方法により、取得した前景領域に対してのみ検出ウィンドウを走査し、被写体の検出を行う(S1203)。
次に、被写体検出部207は、被写体が検出されたかどうかを判定する(S1204)。このとき、被写体検出部207は、検出したと判断した場合、S1205の処理を行い、他方、検出していないと判断した場合、S1206の処理を行う。S1205では、被写体検出部207は、被写体フラグ=1とし、続いてS1207の処理を行う。S1206では、被写体検出部207は、被写体フラグ=0とし、続いてS1207の処理を行う。
S1209では、即ち、全ての前景領域についてS1202からS1206までの処理を行っている場合、被写体検出部207は、前景領域情報に被写体フラグを付与したものを物体領域情報(図13に一例を示す。)として、本物体検出部の外部(例えば制御部)と背景モデル更新部208とに対して出力する。
以上が、S305の処理(前景領域からの被写体検出処理)の詳細である。
なお、物体領域情報は、次のように利用される。例えば、ユーザが指定した画面内の領域への被写体の侵入を検出する装置は、物体領域情報より被写体フラグ=1の物体領域のみを取得する。そして、当該装置は、物体領域の右下の座標及び左上の座標から、ユーザ指定の範囲に被写体が侵入しているかどうかを判定する。
まず、背景モデル更新部208は、入力状態判定部205の出力である入力状態情報(図8)から、フレーム画像の左上の画素を開始点として、順に一画素分の入力状態情報を、座標を参照して取得する(S1401)。
次に、背景モデル更新部208は、現在の画素の状態が新規であるかどうかをチェックする(S1402)。背景モデル更新部208は、入力状態情報中の状態番号を参照し、「0」である場合、新規であると判断し、「0」以外である場合、背景モデルに存在する既存の状態であると判断する。このとき、背景モデル更新部208は、新規であると判断した場合、S1408の処理を行い、他方、新規でないと判断した場合、S1403の処理を行う。
次に、背景モデル更新部208は、背景モデル中の特徴量を、入力状態情報中の特徴量で更新する(S1404)。これは、照明変化などによる変化に対応するためである。更新の方法としては、例えば、式(1)を用いる。
μt=(1−α)・μt-1+α・It ・・・(1)
式(1)において、現在のフレームをtとし、1つ前のフレームをt−1とする。μt-1は更新前の特徴量の値、μtは更新後の特徴量の値である。Itは、フレーム画像の特徴量の値である。αは、0から1までの値を持つ重みであり、大きな値であるほど、更新後の値は、入力の値に近くなる。
ここで、被写体領域でないと判断された場合、前景背景判定部206の判定では前景であったものの、実際には背景であった可能性が高いことを示す。
なお、S902における判定で、存在時間(現在時刻−作成時刻)を用いる場合は、例えば、作成時刻から固定量を引いて、背景モデルに記憶されている以前の時刻にすることで、存在時間を延長する。
なお、本実施形態では、時間情報として出現時間、存在時間を用いているが、例えば、背景化するまでの時間の閾値Cを、状態を初めて背景モデルに追加したときに時間情報として保持するようにしてもよい。この場合は、S702において、背景モデルに類似する状態が存在すると判定されたときは、S703において、前記時間情報をデクリメントする。したがって、このような場合は、S1405で被写体が検出されていないと判断されたとき、S1406で時間情報を短縮するように時間情報を補正する。
そこで、上記を実現する方法として、まず、前景背景判定処理の結果の領域と被写体検出処理の結果の領域との重なりを利用する方法がある。即ち、前景領域と被写体領域との重なり以外は背景であるものとして、背景モデル更新部208において対応する画素の出現時間(存在時間)を延長する。
まず、前景背景判定部206は、図9のS901からS905までの処理の終了時に生成される前景フラグ情報(図10)を背景モデル更新部208に対して出力する。背景モデル更新部208では、前景フラグ情報から得られる前景領域と被写体検出部207の出力である物体領域との内、被写体フラグが「1」である被写体領域の論理積領域(図15に一例を示す。)を求める。
S1405の判定では、注目画素が物体領域であり、かつ、被写体フラグ=0であるとき(被写体領域でなかった場合)、出現時間を延長する対象としていた。これを、注目画素が物体領域であり、かつ、被写体フラグ=1であり、かつ、重なり領域でない場合についても、出現時間を延長する対象とする。これにより、被写体領域に含まれている背景に相当する画素についても背景モデルを補正することができる。
そこで、他の方法として、被写体検出部207の結果から、画像の位置毎に被写体の一部であると確信できる度合いを示す被写体確信度を求め、これを基に背景モデルを更新する方法を説明する。即ち、被写体確信度の低いところを背景とみなす方法である。そこで、図16に示したように、画像処理装置は、図2の構成に加えて被写体確信度算出部1601を更に有する。
被写体確信度の算出方法として、本実施形態では、次の2つの方法を例として説明するが、これらの方法に限定されるものではなく、各画素の被写体確信度を得られる他の方法を採用してもよい。
(1)学習用画像から生成した被写体確信度分布を使用する方法
被写体検出部207を構成する弱判別器を生成するためには、正解画像と非正解画像からなるアダブースト学習(特許文献1参照)のような機械学習が必要である。正解画像としては、人体に共通の特徴(輪郭など)を学習できるように、頭の位置や足の位置を所定のサイズの画像内で揃えた複数の画像が使用される。このことを利用して、検出された領域内でどの位置が最も人体らしいといえるかを、正解画像から推定する方法を説明する。
図18の横軸は、図17の補助線1703上の位置を示し、縦軸は、被写体確信度を示している。1801は、正規分布に従った曲線(被写体確信度分布)であり、1802は平均、1803、1804は平均から標準偏差分離れた位置を示している。1802の被写体確信度が最大の「100」であるものとする。1802を、1701の中心位置、1803及び1804を補助線1703と境界線1702が接する点に合わせ、被写体確信度分布(1801)を決定する。
このように、被写体(人体)を含む画像から統計的な方法で、領域1701内の全ての位置での画素値として被写体確信度が規定された被写体確信度分布画像を求めることができる。これを予めROM102、2次記憶装置104等に格納しておき、本画像処理装置の起動時にRAM103に読み込こまれ、被写体確信度算出部1601で参照可能な状態にしておく。
まず、被写体確信度算出部1601は、被写体確信度情報(図20に一例を示す。)を初期化する(S1901)。被写体確信度情報とは、フレーム画像の全領域の各座標について被写体確信度が格納されたものである。即ち、被写体確信度算出部1601は、全ての座標に対しての被写体確信度を0にすることで初期化する。
次に、被写体確信度算出部1601は、物体領域情報(図13)より被写体フラグ=1である領域(被写体領域)を1つ取得する(S1902)。
次に、被写体確信度算出部1601は、被写体確信度情報上の被写体領域に相当する領域の被写体確信度を、サイズが変更された被写体確信度分布画像中の画素値である被写体確信度で更新する(S1904)。より具体的には、被写体確信度算出部1601は、対応する座標において、被写体確信度情報中の被写体確信度と被写体確信度分布画像中の被写体確信度との和をとり、新たな被写体確信度の値とする。
S1906では、被写体確信度算出部1601は、被写体確信度の値を被写体確信度の範囲内に補正する。S1907では、被写体確信度算出部1601は、全ての被写体領域について処理を行ったかどうかを判定する。このとき、被写体確信度算出部1601は、行ったと判断した場合、S1909の処理を行い、他方、行っていないと判断した場合、S1908の処理を行う。S1908では、被写体確信度算出部1601は、次の被写体領域へ処理の対象を進め、続いてS1902の処理を行う。
S1909では、被写体確信度算出部1601は、最終的な被写体確信度情報を背景モデル更新部208に出力する。
被写体検出部207は、各弱判別器の信頼度をat、弱判別器をht(x)(当該弱判別器において被写体であると判別したら+1、非被写体であると判別したら−1の2値を取る関数)としたときに、その累積スコアを式(2)により算出する。
F(x)=Σtatht(x) ・・・(2)
そして、被写体検出部207は、累積スコアF(x)に対する閾値によって、最終的に被写体であるかどうかを判定する。なお、t=1からT個の弱判別器が存在するものとする。また、累積スコアF(x)は、弱判別器がどの程度信頼できるかを示した値atを累積したものであるので、被写体が出力結果に含まれる確率を直接示した値ではない。そこで、累積スコアをsigmoid関数にて変換することによって、被写体が出力結果に含まれる確率P(y=+1|x)に変換できると仮定する。
P(y=+1|x)=1/(1+exp(−w1F(x)−w0)) ・・・(3)
被写体検出部207より被写体を決定する前の各検出ウィンドウの累積スコアを全て、検出ウィンドウの中心位置と関連付けて累積スコア情報(図21に一例を示す。)として出力するようにする。図21は、累積スコア情報の一例を示す図である。座標は、検出ウィンドウの中心位置のフレーム画像内での座標である。なお、背景モデル更新部208は、被写体確信度算出部1601において式(3)で変換された確率を被写体確信度として使用する。また、全ての画素について変換することにより被写体確信度情報を得ることができる。
背景モデル更新部208は、S1405の判定で注目する画素が被写体領域に含まるかどうかを判定する代わりに、被写体確信度が所定値F未満であるかどうかを判定する。そして、背景モデル更新部208は、所定値F未満であれると判断した場合、被写体でない可能性が高いと考えられるので、S1406に処理を進め、出現時間を延長する。
まず、背景モデル更新部208は、現在の画素の座標から背景モデル中の背景モデル管理情報を参照し、一致する座標の状態へのポインタを取得する。そして、背景モデル更新部208は、次の画素の座標の状態へのポインタまでポインタを進めて、現在の座標の状態の最後の状態番号を取得する(S1408)。
次に、背景モデル更新部208は、現在の画素の最後の状態の次に追加を行うので、次の画素の座標から背景モデル中の背景モデル管理情報を参照し、一致する座標の状態へのポインタを取得する(S1410)。次に、背景モデル更新部208は、ここに新規の状態として、入力状態情報中の現在の座標の特徴量、作成時刻、出現時間と共に、発番された状態番号を挿入する(S1411)。
次に、背景モデル更新部208は、フレーム画像中の全ての画素(座標)について処理を行ったかどうかを判定する(S1412)。このとき、行ったと判断した場合、処理を終了し、行っていないと判断した場合、S1413の処理を行う。S1413では、背景モデル更新部208は、ラスタスキャン順に次の画素へ処理の対象を進め、続いてS1401の処理を行う。
以上が、S307の処理(背景モデルの更新処理)の詳細である。
また、上述の構成によれば、例えば、初期化時に存在していた人物(被写体)が動いた跡の誤検知を補正することが可能となる。また、例えば、被写体検出の探索範囲が無意味な領域にまで及ぶことがなくなるため、高速な被写体の検出が可能となる。
図22は、第2の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。第1の実施形態と同じ構成については同じ符号を用いてその説明を省略する。
本実施形態は、本実施形態に係るプログラムを記録したDVD、CD等の光ディスク2211(記録媒体の一例)を読書き可能な外部記憶入出力装置2210を画像処理装置が有する点が第1の実施形態とは異なる。
光ディスク2211を外部記憶入出力装置2210に挿入すると、CPU101は、記録媒体からプログラムを読み取って、RAM103に展開することで、第1の実施形態と同様の処理を実現することができる。
プログラムを供給するための記憶媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD、DVD、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、記憶媒体から読出されたプログラムが、コンピュータに挿入された機能拡張ボード、コンピュータに接続された機能拡張ユニットに備わるメモリなどに書込まれた後に実行されてもよい。このとき、機能拡張ボードや機能拡張ユニットに備わる1つまたは複数のプロセッシングエレメント、CPU等が実際の処理の一部または全部を行って、上述の画像処理装置の機能を実現してもよい。
また、特徴量抽出部202から背景モデル更新部208までの全てを集積回路チップに納め、画像入力装置105と一体化させてもよい。或いは、被写体検出部207のみをPC上に構成し、フレーム画像、前景領域情報(図11)等を、LANケーブルなどを介して受信し、物体領域情報を送信するようにしてもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 入力映像の画素または部分領域ごとに特徴量を抽出する特徴量抽出手段と、
前記特徴量と時間情報とを組みとした複数の状態を背景モデルとして記憶する背景モデル記憶手段と、
前記入力映像の特徴量と前記背景モデルとを比較して前記入力映像に類似する前記背景モデル中の状態を判定し、類似すると判定した状態の時間情報を更新する入力状態判定手段と、
前記入力状態判定手段で類似すると判定された状態の時間情報に基づいて前景領域を判定する前景背景判定手段と、
前記前景領域に対して所定の被写体の検出を行う被写体検出手段と、
前記被写体検出手段の結果に基づいて前記背景モデル中の状態の時間情報を補正する背景モデル更新手段と、
を有することを特徴とする画像処理装置。 - 前記背景モデル更新手段は、前記被写体検出手段において、前記被写体が検出されなかった領域について、前記背景モデル中の状態の時間情報を補正することを特徴とする請求項1記載の画像処理装置。
- 前記背景モデル更新手段は、前記前景背景判定手段において、前記前景領域と前記被写体の被写体領域との論理積領域について、前記背景モデル中の状態の時間情報を補正することを特徴とする請求項1記載の画像処理装置。
- 前記被写体検出手段の結果に基づいて、前記入力映像の画素または部分領域ごとに被写体確信度を算出する被写体確信度算出手段を更に備え、
前記背景モデル更新手段は、前記被写体確信度に基づいて前記背景モデルの更新を行うことを特徴とする請求項1記載の画像処理装置。 - 前記被写体確信度算出手段は、前記被写体を含む画像から統計的に求めた被写体確信度の分布に基づいて被写体確信度を算出することを特徴とする請求項4記載の画像処理装置。
- 入力映像の画素または部分領域ごとに特徴量を抽出する特徴量抽出工程と、
前記特徴量と時間情報とを組みとした複数の状態を背景モデルとして記憶する背景モデル記憶工程と、
前記入力映像の特徴量と前記背景モデルとを比較して前記入力映像に類似する前記背景モデル中の状態を判定し、類似すると判定した状態の時間情報を更新する入力状態判定工程と、
前記入力状態判定工程で類似すると判定された状態の時間情報に基づいて前景領域を判定する前景背景判定工程と、
前記前景領域に対して所定の被写体の検出を行う被写体検出工程と、
前記被写体検出工程の結果に基づいて前記背景モデル中の状態の時間情報を補正する背景モデル更新工程と、
を有することを特徴とする画像処理方法。 - 請求項6記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104517A JP5713790B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理装置、画像処理方法、及びプログラム |
US13/462,621 US9092868B2 (en) | 2011-05-09 | 2012-05-02 | Apparatus for detecting object from image and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104517A JP5713790B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234494A JP2012234494A (ja) | 2012-11-29 |
JP5713790B2 true JP5713790B2 (ja) | 2015-05-07 |
Family
ID=47141922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011104517A Expired - Fee Related JP5713790B2 (ja) | 2011-05-09 | 2011-05-09 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9092868B2 (ja) |
JP (1) | JP5713790B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8670611B2 (en) * | 2011-10-24 | 2014-03-11 | International Business Machines Corporation | Background understanding in video data |
JP6177708B2 (ja) * | 2014-02-25 | 2017-08-09 | 株式会社メガチップス | 動体検出装置、動体検出方法及び制御プログラム |
JP6547744B2 (ja) * | 2014-06-03 | 2019-07-24 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
JP6362939B2 (ja) * | 2014-07-02 | 2018-07-25 | 株式会社メガチップス | 検出装置、検出方法及び制御プログラム |
US9349054B1 (en) * | 2014-10-29 | 2016-05-24 | Behavioral Recognition Systems, Inc. | Foreground detector for video analytics system |
AU2014280948A1 (en) * | 2014-12-24 | 2016-07-14 | Canon Kabushiki Kaisha | Video segmentation method |
KR102366521B1 (ko) * | 2015-01-19 | 2022-02-23 | 한화테크윈 주식회사 | 이동 물체 탐지 시스템 및 방법 |
JP2016134803A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US10372977B2 (en) * | 2015-07-09 | 2019-08-06 | Analog Devices Gloval Unlimited Company | Video processing for human occupancy detection |
IL260438B (en) * | 2018-07-05 | 2021-06-30 | Agent Video Intelligence Ltd | A method and system for identifying objects in video |
RU2720899C2 (ru) | 2018-09-14 | 2020-05-14 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для определения зависящих от пользователя пропорций содержимого для рекомендации |
RU2720952C2 (ru) | 2018-09-14 | 2020-05-15 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для создания рекомендации цифрового содержимого |
RU2725659C2 (ru) | 2018-10-08 | 2020-07-03 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для оценивания данных о взаимодействиях пользователь-элемент |
RU2731335C2 (ru) * | 2018-10-09 | 2020-09-01 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для формирования рекомендаций цифрового контента |
GB2582904B (en) * | 2019-03-26 | 2021-04-14 | Atsr Ltd | Method and apparatus for controlling access to a vehicle |
JP7250588B2 (ja) * | 2019-03-28 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、送信方法、及びプログラム |
RU2757406C1 (ru) | 2019-09-09 | 2021-10-15 | Общество С Ограниченной Ответственностью «Яндекс» | Способ и система для обеспечения уровня сервиса при рекламе элемента контента |
TWI733188B (zh) * | 2019-09-11 | 2021-07-11 | 瑞昱半導體股份有限公司 | 用於獨立物件之運動估計的裝置以及方法 |
JP2021163303A (ja) * | 2020-04-01 | 2021-10-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US20220207282A1 (en) * | 2020-12-28 | 2022-06-30 | Fortinet, Inc. | Extracting regions of interest for object detection acceleration in surveillance systems |
CN113255705B (zh) * | 2021-07-15 | 2021-11-05 | 广东省大湾区集成电路与系统应用研究院 | 一种保护色动物智能识别装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3571628B2 (ja) | 2000-08-31 | 2004-09-29 | 三菱電機株式会社 | 画像処理装置 |
JP4622141B2 (ja) * | 2001-04-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
KR100568237B1 (ko) * | 2004-06-10 | 2006-04-07 | 삼성전자주식회사 | 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법 |
US20070237387A1 (en) | 2006-04-11 | 2007-10-11 | Shmuel Avidan | Method for detecting humans in images |
JP2010003177A (ja) * | 2008-06-20 | 2010-01-07 | Secom Co Ltd | 画像処理装置 |
-
2011
- 2011-05-09 JP JP2011104517A patent/JP5713790B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-02 US US13/462,621 patent/US9092868B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120288153A1 (en) | 2012-11-15 |
US9092868B2 (en) | 2015-07-28 |
JP2012234494A (ja) | 2012-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5713790B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
CN108256479B (zh) | 人脸跟踪方法和装置 | |
US8737740B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
CN109409398B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
JP6046948B2 (ja) | 物体検知装置及びその制御方法、プログラム、並びに記憶媒体 | |
US11521109B2 (en) | Information processing apparatus and method of controlling information processing apparatus | |
CN110390260B (zh) | 图片扫描件处理方法、装置、计算机设备及存储介质 | |
US11720745B2 (en) | Detecting occlusion of digital ink | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
JP7085812B2 (ja) | 画像処理装置およびその制御方法 | |
JP5832656B2 (ja) | 画像中のテキストの検出を容易にする方法及び装置 | |
JP6255944B2 (ja) | 画像解析装置、画像解析方法及び画像解析プログラム | |
JP6183038B2 (ja) | 領域抽出装置、領域抽出方法およびプログラム | |
CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
US20200005471A1 (en) | Image detection device, image detection method and storage medium storing program | |
JP6546385B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
US11373313B2 (en) | Image processing apparatus and image processing method | |
CN115843375A (zh) | 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质 | |
JP6539720B1 (ja) | 画像処理装置 | |
JP7459151B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
CN112801030B (zh) | 一种目标文本区域的定位方法及装置 | |
JP2011076575A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2024024048A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
WO2023017723A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150310 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5713790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |