JP6097150B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6097150B2
JP6097150B2 JP2013110264A JP2013110264A JP6097150B2 JP 6097150 B2 JP6097150 B2 JP 6097150B2 JP 2013110264 A JP2013110264 A JP 2013110264A JP 2013110264 A JP2013110264 A JP 2013110264A JP 6097150 B2 JP6097150 B2 JP 6097150B2
Authority
JP
Japan
Prior art keywords
image
detected
area
shielding
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013110264A
Other languages
English (en)
Other versions
JP2014229210A (ja
JP2014229210A5 (ja
Inventor
弘長 佐野
弘長 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2013110264A priority Critical patent/JP6097150B2/ja
Priority to US14/255,464 priority patent/US9367747B2/en
Priority to CN201410210313.XA priority patent/CN104184938B/zh
Publication of JP2014229210A publication Critical patent/JP2014229210A/ja
Publication of JP2014229210A5 publication Critical patent/JP2014229210A5/ja
Application granted granted Critical
Publication of JP6097150B2 publication Critical patent/JP6097150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Description

本技術は、画像処理装置に関する。詳しくは、画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、人物等の被写体を撮像して画像(画像データ)を生成する撮像装置等の画像処理装置が普及している。また、そのように生成された画像に含まれる人物や動物体等の物体を検出する被写体認識技術が提案されている。
例えば、輝度や色等の特徴量を用いた画像処理により画像に含まれる人物の顔を検出する画像処理装置が提案されている(例えば、特許文献1参照。)。
特開2008−131405号公報
上述の従来技術によれば、画像に含まれる人物や動物体等の物体を検出することができる。
ここで、例えば、被写体を撮像する機器(例えば、撮像装置)の撮像範囲に、検出対象となる物体と他の物体とが存在する場合を想定する。例えば、円周状の侵入禁止領域の境界に設置されている柵(他の物体)と、その侵入禁止領域の付近に存在する人物(検出対象となる物体)とが存在する場合を想定する。この場合には、例えば、その侵入禁止領域の付近に存在する人物を検出することができるが、その侵入禁止領域に人物が侵入したか否かを正確に判定することは困難であることが想定される。そこで、例えば、画像の奥行方向における柵と人物との位置関係を判定することができれば、その侵入禁止領域に人物が侵入したか否かを正確に判定することができると考えられる。
本技術はこのような状況に鑑みて生み出されたものであり、物体の検出精度を高めることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、画像に含まれる物体を検出する検出部と、上記画像において上記検出された物体と遮蔽物領域とが重複する場合に上記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて上記画像の奥行方向における上記検出された物体と上記遮蔽物領域との位置関係を判定する判定部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像において検出された物体と遮蔽物領域とが重複する場合に、その検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて、その画像の奥行方向におけるその検出された物体と遮蔽物領域との位置関係を判定するという作用をもたらす。
また、この第1の側面において、上記判定部は、上記検出された物体および上記遮蔽物領域の上記画像における重複領域について、上記画像における上記検出された物体の上記重複領域に含まれる特徴量と記憶部に記憶されている上記遮蔽物領域における上記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて上記位置関係を判定するようにしてもよい。これにより、検出された物体および遮蔽物領域の画像における重複領域について、その検出された物体の重複領域に含まれる特徴量と、記憶部に記憶されている遮蔽物領域における重複領域に含まれる特徴量とを比較し、この比較結果に基づいてその位置関係を判定するという作用をもたらす。
また、この第1の側面において、上記判定部は、上記検出された物体の上記重複領域に含まれる画素と、上記遮蔽物領域における上記重複領域に含まれる画素とを比較して上記重複領域における画素の類似度に基づいて、上記位置関係を判定するようにしてもよい。これにより、検出された物体の重複領域に含まれる画素と、遮蔽物領域における重複領域に含まれる画素とを比較し、その重複領域における画素の類似度に基づいて、その位置関係を判定するという作用をもたらす。
また、この第1の側面において、上記遮蔽物領域は、上記画像において登録されている登録領域の境界または境界付近に設置される物体であって上記検出された物体を遮蔽する遮蔽物の領域であり、上記判定部は、上記画像において上記検出された物体と上記登録領域とが重複し、かつ、上記画像において上記検出された物体と上記遮蔽物領域とが重複する場合に、上記位置関係を判定し、当該判定結果に基づいて上記検出された物体が上記登録領域に侵入したか否かを判定するようにしてもよい。これにより、画像において検出された物体と登録領域とが重複し、かつ、その画像において検出された物体と遮蔽物領域とが重複する場合に、その位置関係を判定し、この判定結果に基づいてその検出された物体が登録領域に侵入したか否かを判定するという作用をもたらす。
また、この第1の側面において、上記検出部は、上記画像に含まれる動物体を検出し、上記判定部は、上記検出された動物体に関するオクルージョンの発生の有無を判定するようにしてもよい。これにより、検出された動物体に関するオクルージョンの発生の有無を判定するという作用をもたらす。
また、この第1の側面において、上記判定部は、上記検出された動物体に関するサイズ情報と、上記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて上記オクルージョンの発生の有無を判定するようにしてもよい。これにより、検出された動物体に関するサイズ情報と、画像においてその動物体の直前に検出された動物体に関するサイズ情報とを比較し、この比較結果に基づいてオクルージョンの発生の有無を判定するという作用をもたらす。
また、この第1の側面において、上記判定部は、上記オクルージョンが発生していると判定された場合には、上記遮蔽物領域の両側に隣接する複数の動物体を1つの動物体であると判定するようにしてもよい。これにより、オクルージョンが発生していると判定された場合には、遮蔽物領域の両側に隣接する複数の動物体を1つの動物体であると判定するという作用をもたらす。
本技術によれば、物体の検出精度を高めることができるという優れた効果を奏し得る。
本技術の第1の実施の形態における画像処理装置100の機能構成例を示すブロック図である。 本技術の第1の実施の形態における画像処理装置100による各処理に用いられる背景画像、登録領域および遮蔽物領域の一例を示す図である。 本技術の第1の実施の形態における画像取得部130により取得された画像における登録領域および物体の関係例を示す図である。 本技術の第1の実施の形態における記憶部110に記憶される登録領域情報および登録領域の関係例を示す図である。 本技術の第1の実施の形態における記憶部110に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。 本技術の第1の実施の形態における検出部140による物体検出処理の検出結果を示す図である。 本技術の第1の実施の形態における画像処理装置100による物体の侵入判定処理の処理手順の一例を示すフローチャートである。 本技術の第1の実施の形態における画像処理装置100による物体の侵入判定処理のうちの物体検出処理の一例を示すフローチャートである。 本技術の第2の実施の形態における記憶部110に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。 本技術の第2の実施の形態における検出部140による動物体検出処理の検出結果を示す図である。 本技術の第2の実施の形態における検出部140による動物体検出処理の検出結果を示す図である。 本技術の第2の実施の形態における判定部150による動物体検出情報の補正例を示す図である。 本技術の第2の実施の形態における画像処理装置100によるオクルージョン判定処理の処理手順の一例を示すフローチャートである。 本技術の第3の実施の形態における画像処理システム400の構成例を示す図である。 本技術の第3の実施の形態における画像処理システム500の構成例を示す図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(遮蔽物領域情報を用いて物体の侵入判定処理を行う例)
2.第2の実施の形態(遮蔽物領域情報を用いてオクルージョン判定処理を行う例)
3.第3の実施の形態(複数の装置により構成される画像処理システムの例)
4.変形例
<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、本技術の第1の実施の形態における画像処理装置100の機能構成例を示すブロック図である。
画像処理装置100は、記憶部110と、設定部120と、画像取得部130と、検出部140と、判定部150と、出力部160とを備える。画像処理装置100は、例えば、登録領域(例えば、侵入禁止領域)への侵入者を監視するための撮像装置(例えば、監視カメラ)や物体検出装置により実現される。また、本技術の第1の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置(例えば、監視対象となる撮像範囲を撮像する撮像部を固定する画像処理装置)を例にして説明する。
記憶部110は、背景画像に関する情報(背景画像情報)と、登録領域に関する情報(登録領域情報)と、遮蔽物領域に関する情報(遮蔽物領域情報)とを記憶するものである。そして、記憶部110は、記憶されている背景画像情報を検出部140に供給し、記憶されている登録領域情報および遮蔽物領域情報を判定部150に供給する。
ここで、背景画像は、監視対象となる撮像範囲に対応する画像であって、侵入した物体(例えば、侵入者)が存在しない画像を意味する。背景画像は、例えば、図2のaに示す背景画像200である。また、背景画像については、図2のaを参照して詳細に説明する。
また、登録領域は、設定部120により設定された領域(登録領域(例えば、侵入禁止領域))を意味する。登録領域は、例えば、図2のbに示す登録領域211である。また、登録領域については、図2のbを参照して詳細に説明する。また、登録領域情報については、図4を参照して詳細に説明する。
また、遮蔽物領域は、登録領域または登録領域の付近のうち、侵入した物体により遮蔽される可能性がある物体(遮蔽物)に対応する領域(遮蔽物領域)を意味する。この遮蔽物は、例えば、侵入禁止領域の境界または境界付近に設置されている柵(例えば、図2のaに示す柵202)である。また、遮蔽物領域は、例えば、図2のbに示す遮蔽物領域212である。なお、遮蔽物領域は、設定部120により設定される。また、遮蔽物領域については、図2のbを参照して詳細に説明する。また、遮蔽物領域情報については、図5を参照して詳細に説明する。
設定部120は、登録領域および遮蔽物領域のそれぞれを設定するものである。例えば、設定部120は、背景画像において、ユーザによる手動操作により指定された領域を登録領域として設定することができる。また、例えば、設定部120は、その設定された登録領域または登録領域の付近において、ユーザによる手動操作により指定された領域を遮蔽物領域として設定することができる。また、設定された登録領域に関する登録領域情報と、設定された遮蔽物領域に関する遮蔽物領域情報とのそれぞれが関連付けて記憶部110に記憶される。
画像取得部130は、各処理(物体検出処理、物体の侵入判定処理)に用いられる画像(画像データ)を取得するものであり、取得された画像を検出部140および判定部150に出力する。例えば、画像取得部130は、被写体を撮像して画像を生成する撮像部により実現される。この撮像部は、例えば、光学系(複数のレンズ)、撮像素子、信号処理部より構成される。また、例えば、画像取得部130は、他の撮像装置により生成された画像を取得するようにしてもよい。なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
検出部140は、記憶部110に記憶されている背景画像情報に基づいて、画像取得部130から出力された画像に含まれる物体を検出するものである。そして、検出部140は、その検出された物体に関する物体検出情報(検出結果)を判定部150に出力する。例えば、検出部140は、背景差分法を用いて物体を検出することができる。ここで、背景差分法は、予め記憶されている背景画像(標準パターン)と入力画像とを比較し、この比較結果に基づいて、濃度差のある部分は何らかの変化があったと判定する物体検出方法である。なお、フレーム間差分法等の他の物体検出方法を用いて物体を検出するようにしてもよい。ここで、フレーム間差分法は、現在の入力画像と前回の入力画像との差分を算出し、この差分値の大きい領域を移動物体として検出する動物体検出方法である。
判定部150は、検出部140により検出された物体が登録領域(例えば、侵入禁止領域)に侵入したか否かを判定するものであり、その判定結果を出力部160に出力する。例えば、判定部150は、記憶部110に記憶されている登録領域情報および遮蔽物領域情報と、検出部140から出力された物体検出情報とに基づいて、検出部140により検出された物体が登録領域(例えば、侵入禁止領域)に侵入したか否かを判定する。
例えば、判定部150は、画像取得部130から出力された画像において検出された物体と遮蔽物領域とが重複する場合に、画像の奥行方向におけるその検出された物体と遮蔽物領域との位置関係を判定する。例えば、判定部150は、その検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいてその位置関係を判定する。この場合に、判定部150は、その検出された物体および遮蔽物領域の重複領域について、その検出された物体の重複領域に含まれる特徴量と、記憶部110に記憶されている遮蔽物領域情報における重複領域に含まれる特徴量とを比較する。そして、判定部150は、その比較結果に基づいてその位置関係を判定する。例えば、判定部150は、その検出された物体の重複領域に含まれる画素と、遮蔽物領域における重複領域に含まれる画素とを比較し、その重複領域における画素の類似度に基づいてその位置関係を判定する。
また、例えば、判定部150は、画像において検出された物体と登録領域とが重複し、かつ、その検出された物体と遮蔽物領域とが重複する場合に、その位置関係を判定し、この判定結果に基づいてその検出された物体が登録領域に侵入したか否かを判定する。
例えば、検出部140および判定部150は、画像について所定の信号処理を施す信号処理部により実現される。
出力部160は、判定部150から出力された判定結果を出力するものである。出力部160は、例えば、各画像を表示する表示部や各音声情報を出力する音声出力部により実現される。なお、出力部160は、検出部140により検出された物体が登録領域(例えば、侵入禁止領域)に侵入したと判定された場合にのみ、その判定結果を侵入警報として出力するようにしてもよい。
また、検出部140および判定部150は、画像取得部130から出力された画像の全て(全てのフレーム)について検出処理および判定処理を行うようにしてもよく、所定間隔毎(例えば、1分毎)に検出処理および判定処理を行うようにしてもよい。
[背景画像、登録領域および遮蔽物領域の例]
図2は、本技術の第1の実施の形態における画像処理装置100による各処理に用いられる背景画像、登録領域および遮蔽物領域の一例を示す図である。
図2のaには、背景画像200を示す。背景画像200は、上述したように、画像処理装置100による監視対象となる撮像範囲に対応する画像であり、侵入した物体(例えば、侵入者)が存在しない画像である。図2のaでは、恐竜の復元模型201およびその周辺を、画像処理装置100による監視対象とする例を示す。また、この監視対象となる撮像範囲では、恐竜の復元模型201およびその周辺(柵202の内側)を侵入禁止領域とし、この侵入禁止領域に関係者以外の者が侵入しないように柵202が設置されているものとする。
図2のbには、登録領域211および遮蔽物領域212を示す。なお、図2のbでは、背景画像210上に登録領域211および遮蔽物領域212を示す。また、図2のbでは、登録領域211には色を付し、遮蔽物領域212には斜線を付して示す。
なお、図2のbでは、登録領域211に遮蔽物領域212が含まれる例を示すが、登録領域および遮蔽物領域を異なる領域とするようにしてもよい。
[登録領域および物体の関係例]
図3は、本技術の第1の実施の形態における画像取得部130により取得された画像における登録領域および物体の関係例を示す図である。
図3のaには、侵入禁止領域内に人物221が侵入している場合(人物221が柵202の内側に存在する場合)における画像220を示す。このように、侵入禁止領域内に人物221が侵入している場合(人物221が柵202の内側に存在する場合)には、画像220において、人物221および登録領域211(図2のbに示す)が重なる。このため、人物221および登録領域211が重なるか否かに基づいて、侵入禁止領域内への人物221の侵入を判定することができる。
図3のbには、侵入禁止領域外に人物221が存在する場合(人物221が柵202の外側に存在する場合)における画像225を示す。このように、侵入禁止領域外に人物221が存在する場合(人物221が柵202の外側に存在する場合)でも、画像225において、人物221および登録領域211(図2のbに示す)は重なることがある。例えば、人物221の足と登録領域211とが重なることが想定される。このため、人物221および登録領域211が重なるか否かに基づいて、侵入禁止領域内への人物221の侵入を判定すると誤判定してしまうおそれがある。
そこで、本技術の第1の実施の形態では、遮蔽物領域情報を用いて物体の侵入判定処理を行う。これにより、侵入禁止領域への侵入に対する誤判定を回避し、物体の検出精度を高めることができる。
[登録領域および登録領域情報の関係例]
図4は、本技術の第1の実施の形態における記憶部110に記憶される登録領域情報および登録領域の関係例を示す図である。
図4のaには、背景画像上における登録領域211を示す。なお、登録領域211は、図2のbと同様である。
図4のbには、図4のaに示す登録領域211に対応する登録領域情報230を示す。ここで、登録領域情報230は、登録領域211を特定するための情報である。また、図4のbでは、登録領域211を特徴量(例えば、1)により特定する登録領域情報230を例にして示す。なお、図4のbでは、説明の容易のため、背景画像に対応する座標(例えば、図4のbの左上を原点とするxy座標)を120(8×15)の矩形で模式的に示す。また、この各矩形において、登録領域211には「1」を付し、登録領域211以外の領域には「0」を付して示す。
[遮蔽物領域および遮蔽物領域情報の関係例]
図5は、本技術の第1の実施の形態における記憶部110に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。
図5のaには、背景画像上における遮蔽物領域212を示す。なお、遮蔽物領域212は、図2のbと同様である。
図5のbには、図5のaに示す遮蔽物領域212に対応する遮蔽物領域情報240を示す。ここで、遮蔽物領域情報240は、遮蔽物領域212を特定するための情報である。また、図5のbでは、図4のbと同様に、遮蔽物領域212を特徴量(例えば、遮蔽物領域212における各座標に対応する画素の輝度値)により特定する遮蔽物領域情報240を例にして示す。なお、図5のbでは、説明の容易のため、図4のbと同様に、背景画像に対応する座標を120(8×15)の矩形で模式的に示す。また、この各矩形において、遮蔽物領域212には「1」を付し、遮蔽物領域以外の領域には「0」を付して示す。
また、図4のbに示す登録領域情報230と、図5のbに示す遮蔽物領域情報240とが記憶部110に関連付けて記憶される。
このように、本技術の第1の実施の形態では、登録領域および遮蔽物領域を特徴量により特定する登録領域情報および遮蔽物領域情報を記憶部110に記憶する例を示す。ただし、登録領域および遮蔽物領域を画像情報により特定する登録領域情報および遮蔽物領域情報を記憶部110に記憶するようにしてもよい。
[物体の検出例]
図6は、本技術の第1の実施の形態における検出部140による物体検出処理の検出結果を示す図である。
図6のaには、画像取得部130により取得された画像250を示す。また、画像250には人物251が含まれているものとする。このため、検出部140は、画像250から人物251を検出する。
図6のbには、図6のaに示す画像250において検出された人物251に対応する物体検出情報260を示す。ここで、物体検出情報は、検出部140により検出された物体に対応する領域を特定するための情報である。また、図6のbでは、図4のbと同様に、画像250において検出された人物251に対応する領域を特徴量により特定する物体検出情報260を例にして示す。なお、図6のbでは、説明の容易のため、図4のbと同様に、背景画像に対応する座標を120(8×15)の矩形で模式的に示す。また、この各矩形において、人物251に対応する領域には「1」を付し、人物251以外の領域には「0」を付して示す。
[物体の侵入判定例]
図6の示すように、画像250において人物251が検出された場合には、検出部140は、その検出された人物251に関する物体検出情報260を判定部150に出力する。続いて、判定部150は、記憶部110に記憶されている登録領域情報230(図4のbに示す)と、物体検出情報260とに基づいて、検出された人物251と登録領域211(図4のaに示す)とが重なるか否かを判断する。
図6のaに示す例では、検出された人物251と登録領域211(図4のaに示す)とが重なる。この場合には、判定部150は、記憶部110に記憶されている遮蔽物領域情報240(図5のbに示す)と、物体検出情報260とに基づいて、検出された人物251と遮蔽物領域212(図5のaに示す)とが重なるか否かを判断する。
図6のaに示す例では、検出された人物251と遮蔽物領域212(図5のaに示す)とが重なる。この場合には、判定部150は、その重なっている領域(例えば、図6のbに示す太線の矩形261で囲まれている座標に対応する領域)について、画像250における特徴量と、遮蔽物領域情報240(図5のbに示す)における特徴量とを比較する。続いて、判定部150は、その比較結果に基づいて、その重なっている領域(重複領域)における特徴量の差分値を算出する。例えば、特徴量として輝度を用いる場合には、判定部150は、その重複領域について、画像250における輝度値と、遮蔽物領域情報240における輝度値との差分値を画素毎に算出する。そして、判定部150は、算出された画素毎の差分値の絶対値を加算し、その重複領域を構成する各画素の差分値の絶対値の合計値を算出する。
ここで、その合計値が閾値以下である場合には、画像250における重複領域と、遮蔽物領域における重複領域とが略同一の画像であると推定される。この場合には、画像250を撮像する機器(例えば、画像処理装置100)の位置を基準として、検出された物体は、遮蔽物領域に対応する遮蔽物よりも遠くに存在する(奥側に存在する)と推定される。すなわち、検出された物体は、登録領域に侵入していないと推定される。
一方、その合計値が閾値を超えている場合には、画像250における重複領域と、遮蔽物領域における重複領域とが異なる画像であると推定される。この場合には、画像250を撮像する機器(例えば、画像処理装置100)の位置を基準として、検出された物体は、遮蔽物領域に対応する遮蔽物よりも近くに存在する(手前側に存在する)と推定される。すなわち、検出された物体は、登録領域に侵入したと推定される。
そこで、判定部150は、その合計値が閾値以下であるか否かを判断する。そして、その合計値が閾値以下である場合には、判定部150は、検出された物体が登録領域に侵入していないと判定する。一方、その合計値が閾値を超えている場合には、判定部150は、検出された物体が登録領域に侵入したと判定する。
このように、例えば、画像取得部130により取得された画像において検出された物体が登録領域に重なっているような場合に、その物体が侵入禁止領域内に侵入したか否かを正確に判定することができる。
続いて、判定部150は、その判定結果を出力部160に出力する。そして、出力部160は、判定部150からの判定結果を出力する。例えば、出力部160は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する。例えば、出力部160は、表示部の画面を赤くして点滅表示させることにより、その判定結果を出力することができる。また、侵入禁止領域内に侵入した物体の領域に特定の色(例えば、赤)を付して表示するようにしてもよい。また、例えば、出力部160は、異常発生を表す音声出力をすることにより、その判定結果を出力することができる。
例えば、図6のaに示す例では、画像250を撮像する機器(例えば、画像処理装置100)の位置を基準として、検出された人物251は、遮蔽物領域212(図5のaに示す)に対応する遮蔽物(柵202)よりも遠くに存在する(奥側に存在する)。このため、画像250における重複領域と、遮蔽物領域情報240(図5のbに示す)における重複領域とが略同一の画像となる。この場合には、画像250における重複領域と、遮蔽物領域情報240における重複領域とに関する差分値の絶対値の合計値は閾値以下となる。このため、判定部150は、検出された人物215が登録領域に侵入していないと判定する。
なお、検出された物体と登録領域とが重ならない場合には、検出された物体が登録領域に侵入していないと推定される。このため、検出された物体と登録領域とが重ならない場合には、判定部150は、検出された物体が登録領域に侵入していないと判定する。
また、検出された物体と登録領域とが重なる場合であって、検出された物体と遮蔽物領域とが重ならない場合には、検出された物体が登録領域に完全に侵入したと推定される。このため、検出された物体と登録領域とが重なる場合であって、検出された物体と遮蔽物領域とが重ならない場合には、判定部150は、検出された物体が登録領域に侵入したと判定する。
なお、この例では、物体の侵入判定処理に用いる特徴量として輝度値を用いる例を示したが、他の特徴量を用いるようにしてもよい。物体の侵入判定処理に用いる特徴量として、例えば、画像を構成する各画素のRGB値を用いることができる。また、これらの特徴量を用いて物体の侵入判定処理を行う際に、誤差を許容するために閾値処理等を行うようにしてもよい。
また、この例では、画像取得部130により取得された画像(例えば、撮像装置により生成された撮像画像)を用いて各処理(物体検出処理、物体の侵入判定処理)を行う例を示したが、この画像の縮小画像を用いて各処理を行うようにしてもよい。また、各処理に用いる画像として、撮像画像以外の他の画像(例えば、RGB等のカラー画像、輝度情報のみの画像、エッジ画像化等の画像処理が施された画像(例えば、エッジ抽出画像))を用いるようにしてもよい。
[画像処理装置の動作例]
図7は、本技術の第1の実施の形態における画像処理装置100による物体の侵入判定処理の処理手順の一例を示すフローチャートである。なお、図7では、登録領域の境界に遮蔽物(遮蔽物領域に対応する物体)が設置されている場合を例にして示す。
最初に、検出部140は、画像取得部130により取得された画像について物体検出処理を行う(ステップS910)。なお、この物体検出処理については、図8を参照して詳細に説明する。また、ステップS910は、特許請求の範囲に記載の検出手順の一例である。
続いて、判定部150は、検出部140による検出結果に基づいて、画像取得部130により取得された画像から物体が検出されたか否かを判断する(ステップS901)。そして、物体が検出されていない場合には(ステップS901)、ステップS910に戻る。
また、物体が検出された場合には(ステップS901)、判定部150は、検出された物体と登録領域とが重なるか否かを判断する(ステップS902)。そして、検出された物体と登録領域とが重ならない場合には(ステップS902)、検出された物体が登録領域に侵入していないと推定されるため、判定部150は、侵入未発生と判定する(ステップS907)。
また、検出された物体と登録領域とが重なる場合には(ステップS902)、判定部150は、検出された物体と遮蔽物領域とが重なるか否かを判断する(ステップS903)。そして、検出された物体と遮蔽物領域とが重ならない場合には(ステップS903)、検出された物体が登録領域に完全に侵入したと推定されるため、判定部150は、侵入発生と判定する(ステップS906)。
また、検出された物体と遮蔽物領域とが重なる場合には(ステップS903)、判定部150は、その重なっている領域(重複領域)における特徴量(例えば、輝度値)を比較する(ステップS904)。すなわち、判定部150は、画像取得部130により取得された画像の重複領域における特徴量と、遮蔽物領域情報(例えば、図5のbに示す遮蔽物領域情報240)の重複領域における特徴量とを比較する(ステップS904)。
続いて、判定部150は、その比較により算出された差分値の絶対値の合計値が閾値以下であるか否かを判断する(ステップS905)。そして、その合計値が閾値を超えている場合には(ステップS905)、検出された物体が登録領域に侵入したと推定されるため、判定部150は、侵入発生と判定する(ステップS906)。一方、その合計値が閾値以下である場合には(ステップS905)、検出された物体が登録領域に侵入していないと推定されるため、判定部150は、侵入未発生と判定する(ステップS907)。なお、ステップS902乃至S907は、特許請求の範囲に記載の判定手順の一例である。
続いて、出力部160は、判定部150からの判定結果を出力する(ステップS908)。例えば、出力部160は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する(ステップS908)。
続いて、物体の侵入判定処理の動作を終了させる終了指示が行われたか否かが判断され(ステップS909)、終了指示が行われていない場合には、ステップS910に戻る。一方、終了指示が行われた場合には(ステップS909)、物体の侵入判定処理の動作を終了する。
図8は、本技術の第1の実施の形態における画像処理装置100による物体の侵入判定処理のうちの物体検出処理(図7に示すステップS910の処理手順)の一例を示すフローチャートである。なお、図8では、物体検出処理の一例として、動きのある物体を検出する動物体検出処理を示す。
最初に、検出部140は、画像取得部130により取得された画像について背景差分処理を行う(ステップS911)。
続いて、検出部140は、背景差分処理により検出された物体に対応する領域(物体領域)についてラベリング処理を行う(ステップS912)。このラベリング処理は、例えば、背景差分処理により検出された物体のうち、繋がっている領域を同一物体として認識するため、その繋がっている領域に同一の識別情報を付与する処理である。
続いて、検出部140は、ラベリング処理が行われた物体領域についてトラッキング処理を行う(ステップS913)。このトラッキング処理は、例えば、前のフレームの位置を参照して、背景差分処理により検出された物体の動きを予測する処理である。
続いて、検出部140は、トラッキング処理が行われた物体領域について後処理を行う(ステップS914)。この後処理は、検出対象となる動体を確定するための処理である。この後処理として、例えば、ノイズ除去処理、影判定処理等の各処理が行われ、検出対象となる動体以外の物体が削除される。
なお、図8では、物体検出処理の一例として、動きのある物体を検出する動物体検出処理を示したが、他の検出方法を用いて物体(例えば、飛行機、車、人体)を検出するようにしてもよい。例えば、勾配方向ヒストグラム(HOG:Histograms of Oriented Gradients)を用いて物体検出を行う検出方法を用いることができる(例えば、特開2010−067102号参照。)。
ここで、例えば、3次元空間の現実世界をカメラで撮影すると2次元空間として表現される。この2次元空間として表現される画像では、画像の奥行方向(カメラの光軸方向)において奥側にある物体に対して手前側にある物体は重なった状態で表現される。すなわち、2次元空間として表現される画像では、画像の奥行方向において奥側にある物体を手前側にある物体が遮蔽してしまう。このため、画像の奥行方向において奥側にある物体を検出する場合には、遮蔽物の存在がその検出精度を低下させるおそれがある。
また、例えば、画像の奥行方向において奥側にある物体と手前側にある物体とを正確に判定するため、その奥行方向に直交する方向(横方向)からの撮影を行うカメラを設置することも考えられる。例えば、侵入禁止領域に対して横方向からの撮影を行うカメラを設置することが考えられる。しかしながら、この場合には複数のカメラが必要となる。また、複数のカメラの設置場所が制約されるおそれもある。
そこで、本技術の第1の実施の形態では、遮蔽物領域(例えば、図2に示す柵202に対応する領域)を設定し、これに関する遮蔽物領域情報(例えば、図5のbに示す遮蔽物領域情報240)を記憶する。そして、遮蔽物領域情報を用いて、検出された物体と遮蔽物(背景構造物)との奥行方向の位置関係を判定することができる。これにより、2次元で表現されている画像についても、3次元空間における物体の位置の検出精度を向上させることができる。すなわち、ユーザにより設定された遮蔽物に関する遮蔽物領域情報を判定に用いることにより、2次元画像からでも精度高く3次元空間の状況判断を行うことができる。
また、画像取得部130により取得された画像において検出された物体(例えば、人物)が登録領域(例えば、侵入禁止領域)に侵入したか否かを正確に判定することができる。これにより、侵入禁止領域に対する誤検知を回避することができる。すなわち、物体の検出精度を高めることができる。
また、例えば、侵入禁止領域に対して前方からの撮影のみで奥行方向の位置関係を判定することができる。例えば、図2に示すように、侵入禁止領域がサークル状にラウンドしているような場合でも、前方からの撮影による奥行判定により侵入検知が可能になる。これにより、画像処理装置を設置する際の制約を低減させることができる。言い換えると、画像処理装置の設置空間を広げることができる。すなわち、比較的自由なカメラレイアウトが可能となる。
なお、本技術の第1の実施の形態では、監視対象となる撮像範囲を固定する画像処理装置100を例にして説明した。ただし、例えば、監視対象となる撮像範囲を移動することが可能な画像処理装置(例えば、水平方向に首振りを行う首振り式監視カメラ)についても本技術の第1の実施の形態を適用することができる。例えば、首振りの角度(例えば、水平方向における光軸の角度)と、各情報(背景画像情報、登録領域情報および遮蔽物領域情報)とを関連付けて記憶しておく。そして、各処理を行う場合には、その処理時に対応する首振りの角度に関連付けて記憶されている各情報を用いてその処理を行うようにする。
<2.第2の実施の形態>
本技術の第1の実施の形態では、遮蔽物領域情報を用いて物体の侵入判定処理を行う例を示した。ここで、例えば、動体検出処理におけるオクルージョン判定処理(動物体に重なりがあるか否かを判定する処理)についても遮蔽物領域情報を用いて行うことができると考えられる。
そこで、本技術の第2の実施の形態では、遮蔽物領域情報を用いてオクルージョン判定処理を行う例を示す。なお、本技術の第2の実施の形態における画像処理装置は、本技術の第1の実施の形態における画像処理装置100(図1に示す)と共通する。このため、画像処理装置100と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[遮蔽物領域および遮蔽物領域情報の関係例]
図9は、本技術の第2の実施の形態における記憶部110に記憶される遮蔽物領域情報および遮蔽物領域の関係例を示す図である。
図9のaには、背景画像300上における遮蔽物領域301を示す。なお、遮蔽物領域301は、図2のbに示す遮蔽物領域212に対応する。また、遮蔽物領域301は、道路上に設置されている標識である。また、図10のaに示すように、遮蔽物領域301の棒状部分の水平方向におけるサイズをW0とする。
図9のbには、図9のaに示す遮蔽物領域301に対応する遮蔽物領域情報310を示す。ここで、遮蔽物領域情報310は、遮蔽物領域301を特定するための情報である。また、図9のbでは、図4のbと同様に、遮蔽物領域301に対応する遮蔽物領域を特徴量(例えば、1)により特定する遮蔽物領域情報310を例にして示す。なお、図9のbでは、説明の容易のため、背景画像に対応する座標を117(9×13)の矩形で模式的に示す。また、この各矩形において、遮蔽物領域301には「1」を付し、遮蔽物領域301以外の領域には「0」を付して示す。
なお、遮蔽物領域情報310の設定方法については、本技術の第1の実施の形態における遮蔽物領域情報の設定方法と同様である。また、遮蔽物領域情報310は、記憶部110に記憶される。
[動物体の検出例]
図10および図11は、本技術の第2の実施の形態における検出部140による動物体検出処理の検出結果を示す図である。
検出部140は、動物体を検出する動物体検出処理を行う。この動物体検出処理として、例えば、図8に示す動物体検出処理を行うことができる。
図10のaには、画像取得部130により取得された画像320を示す。また、画像320には、走行中の自動車321が含まれているものとする。このため、検出部140は、画像320から自動車321を検出する。また、検出部140は、自動車321とともにそのサイズを検出する。例えば、検出部140は、自動車321のサイズとして垂直方向のサイズH1および水平方向のサイズW1を検出する。そして、検出部140は、その検出された自動車321に関する動物体検出情報を判定部150に出力する。ここで、動物体検出情報は、検出部140により検出された動物体に対応する領域を特定するための情報であり、背景画像における自動車321の位置およびそのサイズを特定するための情報を含む。
図10のbには、図10のaに示す画像320において検出された自動車321に対応する動物体検出情報と、遮蔽物領域情報310とを含む情報330を示す。また、図10のbでは、画像320において検出された自動車321に対応する領域と、遮蔽物領域301とを特徴量により特定する情報330を例にして示す。なお、図10のbでは、説明の容易のため、図9のbと同様に、背景画像に対応する座標を117(9×13)の矩形で模式的に示す。また、この各矩形において、自動車321に対応する領域には「2」を付し、遮蔽物領域301に対応する遮蔽物領域には「1」を付し、これら以外の領域には「0」を付して示す。
また、判定部150は、検出部140により検出された動物体(例えば、自動車321)に関する動物体検出情報を所定期間だけ保持する。そして、判定部150は、保持されている動物体検出情報をオクルージョン判定処理に用いる。
図11のaには、画像取得部130により取得された画像340を示す。画像340は、図10のaに示す画像320に含まれる自動車321が移動した後に取得された画像である。ここで、画像340には自動車321が含まれているが、移動により自動車321が遮蔽物領域301で分割されているものとする。このため、検出部140は、画像340から自動車321を検出するが、自動車321は2つの動物体341、342として検出される。この場合には、例えば、検出部140は、動物体341(前方の自動車321)のサイズとして垂直方向のサイズH2および水平方向のサイズW2を検出する。また、検出部140は、動物体342(後方の自動車321)のサイズとして垂直方向のサイズH3および水平方向のサイズW3を検出する。そして、検出部140は、その検出された動物体341に関する動物体検出情報(背景画像における動物体341の位置およびそのサイズを特定するための情報を含む)を判定部150に出力する。同様に、検出部140は、その検出された動物体342に関する動物体検出情報(背景画像における動物体342の位置およびそのサイズを特定するための情報を含む)を判定部150に出力する。
図11のbには、図11のaに示す画像340において検出された2つの動物体341、342に対応する動物体検出情報と、遮蔽物領域情報310とを含む情報350を示す。図11のbでは、図10のbと同様に、画像340において検出された2つの動物体341、342に対応する領域と、遮蔽物領域301とを特徴量により特定する情報350を例にして示す。なお、図11のbでは、説明の容易のため、図9のbと同様に、背景画像に対応する座標を117(9×13)の矩形で模式的に示す。また、この各矩形において、動物体341に対応する領域には「3」を付し、動物体342に対応する領域には「2」を付し、遮蔽物領域301には「1」を付し、これら以外の領域には「0」を付して示す。
[オクルージョン判定例]
図11のaに示すように、遮蔽物領域301に隣接する動物体341、342が検出されている場合には、オクルージョンが発生している可能性がある。そこで、遮蔽物領域301に隣接する動物体341、342が検出されている場合には、判定部150は、オクルージョン判定処理を行う。
最初に、判定部150は、検出された動物体が、登録されている遮蔽物の両側に隣接しているか否かを判断する。そして、検出された動物体が、登録されている遮蔽物の両側に隣接していない場合には、判定部150は、検出された動物体のそれぞれが1つの動物体であると判定する。例えば、図10のaでは、自動車321が、登録されている遮蔽物(遮蔽物領域301に対応する遮蔽物(標識))の両側に隣接していない。この場合には、判定部150は、検出された自動車321が1つの動物体であると判定する。
また、検出された動物体が、登録されている遮蔽物の両側に隣接している場合には、判定部150は、保持されている過去の物体検出情報を用いて比較処理を行う。具体的には、判定部150は、保持されている過去の物体検出情報に係るサイズと、登録されている遮蔽物の両側に隣接している2つの動物体の物体検出情報に係るサイズとを比較する。そして、判定部150は、その比較対象となる2つのサイズが略同一(または同一)となるか否かを判断する。
ここで、2つのサイズの比較例について説明する。例えば、水平方向に進行する動物体を判定対象とする場合には、保持されている過去の物体検出情報に係る水平方向のサイズと、比較対象となる2つの動物体と遮蔽物とのそれぞれの水平方向のサイズの合計値との差分値を算出する。また、保持されている過去の物体検出情報に係る垂直方向のサイズと、比較対象となる2つの動物体のうち、値が大きい垂直方向のサイズとの差分値を算出する。
そして、水平方向のサイズの差分値と、垂直方向のサイズの差分値との双方が閾値以下である場合には、判定部150は、2つの動物体が1つの動物体であると判定する。すなわち、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を1つの動物体であると判定する。
例えば、図11のaに示す例では、水平方向に進行する自動車が判定対象となる。このため、判定部150は、保持されている過去の物体検出情報に係る水平方向のサイズと、比較対象となる2つの動物体341、342と遮蔽物領域301とのそれぞれの水平方向のサイズの合計値との差分値を算出する。例えば、遮蔽物領域301の水平方向のサイズはW0であるため、比較対象となる2つの動物体341、342と遮蔽物領域301とのそれぞれの水平方向のサイズの合計値は、W0+W2+W3である。このため、判定部150は、その合計値(W0+W2+W3)と、保持されている過去の物体検出情報に係る水平方向のサイズW1(図10のaに示す)との差分値として、W1−(W0+W2+W3)を算出する。また、判定部150は、保持されている過去の物体検出情報に係る垂直方向のサイズ(図10のaに示すH1)と、比較対象となる2つの動物体のうち、値が大きい垂直方向のサイズ(H3)との差分値(H1−H3)を算出する。
ここで、垂直方向のサイズH1と垂直方向のサイズH3とは同一である。このため、垂直方向のサイズの差分値(H1−H3)は0である。すなわち、垂直方向のサイズの差分値(H1−H3)は、閾値以下である。
また、水平方向のサイズの合計値W1と、水平方向のサイズの合計値(W0+W2+W3)とは同一である。このため、水平方向のサイズの差分値(W1−(W0+W2+W3))は0である。すなわち、水平方向のサイズの差分値(W1−(W0+W2+W3))は、閾値以下である。
このように、図11のaに示す例では、水平方向のサイズの差分値と、垂直方向のサイズの差分値との双方が閾値以下となるため、判定部150は、2つの動物体が1つの動物体であると判定する。すなわち、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体341、342を1つの動物体(自動車321)であると判定する。
一方、水平方向のサイズの差分値と、垂直方向のサイズの差分値とのうちの少なくとも1つが閾値を超えている場合には、判定部150は、2つの動物体が異なる2つの動物体であると判定する。すなわち、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を異なる2つの動物体であると判定する。
なお、この例では、水平方向および垂直方向のサイズに基づいて比較処理を行う例を示したが、他の情報に基づいて比較処理を行うようにしてもよい。
例えば、動物体に係る画像同士の比較処理を行い、同一の動物体であるか否かを判定するようにしてもよい。例えば、過去の物体検出情報として、検出された動物体に係る画像情報(例えば、画像を構成する輝度値)を保持しておき、この画像情報(例えば、検出された動物体に係る画像を構成する輝度値)に基づいて比較処理を行うようにしてもよい。例えば、判定部150は、比較対象となる動物体に対応する各画素の輝度の差分値の絶対値を算出する。具体的には、判定部150は、過去に検出された1つの動物体に対応する各画素の輝度値と、登録されている遮蔽物の両側に隣接している2つの動物体に対応する各画素の輝度値との差分値の絶対値を画素毎に算出する。続いて、判定部150は、画素毎の差分値の絶対値の合計値を算出する。続いて、判定部150は、算出された合計値が閾値以下であるか否かを判断する。
そして、算出された合計値が閾値以下である場合には、判定部150は、その比較対象となる2つの動物体が同一であると判定する。この場合には、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を1つの動物体であると判定する。
一方、算出された合計値が閾値を超えている場合には、判定部150は、その比較対象となる2つの動物体が同一でないと判定する。この場合には、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を異なる2つの動物体であると判定する。
また、過去の物体検出情報を用いずに、登録されている遮蔽物の両側に隣接している2つの動物体に対応する領域の特徴量の比較処理を行い、同一の動物体であるか否かを判定するようにしてもよい。
例えば、判定部150は、比較対象となる2つの動物体に対応する領域のうち、水平方向において遮蔽物から所定数の画素分(例えば、5画素分)の領域についてヒストグラム(濃度ヒストグラム)を生成する。なお、ヒストグラムは、横軸を濃度値とし、縦軸を画素数とするグラフにおいて、画像を構成する各画素を濃度値に従って配置したものである。例えば、判定部150は、水平方向における左側の領域(例えば、5画素分の領域)についてヒストグラムを生成するとともに、水平方向における右側の領域(例えば、5画素分の領域)についてヒストグラムを生成する。そして、判定部150は、その生成された2つのヒストグラムの類似度に基づいて、同一の動物体であるか否かを判定する。
例えば、判定部150は、その生成された2つのヒストグラムの画素数の差分値の絶対値を濃度値毎に算出する。そして、判定部150は、その濃度値毎の差分値の絶対値の合計値を算出する。続いて、判定部150は、算出された合計値が閾値以下であるか否かを判断する。
そして、算出された合計値が閾値以下である場合には、判定部150は、その比較対象となる2つの動物体が同一であると判定する。この場合には、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を1つの動物体であると判定する。
一方、算出された合計値が閾値を超えている場合には、判定部150は、その比較対象となる2つの動物体が同一でないと判定する。この場合には、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を異なる2つの動物体であると判定する。
[動物体検出情報の補正例]
図12は、本技術の第2の実施の形態における判定部150による動物体検出情報の補正例を示す図である。
上述したように、登録されている遮蔽物の両側に隣接している2つの動物体が1つの動物体であると判定された場合には、判定部150は、検出部140から出力された動物体検出情報を補正する。
例えば、図11のaに示す例において、2つの動物体341、342が1つの動物体であると判定された場合を想定する。この場合には、図12に示すように、判定部150は、2つの動物体341、342の物体検出情報を、1つの動物体の物体検出情報とする補正を行う。また、判定部150は、判定処理に用いた過去の物体検出情報に係るサイズ(水平方向のサイズW1、垂直方向のサイズH1)を2つの動物体341、342のサイズとする補正を行う。
ここで、遮蔽物が動物体よりも大きいことも想定される。この場合には、過去に検出された動物体が遮蔽物に完全に隠れてしまうことも想定される。このような場合でも、過去に検出された動物体に基づいて、この動物体の移動ベクトルを求めることが可能である。そこで、過去に検出された動物体の移動ベクトルに基づいて、その動物体が遮蔽物の裏に存在していることを推定することが可能である。このように、動物体が遮蔽物の裏に存在していることが推定された場合には、その動物体については、消失したとは判定せずに、オクルージョンが発生したと判定することができる。
[画像処理装置の動作例]
図13は、本技術の第2の実施の形態における画像処理装置100によるオクルージョン判定処理の処理手順の一例を示すフローチャートである。
最初に、検出部140は、画像取得部130により取得された画像について動物体検出処理を行う(ステップS930)。なお、この動物体検出処理は、図8に示す物体検出処理と同様である。
続いて、判定部150は、検出部140による検出結果に基づいて、画像取得部130により取得された画像から動物体が検出されたか否かを判断する(ステップS921)。そして、動物体が検出されていない場合には(ステップS921)、ステップS930に戻る。
また、動物体が検出された場合には(ステップS921)、判定部150は、検出された動物体が、登録されている遮蔽物の両側に隣接しているか否かを判断する(ステップS922)。そして、検出された動物体が、登録されている遮蔽物の両側に隣接していない場合には(ステップS922)、判定部150は、検出された動物体のそれぞれが1つの動物体であると判定する(ステップS923)。
また、検出された動物体が、登録されている遮蔽物の両側に隣接している場合には(ステップS922)、判定部150は、保持されている過去の物体検出情報を用いて比較処理を行う(ステップS924)。すなわち、判定部150は、保持されている過去の物体検出情報に係るサイズと、登録されている遮蔽物の両側に隣接している2つの動物体の物体検出情報に係るサイズとを比較する(ステップS924)。続いて、判定部150は、その比較対象となる2つのサイズが略同一(または同一)となるか否かを判断する(ステップS925)。
その比較対象となる2つのサイズが略同一でない場合には(ステップS925)、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を異なる2つの動物体であると判定する(ステップS926)。一方、その比較対象となる2つのサイズが略同一である場合には(ステップS925)、判定部150は、登録されている遮蔽物の両側に隣接している2つの動物体を1つの動物体であると判定する(ステップS927)。
続いて、出力部160は、判定部150からの判定結果を出力する(ステップS928)。例えば、出力部160は、表示部への表示や音声出力部からの音声出力によりその判定結果を出力する(ステップS928)。
続いて、オクルージョン判定処理の動作を終了させる終了指示が行われたか否かが判断され(ステップS929)、終了指示が行われていない場合には、ステップS930に戻る。一方、終了指示が行われた場合には(ステップS929)、オクルージョン判定処理の動作を終了する。
このように、判定部150は、画像において検出された動物体に関するオクルージョンの発生の有無を判定する。この場合に、例えば、判定部150は、その検出された動物体に関するサイズ情報と、画像においてその動物体の直前に検出された動物体に関するサイズ情報とを比較し、この比較結果に基づいてオクルージョンの発生の有無を判定する。また、判定部150は、オクルージョンが発生していると判定された場合には、遮蔽物領域の両側に隣接する複数の動物体を1つの動物体であると判定する。
このように、本技術の第2の実施の形態では、既知の遮蔽物(例えば、道路標識)を設定しておき、この遮蔽物に関する遮蔽物領域情報を用いてオクルージョン判定処理を行う。これにより、異なる2つの動物体が存在しているのか、オクルージョン発生により1つの動物体が分裂しているのかを正確に判定することができる。また、動物体の検出精度を向上させることができる。
なお、本技術の第1の実施の形態と同様に、画像の奥行方向における動物体と遮蔽物領域との位置関係を判定し、動物体が遮蔽物領域よりも奥側であると判定された場合にのみ、その動物体に関するオクルージョンの発生の有無を判定するようにしてもよい。
<3.第3の実施の形態>
本技術の第1および第2の実施の形態では、一体として構成される画像処理装置100を例にして説明した。ただし、画像処理装置100における各機能を複数の装置により実現する画像処理システムについても本技術の第1および第2の実施の形態を適用することができる。
そこで、本技術の第3の実施の形態では、複数の装置により構成される画像処理システムの例を示す。なお、本技術の第3の実施の形態における画像処理システムを構成する各部は、図1に示す画像処理装置100を構成する各部に対応する。このため、画像処理装置100に対応する部分については、その旨を示してこれらの説明の一部を省略する。
[画像処理システムの構成例]
図14は、本技術の第3の実施の形態における画像処理システム400の構成例を示す図である。
画像処理システム400は、撮像装置410と、ネットワーク420と、サーバ430と、入出力装置440とを備える。
なお、画像取得部411、検出部432、判定部433および記憶部431のそれぞれは、図1に示す画像取得部130、検出部140、判定部150および記憶部110に対応する。
また、入出力装置440は、図1に示す設定部120および出力部160に対応する。すなわち、入出力装置440は、登録領域および遮蔽物領域のそれぞれを設定する。また、入出力装置440は、判定部433から出力された判定結果を出力する。例えば、各画像を表示する表示部や各音声情報を出力する音声出力部により判定結果を出力することができる。
ネットワーク420は、撮像装置410およびサーバ430を接続するネットワークである。例えば、ネットワーク420は、電話網、インターネット等のネットワーク(例えば、公衆回線網)である。また、例えば、ネットワーク420は、有線ネットワーク(例えば、イーサネット(登録商標))や同軸ケーブルとするようにしてもよい。
このように、画像処理システム400は、ネットワーク420を介して撮像装置410およびサーバ430が接続される。そして、撮像装置410の画像取得部411により取得された画像がネットワーク420を介してサーバ430に送信される。
すなわち、画像処理システム400は、物体検出処理および物体の侵入判定処理(または、動物体検出処理およびオクルージョン判定処理)をサーバ430側で行う画像処理システムである。なお、これらの各処理のうちの一部を撮像装置側で行うようにしてもよい。この例を図15に示す。
[画像処理システムの構成例]
図15は、本技術の第3の実施の形態における画像処理システム500の構成例を示す図である。
画像処理システム500は、撮像装置510と、ネットワーク520と、サーバ530と、入出力装置540とを備える。
なお、画像取得部512、検出部513、ネットワーク520、判定部532および入出力装置540のそれぞれは、図14に示す画像取得部411、ネットワーク420、検出部432、判定部433および入出力装置440に対応する。ただし、入出力装置540は、遮蔽物領域のみを設定する。なお、ネットワーク520を介して撮像装置510および入出力装置540を接続し、入出力装置540を用いて登録領域を設定するようにしてもよい。
また、記憶部511および記憶部531は、図14に示す記憶部431に対応する。すなわち、記憶部511には、背景画像情報が記憶され、この記憶されている背景画像情報を検出部513に供給する。また、記憶部531には、登録領域情報および遮蔽物領域情報が記憶され、この記憶されている各情報を判定部532に供給する。
このように、画像処理システム500は、ネットワーク520を介して撮像装置510およびサーバ530が接続される。そして、撮像装置510の画像取得部512により取得された画像について検出部513が物体検出処理(または、動物体検出処理)を行う。また、検出部513は、画像取得部512により取得された画像とともにその検出結果をネットワーク520を介してサーバ530に送信する。
このように、本技術の第3の実施の形態では、本技術の第1および第2の実施の形態で示した各処理(物体検出処理および物体の侵入判定処理(または、動物体検出処理およびオクルージョン判定処理))を複数の装置により実行する。このため、例えば、監視対象となる複数の場所のそれぞれに撮像装置を設置し、これらの各撮像装置により取得された画像について、1つのサーバが集中して各処理を行うことができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本技術は以下のような構成もとることができる。
(1)
画像に含まれる物体を検出する検出部と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
を具備する画像処理装置。
(2)
前記判定部は、前記検出された物体および前記遮蔽物領域の前記画像における重複領域について、前記画像における前記検出された物体の前記重複領域に含まれる特徴量と記憶部に記憶されている前記遮蔽物領域における前記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて前記位置関係を判定する前記(1)に記載の画像処理装置。
(3)
前記判定部は、前記検出された物体の前記重複領域に含まれる画素と、前記遮蔽物領域における前記重複領域に含まれる画素とを比較して前記重複領域における画素の類似度に基づいて、前記位置関係を判定する前記(2)に記載の画像処理装置。
(4)
前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
前記判定部は、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)
前記検出部は、前記画像に含まれる動物体を検出し、
前記判定部は、前記検出された動物体に関するオクルージョンの発生の有無を判定する
前記(1)に記載の画像処理装置。
(6)
前記判定部は、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記オクルージョンの発生の有無を判定する前記(5)に記載の画像処理装置。
(7)
前記判定部は、前記オクルージョンが発生していると判定された場合には、前記遮蔽物領域の両側に隣接する複数の動物体を1つの動物体であると判定する前記(5)または(6)に記載の画像処理装置。
(8)
画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
を具備する画像処理方法。
(9)
画像に含まれる物体を検出する検出手順と、
前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
をコンピュータに実行させるプログラム。
100 画像処理装置
110 記憶部
120 設定部
130 画像取得部
140 検出部
150 判定部
160 出力部
400 画像処理システム
410 撮像装置
411 画像取得部
420 ネットワーク
430 サーバ
431 記憶部
432 検出部
433 判定部
440 入出力装置
500 画像処理システム
510 撮像装置
511 記憶部
512 画像取得部
513 検出部
520 ネットワーク
530 サーバ
531 記憶部
532 判定部
540 入出力装置

Claims (9)

  1. 画像に含まれる物体を検出する検出部と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
    を具備し、
    前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
    前記判定部は、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
    画像処理装置。
  2. 前記判定部は、前記検出された物体および前記遮蔽物領域の前記画像における重複領域について、前記画像における前記検出された物体の前記重複領域に含まれる特徴量と記憶部に記憶されている前記遮蔽物領域における前記重複領域に含まれる特徴量とを比較して当該比較結果に基づいて前記位置関係を判定する請求項1記載の画像処理装置。
  3. 前記判定部は、前記検出された物体の前記重複領域に含まれる画素と、前記遮蔽物領域における前記重複領域に含まれる画素とを比較して前記重複領域における画素の類似度に基づいて、前記位置関係を判定する請求項2記載の画像処理装置。
  4. 画像に含まれる物体を検出する検出部と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定部と
    を具備し、
    前記検出部は、前記画像に含まれる動物体を検出し、
    前記判定部は、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
    画像処理装置。
  5. 前記判定部は、前記オクルージョンが発生していると判定された場合には、前記遮蔽物領域の両側に隣接する複数の動物体を1つの動物体であると判定する請求項記載の画像処理装置。
  6. 画像に含まれる物体を検出する検出手順と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
    を具備し、
    前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
    前記判定手順において、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
    画像処理方法。
  7. 画像に含まれる物体を検出する検出手順と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
    を具備し、
    前記検出手順において、前記画像に含まれる動物体を検出し、
    前記判定手順において、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
    画像処理方法。
  8. 画像に含まれる物体を検出する検出手順と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
    をコンピュータに実行させるプログラムであって、
    前記遮蔽物領域は、前記画像において登録されている登録領域の境界または境界付近に設置される物体であって前記検出された物体を遮蔽する遮蔽物の領域であり、
    前記判定手順において、前記画像において前記検出された物体と前記登録領域とが重複し、かつ、前記画像において前記検出された物体と前記遮蔽物領域とが重複する場合に、前記位置関係を判定し、当該判定結果に基づいて前記検出された物体が前記登録領域に侵入したか否かを判定する
    プログラム。
  9. 画像に含まれる物体を検出する検出手順と、
    前記画像において前記検出された物体と遮蔽物領域とが重複する場合に前記検出された物体と遮蔽物領域とのうちの少なくとも1つに関する特徴量に基づいて前記画像の奥行方向における前記検出された物体と前記遮蔽物領域との位置関係を判定する判定手順と
    をコンピュータに実行させるプログラムであって、
    前記検出手順において、前記画像に含まれる動物体を検出し、
    前記判定手順において、前記検出された動物体に関するサイズ情報と、前記画像において当該動物体の直前に検出された動物体に関するサイズ情報とを比較して当該比較結果に基づいて前記検出された動物体に関するオクルージョンの発生の有無を判定する
    プログラム。
JP2013110264A 2013-05-24 2013-05-24 画像処理装置、画像処理方法およびプログラム Active JP6097150B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013110264A JP6097150B2 (ja) 2013-05-24 2013-05-24 画像処理装置、画像処理方法およびプログラム
US14/255,464 US9367747B2 (en) 2013-05-24 2014-04-17 Image processing apparatus, image processing method, and program
CN201410210313.XA CN104184938B (zh) 2013-05-24 2014-05-16 图像处理装置、图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013110264A JP6097150B2 (ja) 2013-05-24 2013-05-24 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2014229210A JP2014229210A (ja) 2014-12-08
JP2014229210A5 JP2014229210A5 (ja) 2016-02-18
JP6097150B2 true JP6097150B2 (ja) 2017-03-15

Family

ID=51935406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013110264A Active JP6097150B2 (ja) 2013-05-24 2013-05-24 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US9367747B2 (ja)
JP (1) JP6097150B2 (ja)
CN (1) CN104184938B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201509387D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Method and apparatus for image processing (distance detection)
CN105354563B (zh) * 2015-12-14 2018-12-14 南京理工大学 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
JP6612135B2 (ja) * 2016-01-14 2019-11-27 日立オートモティブシステムズ株式会社 車両検出装置および配光制御装置
JP6641633B2 (ja) * 2016-03-10 2020-02-05 スズキ株式会社 移動体検知システムおよびそのデータ整合性判定方法
JP6660228B2 (ja) * 2016-03-31 2020-03-11 セコム株式会社 物体検出センサ
CN106846294B (zh) * 2016-12-16 2020-11-27 深圳市海科瑞科技有限公司 视觉检测方法、装置及设备
WO2018232631A1 (zh) * 2017-06-21 2018-12-27 深圳配天智能技术研究院有限公司 一种图像处理方法、装置、系统及计算机存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044860A (ja) * 2001-08-01 2003-02-14 Nippon Hoso Kyokai <Nhk> 映像オブジェクト追跡装置
US6856314B2 (en) * 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
JP4264663B2 (ja) 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
JP5106302B2 (ja) * 2008-07-31 2012-12-26 セコム株式会社 移動物体追跡装置
US9482528B2 (en) * 2009-09-18 2016-11-01 Logos Technologies Llc Systems and methods for persistent surveillance and large volume data streaming
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
JP5606979B2 (ja) * 2011-03-30 2014-10-15 セコム株式会社 画像監視装置
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring

Also Published As

Publication number Publication date
US9367747B2 (en) 2016-06-14
US20140348381A1 (en) 2014-11-27
JP2014229210A (ja) 2014-12-08
CN104184938B (zh) 2018-09-21
CN104184938A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
JP6097150B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6230751B1 (ja) 物体検出装置および物体検出方法
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
US20150063647A1 (en) Apparatus and method for detecting obstacle
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6638723B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2009048629A (ja) 検出方法
JP2013235580A5 (ja)
JP2015138319A (ja) 物体検出装置、物体検出方法、および物体検出プログラム
JP2015186085A (ja) 移動量導出装置、及び、移動量導出方法
KR20140029069A (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
KR20200014694A (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
JP2008005399A (ja) 放置物検出装置及び放置物検出方法
WO2016151976A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
US20130027550A1 (en) Method and device for video surveillance
JP2018074411A (ja) 物体検出装置及び物体検出方法
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
JPWO2016151977A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP5709255B2 (ja) 画像処理方法および監視装置
JP2012256159A (ja) 接近物検知装置および接近物検知方法
JP5445336B2 (ja) 置き去り又は持ち去り判定装置及び同判定方法
JP4998955B2 (ja) 崩落検知システムおよび方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170217

R150 Certificate of patent or registration of utility model

Ref document number: 6097150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250