JP7092177B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7092177B2 JP7092177B2 JP2020189231A JP2020189231A JP7092177B2 JP 7092177 B2 JP7092177 B2 JP 7092177B2 JP 2020189231 A JP2020189231 A JP 2020189231A JP 2020189231 A JP2020189231 A JP 2020189231A JP 7092177 B2 JP7092177 B2 JP 7092177B2
- Authority
- JP
- Japan
- Prior art keywords
- index value
- degree
- monitoring target
- captured
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
Description
図1は、実施形態1に係る画像処理装置2000を示すブロック図である。図1において、矢印は情報の流れを表している。さらに、図1において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
画像処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア構成要素(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエア構成要素とソフトウエア構成要素との組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
図5は、実施形態1の画像処理装置2000が実行する処理の流れを例示するフローチャートである。ステップS102において、指標値算出部2020は、撮像画像を取得する。ステップS104において、提示部2040は、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。ステップS106において、提示部2040は、カメラ3000によって撮像された撮像画像(提示対象画像)上に、指標値に基づく表示を提示する。
監視員等は、監視カメラに写っている監視対象の状態がどの程度変化しているかを把握したい場合、監視カメラの映像をしばらく見続けなければならない。短い時間、例えば1秒程度映像を見ただけでは、その時の監視対象の状態は把握できても、監視対象の状態がどの程度変化しているかを把握することは難しい。
指標値算出部2020が撮像画像を取得する方法は任意である。例えば指標値算出部2020は、カメラ3000から撮像画像を取得する。また、指標値算出部2020は、カメラ3000の外部にある記憶装置に記憶されている撮像画像を取得してもよい。この場合、カメラ3000は、撮像した画像をこの記憶装置に記憶するように構成されている。この記憶装置は、画像処理装置2000の内部に設けられてもよいし、画像処理装置2000の外部に設けられてもよい。
画像処理装置2000が扱う監視対象は様々である。例えば画像処理装置2000は、人や物などのオブジェクト、又はこれらオブジェクトの集合(群衆など)などを監視対象として扱う。なお、物を表すオブジェクトには、場所が含まれてもよい。つまり、画像処理装置2000は、撮像画像に写っている場所(領域)を監視対象として扱ってもよい。
画像処理装置2000は、撮像画像から抽出される全てのオブジェクトを監視対象としてもよいし、特定のオブジェクトのみを監視対象としてもよい。例えば画像処理装置2000は、人又は人の集合(群衆)のみを監視対象として扱う。また、画像処理装置2000は、特定の人や群衆のみを監視対象としてもよい。この場合、画像処理装置2000は、監視対象を示す情報(例えばブラックリスト)を取得し、その情報に基づいて監視対象を決定する。監視対象を示す情報は、例えば監視対象とする各オブジェクトの特徴量を示す。また監視対象を示す情報は、「帽子をかぶっている」や「サングラスをかけている」など、監視対象とする人の特徴を示す情報であってもよい。ここで、画像に含まれるオブジェクトから、特定の特徴を持つオブジェクトを特定する技術は既知の技術であるため、詳細な方法については省略する。
前述したように、提示部2040は、カメラ3000によって撮像された撮像画像(提示対象画像)上に、指標値に基づく表示を提示する。指標値に基づく表示を提示対象画像上に提示する処理は、例えば、監視対象について算出した指標値を、提示対象画像におけるその監視対象の周辺などに提示する処理である。「指標値に基づく表示を提示対象画像上に提示する処理」のその他の例は、後述の各実施形態等で説明する。
前述したように、指標値算出部2020は、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。ここで、画像処理装置2000が扱う「監視対象の状態」は様々であり、指標値の算出方法は、何を監視対象として扱うかに依存する。そこで以下、画像処理装置2000が扱う監視対象の状態と、その監視対象の状態の変化度合いを示す指標値の算出方法とを例示する。
例えば指標値算出部2020は、監視対象の状態として、監視対象の位置を扱う。例えば、人が通過する通路において長時間立ち止まっている人物がいたら、その人物を注意して監視すべきであると考えられる。そこで、指標値算出部2020は、監視対象の位置の変化度合いを、監視対象の状態の変化度合いとして扱う。監視対象の位置の変化度合いは、監視対象の滞留度合いとも言い換えることができる。監視対象の滞留度合いに基づいて指標値を算出し、その指標値に基づく表示を提示対象撮像画像上に提示することで、監視員等は、各監視対象の滞留度合いをすぐに把握することができる。
また例えば、指標値算出部2020は、ある監視対象が撮像画像に写る頻度を、監視対象の状態として扱う。つまり、指標値算出部2020は、ある監視対象が撮像画像に写る頻度(撮像画像に写る時間の長さ)の変化度合いを、監視対象の状態の変化度合いとして扱う。例えばある監視対象が、最初の30分には撮像画像で一度も検知されず、次の30分には撮像画像で1回検知され、次の30分には撮像画像で5回検知されているとする。この場合、その監視対象が撮像画像に写る頻度は上昇している。そのため、監視対象の状態の変化度合いは、高い度合いを示す。
例えば指標値算出部2020は、監視対象の密集度合いを、監視対象の状態として扱う。例えば人を監視対象として扱う場合、監視対象の密集度合いは人が密集している度合いであり、混雑度合いとも言い換えられる。例えば、狭い通路に人が過度に密集すると、群衆雪崩などが発生する危険がある。このような場合、警備員が適切な誘導を行う等の措置が必要となるため、監視カメラの映像を見る監視員はこのような状況を即座に把握できることが好ましい。画像処理装置2000が監視対象の密集度合いの変化度合いに基づく表示を提示対象画像上に提示することで、提示対象画像を見た監視員は、時間が経ってもなかなか混雑が解消されない監視対象をすぐに見分けることができる。
例えば指標値算出部2020は、監視対象の行列の長さ又は進む速さを、監視対象の状態として扱う。例えば複数のレジがある店舗などにおいて、各レジにできる待ち行列の内、あるレジにできている待ち行列の長さだけが長時間変化しない(行列が進む速さが遅い)とする。この場合、そのレジで何かしらトラブルが起きていたりすることが考えられる。
例えば指標値算出部2020は、駅のプラットフォームなどを撮像した撮像画像に写っている人や荷物などを監視対象とする。そして、指標値算出部2020は、人や荷物等の数の変化度合いや人や荷物の行列の長さの変化度合い(人や荷物が積み残された度合い)を、監視対象の状態の変化度合いとして算出する。
指標値算出部2020は、前述した監視対象の位置など、撮像画像を解析して直接求まる監視対象の状態だけでなく、その状態をモデル等に適用して得られる指標に基づいて監視対象の状態を定めてもよい。
例えば指標値算出部2020は、監視対象について、その監視対象の周辺で何か事件が起こったとき(例えば不審物が爆発した場合や凶器を持った人物が出現した場合など)にどれだけ大きなダメージが生じ得るか、すなわちその監視対象の周辺の危険性の度合いを、その監視対象の危険度として算出する。
画像処理装置2000は、監視対象が監視されていない度合い(以下、監視手薄度)を、監視対象の状態としてもよい。ここで、カメラ3000が設置されている施設において、現場にいる警備員が監視を行っているとする。現場にいる警備員は、一人で広範囲を担当しなければならなかったり、警備中に来場者の応対をしなければならなかったりすることがある。そのため、監視対象が警備員に監視されている度合いには、ばらつきがある。
図8は、実施形態2に係る画像処理装置2000を示すブロック図である。図8において、矢印は情報の流れを表している。さらに、図8において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図11は、監視対象及びその周辺の色を、監視対象の位置の変化度合いを示す指標値に応じた色に変更する様子を概念的に例示する図である。図11が示す撮像画像10-1と10-2は、それぞれ異なる時点で同じ通路を撮像した画像である。図11(a)に示す撮像画像10-1は、図11(b)に示す撮像画像10-2によりも前に撮像された画像である。撮像画像10-1と10-2とを比較すると、人20の位置はほぼ変化しておらず、それ以外の人の位置は大きく変化している。ここで、滞留している人は注意して監視すべき人であると考えられる。
本実施形態の画像処理装置2000によれば、監視対象の状態の変化度合いに基づいて撮像画像の表示色が決定され、その表示色を用いた表示が提示対象画像上に提示される。そのため本実施形態の画像処理装置2000によれば、提示対象画像上に指標値をそのまま表示する方法と比較し、監視対象の状態の変化度合いを直感的に把握することができる。よって、提示対象画像を見る監視員等にとって、監視対象の現状がより把握しやすくなる。
実施形態3の画像処理装置2000の構成は、実施形態1又は2の画像処理装置2000と同様の構成を有する。
例えば提示部2040は、監視対象の周辺に、指標値の大きさに応じた太さの枠線を表示する。この場合、例えば提示部2040は、以下の式(2)を用いて枠線の太さ b を算出する。b0 は太さの初期値である。I は、指標値算出部2020が算出した指標値である。αは比例定数である。なお、提示部2040が提示する枠線の形状は任意である。
図12は、監視対象の周辺に枠線を提示することで強調表示を行う様子を概念的に例示する図である。図12が示す撮像画像10-1と10-2は、それぞれ異なる時点で同じ場所にある人の行列を撮像した画像である。図11の場合と同様、撮像画像10-1は撮像画像10-2によりも前に撮像された画像である。撮像画像10-1と10-2とを比較すると、上の行列30-1の長さは変化しておらず、下の行列30-2の長さは大きく変化している。ここで、行列の長さは時間が経つにつれ短くなることが好ましく、長さの変化度合いが小さい行列を注視すべきであると考えられる。
また、実施形態3の画像処理装置2000は、実施形態2で説明した表示色決定部2060を用い、監視対象の色又は監視対象の周辺の色をその監視対象について決定した表示色に変更することで、その監視対象を強調する表示を提示してもよい。例えば指標値算出部2020は、監視対象の表示色の濃さを濃くすることで、その監視対象を強調する。また、表示色決定部2060は、強調すべき監視対象の指標値に対応する色ほど目立つ色で構成されたカラーマップを用いて、監視対象の表示色を構成する。例えば、指標値が大きい監視対象ほど強調する場合、表示色決定部2060は、大きい指標値に対応する色ほど目立つ色(赤色など)であり、小さい指標値に対応する色ほど目立たない色(灰色など)であるカラーマップを用いる。
図13は、監視対象の周辺に指標値に応じた色及び太さの枠線を提示することで強調表示を行う様子を概念的に例示する図である。図13が示す撮像画像10-1と10-2は、それぞれ異なる時点で同じ場所にある群衆を撮像した画像である。図11や図12の場合と同様、撮像画像10-1は撮像画像10-2によりも前に撮像された画像である。撮像画像10-1と10-2とを比較すると、右上の群衆40-1に含まれる人の数は増加し、左下の群衆40-2に含まれる人の数は減少している。
本実施形態の画像処理装置2000によれば、監視対象の指標値に基づいた程度でその監視対象を強調する表示が、提示対象画像上に提示される。そのため、提示対象画像を見る監視員等は、各監視対象の変化度合いをすぐに把握できると共に、各監視対象をどの程度注意して監視すべきかをすぐに把握することができる。
図14は、実施形態4に係る画像処理装置2000を示すブロック図である。図14において、矢印は情報の流れを表している。さらに、図14において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
乖離度算出部2080が乖離度を算出する方法は様々である。例えば乖離度算出部2080は、下記の式(3)を用いて乖離度 k を算出する。I は監視対象について算出した指標値であり、Ibase は基準となる変化度合いである。ただし、乖離度の算出方法は下記の方法に限定されない。
例えば実施形態4の画像処理装置2000は、乖離度に基づいて監視対象の色を変更する。この場合、実施形態4の画像処理装置2000は、表示色決定部2060を有する。
提示部2040は、実施形態3で説明した方法と同様の方法により、監視対象について算出した乖離度の大きさに基づいて、その監視対象を強調する表示を提示してもよい。
例えば提示部2040は、実施形態3と同様に、枠線や色を用いて強調表示を行う。この場合、例えば提示部2040は、数式(4)にしたがって監視対象の枠線の太さ b' を決定する。ここで、k は前述の乖離度を表す。例えばαを正の実数とすると、乖離度が大きいほど枠線の太さが太くなる。
実施形態4の表示色決定部2060は、実施形態3の表示色決定部2060と同様に、監視対象の表示色を変更することで、監視対象を強調する表示を提示してもよい。具体的には、表示色決定部2060は、乖離度が大きい監視対象ほど強調したい場合、乖離度が大きいほど表示色の濃さを濃くしたり、大きい乖離度に対応する色ほど目立つ色で構成されたカラーマップを用いて表示色を決定する。同様に、表示色決定部2060は、乖離度が小さい監視対象ほど強調したい場合、乖離度が小さいほど表示色の濃さを濃くしたり、小さい乖離度に対応する色ほど目立つ色で構成されたカラーマップを用いて表示色を決定する。
本実施形態によれば、監視対象の状態の変化度合いが、基準となる変化度合いからどの程度乖離しているかに基づいて、監視対象を強調する表示が提示対象画像上に提示される。基準となる変化度合いを導入することにより、監視対象を強調すべき度合いをより正確に求めることができる。よって、監視員等は、各監視対象について、注意して監視すべき度合いをより正確に把握することができる。
実施形態4の画像処理装置2000の構成は、実施形態1と同様に図1で表される。
本実施形態によれば、監視対象の状態の変化度合いの予測値に基づく表示が、提示対象画像上に提示される。そのため、監視員等は、今後の行動を注視した方がよい監視対象を即座に把握することができる。
実施形態6において、あるカメラ3000(以下、カメラ3000-1)によって撮像された撮像画像は、表示画面4000によって表示される期間と表示されない期間がある。例えば1つの表示画面4000に、複数のカメラ3000によって撮像された撮像画像を時分割で表示させる場合などが該当する。
本実施形態によれば、カメラ3000-1によって撮像された撮像画像が、ある期間表示画面4000に表示されず、その期間後に表示画面4000に表示される場合、その期間の前後において監視対象の状態が変化した度合いを示す指標値が算出される。こうすることで、監視員等は、例えば表示画面4000のチャンネルをカメラ3000-1の映像からカメラ3000-2の映像に切り替えてしばらく後、再度表示画面4000のチャンネルをカメラ3000-1の映像に切り替えた際、前回カメラ3000-1の映像を見た時と比べて各監視対象の状態がどの程度変化したかを即座に把握することができる。よって、特定のカメラ3000が撮像した撮像画像のみを監視し続けることが難しい場合でも、あるカメラ3000が撮像した画像を見た時に、そのカメラ3000に写っている監視対象の状態の変化度合いを即座に把握することができる。
実施形態7の画像処理装置2000は、実施形態1の画像処理装置2000と同様に、図1で表される。
指標値算出部2020は、ユーザの視線方向を取得する。視線方向は、例えば「水平方向の角度、垂直方向の角度」の組み合わせで表される。ここで、水平方向の角度や垂直方向の角度の基準(0度とする方向)は任意である。
例えば、指標値算出部2020は、表示画面4000を予め所定数の部分領域に分割して扱う。そして、指標値算出部2020は、視線方向検出部から監視員の視線方向を取得し、その視線方向がどの部分領域に対応するか割り出す。そして、割り出した部分領域が、前回割り出した部分領域と異なる場合、ユーザの視線方向に対応する部分領域が変化したことを把握する。
本実施形態によれば、ある領域を監視していない期間があった場合、次にその領域を見た際に、前回その領域を見た時からの各監視対象の状態の変化度合いを示す表示が、表示画面4000上に提示される。そのため、監視員等は、表示画面4000の全ての領域を一度に監視できない場合であっても、各領域に写っている監視対象の状態の変化度合いをすぐに把握することができる。
実施形態7の画像処理装置2000と同様の構成で、以下に示す変形例7-1の画像処理装置2000を実現してもよい。当該変形例7-1の画像処理装置2000において、表示画面4000は、複数の小画面4100を有する。そして、各小画面4100には、それぞれ異なるカメラ3000によって撮像された撮像画像が表示される。
1. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
前記カメラによって撮像された第1撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
を有する画像処理装置。
2. 前記監視対象について、前記指標値に応じた表示色を決定する第1表示色決定手段を有し、
前記提示手段は、前記第1撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した前記表示色に変更する1.に記載の画像処理装置。
3. 前記提示手段は、前記指標値が大きい監視対象ほど強調する表示を提示するか、又は前記指標値が小さい監視対象ほど強調する表示を提示する1.又は2.に記載の画像処理装置。
4. 前記指標値と基準となる変化度合いとの乖離度を算出する乖離度算出手段を有し、
前記提示手段は、前記第1撮像画像において、前記乖離度が大きい監視対象ほど強調する表示を提示するか、又は前記乖離度が小さい監視対象ほど強調する表示を提示する1.に記載の画像処理装置。
5. 前記監視対象に対し、その監視対象について算出した前記乖離度に応じた表示色を決定する第2表示色決定手段を有し、
前記提示手段は、前記第1撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象に対して決定した前記表示色に変更する4.に記載の画像処理装置。
6. 前記指標値算出手段は、算出された前記監視対象の状態の変化度合いを用いて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出し、その予測値を前記指標値とする1.乃至5.いずれか一つに記載の画像処理装置。
7. 前記指標値算出手段は、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
前記提示手段は、前記期間の後に表示される撮像画像を前記第1撮像画像として用いる1.乃至6.いずれか一つに記載の画像処理装置。
8. 前記指標値算出手段は、前記撮像画像を表示する表示画面の第1部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第1部分領域に表示される前記監視対象の状態と、その期間の後に前記第1部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
前記提示手段は、前記期間の後に表示される前記撮像画像を前記第1撮像画像として用い、その第1撮像画像のうちの前記第1部分領域に表示される領域上に、前記第1部分領域について算出した前記指標値に基づく表示を提示する1.乃至7.いずれか一つに記載の画像処理装置。
9. 前記指標値算出手段は、前記監視対象の位置の変化度合いを示す指標値を算出する1.乃至8.いずれか一つに記載の画像処理装置。
10. 前記指標値算出手段は、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する1.乃至9.いずれか一つに記載の画像処理装置。
11. 前記指標値算出手段は、前記監視対象に含まれる複数のオブジェクトの密集度合いの変化度合いを示す指標値を算出する1.乃至10.いずれか一つに記載の画像処理装置。
12. 前記監視対象はオブジェクトの行列を含み、
前記指標値算出手段は、前記行列の長さ又は速さの変化度合いを示す指標値を算出する1.乃至11.いずれか一つに記載の画像処理装置。
13. 前記指標値算出手段は、前記監視対象に含まれるオブジェクトの数の変化度合いを示す指標値を算出する1.乃至12.いずれか一つに記載の画像処理装置。
14. 前記監視対象は人を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する1.乃至13.いずれか一つに記載の画像処理装置。
15. 前記監視対象は人又は場所を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する1.乃至14.いずれか一つに記載の画像処理装置。
16. 前記監視対象は人又は場所を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する1.乃至15.いずれか一つに記載の画像処理装置。
17. カメラ、表示画面、及び1.乃至16.いずれか一つに記載の画像処理装置を有する監視システムであって、
前記カメラは、それぞれ異なる時点で撮像を行うことで、複数の撮像画像を生成し、
前記表示画面は、前記提示手段によって前記指標値に基づく表示が提示された前記第1撮像画像を表示する監視システム。
18. コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
前記カメラによって撮像された第1撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
を有する画像処理方法。
19. 前記監視対象について、前記指標値に応じた表示色を決定する第1表示色決定ステップを有し、
前記提示ステップは、前記第1撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した前記表示色に変更する18.に記載の画像処理方法。
20. 前記提示ステップは、前記指標値が大きい監視対象ほど強調する表示を提示するか、又は前記指標値が小さい監視対象ほど強調する表示を提示する18.又は19.に記載の画像処理方法。
21. 前記指標値と基準となる変化度合いとの乖離度を算出する乖離度算出ステップを有し、
前記提示ステップは、前記第1撮像画像において、前記乖離度が大きい監視対象ほど強調する表示を提示するか、又は前記乖離度が小さい監視対象ほど強調する表示を提示する18.に記載の画像処理方法。
22. 前記監視対象に対し、その監視対象について算出した前記乖離度に応じた表示色を決定する第2表示色決定ステップを有し、
前記提示ステップは、前記第1撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象に対して決定した前記表示色に変更する21.に記載の画像処理方法。
23. 前記指標値算出ステップは、算出された前記監視対象の状態の変化度合いを用いて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出し、その予測値を前記指標値とする18.乃至22.いずれか一つに記載の画像処理方法。
24. 前記指標値算出ステップは、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
前記提示ステップは、前記期間の後に表示される撮像画像を前記第1撮像画像として用いる18.乃至23.いずれか一つに記載の画像処理方法。
25. 前記指標値算出ステップは、前記撮像画像を表示する表示画面の第1部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第1部分領域に表示される前記監視対象の状態と、その期間の後に前記第1部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
前記提示ステップは、前記期間の後に表示される前記撮像画像を前記第1撮像画像として用い、その第1撮像画像のうちの前記第1部分領域に表示される領域上に、前記第1部分領域について算出した前記指標値に基づく表示を提示する18.乃至24.いずれか一つに記載の画像処理方法。
26. 前記指標値算出ステップは、前記監視対象の位置の変化度合いを示す指標値を算出する18.乃至25.いずれか一つに記載の画像処理方法。
27. 前記指標値算出ステップは、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する18.乃至26.いずれか一つに記載の画像処理方法。
28. 前記指標値算出ステップは、前記監視対象に含まれる複数のオブジェクトの密集度合いの変化度合いを示す指標値を算出する18.乃至27.いずれか一つに記載の画像処理方法。
29. 前記監視対象はオブジェクトの行列を含み、
前記指標値算出ステップは、前記行列の長さ又は速さの変化度合いを示す指標値を算出する18.乃至28.いずれか一つに記載の画像処理方法。
30. 前記指標値算出ステップは、前記監視対象に含まれるオブジェクトの数の変化度合いを示す指標値を算出する18.乃至29.いずれか一つに記載の画像処理方法。
31. 前記監視対象は人を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する18.乃至30.いずれか一つに記載の画像処理方法。
32. 前記監視対象は人又は場所を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する18.乃至31.いずれか一つに記載の画像処理方法。
33. 前記監視対象は人又は場所を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する18.乃至32.いずれか一つに記載の画像処理方法。
34. コンピュータを、1.乃至16.いずれか一つに記載の画像処理装置として動作させるプログラム。
35. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出手段と、
前記カメラによって撮像された撮像画像上において、前記監視対象を表す領域の色を、前記変化度合いに基づく色に変更する提示手段と、
を有する画像処理装置。
36. コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出ステップと、
前記カメラによって撮像された撮像画像上において、前記監視対象を表す領域の色を、前記変化度合いに基づく色に変更する提示ステップと、
を有する画像処理方法。
37. コンピュータを35.に記載の画像処理装置として動作させるプログラム。
38. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出手段と、
前記カメラによって撮像された撮像画像上において、前記変化度合いに基づいて前記監視対象を強調する提示手段と、
を有する画像処理装置。
39. コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出ステップと、
前記カメラによって撮像された撮像画像上において、前記変化度合いに基づいて前記監視対象を強調する提示ステップと、
を有する画像処理方法。
40. コンピュータを39.に記載の画像処理装置として動作させるプログラム。
Claims (8)
- カメラによってそれぞれ異なる時点に撮像された複数の撮像画像を用いて、監視対象が現場の警備員によって監視されていない度合である監視手薄度の変化度合いを示す指標値を算出する指標値算出手段と、
前記カメラによって撮像された第1撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
を有し、
前記監視対象は人または場所を含み、
前記監視手薄度は、前記監視対象と前記警備員との間の距離が大きくなるほど大きな値として算出される、
画像処理装置。 - 前記指標値算出手段は、前記距離が大きくなるほど大きな値をとる単調非減少関数を用いて、前記監視手薄度を算出する、
請求項1に記載の画像処理装置。 - 前記指標値算出手段は、前記距離と、前記警備員が向いている方向と前記警備員の位置を基準として前記監視対象の位置へ向かう方向とのずれの角度の絶対値と、によって値が定まる関数を用いて、前記監視手薄度を算出する、
請求項1に記載の画像処理装置。 - 前記指標値算出手段は、前記警備員が警備に注力している度合である警備注力度と、前記距離に基づいて算出された前記監視手薄度と、に基づいて、最終的な前記監視手薄度を決定する、
請求項1に記載の画像処理装置。 - 前記指標値算出手段は、前記複数の撮像画像を用いて前記警備員の状態または姿勢を解析した結果に基づいて、前記警備注力度を算出する、
請求項4に記載の画像処理装置。 - 前記指標値算出手段は、前記解析の結果が、顧客に応対する動作、携帯電話で連絡を取る動作、またはポールを設置する動作の少なくともいずれか1つを示す場合に、前記警備注力度を、前記解析の結果が前記動作以外の動作を示す場合よりも低く算出する、
請求項5に記載の画像処理装置。 - コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点に撮像された複数の撮像画像を用いて、監視対象が現場の警備員によって監視されていない度合である監視手薄度の変化度合いを示す指標値を算出する指標値算出ステップと、
前記カメラによって撮像された第1撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
を有し、
前記監視対象は人または場所を含み、
前記監視手薄度は、前記監視対象と前記警備員との間の距離が大きくなるほど大きな値として算出される、
画像処理方法。 - コンピュータに、
カメラによってそれぞれ異なる時点に撮像された複数の撮像画像を用いて、監視対象が現場の警備員によって監視されていない度合である監視手薄度の変化度合いを示す指標値を算出する指標値算出ステップと、
前記カメラによって撮像された第1撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
を実行させるプログラムであって、
前記監視対象は人または場所を含み、
前記監視手薄度は、前記監視対象と前記警備員との間の距離が大きくなるほど大きな値として算出される、
プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134786 | 2014-06-30 | ||
JP2014134786 | 2014-06-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182148A Division JP6801760B2 (ja) | 2014-06-30 | 2019-10-02 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021044821A JP2021044821A (ja) | 2021-03-18 |
JP7092177B2 true JP7092177B2 (ja) | 2022-06-28 |
Family
ID=55018960
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531203A Active JP6597609B2 (ja) | 2014-06-30 | 2015-06-01 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2019182148A Active JP6801760B2 (ja) | 2014-06-30 | 2019-10-02 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2020189231A Active JP7092177B2 (ja) | 2014-06-30 | 2020-11-13 | 画像処理装置、画像処理方法、及びプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531203A Active JP6597609B2 (ja) | 2014-06-30 | 2015-06-01 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2019182148A Active JP6801760B2 (ja) | 2014-06-30 | 2019-10-02 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (4) | US10269126B2 (ja) |
JP (3) | JP6597609B2 (ja) |
CN (1) | CN107113399A (ja) |
AR (1) | AR101008A1 (ja) |
WO (1) | WO2016002408A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017081717A1 (ja) * | 2015-11-09 | 2017-05-18 | 三菱電機株式会社 | 画像生成システム及び画像生成方法 |
US10346688B2 (en) * | 2016-01-12 | 2019-07-09 | Hitachi Kokusai Electric Inc. | Congestion-state-monitoring system |
JP6918523B2 (ja) * | 2017-03-06 | 2021-08-11 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム |
JP7099809B2 (ja) * | 2017-07-27 | 2022-07-12 | セコム株式会社 | 画像監視システム |
JP6664420B2 (ja) * | 2017-09-27 | 2020-03-13 | ソフトバンク株式会社 | 監視システム |
CN108596045B (zh) * | 2018-04-02 | 2021-08-20 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
US11704543B2 (en) * | 2018-06-12 | 2023-07-18 | Samsung Electronics Co., Ltd. | Neural network hardware acceleration with stochastic adaptive resource allocation |
US11164335B2 (en) * | 2018-11-06 | 2021-11-02 | International Business Machines Corporation | Passenger travel route inferencing in a subway system |
JP7115277B2 (ja) * | 2018-12-10 | 2022-08-09 | トヨタ自動車株式会社 | 行動監視装置、行動監視システム、及び行動監視プログラム |
JP2020184252A (ja) * | 2019-05-09 | 2020-11-12 | パナソニックIpマネジメント株式会社 | ストレス推定システム |
JP6593948B1 (ja) * | 2019-05-30 | 2019-10-23 | アースアイズ株式会社 | 共用スペース用の監視システム及び監視方法 |
WO2020241034A1 (ja) * | 2019-05-30 | 2020-12-03 | アースアイズ株式会社 | 監視システム及び監視方法 |
JP2021144466A (ja) * | 2020-03-12 | 2021-09-24 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JPWO2022004302A1 (ja) * | 2020-06-30 | 2022-01-06 | ||
JP7052833B2 (ja) * | 2020-07-16 | 2022-04-12 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US20230351070A1 (en) * | 2022-04-27 | 2023-11-02 | Armored Things, Inc. | Simulation-driven localization and tracking of people |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005328236A (ja) | 2004-05-13 | 2005-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像監視方法、映像監視装置、および映像監視プログラム |
JP2011018094A (ja) | 2009-07-07 | 2011-01-27 | Nec Corp | 巡回警備支援システム、方法及びプログラム |
JP2011040032A (ja) | 2009-08-12 | 2011-02-24 | Utechzone Co Ltd | モニタ監視人員の注意力集中程度モニタリングシステム |
JP2012156571A (ja) | 2009-10-27 | 2012-08-16 | Panasonic Corp | 表示画像切替装置及び表示画像切替方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5275184A (en) * | 1990-10-19 | 1994-01-04 | Dainippon Screen Mfg. Co., Ltd. | Apparatus and system for treating surface of a wafer by dipping the same in a treatment solution and a gate device for chemical agent used in the apparatus and the system |
JPH0981874A (ja) * | 1995-09-18 | 1997-03-28 | Isamu Kato | 紛失警報装置 |
US20020168084A1 (en) | 2001-05-14 | 2002-11-14 | Koninklijke Philips Electronics N.V. | Method and apparatus for assisting visitors in navigating retail and exhibition-like events using image-based crowd analysis |
US20020180866A1 (en) * | 2001-05-29 | 2002-12-05 | Monroe David A. | Modular sensor array |
JP4480299B2 (ja) * | 2001-06-21 | 2010-06-16 | 富士通マイクロエレクトロニクス株式会社 | 移動体を含む画像の処理方法及び装置 |
JP2003259337A (ja) * | 2002-02-26 | 2003-09-12 | Toshiba Lighting & Technology Corp | 監視カメラシステム |
JP2007209008A (ja) * | 2003-10-21 | 2007-08-16 | Matsushita Electric Ind Co Ltd | 監視装置 |
CN101107637B (zh) * | 2004-11-02 | 2013-02-06 | 传感电子公司 | 行列监视系统和方法 |
US8284254B2 (en) * | 2005-08-11 | 2012-10-09 | Sightlogix, Inc. | Methods and apparatus for a wide area coordinated surveillance system |
US7378969B2 (en) * | 2005-10-25 | 2008-05-27 | Sap Ag | Systems and methods for visualizing auto-id data |
KR100882011B1 (ko) * | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
US8195598B2 (en) | 2007-11-16 | 2012-06-05 | Agilence, Inc. | Method of and system for hierarchical human/crowd behavior detection |
JP2009148498A (ja) * | 2007-12-21 | 2009-07-09 | Panasonic Corp | 超音波診断装置および超音波計測値表示方法 |
US8339274B2 (en) * | 2008-01-16 | 2012-12-25 | Koninklijke Philips Electronics N.V. | System and method for automatically adjusting a lighting atmosphere based on presence detection |
EP2093698A1 (en) * | 2008-02-19 | 2009-08-26 | British Telecommunications Public Limited Company | Crowd congestion analysis |
JP5025607B2 (ja) | 2008-09-17 | 2012-09-12 | セコム株式会社 | 異常行動検知装置 |
CN101751553B (zh) * | 2008-12-03 | 2012-04-25 | 中国科学院自动化研究所 | 一种大规模人群密度分析和预测方法 |
JP5574692B2 (ja) * | 2009-12-17 | 2014-08-20 | キヤノン株式会社 | 映像情報処理方法及びその装置 |
JP5400718B2 (ja) | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
US20130268230A1 (en) * | 2010-12-16 | 2013-10-10 | Bae Systems Plc | Processing distributions |
US9098604B2 (en) * | 2011-12-22 | 2015-08-04 | General Electric Company | System and method for monitoring clinician responsiveness to alarms |
US9530221B2 (en) * | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
JP5971045B2 (ja) * | 2012-09-12 | 2016-08-17 | サクサ株式会社 | 監視システム、撮影装置及びデータ管理装置 |
KR101655102B1 (ko) * | 2012-11-06 | 2016-09-07 | 알까뗄 루슨트 | 이벤트 검출을 위해 시각 정보를 프로세싱하기 위한 시스템 및 방법 |
US9536308B2 (en) * | 2012-12-10 | 2017-01-03 | Verint Systems Ltd. | Irregular event detection in push notifications |
CN103246869B (zh) * | 2013-04-19 | 2016-07-06 | 福建亿榕信息技术有限公司 | 基于人脸识别和行为语音识别的犯罪监控方法 |
US9946921B2 (en) * | 2013-04-26 | 2018-04-17 | Nec Corporation | Monitoring device, monitoring method and monitoring program |
JP5438861B1 (ja) * | 2013-07-11 | 2014-03-12 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
WO2015155833A1 (ja) * | 2014-04-08 | 2015-10-15 | 三菱電機株式会社 | 衝突防止装置 |
-
2015
- 2015-06-01 WO PCT/JP2015/065725 patent/WO2016002408A1/ja active Application Filing
- 2015-06-01 US US15/323,294 patent/US10269126B2/en active Active
- 2015-06-01 CN CN201580035751.XA patent/CN107113399A/zh active Pending
- 2015-06-01 JP JP2016531203A patent/JP6597609B2/ja active Active
- 2015-06-26 AR ARP150102057A patent/AR101008A1/es unknown
-
2019
- 2019-03-05 US US16/293,359 patent/US20190206067A1/en not_active Abandoned
- 2019-03-05 US US16/293,381 patent/US10909697B2/en active Active
- 2019-10-02 JP JP2019182148A patent/JP6801760B2/ja active Active
-
2020
- 2020-11-13 JP JP2020189231A patent/JP7092177B2/ja active Active
- 2020-12-14 US US17/121,433 patent/US11403771B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005328236A (ja) | 2004-05-13 | 2005-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像監視方法、映像監視装置、および映像監視プログラム |
JP2011018094A (ja) | 2009-07-07 | 2011-01-27 | Nec Corp | 巡回警備支援システム、方法及びプログラム |
JP2011040032A (ja) | 2009-08-12 | 2011-02-24 | Utechzone Co Ltd | モニタ監視人員の注意力集中程度モニタリングシステム |
JP2012156571A (ja) | 2009-10-27 | 2012-08-16 | Panasonic Corp | 表示画像切替装置及び表示画像切替方法 |
Also Published As
Publication number | Publication date |
---|---|
US10909697B2 (en) | 2021-02-02 |
JP2021044821A (ja) | 2021-03-18 |
US10269126B2 (en) | 2019-04-23 |
US20190206067A1 (en) | 2019-07-04 |
US20170148178A1 (en) | 2017-05-25 |
AR101008A1 (es) | 2016-11-16 |
JP6597609B2 (ja) | 2019-10-30 |
JP2020078058A (ja) | 2020-05-21 |
JPWO2016002408A1 (ja) | 2017-05-25 |
CN107113399A (zh) | 2017-08-29 |
US20190197708A1 (en) | 2019-06-27 |
US11403771B2 (en) | 2022-08-02 |
JP6801760B2 (ja) | 2020-12-16 |
US20210104053A1 (en) | 2021-04-08 |
WO2016002408A1 (ja) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7092177B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11373408B2 (en) | Image processing apparatus, monitoring system, image processing method, and program | |
CN109886130B (zh) | 目标对象的确定方法、装置、存储介质和处理器 | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP5597781B1 (ja) | 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 | |
JP6406241B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11023707B2 (en) | System and method for selecting a part of a video image for a face detection operation | |
JP2018022343A (ja) | 画像処理装置、および画像処理方法 | |
JP2017125974A (ja) | 表示装置、表示方法及びプログラム | |
KR101648786B1 (ko) | 객체 인식 방법 | |
KR20080057500A (ko) | 사람 움직임 추적 시스템 및 그 방법 | |
US9767564B2 (en) | Monitoring of object impressions and viewing patterns | |
JP5962383B2 (ja) | 画像表示システムおよび画像処理装置 | |
KR101288248B1 (ko) | 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 | |
CN111754543A (zh) | 图像处理方法、装置及系统 | |
JP2019029747A (ja) | 画像監視システム | |
JP2023172759A (ja) | 対象物解析装置、対象物解析方法 | |
CA3052391A1 (en) | Image processing method, apparatus and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7092177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |