JP5709255B2 - 画像処理方法および監視装置 - Google Patents
画像処理方法および監視装置 Download PDFInfo
- Publication number
- JP5709255B2 JP5709255B2 JP2011083701A JP2011083701A JP5709255B2 JP 5709255 B2 JP5709255 B2 JP 5709255B2 JP 2011083701 A JP2011083701 A JP 2011083701A JP 2011083701 A JP2011083701 A JP 2011083701A JP 5709255 B2 JP5709255 B2 JP 5709255B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- stored
- edge
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
さらに具体的には、監視環境が時々刻々と変化するような場面において、検出すべき物体と、背景領域の背景物とを区別できるようにして、監視領域を効果的に監視できるようにすることを目的とする。
撮像装置101は、監視対象となる領域を可視光、赤外光などの波長を持つ電磁波の強度として撮像し、2次元画像として画像処理装置102に逐次出力する。
画像処理装置102は、撮像装置101から入力した画像に対して後述する処理を実行し、入力画像から所定の物体を抽出し、その結果を表示装置103に出力する。
表示装置103は、画像処理装置102の結果に基づき所定の表示を行う。
以下、画像処理装置102の動作の具体例を実施例として説明する。
画像処理装置102は、エッジ抽出部104と、テンプレート作成部105と、テンプレートメモリ106と、テンプレートマッチング部107と、位置検出部108と、危険度判定部109とによって構成される。
エッジ抽出部104は、撮像装置101から入力された入力画像処理しエッジ画像を生成して、テンプレート作成部105及び位置検出部108に出力する。
テンプレート作成部105は、撮像装置101から入力した入力画像とエッジ抽出部104から得られたエッジ画像に基づいてテンプレートを生成してテンプレートメモリ106に書き込む。
テンプレートメモリ106は、テンプレート生成部105やテンプレートマッチング部107からの出力に基づいてテンプレート画像や該テンプレート画像の位置情報などを記憶する。
テンプレートマッチング部107は、テンプレートメモリ106に記憶したテンプレート画像及び位置情報に基づいてテンプレートマッチング処理を行い、その結果を位置検出部108に出力する。
位置検出部108は、テンプレートマッチング108のテンプレートマッチング処理の結果及びエッジ抽出部104のエッジ画像を用いて検出すべき物体の位置や速度等の属性を検出して、その結果を危険度判定部109へ出力する。
危険度判定部109は、位置検出部108の検出結果に基づいて監視領域の危険度を判定して、その結果を出力装置103へ出力する。
図2は、画像処理装置102における構成要素104から109までの処理を順を追って説明したものである。
先ず、画像入力ステップ201では、撮像装置101から、例えば、画像入力I/F(図示しない)などを介して、横640画素、縦480画素、1画素8ビットの画像を入力画像として入力する。
図6は、テンプレートマッチング処理の結果によって、テンプレートがどのような位置にマッチしたかを表示したものである。図中、矢印で示されるのは、テンプレートの位置と異なる位置にマッチしたものですなわち、これはテンプレートに写る物体の移動ベクトルを表わす。矢印を表示していないテンプレートは移動していないか探索範囲内での移動を検出できなかったことを表わす。このようにテンプレートマッチング処理によって、物体の移動方向が分かる。なお、本実施例では、テンプレートマッチング処理を実行する範囲を、正方領域として例示したが、これを例えば横長(例えば、上下4画素、左右64画素)に設定すれば、横方向の動きのみを検出することができる。
なお、このテンプレート削除ステップ213において、検出すべき被写体を映すテンプレートが削除されてしまった場合でも、撮像装置101から得られる入力画像を逐次処理していることから、次の入力画像が得られた段階で、新たにテンプレートとしてテンプレートメモリ106に登録される。
図7は、登録テンプレートループ終了ステップ214の直後における、テンプレートメモリ106に確保されたテンプレート画像700と、そこに記憶されたテンプレートを表わしており、テンプレートマッチング処理によって算出された類似度が小さく、信頼性が低いと判断されたテンプレート510、511、520、521、530、538、549、540、541、542,543が削除され、残りのテンプレートが、テンプレート701からテンプレート732として更新される。
図10のエッジ画像1000において、移動ベクトルがゼロでないテンプレートに相当する領域を斜線で表わしている。なお図10では、テンプレートが存在しない部分においても、ブロック走査開始ステップ203でのブロック分割と同様の格子を便宜的に図示してある。また実際には、更新されたテンプレートは整然と並ばず、多少の重なりやずれがある。
次に、危険判断ステップ218では、危険度判定ステップ217で算出された危険度に対して、危険度が大きければ、警報発報ステップ219へ分岐し、危険度が小さければ画像入力ステップ201へ分岐する。
2サイクル目以降、前記テンプレート作成・登録ステップ206は、エッジが多いブロックであっても、登録済みのテンプレートと領域の重複が多い場合には、テンプレートの登録を行わないようにした。これは、前記近接テンプレート削除ステップ212でテンプレートを削除した理由と同様に、当該ブロックによって作成されるテンプレートをテンプレートメモリ106に記録したとしても、検出すべき物体に対して既存のテンプレートでも同様の情報が得られるため、登録の必要がないからである。これにより、2サイクル目以降は、テンプレートメモリ106に新規登録されるテンプレートの数は減少する。
なおテンプレートは、被写体の遠近に応じて拡大・縮小してから一定サイズになるようしてもよい。
また、テンプレートメモリ106中のテンプレート数は、近接テンプレート削除ステップ212の働きにより分割ブロック数の2倍以下に収まるようになっているが、より少ない数に保つために、エッジ量の閾値ETh重複度の閾値OTh等をテンプレート数に応じて適応的に制御したり、古いテンプレートの強制削除をしてもよい。
また、ブロック走査プールと登録テンプレートループの順序は入れ替えてもよい。
また、エッジ画像をブロック走査ループ(テンプレート登録すべきブロックの抽出)と、位置検出ステップ216でのみ用いているが、テンプレートマッチング自体をエッジ画像で行うようにしてもよい。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等のハードウエア資源を備えたコンピュータが、コンピュータ読み取り可能な記録媒体に永続的に格納されたプログラムを実行することにより、制御される構成が用いられてもよい。また、当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
201…画像入力ステップ、202…エッジ抽出部、203…ブロック走査ループ開始ステップ、204…ブロック内エッジ量算出ステップ、205…エッジ量判定ステップ、206…テンプレート作成・登録ステップ、207…ブロック走査ループ終了ステップ、208…登録テンプレートループ開始ステップ、209…テンプレートマッチングステップ、210…マッチング成否判定ステップ、211…テンプレート更新ステップ、212…近接テンプレート削除ステップ、213…テンプレート削除ステップ、214…登録テンプレートループ終了ステップ、215…エッジ投影ステップ、216…位置検出ステップ、217…危険度判定ステップ、218…危険判断ステップ、219…警報発報ステップ。
Claims (6)
- 撮像装置で撮像した入力画像を処理して監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置とを有する監視装置における画像処理方法であって、
前記画像処理装置が、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出ステップと、前記エッジ情報に基づいてテンプレート画像を作成するテンプレート作成ステップと、前記作成されたテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート登録ステップと、前記記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する部分画像を入力画像中から探索するテンプレートマッチングステップと、前記探索の結果に基づいて前記記憶されたテンプレートを更新するテンプレート更新ステップと、前記エッジ抽出ステップと前記テンプレートマッチングステップの結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出ステップと、前記計測の結果に基づいて検出された物体の危険度を判定する危険度判定ステップと、前記危険度の判定結果に基づいて前記表示装置が判定結果を表示するステップとを有し、
前記テンプレート作成ステップでは、前記エッジ抽出ステップによって得られたエッジ情報に基づいてエッジが多い領域を判定し、該エッジが多いと判定した領域について、前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度を算出し、該重複度が所定の閾値より小さい場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することを特徴とする画像処理方法。 - 前記テンプレート作成ステップでは、エッジが多い領域かつ前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度が小さい領域の画像に基づいてテンプレート画像を作成することを特徴とする請求項1に記載の画像処理方法。
- 前記テンプレート更新ステップでは、前記テンプレートマッチングステップにおいて、探索された領域とテンプレート画像との類似度を判定し、該類似度が所定の値よりも高い場合に、該探索された領域の位置情報を前記テンプレートメモリに記憶されたテンプレートの位置情報と置き換え、該類似度が所定の値よりも低い場合に、前記テンプレートメモリに記憶されたテンプレートを削除することを特徴とする請求項1乃至請求項2記載の画像処理方法。
- 前記テンプレートマッチングステップでは、テンプレートメモリに記憶したテンプレート画像と類似する画像を入力画像中から探索する際に、検出すべき物体の検出すべき方向に基づいて探索範囲を限定することを特徴とする請求項1乃至3記載の画像処理方法。
- 撮像装置で撮像した入力画像を処理して監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置とを有する監視装置における画像処理方法であって、
前記画像処理装置が、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出ステップと、前記エッジ情報に基づいてテンプレート画像を作成するテンプレート作成ステップと、前記作成されたテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート登録ステップと、前記記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する部分画像を入力画像中から探索するテンプレートマッチングステップと、前記探索の結果に基づいて前記記憶されたテンプレートを更新するテンプレート更新ステップと、前記エッジ抽出ステップと前記テンプレートマッチングステップの結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出ステップと、前記計測の結果に基づいて検出された物体の危険度を判定する危険度判定ステップと、前記危険度の判定結果に基づいて前記表示装置が判定結果を表示するステップとを有し、
前記位置検出ステップは、前記テンプレートメモリ内に記憶されたテンプレート、或いは、前記テンプレートマッチングステップにおいて類似度が所定値以上となるテンプレートに相当する領域において、前記入力画像のエッジ量を所定の座標軸に沿って投影し、前記検出すべき物体の位置または速度を計測するものであることを特徴とする画像処理方法。 - 撮像装置で撮像した入力画像を処理して監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置とを有する監視装置において、
前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出手段と、前記エッジ抽出手段によって得られたエッジ情報に基づいてテンプレート画像を作成するテンプレート作成手段と、前記テンプレート作成手段によって作成された少なくともテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する画像を入力画像中から探索するテンプレートマッチング手段と、前記テンプレートマッチング手段の結果に基づいて前記テンプレートメモリに記憶されたテンプレートを更新するテンプレート更新手段と、前記エッジ抽出手段と前記テンプレートマッチング手段の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出手段と、前記位置検出手段の結果に基づいて検出された物体の危険度を判定する危険度判定手段と、を備え、前記危険度判定手段の判定結果を前記表示装置に出力し、
前記テンプレート作成手段は、前記エッジ抽出ステップによって得られたエッジ情報に基づいてエッジが多い領域を判定し、該エッジが多いと判定した領域について、前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度を算出し、該重複度が所定の閾値より小さい場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することを特徴とする監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011083701A JP5709255B2 (ja) | 2011-04-05 | 2011-04-05 | 画像処理方法および監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011083701A JP5709255B2 (ja) | 2011-04-05 | 2011-04-05 | 画像処理方法および監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012221043A JP2012221043A (ja) | 2012-11-12 |
JP5709255B2 true JP5709255B2 (ja) | 2015-04-30 |
Family
ID=47272535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011083701A Active JP5709255B2 (ja) | 2011-04-05 | 2011-04-05 | 画像処理方法および監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5709255B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6233824B1 (ja) * | 2017-04-25 | 2017-11-22 | 合同会社ウイングビジョン | 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体 |
CN112070084B (zh) * | 2020-09-04 | 2024-01-12 | 北京百度网讯科技有限公司 | 重复图像单元的位置确定方法和装置 |
CN114693707B (zh) * | 2020-12-31 | 2023-09-26 | 北京小米移动软件有限公司 | 物体轮廓模板获取方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3560326B2 (ja) * | 1999-06-15 | 2004-09-02 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
JP4467690B2 (ja) * | 1999-12-20 | 2010-05-26 | 大日本印刷株式会社 | テンプレート設定方法 |
JP4725490B2 (ja) * | 2006-10-27 | 2011-07-13 | パナソニック電工株式会社 | 自動追尾方法 |
JP5076971B2 (ja) * | 2008-02-29 | 2012-11-21 | 富士通株式会社 | 画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラム |
-
2011
- 2011-04-05 JP JP2011083701A patent/JP5709255B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Also Published As
Publication number | Publication date |
---|---|
JP2012221043A (ja) | 2012-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2858008B1 (en) | Target detecting method and system | |
TWI393074B (zh) | 移動物體偵測裝置與方法 | |
KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
KR101787542B1 (ko) | 3차원 지형 모델과 토질 분류를 이용한 비탈면 안정성 평가 시스템 및 방법 | |
US10692225B2 (en) | System and method for detecting moving object in an image | |
CN110647836B (zh) | 一种鲁棒的基于深度学习的单目标跟踪方法 | |
KR101051389B1 (ko) | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 | |
Manchanda et al. | Analysis of computer vision based techniques for motion detection | |
JP5709255B2 (ja) | 画像処理方法および監視装置 | |
KR20140029069A (ko) | 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 | |
JP2007188294A (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
US10997734B2 (en) | Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program | |
JP4841652B2 (ja) | 半透明物体の動き検出装置および方法 | |
TWI509568B (zh) | 偵測多移動目標之方法 | |
JP2019121356A (ja) | 干渉領域検出装置と方法及び電子機器 | |
Patel et al. | Comparison of optical flow algorithms for speed determination of moving objects | |
JP2008269218A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5222908B2 (ja) | 崩落検知システム及び崩落検知方法 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Sincan et al. | Moving object detection by a mounted moving camera | |
US20150350669A1 (en) | Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing | |
KR101350460B1 (ko) | 영상의 모션 블러를 제거하는 방법 및 장치 | |
US20210304417A1 (en) | Observation device and observation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5709255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |