JPWO2017104372A1 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2017104372A1 JPWO2017104372A1 JP2017555950A JP2017555950A JPWO2017104372A1 JP WO2017104372 A1 JPWO2017104372 A1 JP WO2017104372A1 JP 2017555950 A JP2017555950 A JP 2017555950A JP 2017555950 A JP2017555950 A JP 2017555950A JP WO2017104372 A1 JPWO2017104372 A1 JP WO2017104372A1
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- unit
- frame
- region
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 78
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 112
- 230000008569 process Effects 0.000 claims description 101
- 239000003086 colorant Substances 0.000 claims description 30
- 230000010365 information processing Effects 0.000 description 75
- 238000003860 storage Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 40
- 230000033001 locomotion Effects 0.000 description 28
- 230000004048 modification Effects 0.000 description 23
- 238000012986 modification Methods 0.000 description 23
- 238000002372 labelling Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の画像処理システム1の全体構成について説明する。
図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施の形態の情報処理装置3のハードウェア構成について説明する。
図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図3を参照しながら、情報処理装置3のブロック構成について説明する。
図4は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図5は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の例を示す図である。図6は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図4〜6を参照しながら、本実施の形態に係る情報処理装置3の色登録処理の流れについて説明する。
まず、映像表示部401において映像データの再生表示中に、色登録処理を所望する画像の部分が表示されているタイミングで、ユーザによる入力部302の操作によって映像操作ボタン部403の一時停止ボタンが押下されると、再生部305は、映像表示部401に再生表示されている映像データを一時停止させる。図5に示すように、一時停止した映像データのフレームには、作業者500が写っている。そして、取得部306は、一時停止した映像データから映像表示部401に表示されているフレームを取得する。そして、ステップS12へ移行する。
ここで、本実施の形態に係る情報処理装置3が映像表示部401に表示されているフレームにおいて追跡の対象とするのは、図6に示すように、作業者500の追跡対象501であるものとする。追跡対象501は、作業者500が着用している上着の一部であり、特定の色を有する第1色部501aと、第1色部501aとは異なる色を有する第2色部501bと、を含む。
登録部308は、指定部307により指定された第1指定領域550および第2指定領域551に基づいて、2つの基準色(第1指定領域550に対応する基準色を第1色とし、第2指定領域551に対応する基準色を第2色とする)を特定し、特定した2つの基準色の情報を記憶部304に記憶(登録)する。具体的には、登録部308は、例えば、各指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。
図7は、実施の形態に係る情報処理装置の表示部に表示された追跡対象を検出するフレームの一例を示す図である。図8は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて登録した色を有する領域を抽出した抽出画像の一例を示す図である。図9は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて抽出画像から二値化した二値化画像の一例を示す図である。図10は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて二値化画像の各ブロックに対してラベリング処理を行ったラベリング画像の一例を示す図である。図11は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて特定のブロックのみを残した対象特定画像の一例を示す図である。図12は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像から検出した2つの特徴領域およびそれらの距離について説明する図である。図13は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像で探索領域を決定する動作を説明する図である。図7〜13を参照しながら、本実施の形態に係る情報処理装置3の検出部310による特徴領域の検出動作について説明する。
図14は、実施の形態に係る情報処理装置の追跡対象の追跡処理の流れの一例を示すフローチャートである。図15は、実施の形態に係る情報処理装置の追跡処理で検出した追跡領域の情報を示す追跡結果テーブルの一例を示す図である。図16は、実施の形態に係る情報処理装置の表示部に表示される映像に軌跡線を重畳させた状態の一例を示す図である。図17は、実施の形態に係る情報処理装置の表示部に表示された軌跡線を選択操作した場合の動作について説明する図である。図14〜17を参照しながら、本実施の形態に係る情報処理装置3の追跡対象の追跡処理の流れについて説明する。なお、予め、上述の色登録処理により、2つの基準色(第1色および第2色)が登録されているものとする。まず、映像表示部401において再生部305による映像データの再生表示中に、追跡対象(例えば、図16に示す追跡対象501)の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部302の操作によって追跡開始ボタン409が押下されると、再生部305に表示されたフレームから管理部316により追跡対象の追跡処理が開始される。なお、再生部305によって映像表示部401に再生表示される映像データは、撮像装置2から受信したリアルタイムの映像データであってもよく、または、記憶部304に記憶された過去の映像データであってもよい。
取得部306は、追跡開始ボタン409が押下された直後のタイミングで再生部305に表示されたフレーム、または、追跡処理が終了したフレームの次のフレームであって再生部305に表示されたフレームを取得する。なお、取得部306により取得されるフレームは、追跡処理が終了したフレームの次のフレームに限定されるものではなく、所定時間後に対応するフレームを取得するものとしてもよい。すなわち、追跡処理は、処理が開始された映像データのフレーム以降、フレーム毎に実行されることに限定せず、所定時間ごとのフレームに対して実行するものとしてもよい。以下、取得部306により取得されたフレームを「対象フレーム」(第1フレーム)という場合がある。そして、ステップS32へ移行する。
検出部310は、対象フレームの画素から、画素値が第1色および第2色についての基準色範囲に含まれる画素のみを抽出する抽出処理によって、抽出画像(例えば、図8に示す抽出画像451)を得る。そして、検出部310は、抽出処理により得た抽出画像に対して二値化処理を行い、二値化画像(例えば、図9に示す二値化画像452)を得る。二値化画像では、例えば、図9に示す二値化画像452のように、白色の画素の集合体であるブロックが含まれる。そして、ステップS33へ移行する。
検出部310は、二値化処理により得た二値化画像に対してラベリング処理を行い、ラベリング画像(例えば、図10に示すラベリング画像453)を得る。ラベリング処理としては、例えば、二値化画像に対して、各ブロックに含まれる画素の画素値を、そのブロックを一意に識別する数値に置き換える。これによって、各ブロックは、一意に区別されることになる。
探索領域決定部309は、後述するステップS39において、更新部313により対象フレームの前のフレーム(第2フレームの一例)で検出された追跡領域の中心を中心とする所定の大きさの範囲を、対象フレームでの探索領域として決定する。ただし、対象フレームが追跡処理の対象となる最初のフレームである場合、探索領域決定部309は、探索領域を対象フレーム全体に決定する。なお、探索領域決定部309が決定する探索領域は、対象フレームの前のフレームで検出された追跡領域の中心を中心とする領域に限定されるものではなく、少なくとも、前のフレームで検出された追跡領域を含む領域を探索領域とするものとしてもよい。そして、ステップS35へ移行する。
検出部310は、探索領域決定部309により決定された対象フレームでの探索領域において、第1色についての基準色範囲に入る画素を含み、かつ、対象特定画像のブロックに対応する画素の領域を特定して、特定した領域を特徴領域(以下、「第1特徴領域」という場合がある)(例えば、図12に示す特徴領域701)として検出する。また、検出部310は、探索領域において、第2色についての基準色範囲に入る画素を含み、かつ、対象特定画像のブロックに対応する画素の領域を特定し、特定した領域を特徴領域(以下、「第2特徴領域」という場合がある)(例えば、図12に示す特徴領域702)として検出する。そして、ステップS36へ移行する。
ステップS35において、検出部310により2つの特徴領域(第1特徴領域および第2特徴領域)が検出された場合(ステップS36:Yes)、ステップS37へ移行し、第1特徴領域または第2特徴領域のうち少なくともいずれかが検出されなかった場合(ステップS36:No)、ステップS41へ移行する。
距離算出部311は、検出部310により検出された第1特徴領域と第2特徴領域との距離を算出する。具体的には、距離算出部311は、第1特徴領域および第2特徴領域それぞれが含む画素のうち、最も近接する画素同士の距離(例えば、図12に示す距離D)を算出する。そして、ステップS38へ移行する。
判定部312は、距離算出部311により算出された第1特徴領域と第2特徴領域との距離が所定の閾値以下であるか否かを判定する。判定部312により距離が所定の閾値より大きい場合(ステップS38:No)、更新部313は、第1特徴領域と第2特徴領域とは近接しておらず、追跡対象を含む追跡領域を検出できないと判断し、ステップS41へ移行する。一方、判定部312により距離が所定の閾値以下である場合(ステップS38:Yes)、更新部313は、第1特徴領域と第2特徴領域とは近接していると判断し、ステップS39へ移行する。
更新部313は、第1特徴領域が内接する矩形状の特徴領域枠(以下、「第1特徴領域枠」という)(例えば、図12に示す特徴領域枠701a)、および第2特徴領域が内接する矩形状の特徴領域枠(以下、「第2特徴領域枠」という)(例えば、図12に示す特徴領域枠702a)を指定する。そして、更新部313は、第1特徴領域枠および第2特徴領域枠双方が内接する最小の矩形領域を、追跡対象を含む追跡領域(例えば、図12に示す追跡領域703)として検出する。すなわち、更新部313は、検出した追跡領域を、現在の追跡対象(対象フレームに含まれる追跡対象)を含む領域であるものとして更新する。また、更新部313は、検出した追跡領域の情報を、対象フレームと関連付けて、記憶部304に記憶させる。例えば、更新部313は、図15に示す追跡結果テーブル1000のように、追跡領域の情報のうち追跡領域の中心座標と、フレーム番号と、追跡処理が開始されてからの経過時間と、が関連付けられた情報を、記憶部304に記憶させる。なお、追跡結果テーブル1000は、テーブル形式の情報としているが、これに限定されるものではなく、追跡領域の中心座標と、フレーム番号と、経過時間とを関連付ける情報であればどのような形式の情報であってもよい。そして、ステップS40へ移行する。
軌跡生成部315は、記憶部304に記憶された追跡結果テーブル1000から対象フレームに対応する追跡領域の中心座標と、対象フレームの前のフレームに対応する追跡領域の中心座標と、を読み出す。そして、軌跡生成部315は、対象フレームに対応する追跡領域の中心点と、対象フレームの前のフレームに対応する追跡領域の中心点とを結ぶ軌跡線を生成し、映像表示部401に表示されている対象フレームに重畳して表示させる。この場合、軌跡生成部315は、追跡処理開始後のフレームから、対象フレームの前のフレームまでのフレームについて生成した軌跡線も同様に、対象フレームに重畳して表示させる。これによって、映像表示部401には、映像データに重畳して、追跡処理開始後からの追跡対象の軌跡を示す軌跡線が表示されることになる。
探索領域決定部309は、検出部310により対象フレームの探索領域で追跡領域が検出されなかった、すなわち、追跡対象を見失ったと判断し、その探索領域を拡大して、対象フレームの次のフレーム(第3フレームの一例)での追跡処理において使用させる。探索領域の拡大方法としては、例えば、探索領域を横軸方向および縦軸方向に所定量だけ拡大させる方法、または、探索領域の形状を相似形(中心は同一)としたまま面積を所定割合だけ拡大させる方法等が挙げられる。これによって、対象フレームの次のフレームでの追跡処理において、追跡対象を再検出しやすくすることができる。そして、ステップS31へ戻る。
管理部316は、ユーザによる入力部302の操作により、追跡停止ボタン410が押下されたか否かを判定する。追跡停止ボタン410が押下された場合、管理部316は、追跡処理を終了するものとする(ステップS42:Yes)。一方、追跡停止ボタン410が押下されていない場合、管理部316は、追跡処理を続行させるものとし(ステップS42:No)、ステップS31へ戻る。
次に、上述の追跡対象の追跡処理の適用例について説明する。
以下、図21を参照しながら、変形例1に係る情報処理装置3について、上述の実施の形態に係る情報処理装置3と相違する点を中心に説明する。上述の実施の形態では、特徴量を色とし、登録部308によって、2つの指定領域に基づいて2つの基準色を特定し、この2つの基準色を用いて追跡対象を検出する動作について説明した。本変形例では、特徴量を形状とし、登録部308によって、2つの指定領域それぞれに含まれる2つの形状を基準形状として特定し、この2つの基準形状を用いて追跡対象を検出する動作について説明する。なお、本変形例に係る画像処理システム1の構成、ならびに、情報処理装置3のハードウェア構成および機能ブロックの構成は、上述の実施の形態で説明したそれぞれの構成と同様である。
以下、図22を参照しながら、変形例2に係る情報処理装置3について、上述の実施の形態に係る情報処理装置3と相違する点を中心に説明する。上述の実施の形態では、対象フレーム内で1つの追跡対象を追跡する動作について説明した。本変形例では、対象フレーム内で複数の追跡対象を追跡する動作について説明する。なお、本変形例に係る画像処理システム1の構成、ならびに、情報処理装置3のハードウェア構成および機能ブロックの構成は、上述の実施の形態で説明したそれぞれの構成と同様である。
2、2a〜2f 撮像装置
3 情報処理装置
4 ネットワーク
10 外部機器
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 ディスプレイ
106 ネットワークI/F
107 キーボード
108 マウス
109 DVDドライブ
110 DVD
111 外部機器I/F
113 バス
301 映像受信部
302 入力部
303 設定部
304 記憶部
305 再生部
306 取得部
307 指定部
308 登録部
309 探索領域決定部
310 検出部
311 距離算出部
312 判定部
313 更新部
314 移動量算出部
315 軌跡生成部
316 管理部
317 表示制御部
318 表示部
400 追跡画面
401 映像表示部
401a カメラ選択タブ
403 映像操作ボタン部
404 シークバー
405 スライダ
406 拡大縮小ボタン部
407 スパン変更ボタン部
408 時刻表示部
409 追跡開始ボタン
410 追跡停止ボタン
450 元画像
451 抽出画像
452 二値化画像
453 ラベリング画像
454 対象特定画像
460 軌跡重畳画像
470 軌跡重畳画像
480 軌跡重畳画像
500 作業者
501 追跡対象
501a 第1色部
501b 第2色部
510 作業者
511 追跡対象
511a 第1色部
511b 第2色部
520 買物客
521 追跡対象
531 追跡対象
540 箱
541 追跡対象
541a 第1形状部
541b 第2形状部
545 製品
545a 追跡対象
546 製品
546a 追跡対象
550 第1指定領域
551 第2指定領域
560 第1指定領域
561 第2指定領域
570 第1抽出形状
571 第2抽出形状
601a、601b、602、603a〜603d ブロック
701、702 特徴領域
701a、702a 特徴領域枠
703 追跡領域
704 探索領域
800 軌跡線
801 フレーム選択ウィンドウ
801a、801b 選択ボタン
810 軌跡線
820 軌跡線
830 軌跡線
840、841 軌跡線
1000 追跡結果テーブル
Claims (18)
- 撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生部と、
前記再生部により表示された前記映像データの第1フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴領域検出部と、
前記特徴領域検出部により検出された前記複数の特徴領域の互いの距離に基づいて、該複数の特徴領域を含む領域を、前記追跡対象を含む追跡領域として検出する追跡領域検出部と、
を備えた画像処理装置。 - 前記距離を算出する算出部と、
前記算出部により算出された前記距離が閾値以下であるか否かを判定する判定部と、
を、さらに備え、
前記追跡領域検出部は、前記判定部によって前記複数の特徴領域の互いの前記距離が閾値以下であると判定された場合、該複数の特徴領域を含む領域を前記追跡領域として検出する請求項1に記載の画像処理装置。 - 前記表示領域のうち、前記特徴領域検出部が前記複数の特徴領域を検出する対象となる特定の領域を探索領域として決定する決定部を、さらに備え、
前記特徴領域検出部は、前記探索領域内で前記複数の特徴領域を検出する請求項1または2に記載の画像処理装置。 - 前記決定部は、前記追跡領域検出部により前記第1フレームより前の第2フレームで検出された前記追跡領域を含む所定の大きさの領域を、前記第1フレームでの前記探索領域として決定する請求項3に記載の画像処理装置。
- 前記決定部は、前記追跡領域検出部により前記第1フレームで前記追跡領域が検出されなかった場合、該第1フレームに対して決定した前記探索領域より所定量だけ拡大した新たな探索領域を決定し、
前記特徴領域検出部は、前記第1フレームより後の第3フレームでの前記新たな探索領域内で前記複数の特徴領域を検出する請求項3または4に記載の画像処理装置。 - 前記特徴情報として、前記追跡対象に含まれる色に対応する基準色が登録されている請求項1〜5のいずれか一項に記載の画像処理装置。
- 前記特徴情報として、前記追跡対象に含まれる複数の色にそれぞれ対応する複数の前記基準色が登録されている請求項6に記載の画像処理装置。
- 前記基準色を登録するための指定領域を指定する指定部と、
前記指定領域に存在する画素の色を用いて前記基準色を登録する登録部と、
をさらに備えた請求項6または7に記載の画像処理装置。 - 前記特徴領域検出部は、
前記第1フレームの少なくとも一部の領域において、前記基準色を含む所定の色範囲に含まれる色の画素を有する領域を抜き出して第1画像を得る第1処理を行い、
前記第1画像を二値化して第2画像を得る第2処理を行い、
前記第2画像において前記第2処理により得られた1以上のブロックをそれぞれ区別する第3画像を得る第3処理を行い、
前記第3画像の各ブロックに対応する前記第1フレームの領域の画素値が前記所定の色範囲に含まれる場合、該領域を前記特徴領域として検出する請求項6〜8のいずれか一項に記載の画像処理装置。 - 前記特徴情報として、前記追跡対象に含まれる形状に対応する基準形状が登録されている請求項1〜5のいずれか一項に記載の画像処理装置。
- 前記基準形状を登録するための指定領域を指定する指定部と、
前記指定領域に存在する形状を用いて前記基準形状を登録する登録部と、
をさらに備えた請求項10に記載の画像処理装置。 - 前記特徴情報として、前記追跡対象に含まれる色および形状にそれぞれ対応する基準色および基準形状が登録されている請求項1〜5のいずれか一項に記載の画像処理装置。
- 前記追跡対象の軌跡を示す軌跡線を前記映像データに重畳して表示させる請求項1〜12のいずれか一項に記載の画像処理装置。
- 前記軌跡線の各部分を時系列に応じて態様を変えて表示する請求項13に記載の画像処理装置。
- 前記特徴領域検出部は、
前記第1フレームで検出した前記複数の特徴領域に基づいて、前記複数の特徴情報を新たな特徴情報に更新し、
前記第1フレームより後のフレームにおいて、前記新たな特徴情報に基づいて複数の特徴領域を検出する請求項1〜14のいずれか一項に記載の画像処理装置。 - 前記映像データを撮像する前記撮像装置と、
前記撮像装置により撮像された前記映像データを表示する前記表示装置と、
請求項1〜15のいずれか一項に記載の画像処理装置と、
を備えた画像処理システム。 - 撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生ステップと、
表示した前記映像データの第1フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴情報検出ステップと、
検出した前記複数の特徴領域の互いの距離に基づいて、該複数の特徴領域を含む領域を、前記追跡対象を含む追跡領域として検出する追跡領域検出ステップと、
を有する画像処理方法。 - コンピュータに、
撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生処理と、
表示した前記映像データの第1フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴領域検出処理と、
検出した前記複数の特徴領域の互いの距離に基づいて、該複数の特徴領域を含む領域を、前記追跡対象を含む追跡領域として検出する追跡領域検出処理と、
を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015247763 | 2015-12-18 | ||
JP2015247763 | 2015-12-18 | ||
PCT/JP2016/084843 WO2017104372A1 (ja) | 2015-12-18 | 2016-11-24 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017104372A1 true JPWO2017104372A1 (ja) | 2018-08-30 |
JP6756338B2 JP6756338B2 (ja) | 2020-09-16 |
Family
ID=59056300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017555950A Active JP6756338B2 (ja) | 2015-12-18 | 2016-11-24 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10949983B2 (ja) |
EP (1) | EP3392829B1 (ja) |
JP (1) | JP6756338B2 (ja) |
CN (1) | CN108475431B (ja) |
WO (1) | WO2017104372A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10319412B2 (en) * | 2016-11-16 | 2019-06-11 | Adobe Inc. | Robust tracking of objects in videos |
JP6630322B2 (ja) * | 2017-08-30 | 2020-01-15 | シナノケンシ株式会社 | 映像解析方法 |
JP7278795B2 (ja) * | 2019-02-21 | 2023-05-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3917130A4 (en) * | 2019-02-21 | 2022-04-20 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
CN110266999A (zh) * | 2019-06-05 | 2019-09-20 | 长沙年余信息科技有限公司 | 一种园区场地安全监管的系统及其方法 |
US11223802B2 (en) | 2019-07-31 | 2022-01-11 | Ricoh Company, Ltd. | Image-based determination apparatus and image-based determination system |
CN110881141B (zh) * | 2019-11-19 | 2022-10-18 | 浙江大华技术股份有限公司 | 视频展示方法和装置、存储介质及电子装置 |
CN113344967B (zh) * | 2021-06-07 | 2023-04-07 | 哈尔滨理工大学 | 一种复杂背景下的动态目标识别追踪方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056917A (ja) * | 1998-08-11 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標指示装置 |
JP2000180162A (ja) * | 1998-12-11 | 2000-06-30 | Hitachi Plant Eng & Constr Co Ltd | 作業分析装置 |
JP2005236374A (ja) * | 2004-02-17 | 2005-09-02 | Canon Inc | 再生装置 |
JP2005349176A (ja) * | 2004-05-14 | 2005-12-22 | Rise Corp | 顎運動解析方法及び顎運動解析システム |
JP2008077424A (ja) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | 作業分析システム及び方法 |
US20080111789A1 (en) * | 2006-11-09 | 2008-05-15 | Intelligence Frontier Media Laboratory Ltd | Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
JP2011254289A (ja) * | 2010-06-02 | 2011-12-15 | Toa Corp | 移動体軌跡表示装置および移動体軌跡表示プログラム |
JP2013074612A (ja) * | 2011-09-29 | 2013-04-22 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2015179984A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社東芝 | 画像処理装置、その方法、及び、そのプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3435623B2 (ja) * | 1996-05-15 | 2003-08-11 | 株式会社日立製作所 | 交通流監視装置 |
US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
JP3861781B2 (ja) * | 2002-09-17 | 2006-12-20 | 日産自動車株式会社 | 前方車両追跡システムおよび前方車両追跡方法 |
JP4328259B2 (ja) | 2004-04-21 | 2009-09-09 | 日本電信電話株式会社 | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP4373840B2 (ja) | 2004-04-21 | 2009-11-25 | 日本電信電話株式会社 | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP3970877B2 (ja) | 2004-12-02 | 2007-09-05 | 独立行政法人産業技術総合研究所 | 追跡装置および追跡方法 |
CN101420595B (zh) * | 2007-10-23 | 2012-11-21 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
WO2009076182A1 (en) * | 2007-12-13 | 2009-06-18 | Clemson University | Vision based real time traffic monitoring |
RU2395787C2 (ru) * | 2008-05-19 | 2010-07-27 | Государственный Научный Центр России "Государственное Научное Учреждение "Центральный Научно-Исследовательский И Опытно-Конструкторский Институт Робототехники И Технической Кибернетики"(Цнии Ртк) | Способ обнаружения объектов |
JP5048609B2 (ja) | 2008-08-01 | 2012-10-17 | 株式会社豊田中央研究所 | 対象物追跡装置及びプログラム |
US9113124B2 (en) * | 2009-04-13 | 2015-08-18 | Linkedin Corporation | Method and system for still image capture from video footage |
JP5441670B2 (ja) | 2009-12-22 | 2014-03-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2013085089A (ja) | 2011-10-07 | 2013-05-09 | Nikon Corp | 被写体追尾装置およびカメラ |
JP5794255B2 (ja) | 2013-05-21 | 2015-10-14 | 株式会社デンソー | 物体検出装置 |
JP5541396B2 (ja) | 2013-06-26 | 2014-07-09 | 株式会社ニコン | 画像追尾装置 |
JP6451133B2 (ja) | 2014-08-01 | 2019-01-16 | 株式会社リコー | 異常検知装置、異常検知方法、異常検知システム、及びプログラム |
JP2016042308A (ja) | 2014-08-18 | 2016-03-31 | 富士通株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN104166137A (zh) * | 2014-08-19 | 2014-11-26 | 东北电力大学 | 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法 |
US10403019B2 (en) * | 2015-12-16 | 2019-09-03 | Lucasfilm Entertainment Company | Multi-channel tracking pattern |
-
2016
- 2016-11-24 US US16/062,468 patent/US10949983B2/en active Active
- 2016-11-24 WO PCT/JP2016/084843 patent/WO2017104372A1/ja unknown
- 2016-11-24 CN CN201680074749.8A patent/CN108475431B/zh active Active
- 2016-11-24 JP JP2017555950A patent/JP6756338B2/ja active Active
- 2016-11-24 EP EP16875356.4A patent/EP3392829B1/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056917A (ja) * | 1998-08-11 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標指示装置 |
JP2000180162A (ja) * | 1998-12-11 | 2000-06-30 | Hitachi Plant Eng & Constr Co Ltd | 作業分析装置 |
JP2005236374A (ja) * | 2004-02-17 | 2005-09-02 | Canon Inc | 再生装置 |
JP2005349176A (ja) * | 2004-05-14 | 2005-12-22 | Rise Corp | 顎運動解析方法及び顎運動解析システム |
JP2008077424A (ja) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | 作業分析システム及び方法 |
US20080111789A1 (en) * | 2006-11-09 | 2008-05-15 | Intelligence Frontier Media Laboratory Ltd | Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
JP2011254289A (ja) * | 2010-06-02 | 2011-12-15 | Toa Corp | 移動体軌跡表示装置および移動体軌跡表示プログラム |
JP2013074612A (ja) * | 2011-09-29 | 2013-04-22 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2015179984A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社東芝 | 画像処理装置、その方法、及び、そのプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180374221A1 (en) | 2018-12-27 |
EP3392829B1 (en) | 2021-10-20 |
CN108475431A (zh) | 2018-08-31 |
CN108475431B (zh) | 2022-02-18 |
WO2017104372A1 (ja) | 2017-06-22 |
JP6756338B2 (ja) | 2020-09-16 |
US10949983B2 (en) | 2021-03-16 |
EP3392829A4 (en) | 2018-11-07 |
EP3392829A1 (en) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017104372A1 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
US10395120B2 (en) | Method, apparatus, and system for identifying objects in video images and displaying information of same | |
US9135513B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
JP2019109765A (ja) | 物体追跡プログラム、物体追跡装置、及び物体追跡方法 | |
JP2018073176A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
US10929682B2 (en) | Information processing apparatus, information processing method, and storage medium | |
EP3973446A1 (en) | Forensic video exploitation and analysis tools | |
JPWO2017081839A1 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
JPWO2016021411A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20190042869A1 (en) | Image processing apparatus and control method therefor | |
JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
JP6791362B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6834372B2 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
EP3316219B1 (en) | Image processing apparatus, image processing method, and carrier means | |
US8274597B2 (en) | System and method for measuring a border of an image of an object | |
TWI624805B (zh) | 用來呈現路徑分佈特性的物件統計方法及其影像處理裝置 | |
KR20130060121A (ko) | 이동장치에서 가상 여행생성방법 및 장치 | |
JP6289027B2 (ja) | 人物検出装置及びプログラム | |
JP5983033B2 (ja) | 位置関係判定プログラム、位置関係判定方法および位置関係判定装置 | |
JP2016039496A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP2020204835A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
KR102201168B1 (ko) | 오버헤드 카메라를 이용한 사람 추적 방법 | |
CN109214240A (zh) | 文档图像处理的方法及装置 | |
CN106408577B (zh) | 一种用于投影交互系统的连续帧连通域并行标记方法 | |
CN114842379A (zh) | 标识检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6756338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |