JP6760485B2 - 映像処理装置、映像解析システム、方法およびプログラム - Google Patents
映像処理装置、映像解析システム、方法およびプログラム Download PDFInfo
- Publication number
- JP6760485B2 JP6760485B2 JP2019508784A JP2019508784A JP6760485B2 JP 6760485 B2 JP6760485 B2 JP 6760485B2 JP 2019508784 A JP2019508784 A JP 2019508784A JP 2019508784 A JP2019508784 A JP 2019508784A JP 6760485 B2 JP6760485 B2 JP 6760485B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- time
- locus
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 139
- 238000012545 processing Methods 0.000 title claims description 65
- 238000000034 method Methods 0.000 title claims description 42
- 230000008859 change Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 239000003550 marker Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
例えば、単に映像中の連続フレームを重ね合わせた場合には、各フレームの対象物が重なり合い、必要な情報を得ることができない。
以下、本発明の実施形態について図面を参照して説明する。なお、以下の各実施形態では、障害検知のための映像監視に本発明を適用する場合を例に用いて説明するが、本発明は、障害検知のための映像監視用途に限定されない。
・所定時刻からの経過時間
・対象物の顔の方向
・対応する地点での滞在時間(経過時間の表示や上記の地点表示・区間表示を利用)
・対象物の服の色や柄といった特徴
・対象物の行動(しゃがむ、立ち上がる、歩く、走る(速度)、ジャンプ)
・他の被写体との交流(交差、合流、分岐等)
・誰の追跡線であるか
・経過時間の基準とされる時刻もしくはタイミングおよびそこからの経過時間
(例えば、アラート発生時から〜分以内)
・対象物の向き
・対象物の滞在時間
・対象物の服色、服の柄
・対象物の進行方向
次に、本発明の第2の実施形態について説明する。本実施形態では、表示制御部105に、背景画像に重畳させて表示させた軌跡に、GUI機能を持たせる。より具体的には、映像処理装置4が、背景画像に重畳表示させた軌跡と対応づけて、表示中の軌跡上の地点を指定する要求(所定の指示入力)を取得し、要求に応じた画面制御を行うGUI機能をさらに備える。
1 映像入力装置
2 映像解析装置
3 記憶装置
4 映像処理装置
5 表示装置
101 映像入力部
102 映像保持部
103 追跡部
104 解析情報記憶部
105、205 表示制御部
106 表示部
1000 コンピュータ
1001 CPU
1002 主記憶装置
1003 補助記憶装置
1004 インタフェース
1005 ディスプレイ装置
1006 入力デバイス
50 映像処理装置
501 表示制御手段
Claims (9)
- 映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段を備え、
前記表示制御手段は、前記映像を解析して得られる解析結果における前記対象物の特徴、前記解析結果における前記対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、前記軌跡の一部の表示態様を他の一部と異ならせる、または前記軌跡の一部の近傍に前記解析結果もしくは前記経過時間を示す情報を付随させ、
前記対象物の特徴には、前記対象物の状態、前記対象物の前記映像中における特徴の変化のいずれかが含まれ、
前記対象物に関連する他の物体の特徴には、前記対象物に関連する他の物体の状態、前記対象物に関連する他の物体の前記映像中における特徴の変化のいずれかが含まれ、
前記所定時刻には、前記映像における最新時刻、前記映像を解析する所定のシステムから所定のメッセージが通知された時刻のいずれかが含まれる
ことを特徴とする映像処理装置。 - 前記対象物の状態には、前記対象物もしくはその所定部位の、向き、サイズ、動作のいずれかが含まれる
請求項1記載の映像処理装置。 - 前記表示制御手段は、前記軌跡にユーザが指定した地点もしくは区間または前記解析結果が所定の条件を満たす地点もしくは区間が含まれている場合に、前記軌跡の当該地点もしくは区間の表示態様を他と異ならせる、または当該地点もしくは区間の近傍にその旨を示す情報を付随させる
請求項1または請求項2に記載の映像処理装置。 - 前記表示制御手段は、前記軌跡に前記解析結果において前記対象物がうろついていると判定されたうろつき区間が含まれている場合に、当該区間を短縮して表示させた上で、当該区間を他の区間と異なる表示態様にして表示させる
請求項3記載の映像処理装置。 - 前記表示制御手段は、前記映像に含まれる任意時点の画像、または前記映像に基づいて生成される所定の画像を背景画像とし、前記背景画像に前記軌跡を重畳させて表示させる
請求項1から請求項4のうちのいずれかに記載の映像処理装置。 - 前記映像は、逐次入力されるストリーミング動画であり、
前記表示制御手段は、前記背景画像に、前記映像から検出された前記対象物についての最新の解析結果に応じた表示態様の前記軌跡、または所定時刻からの最新の経過時間に応じた表示態様の前記軌跡を重畳させて表示させる
請求項5記載の映像処理装置。 - 映像を解析して、前記映像から追跡対象物の位置を連続的に取得するとともに、前記位置を取得した時点が対応する時間、前記映像中の前記時点の画像における前記対象物の特徴、または映像中の前記時点の画像における前記対象物に関連する他の物体の特徴を検出する追跡手段と、
前記映像を記憶する映像記憶手段と、
前記追跡手段が取得した位置を示す情報と、前記位置とともに検出された内容を示す情報と、前記位置が取得された前記映像中の画像の識別情報とを対応づけて記憶する記憶手段と、
前記記憶手段に記憶されている情報に基づいて、前記映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段とを備え、
前記表示制御手段は、前記映像を解析して得られる解析結果における前記対象物の特徴、前記解析結果における前記対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、前記軌跡の一部の表示態様を他の一部と異ならせる、または前記軌跡の一部の近傍に前記解析結果もしくは前記経過時間を示す情報を付随させ、
前記対象物の特徴には、前記対象物の状態、前記対象物の前記映像中における特徴の変化のいずれかが含まれ、
前記対象物に関連する他の物体の特徴には、前記対象物に関連する他の物体の状態、前記対象物に関連する他の物体の前記映像中における特徴の変化のいずれかが含まれ、
前記所定時刻には、前記映像における最新時刻、前記映像を解析する所定のシステムから所定のメッセージが通知された時刻のいずれかが含まれる
ことを特徴とする映像解析システム。 - 映像中の対象物の位置の変化を示す軌跡を表示部に表示させ、
前記表示の際に、前記映像を解析して得られる解析結果における前記対象物の特徴、前記解析結果における前記対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、前記軌跡の一部の表示態様を他の一部と異ならせる、または前記軌跡の一部の近傍に前記解析結果もしくは前記経過時間を示す情報を付随させ、
前記対象物の特徴には、前記対象物の状態、前記対象物の前記映像中における特徴の変化のいずれかが含まれ、
前記対象物に関連する他の物体の特徴には、前記対象物に関連する他の物体の状態、前記対象物に関連する他の物体の前記映像中における特徴の変化のいずれかが含まれ、
前記所定時刻には、前記映像における最新時刻、前記映像を解析する所定のシステムから所定のメッセージが通知された時刻のいずれかが含まれる
ことを特徴とする映像処理方法。 - コンピュータに、
映像中の対象物の位置の変化を示す軌跡を表示部に表示させる処理を実行させ、
前記処理で、前記映像を解析して得られる解析結果における前記対象物の特徴、前記解析結果における前記対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、前記軌跡の一部の表示態様を他の一部と異ならせる、または前記軌跡の一部の近傍に前記解析結果もしくは前記経過時間を示す情報を付随させ、
前記対象物の特徴には、前記対象物の状態、前記対象物の前記映像中における特徴の変化のいずれかが含まれ、
前記対象物に関連する他の物体の特徴には、前記対象物に関連する他の物体の状態、前記対象物に関連する他の物体の前記映像中における特徴の変化のいずれかが含まれ、
前記所定時刻には、前記映像における最新時刻、前記映像を解析する所定のシステムから所定のメッセージが通知された時刻のいずれかが含まれる
映像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017070678 | 2017-03-31 | ||
JP2017070678 | 2017-03-31 | ||
PCT/JP2018/006230 WO2018180040A1 (ja) | 2017-03-31 | 2018-02-21 | 映像処理装置、映像解析システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018180040A1 JPWO2018180040A1 (ja) | 2019-12-19 |
JP6760485B2 true JP6760485B2 (ja) | 2020-09-23 |
Family
ID=63674875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019508784A Active JP6760485B2 (ja) | 2017-03-31 | 2018-02-21 | 映像処理装置、映像解析システム、方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10846865B2 (ja) |
EP (1) | EP3606054A4 (ja) |
JP (1) | JP6760485B2 (ja) |
AR (1) | AR111196A1 (ja) |
WO (1) | WO2018180040A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
US11328434B2 (en) * | 2017-03-03 | 2022-05-10 | University Of Tsukuba | Object tracking device |
US11087133B2 (en) * | 2019-07-31 | 2021-08-10 | Baidu Usa Llc | Method and apparatus for determining a target object, and human-computer interaction system |
US11591012B2 (en) * | 2019-10-01 | 2023-02-28 | Robert Bosch Gmbh | Vehicle trajectory prediction using road topology and traffic participant object states |
JP7264281B2 (ja) * | 2020-01-10 | 2023-04-25 | 日本電気株式会社 | 可視化画像表示装置 |
US20220012790A1 (en) * | 2020-07-07 | 2022-01-13 | W.W. Grainger, Inc. | System and method for providing tap-less, real-time visual search |
US20220207585A1 (en) * | 2020-07-07 | 2022-06-30 | W.W. Grainger, Inc. | System and method for providing three-dimensional, visual search |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005086626A (ja) | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 広域監視装置 |
JP4933354B2 (ja) * | 2007-06-08 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、及び情報処理方法 |
US20090002489A1 (en) | 2007-06-29 | 2009-01-01 | Fuji Xerox Co., Ltd. | Efficient tracking multiple objects through occlusion |
US20110199461A1 (en) * | 2008-10-17 | 2011-08-18 | Panasonic Corporation | Flow line production system, flow line production device, and three-dimensional flow line display device |
JP5603663B2 (ja) * | 2010-06-02 | 2014-10-08 | Toa株式会社 | 移動体軌跡表示装置および移動体軌跡表示プログラム |
JP5718632B2 (ja) | 2010-12-22 | 2015-05-13 | 綜合警備保障株式会社 | 部位認識装置、部位認識方法、及び部位認識プログラム |
FI20125280L (fi) * | 2012-03-14 | 2013-09-15 | Mirasys Business Analytics Oy | Menetelmä ja järjestely liikkuvan kohteen käyttäytymisen erittelemiseksi |
JP6159179B2 (ja) | 2013-07-09 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6206804B2 (ja) | 2013-09-27 | 2017-10-04 | パナソニックIpマネジメント株式会社 | 移動体追跡装置、移動体追跡システムおよび移動体追跡方法 |
JP2015162112A (ja) | 2014-02-27 | 2015-09-07 | 株式会社日立ソリューションズ東日本 | 時空間共有システム |
US10176683B2 (en) * | 2014-09-18 | 2019-01-08 | Honeywell International Inc. | Virtual panoramic thumbnail to summarize and visualize video content in video surveillance and in connected home business |
JP2016109635A (ja) | 2014-12-10 | 2016-06-20 | キヤノンマーケティングジャパン株式会社 | クライアント端末、クライアント端末のシステム、及びそれらの制御方法、プログラム |
JP6128468B2 (ja) | 2015-01-08 | 2017-05-17 | パナソニックIpマネジメント株式会社 | 人物追尾システム及び人物追尾方法 |
JP6001751B1 (ja) | 2015-10-11 | 2016-10-05 | 博子 金築 | 引出付き天板 |
-
2018
- 2018-02-21 JP JP2019508784A patent/JP6760485B2/ja active Active
- 2018-02-21 WO PCT/JP2018/006230 patent/WO2018180040A1/ja active Application Filing
- 2018-02-21 EP EP18777801.4A patent/EP3606054A4/en not_active Withdrawn
- 2018-02-21 US US16/491,625 patent/US10846865B2/en active Active
- 2018-03-27 AR ARP180100732A patent/AR111196A1/es unknown
Also Published As
Publication number | Publication date |
---|---|
EP3606054A4 (en) | 2020-04-01 |
AR111196A1 (es) | 2019-06-12 |
WO2018180040A1 (ja) | 2018-10-04 |
EP3606054A1 (en) | 2020-02-05 |
US20190392589A1 (en) | 2019-12-26 |
JPWO2018180040A1 (ja) | 2019-12-19 |
US10846865B2 (en) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020167720A (ja) | 映像処理装置、映像解析システム、方法およびプログラム | |
JP6760485B2 (ja) | 映像処理装置、映像解析システム、方法およびプログラム | |
JP6573361B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム | |
JP6674584B2 (ja) | 映像監視システム | |
US8879786B2 (en) | Method for detecting and/or tracking objects in motion in a scene under surveillance that has interfering factors; apparatus; and computer program | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
JP7459916B2 (ja) | 物体追跡方法、物体追跡装置、及びプログラム | |
JP2015070354A (ja) | 移動体追跡装置、移動体追跡システムおよび移動体追跡方法 | |
KR101840042B1 (ko) | 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템 | |
JP2005347905A (ja) | 防犯支援システム | |
JP7081659B2 (ja) | 情報処理装置、データ生成方法、及びプログラム | |
KR101513414B1 (ko) | 감시 영상 분석 방법 및 시스템 | |
JP2020052476A (ja) | オブジェクト検出装置およびオブジェクト検出プログラム | |
KR101736431B1 (ko) | 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법 | |
WO2018085063A1 (en) | Segmentation-based display highlighting subject of interest | |
JP2011145730A (ja) | 監視画面表示制御装置 | |
KR102030736B1 (ko) | 다중 분산 영상 데이터 분석 장치 | |
JP2012169826A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
WO2020022362A1 (ja) | 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体 | |
KR20170127318A (ko) | 객체 추적 시스템 | |
WO2022022809A1 (en) | Masking device | |
JP2012084078A (ja) | 動体情報解析装置、動体情報解析システム、動体情報解析装置の制御方法、および動体情報解析装置の制御プログラム | |
JP2007280151A (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP6527729B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2019128824A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6760485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |