JP7279747B2 - 映像処理装置、映像解析システム、方法およびプログラム - Google Patents

映像処理装置、映像解析システム、方法およびプログラム Download PDF

Info

Publication number
JP7279747B2
JP7279747B2 JP2021132505A JP2021132505A JP7279747B2 JP 7279747 B2 JP7279747 B2 JP 7279747B2 JP 2021132505 A JP2021132505 A JP 2021132505A JP 2021132505 A JP2021132505 A JP 2021132505A JP 7279747 B2 JP7279747 B2 JP 7279747B2
Authority
JP
Japan
Prior art keywords
image
video
display
trajectory
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021132505A
Other languages
English (en)
Other versions
JP2021185698A (ja
Inventor
康史 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021185698A publication Critical patent/JP2021185698A/ja
Priority to JP2023052561A priority Critical patent/JP2023085397A/ja
Application granted granted Critical
Publication of JP7279747B2 publication Critical patent/JP7279747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、映像を処理する映像処理装置、映像処理方法、映像処理プログラムに関する。また、本発明は映像を解析する映像解析システムに関する。
カメラ装置から得られる映像をコンピュータで解析して、警報を発生させる映像解析技術がある。例えば、映像から被写体の位置や行動を検知し、その検知結果が所定の条件を満たす場合に警報を発生させる映像解析技術がある。このような映像解析技術を利用して、例えば、オペレータがいる管理センタにおいて、通知された警報を基に警報の発生元となった映像を確認して、適切な対応をとる等の運用がされている。
このとき、管理センタにおける発生元の映像の確認作業は、現在の映像の監視中に行われることが多い。例えば、オペレータは、警報が通知されると、過去映像を確認して、誤報でないことを確認したり、誤報でない場合は必要な情報を取得して適切な警報として情報を所定の宛先に伝えるなどの対応を行う。このとき、オペレータは、過去映像から、当該警報が誤報でないかを判断できる情報や、誤報でない場合は、警報の対象となった侵入者や危険移動物体等(以下、対象物という)の特徴を取得したりする。
このような映像監視に関して、例えば、特許文献1~3に記載の技術がある。
例えば、特許文献1には、動画像を表示する表示装置の表示画面において、該動画像の取得元である撮像装置から順次得られる画像上に、オブジェクトの移動軌跡を重畳表示することが記載されている。また、特許文献1には、ユーザから、表示中の移動軌跡に対する指定を受け付けて、他の移動軌跡と表示態様を異ならせたり、他の移動軌跡とは交点を有さないようにオブジェクト検知用領域を設定することが記載されている。
また、特許文献2には、映像内に異なる人物と1台の車両の軌跡を示す例が記載されている。
また、特許文献3には、部位の変位から挙動を判断する方法として、複数のフレーム画像を合成した合成画像を表示することが記載されている。また、特許文献3には、連続フレームを重ね合わせて合成する例や、合成画像にさらに着目する部位の移動イメージや移動軌跡を点や矢印で表示する例が示されている。
特開2015-018340号公報 特開2009-015827号公報 特開2012-133666号公報
監視の現場では、警報が通知された後に、オペレータが、現在の映像を監視しつつ、過去の映像から対象物の特徴を迅速に収集できるような表示および該表示に対するインタフェースが望まれている。しかし、特許文献1に記載の方法は、常に現在の画像に移動軌跡を重畳させているだけであり、オブジェクトの移動経路を知ることはできても、過去映像にしか映っていないオブジェクトのその時々の様子やその周囲の状況や特徴変化などを知ることはできない。したがって、オペレータは、そのような情報を収集するために、画面を切り替えたり、別のウィンドウで過去の映像を確認しなければならず、時間的コストおよび見落としリスクの問題が生じる。
特許文献2に記載の方法における問題も基本的には特許文献1と同様である。すなわち、特許文献2に記載の方法も、常に現在の画像に移動軌跡を重畳させているだけであり、複数の物体の移動経路を知ることはできても、過去映像にしか映っていない物体のその時々の様子やその周囲の状況や特徴変化などを知ることはできない。
なお、特許文献3に記載の方法は、連続フレームを重ね合わせて表示することで、対象物もしくはその部位の過去の状態を確認可能にしている。しかし、該方法を単に監視映像に適用しても、表示中の画像が複雑になるだけで、必要な情報を得ることは困難である。
例えば、単に映像中の連続フレームを重ね合わせた場合には、各フレームの対象物が重なり合い、必要な情報を得ることができない。
なお、上記の時間的コストや見落としリスクの問題は、警報を伴うリアルタイム映像の監視の場面に限らず、映像中の2以上の時点の画像を迅速に確認する必要がある場面なら、同様に発生する。
本発明は、上述した課題に鑑みて、ユーザが、映像中の2以上の時点における対象物の状況を迅速に把握できる映像処理装置、映像解析システム、映像処理方法および映像処理プログラムを提供することを目的とする。
本発明による映像解析システムは、映像を解析して、前記映像から追跡対象物を検知する検知手段と、前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させる表示制御手段とを備え、前記表示制御手段が、前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させることを特徴とする。
また、本発明による映像解析方法は、映像を解析して、前記映像から追跡対象物を検知し、前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させ、前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させることを特徴とする。
また、本発明による映像解析プログラムは、コンピュータに、映像を解析して、前記映像から追跡対象物を検知する検知処理、前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させる表示制御処理、および、前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させる処理を実行させることを特徴とする。
本発明によれば、ユーザが、映像中の2以上の時点における対象物の状況を迅速に把握できる。
第1の実施形態の映像解析システムの概略を示す構成図である。 第1の実施形態の映像解析システムの構成例を示すブロック図である。 追跡部103における検出の例を示す説明図である。 軌跡の表現例を示す説明図である。 追跡線と対象物の対応づけの例を示す説明図である 追跡線に情報を付随させる例を示す説明図である。 追跡線に情報を付随させる例を示す説明図である。 第1の実施形態の映像解析装置2の動作の一例を示すフローチャートである。 第1の実施形態の映像処理装置4の動作の一例を示すフローチャートである。 表示制御部105における表示制御の一例を示すフローチャートである。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 第2の実施形態の映像解析システムの構成例を示すブロック図である。 表示制御部205における表示制御の一例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 イベント処理の例を示すフローチャートである。 表示画像の合成パターンの一例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 表示画像およびその際の重畳画像の例を示す説明図である。 本発明の実施形態にかかるコンピュータの構成例を示すブロック図である。 本発明の映像処理装置の概要を示すブロック図である。
[実施形態1]
以下、本発明の実施形態について図面を参照して説明する。なお、以下の各実施形態では、障害検知のための映像監視に本発明を適用する場合を例に用いて説明するが、本発明は、障害検知のための映像監視用途に限定されない。
図1は、第1の実施形態の映像解析システムの概略を示す構成図である。図1に示すように、映像解析システム100は、映像入力装置1と、映像解析装置2と、記憶装置3と、映像処理装置4と、表示装置5とを備える。
映像入力装置1は、解析対象とする映像を入力する。映像入力装置1は、例えば、動画を撮影可能な撮像装置等により実現される。なお、図1には、1台の映像入力装置1しか示されていないが、映像入力装置1は複数であってもよい。
ここで、「映像」は、一般には、連続するフレームの各々に対応したフレーム画像からなる動画像を指す。ただし、本発明において「映像」といった場合には、いわゆる動画像だけでなく、撮影時間および撮影領域に関する情報が付された2以上の静止画像を含む静止画像群や、そのような静止画像群に含まれる静止画像から作成される動画および合成画像群なども含むものとする。また、以下、映像中の画像といった場合には、いわゆる動画像のフレーム画像だけでなく、上記の「映像」に含まれる画像も含まれる。また、以下、映像中のある時点の画像といった場合には、いわゆる動画像における該時点のフレーム画像だけでなく、上記の「映像」に含まれる所定の時間軸上で該時点と対応する時間の画像も含まれる。
映像解析装置2は、入力された映像(以下、「入力映像」という)を解析して、解析結果を記憶装置3に記憶するとともに、必要に応じて警告その他の任意のメッセージを出力する。
映像解析装置2は、入力映像を解析して、入力映像に写る移動物体など所定の被写体を検出して追跡し、入力映像から該被写体の位置を連続的に取得する。映像解析装置2は、例えば、入力映像中の各時点における該被写体の位置を取得してもよい。また、映像解析装置2は、取得した該被写体の位置を示す位置情報と、該位置が取得された当該時点の画像の識別情報とを対応づけた解析情報を生成する。以下では、追跡対象とされた被写体を「追跡対象物」という場合がある。
また、映像解析装置2は、入力映像を解析し、さらに追跡対象物の位置を取得した画像の入力映像中の時点の時間である対応時間や、該時点の入力映像中の画像における当該追跡対象物の特徴や、当該追跡対象物に関連する他の物体の有無や、当該他の物体があればその特徴を検出してもよい。
物体(追跡対象物および他の物体を含む)の特徴の例としては、当該物体もしくはその所定部位の、向き、サイズまたは動作などを含む当該物体の状態、それら状態や服飾品や所持物等を含む当該物体の特徴の入力映像中の変化、当該物体と関連する他の物体に関する事項(該物体の有無、分類等)などが挙げられる。
また、映像解析装置2は、入力映像から検出されたそれらの内容を含む解析結果に基づいて、所定のメッセージを出力してもよい。映像解析装置2は、例えば、入力映像から検出された被写体の位置その他の内容が、所定の条件を満たすか否かを判定し、所定の条件を満たすと判定した場合に、所定のメッセージを出力してもよい。映像解析装置2は、例えば、所定の表示装置やユーザ端末や管理センタ内の所定の端末に向けて所定のメッセージを出力してもよい。
記憶装置3は、入力映像と、映像解析装置2による映像の解析結果を示す情報とを記憶する。記憶装置3は、例えば、入力映像を記憶するとともに、追跡対象物ごとに、入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像を示す情報(識別情報等)とを対応づけた解析情報を記憶してもよい。
なお、記憶装置3は、必ずしも入力映像の全てを記憶しなくてもよい。例えば、記憶装置3は、入力映像がリアルタイム映像のように逐次入力されるストリーミング動画である場合や、映像のサイズ(データ容量)が所定の閾値よりも大きい場合などには、入力映像のうち最新から所定量分の映像だけを記憶するようにしてもよい。ここで、所定量として、画像数が定められてもよいし、時間長が定められてもよいし、データの容量が定められてもよい。
映像処理装置4は、表示装置5に、入力映像に含まれる任意時点の画像(動画、静止画を含む)や該入力映像に基づいて生成される画像等を表示する。なお、入力映像に基づいて生成される画像は、特に問わない。例えば、所定領域の見取り図であってもよいし、入力映像に含まれる複数時点の画像の合成画像であってもよい。映像処理装置4は、例えば、ユーザが指定した画像を表示装置5に表示する。
映像処理装置4は、そのような画像を表示装置5に表示する際に、入力映像中の対象物の位置の変化を示す軌跡を併せて表示する機能を有する。なお、軌跡の表示方法については後述する。
映像処理装置4は、表示装置5に表示させたい画像の画像情報を出力して、所望の画像を表示させればよい。
表示装置5は、映像処理装置4から出力される画像情報に基づいて、画像を表示する画像表示装置である。表示装置5は、例えば、ディスプレイ装置等により実現される。なお、図1には、1台の表示装置5しか示されていないが、表示装置5は複数であってもよい。なお、表示装置5が複数ある場合には、映像処理装置4は、ユーザから軌跡表示が指示された少なくとも1つの表示装置5に表示中の画像に軌跡を重畳させて表示する。
図2は、本実施形態の映像解析システムの構成例を示すブロック図である。なお、図2では、映像解析システムの機能面での構成例を示している。図2に示すように、映像解析システム100は、映像入力部101と、映像保持部102と、追跡部103と、解析情報記憶部104と、表示制御部105と、表示部106とを備えていてもよい。
ここで、映像入力部101が、映像入力装置1に対応する。また、映像保持部102および解析情報記憶部104が、記憶装置3に対応する。また、追跡部103が、映像解析装置2に対応する。また、表示制御部105が、映像処理装置4に対応する。また、表示部106が、表示装置5に対応する。
図2に示す例において、追跡部103は、例えば、映像解析装置2が備えるCPU等の情報処理装置によって実現される。また、表示制御部105は、例えば、映像処理装置4が備えるCPU等の情報処理装置によって実現される。なお、図1において、映像解析装置2と映像処理装置4とは別々の装置として示されているが、これらは1つの装置により実現されてもよい。
映像入力部101は、映像を入力する。
映像保持部102は、入力映像を記憶する。なお、映像保持部102は、入力映像のうち最新画像から所定量分の映像のみを記憶してもよい。
追跡部103は、入力映像を解析して、入力映像から追跡対象物の位置を連続的に取得する。なお、追跡部103による追跡対象物の追跡方法は特に問わない。
また、追跡部103は、位置を取得した際に、さらに、当該位置を取得した時点が対応する時間(対応時間)や、入力映像中の当該時点の画像における、追跡対象物の特徴もしくは追跡対象物に関連する他の物体の特徴を検出する。
そして、追跡部103は、入力映像から取得された位置および当該位置とともに検出された内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報を、解析情報記憶部104に記憶する。ここで、識別情報は、入力映像中の画像を特定可能な情報であれば、特に問わない。例えば、識別情報は、該画像の入力映像中の時点を示す情報や映像中の画像に付された識別子であってもよい。
また、追跡部103は、解析結果または他の情報に基づいて所定のメッセージを出力する機能を有していてもよい。
追跡部103は、例えば、赤外線センサや圧力センサや振動センサなどの所定のセンサから入力されるセンサ情報を基に、警報を示すメッセージを出力してもよい。また、追跡部103は、入力映像を解析した結果、入力映像から物体が検知された(映像内に背景以外の物体が写った)場合に、その旨を示すメッセージを出力してもよい。また、追跡部103は、入力映像を解析した結果、入力映像から所定の物体(例えば、人間や、特定の人物Yなど)が検出された場合に、その旨を示すメッセージを出力してもよい。また、追跡部103は、例えば、予め定めた侵入検知線を越えた移動体が検出された場合や、所定の領域への移動体の侵入・所定の領域内での物の置き去りや持ち去りが検出された場合に、その旨を示すメッセージを出力してもよい。
図3(a)~図3(d)はそれぞれ、追跡部103における検出例を示す説明図である。図3(a)に示す例は、入力映像の画像領域a01から物体(移動体)を検知した例である。なお、符号Tは、追跡対象物とされた物体を表す。図3(b)に示す例は、入力映像の画像領域a01から所定の物体を検知した例である。なお、符号a02は、入力映像中の画像から検出された物体の領域である物体領域を表す。また、図3(c)に示す例は、入力映像の画像領域a01内の侵入検知線a03を超える物体を検知した例である。また、図3(d)に示す例は、入力映像の画像領域a01の所定の監視領域a04内での物の置き去りを検知した例である。ここで、置き去りにされた物は、追跡対象物Tと関連する他の物である関連物体roとして検出される。
なお、追跡部103は、追跡の結果得られた位置を示す情報と、その他の情報とを分けて記憶してもよい。追跡部103は、追跡対象物ごとに、位置を示す情報と入力映像中の画像の識別情報とを対応づけた情報と、位置以外に検出された内容を示す情報と入力映像中の画像の識別情報とを対応づけた情報とを分けて解析情報記憶部104に記憶してもよい。なお、本実施形態では、そのような場合であっても両者を合わせたものを「解析情報」と呼ぶ。
表示制御部105は、映像中の対象物の位置の変化を示す軌跡を表示部106に表示させる。例えば、表示制御部105は、入力映像に含まれる任意時点の画像や、入力映像に基づいて生成される所定の画像を表示する際に、該画像を背景画像として、該背景画像に、入力映像中の所定の対象物の軌跡を重畳させて表示する。なお、背景画像は、画像領域内に対象物の移動経路の少なくとも一部に対応する領域を含む画像であれば、特に限定されない。
本実施形態の表示制御部105は、さらに、解析情報記憶部104に記憶されている情報に基づいて、対象物の入力映像中の軌跡に、入力映像の解析結果や所定時刻からの経過時刻をユーザに知らせる通知機能を追加する。
表示制御部105は、例えば、入力映像の解析結果における対象物の特徴もしくは対象物に関連する他の物体の特徴に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。また、表示制御部105は、例えば、所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に該経過時間を示す情報を付随させてもよい。
解析結果は、入力映像を解析した結果得られる事項であれば特に問わない。解析結果は、例えば、入力映像に写る対象物を追跡した結果得られる対象物に関連する事項(対象物の特徴や対象物に関連する他の物体の特徴など)であってもよい。一例としては、既に説明したような、対象物の状態、対象物の特徴の変化、対象物に関連する他の物体の有無やそのような関連物体の情報などが挙げられる。また、対象物の状態としては、対象物全体もしくは所定部位の向き、サイズ、動作(行動、挙動)などが挙げられる。
また、対象物と関連する他の物体の例としては、入力映像中で対象物の軌跡と所定の関係を有する軌跡を描く物体が挙げられる。なお、上記「置き去り」や「持ち去り」、後述する「交流」は、当該所定の関係の一例である。
また、情報を付随する際の、軌跡内の対応する位置は、例えば、表示の対象とした検出内容が検出された画像の時点に対応する軌跡内の位置であったり、所定時刻からの経過時間を表示させる場合には、所定時刻から該経過時間となる時刻に対応する軌跡内の位置である。
また、表示制御部105は、例えば、軌跡内の対応する位置より所定のピクセル範囲内を「近傍」としてもよい。
また、所定時刻は、入力映像における最新時刻または入力映像を解析する所定のシステムから所定のメッセージが通知された時刻であってもよい。
また、表示制御部105は、軌跡を重畳させる際に、例えば、当該軌跡にユーザが指定した地点もしくは区間または解析結果が所定の条件を満たす地点もしくは区間が含まれている場合には、それがわかる態様にして表示してもよい。
例えば、表示制御部105は、軌跡の一部(例えば、その地点もしくは区間)の表示態様を他の一部と異ならせたり、軌跡の一部(例えば、その地点もしくは区間)の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。
以下、そのような条件を満たす地点を条件地点という場合がある。同様に、そのような条件を満たす区間を条件区間という場合がある。
条件地点もしくは条件区間は、例えば、対象物もしくはその所定部位の向き、サイズもしくは動作が所定の条件を満たす地点もしくは区間、または対象物の特徴の変化が所定の条件を満たす地点もしくは区間であってもよい。
また、例えば、表示制御部105は、軌跡に解析結果において対象物がうろついていると判定されたうろつき区間が含まれている場合に、当該区間を短縮して表示させた上で、当該区間を他の区間と異なる表示態様にして表示させてもよい。なお、うろつき区間も条件区間の一例である。
なお、表示制御部105が、軌跡内の任意区間がうろつき区間か否かを、例えば、対象物の軌跡内の時間単位ごとの区間またはそれに続く1つ以上の区間の軌跡であって所定の太さを有する軌跡の、当該軌跡を囲む外延矩形に対する粗密の度合いに応じて判別してもよい。なお、うろつき区間の判別方法はこれに限定されず、例えば、設定時間以内の過去の位置を基準とした領域に位置しているか否かや、設定時間毎の位置の変化が所定距離以下か否かによって判別してもよい。
表示制御部105は、例えば、軌跡にうろつき区間が含まれていた場合であって該うろつき区間を短縮して表示した場合において、短縮して表示した区間を指定した所定の要求を取得すると、当該区間を元の区間に展開して表示させるまたは指定された区間内の元の区間に含まれる時点と対応づけられたポイントを含む代替表示を表示してもよい。
表示制御部105は、上記の代替表示として、表示部106の表示領域内に短縮前の当該区間に対応する線もしくはスライドバーを表示してもよい。このとき、当該線分に対して、当該区間と同様の表示対象とするもしくは同じ情報を付随させるのがより好ましい。
また、表示制御部105は、例えば、入力映像が逐次入力されるストリーミング映像である場合に、入力映像に含まれる任意時点の画像または入力映像に基づいて生成される所定の画像を背景画像とし、該背景画像に軌跡を重畳させて表示させてもよい。このようにすれば、ユーザは、常に最新の経過時間や対象物の状態を知ることができる。
このとき、表示制御部105は、例えば、背景画像が入力映像に含まれる過去の時点の画像であっても、該背景画像に、入力映像から検出された対象物についての最新の解析結果に応じた表示態様の軌跡もしくは所定時刻からの最新の経過時間に応じた表示態様の軌跡を重畳させることができる。このようにすれば、ユーザは、過去画像である背景画像を確認しながら、該画像とともに表示される、対象物の最新の位置を含む軌跡や、対象物の最新の特徴などや、経過時刻に基づいて軌跡内の表示態様もしくは付随する情報が異なる軌跡を確認することで、最新の状況を合わせて知ることができる。
なお、本実施形態において、上述したような解析結果や所定時刻からの経過時間に応じて表示態様が異なるもしくは情報が付随されて表示させる軌跡を、追跡線という場合がある。
表示制御部105は、追跡線を用いて、例えば、次のような情報(特徴)を表示することができる。
・対象物の進行方向(追跡線そのもの)
・所定時刻からの経過時間
・対象物の顔の方向
・対応する地点での滞在時間(経過時間の表示や上記の地点表示・区間表示を利用)
・対象物の服の色や柄といった特徴
・対象物の行動(しゃがむ、立ち上がる、歩く、走る(速度)、ジャンプ)
・他の被写体との交流(交差、合流、分岐等)
・誰の追跡線であるか
なお、他の被写体との交流の例としては、人同士の交流や、他の物体(車)との交流などが挙げられる。ここで、交流の有無を、対象物の軌跡中に、他の被写体の軌跡と時間的および距離的に近い範囲に位置する地点もしくは区間があるか否かによって判定してもよい。また、人同士の会話のように、交流後に、当該他の被写体の軌跡が離れていく場合には、当該交流を「交差」として表示してもよい。また、人の乗車のように、交流により、2以上の軌跡が1つにまとまった場合には、当該交流を「合流」として表示してもよい。また、人の降車のように、交流により、一つの軌跡から2以上の軌跡が派生した場合には、当該交流を「分岐」として表示してもよい。
表示制御部105は、例えば、ユーザの指定、経過時間の基準とされる時刻もしくはタイミング、該基準からの経過時間、対象物の向き、対象物の滞在時間、対象物の服色、対象物の服の柄または対象物の進行方向に基づいて、軌跡を表示させる対象や軌跡を用いて表示部106に表示する項目である表示項目や表示させる軌跡の範囲を絞り込んでもよい。
表示制御部105は、一つの背景画像に2以上の対象物の軌跡を表示することもできる。例えば、表示制御部105は、対象物と関係する他の被写体の軌跡を表示することにより、当該他の被写体との交流を表示するようにしてもよい。
軌跡内における表示態様の異なりは、例えば、色、線種(点線の形状等を含む)、間隔(点線における点や線の間隔等を含む)、線の太さ、点線中の線に相当する部分やマーカといった構成要素の形状、マーカや方向付き符号の向き等を用いて行うことができる。なお、これらは組み合わせて用いることが可能である。ここで、マーカは、線分に含む各地点や各区間の間隔を知らせる印など、軌跡上に常に存在する一定の内容を表す記号、図形その他の符号をいう。また、シンボルは、特定の条件を満たした場合にのみ付される任意の文字、記号、図形その他の符号をいう。また、表示制御部105は、軌跡内の所定の区間を絞り込む際の表示方法(絞り込み表示)を異ならせることにより、軌跡内において表示態様を異ならせてもよい。
図4(a)~図4(j)はそれぞれ、軌跡(追跡線)の表現例を示す説明図である。図4(a)は、軌跡内で色の濃さを異ならせた例である。また、図4(b)は、軌跡内で色を異ならせた例である。ただし、図4(b)では、線の濃淡で色の違いが表されている。図4(c)は、軌跡内でマーカの間隔を異ならせた例である。図4(d)は、軌跡内でマーカの形状を異ならせた例である。図4(e)は、軌跡内に付される方向付き符号の向きを異ならせた例である。方向付き符号は、例えば、対象物の向きに対応づけられる。なお、図4(e)では方向付き符号の例として矢印を示しているが、方向付き符号は、例えば、先頭に印のない単なる線でもよいし、三角形状などの他の形状であってもよい。また、図4(f)は、対応する地点に特定の情報を示すシンボルを付随させた例である。また、図4(g)は、特定のマーカを点滅させることにより表示態様を異ならせた例である。
また、図4(h)は、区間の絞り込み表示の例であり、特定範囲以外の範囲をグレーアウトさせた例である。また、図4(i)は、区間の絞り込み表示の他の例であり、特定範囲(例えば、特定時間内の区間)以外を消去させた例である。また、図4(j)は、区間の絞り込み表示の他の例であり、当該区間と他の区間とで追跡線の太さを異ならせた例である。絞り込み表示は、特定範囲で採用した表示態様の異ならせ方とは違う方法を用いて、表示態様を異ならせることが好ましい。
また、図5は、追跡線と対象物の対応づけの例を示す説明図である。表示制御部105は、図5に示すように、追跡線と対象物とに同じ番号等を付すそれらの対応づけを行ってもよい。なお、図中の符号TLは追跡線を表している。なお、図中の追跡線TLは、対象物の状態に応じて色分けがされている。ただし、図5では、線の濃淡で色分けが表されている。
また、表示制御部105は、同一画像に複数の追跡対象者が含まれる場合であって、ある対象物について、異なる時点の画像を同時に表示させる場合には、同一の対象物の物体領域近傍に同じ番号等を付したり、対象物の物体領域を囲む枠の色や線種等を画像内で統一させることによって、対象物の同一性を示してもよい。
また、図6および図7は、追跡線に情報を付随させる例を示す説明図である。図6には、ある対象物について、軌跡に沿って異なる時点の画像を同時に表示させる場合における、軌跡に付随させる付随情報の例を示している。なお、背景画像以外の、他の時点における対象物の画像も付随情報の一つに含まれる。
例えば、図6には、対象物の物体領域a02を囲む枠の線種を変えたり、枠にシンボルを付けて表示する例が示されている。なお、図6に示す例では、対象物の特徴の変化(コートの有無)に応じて、例えば物体領域a02-1~物体領域a02-3の枠が実線で表示され、かつ物体領域a02-4の枠が一点鎖線で表示されている。
このように、対象物の状態に応じて枠の線種を異ならせてもよい。また、図6には、警報が発生した時刻に対応する時点(警報時点)の入力映像中の画像に含まれる対象物の物体領域を切り出した画像がさらに重畳された場合において、該物体領域a02-2の枠線上にその旨を示すシンボル(図中の丸A印)を付した例が示されている。なお、図中の丸R印は、現在時刻に対応する時点に付されるシンボルの例であり、図中の丸P印は、過去の時刻に対応する時点に付されるシンボルの例である。このように、軌跡のある時点の「近傍」には、当該地点に対応して表示される対象物の物体領域a02の近傍も含まれる。また、付随させる情報には、軌跡内の地点に対象物が位置していたときに生成された画像に含まれる対象物の物体領域の切り出し画像(以下、物体画像という)も含まれる。
また、図中の感嘆符は、特徴が変化したことを示すシンボルの例である。また、図中のro印は、他の物体との交流があることを示すシンボルの例である。なお、対象物の物体画像を付随させない場合は、追跡線上の対応する地点近くに同様のシンボルを付してもよい。
また、図7に示すように、表示制御部105は、ユーザが指示した軌跡上の地点など、特定の地点に対して、対応する時点の対象物の情報や経過時刻の情報を付随させてもよい。この他にも、表示制御部105は、例えば、警報時点とその他の過去の時点と現在時点とで枠線の色を変えるなど、対応時間を色や付随させる情報で表現してもよい。
また、表示制御部105は、経過時間および解析結果の中から、軌跡を表示させる対象や、表示項目や、軌跡の範囲をユーザが指定できるようにしてもよい。例えば、次のような項目を指定できるGUI(Graphical User Interface)を用意しておき、ユーザに、軌跡を表示させる対象や表示項目や軌跡の範囲等の絞り込みを行わせてもよい。
[絞り込み対象の例]
・経過時間の基準とされる時刻もしくはタイミングおよびそこからの経過時間
(例えば、アラート発生時から~分以内)
・対象物の向き
・対象物の滞在時間
・対象物の服色、服の柄
・対象物の進行方向
GUIは、例えば、コンボボックス、リスト、チェックボックス、ラジオボタン、テキスト入力、時間選択等の一般的なメニュー表現でよい。
次に、本実施形態の動作を説明する。図8は、本実施形態の映像解析装置2(追跡部103)の動作の一例を示すフローチャートである。図8に示す例では、まず、映像入力装置1から解析対象とする映像が入力される(ステップS11)。
次に、映像解析装置2は、入力映像において追跡対象物を追跡し、追跡対象物の位置を連続的に取得するとともに、対応時間または位置が取得された時点の画像における追跡対象物に関する所定の事項を検出する(ステップS12:映像解析処理)。
そして、映像解析装置2は、解析結果を付した映像を出力する(ステップS13:解析結果付き映像出力)。なお、映像解析装置2は、上記の出力に代えて、入力映像と解析結果を示す情報とを、記憶装置3に対応づけて記憶してもよい。
映像解析装置2は、上記のステップS11~ステップS13の動作を、映像入力が終了するまで繰り返す(ステップS14)。
また、図9は、本実施形態の映像処理装置4(表示制御部105)の動作の一例を示すフローチャートである。図9に示す例では、まず、映像解析装置2等から解析結果付き映像が入力される(ステップS21)。なお、映像処理装置4は、解析結果付き映像の入力に代えて、所定の記憶部から入力映像と解析結果を示す情報とを読み出してもよい。
映像が入力されると、映像処理装置4は、表示装置5に、入力映像中の任意時点の画像または入力映像に基づいて作成される画像を表示する(ステップS22:表示制御処理)。なお、表示制御処理の詳細は後述する。
映像処理装置4は、上記のステップS21~ステップS22の動作を、表示の終了を検知するまで繰り返す(ステップS23)。
以下、機能ブロックを動作の主体にして上記のステップS22の表示制御処理の例を説明する。図10は、表示制御部105における表示制御(上記のステップS22の表示制御処理)の一例を示すフローチャートである。
本例では、ステップS101の前に、表示させる背景画像および対象物がユーザから指定されているまたは予め決められているものとする。また、映像保持部102には、背景画像となりうる画像(入力映像のうちの所定量の画像や入力映像から生成された画像など)がその識別子とともに記憶されているものとする。また、解析情報記憶部104には、追跡部103によって入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報が記憶されているものとする。
図10に示す例では、まず、表示制御部105は、映像保持部102から背景画像を取得する(ステップS101)。
次いで、表示制御部105は、解析情報記憶部104から解析情報を取得する(ステップS102)。
次いで、表示制御部105は、背景画像の領域情報に基づいて、背景画像に応じた対象物の軌跡を生成する(ステップS103)。ここで、領域情報は、背景画像の座標と撮影領域(現実)の座標とを対応づけた情報である。また、軌跡の生成は、例えば、表示させたい軌跡(追跡線)のみが背景画像に対応した画像領域中に描かれた軌跡画像を生成すればよい。なお、対象物の連続する位置を示す位置情報に基づき、画像内の領域と撮影領域との位置関係が既知の背景画像に適合する軌跡線の経路を算出したり、描画する技術自体は公知であるので、詳しい説明は省略する。
ステップS103で、表示制御部105は、さらに解析情報に基づいて、入力映像の解析結果もしくは所定時刻からの経過時間に応じて軌跡内の表示態様が異なるか、入力映像の解析結果もしくは該経過時間を示す情報が軌跡内の対応する位置近傍に付随された軌跡を生成する。
次いで、表示制御部105は、背景画像に、生成した軌跡を重畳させて表示用の画像である表示画像を生成する(ステップS104)。
最後に、表示制御部105は、生成した表示画像の画像データを表示部106に出力して、表示させる(ステップS105)。
次に、本実施形態における表示画像の例を示す。
図11~図17は、表示画像の例を示す説明図である。なお、これら各々の図面において、(a)はカラー画像の表示画像を簡略図面に変換して示す説明図であり、(b)は説明のために、該表示画像のうち背景画像以外の画像である重畳画像を簡略化して示す説明図である。表示画像を簡略化するにあたり、一部の表示において色を用いて異ならせていた部分を、他の方法(線種や記号を付すなど)を用いて異ならせていることに留意されたい。
図11に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される場合の表示画像の例である。図11では、最新時刻に対応する対象物の画像は背景画像のものが利用されている。なお、図11(a)には、最新時刻からの経過時間に応じて軌跡の表示態様(具体的には、色)を異ならせつつ、対応時点での対象物の状態に応じたシンボル(丸A印や丸P印や丸R印やro印など)を付した例が示されている。
なお、図11(b)では、図面の制約上、色を用いる代わりに、線種(点線の線の間隔)を用いて経過時間の違いを表現している。図11に示すように、表示制御部105は、侵入検知線a03など、追跡線以外の情報も重畳させて表示してもよい。
また、図12に示す例は、警報時点の画像が背景画像に設定され、追跡線だけが時々刻々と更新される場合の表示画像の例である。図12に示すように、表示制御部105は、最新画像だけでなく、過去画像を表示中においても、対象物の最新の位置に基づく軌跡を重畳させて表示してもよい。これにより、他の追跡対象物(例えば、侵入者と関連性のある他の物体)を確認することができる。例えば、図12(a)に示す例では、対象物と他の物体の物体領域を囲む線を実線と破線のように異ならせるとともに、物体ごとに線の色が異なっている。なお、図12(b)では、色を用いる代わりに、物体を識別する番号を付している。
なお、図12に示す例には、最新の対象物の画像が含まれていないが、表示制御部105は、背景画像に、さらに最新の対象物の画像(対象物の物体領域を切り出した画像)や最新画像の全体を、透明度を上げるなどの所定の加工をした上で重畳させてもよい。
また、図13に示す例は、侵入者など警報対象となった追跡対象物以外の追跡対象物が対象物に指定された場合の表示画像の例である。図13に示すように、軌跡を表示させる対象物は、特に限定されず、例えば、ユーザが指定した追跡対象物であってもよい。
また、図14に示す例は、対象物と関連する物体が存在する場合の表示画像の例である。図14に示すように、表示制御部105は、例えば、車両から人が降りた場合など複数の物体の軌跡に関連性が認められる場合には、それらは互いに関連する物体であるとして、対象物の軌跡とともに他方の軌跡も併せて背景画像に重畳させて表示してもよい。
なお、図14に示す例では、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される場合を例に用いているが、関連物体の軌跡を表示する際の背景画像やその更新方法は特に限定されない。
また、表示制御部105は、車両からの降車に限らず、対象物と他の物体との交流が検出された場合に、交流のあった他の物体の軌跡を、対象物の軌跡とともに表示させてもよい。このとき、他の物体の軌跡に対しても、同様の通知機能を持たせてもよい。
また、図15に示す例は、うろつき区間を含む軌跡を重畳させた表示画像の例である。なお、図15において、(a-1)および(b-1)はそれぞれ、うろつき区間を短縮させずに重畳させた表示画像および簡略化重畳画像の例である。なお、(b-1)における符号a11が対象者のうろつきが検出された領域を示している。また、(a-2)および(b-2)は、当該うろつき区間を短縮させた上で重畳させた表示画像および簡略化重畳画像の例である。また、(a-3)および(b-3)は、短縮させた後で当該うろつき区間を展開させて重畳させた表示画像のおよび簡略化重畳画像の例である。表示制御部105は、例えば、対象物がごく一部の領域をつろついていると判断した場合には、その部分に相当する軌跡の区間をうろつき区間として、その区間内の解析結果をグループ化し、代表的な情報のみを表示するようにしてもよい。
なお、表示制御部105は、グループ化の際、当該区間がグループ化されて短縮された区間であることがわかる態様(例えば、何らかのシンボルや絞り込み表示を付与)にして表示するのが好ましい。なお、本例では、(a-1)および(b-1)がグループ化前(通常状態)の表示画像に相当し、(a-2)および(b-2)がグループ化後の表示画像に相当する。
また、表示制御部105は、グループ化後の表示画像において、ユーザから当該区間を指定した展開指示を受け付けた場合には、(a-3)および(b-3)に示すように、当該区間を展開させて表示してもよい。その際、展開後の区間内の地点に対する指示入力を、マウスのホイールや、展開後の追跡線の直接のクリック、表示画面上の所定の領域に代替表示させたスライドバー等に対する操作により受け付け可能にしてもよい。
また、図16に示す例は、ユーザが指定した特定範囲の区間をアノテーション区間として、それがわかる態様で表示した例である。なお、表示制御部105は、その場にいない上位監視者にも知らせられるように、解析情報に、アノテーション区間に対応する時間情報や画像の情報を追加してもよい。以下、このようなアノテーション区間に対応して追加される情報をアノテーション情報という場合がある。
また、表示制御部105は、アノテーション区間に対応する映像(画像群)を切り出して、所定の装置に出力してもよい。それにより、上位監視者の確認コストを下げることができる。
また、図17に示す例は、対象物の向きや姿勢変動の分類結果を、線種を用いて表現した例である。図17に示すように、対象物の状態や特徴変化に応じて、軌跡内で表示態様を異ならせれば、オペ―レータが対象物の容姿を確認するためにどの時点の画像を確認すればよいのかの参考にできる。
以上のように、本実施形態では、現在確認中の画面上に、対象物の軌跡を、所定時刻からの経過時間や入力映像の解析結果に応じて軌跡の一部の表示態様を他の一部と異ならせたり、軌跡内の地点と対応づけて情報を付随させた上で表示する。このため、ユーザは、対象物の進行方向だけでなく、対象物の軌跡上の地点と結びつけて、該経過時間や解析結果を直感的に知ることができる。
例えば、ユーザは、対象物の軌跡から、所定時刻からある時間経過したときの対象物の位置(どのあたりにいたのか)や、その前後の時間的な過ごし方を知ることができる。また、例えば、ユーザは、対象物の軌跡から、侵入時の状況(本当に侵入したか否か)や、対象物の状態(向きや姿勢や行動や服色等の分類結果)やその変化の有無や関連する他の物体の有無などを知ることができる。
すなわち、所定時刻からの経過時刻や解析結果(例えば、対象物の向きや動作など)に基づいて軌跡の一部の表示態様を変えたり、軌跡の一部の近傍に情報を付随させることで、対象物の詳細を確認する際に軌跡のどの地点における画像を確認すればよいか容易に選択することができる。具体的に説明すると、例えば、軌跡の一部の表示態様を異ならせたり、軌跡の一部の近傍に情報を付随させないと、対象物の詳細を確認する際に軌跡上のどの地点にいる対象物を確認していいか決めることができないため、対象物についての詳細確認に時間を要してしまう。一方、本実施形態のように、例えば対象物がカメラ側を向いている時点に対応する地点の軌跡を他の地点よりも太くする。その結果、現在の映像を確認しながら過去の映像から対象物の詳細を確認する場合、軌跡が太い部分を選択して当該地点に対応する時点の対象物、すなわち当該地点に位置していたときの対象物を確認すればよいことで、容易に対象物の詳細を確認できる。なお、上記の効果は、ユーザの指定によりもしくは所定の条件に従い、軌跡を表示させる対象や表示項目や軌跡の範囲を絞るこむことによっても同様に得ることができる。
このように、所定時刻からの経過時間や対象物の解析結果を、軌跡を利用してユーザに提示することができるので、ユーザは、表示中の軌跡により提示される情報を基に、映像中の2以上の時点における対象物の状況を迅速に得ることができる。例えば、ユーザは、現在の画像を確認中に、過去のどの時点の画像を確認すれば所望の情報が得られるかを迅速に判断できる。また、例えば、ユーザは、過去の画像を確認中に、現在の対象物の位置を把握することができる。
また、特定の時点(警報発生時等)における対象物の画像を、軌跡の対応する地点近傍に重畳させて表示するなど、軌跡に付随させる情報によっては、ユーザが画面を切り替えることなく複数時点の対象物の状態を知ることも可能である。
なお、第2の実施形態で詳細に説明するが、どの時点の対象物の画像を重畳させるかを、ユーザが軌跡を利用して指示できるようにすることで、画面表示が複雑にならずに、ユーザは必要な情報を取得できる。このような指示をユーザから受け付ける際にも、本実施形態の軌跡表示によれば、ユーザがどの時点の対象物を確認すべきかを判断する際の支援ができるため、より迅速に映像中の2以上の時点における対象物の状況を迅速に把握できる。
[実施形態2]
次に、本発明の第2の実施形態について説明する。本実施形態では、表示制御部105に、背景画像に重畳させて表示させた軌跡に、GUI機能を持たせる。より具体的には、映像処理装置4が、背景画像に重畳表示させた軌跡と対応づけて、表示中の軌跡上の地点を指定する要求(所定の指示入力)を取得し、要求に応じた画面制御を行うGUI機能をさらに備える。
これにより、例えば、ユーザが、表示中の軌跡をなぞるだけで、その軌跡にそって同じ背景画像上で、指定された地点に対象物が位置していたときの対象物を確認したり、さらには2以上の時点(例えば、背景画像の時点と指定された地点に対応する時点や、第1に指定された地点に対応する時点と第2に指定された地点に対応する時点など)の対象物を同時に表示させたり、背景画像を切り替えたりできるようにする。
以下、第1の実施形態と同じ部分については同じ符号を付し、説明を省略する。
本実施形態の映像解析システムのシステム構成は、図1に示した第1の実施形態の構成と基本的に同様である。なお、以下、映像解析装置2(追跡部103)が、追跡対象物の位置とともに、位置以外の情報(対応時間や追跡対象物の特徴や追跡対象物と関連する他の物体など)を検出する例を示すが、これらは必ずしも検出されなくてもよい。すなわち、本実施形態の映像解析装置2(追跡部103)は、入力映像を解析して、入力映像中の追跡対象物の位置を示す位置情報と、該位置が取得された画像の識別情報とを対応づけた解析情報を生成できればよい。
図18は、本実施形態の映像解析システムの構成例を示すブロック図である。図18に示す映像解析システム200は、図2に示す第1の実施形態の映像解析システム100にの表示制御部105に代えて、表示制御部205を備えている。
表示制御部205は、表示部106に、入力映像中の所定の対象物の軌跡を表示する。例えば、表示制御部205は、入力映像や、入力映像に含まれる任意時点の画像や、入力映像に基づいて生成される所定の画像を表示する際に、該画像を背景画像として、該背景画像に、入力映像中の所定の対象物の軌跡を重畳させて表示する。なお、本実施形態においても、背景画像は、画像領域内に対象物の移動経路の少なくとも一部に対応する領域を含む画像であれば、特に限定されない。
本実施形態の表示制御部205は、さらに、対象物の入力映像中の軌跡に、表示中の軌跡上の地点を指定する所定の要求を取得して、要求に応じた表示制御を行うGUI機能を追加する。
例えば、表示制御部205は、表示中の軌跡上の地点を指定する第1要求を取得し、表示部106が表示する任意の背景画像に、指定された地点に対象物が位置していたときの該対象物を含む指定画像を重畳させて表示する。以下では、第1要求を、「指定画像追加要求」と呼ぶ場合がある。また、当該第1要求を含む所定の要求で指定された地点を「指定地点」と呼ぶ場合がある。また、要求内で区間が指定される場合は、該区間を「指定区間」と呼ぶ場合がある。
このとき、表示制御部205は、指定された地点が変わる度に、逐次、指定された地点に対象物が位置していたときの該対象物を含む指定画像を重畳させてもよい。このようにすれば、ユーザが軌跡の指示先の位置を移動させるだけで、同一画像上で、指示先の時点に対応する画像に写っていた対象物を確認することができる。なお、表示制御部205は、指定画像として、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像(以下、対応画像という)を重畳させてもよい。
例えば、第1要求が、ポイントデバイスの指示先を軌跡上に移動させたときに指示先の位置情報とともに入力される要求である場合に、表示制御部205は、当該第一要求を取得する度に、逐次、指定された地点として位置情報により示される地点に対象物が位置していたときの該対象物を含む指定画像を重畳させてもよい。このようにすれば、ユーザが軌跡をなぞるだけで、同一画像上で、指定地点に位置していたときの対象物を確認することができる。
また、例えば、表示制御部205は、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像(対応画像)から対象物の物体領域を切り出して得られる画像を指定画像として用いる場合に、該指定画像を、背景画像における対応画像内の対象物の位置に応じた位置に重畳させる。表示制御部205は、例えば、対応画像における対象物の位置およびサイズに基づいて背景画像に該指定画像を重畳させる位置およびサイズを求めた上で、背景画像に該指定画像を重畳させてもよい。
また、例えば、表示制御部205は、対応画像から対象物を切り出して得られる画像を指定画像といて用いる場合に、該指定画像を重畳させる際、該指定画像とともに、対応画像から対象物と関連する他の物体を切り出して得られる第2の指定画像を重畳させてもよい。
また、例えば、表示制御部205は、表示中の軌跡上の地点を指定する第2要求を取得し、背景画像を、対応画像に切り替えてもよい。このとき、表示制御部205は、切り替えと同時に、切り替え後の背景画像に、対象物の軌跡を重畳させて表示してもよい。以下、第2要求を「背景切替要求」と呼ぶ場合がある。
また、例えば、表示制御部205は、表示中の軌跡上の地点もしくは区間を指定する第3要求を取得し、映像に含まれる画像のうち、指定された地点もしくは区間に対象物が位置していたときに生成された画像(対応画像)に、指定された旨を示す情報を付す、または当該画像を取り出して外部に出力してもよい。さらに、表示制御部205は、このときの区間をアノテーション区間として、表示中の画像において表示態様を他の区間と異ならせたり、当該区間にその旨を示す情報を付してもよい。以下、第3要求を「アノテーション付加要求」と呼ぶ場合がある。
また、例えば、表示制御部205は、軌跡を表示する際に、軌跡とともに、入力映像中の所定の条件を満たす時点の画像から得られる指定画像を背景画像に重畳させて表示してもよい。なお、これは、第1の実施形態において特定の時点の物体画像を軌跡に付随させて表示することに相当する。
また、例えば、表示制御部205は、指定画像を重畳させる際、該指定画像に、対象物の識別情報または指定された地点に対応する時点の時間に関する情報を付随させて重畳させてもよい。なお、これは、第1の実施形態において対象物の同一性を示すために同じ番号等を付して対応付けを行うこと、経過時間や対応時間に応じた情報(丸P印や丸A印や丸R印等)を付随させることに相当する。
また、例えば、表示制御部205は、表示中の軌跡上の地点もしくは区間を指定する第4要求を取得した後、第4要求の解除を取得するまで、背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を表示し続けてもよい。以下、第4要求を「指定画像固定要求」と呼ぶ場合がある。
また、表示制御部205は、第1の実施形態と同様、何ら要求を取得せずに、例えば、警報時点の対象物の画像や警報時点の関連物体の画像を、警報時点である旨のシンボル等を付した上で常に表示させることも可能である。
また、表示制御部205は、軌跡以外に、表示画像に含まれる追跡対象物の物体領域にもGUI機能を持たせてもよい。すなわち、表示制御部205は、表示画像に現在の対象物以外の追跡対象物が表示されている(背景画像に写っているもしくは重畳されている)場合に、その中から新たに軌跡を表示させる対象物をユーザに選択させることも可能である。例えば、表示制御部205は、上記の図12に示したような、現在の対象物以外の追跡対象物が画面上に表示されている状態で、ユーザから、現在の対象物以外の追跡対象物の指定を含む対象物の切替要求を取得した場合に、指定された追跡対象物を新たな対象物として、現在の背景画像に該対象物の軌跡を重畳させて表示してもよい。このとき、前の対象物の軌跡を残してもよいし、消去してもよいし、それらをユーザが選択できるようにしてもよい。
また、表示制御部205は、この他にも、時刻情報や警報のトリガとなった検出内容を表示して、それに対するユーザ操作などを受け付けて、それらに対応する時点の画像を表示するなどの制御を行うことも可能である。このとき、表示方法は、現在表示中の表示画像にさらに重畳させる方法でもよいし、背景画像の切り替えにより表示してもよい。また、重畳させる場合、対応する時点の画像全部を重畳させてもよいし、一部(対応する部分)を切り出して重畳させてもよい。
本実施形態においても、表示制御部205は、例えば、映像処理装置4が備えるCPU等の情報処理装置によって実現される。
次に、本実施形態の動作を説明する。図19は、表示制御部205における表示制御の一例を示すフローチャートである。
本例でも、ステップS201の前に、表示させる背景画像および対象物がユーザから指定されているまたは予め決められているものとする。また、映像保持部102には、背景画像となりうる画像(入力映像のうちの所定量の画像や入力映像から生成された画像など)がその識別子とともに記憶されているものとする。また、解析情報記憶部104には、追跡部103によって入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報が記憶されているものとする。
また、以下では、表示部106に表示させる表示画像の画像情報を、複数のレイヤに分けて保持、管理した上で、これらを重畳させて出力する例を示すが、表示画像の生成方法は本例に限られない。
図19に示す例では、まず、表示制御部205は、映像保持部102から背景画像を取得し、背景レイヤに設定する(ステップS201)。ここで、レイヤに設定するとは、より具体的には、レイヤ別に設けられたバッファに当該レイヤで表示したい画像の画像情報を保持させることをいう。
次いで、表示制御部205は、解析情報記憶部104から解析情報を取得する(ステップS202)。
次いで、表示制御部205は、背景画像の領域情報に基づいて、背景画像に応じた対象物の軌跡を生成し、生成した軌跡を軌跡レイヤに設定する(ステップS203,ステップS204)。このとき、表示制御部205は、軌跡内の地点に対して、入力映像中の画像またはその時点もしくはその時点の時間情報が対応づけられた軌跡(軌跡画像)を生成する。
次いで、表示制御部205は、表示部106に出力する画像情報を格納する表示バッファに、背景レイヤと軌跡レイヤの画像情報を重畳させて格納する(ステップS205)。
このとき、表示制御部205は、予め表示させたい物体画像等がある場合には、当該物体画像を指定画像の1つとして、背景画像とした対応画像に応じた位置・サイズに変換した上で、指定画像が設定される重畳画像レイヤに固定フラグとともに設定してもよい。なお、重畳画像レイヤは、重畳させる画像の数分設けられる。
次いで、表示制御部205は、背景画像にこれまでに設定された指定画像を重畳させるため、重畳画像レイヤに画像が設定されているか否かを判定する(ステップS206)。表示制御部205は、重畳画像レイヤに画像が設定されている場合には(ステップS206のYes)、設定されている画像を表示バッファにさらに重畳させて格納する(ステップS207)。
ステップS207で、表示制御部205は、複数の重畳画像レイヤに画像が設定されている場合には、設定されている画像全てを表示バッファに重畳させて格納する。そして、ステップS208に進む。
一方、表示制御部205は、重畳画像レイヤに画像が設定されていない場合には(ステップS206のNo)には、そのままステップS208に進む。
ステップS208で、表示制御部205は、表示部106に、表示バッファに格納されている画像情報を出力する。
以上のステップS201~ステップS208の動作により、表示部106に、背景画像と軌跡と、あれば重畳画像レイヤに設定されている画像とが重畳された表示画像が表示される。
表示制御部205は、表示部106に画像が表示された状態で、表示中の軌跡上の地点の指定を含む所定の要求を取得する。本例では、表示制御部205は、該要求に対応するイベントを受け付ける。そして、表示制御部205は、該イベントに応じた処理を行う(ステップS209:イベント処理)。なお、イベント処理の例は、図20~図25に示される。
イベント処理を行った後、表示制御部205は、軌跡を更新するために、例えば、所定時間経過後にステップS202に戻り、ステップS202~ステップS208の動作を繰り返しながら、要求を取得するようにしてもよい。
次に、図20~図25を参照して、イベント処理の例を説明する。
図20は、第1要求(指定画像追加要求)に応じたイベント処理の例を示すフローチャートである。図20に示す例では、表示制御部205は、受け付けたイベントが第1要求を取得した旨を示す第1要求イベントである場合に(ステップE11のYes)、ステップE11~E14の処理を行う。
まず、表示制御部205は、固定フラグが付されていない重畳画像レイヤをクリアする(ステップE12)。ここで、固定フラグは、当該重畳画像レイヤの画像を常時表示させることを示すフラグである。ステップE12により、次の表示画像の更新タイミングで、当該第1要求前に表示されていた固定フラグが付されていない重畳画像レイヤに設定されている指示地点画像をクリアできる。
次いで、表示制御部205は、当該イベントにかかる第1要求で指定された地点に対応する対応画像から指定画像を取得し、必要に応じて位置・サイズを調整の上、新たな重畳画像レイヤに設定する(ステップE13、ステップE14)。そして、設定内容を表示画像に反映させるために、ステップS206に戻る。
これにより、指定した地点に対応する対応画像から得られた指定画像が現在の表示画像に重畳される。
また、図21は、第1要求が無効になった旨を示す第1要求解除イベントに応じたイベント処理の例を示すフローチャートである。ここで、第1要求解除イベントは、例えば、第1要求で指定された地点が他に移動した場合や、新たな地点を指す第1要求を受け付けた場合に発生することを想定している。
図21に示す例では、表示制御部205は、受け付けたイベントが第1要求解除イベントである場合に(ステップE15のYes)、ステップE16の処理を行う。
すなわち、表示制御部205は、固定フラグが付されていない重畳画像レイヤをクリアする(ステップE16)。
これにより、次の表示画面の更新タイミングで、現在の表示画像に重畳されている移動前の地点や前回の第1要求で指定された地点に対応する指定画像がクリアされる。なお、表示制御部205は、ステップE16の後、すぐにステップS205に戻り、表示画面を更新させてもよい。
また、図22は、第2要求(背景切替要求)に応じたイベント処理の例を示すフローチャートである。図22に示す例では、表示制御部205は、受け付けたイベントが第2要求を取得した旨を示す第2要求イベントである場合に(ステップE21のYes)、ステップE22~E23の処理を行う。
まず、表示制御部205は、軌跡レイヤおよび重畳画像レイヤを全てクリアする(ステップE22)。
次いで、表示制御部205は、背景画像を、指定した地点に対応する対応画像に設定する(ステップE23)。そして、設定内容を表示画像に反映させるために、ステップS201に戻る。
これにより、表示部106に、対応画像を背景画像とし、該背景画像に軌跡が重畳された表示画像が表示される。なお、このとき、表示制御部205は、表示させたい物体画像がある場合には、当該物体画像を指定画像の1つとして、背景画像とした対応画像に応じた位置・サイズに変換した上で、重畳レイヤに固定フラグとともに設定してもよい。
また、図23は、第3要求(アノテーション付加要求)に応じたイベント処理の例を示すフローチャートである。図23に示す例では、表示制御部205は、受け付けたイベントが第3要求を取得した旨を示す第3要求イベントである場合に(ステップE31のYes)、ステップE32の処理を行う。
すなわち、表示制御部205は、指定地点もしくは指定区間に応じた画像および軌跡にアノテーション情報(ユーザが指示した旨を示す情報)を追加する(ステップE32)。
なお、表示制御部205は、さらに、入力映像から指定地点もしくは指定区間に応じた画像を切り出して、外部に出力してもよい。
また、図24は、第4要求(指定画像固定要求)に応じたイベント処理の例を示すフローチャートである。図24に示す例では、表示制御部205は、受け付けたイベントが第4要求を取得した旨を示す第4要求イベントである場合に(ステップE41のYes)、ステップE42の処理を行う。
すなわち、表示制御部205は、指定地点に対応する指定画像を設定した重畳画像レイヤに固定フラグを設定する(ステップE42)。
これにより、次回以降の表示画面の更新タイミングで、現在表示中の指定画像がクリアされないようにする。
また、図25は、第5要求(第4要求解除要求)に応じた第5要求イベントに応じたイベント処理の例を示すフローチャートである。図25に示す例では、表示制御部205は、受け付けたイベントが第5要求を取得した旨を示す第5要求イベントである場合に(ステップE51のYes)、ステップE52の処理を行う。
すなわち、表示制御部205は、指定地点に対応する指定画像を設定した重畳画像レイヤに固定フラグを解除する(ステップE52)。
これにより、次回の表示画面の更新タイミングで、固定表示させていた当該指定画像がクリアされるようにする。
次に、本実施形態における表示画像の例を示す。まず、本実施形態における表示画像の合成パターンの例を示す。
図26は、本実施形態において生成される合成画像(表示画像)の生成パターンの一例を示す説明図である。なお、図26では、軌跡を除いた表示画像の生成パターンを例示している。図26に示すように、表示制御部205は、例えば、過去画像に、指定地点画像からの切り出し画を重畳させて表示画像を合成してもよい(生成パターン1)。ここで、指定地点画像は、上記の対応画像に相当する。また、指定地点画像の切り出し画は、上記の指定画像に相当する。
また、表示制御部205は、例えば、過去画像に、最新画像からの切り出し画と、指定地点画像の切り出し画とを重畳させて表示画像を合成してもよい(生成パターン2)。ここで、最新画像からの切り出し画は、最新画像に含まれる対象物の物体画像であってもよい。
また、表示制御部205は、例えば、最新画像に、指定地点画像の切り出し画を重畳させて表示画像を合成してもよい(生成パターン3)。
また、表示制御部205は、例えば、最新画像に、過去画像からの切り出し画と、指定地点画像の切り出し画とを重畳させて表示画像を合成してもよい(生成パターン4)。ここで、過去画像からの切り出し画は、過去画像のいずれかに含まれる対象物や関連物体の物体画像であってもよい。例としては、警報時点や特徴変化が検出された時点や関連する他の物体と交流のあった時点など、特定の時点の過去画像に含まれる対象物や関連物体の物体画像などが挙げられる。
また、図27~図29は、本実施形態の表示画像の例を示す説明図である。なお、本実施形態も第1の実施形態と同様、各々の図面において、(a)はカラー画像の表示画像をグレースケールに変換したイメージ画像を示す説明図であり、(b)は説明のために、該表示画像のうち背景画像以外の画像である重畳画像を簡略化して示す説明図である。
図27に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される表示画像上で、ユーザがある過去の時点に対応する軌跡上の地点を指定した第1要求を行った後に表示される表示画像の例である。なお、本例では、第1要求で指定された地点が白抜き矢印で示されている。
表示制御部205は、図27に示すように、第1要求に応じて、指定地点に対応する対応画像における対象物の物体領域a02-3を切り出した指定画像(その時点の物体画像)を、表示画像に、さらに重畳して表示してもよい。なお、本例では、第1要求を取得する前は、最新画像に、軌跡と、警報発生時の対応画像における対象物の物体領域a02-2を切り出した指定画像とが重畳されているものとする。
また、図28に示す例は、そのような第1要求の移動に伴い、重畳させる指定画像が切り替わりながら表示される表示画像の例である。なお、図中では、物体領域a02-3と物体領域a02-4と物体領域a02-5とが同時に表示されているが、実際は、指定先(図中の白抜き矢印)の移動に伴い、これらが切り替わりながら表示される。
また、図28に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される状態において、ある過去の時点をユーザが指示した場合の表示画像の例である。図28に示すように、表示制御部105は、例えば、対象物の追跡線上のある地点をユーザが指定した場合には、該地点に位置していたときの対象物の物体画像(図中の物体領域a02-3)とともに関連する物体の物体画像(図中の物体領域a02-4参照)も併せて重畳させて表示してもよい。このようにして、ユーザが関連する物体の特徴等も併せて確認できるようにしてもよい。
なお、表示制御部205は、車両からの降車に限らず、対象物と他の物体との交流が検出された場合に、交流のあった他の物体のその時点の画像を関連物体の画像として、同時点の対象物の画像と併せて重畳させて表示させてもよい。
以上のように、本実施形態によれば、ユーザは、表示中の軌跡や軌跡に付随する対象物の物体領域や関連する物体の物体領域を指示して所定の入力を行うだけで、指定した地点に応じた切り出し画を表示させたり、背景画像を切り替えることができるので、映像中の2以上の時点における対象物やその周囲の状況を迅速に得ることができる。
なお、上記の説明では、本実施形態の表示制御部205も、第1の実施形態で説明したような軌跡に通知機能を持たせる態様を行う例を示したが、表示制御部205は、軌跡にそのような通知機能を持たせずに、GUI機能のみを持たせることも可能である。すなわち、単なる軌跡表示に対しても、本実施形態のGUI機能を具備させることが可能である。
次に、本発明の実施形態にかかるコンピュータの構成例を示す。図30は、本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006とを備える。
上述の映像解析装置や映像処理装置は、例えば、コンピュータ1000に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置1003に記憶されていてもよい。CPU1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、そのプログラムに従って上記の実施形態における所定の処理を実施する。
補助記憶装置1003は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータは1000がそのプログラムを主記憶装置1002に展開し、上記の実施形態における所定の処理を実行してもよい。
また、プログラムは、各実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで上記の実施形態における所定の処理を実現する差分プログラムであってもよい。
インタフェース1004は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置1005は、ユーザに情報を提示する。また、入力デバイス1006は、ユーザからの情報の入力を受け付ける。
また、実施形態における処理内容によっては、コンピュータ1000の一部の要素は省略可能である。例えば、装置がユーザに情報を提示しないのであれば、ディスプレイ装置1005は省略可能である。
また、各装置の各構成要素の一部または全部は、汎用または専用の回路(Circuitry)、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
また、図31は、本発明の映像処理装置の概要を示すブロック図である。図31に示すように、本発明の映像処理装置50は、表示制御手段501を備えていてもよい。
表示制御手段501(例えば、表示制御部105、205)は、表示中の軌跡上の地点を指定する第1要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示する。
なお、表示制御手段501は、上記の処理に代えて、映像を解析した結果得られる解析結果における対象物の特徴、解析結果における対象物に関連する他の物体の特徴または所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。
このように、軌跡に特定の通知機能やGUI機能を具備させることにより、ユーザは、映像中の2以上の時点における対象物の状況を迅速に把握できる。
なお、上記の実施形態は以下の付記のようにも記載できる。
(付記1)映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段を備え、表示制御手段は、表示中の軌跡上の地点を指定する第1要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像処理装置。
(付記2)表示制御手段は、指定された地点が変わる度に、逐次、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させる付記1記載の映像処理装置。
(付記3)指定画像は、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像である対応画像から、対象物を切り出して得られる画像であり、表示制御手段は、指定画像を背景画像に重畳させる際に、対応画像から対象物と関連する他の物体を切り出して得られる第2の指定画像を併せて重畳させる付記1または付記項2記載の映像処理装置。
(付記4)対象物と関連する他の物体が、映像中で対象物の軌跡と所定の関係を有する軌跡を描く物体である付記3記載の映像処理装置。
(付記5)表示制御手段は、表示中の軌跡上の地点を指定する第2要求を取得し、背景画像を、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像である対応画像に切り替える付記1から付記4のうちのいずれかに記載の映像処理装置。
(付記6)表示制御手段は、表示中の軌跡上の地点もしくは区間を指定する第3要求を取得し、映像に含まれる画像のうち、指定された地点もしくは区間に対象物が位置していたときに生成された画像に、指定された旨を示す情報を付す、または画像を取り出して外部に出力する付記1から付記5のうちのいずれかに記載の映像処理装置。
(付記7)表示制御手段は、指定画像に、対象物の識別情報または指定された地点に対応する時点の時間に関する情報を付随させて重畳させる付記1から付記6のうちのいずれかに記載の映像処理装置。
(付記8)表示制御手段は、映像を解析して得られる解析結果における対象物の特徴、解析結果における対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせる、または軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させる付記1から付記7のうちのいずれかに記載の映像処理装置。
(付記9)映像を解析して、映像から追跡対象物の位置を連続的に取得する追跡手段と、追跡手段が取得した位置を示す位置情報を、位置が取得された映像中の画像の識別情報と対応づけて記憶する記憶手段と、記憶手段に記憶されている情報に基づいて、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段とを備え、表示制御手段は、表示中の軌跡上の地点を指定する第1要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像解析システム。
(付記10)映像中の対象物の位置の変化を示す軌跡を表示部に表示させ、表示中の軌跡上の地点を指定する第1要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像処理方法。
(付記11)コンピュータに、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる処理を実行させ、処理で、表示中の軌跡上の地点を指定する第1要求を取得させ、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示させるための映像処理プログラム。
以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2017年3月31日に出願された日本特許出願2017-070677を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、監視用途に限らず、解析情報が付された映像を確認する用途であれば好適に適用可能である。例えば、本発明は、店舗内や特定の商品付近の映像から客の状況を把握するマーケティング用途などにも好適に適用可能である。
100、200 映像解析システム
1 映像入力装置
2 映像解析装置
3 記憶装置
4 映像処理装置
5 表示装置
101 映像入力部
102 映像保持部
103 追跡部
104 解析情報記憶部
105、205 表示制御部
106 表示部
1000 コンピュータ
1001 CPU
1002 主記憶装置
1003 補助記憶装置
1004 インタフェース
1005 ディスプレイ装置
1006 入力デバイス
50 映像処理装置
501 表示制御手段

Claims (8)

  1. 映像を解析して、前記映像から追跡対象物を検知する検知手段と、
    前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させる表示制御手段とを備え
    前記表示制御手段は、前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させる
    ことを特徴とする映像解析システム。
  2. 前記表示制御手段は、前記追跡対象物が位置していた時点の時間に関する情報を表示させる
    請求項1記載の映像解析システム。
  3. 前記追跡対象物についてユーザからの指定を受け付ける指定部を備える
    請求項1または請求項2記載の映像解析システム。
  4. 前記表示制御手段は、前記追跡対象物の軌跡の近傍に前記追跡対象物の物体領域を含む画像を表示させる
    請求項1から請求項3のうちのいずれか1項に記載の映像解析システム。
  5. 前記背景画像は、前記追跡対象物の移動経路の少なくとも一部に対応する
    請求項1から請求項4のうちのいずれかに記載の映像解析システム。
  6. 前記表示制御手段は、前記追跡対象物の物体領域を含む画像として人物の全身を表す画像を表示させる
    請求項1から請求項5のうちのいずれかに記載の映像解析システム。
  7. 映像を解析して、前記映像から追跡対象物を検知し、
    前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させ
    前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させる
    ことを特徴とする映像解析方法。
  8. コンピュータに、
    映像を解析して、前記映像から追跡対象物を検知する検知処理
    前記映像に含まれる複数時点の画像の合成画像である背景画像と、前記追跡対象物が位置していたときに生成された画像に含まれる当該追跡対象物の物体領域を含む画像とを表示部に表示させる表示制御処理、および、
    前記追跡対象物の位置を示す軌跡を前記表示部に表示させ、前記追跡対象物がうろついていると判定されたうろつき区間が前記軌跡に含まれている場合に、当該うろつき区間を短縮して表示させた上で、当該うろつき区間を他の区間と異なる表示態様にして表示させる処理
    を実行させるための映像解析プログラム。
JP2021132505A 2017-03-31 2021-08-17 映像処理装置、映像解析システム、方法およびプログラム Active JP7279747B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023052561A JP2023085397A (ja) 2017-03-31 2023-03-29 映像処理装置、映像解析システム、方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017070677 2017-03-31
JP2017070677 2017-03-31
JP2020105351A JP2020167720A (ja) 2017-03-31 2020-06-18 映像処理装置、映像解析システム、方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020105351A Division JP2020167720A (ja) 2017-03-31 2020-06-18 映像処理装置、映像解析システム、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023052561A Division JP2023085397A (ja) 2017-03-31 2023-03-29 映像処理装置、映像解析システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021185698A JP2021185698A (ja) 2021-12-09
JP7279747B2 true JP7279747B2 (ja) 2023-05-23

Family

ID=63677955

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019508783A Active JP6725061B2 (ja) 2017-03-31 2018-02-21 映像処理装置、映像解析システム、方法およびプログラム
JP2020105351A Pending JP2020167720A (ja) 2017-03-31 2020-06-18 映像処理装置、映像解析システム、方法およびプログラム
JP2021132505A Active JP7279747B2 (ja) 2017-03-31 2021-08-17 映像処理装置、映像解析システム、方法およびプログラム
JP2023052561A Pending JP2023085397A (ja) 2017-03-31 2023-03-29 映像処理装置、映像解析システム、方法およびプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019508783A Active JP6725061B2 (ja) 2017-03-31 2018-02-21 映像処理装置、映像解析システム、方法およびプログラム
JP2020105351A Pending JP2020167720A (ja) 2017-03-31 2020-06-18 映像処理装置、映像解析システム、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023052561A Pending JP2023085397A (ja) 2017-03-31 2023-03-29 映像処理装置、映像解析システム、方法およびプログラム

Country Status (7)

Country Link
US (3) US20190378279A1 (ja)
EP (1) EP3606055A4 (ja)
JP (4) JP6725061B2 (ja)
CN (1) CN110476421A (ja)
AR (1) AR111195A1 (ja)
SG (1) SG11201907834UA (ja)
WO (1) WO2018180039A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN111447403B (zh) * 2019-01-16 2021-07-30 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置及系统
WO2020147792A1 (zh) * 2019-01-16 2020-07-23 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置、系统及摄像机
JP7459870B2 (ja) * 2019-04-18 2024-04-02 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
CN110602525B (zh) * 2019-08-23 2021-09-17 江西憶源多媒体科技有限公司 一种视频分析结果与图像帧绑定传输的方法
GB2592035A (en) * 2020-02-13 2021-08-18 Univ Cranfield Object location status monitoring apparatus and method
CN111238323A (zh) * 2020-03-09 2020-06-05 深圳市宏源建设工程有限公司 一种控制爆破远程监控系统
CN111832539A (zh) 2020-07-28 2020-10-27 北京小米松果电子有限公司 视频处理方法及装置、存储介质
US20220268918A1 (en) * 2021-02-24 2022-08-25 Amazon Technologies, Inc. Techniques for generating motion information for videos

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099851A (ja) 1998-09-21 2000-04-07 Oki Electric Ind Co Ltd 監視システム装置
JP2009225398A (ja) 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2010123069A (ja) 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法
JP2011254289A (ja) 2010-06-02 2011-12-15 Toa Corp 移動体軌跡表示装置および移動体軌跡表示プログラム
WO2016002152A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
JP2016129306A (ja) 2015-01-09 2016-07-14 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594536A (ja) 1991-10-01 1993-04-16 Nippon Telegr & Teleph Corp <Ntt> 移動物体抽出処理方法
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2006350761A (ja) 2005-06-17 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> Rfidタグ発行装置,rfidタグ発行方法およびrfidタグ発行プログラム
JP2006350751A (ja) * 2005-06-17 2006-12-28 Hitachi Ltd 店舗内の販売分析装置及びその方法
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US20090002489A1 (en) 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
JP5634266B2 (ja) * 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
DE102010031429A1 (de) * 2010-07-16 2012-01-19 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Kombinations-Videos
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP5718632B2 (ja) 2010-12-22 2015-05-13 綜合警備保障株式会社 部位認識装置、部位認識方法、及び部位認識プログラム
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP6171374B2 (ja) * 2013-02-06 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6159179B2 (ja) * 2013-07-09 2017-07-05 キヤノン株式会社 画像処理装置、画像処理方法
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
JP6364743B2 (ja) 2013-10-31 2018-08-01 株式会社Jvcケンウッド 情報処理装置、制御方法、プログラム、及び情報システム
JP5909709B1 (ja) * 2015-05-29 2016-04-27 パナソニックIpマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法
JP2017070667A (ja) 2015-10-09 2017-04-13 京楽産業.株式会社 遊技機
CN105759720B (zh) * 2016-04-29 2018-06-29 中南大学 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099851A (ja) 1998-09-21 2000-04-07 Oki Electric Ind Co Ltd 監視システム装置
JP2009225398A (ja) 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2010123069A (ja) 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法
JP2011254289A (ja) 2010-06-02 2011-12-15 Toa Corp 移動体軌跡表示装置および移動体軌跡表示プログラム
WO2016002152A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
JP2016129306A (ja) 2015-01-09 2016-07-14 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN110476421A (zh) 2019-11-19
JP2021185698A (ja) 2021-12-09
WO2018180039A1 (ja) 2018-10-04
AR111195A1 (es) 2019-06-12
US20210233254A1 (en) 2021-07-29
EP3606055A1 (en) 2020-02-05
JP6725061B2 (ja) 2020-07-15
SG11201907834UA (en) 2019-09-27
US20190378279A1 (en) 2019-12-12
US20230351612A1 (en) 2023-11-02
US11748892B2 (en) 2023-09-05
JP2020167720A (ja) 2020-10-08
JPWO2018180039A1 (ja) 2019-12-26
JP2023085397A (ja) 2023-06-20
EP3606055A4 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP7279747B2 (ja) 映像処理装置、映像解析システム、方法およびプログラム
JP6760485B2 (ja) 映像処理装置、映像解析システム、方法およびプログラム
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2016095579A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JPWO2011108218A1 (ja) 車両の周辺監視装置
JPWO2011108198A1 (ja) 車両の周辺監視装置
JP2015142181A (ja) 制御装置、制御方法
KR20160141657A (ko) 데이터 열람 장치, 데이터 열람 방법, 및 기억 매체
JP2023010840A (ja) 物体追跡方法、物体追跡装置、及びプログラム
JP2023064093A (ja) 交通標識検出方法及び交通標識検出モデルのトレーニング方法
JP2019221115A (ja) 走行状況提示装置
JP6405606B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102030736B1 (ko) 다중 분산 영상 데이터 분석 장치
JP2011191859A (ja) 車両の周辺監視装置
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
US20220309682A1 (en) Object tracking apparatus, object tracking method, and program
JP6741079B2 (ja) 動線合成装置、動線合成方法およびプログラム
JP2020052476A (ja) オブジェクト検出装置およびオブジェクト検出プログラム
JP2009205617A (ja) 警備装置および警備システム更新方法
US20210192213A1 (en) Image processing system for extending a range for image analytics
JP2012169826A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP7021899B2 (ja) 画像生成装置および画像生成方法
JPWO2020022362A1 (ja) 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体
JP6501945B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6759400B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151