JP6289762B1 - Video processing apparatus, video processing method, video processing program, and video monitoring system - Google Patents
Video processing apparatus, video processing method, video processing program, and video monitoring system Download PDFInfo
- Publication number
- JP6289762B1 JP6289762B1 JP2017528863A JP2017528863A JP6289762B1 JP 6289762 B1 JP6289762 B1 JP 6289762B1 JP 2017528863 A JP2017528863 A JP 2017528863A JP 2017528863 A JP2017528863 A JP 2017528863A JP 6289762 B1 JP6289762 B1 JP 6289762B1
- Authority
- JP
- Japan
- Prior art keywords
- tag
- area
- video
- additional information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012544 monitoring process Methods 0.000 title description 12
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 60
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 101100480512 Caenorhabditis elegans tag-51 gene Proteins 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
映像処理装置(10)は、カメラ映像内に存在する着目対象としてのオブジェクト(41)に関連する付加情報をタグとして重畳表示させる装置であって、オブジェクト検出部(12)と、付加情報を格納するデータベースを管理するタグ情報管理部(13)と、検出されたオブジェクト(41)に関連する付加情報を取得する第1の処理と、検出されたオブジェクト(41)を含む検索領域を設定する第2の処理と、検索領域内における背景画領域(すなわち、オブジェクトが占める領域とタグが占める領域とである前景画領域以外の領域)に付加情報としてのタグ(51)を表示することができる表示可能領域がある場合に、タグ(51)の表示位置を表示可能領域内に決定する第3の処理とを行うタグ配置決定部(14)と、カメラ映像にタグ(51)を重畳表示させるタグ重畳部(15)とを有する。The video processing device (10) is a device that superimposes and displays additional information related to the object (41) as a target of interest existing in the camera video as a tag, and stores the additional information with the object detection unit (12). A tag information management unit (13) for managing the database to be processed, a first process for acquiring additional information related to the detected object (41), and a search area including the detected object (41). A display that can display the tag (51) as additional information in the process 2 and the background image area in the search area (that is, the area other than the foreground image area that is occupied by the object and the area occupied by the tag) A tag placement determination unit (14) that performs a third process for determining the display position of the tag (51) within the displayable area when there is a possible area; A tag superimposing unit that superimposes the display tags (51) and (15) to.
Description
本発明は、カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置においてカメラ映像上にタグとして重畳表示させるための映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムに関する。 The present invention relates to a video processing apparatus, a video processing method, a video processing program, and a video processing program for superimposing and displaying additional information related to an object as a target of interest present in a camera video as a tag on the camera video on a display device, and The present invention relates to a video monitoring system including the video processing device.
従来、カメラ撮影によって取得された映像データに基づいて表示装置に表示されるカメラ映像(撮影画像)上に、付加情報を重畳表示させるシステムがある。 2. Description of the Related Art Conventionally, there is a system in which additional information is superimposed and displayed on a camera video (captured image) displayed on a display device based on video data acquired by camera shooting.
例えば、特許文献1は、舞台を見ている鑑賞者が装着しているヘッドマウントディスプレイに、字幕などの付加情報を表示するシステムを提案している。このシステムは、ユーザーの目線方向に存在する画像から人物像をオブジェクトとして検出し、人物像に関連する付加情報を表示する。
For example,
また、特許文献2は、カメラの撮影方向が変化したときに、カメラ映像内で位置を変化させるオブジェクトに付加情報を追従させる装置を提案している。
しかしながら、上記従来の技術では、表示装置に表示されるカメラ映像(撮影画像)において、あるオブジェクトの上に他のオブジェクトの付加情報が重なって表示されて、又は、あるオブジェクトの付加情報の上に他のオブジェクトの付加情報が重なって表示されて、オブジェクト及び付加情報を監視することが難しい場合があるという問題がある。 However, in the above-described conventional technology, in the camera image (captured image) displayed on the display device, additional information of another object is displayed on top of a certain object or displayed on the additional information of a certain object. There is a problem that it may be difficult to monitor the object and the additional information because the additional information of the other objects are displayed in an overlapping manner.
本発明は、上記のような課題を解決するためになされたものであり、表示装置に表示されるカメラ映像において、オブジェクト及びこれに関連する付加情報としてのタグの監視を容易にすることができる映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and can easily monitor an object and a tag as additional information related to the object in a camera image displayed on a display device. It is an object of the present invention to provide a video processing device, a video processing method, a video processing program, and a video monitoring system including the video processing device.
本発明の一態様に係る映像処理装置は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出するオブジェクト検出部と、前記付加情報を格納するデータベースを管理するタグ情報管理部と、前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部とを有し、前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する。 A video processing apparatus according to an aspect of the present invention is a video processing that causes a display device to superimpose and display additional information related to an object as a target of interest existing in a camera video acquired by camera shooting as a tag on the camera video. An apparatus for detecting an object, wherein a region occupied by the object and a region occupied by the tag in the camera video are set as a foreground image region, and a region other than the foreground image region in the camera video is set as a background image region. A detection unit; a tag information management unit that manages a database that stores the additional information; and a first process that acquires the additional information related to the object detected by the object detection unit from the tag information management unit. , Including the object detected by the object detection unit When there is a displayable area that can display a tag as the additional information acquired in the first process in the background image area in the search area and the second process of setting a search area, possess a third process and the tag location determination unit that performs for determining the display position of the tag in the displayable area, and a tag superimposing unit for generating a composite image data to be superimposed on the tag to the camera image The tag arrangement determination unit sets the search area to a size corresponding to the size of the object detected by the object detection unit .
本発明の他の態様に係る映像処理方法は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出する検出ステップと、前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップとを有し、前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する。 The video processing method according to another aspect of the present invention is a video in which additional information related to an object as a target of interest present in a camera video acquired by camera shooting is superimposed and displayed as a tag on the camera video on a display device. In the processing method, an area occupied by the object and an area occupied by the tag in the camera image are set as a foreground image area, and an area other than the foreground image area in the camera image is set as a background image area, and the object is detected. A search step including a detection step, a first process for acquiring the additional information related to the object detected by the detection step from a database managing the additional information, and a search area including the object detected by the detection step And a second process for setting the profile in the search area. A third process for determining a display position of the tag in the displayable area when there is a displayable area in which the tag as the additional information acquired in the first process is displayed in the image area; possess a layout determination step of bets, a superimposing step of generating synthesized image data to be superimposed on the tag to the camera image, in the layout determination step, said search area, detected by the detecting step the Set the size according to the size of the object .
本発明によれば、表示装置に表示されるカメラ映像において、オブジェクトに関連する付加情報としてのタグを背景画領域に配置するので、他のオブジェクト及びその付加情報の監視が容易になるという効果がある。 According to the present invention, in the camera image displayed on the display device, the tag as the additional information related to the object is arranged in the background image area, so that it is easy to monitor other objects and the additional information. is there.
以下に、本発明の実施の形態に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムを、添付図面を参照しながら説明する。実施の形態に係る映像処理装置は、カメラ映像内の着目対象としてのオブジェクト(被写体)に関連する付加情報としてのタグを、カメラ映像上の適切な位置に配置させることができるタグ配置装置である。また、実施の形態に係る映像処理方法及び映像処理プログラムはそれぞれ、カメラ映像内のオブジェクトに関連する付加情報としてのタグをカメラ映像上の適切な位置に配置させるためのタグ配置方法及びタグ配置プログラムである。また、実施の形態に係る映像監視システムは、1台以上のカメラと、映像処理装置と、1台以上の表示装置とを有するシステムである。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。 Hereinafter, a video processing device, a video processing method, a video processing program, and a video monitoring system according to embodiments of the present invention will be described with reference to the accompanying drawings. The video processing device according to the embodiment is a tag placement device that can place a tag as additional information related to an object (subject) as a target of interest in a camera video at an appropriate position on the camera video. . Also, the video processing method and the video processing program according to the embodiments are respectively a tag placement method and a tag placement program for placing a tag as additional information related to an object in a camera video at an appropriate position on the camera video. It is. The video monitoring system according to the embodiment is a system having one or more cameras, a video processing device, and one or more display devices. The following embodiments are merely examples, and various modifications can be made within the scope of the present invention.
《1》実施の形態1
《1−1》構成
図1は、本発明の実施の形態1に係る映像処理装置10の概略構成を示す機能ブロック図である。映像処理装置10は、実施の形態1に係る映像処理方法及び実施の形態1に係る映像処理プログラムを実施することができる装置である。<< 1 >>
<< 1-1 >> Configuration FIG. 1 is a functional block diagram showing a schematic configuration of a
図1において、映像処理装置10は、被写体を撮影する撮影装置としてのカメラ20と、入力される映像データに基づく映像を画面31に表示する表示装置30とに、有線又は無線で、通信可能に接続されている。映像処理装置10とカメラ20の間及び映像処理装置10と表示装置30との間に、インターネットなどのようなネットワークが介在してもよい。また、カメラ20、映像処理装置10、及び表示装置30は、工場などの施設内又は公共エリア内などをカメラ映像によって監視する映像監視システムを構成することができる。また、映像処理装置10に、複数台のカメラが接続されてもよく、複数台のカメラに対応する複数台の表示装置が接続されてもよい。また、映像処理装置10に、複数台のカメラが接続され、表示装置30に複数台のカメラに対応する複数の映像が順に表示されてもよい。
In FIG. 1, a
映像処理装置10は、カメラ20による撮影によって取得された映像データD1に対応するカメラ映像内に存在する着目対象としてのオブジェクト(被写体)41に関連する付加情報を、表示装置30の画面31におけるカメラ映像上にタグ51として重畳表示させることができる。本出願では、画面31におけるカメラ映像において1又は複数のオブジェクト41が占める領域と1又は複数のタグ51が占める領域とを「前景画領域」と言い、画面31のカメラ映像における前景画領域以外の領域を「背景画領域」と言う。
The
図1に示されるように、映像受信部11と、オブジェクト検出部12と、記憶部に記憶された付加情報としてのタグ情報のデータベース(タグ情報テーブルDB)を管理する付加情報管理部としてのタグ情報管理部13とを備える。映像処理装置10は、タグ情報を記憶する記憶部としてのタグ情報テーブルDB(DataBase)部17を備えてもよい。ただし、タグ情報テーブルDB部17は、映像処理装置10の外部の記憶装置であってもよい。また、映像処理装置10は、付加情報配置決定部としてのタグ配置決定部14と、付加情報重畳部としてのタグ重畳部15と、映像出力部16とを備える。
As shown in FIG. 1, a tag as an additional information management unit that manages a database (tag information table DB) of tag information as additional information stored in a
映像受信部11は、カメラ撮影によって生成されたカメラ映像としての映像データD1を受信し、映像データD1に必要な処理を施して、映像データを出力する。映像信号D1が、圧縮符号化データである場合には、映像受信部11は、受信された圧縮符号化データをデコードすることで映像データ(非圧縮の画像データ)として、例えば、RAW画像データD2を生成する。映像受信部11は、RAW画像データD2をオブジェクト検出部12及びタグ重畳部15に提供する。
The
タグ情報管理部13は、オブジェクトを特定する識別情報(ID)であるオブジェクトIDと、このオブジェクトIDによって特定されるオブジェクトのタグ情報とを紐付けし、紐付けされたオブジェクトIDとタグ情報とをタグ情報テーブルDBとして管理する機能を持つ。タグ情報管理部13は、オブジェクト検出部12によって検出されたオブジェクトに基づいて指定されたオブジェクトIDに対応するタグ情報を、タグ配置決定部14に提供する機能を持つ。
The tag
図1に示される例では、タグ情報管理部13は、映像処理装置10の一部として示されているが、映像処理装置10から分離された外部装置の一部であってもよい。タグ情報管理部13が外部装置の一部である場合には、映像処理装置10と外部装置との各々は、両者間で通信を行うための通信部を備える。映像処理装置10と外部装置と間の通信方式(通信規格)及び通信手段(有線通信又は無線通信、専用線又はネットワーク経由など)は、特に限定されない。タグ情報管理部13によって管理されるタグ情報テーブルDBは、ユーザー操作などによって、オブジェクトIDとタグ情報の追加及び削除が可能なDBである。
In the example illustrated in FIG. 1, the tag
オブジェクト検出部12は、映像受信部11から受け取ったRAW画像データD2に含まれる人物などのような着目対象としてのオブジェクト41を検出し、検出されたオブジェクトを認識(識別)して、タグ配置決定部14にオブジェクト41に関する情報D3を提供する。オブジェクトは、例えば、公共エリアを歩行する人物、工場内の製造ライン上で移動する生産物などであるが、これらに限定されない。
The
タグ配置決定部14は、オブジェクト検出部12によって検出されたオブジェクト41に関する情報D3を受け取り、タグ情報管理部13から、検出されたオブジェクト41に関連するタグ情報D4を取得する処理(第1の処理)を行う。次に、タグ配置決定部14は、検出されたオブジェクト41を含む検索領域(例えば、オブジェクト41を囲う矩形領域)を設定する処理(第2の処理)を行う。次に、タグ配置決定部14は、設定された検索領域内における背景画領域に第1の処理で取得されたタグ情報をタグ51として表示することができる表示可能領域があるか否かを判断し、表示可能領域があると判断した場合に、タグ51の表示位置をこの表示可能領域内に決定する処理(第3の処理)を行う。
The tag
タグ配置決定部14は、検索領域内における背景画領域に、タグ51の表示可能領域がない場合に、検索領域を変更する処理(例えば、検索領域を拡大する処理)(第4の処理)を行い、第4の処理の後に、第3の処理を再度行う。
The tag
タグ重畳部15は、表示装置30の画面31に表示されるカメラ映像にオブジェクト41に関連するタグ情報D5に基づくタグ51を重畳表示させるための合成映像データD6を生成する。
The
映像出力部16は、合成映像データD6に基づく映像データD7を表示装置30に出力する。
The
図2は、実施の形態1に係る映像処理装置10のハードウェア構成を示す図である。図2に示されるように、映像処理装置10は、主要なハードウェア構成として、情報処理部としてのメインプロセッサ101と、情報記憶部としてのメインメモリ102と、カメラインタフェース103と、画像処理用の情報処理部としての画像処理プロセッサ104と、画像処理用の情報記憶部としての画像処理メモリ105と、表示インタフェース106と、入力インタフェース107と、これらの構成101〜107が接続された信号経路108とを備える。
FIG. 2 is a diagram illustrating a hardware configuration of the
カメラ20は、映像処理装置10のカメラインタフェース103と有線又は無線で通信可能に接続されている。また、カメラ20とカメラインタフェース103は、IP(Internet Protocol)ネットワークなどのネットワークを経由して接続されてもよく、又は、同軸ケーブルなどの専用の通信線によって接続されてもよい。このように、カメラ20とカメラインタフェース103との接続方法は、特に限定されない。
The
カメラインタフェース103は、カメラ20から送信されたカメラ映像としての映像データD1を受信する。メインプロセッサ101は、カメラインタフェース103で受信されたカメラ映像に、タグを重畳表示させるための画像処理を行うタグ配置プログラムを実行することができる。
The
メインメモリ102は、メインプロセッサ101によって直接アクセスされる記憶装置である。メインメモリ102には、オブジェクトIDに紐付けられたタグ情報が保持されている。メインメモリ102は、例えば、半導体記憶装置である。メインメモリ102の他に、HDD(ハードディスクドライブ)のような大容量記憶装置を備えてもよい。メインプロセッサ101は、メインメモリ102に記憶されたタグ配置プログラムを読み出して実行することで、図1に示されるオブジェクト検出部12が行う処理、タグ情報管理部13が行う処理、タグ配置決定部14が行う処理、タグ重畳部15が行う処理を実行することができる。
The
画像処理プロセッサ104は、行列演算及び浮動小数点演算を高速に実行することができる画像処理に特化した専用プロセッサである。画像処理メモリ105は、画像処理プロセッサ104によって直接アクセスされる記憶装置である。ただし、メインプロセッサ101が、画像処理プロセッサ104の動作を代行し、メインメモリ102が、画像処理メモリ105の機能を代行する場合には、画像処理プロセッサ104と画像処理メモリ105とを備える必要はない。
The
表示インタフェース106は、表示装置30と接続されており、カメラ映像にタグ51を重畳して表示するための映像データ信号D7を表示装置30に提供する。
The
図3は、実施の形態1におけるタグ情報テーブルDB部17に格納されるタグ情報テーブルの一例を表形式で示す図である。図3に示されるように、タグ情報テーブル17aは、項目番号(項番)ごとに、互いに紐付けされたオブジェクトIDとタグ情報とを有する。オブジェクトIDは、オブジェクト検出部12によって検出され、認識されたオブジェクトに付与されたID(識別情報)である。
FIG. 3 is a diagram illustrating an example of a tag information table stored in the tag information
タグ情報は、オブジェクトに関連する付加情報である。タグ情報の一例は、オブジェクトが会社に帰属する人物(社員)である場合に、オブジェクトとしての人物が所属する会社の社員番号である。タグ情報の他の例は、オブジェクトが工場の生産ラインを移動する工業製品である場合に、オブジェクトとしての工業製品の製造番号である。タグ情報のさらに他の例は、オブジェクトが公共エリアを歩行する人物(不特定の人物)である場合に、オブジェクトとしての人物の特徴を表す情報であるおおよその年齢(年代)及び性別である。図3では、オブジェクトIDに1つのタグ情報が紐付けられたタグ情報テーブルを示しているが、オブジェクトIDに2つ以上のタグ情報が紐付けられたタグ情報テーブルを用いてもよい。 Tag information is additional information related to an object. An example of tag information is an employee number of a company to which a person as an object belongs when the object is a person (employee) belonging to the company. Another example of tag information is a serial number of an industrial product as an object when the object is an industrial product that moves on a production line of a factory. Still another example of the tag information is an approximate age (age) and gender, which is information indicating the characteristics of a person as an object when the object is a person walking in a public area (unspecified person). Although FIG. 3 shows a tag information table in which one tag information is associated with the object ID, a tag information table in which two or more tag information is associated with the object ID may be used.
図4は、実施の形態1におけるオブジェクト検出部12によるオブジェクト検出の一例を示す図である。オブジェクト検出部12は、映像受信部11から受け取ったカメラ映像としての映像データ(例えば、RAW画像データ)D2からオブジェクト41a,41b,41cを検出する。オブジェクト41a,41b,41cの検出とは、映像受信部11から受け取ったRAW画像データD2におけるオブジェクト41a,41b,41cの位置を取得することである。
FIG. 4 is a diagram illustrating an example of object detection by the
オブジェクト41a,41b,41cの位置は、例えば、オブジェクト41a,41b,41cを代表する代表点座標(例えば、オブジェクト41a,41b,41cの中心位置の座標)とオブジェクト41a,41b,41cの大きさ(例えば、オブジェクト41a,41b,41cを囲う矩形領域51a,51b,51cの大きさ)とで特定される。
The positions of the
オブジェクト41a,41b,41cを囲う領域が、オブジェクト41a,41b,41cの外周に接する枠線の内側の矩形領域である場合には、オブジェクト41a,41b,41cの大きさは、矩形領域51a,51b,51cの4つの頂点の座標(角部座標)を用いて表わすことができる。ただし、オブジェクト41a,41b,41cの大きさを表す指標は、矩形領域51a,51b,51cの4つの角部座標に限定されるものではない。オブジェクト41a,41b,41cの大きさは、矩形領域51a,51b,51cの枠線の対角の2点の角部座標(例えば、左上の角部座標と右下の角部座標)などのような、他の指標で表されてもよい。また、オブジェクト41a,41b,41cを囲う領域は、着目対象であるオブジェクト41a,41b,41cの形状に応じて矩形以外の形状(例えば、三角形、五角以上の多角形、円形、楕円形などの他の形状)とすることも可能である。
When the area surrounding the
オブジェクト41a,41b,41cの検出には、例えば、RAW画像データD2から動体を抽出する方法を用いることができる。動体を抽出する方法としては、背景差分(background subtraction)を用いて前景画領域を抽出する方法がある。
For the detection of the
背景差分とは、観測画像を事前に取得した画像と比較することで、事前に取得した画像に存在しない物体を抽出する処理を指す。観測画像において、事前に取得した画像に存在しない物体が占める領域は、オブジェクトが存在する領域であり、前景画領域に含まれる。ただし、オブジェクトを検出する方法は、背景差分に限られず、他の方法を採用してもよい。 Background difference refers to a process of extracting an object that does not exist in an image acquired in advance by comparing the observed image with an image acquired in advance. In the observation image, an area occupied by an object that does not exist in the image acquired in advance is an area where the object exists, and is included in the foreground image area. However, the method for detecting the object is not limited to the background difference, and other methods may be adopted.
図4に示される例では、3つのオブジェクト41a,41b,41cが検出されている。図4における右側のオブジェクト41aの矩形領域51aの左上の角部座標は(1520,350)であり、右下の角部座標は(1570,450)である。図4における中央のオブジェクト41bの矩形領域51bの左上の角部座標は(900,300)であり、右下の角部座標は(950,400)である。図4における左側のオブジェクト41cの左上の矩形領域51cの角部座標は(400,800)であり、右下の角部座標は(450,900)である。
In the example shown in FIG. 4, three
また、図4には、検出された3つのオブジェクト41a,41b,41cに関連するタグである矩形領域51a,51b,51cの枠線が表示されている。図4におけるタグは、オブジェクト41a,41b,41cを囲う枠線である。
In FIG. 4, the frame lines of the
図5(a)から(c)は、実施の形態1におけるタグの他の例を示す図である。図5(a)では、オブジェクト41dから延びる引出し線に付された番号がタグである。図5(b)では、オブジェクト41eの近傍に表示された番号がタグである。図5(c)では、オブジェクト41fの真上に表示されたオブジェクトを向いた矢印がタグである。タグは、表示画面においてオブジェクトを強調することができる表示であれば、他の表示形式であってもよい。
FIGS. 5A to 5C are diagrams showing another example of the tag in the first embodiment. In FIG. 5A, the number assigned to the leader line extending from the
オブジェクト検出部12は、オブジェクト41a,41b,41cの位置を取得し、オブジェクト41a,41b,41cごとにオブジェクトの認識を行い、オブジェクト41a,41b,41cの位置(例えば、中心座標)及び大きさと、オブジェクト41a,41b,41cに付与したオブジェクトIDとを紐付ける。オブジェクト検出部12は、オブジェクトの位置(例えば、中心座標)、オブジェクトの大きさ、及びオブジェクトIDを元にオブジェクト情報リストを作成する。
The
図6は、実施の形態1におけるオブジェクト検出部12によって作成されたオブジェクト情報リストの一例を表形式で示す図である。図6に示されるように、オブジェクト情報リストは、例えば、オブジェクトの位置(例えば、中心座標)、オブジェクトの大きさ、及びオブジェクトIDの3項目により構成される。オブジェクト検出部12は、作成したオブジェクト情報リストを、タグ配置決定部14に送信する。
FIG. 6 is a table showing an example of the object information list created by the
タグ配置決定部14は、オブジェクト検出部12からオブジェクト情報リストを受け取り、このオブジェクト情報リストに記載されたオブジェクトIDを用いて、該当オブジェクトIDに関するタグ情報をタグ情報管理部13から取得する。
The tag
タグ配置決定部14は、オブジェクト検出部12で検出した着目対象であるオブジェクトの中心座標から任意のサイズを検索領域として設定する。ここでいう検索領域のサイズは、必ずしも固定されるものではなく、例えば、オブジェクト41a,41b,41cの大きさ(例えば、縦幅及び横幅)に対して2倍の大きさ(例えば、2倍の縦幅及び2倍の横幅)としてもよい。
The tag
図7は、実施の形態1における検索領域61a,61b,61cを説明するための図である。図7では、3つのオブジェクト41a,41b,41cが検出されており、3つのオブジェクト41a,41b,41cを含む矩形の検索領域(矩形の破線)61a,61b,61cが設定されている。図7に示される例においては、検索領域61a,61b,61cの横幅は、オブジェクト41a,41b,41cの横幅の約3倍であり、検索領域61a,61b,61cの縦幅は、オブジェクト41a,41b,41cの縦幅の約3倍である。
FIG. 7 is a diagram for explaining the
タグ配置決定部14は、設定した検索領域61a,61b,61cの中から前景画領域と背景画領域を区別して、背景画領域と認識した領域からタグを配置可能な領域を検索する。タグ配置決定部14によりオブジェクトに紐付けるタグの大きさは、予め決定されている。タグの大きさは、ユーザー指定で固定として決められているもよいし、タグの情報量に応じて可変であってもよい。ここでは、タグの大きさは、予め決められた固定の大きさである場合を説明する。
The tag
タグ配置決定部14は、検索領域61a,61b,61cの中で背景画領域と判断された領域において、タグを配置可能な領域が見つかった場合に、タグの配置位置をタグ配置可能領域内に設定する。タグ配置決定部14により設定されたタグが占める領域は、前景画領域として認識される。検索領域61a,61b,61c内にタグを配置する領域が見つからない場合は、タグ配置決定部14は、検索領域を拡大する。
When the tag
図8は、実施の形態1における拡大された検索領域71bを説明するための図である。例えば、図8の中央のオブジェクト41bの検索領域61bにおいて、タグを配置可能な領域が見つからなかった場合は、タグ配置決定部14は、図8のオブジェクト41bにおいて、検索領域61bを拡大した検索領域71b(破線の矩形枠)を設定する。図8に示されるように、拡大された検索領域71bは、拡大前の検索領域61bを囲むように、検索領域61bよりも広い範囲に設定される。
FIG. 8 is a diagram for explaining the
タグ配置決定部14は、オブジェクトID、該当するタグ情報、タグを配置する座標(左上の角部座標と右下の角部座標)を持つタグ配置リストをタグ重畳部15に送る。
The tag
タグ重畳部15は、タグ配置決定部14から受信したタグ配置リストを用いて、映像受信部11から渡されたカメラ映像にタグ情報を重畳させる。タグ重畳部15では、タグ配置リストにあるタグ情報を重畳し、カメラ映像にタグ情報を重畳した映像を映像出力部16に送信する。
The
映像出力部16は、タグ重畳部15から映像データD6を受け取り、映像データD6に基づく映像データD7を表示装置30に出力する。
The
《1−2》動作
図9は、実施の形態1における映像受信部11の動作を示すフローチャートである。図9に示されるように、映像受信部11は、カメラ20から送信されたカメラ映像である映像データD1を受信する(ステップS10)。次に、映像データD1が圧縮符号化データである場合には、映像受信部11は、映像データD1をデコードすることで、デコードされた映像データであるRAW画像データD2を出力する(ステップS11)。<< 1-2 >> Operation FIG. 9 is a flowchart showing the operation of the
例えば、カメラ20からH.264形式で圧縮符号化された映像データD1がストリーミング配信される場合には、映像受信部11は、H.264形式の映像データに対応するデコードを行うことで、例えば、RGBA(Red,Green,Blue,Alpha)32ビットのRAW画像データD2を、オブジェクト検出部12とタグ重畳部15に供給する。デコード後のRAW画像データD2は、RGBA32ビットのRAW画像データに限定されず、非圧縮の画像データであれば、他の形式の画像データであってもよい。
For example, from the
図10は、実施の形態1におけるタグ情報管理部13の動作を示すフローチャートである。図10に示されるように、タグ情報管理部13は、タグ配置決定部14によって指定されたオブジェクトIDに紐付けされたタグ情報を、タグ情報テーブルDB部17から取得し(ステップS20)、オブジェクトIDと取得したタグ情報とを含む情報D4をタグ配置決定部14に提供する(ステップS21)。
FIG. 10 is a flowchart showing the operation of the tag
図11は、実施の形態1におけるオブジェクト検出部12の動作を示すフローチャートである。図11に示されるように、オブジェクト検出部12は、映像受信部11から出力されたRAW画像データD2からオブジェクトの検出処理を行う(ステップS30)。オブジェクトの検出処理では、例えば、オブジェクトの中心座標と、オブジェクトのサイズとして左上と右上の角部座標を取得する。
FIG. 11 is a flowchart showing the operation of the
オブジェクトの検出処理で1つ以上のオブジェクトが検出された場合(ステップS31においてYES)、オブジェクト検出部12は、検出されたオブジェクトの認識を行う(ステップS32)。オブジェクト検出部12は、オブジェクトが1つも検出できない場合(ステップS31においてNO)は処理を終了し、タグ配置決定部14に処理終了を通知する。
When one or more objects are detected in the object detection process (YES in step S31), the
オブジェクトの認識(ステップS32)は、一般的に、画像に映っているオブジェクト(例えば、人、動物、物など)を画像解析する機械学習の手法を用いて、行われる。オブジェクトの認識手法は、特に限定されない。続いて、オブジェクト検出部12は、認識したオブジェクトに対してオブジェクトIDを紐付けする(ステップS33)。オブジェクト検出部12は、オブジェクトの中心座標、オブジェクトの大きさ、オブジェクトIDを項目として持つオブジェクト情報リスト(図6)をタグ配置決定部14に提供する(ステップS34)。
The object recognition (step S32) is generally performed using a machine learning technique for image analysis of an object (for example, a person, an animal, an object, etc.) shown in an image. The object recognition method is not particularly limited. Subsequently, the
図12は、実施の形態1におけるタグ配置決定部14の動作を示すフローチャートである。図12に示されるように、タグ配置決定部14は、オブジェクト検出部12から出力されたオブジェクト情報リスト(図6)を用いて、オブジェクトの個数分だけステップS40〜S47の処理を繰り返す。
FIG. 12 is a flowchart showing the operation of the tag
まず、タグ配置決定部14は、該当オブジェクトIDのタグ情報をタグ情報管理部13から取得する(ステップS40)。
First, the tag
次に、タグ配置決定部14は、タグ情報管理部13から該当するオブジェクトIDのタグ情報を受け取り、1つのオブジェクトIDに対してタグを配置するための検索領域(図7における領域61a,61b,61cなど)を設定する(ステップS41)。このときの検索領域のサイズは、事前にユーザー指定された大きさであるが、オブジェクトの大きさに対して2倍の長さでの領域を検索領域としてもよい。このように、検索領域のサイズは、必ずしも固定されている必要はなく、オブジェクトのサイズに応じて変えられてもよい。
Next, the tag
次に、タグ配置決定部14は、設定した検索領域の中で背景画領域と前景画領域を区別する(ステップS42)。ここで、背景画領域とは、前景画領域以外の領域のことをいう。前景画領域は、該当オブジェクトが占める領域と、他のオブジェクトが占める領域と、他のオブジェクトのタグ領域とを含む。なお、事前に複数枚の画像を取得して背景モデルを構築し,その背景モデルと新たに観測された画像の比較により、変化した領域を前景画領域とし、それ以外の領域を背景画領域とすることも可能である。
Next, the tag
図4を用いて説明すると、該当オブジェクトと他オブジェクトのタグ領域の部分が前景画領域となり、それ以外の部分が背景画領域となる。ここで前景画領域は、該当オブジェクトと他のオブジェクトとオブジェクトのタグ領域とに限るものではない。例えば、カメラ映像上に重畳する映像を、前景画領域と設定することも可能である。 If it demonstrates using FIG. 4, the part of the tag area | region of an applicable object and another object will become a foreground image area | region, and a part other than that will become a background image area | region. Here, the foreground picture area is not limited to the corresponding object, other objects, and the tag area of the object. For example, an image to be superimposed on a camera image can be set as a foreground image area.
次に、タグ配置決定部14は、抽出した背景画領域において、タグ(例えば、図5(a)〜(c)における51d,51e,51f)を配置可能な領域を検索する(ステップS43)。タグ配置決定部14が配置するタグの大きさは、タグ情報の文字数により可変とすることができ、また、固定の大きさとすることもできる。背景画領域におけるタグ配置可能な領域の検索手法として、検索領域の左上を原点として順次タグの配置領域を検索してもよい。タグ配置可能な領域の検索は、予め定められた位置から開始されてもよい。
Next, the tag
例えば、検索領域を任意サイズの格子状に配列された複数の格子領域に区分し、複数の格子領域の各々について、背景画領域であるか前景画領域であるかを判定し、この判定結果に基づいてタグの配置可能領域を見つけてもよい。その際、複数の格子領域の内のどの格子領域からタグ配置が可能かを検索する検索手順は、特に限定されない。タグ配置決定部14は、設定された検索領域の中でタグ配置可能な領域が見つかった場合(ステップS44においてYES)、タグ配置リストにタグの配置位置とタグ情報を出力する(ステップS45)。
For example, the search area is divided into a plurality of grid areas arranged in a grid of an arbitrary size, and it is determined whether each of the plurality of grid areas is a background image area or a foreground image area. Based on this, an area where the tag can be arranged may be found. At that time, a search procedure for searching from which lattice region of the plurality of lattice regions is possible is not particularly limited. When a tag placement area is found in the set search area (YES in step S44), the tag
タグ配置決定部14は、検索領域の中でタグ配置可能な領域が見つからなかった場合(ステップS44においてNO)、検索領域を拡大してオブジェクトに対する検索領域の再設定(拡大された検索領域の設定)を行う(ステップS46)。検索領域の再設定が可能ならば(ステップS47においてYES)、処理はステップS42に戻り、再設定された検索領域において、前景画領域と背景画領域とを区別する。検索領域の拡大サイズは、固定(予め決められたサイズ)でもよいし、オブジェクトの大きさ又は拡大前の検索領域の大きさなどに応じて動的に変更されてもよい。検索領域の再設定が不可能な場合(ステップS47においてNO)は、タグ配置決定部14は、タグ情報を未取得な他のオブジェクトがあるかを判断し、ある場合には(ステップS48においてYES)、処理をステップS40に戻し、ない場合には(ステップS48においてNO)、タグ重畳部15にタグ情報を出力して、タグ配置決定部14は、動作を終了する。
If no tag placement area is found in the search area (NO in step S44), the tag
図13は、実施の形態1におけるタグ重畳部15の動作を示すフローチャートである。図13に示されるように、タグ重畳部15は、映像受信部11から出力されたRAW画像データD2に、タグ配置決定部14から出力されたタグ配置リストを用いてタグ情報を重畳する(ステップS50)。
FIG. 13 is a flowchart showing the operation of the
オブジェクトとタグ情報の位置が離れている場合は、図5(a)に示されるように、互いの関連性を示すために、オブジェクトとタグを線で結んで表示してもよい。タグ重畳部15は、タグ情報を重畳した画像データD6を映像出力部16に出力する。映像出力部16では、タグ重畳部15から得た画像データD7を表示装置30に出力する。
When the positions of the object and the tag information are separated from each other, as shown in FIG. 5A, the object and the tag may be connected and displayed in order to show the relationship between each other. The
《1−3》効果
以上に説明したように、実施の形態1に係る映像処理装置100、映像処理方法、映像処理プログラム、及び映像監視システムによれば、表示装置30に表示されるカメラ映像において、オブジェクト41に関連する付加情報としてのタグ51を背景画領域に配置することができるので、他のオブジェクト及び他のオブジェクトのタグに重ってタグを設定しない。このため、オブジェクトの監視が容易になるという効果がある。<< 1-3 >> Effect As described above, according to the video processing device 100, the video processing method, the video processing program, and the video monitoring system according to the first embodiment, in the camera video displayed on the
《2》実施の形態2
上記実施の形態1に係る映像処理装置10は、カメラ20から出力された映像データD1に基づくRAW画像データD2から被写体としてオブジェクト41の位置を検出し、オブジェクト41の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ51の配置位置を決定している。<< 2 >>
The
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置30の画面31において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。このように、複数のオブジェクトが、互いに接近して又は互いに重なって存在する場合には、画面31を見ている監視者は、関連するオブジェクトとタグとの組が分かり難くなる。
However, when an object moves and a tag related to the object moves following the object, a plurality of objects overlap each other, or a plurality of tags approach each other or overlap on the
そこで、実施の形態2に係る映像処理装置は、複数のタグの色を互いに異なる色で表示できる機能を備えている。さらに、実施の形態2に係る映像処理装置は、複数のオブジェクトの各々の上に、関連するタグの色と同じ色のマークを付すことができる機能を備えてもよい。なお、実施の形態2の説明に際しては、図1をも参照する。
Therefore, the video processing apparatus according to
図14は、実施の形態2に係る映像処理装置のタグ情報テーブルDB部17に格納されているタグ情報テーブル17bの一例を示す図である。図14に示されるように、タグ情報テーブル17bを持つ実施の形態2に係る映像処理装置は、オブジェクトIDごとに表示色に関する表示色情報を有し、タグ配置決定部14が表示色情報に基づいてタグの表示色を指定する点で、実施の形態1に係る映像処理装置10と相違する。
FIG. 14 is a diagram illustrating an example of the tag information table 17b stored in the tag information
図15(a)から(c)は、実施の形態2に係る映像処理装置の効果を説明するための図である。図15(a)に示されるように、オブジェクト(人物)41gと他のオブジェクト(他の人物)41hとが十分に離れているときには、オブジェクト41gに関連するタグ51gと他のオブジェクト41hに関連するタグ51hとは、互いに十分離れているので、監視者は、タグ51gを参照してオブジェクト41gを容易に把握し、タグ51hを参照してオブジェクト41hを容易に把握することができる。しかし、他のオブジェクト41hが白矢印方向(図15(a)における左方向)に移動して、オブジェクト41gに近づくと、タグ51gとタグ51hが、オブジェクト41gと41hのいずれに関連しているものであるかが、画面上でわかりにくくなる。
FIGS. 15A to 15C are diagrams for explaining the effect of the video processing apparatus according to the second embodiment. As shown in FIG. 15A, when the object (person) 41g and the other object (other person) 41h are sufficiently separated from each other, the
このとき、図15(b)に比較例として示されるように、タグ51gとタグ51hとが同じ表示色であると仮定すると、監視者は、オブジェクト41gと41hの把握に際し、2つのタグのいずれを参照するべきか容易に判断することができない。
At this time, as shown in FIG. 15B as a comparative example, if it is assumed that the
そこで、実施の形態2に係る映像処理装置においては、図14に示されるように、タグ情報テーブル17bは、オブジェクトIDごとに表示色に関する表示色情報を有し、タグ配置決定部14はタグ51gと51hの表示色を指定する。このため、実施の形態2においては、オブジェクト51gと51hとが接近した場合であっても、タグ51gと51hとを容易に監視することができる。
Therefore, in the video processing device according to the second embodiment, as shown in FIG. 14, the tag information table 17b has display color information related to the display color for each object ID, and the tag
また、図15(c)に示されるように、タグ配置決定部14はオブジェクト41g上にタグ51gと同じ色のマーク52gを付し、オブジェクト41h上にタグ51hと同じ色のマーク52hを付す機能を備えてもよい。この場合には、図15(c)に示されるように、監視者は、オブジェクトとタグとの関連を色で判断できるので、オブジェクトに関連するタグを誤ることはなくなり、オブジェクトの監視を容易に行うことができる。
Further, as shown in FIG. 15C, the tag
以上の点を除いて、実施の形態2に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態1のものと同じである。 Except for the above points, the video processing apparatus, video processing method, video processing program, and video monitoring system according to the second embodiment are the same as those of the first embodiment.
《3》実施の形態3
上記実施の形態1に係る映像処理装置10は、カメラ20から出力された映像データD1に基づくRAW画像データD2から被写体としてオブジェクト41の位置を検出し、オブジェクト41の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ51の配置位置を決定している。<< 3 >>
The
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置30の画面31において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。この場合に、より監視の重要度(優先順位)が高いオブジェクトのタグが監視の重要度が低いオブジェクト又はそのタグに隠れて、表示されなくなることがある。
However, when an object moves and a tag related to the object moves following the object, a plurality of objects overlap each other, or a plurality of tags approach each other or overlap on the
そこで、実施の形態3に係る映像処理装置は、タグ情報テーブルにおいて、オブジェクトIDごとに重要度を示す優先順位情報を持ち、優先順位が高いオブジェクト(例えば、子供、ベビーカー、車いす、不審者など)のタグは、他のオブジェクト又は他のオブジェクトのタグによって隠れないように手前に表示させる機能を持つ。なお、実施の形態3の説明に際しては、図1をも参照する。
Therefore, the video processing apparatus according to
図16は、実施の形態3に係る映像処理装置のタグ情報テーブルDB部17に格納されているタグ情報テーブル17cの一例を示す図である。図16に示されるように、タグ情報テーブル17cを持つ実施の形態3に係る映像処理装置は、オブジェクトIDごとに優先順位を示す優先順位情報を有し、タグ配置決定部14がタグの優先順位を指定する点で、実施の形態1に係る映像処理装置10と相違する。
FIG. 16 is a diagram illustrating an example of the tag information table 17c stored in the tag information
図17(a)から(c)は、実施の形態3に係る映像処理装置の効果を説明するための図である。図17(a)に示されるように、オブジェクト(大人)41iと優先順位の高い他のオブジェクト(子供)41jとが十分に離れているときには、オブジェクト(大人)41iに関連するタグ51iと他のオブジェクト(子供)41jに関連するタグ51jとは互いに十分離れている。しかし、他のオブジェクト(子供)41jが白矢印方向に移動して、図17(b)の比較例に示されるように、オブジェクト(大人)41iに重なったときに、オブジェクト(子供)41jのタグ51jがオブジェクト(大人)41iの下に隠れると、オブジェクト(子供)41jのタグ51jを、画面上で参照することができなくなる。
FIGS. 17A to 17C are diagrams for explaining the effect of the video processing apparatus according to the third embodiment. As shown in FIG. 17A, when the object (adult) 41i and another object (child) 41j having a high priority are sufficiently separated, the
そこで、実施の形態3に係る映像処理装置おいては、図16に示されるように、タグ情報テーブル17cが、オブジェクトIDごとに優先順位情報を有し、タグ配置決定部14はタグ51iとタグ51jの優先順位を指定する。このため、実施の形態3に係る映像処理装置おいては、優先順位が低いオブジェクト(大人)41iと優先順位が高いオブジェクト(子供)41jとが接近した場合であっても、優先順位の高いオブジェクト(子供)41jのタグ51jを容易に確認することができる。例えば、図17(c)に示されるように、タグ配置決定部14は、オブジェクト(子供)41jのタグ51jを付し、オブジェクト(大人)41iの上(手前)の位置に表示するので、図17(b)の比較例の場合に比べ、オブジェクト41jの監視を容易に行うことができる。
Therefore, in the video processing device according to the third embodiment, as shown in FIG. 16, the tag information table 17c has priority information for each object ID, and the tag
以上の点を除いて、実施の形態3に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態1のものと同じである。 Except for the above points, the video processing apparatus, video processing method, video processing program, and video monitoring system according to the third embodiment are the same as those of the first embodiment.
また、実施の形態3の機能を、実施の形態2に適用することも可能である。 The function of the third embodiment can also be applied to the second embodiment.
《4》変形例
図18は、実施の形態1から3に係る映像処理装置の変形例の概略構成を示す機能ブロック図である。図18において、図1に示される構成要素と同じ又は対応する構成要素には、図1に示される符号と同じ符号が付される。図18に示される映像処理装置は、オブジェクトを検出するセンサ21を有し、オブジェクト検出部12aは、センサ21の検出結果に基づいてオブジェクトを検出及び認識する点で、上記実施の形態1から3に係る映像処理装置と相違する。<< 4 >> Modified Example FIG. 18 is a functional block diagram showing a schematic configuration of a modified example of the video processing apparatus according to the first to third embodiments. In FIG. 18, the same reference numerals as those shown in FIG. 1 are given to the same or corresponding elements as those shown in FIG. The video processing apparatus shown in FIG. 18 includes a
センサ21は、オブジェクトの位置を検出できるものであれば、特に、制限はない。例えば、オブジェクトである人物が、アクティブRFID(radio frequency identifier)を携帯し、センサ21がアクティブRFIDの電波を検出することで、特定人物の位置情報を継続的に追跡する方式が考えられる。また、センサ21のオブジェクト検出と、RAW画像データD2の画像解析に基づく検出との両方に基づいてオブジェクトの検出を行うことも可能である。この場合には、オブジェクトの検出をより正確且つ迅速に行うことができる。
The
10 映像処理装置、 11 映像受信部、 12,12a オブジェクト検出部、 13 タグ情報管理部、 14 タグ配置決定部、 15 タグ重畳部、 16 映像出力部、 17 タグ情報テーブルDB部、 17a〜17c タグ情報テーブル、 20 カメラ、 21 センサ、 30 表示装置、 31 画面、 41,41a〜41j オブジェクト(被写体)、 51,51a〜51j タグ、 61a〜61c 検索領域、 71b 拡大された検索領域、 101 メインプロセッサ、 102 メインメモリ、 103 カメラインタフェース、 104 映像処理プロセッサ、 105 映像処理メモリ、 106 表示インタフェース、 107 入力インタフェース、 108 信号経路。
DESCRIPTION OF
Claims (10)
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理装置。 A video processing device that causes additional information related to an object as a target of interest present in a camera video acquired by camera shooting to be superimposed and displayed as a tag on the camera video on a display device,
The area occupied by the object and the area occupied by the tag in the camera video is a foreground image area, and an area other than the foreground image area in the camera video is a background image area,
An object detection unit for detecting the object;
A tag information management unit for managing a database for storing the additional information;
A first process for acquiring the additional information related to the object detected by the object detection unit from the tag information management unit; and a second process for setting a search area including the object detected by the object detection unit. And when there is a displayable area in which the tag as the additional information acquired in the first process can be displayed in the background image area in the search area, the display position of the tag is A tag placement determination unit that performs a third process of determining within the displayable area;
Have a tag superimposing unit for generating a composite image data to be superimposed on the tag to the camera image,
The video processing apparatus, wherein the tag arrangement determination unit sets the search area to a size corresponding to the size of the object detected by the object detection unit .
前記オブジェクト検出部は、前記検出信号に基づいて前記オブジェクトを検出する
ことを特徴とする請求項1又は2に記載の映像処理装置。 A sensor that detects the object and outputs a detection signal;
The video processing apparatus according to claim 1, wherein the object detection unit detects the object based on the detection signal.
前記タグ配置決定部は、前記表示色情報に基づく色で前記タグを表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。 The tag information management unit provides the tag arrangement determination unit with the additional information and the display color information acquired from the database that stores identification information, additional information, and display color information of the objects related to each other.
The video processing apparatus according to claim 1, wherein the tag arrangement determination unit displays the tag with a color based on the display color information.
前記タグ配置決定部は、複数のタグが重複する場合に、前記複数のタグの内のより高い優先順位に関連するタグを手前に表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。 The tag information management unit provides the tag arrangement determination unit with the additional information and the priority information acquired from the database storing the identification information, additional information, and priority information of the objects related to each other,
The tag placement determination unit, when a plurality of tags overlap, displays a tag related to a higher priority among the plurality of tags in the foreground. The video processing apparatus according to the item.
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を有し、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理方法。 A video processing method for superimposing additional information related to an object as a target of interest present in a camera video acquired by camera shooting as a tag on the camera video on a display device,
The area occupied by the object and the area occupied by the tag in the camera video is a foreground image area, and an area other than the foreground image area in the camera video is a background image area,
A detecting step of detecting the object;
A first process for acquiring the additional information related to the object detected by the detection step from a database managing the additional information; and a first region for setting a search area including the object detected by the detection step. 2 and when there is a displayable area in which the tag as the additional information acquired in the first process can be displayed in the background image area in the search area, the display position of the tag An arrangement determining step for performing a third process for determining within the displayable area;
Possess a superposing step of generating synthesized image data to be superimposed on the tag to the camera image,
In the arrangement determination step, the search area is set to a size corresponding to the size of the object detected in the detection step .
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記コンピュータに、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を実行させ、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する映像処理プログラム。 A video processing program for causing a computer to superimpose and display additional information related to an object as a target of interest present in a camera video acquired by camera shooting as a tag on the camera video on a display device,
The area occupied by the object and the area occupied by the tag in the camera video is a foreground image area, and an area other than the foreground image area in the camera video is a background image area,
In the computer,
A detecting step of detecting the object;
A first process for acquiring the additional information related to the object detected by the detection step from a database managing the additional information; and a first region for setting a search area including the object detected by the detection step. 2 and when there is a displayable area in which the tag as the additional information acquired in the first process can be displayed in the background image area in the search area, the display position of the tag An arrangement determining step for performing a third process for determining within the displayable area;
Generating a composite video data for superimposing and displaying the tag on the camera video; and
In the arrangement determining step, the video processing program sets the search area to a size corresponding to the size of the object detected in the detection step .
映像データに基づく映像を表示する表示装置と、
前記カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、前記表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置と、を有し、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記映像処理装置は、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像監視システム。 A camera that generates a camera image by shooting a subject;
A display device for displaying video based on video data;
A video processing device that superimposes and displays additional information related to an object as a target of interest existing in the camera video as a tag on the camera video in the display device;
The area occupied by the object and the area occupied by the tag in the camera video is a foreground image area, and an area other than the foreground image area in the camera video is a background image area,
The video processing device includes:
An object detection unit for detecting the object;
A tag information management unit for managing a database for storing the additional information;
A first process for acquiring the additional information related to the object detected by the object detection unit from the tag information management unit; and a second process for setting a search area including the object detected by the object detection unit. And when there is a displayable area in which the tag as the additional information acquired in the first process can be displayed in the background image area in the search area, the display position of the tag is A tag placement determination unit that performs a third process of determining within the displayable area;
Have a tag superimposing unit for generating a composite image data to be superimposed on the tag to the camera image,
The tag placement determination unit sets the search area to a size corresponding to the size of the object detected by the object detection unit .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/088620 WO2018122895A1 (en) | 2016-12-26 | 2016-12-26 | Image processing device, image processing method, image processing program, and image monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6289762B1 true JP6289762B1 (en) | 2018-03-07 |
JPWO2018122895A1 JPWO2018122895A1 (en) | 2018-12-27 |
Family
ID=61558380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017528863A Active JP6289762B1 (en) | 2016-12-26 | 2016-12-26 | Video processing apparatus, video processing method, video processing program, and video monitoring system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6289762B1 (en) |
WO (1) | WO2018122895A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200068054A (en) * | 2018-11-26 | 2020-06-15 | 국방과학연구소 | helmet apparatus and operating method for the same |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020021618A (en) * | 2018-07-31 | 2020-02-06 | 積水化学工業株式会社 | Public facility, server device, server program, and learnt model |
CN109819217A (en) * | 2019-02-14 | 2019-05-28 | 上海图丽信息技术有限公司 | A kind of monitoring is mobile to have access to system |
EP3998931A4 (en) * | 2019-07-16 | 2023-04-19 | Docbot, Inc. | Real-time deployment of machine learning systems |
JP7453772B2 (en) * | 2019-11-01 | 2024-03-21 | キヤノン株式会社 | Information processing device and its control method, imaging device system, program |
CN111131892B (en) * | 2019-12-31 | 2022-02-22 | 安博思华智能科技有限责任公司 | System and method for controlling live broadcast background |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027606A (en) * | 2010-07-21 | 2012-02-09 | Brilliantservice Co Ltd | Air tag display system |
WO2012101778A1 (en) * | 2011-01-26 | 2012-08-02 | パイオニア株式会社 | Display device, control method, program, and recording medium |
JP2013080394A (en) * | 2011-10-04 | 2013-05-02 | Canon Inc | Display control device, control method of display control device, and program |
JP2015089021A (en) * | 2013-10-31 | 2015-05-07 | キヤノンマーケティングジャパン株式会社 | Imaging device, imaging control method, and program |
JP2015091055A (en) * | 2013-11-06 | 2015-05-11 | キヤノン株式会社 | Imaging device and image processing device |
-
2016
- 2016-12-26 WO PCT/JP2016/088620 patent/WO2018122895A1/en active Application Filing
- 2016-12-26 JP JP2017528863A patent/JP6289762B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027606A (en) * | 2010-07-21 | 2012-02-09 | Brilliantservice Co Ltd | Air tag display system |
WO2012101778A1 (en) * | 2011-01-26 | 2012-08-02 | パイオニア株式会社 | Display device, control method, program, and recording medium |
JP2013080394A (en) * | 2011-10-04 | 2013-05-02 | Canon Inc | Display control device, control method of display control device, and program |
JP2015089021A (en) * | 2013-10-31 | 2015-05-07 | キヤノンマーケティングジャパン株式会社 | Imaging device, imaging control method, and program |
JP2015091055A (en) * | 2013-11-06 | 2015-05-11 | キヤノン株式会社 | Imaging device and image processing device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200068054A (en) * | 2018-11-26 | 2020-06-15 | 국방과학연구소 | helmet apparatus and operating method for the same |
KR102149455B1 (en) * | 2018-11-26 | 2020-08-28 | 국방과학연구소 | helmet apparatus and operating method for the same |
Also Published As
Publication number | Publication date |
---|---|
WO2018122895A1 (en) | 2018-07-05 |
JPWO2018122895A1 (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6289762B1 (en) | Video processing apparatus, video processing method, video processing program, and video monitoring system | |
US9870684B2 (en) | Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system | |
JP6399356B2 (en) | Tracking support device, tracking support system, and tracking support method | |
US10546199B2 (en) | Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program | |
JP6593742B2 (en) | In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method | |
EP3070938A1 (en) | Image processing apparatus and method | |
US10235574B2 (en) | Image-capturing device, recording device, and video output control device | |
US20200404222A1 (en) | Tracking assistance device, tracking assistance system and tracking assistance method | |
CN106031154B (en) | Handle the method for image and the electronic device for it | |
JP6622650B2 (en) | Information processing apparatus, control method therefor, and imaging system | |
US9514225B2 (en) | Video recording apparatus supporting smart search and smart search method performed using video recording apparatus | |
US20130170760A1 (en) | Method and System for Video Composition | |
JP2018160219A (en) | Moving route prediction device and method for predicting moving route | |
JP2011029737A (en) | Surveillance image retrieval apparatus and surveillance system | |
US20230093631A1 (en) | Video search device and network surveillance camera system including same | |
US10999556B2 (en) | System and method of video capture and search optimization | |
RU2012119843A (en) | METHOD FOR DISPLAYING VIDEO DATA ON A MOBILE DEVICE | |
WO2014030405A1 (en) | Display device, display method, television receiver, and display control device | |
US20140355828A1 (en) | Setting apparatus, setting method, and storage medium | |
JP2015106862A (en) | Content information acquisition device and program, and content distribution device | |
US20180211445A1 (en) | Information processing device, terminal, and remote communication system | |
CN113228626A (en) | Video monitoring system and method | |
KR20140044663A (en) | Information retrieval method by using broadcast receiving apparatus with display device and the apparatus thereof | |
US10719543B2 (en) | Information processing apparatus, information processing method, and program | |
JP2017118319A (en) | Video retrieval system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170529 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170529 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |