JP6405606B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP6405606B2
JP6405606B2 JP2013145981A JP2013145981A JP6405606B2 JP 6405606 B2 JP6405606 B2 JP 6405606B2 JP 2013145981 A JP2013145981 A JP 2013145981A JP 2013145981 A JP2013145981 A JP 2013145981A JP 6405606 B2 JP6405606 B2 JP 6405606B2
Authority
JP
Japan
Prior art keywords
attribute
image
unit
output
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013145981A
Other languages
Japanese (ja)
Other versions
JP2015019296A (en
Inventor
海虹 張
海虹 張
世紅 労
世紅 労
広太郎 吉野
広太郎 吉野
剛 倉田
剛 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2013145981A priority Critical patent/JP6405606B2/en
Priority to CN201480002199.XA priority patent/CN104604219B/en
Priority to PCT/JP2014/066526 priority patent/WO2015005102A1/en
Publication of JP2015019296A publication Critical patent/JP2015019296A/en
Application granted granted Critical
Publication of JP6405606B2 publication Critical patent/JP6405606B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Description

この発明は、ビデオ画像に撮像されているオブジェクト(人や車両等)の中から、指定した属性に当てはまるオブジェクトを確認する技術に関する。   The present invention relates to a technique for confirming an object that matches a specified attribute from objects (people, vehicles, etc.) captured in a video image.

従来、空港、駅、ショッピングセンター、街角等、様々な場所に監視カメラが設置されている。また、指名手配中の人物等を検出対象者とし、監視カメラの撮像画像に撮像されている人物の顔を、検出対象者の顔と照合する顔認識を行って、検出対象者が撮像されている撮像画像を検出することが提案されている(特許文献1等参照)。   Conventionally, surveillance cameras are installed in various places such as airports, stations, shopping centers, street corners and the like. In addition, the person who is being picked up is a person to be detected, and the face of the person captured in the captured image of the surveillance camera is compared with the face of the person to be detected, and the person to be detected is captured. It has been proposed to detect a captured image (see Patent Document 1).

また、この種の装置では、撮像されている検出対象者を検出すると、その撮像画像が撮像された場所、日時、撮像されている検出対象者等を含む検出通知を関係機関等に通知することも行っている。   In addition, in this type of device, when a detection target person being imaged is detected, a notification of detection including the location where the captured image was captured, the date and time, the detection target person being imaged, etc. is notified to the related organizations. Is also going.

関係機関等では、通知された検出通知に基づいて、警備員等が検出対象者の捜索を行っている。   In related organizations and the like, security guards or the like search for a detection target person based on the notified detection notification.

特開2004− 62560号公報Japanese Patent Laid-Open No. 2004-62560

しかしながら、監視カメラの撮像エリア外において、何らかの事件や事故等のトラブルが発生することがある。このような場合、監視カメラがその現場を撮像していないので、トラブルが発生した現場周辺に設置されている複数の監視カメラの撮像画像を確認し、当事者らしき人物を見つけることになる。   However, troubles such as some incidents and accidents may occur outside the imaging area of the surveillance camera. In such a case, since the surveillance camera is not imaging the site, the captured images of the plurality of surveillance cameras installed around the site where the trouble has occurred are confirmed, and a person who seems to be a party is found.

上述の特許文献1等で提案されている装置は、検出対象者の顔がすでに判明していることを前提にしているので、監視カメラの撮像画像に対して、顔が判明していない検出対象者(発生したトラブルの当事者)を簡単に探索することができない。したがって、警備員等の担当者が、そのトラブルを目撃した人(目撃者)から当事者の外見の特徴(マスクをつけていた、サングラスを掛けていた等)を聞き、監視カメラの撮像画像を目視で確認し、撮像されている当事者らしき人物を探していた。このように、監視カメラの撮像画像から、外見にかかる特徴が判明していても、顔が判明していない人を確認する作業は時間と手間がかかるものであった。   Since the apparatus proposed in the above-mentioned Patent Document 1 is based on the premise that the face of the person to be detected is already known, the detection target whose face is not known for the captured image of the surveillance camera Person (participant of the trouble that has occurred) cannot be easily searched. Therefore, the person in charge, such as a security guard, listened to the person who witnessed the trouble (witness) and heard the characteristics of the party's appearance (masked, wearing sunglasses, etc.) and visually observed the image captured by the surveillance camera. I was looking for a person that seems to be the party being imaged. As described above, it takes time and effort to confirm a person whose face is not known even if the appearance characteristics are known from the captured image of the surveillance camera.

この発明の目的は、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える技術を提供する。   An object of the present invention is to provide a technique for easily confirming a corresponding object captured in a video image if it is an object such as a person or a vehicle whose characteristics concerning appearance are known.

この発明の画像処理装置は、上記目的を達するために以下のように構成している。   In order to achieve the above object, the image processing apparatus of the present invention is configured as follows.

属性判定部は、画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する。画像入力部に入力されるビデオ画像は、監視カメラ等の撮像装置が撮像している撮像エリアのリアルタイムの画像であってもよいし、メディアに録画した画像であってもよい。また、属性判定部は、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを判定する。属性判定部は、フレーム画像上におけるオブジェクトの平均移動速度を基準にして、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定する。 The attribute determination unit processes the frame image related to the video image input to the image input unit, and for the imaged object, the attribute related to the appearance of the predetermined object and the attribute related to the state of the object To determine whether it is true. The video image input to the image input unit may be a real-time image of an imaging area captured by an imaging device such as a surveillance camera, or may be an image recorded on a medium. Further, the attribute determination unit determines, as an attribute related to the state of the object, at least whether the moving speed of the object is faster than other objects. Attribute determination unit is based on the average moving speed of the object on the frame image, whether the moving speed of the object is fast in comparison with other objects, rather than on real space, the average moving speed of the object on the frame image Judgment on the basis of .

また、属性判定部が属性を判定するオブジェクトの種類は、例えば人や車両等の移動体である。   The type of object for which the attribute determining unit determines the attribute is, for example, a moving object such as a person or a vehicle.

また、属性判定部が当てはまっているかどうかを判定する移動速度以外の属性は、対象としたオブジェクトの種類に応じて定めればよい。例えば、対象としたオブジェクトの種類が人であれば、マスクをつけているかどうか、サングラスをかけているかどうか、等の外見にかかる属性や、顔が撮像されないように移動しているかどうか(顔を隠すように移動しているかどうか)等の状態(移動状態)にかかる属性を定めればよい。また、対象としたオブジェクトの種類が車両であれば、ナンバープレートが撮像されないように隠しているかどうか、ナンバープレートに表記されているナンバープレート番号を隠しているかどうか(ナンバープレート自体は隠されていない。)、車両正面側からドライバの顔が見えないように隠しているかどうか等の外見にかかる属性や、逆走しているかどうか、蛇行しているかどうか、無灯火で走行しているかどうか、等の状態(移動状態)にかかる属性を定めればよい。 Also, it attributes other than the moving speed you determine whether the attribute determining unit is held true may be determined according to the type of the object of interest. For example, if the target object type is a person, whether it is wearing a mask, wearing sunglasses, or other attributes related to appearance, whether it is moving so that the face is not imaged (the face is What is necessary is just to define the attribute concerning states (movement state), such as whether it is moving so that it may hide. If the target object type is a vehicle, whether the license plate is hidden so that it will not be imaged, whether the license plate number written on the license plate is hidden (the license plate itself is not hidden) .), Appearance attributes such as whether the driver's face is hidden from the front side of the vehicle, whether it is running backwards, whether it is meandering, whether it is running without light, etc. What is necessary is just to define the attribute concerning a state (movement state).

出力画像生成部は、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する。例えば、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を一覧で表示するサムネイル画像や、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を他の画像よりも強調して表示する強調表示画像を出力画像として生成する。そして、出力部が、出力画像生成部において生成された出力画像を出力する。   The output image generation unit generates an output image in which the object determined to be applicable by the attribute determination unit is distinguished from other objects for the attribute of the object received by the attribute designation reception unit. For example, with respect to the attributes of the object received in the attribute designation receiving unit, the attribute determining unit may be configured to display thumbnail images for displaying a list of images of the objects determined to be applicable by the attribute determining unit, or attributes of the object received in the attribute designation receiving unit. A highlighted display image that displays an image of an object that has been determined to be true more than other images is generated as an output image. Then, the output unit outputs the output image generated by the output image generation unit.

警備員等の担当者は、監視カメラ等で撮像したビデオ画像に撮像されている人に対する確認が簡単に行える。例えば、顔が判明していない人であっても、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。また、監視カメラ等で撮像したビデオ画像に撮像されている車両等の他の種類のオブジェクトに対する確認も、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。   A person in charge such as a security guard can easily confirm a person captured in a video image captured by a surveillance camera or the like. For example, even for a person whose face is not known, it is possible to narrow down by the attribute relating to the appearance that is known and the attribute relating to the state. In addition, confirmation of other types of objects such as a vehicle captured in a video image captured by a surveillance camera or the like can also be narrowed down based on the attributes relating to the appearance and the attributes relating to the state.

したがって、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認にかかる時間や手間が抑えられる。   Therefore, in the case of an object such as a person or a vehicle whose appearance characteristics are known, the time and labor required to confirm the corresponding object captured in the video image can be reduced.

また、この発明にかかる画像処理装置は、画像入力部に入力されたビデオ画像に撮像されているオブジェクト毎に、そのオブジェクトの画像と、属性判定部が予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定した判定結果と、を対応付けて記憶する属性判定結果記憶部を備える構成としてもよい。   The image processing apparatus according to the present invention provides, for each object captured in the video image input to the image input unit, an image of the object and a plurality of types of attributes predetermined by the attribute determination unit. It is good also as a structure provided with the attribute determination result memory | storage part which matches and memorize | stores the determination result determined whether it applies to an attribute.

このように構成すれば、画像入力部に入力されたビデオ画像に撮像されているオブジェクトに対する、属性判定部における処理を事前に行っておくことができる。これにより、属性指定受付部がオブジェクトの属性の指定を受け付けると、出力画像生成部における出力画像の生成をすぐに開始することができ、処理効率の向上が図れる。   If comprised in this way, the process in an attribute determination part can be performed in advance with respect to the object currently imaged by the video image input into the image input part. As a result, when the attribute designation accepting unit accepts the specification of the attribute of the object, the output image generating unit can immediately start generating the output image, and the processing efficiency can be improved.

また、この発明にかかる画像処理装置は、出力部が出力した出力画像に含まれるいずれかのオブジェクトが選択指定されたとき、ビデオ画像入力部に入力されたビデオ画像において、そのオブジェクトが撮像されている位置を再生する再生部を備える構成としてもよい。   The image processing apparatus according to the present invention captures an object in a video image input to the video image input unit when any object included in the output image output from the output unit is selected and designated. It is good also as a structure provided with the reproducing part which reproduces | regenerates the position which exists.

このように構成すれば、属性で絞り込んだオブジェクトが撮像されているビデオ画像の確認が簡単に行える。   With this configuration, it is possible to easily confirm a video image in which an object narrowed down by attributes is captured.

この発明によれば、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える。   According to the present invention, if an object such as a person or a vehicle whose features relating to appearance are known, the corresponding object captured in the video image can be easily confirmed.

画像処理装置の主要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part of an image processing apparatus. 属性判定結果DBを示す図である。It is a figure which shows attribute determination result DB. 画像処理装置における属性判定結果DB作成処理を示すフローチャートである。It is a flowchart which shows the attribute determination result DB creation process in an image processing apparatus. 属性判定処理を示すフローチャートである。It is a flowchart which shows an attribute determination process. 移動速度以外の属性の判定処理を示すフローチャートである。It is a flowchart which shows the determination processing of attributes other than moving speed. 出力画像生成処理を示すフローチャートである。It is a flowchart which shows an output image generation process. 出力画像であるサムネイル画像の表示画面例を示す図である。It is a figure which shows the example of a display screen of the thumbnail image which is an output image. 再生処理を示すフローチャートである。It is a flowchart which shows a reproduction | regeneration process.

以下、この発明の実施形態である画像処理装置について説明する。   Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.

図1は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置1は、制御部2と、画像入力部3と、画像処理プロセッサ4と、属性判定結果データベース5(属性判定結果DB5)と、操作部6と、出力部7と、を備えている。この例にかかる画像処理装置1は、ビデオ画像に撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定するとともに、その判定結果を用いて出力画像を生成し、出力する。   FIG. 1 is a block diagram showing the configuration of the main part of the image processing apparatus according to this example. The image processing apparatus 1 according to this example includes a control unit 2, an image input unit 3, an image processing processor 4, an attribute determination result database 5 (attribute determination result DB 5), an operation unit 6, an output unit 7, It has. The image processing apparatus 1 according to this example determines, for each of a plurality of predetermined attributes, whether a person is captured in a video image, and determines an output image using the determination result. Generate and output.

制御部2は、画像処理装置1本体各部の動作を制御する。   The control unit 2 controls the operation of each part of the main body of the image processing apparatus 1.

画像入力部3には、ビデオ画像(動画像)が入力される。このビデオ画像は、監視カメラ等の撮像装置(不図示)が撮像している撮像エリアのリアルタイムの画像であってもよいし、ハードディスク等のメディアに録画したビデオ画像(MPEG2等で圧縮された動画像データ)であってもよい。   A video image (moving image) is input to the image input unit 3. This video image may be a real-time image of an imaging area captured by an imaging device (not shown) such as a surveillance camera, or a video image recorded on a medium such as a hard disk (a moving image compressed by MPEG2 or the like) Image data).

画像処理プロセッサ4は、この発明で言う属性判定部に相当する構成を有し、画像入力部3に入力されたビデオ画像を処理し、撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する。この例では、外見にかかる属性として、マスクをつけているかどうか、サングラスをかけているかどうかの2つを定めている。また、状態にかかる属性として、移動速度がはやいかどうか、顔が撮像されないように移動しているかどうかの2つを定めている。   The image processor 4 has a configuration corresponding to the attribute determination unit referred to in the present invention, processes a video image input to the image input unit 3, and sets a plurality of predetermined attributes for a person being imaged. Then, it is determined whether or not the attribute is applicable. In this example, two appearance attributes are defined: whether a mask is worn or whether sunglasses are worn. Further, two attributes are defined as whether the movement speed is fast or whether the face is moving so as not to be imaged.

詳細については後述するが、画像処理プロセッサ4は、入力されたビデオ画像に撮像されている人の顔を切り出し、外見にかかる属性に当てはまるかどうかを判定する。また、画像処理プロセッサ4は、入力されたビデオ画像に撮像されている人を追跡し、状態(移動状態)にかかる属性に当てはまるかどうかを判定する。   Although details will be described later, the image processor 4 cuts out the face of the person captured in the input video image, and determines whether the face is applicable to the appearance attribute. Further, the image processor 4 tracks a person who is captured in the input video image, and determines whether or not the attribute of the state (moving state) is applicable.

また、画像処理プロセッサ4は、この発明で言う出力画像生成部に相当する構成を有し、上述の属性についての判定結果に基づく出力画像を生成する。   The image processor 4 has a configuration corresponding to the output image generation unit referred to in the present invention, and generates an output image based on the determination result for the above-described attributes.

この画像処理プロセッサが、この発明にかかる画像処理方法を実行する(画像処理プログラムを実行させる。)コンピュータに相当する。 The image processor 4 corresponds to a computer that executes the image processing method according to the present invention (executes an image processing program).

属性判定結果DB5は、入力されたビデオ画像に撮像されている人について、その人を識別するID、その人の顔画像(その人が撮像されているフレーム画像から切り出した顔画像)、予め定めた複数種類の属性について判定した判定結果、および入力されたビデオ画像の再生開始位置(その人がビデオ画像に撮像されている位置を示す時間データ)を対応付けて登録したデータベースである。図2は、この属性判定結果DBの構成を示す図である。この図2において、〇は対応する属性に当てはまることを示し、×は対応する属性に当てはまらないことを示している。また、顔隠しに当てはまる人(図2に示すIDが0006の人)については、顔画像を登録しなくてもよいが、この例では、その風体の確認が行えるように画像を登録している。属性判定結果DB5が、この発明で言う属性判定結果記憶部に相当する構成である。   The attribute determination result DB 5 determines in advance an ID for identifying a person captured in the input video image, a face image of the person (a face image cut out from a frame image in which the person is captured), and the like. This is a database in which the determination results determined for a plurality of types of attributes and the playback start position of the input video image (time data indicating the position where the person is captured in the video image) are registered in association with each other. FIG. 2 is a diagram showing the configuration of this attribute determination result DB. In FIG. 2, “◯” indicates that the corresponding attribute is applicable, and “X” indicates that the corresponding attribute is not applicable. In addition, for a person who applies to face concealment (person with ID 0006 shown in FIG. 2), it is not necessary to register a face image, but in this example, an image is registered so that the body can be confirmed. . The attribute determination result DB 5 has a configuration corresponding to the attribute determination result storage unit referred to in the present invention.

操作部6は、マウスやキーボード等の入力デバイスを有し、画像処理装置1本体に対する操作者の入力操作を受け付ける。操作者は、操作部6において、後述するオブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ4は、この発明で言う属性指定受付部に相当する構成を有し、操作部6において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける。   The operation unit 6 has an input device such as a mouse and a keyboard, and accepts an input operation by an operator on the image processing apparatus 1 main body. The operator uses the operation unit 6 to perform an input operation related to designation of an object attribute type, which will be described later. The image processor 4 has a configuration corresponding to the attribute designation accepting unit referred to in the present invention, and accepts the attribute type of the object designated by the input operation performed by the operator in the operation unit 6.

出力部7は、画像処理プロセッサ4が生成した出力画像や、画像入力部3に入力されたビデオ画像(再生画像)を出力する。出力部7には、表示装置(不図示)が接続されている。この表示装置は、出力部7が出力した画像を表示する。   The output unit 7 outputs the output image generated by the image processor 4 and the video image (reproduced image) input to the image input unit 3. A display device (not shown) is connected to the output unit 7. This display device displays the image output by the output unit 7.

以下、この画像処理装置1の動作について説明する。この画像処理装置1は、以下に示す属性判定結果DB作成処理、出力画像生成処理、再生処理等を実行する。   Hereinafter, the operation of the image processing apparatus 1 will be described. The image processing apparatus 1 executes an attribute determination result DB creation process, an output image generation process, a reproduction process, and the like described below.

図3は、この画像処理装置における属性判定結果DB作成処理を示すフローチャートである。この画像処理装置1は、画像入力部3に入力されたビデオ画像にかかるフレーム画像を、画像処理プロセッサ4で時系列に処理する。   FIG. 3 is a flowchart showing attribute determination result DB creation processing in the image processing apparatus. In the image processing apparatus 1, a frame image related to a video image input to the image input unit 3 is processed in time series by an image processor 4.

画像処理プロセッサ4は、処理対象のフレーム画像に撮像されているオブジェクトを検出する(s1)。この例では、検出するオブジェクトは、人である。オブジェクトの検出は、例えばフレーム間差分画像や背景差分画像により検出した移動体毎に、パターンマッチングにより人らしき形状のオブジェクトを人として検出する。   The image processor 4 detects an object imaged in the processing target frame image (s1). In this example, the object to be detected is a person. For the detection of an object, for example, an object having a human-like shape is detected as a person by pattern matching for each moving body detected by an inter-frame difference image or a background difference image.

画像処理プロセッサ4は、s1で検出した人毎に、処理対象のフレーム画像を識別するフレーム番号、そのフレーム画像から切り出したその人の撮像画像、フレーム画像上における位置(座標)を対応付けた検出レコードを作成する(s2)。   The image processor 4 detects each person detected in s1 by associating a frame number for identifying a frame image to be processed, a captured image of the person cut out from the frame image, and a position (coordinate) on the frame image. A record is created (s2).

画像処理プロセッサ4は、s2で検出レコードを作成した人毎に、前回の処理対象のフレーム画像においても撮像されていた検出済の人であるかどうかを判定する(s3)。画像処理プロセッサ4は、s3で、前回の処理対象のフレーム画像に撮像されていなかった人(すなわち、前回の処理対象のフレーム画像の撮像タイミングと、今回の処理対象のフレーム画像の撮像タイミングと、の間にあらわれた人)であると判定すると、その人に対してIDを付与する(s4)。また、画像処理プロセッサ4は、s4で付与したIDにかかる人のオブジェクトマップを作成する(s5)。s5では、s4で付与したIDを用いて、s2で作成した検出レコードを登録したオブジェクトマップを作成する。このオブジェクトマップは、IDを付与した人毎に区別して作成する。   The image processor 4 determines whether or not each person who has created a detection record in s2 is a detected person who has been captured in the previous frame image to be processed (s3). In s3, the image processor 4 is the person who has not been imaged in the previous processing target frame image (that is, the imaging timing of the previous processing target frame image, the imaging timing of the current processing target frame image, If it is determined that it is a person appearing between, an ID is given to the person (s4). Further, the image processor 4 creates an object map of the person associated with the ID assigned in s4 (s5). In s5, an object map in which the detection record created in s2 is registered is created using the ID assigned in s4. This object map is created separately for each person who is given an ID.

また、画像処理プロセッサ4は、s3で検出済の人であると判定すると、その人に対してすでに付与しているIDを判定する(s6)。また、画像処理プロセッサ4は、s6で判定したIDにかかるオブジェクトマップに、s2で作成した検出レコードを追加登録するオブジェクトマップの更新を行う(s7)。   If the image processor 4 determines that the person has been detected in s3, the image processor 4 determines the ID already assigned to the person (s6). Further, the image processor 4 updates the object map for additionally registering the detection record created in s2 to the object map associated with the ID determined in s6 (s7).

上述したように、このs3〜s7にかかる処理は、s2で検出レコードを作成した人毎に行う。   As described above, the processing related to s3 to s7 is performed for each person who created the detection record in s2.

画像処理プロセッサ4は、前回の処理対象のフレーム画像に撮像されていて、今回の処理対象のフレーム画像に撮像されていなかった人(検出完了の人)を抽出する(s8)。   The image processor 4 extracts a person (detected person) who has been captured in the previous frame image to be processed but not captured in the current frame image to be processed (s8).

画像処理プロセッサ4は、s8で抽出した人毎に、その人の属性を判定する属性判定処理を行う(s9)。s9では、s8で抽出した人毎に、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について、当てはまるかどうかを判定する。
The image processor 4 performs an attribute determination process for determining the attribute of each person extracted in s8 (s9). In s9, for each person extracted in s8,
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
It is determined whether or not these four attributes are true.

このs9にかかる属性判定処理の詳細については、後述する。また、このs9にかかる属性判定処理は、図3示す他の処理と切り離し、この図3に示す処理と並列に実行する構成としてもよい。   Details of the attribute determination processing according to s9 will be described later. Further, the attribute determination processing according to s9 may be separated from the other processing shown in FIG. 3 and executed in parallel with the processing shown in FIG.

画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像において、未処理のフレーム画像があるかどうかを判定する(s10)。画像処理プロセッサ4は、未処理のフレーム画像があれば、処理対象のフレーム画像を時間的に1つの先のフレーム画像に更新し(s11)、s1に戻る。   The image processor 4 determines whether there is an unprocessed frame image in the video image input to the image input unit 3 (s10). If there is an unprocessed frame image, the image processor 4 updates the frame image to be processed to the previous frame image in time (s11), and returns to s1.

また、画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像において、未処理のフレーム画像がなければ、この時点で属性を判定していない人について属性判定処理を行う(s12)。s12は、s9と同じ処理であり、画像入力部3に入力されたビデオ画像の最後のフレーム画像に撮像されていた人についても属性を判定するために設けている。   If there is no unprocessed frame image in the video image input to the image input unit 3, the image processing processor 4 performs attribute determination processing for a person whose attribute has not been determined at this time (s12). s12 is the same process as s9, and is provided to determine the attribute of the person who is captured in the last frame image of the video image input to the image input unit 3.

ここでs9およびs12にかかる属性判定処理について説明する。図4は、この属性判定処理を示すフローチャートである。このs9、および12にかかる処理が、この発明で言う属性判定ステップに相当する。   Here, the attribute determination processing according to s9 and s12 will be described. FIG. 4 is a flowchart showing this attribute determination processing. The processing according to s9 and 12 corresponds to the attribute determination step in the present invention.

画像処理プロセッサ4は、属性を判定する対象者毎に、図4に示す処理を繰り返し行う。すなわち、図4は、1人の対象者に対する属性判定処理を示している。   The image processor 4 repeatedly performs the process shown in FIG. 4 for each subject whose attribute is to be determined. That is, FIG. 4 shows an attribute determination process for one target person.

画像処理プロセッサ4は、対象者について作成されたオブジェクトマップを読み出す(s21)。このオブジェクトマップには、上述したように、この対象者が撮像されていたフレーム画像毎に、そのフレーム画像から切り出した対象者の撮像画像、フレーム画像上における位置(座標)を対応付けた検出レコードが登録されている。   The image processor 4 reads the object map created for the subject (s21). In this object map, as described above, for each frame image in which the subject has been imaged, a detection record in which the captured image of the subject cut out from the frame image and the position (coordinates) on the frame image are associated with each other Is registered.

画像処理プロセッサ4は、s21で読み出したオブジェクトマップから、対象者の移動経路、および移動速度を検出する(s22)。移動経路は、オブジェクトマップに登録されている各検出レコードのフレーム画像上における位置(座標)から得られる。移動速度は、フレーム画像上の位置の変化量から得られるが、そのためには、フレーム画像上の距離と、実空間上の距離との関係が必要になる。画像入力部3に入力されるビデオ画像が特定の場所に設置したビデオカメラで撮像したビデオ画像であれば、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことで、実空間上における対象者の移動速度を検出することができる。   The image processor 4 detects the movement path and movement speed of the subject from the object map read in s21 (s22). The movement path is obtained from the position (coordinates) on the frame image of each detection record registered in the object map. The moving speed is obtained from the amount of change in the position on the frame image. To that end, the relationship between the distance on the frame image and the distance on the real space is required. If the video image input to the image input unit 3 is a video image captured by a video camera installed at a specific location, the relationship between the distance on the frame image and the distance on the real space should be set in advance. Thus, the moving speed of the subject in real space can be detected.

一方で、画像入力部3に入力されるビデオ画像が、特定のビデオカメラで撮像されたビデオ画像でない場合(そのときの状況に応じて入力されるビデオ画像を撮像したビデオカメラが異なる場合)、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことは困難である。このような理由から、この例では、実空間上の移動速度を検出するのではなく、フレーム画像上における移動速度を検出する構成としている。   On the other hand, when the video image input to the image input unit 3 is not a video image captured by a specific video camera (when the video camera capturing the video image input according to the situation at that time is different), It is difficult to preset the relationship between the distance on the frame image and the distance on the real space. For this reason, in this example, the moving speed on the frame image is not detected, but the moving speed on the frame image is detected.

画像処理プロセッサ4は、s22で検出した対象者の移動経路から、この対象者が顔が撮像される方向に移動しているかどうかを判定する(s23)。例えば、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、背を向けて遠ざかる方向である場合、この対象者顔が撮像されない方向に移動していると判定する。また、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、近づいてくる方向である場合、この対象者顔が撮像される方向に移動していると判定する。 The image processor 4 determines whether the subject is moving in the direction in which the face is imaged from the movement path of the subject detected in s22 (s23). For example, when the moving direction of the subject is a direction away from the video camera that captured the video image, it is determined that the subject is moving in a direction in which the face is not captured. Further, when the moving direction of the subject is a direction approaching the video camera that captured the video image, it is determined that the subject is moving in the direction in which the face is captured.

画像処理プロセッサ4は、s23で対象者が顔が撮像される方向に移動していると判定すると、移動速度以外の属性について、当てはまるかどうかの判定を行う(s24)。この例では、外見にかかる属性として上述した(1)マスクをつけているかどうか、および、(2)サングラスをかけているかどうかについて判定する。また、状態にかかる属性として(4)顔が撮像されないように移動しているかどうかについて判定する。   If the image processor 4 determines in s23 that the subject is moving in the direction in which the face is imaged, it determines whether or not the attribute other than the moving speed is applicable (s24). In this example, it is determined whether (1) the above-described mask is applied as an attribute relating to appearance, and (2) whether sunglasses are worn. Further, it is determined whether or not (4) the face is moved so as not to be imaged as an attribute relating to the state.

画像処理プロセッサ4は、s23で対象者が顔が撮像される方向に移動していないと判定すると、このs24にかかる処理を行わない。   If the image processor 4 determines in s23 that the subject has not moved in the direction in which the face is imaged, the image processor 4 does not perform the process related to s24.

図5は、このs24にかかる移動速度以外の属性についての判定処理を示すフローチャートである。画像処理プロセッサ4は、対象者のオブジェクトマップに登録されている検出レコードを用いて、時間的に連続するフレーム画像間における対象者の移動ベクトルを取得する(s31)。画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像を撮像したビデオカメラのアングルの水平方向成分を検出し(s32)、この水平方向成分にかかる直線と、なす角度が最小である移動ベクトルが得られたフレーム画像(時間的に遅い方のフレーム画像)を判定する(s33)。s33では、ビデオカメラに対して対象者が正面を向いている可能性が高い、すなわち対象者の顔が撮像されている可能性が高い、フレーム画像を判定している。   FIG. 5 is a flowchart showing a determination process for attributes other than the moving speed according to s24. The image processor 4 uses the detection record registered in the object map of the subject to acquire the subject's movement vector between temporally consecutive frame images (s31). The image processor 4 detects the horizontal component of the angle of the video camera that has captured the video image input to the image input unit 3 (s32), and the straight line and the angle formed by this horizontal component are the smallest. The frame image from which the vector is obtained (the frame image that is later in time) is determined (s33). In s33, a frame image is determined in which it is highly likely that the subject is facing the front of the video camera, that is, the subject's face is likely to be imaged.

画像処理プロセッサ4は、s33で判定したフレーム画像から切り出した対象者の画像(検出レコードに登録されている画像)に対して、第1の顔画像検出処理を行う(s34)。この第1の顔画像検出処理は、マスクをつけていない人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。   The image processor 4 performs a first face image detection process on the target person's image cut out from the frame image determined in s33 (an image registered in the detection record) (s34). This first face image detection process is a process based on an algorithm in which an image of a person who is not wearing a mask is input and learning of face extraction is performed on the image.

画像処理プロセッサ4は、s34にかかる第1の顔画像検出処理で顔画像が検出できれば、この対象者がマスクをつけていないと判定する(s35、s36)。一方、画像処理プロセッサ4は、s34にかかる第1の顔画像検出処理で顔画像が検出できなければ、s33で判定したフレーム画像から切り出した対象の画像に対して、第2の顔画像検出処理を行う(s37)。この第2の顔画像検出処理は、マスクをつけている人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。   If the face image can be detected by the first face image detection process in s34, the image processor 4 determines that the subject is not wearing a mask (s35, s36). On the other hand, if the face image cannot be detected in the first face image detection process in s34, the image processor 4 performs the second face image detection process on the target image cut out from the frame image determined in s33. (S37). This second face image detection process is a process based on an algorithm in which an image of a person wearing a mask is input and learning of face extraction is performed on the image.

この例では、第1の顔画像検出処理、および第2の顔画像検出処理を行うことで、マスクをつけている人に対して、顔が撮像されていないという誤判定が行われるのを防止している。   In this example, by performing the first face image detection process and the second face image detection process, it is possible to prevent the person wearing the mask from making an erroneous determination that the face is not captured. doing.

画像処理プロセッサ4は、s37にかかる第2の顔画像検出処理で顔画像が検出できれば、この対象者についてマスクをつけていると判定する(s38、s39)。一方、画像処理プロセッサ4は、s37にかかる第2の顔画像検出処理で顔画像が検出できなければ、切り出した画像を処理していない検出レコード(未処理の検出レコード)があるかどうかを判定する(s40)。画像処理プロセッサ4は、未処理の検出レコードがあれば、ビデオカメラのアングルの水平方向成分にかかる直線と、なす角度が次に小さい移動ベクトルが得られたフレーム画像を判定し(s41)、このフレーム画像に対して上述したs34以降の処理を行う。   If the face image can be detected by the second face image detection process in s37, the image processor 4 determines that the subject is wearing a mask (s38, s39). On the other hand, if the face image cannot be detected in the second face image detection process in s37, the image processor 4 determines whether there is a detection record (unprocessed detection record) that has not processed the clipped image. (S40). If there is an unprocessed detection record, the image processor 4 determines a frame image in which a straight line relating to the horizontal component of the angle of the video camera and a movement vector having the next smallest angle are obtained (s41). The process after s34 described above is performed on the frame image.

また、画像処理プロセッサ4は、s40で未処理の検出レコードがないと判定すると、顔が撮像されないように移動している対象者であると判定する(s42)。このs42は、対象者の状態にかかる属性の判定である。   If the image processor 4 determines that there is no unprocessed detection record in s40, the image processor 4 determines that the subject is moving so that the face is not captured (s42). This s42 is determination of the attribute concerning the state of the subject.

なお、この例では、s34にかかる第1の顔画像検出処理で顔を検出した対象者については、第2の顔画像検出処理を行うことなく、マスクをつけていないと判定する構成であるが、第1の顔画像検出処理、および第2の顔画像検出処理を実行し、それぞれの処理による顔画像の検出確度によって決定してもよい。   In this example, the subject whose face is detected in the first face image detection process in s34 is determined not to have a mask without performing the second face image detection process. The first face image detection process and the second face image detection process may be executed, and the determination may be made based on the detection accuracy of the face image by each process.

また、画像処理プロセッサ4は、s36でマスクをつけていないと判定した対象者、およびs39でマスクをつけていると判定した対象者について、サングラスをかけているかどうかを判定する(s43)。s43では、対象者の顔に眼鏡のフレームがあり、且つ目の周辺(検出したフレームの内側であるレンズ部分)の輝度が鼻や頬等の部位の輝度に比べて予め定めた値以上低いときに、サングラスをかけていると判定する。   Further, the image processor 4 determines whether or not the person wearing the mask is wearing sunglasses for the person who is determined not to wear the mask in s36 and the person who is determined to be wearing the mask in s39 (s43). In s43, when there is a frame of glasses on the subject's face and the brightness of the periphery of the eye (the lens part inside the detected frame) is lower than a predetermined value compared to the brightness of a part such as the nose or cheek It is determined that you are wearing sunglasses.

画像処理プロセッサ4は、s24にかかる処理が完了すると、対象者の移動速度にかかる属性について判定する(s25)。上述したように、この例は、実空間上における対象者の移動速度を検出する構成ではなく、フレーム画像上における対象者の移動速度を検出する構成である。画像処理プロセッサ4は、フレーム画像上における人の平均移動速度Vaveを得ている。この平均移動速度Vaveは、画像入力部3に入力されたビデオ画像に撮像されている複数人について検出した移動速度Vの平均値である。s25では、対象者の移動速度Vと、平均移動速度Vaveとの比較により、この対象者の移動速度Vが、他の人に比べてはやいかどうかを判定する。具体的には、画像処理プロセッサ4は、
移動速度V>平均移動速度Vave+α(但し、αは予め定めた補正定数)
であれば、移動速度がはやい対象者であると判定する。
When the process related to s24 is completed, the image processor 4 determines the attribute related to the moving speed of the subject (s25). As described above, this example is not a configuration for detecting the moving speed of the subject in the real space but a configuration for detecting the moving speed of the target on the frame image. The image processor 4 obtains the average moving speed Vave of the person on the frame image. This average moving speed Vave is an average value of the moving speed V detected for a plurality of persons captured in the video image input to the image input unit 3. In s25, by comparing the moving speed V of the subject person with the average moving speed Vave, it is determined whether or not the moving speed V of the subject person is faster than other people. Specifically, the image processor 4
Movement speed V> Average movement speed Vave + α (where α is a predetermined correction constant)
If it is, it will determine with a moving speed being a target person.

画像処理プロセッサ4は、上述した処理で判定した属性の判定結果に基づき、この対象者に対するレコードを作成し、これを図2に示す属性判定結果DB5に登録する(s26)。   The image processor 4 creates a record for the target person based on the attribute determination result determined in the above-described processing, and registers it in the attribute determination result DB 5 shown in FIG. 2 (s26).

次に、出力画像生成処理について説明する。上述したように、画像入力部3に入力されたビデオ画像に撮像されていた人は、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について、当てはまるかどうかを判定した判定結果を対応付けて属性判定結果DB5に登録している。図6は、出力画像生成処理を示すフローチャートである。
Next, output image generation processing will be described. As described above, a person who is captured in the video image input to the image input unit 3
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
These four attributes are registered in the attribute determination result DB 5 in association with the determination results determined as to whether they are applicable. FIG. 6 is a flowchart showing output image generation processing.

操作者は、操作部6において、オブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ4は、操作部6において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける(s51)。s51で受け付ける属性の種類は、1つ以上であればいくつであってもよい。このs51にかかる処理が、この発明で言う属性指定受付ステップに相当する。   The operator uses the operation unit 6 to perform an input operation related to designation of the type of attribute of the object. The image processor 4 accepts the attribute type of the object designated by the input operation performed by the operator on the operation unit 6 (s51). The number of attribute types accepted in s51 may be any number as long as it is one or more. The processing according to s51 corresponds to the attribute designation receiving step referred to in the present invention.

画像処理プロセッサ4は、属性判定結果DB5を検索し、s51で受け付けた種類の属性について、当てはまると判定した対象者を抽出する(s52)。画像処理プロセッサ4は、s51で受け付けた属性の種類が複数である場合、受け付けた全ての種類の属性について、当てはまると判定した対象者を抽出する処理としてもよいし、受け付けたいずれかの種類の属性について、当てはまると判定した対象者を抽出する構成としてもよい。   The image processor 4 searches the attribute determination result DB 5 and extracts a target person who is determined to be applicable to the type of attribute received in s51 (s52). When there are a plurality of types of attributes received in s51, the image processor 4 may perform processing for extracting a target person who is determined to be applicable to all the received types of attributes, or any of the types of received types. It is good also as a structure which extracts the subject who determined with applying about an attribute.

画像処理プロセッサ4は、s52で抽出した各対象者の顔画像を一覧で表示するサムネイル画像を出力画像として生成する(s53)。このs53にかかる処理が、この発明で言う出力画像生成ステップに相当する。画像処理プロセッサ4は、s52で生成したサムネイル画像を出力部7から出力する(s54)。このサムネイル画像は、出力部7に接続されている表示装置等において表示される。このs54にかかる処理が、この発明で言う出力ステップに相当する。   The image processor 4 generates, as an output image, a thumbnail image that displays a list of the face images of each subject extracted in s52 (s53). The processing according to s53 corresponds to the output image generation step referred to in the present invention. The image processor 4 outputs the thumbnail image generated in s52 from the output unit 7 (s54). The thumbnail image is displayed on a display device or the like connected to the output unit 7. The processing according to s54 corresponds to an output step in the present invention.

図7は、このサムネイル画像の表示画面例を示す図である。図7は、指定した属性の種類が「マスクをつけている」であった場合の例である。   FIG. 7 is a diagram showing an example of the thumbnail image display screen. FIG. 7 shows an example when the type of the designated attribute is “with mask”.

したがって、外見にかかる特徴(マスクをつけていたや、サングラスをかけていた等)が判明している人であれば、ビデオ画像に撮像されている該当する人の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。   Therefore, if you know the appearance characteristics (such as wearing a mask or wearing sunglasses), the time and effort required to confirm the person in the video image can be saved. It is done. In addition, it is possible to narrow down the objects to be checked with an attribute relating to a state where the moving speed is fast.

また、上記の例では、指定された種類の属性に当てはまる人の顔画像を一覧で表示するサムネイル画像を出力画像として生成し、出力するとしたが、画像入力部3に入力されたビデオ画像に撮像されている人全員の顔画像を一覧で表示するとともに、指定された種類の属性に当てはまる人については、他の人に比べて強調した画像、例えば顔画像の枠線を太くしたり、色を異ならせたりした画像、を出力画像として生成してもよい。   In the above example, a thumbnail image that displays a list of human face images corresponding to the specified type of attribute is generated and output as an output image. However, a video image input to the image input unit 3 is captured. In addition to displaying a list of face images of all the people who have been assigned, for those who apply to the attributes of the specified type, images that are emphasized compared to other people, for example, the border of the face image is thickened or the color is changed. Different images may be generated as output images.

次に、再生処理について説明する。図8は、この再生処理を示すフローチャートである。   Next, the reproduction process will be described. FIG. 8 is a flowchart showing this reproduction processing.

画像処理プロセッサ4は、図7に示している出力画像において、表示されている顔画像の指定を受け付ける(s61)。画像処理プロセッサ4は、顔画像が指定された人のIDを判断する(s62)。画像処理プロセッサ4は、s62で判断したIDをキーにして、属性判定結果DB5を検索し、該当者の再生開始位置を取得する(s63)。画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像について、s63で取得した再生位置から再生を開始する(s64)。このs64が、この発明で言う再生部に相当する構成である。すなわち、画像処理プロセッサ4は、この発明で言う再生部に相当する構成も有している。   The image processor 4 receives the designation of the displayed face image in the output image shown in FIG. 7 (s61). The image processor 4 determines the ID of the person whose face image is designated (s62). The image processor 4 searches the attribute determination result DB 5 using the ID determined in s62 as a key, and acquires the reproduction start position of the corresponding person (s63). The image processor 4 starts playback of the video image input to the image input unit 3 from the playback position acquired in s63 (s64). This s64 is a configuration corresponding to the reproducing unit referred to in the present invention. That is, the image processor 4 also has a configuration corresponding to the playback unit referred to in the present invention.

なお、再生対象であるビデオ画像については、画像入力部3に接続されているハードディスク等のメディア(不図示)に記録(録画)されている。また、このメディアは、画像処理装置1に内蔵されているものであってもよいし、画像処理装置1に対して外付けされたものであってもよい。   Note that a video image to be reproduced is recorded (recorded) on a medium (not shown) such as a hard disk connected to the image input unit 3. The medium may be built in the image processing apparatus 1 or may be externally attached to the image processing apparatus 1.

これにより、警備員等の担当者は、顔画像を指定することによって、その顔画像にかかる人が撮像されているビデオ画像を簡単に確認できる。   Thereby, a person in charge such as a guard can easily confirm a video image in which a person related to the face image is captured by designating the face image.

また、上記の例では、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について当てはまるかどうかを判定するとしたが、判定する属性の種類はこれに限らない。
In the above example,
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
However, the type of attribute to be determined is not limited to this.

また、上記の例では、対象とするオブジェクトの種類を人にしたが、他の移動体であってもよい。例えば、対象とするオブジェクトの種類を車両にする場合には、
(a)ナンバープレートが隠されているかどうか、
(b)ナンバープレートに表記されているナンバープレート番号を隠しているかどうか(ナンバープレート自体は隠されていない。)、
(c)車両正面側からドライバの顔が見えないように隠しているかどうか等を外見にかかる属性として判定し、
(d)移動速度がはやいかどうか、
(e)逆走しているかどうか、
(f)蛇行しているかどうか、
(g)無灯火が走行しているかどうか、等を状態にかかる属性として判定すればよい。
Further, in the above example, the type of the target object is human, but other moving bodies may be used. For example, when the target object type is a vehicle,
(A) whether the license plate is hidden,
(B) Whether the license plate number written on the license plate is hidden (the license plate itself is not hidden),
(C) It is determined whether or not the driver's face is hidden from the front side of the vehicle as an attribute related to appearance,
(D) Whether the moving speed is fast,
(E) whether you are running backwards,
(F) whether it is meandering,
(G) What is necessary is just to determine whether the no-light is running, etc. as an attribute concerning a state.

(a)は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられなかったときに、ナンバープレートが隠されていると判定すればよい。また、(b)は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられたが、表記されている文字(ナンバープレート番号)に対する文字認識処理で、ナンバープレート番号が認識できなかったときに、ナンバープレート番号を隠していると判定すればよい。また、(c)は、略正面から車両を撮像したフレーム画像において、上述した第1の顔画像検出処理、および第2の顔画像検出処理の両方でドライバの顔が検出できなかったときに、ドライバの顔が見えないように隠していると判定すればよい。   (A) should just determine with the number plate being hidden, when the number plate of the vehicle is not found by processes, such as pattern matching with respect to the frame image in which the vehicle is imaged. In addition, (b) is a character recognition process for a written character (number plate number), although a license plate of the vehicle was found by processing such as pattern matching for a frame image in which the vehicle is imaged. When the license plate number cannot be recognized, it may be determined that the license plate number is hidden. (C) is a frame image obtained by imaging the vehicle from substantially the front, when the driver's face cannot be detected by both the first face image detection process and the second face image detection process described above. It may be determined that the driver's face is hidden from view.

また、(d)は、上述した人の場合と同様に判定すればよい。また、(e)、および(f)は、車両の移動経路から判定すればよい。さらに、(f)は、ほとんどの車両が前照灯を点灯させている状況において、前照灯を点灯させていない車両を無灯火で走行している車両であると判定すればよい。前照灯が点灯しているかどうかは、撮像されているフレーム画像において、車両の左右両側に輝度が高い領域があるかどうかによって判定できる。   Moreover, what is necessary is just to determine similarly to the case of the person mentioned above (d). Further, (e) and (f) may be determined from the moving route of the vehicle. Furthermore, (f) should just determine with the vehicle which is driving | running with no light in the situation where most vehicles are lighting the headlamp, and the vehicle which is not lighting the headlamp. Whether or not the headlamp is lit can be determined based on whether or not there is a region with high luminance on both the left and right sides of the vehicle in the captured frame image.

この場合も、外見にかかる特徴が判明している車両であれば、ビデオ画像に撮像されている該当する車両の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。   In this case as well, if the vehicle is characterized by appearance, the time and labor required for confirming the corresponding vehicle captured in the video image can be reduced. In addition, it is possible to narrow down the objects to be checked with an attribute relating to a state where the moving speed is fast.

また、対象とするオブジェクトの種類は、上述した人や車両にかぎらず、他の種類の移動体であってもよい。また、対象とするオブジェクトの種類は、1種類に限らず、複数種類であってもよい。この場合、対象とするオブジェクトの種類毎に分けて、図2に示した属性判定結果DB5を作成するのが好ましい。   Further, the type of the target object is not limited to the above-described person or vehicle, but may be other types of moving objects. Further, the type of object to be targeted is not limited to one type, and may be a plurality of types. In this case, it is preferable to create the attribute determination result DB 5 shown in FIG. 2 separately for each target object type.

1…画像処理装置
2…制御部
3…画像入力部
4…画像処理プロセッサ
5…属性判定結果データベース(属性判定結果DB)
6…操作部
7…出力部
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 2 ... Control part 3 ... Image input part 4 ... Image processor 5 ... Attribute determination result database (attribute determination result DB)
6 ... Operation part 7 ... Output part

Claims (6)

ビデオ画像を入力する画像入力部と、
前記画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する属性判定部と、
オブジェクトの属性の指定を受け付ける属性指定受付部と、
前記属性指定受付部で受け付けたオブジェクトの属性について、前記属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成部と、
前記出力画像生成部が生成した出力画像を出力する出力部と、を備え、
前記属性判定部は、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定する、画像処理装置。
An image input unit for inputting a video image;
Whether the frame image applied to the video image input to the image input unit is processed, and for the object being imaged, whether the attribute relating to the appearance of the predetermined object and the attribute relating to the state of the object apply to the attribute An attribute determination unit for determining
An attribute designation accepting unit for accepting specification of an object attribute;
An output image generating unit that generates an output image that distinguishes an object determined by the attribute determining unit from other objects for the attribute of the object received by the attribute designation receiving unit;
An output unit that outputs the output image generated by the output image generation unit,
The attribute determination unit determines, as an attribute related to the state of the object, at least whether the moving speed of the object is faster than other objects based on the average moving speed of the object on the frame image, not in real space. An image processing apparatus that makes a determination.
前記出力画像生成部は、前記属性指定受付部で受け付けたオブジェクトの属性について、前記属性判定部が当てはまると判定したオブジェクトを、一覧で表示するサムネイル画像を前記出力画像として生成する、請求項1に記載の画像処理装置。 The output image generating unit, the attributes of the object received by the attribute designation receiver, the object is determined that the attribute determining unit applies, to generate a thumbnail image to be displayed in a list as the output image, in claim 1 The image processing apparatus described. 前記画像入力部に入力されたビデオ画像に撮像されているオブジェクト毎に、そのオブジェクトの画像と、前記属性判定部が予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定した判定結果と、を対応付けて記憶する属性判定結果記憶部を備えた請求項1、または2に記載の画像処理装置。 For each object captured in the video image input to the image input unit, a determination is made as to whether the image of the object and a plurality of types of attributes predetermined by the attribute determination unit apply to the attribute. The image processing apparatus according to claim 1 , further comprising an attribute determination result storage unit that stores the results in association with each other. 前記出力部が出力した出力画像に含まれるいずれかのオブジェクトが選択指定されたとき、前記画像入力部に入力されたビデオ画像において、そのオブジェクトが撮像されている位置を再生する再生部を備えた請求項1〜のいずれかに記載の画像処理装置。 When any object included in the output image output by the output unit is selected and specified, a playback unit that plays back the position where the object is captured in the video image input to the image input unit is provided. the image processing apparatus according to any one of claims 1-3. 画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する属性判定ステップと、
属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
前記出力画像生成ステップで生成した出力画像を出力部から出力する出力ステップと、をコンピュータが、実行する画像処理方法であって、
前記属性判定ステップは、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定するステップである、画像処理方法。
Whether a frame image applied to a video image input to the image input unit is processed, and for an object being imaged, an attribute relating to the appearance of a predetermined object and an attribute relating to the state of the object, whether the attribute applies An attribute determination step for determining;
In the attribute designation accepting unit, an attribute designation accepting step for accepting designation of the attribute of the object;
An output image generating step for generating an output image that distinguishes an object that has been determined to be applicable to the attribute determination step with respect to the attribute of the object received in the attribute designation reception step;
An output processing for outputting an output image generated in the output image generation step from an output unit, and an image processing method that a computer executes,
In the attribute determination step, as an attribute related to the state of the object, at least whether or not the moving speed of the object is faster than other objects is based on the average moving speed of the object on the frame image, not in the real space. An image processing method that is a step of determining by
画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する属性判定ステップと、
属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
前記出力画像生成ステップで生成した出力画像を出力部から出力する出力ステップと、をコンピュータに実行させる画像処理プログラムであって、
前記属性判定ステップは、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定するステップである、画像処理プログラム。
Whether a frame image applied to a video image input to the image input unit is processed, and for an object being imaged, an attribute relating to the appearance of a predetermined object and an attribute relating to the state of the object, whether the attribute applies An attribute determination step for determining;
In the attribute designation accepting unit, an attribute designation accepting step for accepting designation of the attribute of the object;
An output image generating step for generating an output image that distinguishes an object that has been determined to be applicable to the attribute determination step with respect to the attribute of the object received in the attribute designation reception step;
An output processing for outputting an output image generated in the output image generation step from an output unit, and an image processing program for causing a computer to execute the output step,
In the attribute determination step, as an attribute related to the state of the object, at least whether or not the moving speed of the object is faster than other objects is based on the average moving speed of the object on the frame image, not in the real space. An image processing program that is a step of determining by
JP2013145981A 2013-07-12 2013-07-12 Image processing apparatus, image processing method, and image processing program Active JP6405606B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013145981A JP6405606B2 (en) 2013-07-12 2013-07-12 Image processing apparatus, image processing method, and image processing program
CN201480002199.XA CN104604219B (en) 2013-07-12 2014-06-23 Image processing apparatus and image processing method
PCT/JP2014/066526 WO2015005102A1 (en) 2013-07-12 2014-06-23 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013145981A JP6405606B2 (en) 2013-07-12 2013-07-12 Image processing apparatus, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2015019296A JP2015019296A (en) 2015-01-29
JP6405606B2 true JP6405606B2 (en) 2018-10-17

Family

ID=52279788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013145981A Active JP6405606B2 (en) 2013-07-12 2013-07-12 Image processing apparatus, image processing method, and image processing program

Country Status (3)

Country Link
JP (1) JP6405606B2 (en)
CN (1) CN104604219B (en)
WO (1) WO2015005102A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117835B (en) * 2017-06-26 2022-10-14 佳能株式会社 Image processing apparatus and method
JP7444423B2 (en) 2019-05-20 2024-03-06 i-PRO株式会社 Vehicle monitoring system and vehicle monitoring method
WO2022091297A1 (en) * 2020-10-29 2022-05-05 日本電気株式会社 Spectator monitoring device, spectator monitoring system, spectator monitoring method, and non-transitory computer-readable medium
KR102465437B1 (en) * 2022-05-30 2022-11-10 (주)이앤제너텍 Apparatus and method for tracking object based on artificial intelligence

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP4541316B2 (en) * 2006-04-06 2010-09-08 三菱電機株式会社 Video surveillance search system
JP4944818B2 (en) * 2008-02-28 2012-06-06 綜合警備保障株式会社 Search device and search method
JP5523900B2 (en) * 2009-03-31 2014-06-18 綜合警備保障株式会社 Person search device, person search method, and person search program
CN102045162A (en) * 2009-10-16 2011-05-04 电子科技大学 Personal identification system of permittee with tri-modal biometric characteristic and control method thereof
JP5574692B2 (en) * 2009-12-17 2014-08-20 キヤノン株式会社 Video information processing method and apparatus
JP5400718B2 (en) * 2010-07-12 2014-01-29 株式会社日立国際電気 Monitoring system and monitoring method
CN101980242B (en) * 2010-09-30 2014-04-09 徐勇 Human face discrimination method and system and public safety system
JP5793353B2 (en) * 2011-06-20 2015-10-14 株式会社東芝 Face image search system and face image search method
CN102789690B (en) * 2012-07-17 2014-08-20 公安部道路交通安全研究中心 Illegal vehicle identifying method and system
CN102890719B (en) * 2012-10-12 2015-12-16 浙江宇视科技有限公司 A kind of method that license plate number is searched for generally and device

Also Published As

Publication number Publication date
JP2015019296A (en) 2015-01-29
CN104604219B (en) 2019-04-12
WO2015005102A1 (en) 2015-01-15
CN104604219A (en) 2015-05-06

Similar Documents

Publication Publication Date Title
JP4700477B2 (en) MOBILE BODY MONITORING SYSTEM AND MOBILE BODY FEATURE CALCULATION DEVICE
JP2019192227A (en) Video monitoring system, video processing method, and video processing program
US20200374491A1 (en) Forensic video exploitation and analysis tools
WO2007037065A9 (en) Object tracking method and object tracking apparatus
CN111815675A (en) Target object tracking method and device, electronic equipment and storage medium
JP2016208127A (en) Case video processing apparatus, case video processing system, case video processing method, and program
KR101645959B1 (en) The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map
JP2018005555A (en) Image processing device, information processing device and method, as well as program
JP2008009849A (en) Person tracking device
JP6405606B2 (en) Image processing apparatus, image processing method, and image processing program
US11120838B2 (en) Information processing apparatus, control method, and program
JP2009027393A (en) Image searching system and personal searching method
JP6292540B2 (en) Information processing system, information processing method, and program
KR20110035662A (en) Intelligent image search method and system using surveillance camera
US20220004748A1 (en) Video display method, device and system, and video camera
KR20170006356A (en) Method for customer analysis based on two-dimension video and apparatus for the same
US20200311438A1 (en) Representative image generation device and representative image generation method
JP2019096062A (en) Object tracking device, object tracking method, and object tracking program
JP2012230494A (en) Pedestrian detection device
JP7263094B2 (en) Information processing device, information processing method and program
JP5962383B2 (en) Image display system and image processing apparatus
CN112381068B (en) Method and system for detecting 'playing mobile phone' of person
KR102356165B1 (en) Method and device for indexing faces included in video
JPWO2020022362A1 (en) Motion detection device, characteristic detection device, fluid detection device, motion detection system, motion detection method, program, and recording medium
JP2008146132A (en) Image detection device, program, and image detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6405606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250