JP6405606B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP6405606B2 JP6405606B2 JP2013145981A JP2013145981A JP6405606B2 JP 6405606 B2 JP6405606 B2 JP 6405606B2 JP 2013145981 A JP2013145981 A JP 2013145981A JP 2013145981 A JP2013145981 A JP 2013145981A JP 6405606 B2 JP6405606 B2 JP 6405606B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- image
- unit
- output
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Description
この発明は、ビデオ画像に撮像されているオブジェクト(人や車両等)の中から、指定した属性に当てはまるオブジェクトを確認する技術に関する。 The present invention relates to a technique for confirming an object that matches a specified attribute from objects (people, vehicles, etc.) captured in a video image.
従来、空港、駅、ショッピングセンター、街角等、様々な場所に監視カメラが設置されている。また、指名手配中の人物等を検出対象者とし、監視カメラの撮像画像に撮像されている人物の顔を、検出対象者の顔と照合する顔認識を行って、検出対象者が撮像されている撮像画像を検出することが提案されている(特許文献1等参照)。 Conventionally, surveillance cameras are installed in various places such as airports, stations, shopping centers, street corners and the like. In addition, the person who is being picked up is a person to be detected, and the face of the person captured in the captured image of the surveillance camera is compared with the face of the person to be detected, and the person to be detected is captured. It has been proposed to detect a captured image (see Patent Document 1).
また、この種の装置では、撮像されている検出対象者を検出すると、その撮像画像が撮像された場所、日時、撮像されている検出対象者等を含む検出通知を関係機関等に通知することも行っている。 In addition, in this type of device, when a detection target person being imaged is detected, a notification of detection including the location where the captured image was captured, the date and time, the detection target person being imaged, etc. is notified to the related organizations. Is also going.
関係機関等では、通知された検出通知に基づいて、警備員等が検出対象者の捜索を行っている。 In related organizations and the like, security guards or the like search for a detection target person based on the notified detection notification.
しかしながら、監視カメラの撮像エリア外において、何らかの事件や事故等のトラブルが発生することがある。このような場合、監視カメラがその現場を撮像していないので、トラブルが発生した現場周辺に設置されている複数の監視カメラの撮像画像を確認し、当事者らしき人物を見つけることになる。 However, troubles such as some incidents and accidents may occur outside the imaging area of the surveillance camera. In such a case, since the surveillance camera is not imaging the site, the captured images of the plurality of surveillance cameras installed around the site where the trouble has occurred are confirmed, and a person who seems to be a party is found.
上述の特許文献1等で提案されている装置は、検出対象者の顔がすでに判明していることを前提にしているので、監視カメラの撮像画像に対して、顔が判明していない検出対象者(発生したトラブルの当事者)を簡単に探索することができない。したがって、警備員等の担当者が、そのトラブルを目撃した人(目撃者)から当事者の外見の特徴(マスクをつけていた、サングラスを掛けていた等)を聞き、監視カメラの撮像画像を目視で確認し、撮像されている当事者らしき人物を探していた。このように、監視カメラの撮像画像から、外見にかかる特徴が判明していても、顔が判明していない人を確認する作業は時間と手間がかかるものであった。
Since the apparatus proposed in the above-mentioned
この発明の目的は、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える技術を提供する。 An object of the present invention is to provide a technique for easily confirming a corresponding object captured in a video image if it is an object such as a person or a vehicle whose characteristics concerning appearance are known.
この発明の画像処理装置は、上記目的を達するために以下のように構成している。 In order to achieve the above object, the image processing apparatus of the present invention is configured as follows.
属性判定部は、画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する。画像入力部に入力されるビデオ画像は、監視カメラ等の撮像装置が撮像している撮像エリアのリアルタイムの画像であってもよいし、メディアに録画した画像であってもよい。また、属性判定部は、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを判定する。属性判定部は、フレーム画像上におけるオブジェクトの平均移動速度を基準にして、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定する。 The attribute determination unit processes the frame image related to the video image input to the image input unit, and for the imaged object, the attribute related to the appearance of the predetermined object and the attribute related to the state of the object To determine whether it is true. The video image input to the image input unit may be a real-time image of an imaging area captured by an imaging device such as a surveillance camera, or may be an image recorded on a medium. Further, the attribute determination unit determines, as an attribute related to the state of the object, at least whether the moving speed of the object is faster than other objects. Attribute determination unit is based on the average moving speed of the object on the frame image, whether the moving speed of the object is fast in comparison with other objects, rather than on real space, the average moving speed of the object on the frame image Judgment on the basis of .
また、属性判定部が属性を判定するオブジェクトの種類は、例えば人や車両等の移動体である。 The type of object for which the attribute determining unit determines the attribute is, for example, a moving object such as a person or a vehicle.
また、属性判定部が当てはまっているかどうかを判定する移動速度以外の属性は、対象としたオブジェクトの種類に応じて定めればよい。例えば、対象としたオブジェクトの種類が人であれば、マスクをつけているかどうか、サングラスをかけているかどうか、等の外見にかかる属性や、顔が撮像されないように移動しているかどうか(顔を隠すように移動しているかどうか)等の状態(移動状態)にかかる属性を定めればよい。また、対象としたオブジェクトの種類が車両であれば、ナンバープレートが撮像されないように隠しているかどうか、ナンバープレートに表記されているナンバープレート番号を隠しているかどうか(ナンバープレート自体は隠されていない。)、車両正面側からドライバの顔が見えないように隠しているかどうか等の外見にかかる属性や、逆走しているかどうか、蛇行しているかどうか、無灯火で走行しているかどうか、等の状態(移動状態)にかかる属性を定めればよい。 Also, it attributes other than the moving speed you determine whether the attribute determining unit is held true may be determined according to the type of the object of interest. For example, if the target object type is a person, whether it is wearing a mask, wearing sunglasses, or other attributes related to appearance, whether it is moving so that the face is not imaged (the face is What is necessary is just to define the attribute concerning states (movement state), such as whether it is moving so that it may hide. If the target object type is a vehicle, whether the license plate is hidden so that it will not be imaged, whether the license plate number written on the license plate is hidden (the license plate itself is not hidden) .), Appearance attributes such as whether the driver's face is hidden from the front side of the vehicle, whether it is running backwards, whether it is meandering, whether it is running without light, etc. What is necessary is just to define the attribute concerning a state (movement state).
出力画像生成部は、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する。例えば、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を一覧で表示するサムネイル画像や、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を他の画像よりも強調して表示する強調表示画像を出力画像として生成する。そして、出力部が、出力画像生成部において生成された出力画像を出力する。 The output image generation unit generates an output image in which the object determined to be applicable by the attribute determination unit is distinguished from other objects for the attribute of the object received by the attribute designation reception unit. For example, with respect to the attributes of the object received in the attribute designation receiving unit, the attribute determining unit may be configured to display thumbnail images for displaying a list of images of the objects determined to be applicable by the attribute determining unit, or attributes of the object received in the attribute designation receiving unit. A highlighted display image that displays an image of an object that has been determined to be true more than other images is generated as an output image. Then, the output unit outputs the output image generated by the output image generation unit.
警備員等の担当者は、監視カメラ等で撮像したビデオ画像に撮像されている人に対する確認が簡単に行える。例えば、顔が判明していない人であっても、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。また、監視カメラ等で撮像したビデオ画像に撮像されている車両等の他の種類のオブジェクトに対する確認も、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。 A person in charge such as a security guard can easily confirm a person captured in a video image captured by a surveillance camera or the like. For example, even for a person whose face is not known, it is possible to narrow down by the attribute relating to the appearance that is known and the attribute relating to the state. In addition, confirmation of other types of objects such as a vehicle captured in a video image captured by a surveillance camera or the like can also be narrowed down based on the attributes relating to the appearance and the attributes relating to the state.
したがって、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認にかかる時間や手間が抑えられる。 Therefore, in the case of an object such as a person or a vehicle whose appearance characteristics are known, the time and labor required to confirm the corresponding object captured in the video image can be reduced.
また、この発明にかかる画像処理装置は、画像入力部に入力されたビデオ画像に撮像されているオブジェクト毎に、そのオブジェクトの画像と、属性判定部が予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定した判定結果と、を対応付けて記憶する属性判定結果記憶部を備える構成としてもよい。 The image processing apparatus according to the present invention provides, for each object captured in the video image input to the image input unit, an image of the object and a plurality of types of attributes predetermined by the attribute determination unit. It is good also as a structure provided with the attribute determination result memory | storage part which matches and memorize | stores the determination result determined whether it applies to an attribute.
このように構成すれば、画像入力部に入力されたビデオ画像に撮像されているオブジェクトに対する、属性判定部における処理を事前に行っておくことができる。これにより、属性指定受付部がオブジェクトの属性の指定を受け付けると、出力画像生成部における出力画像の生成をすぐに開始することができ、処理効率の向上が図れる。 If comprised in this way, the process in an attribute determination part can be performed in advance with respect to the object currently imaged by the video image input into the image input part. As a result, when the attribute designation accepting unit accepts the specification of the attribute of the object, the output image generating unit can immediately start generating the output image, and the processing efficiency can be improved.
また、この発明にかかる画像処理装置は、出力部が出力した出力画像に含まれるいずれかのオブジェクトが選択指定されたとき、ビデオ画像入力部に入力されたビデオ画像において、そのオブジェクトが撮像されている位置を再生する再生部を備える構成としてもよい。 The image processing apparatus according to the present invention captures an object in a video image input to the video image input unit when any object included in the output image output from the output unit is selected and designated. It is good also as a structure provided with the reproducing part which reproduces | regenerates the position which exists.
このように構成すれば、属性で絞り込んだオブジェクトが撮像されているビデオ画像の確認が簡単に行える。 With this configuration, it is possible to easily confirm a video image in which an object narrowed down by attributes is captured.
この発明によれば、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える。 According to the present invention, if an object such as a person or a vehicle whose features relating to appearance are known, the corresponding object captured in the video image can be easily confirmed.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図1は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置1は、制御部2と、画像入力部3と、画像処理プロセッサ4と、属性判定結果データベース5(属性判定結果DB5)と、操作部6と、出力部7と、を備えている。この例にかかる画像処理装置1は、ビデオ画像に撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定するとともに、その判定結果を用いて出力画像を生成し、出力する。
FIG. 1 is a block diagram showing the configuration of the main part of the image processing apparatus according to this example. The
制御部2は、画像処理装置1本体各部の動作を制御する。
The control unit 2 controls the operation of each part of the main body of the
画像入力部3には、ビデオ画像(動画像)が入力される。このビデオ画像は、監視カメラ等の撮像装置(不図示)が撮像している撮像エリアのリアルタイムの画像であってもよいし、ハードディスク等のメディアに録画したビデオ画像(MPEG2等で圧縮された動画像データ)であってもよい。
A video image (moving image) is input to the
画像処理プロセッサ4は、この発明で言う属性判定部に相当する構成を有し、画像入力部3に入力されたビデオ画像を処理し、撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する。この例では、外見にかかる属性として、マスクをつけているかどうか、サングラスをかけているかどうかの2つを定めている。また、状態にかかる属性として、移動速度がはやいかどうか、顔が撮像されないように移動しているかどうかの2つを定めている。
The
詳細については後述するが、画像処理プロセッサ4は、入力されたビデオ画像に撮像されている人の顔を切り出し、外見にかかる属性に当てはまるかどうかを判定する。また、画像処理プロセッサ4は、入力されたビデオ画像に撮像されている人を追跡し、状態(移動状態)にかかる属性に当てはまるかどうかを判定する。
Although details will be described later, the
また、画像処理プロセッサ4は、この発明で言う出力画像生成部に相当する構成を有し、上述の属性についての判定結果に基づく出力画像を生成する。
The
この画像処理プロセッサ4が、この発明にかかる画像処理方法を実行する(画像処理プログラムを実行させる。)コンピュータに相当する。
The
属性判定結果DB5は、入力されたビデオ画像に撮像されている人について、その人を識別するID、その人の顔画像(その人が撮像されているフレーム画像から切り出した顔画像)、予め定めた複数種類の属性について判定した判定結果、および入力されたビデオ画像の再生開始位置(その人がビデオ画像に撮像されている位置を示す時間データ)を対応付けて登録したデータベースである。図2は、この属性判定結果DBの構成を示す図である。この図2において、〇は対応する属性に当てはまることを示し、×は対応する属性に当てはまらないことを示している。また、顔隠しに当てはまる人(図2に示すIDが0006の人)については、顔画像を登録しなくてもよいが、この例では、その風体の確認が行えるように画像を登録している。属性判定結果DB5が、この発明で言う属性判定結果記憶部に相当する構成である。
The attribute determination result DB 5 determines in advance an ID for identifying a person captured in the input video image, a face image of the person (a face image cut out from a frame image in which the person is captured), and the like. This is a database in which the determination results determined for a plurality of types of attributes and the playback start position of the input video image (time data indicating the position where the person is captured in the video image) are registered in association with each other. FIG. 2 is a diagram showing the configuration of this attribute determination result DB. In FIG. 2, “◯” indicates that the corresponding attribute is applicable, and “X” indicates that the corresponding attribute is not applicable. In addition, for a person who applies to face concealment (person with
操作部6は、マウスやキーボード等の入力デバイスを有し、画像処理装置1本体に対する操作者の入力操作を受け付ける。操作者は、操作部6において、後述するオブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ4は、この発明で言う属性指定受付部に相当する構成を有し、操作部6において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける。
The operation unit 6 has an input device such as a mouse and a keyboard, and accepts an input operation by an operator on the
出力部7は、画像処理プロセッサ4が生成した出力画像や、画像入力部3に入力されたビデオ画像(再生画像)を出力する。出力部7には、表示装置(不図示)が接続されている。この表示装置は、出力部7が出力した画像を表示する。
The
以下、この画像処理装置1の動作について説明する。この画像処理装置1は、以下に示す属性判定結果DB作成処理、出力画像生成処理、再生処理等を実行する。
Hereinafter, the operation of the
図3は、この画像処理装置における属性判定結果DB作成処理を示すフローチャートである。この画像処理装置1は、画像入力部3に入力されたビデオ画像にかかるフレーム画像を、画像処理プロセッサ4で時系列に処理する。
FIG. 3 is a flowchart showing attribute determination result DB creation processing in the image processing apparatus. In the
画像処理プロセッサ4は、処理対象のフレーム画像に撮像されているオブジェクトを検出する(s1)。この例では、検出するオブジェクトは、人である。オブジェクトの検出は、例えばフレーム間差分画像や背景差分画像により検出した移動体毎に、パターンマッチングにより人らしき形状のオブジェクトを人として検出する。
The
画像処理プロセッサ4は、s1で検出した人毎に、処理対象のフレーム画像を識別するフレーム番号、そのフレーム画像から切り出したその人の撮像画像、フレーム画像上における位置(座標)を対応付けた検出レコードを作成する(s2)。
The
画像処理プロセッサ4は、s2で検出レコードを作成した人毎に、前回の処理対象のフレーム画像においても撮像されていた検出済の人であるかどうかを判定する(s3)。画像処理プロセッサ4は、s3で、前回の処理対象のフレーム画像に撮像されていなかった人(すなわち、前回の処理対象のフレーム画像の撮像タイミングと、今回の処理対象のフレーム画像の撮像タイミングと、の間にあらわれた人)であると判定すると、その人に対してIDを付与する(s4)。また、画像処理プロセッサ4は、s4で付与したIDにかかる人のオブジェクトマップを作成する(s5)。s5では、s4で付与したIDを用いて、s2で作成した検出レコードを登録したオブジェクトマップを作成する。このオブジェクトマップは、IDを付与した人毎に区別して作成する。
The
また、画像処理プロセッサ4は、s3で検出済の人であると判定すると、その人に対してすでに付与しているIDを判定する(s6)。また、画像処理プロセッサ4は、s6で判定したIDにかかるオブジェクトマップに、s2で作成した検出レコードを追加登録するオブジェクトマップの更新を行う(s7)。
If the
上述したように、このs3〜s7にかかる処理は、s2で検出レコードを作成した人毎に行う。 As described above, the processing related to s3 to s7 is performed for each person who created the detection record in s2.
画像処理プロセッサ4は、前回の処理対象のフレーム画像に撮像されていて、今回の処理対象のフレーム画像に撮像されていなかった人(検出完了の人)を抽出する(s8)。
The
画像処理プロセッサ4は、s8で抽出した人毎に、その人の属性を判定する属性判定処理を行う(s9)。s9では、s8で抽出した人毎に、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について、当てはまるかどうかを判定する。
The
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
It is determined whether or not these four attributes are true.
このs9にかかる属性判定処理の詳細については、後述する。また、このs9にかかる属性判定処理は、図3示す他の処理と切り離し、この図3に示す処理と並列に実行する構成としてもよい。 Details of the attribute determination processing according to s9 will be described later. Further, the attribute determination processing according to s9 may be separated from the other processing shown in FIG. 3 and executed in parallel with the processing shown in FIG.
画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像において、未処理のフレーム画像があるかどうかを判定する(s10)。画像処理プロセッサ4は、未処理のフレーム画像があれば、処理対象のフレーム画像を時間的に1つの先のフレーム画像に更新し(s11)、s1に戻る。
The
また、画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像において、未処理のフレーム画像がなければ、この時点で属性を判定していない人について属性判定処理を行う(s12)。s12は、s9と同じ処理であり、画像入力部3に入力されたビデオ画像の最後のフレーム画像に撮像されていた人についても属性を判定するために設けている。
If there is no unprocessed frame image in the video image input to the
ここでs9およびs12にかかる属性判定処理について説明する。図4は、この属性判定処理を示すフローチャートである。このs9、および12にかかる処理が、この発明で言う属性判定ステップに相当する。 Here, the attribute determination processing according to s9 and s12 will be described. FIG. 4 is a flowchart showing this attribute determination processing. The processing according to s9 and 12 corresponds to the attribute determination step in the present invention.
画像処理プロセッサ4は、属性を判定する対象者毎に、図4に示す処理を繰り返し行う。すなわち、図4は、1人の対象者に対する属性判定処理を示している。
The
画像処理プロセッサ4は、対象者について作成されたオブジェクトマップを読み出す(s21)。このオブジェクトマップには、上述したように、この対象者が撮像されていたフレーム画像毎に、そのフレーム画像から切り出した対象者の撮像画像、フレーム画像上における位置(座標)を対応付けた検出レコードが登録されている。
The
画像処理プロセッサ4は、s21で読み出したオブジェクトマップから、対象者の移動経路、および移動速度を検出する(s22)。移動経路は、オブジェクトマップに登録されている各検出レコードのフレーム画像上における位置(座標)から得られる。移動速度は、フレーム画像上の位置の変化量から得られるが、そのためには、フレーム画像上の距離と、実空間上の距離との関係が必要になる。画像入力部3に入力されるビデオ画像が特定の場所に設置したビデオカメラで撮像したビデオ画像であれば、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことで、実空間上における対象者の移動速度を検出することができる。
The
一方で、画像入力部3に入力されるビデオ画像が、特定のビデオカメラで撮像されたビデオ画像でない場合(そのときの状況に応じて入力されるビデオ画像を撮像したビデオカメラが異なる場合)、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことは困難である。このような理由から、この例では、実空間上の移動速度を検出するのではなく、フレーム画像上における移動速度を検出する構成としている。
On the other hand, when the video image input to the
画像処理プロセッサ4は、s22で検出した対象者の移動経路から、この対象者が顔が撮像される方向に移動しているかどうかを判定する(s23)。例えば、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、背を向けて遠ざかる方向である場合、この対象者は顔が撮像されない方向に移動していると判定する。また、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、近づいてくる方向である場合、この対象者は顔が撮像される方向に移動していると判定する。
The
画像処理プロセッサ4は、s23で対象者が顔が撮像される方向に移動していると判定すると、移動速度以外の属性について、当てはまるかどうかの判定を行う(s24)。この例では、外見にかかる属性として上述した(1)マスクをつけているかどうか、および、(2)サングラスをかけているかどうかについて判定する。また、状態にかかる属性として(4)顔が撮像されないように移動しているかどうかについて判定する。
If the
画像処理プロセッサ4は、s23で対象者が顔が撮像される方向に移動していないと判定すると、このs24にかかる処理を行わない。
If the
図5は、このs24にかかる移動速度以外の属性についての判定処理を示すフローチャートである。画像処理プロセッサ4は、対象者のオブジェクトマップに登録されている検出レコードを用いて、時間的に連続するフレーム画像間における対象者の移動ベクトルを取得する(s31)。画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像を撮像したビデオカメラのアングルの水平方向成分を検出し(s32)、この水平方向成分にかかる直線と、なす角度が最小である移動ベクトルが得られたフレーム画像(時間的に遅い方のフレーム画像)を判定する(s33)。s33では、ビデオカメラに対して対象者が正面を向いている可能性が高い、すなわち対象者の顔が撮像されている可能性が高い、フレーム画像を判定している。
FIG. 5 is a flowchart showing a determination process for attributes other than the moving speed according to s24. The
画像処理プロセッサ4は、s33で判定したフレーム画像から切り出した対象者の画像(検出レコードに登録されている画像)に対して、第1の顔画像検出処理を行う(s34)。この第1の顔画像検出処理は、マスクをつけていない人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。
The
画像処理プロセッサ4は、s34にかかる第1の顔画像検出処理で顔画像が検出できれば、この対象者がマスクをつけていないと判定する(s35、s36)。一方、画像処理プロセッサ4は、s34にかかる第1の顔画像検出処理で顔画像が検出できなければ、s33で判定したフレーム画像から切り出した対象の画像に対して、第2の顔画像検出処理を行う(s37)。この第2の顔画像検出処理は、マスクをつけている人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。
If the face image can be detected by the first face image detection process in s34, the
この例では、第1の顔画像検出処理、および第2の顔画像検出処理を行うことで、マスクをつけている人に対して、顔が撮像されていないという誤判定が行われるのを防止している。 In this example, by performing the first face image detection process and the second face image detection process, it is possible to prevent the person wearing the mask from making an erroneous determination that the face is not captured. doing.
画像処理プロセッサ4は、s37にかかる第2の顔画像検出処理で顔画像が検出できれば、この対象者についてマスクをつけていると判定する(s38、s39)。一方、画像処理プロセッサ4は、s37にかかる第2の顔画像検出処理で顔画像が検出できなければ、切り出した画像を処理していない検出レコード(未処理の検出レコード)があるかどうかを判定する(s40)。画像処理プロセッサ4は、未処理の検出レコードがあれば、ビデオカメラのアングルの水平方向成分にかかる直線と、なす角度が次に小さい移動ベクトルが得られたフレーム画像を判定し(s41)、このフレーム画像に対して上述したs34以降の処理を行う。
If the face image can be detected by the second face image detection process in s37, the
また、画像処理プロセッサ4は、s40で未処理の検出レコードがないと判定すると、顔が撮像されないように移動している対象者であると判定する(s42)。このs42は、対象者の状態にかかる属性の判定である。
If the
なお、この例では、s34にかかる第1の顔画像検出処理で顔を検出した対象者については、第2の顔画像検出処理を行うことなく、マスクをつけていないと判定する構成であるが、第1の顔画像検出処理、および第2の顔画像検出処理を実行し、それぞれの処理による顔画像の検出確度によって決定してもよい。 In this example, the subject whose face is detected in the first face image detection process in s34 is determined not to have a mask without performing the second face image detection process. The first face image detection process and the second face image detection process may be executed, and the determination may be made based on the detection accuracy of the face image by each process.
また、画像処理プロセッサ4は、s36でマスクをつけていないと判定した対象者、およびs39でマスクをつけていると判定した対象者について、サングラスをかけているかどうかを判定する(s43)。s43では、対象者の顔に眼鏡のフレームがあり、且つ目の周辺(検出したフレームの内側であるレンズ部分)の輝度が鼻や頬等の部位の輝度に比べて予め定めた値以上低いときに、サングラスをかけていると判定する。
Further, the
画像処理プロセッサ4は、s24にかかる処理が完了すると、対象者の移動速度にかかる属性について判定する(s25)。上述したように、この例は、実空間上における対象者の移動速度を検出する構成ではなく、フレーム画像上における対象者の移動速度を検出する構成である。画像処理プロセッサ4は、フレーム画像上における人の平均移動速度Vaveを得ている。この平均移動速度Vaveは、画像入力部3に入力されたビデオ画像に撮像されている複数人について検出した移動速度Vの平均値である。s25では、対象者の移動速度Vと、平均移動速度Vaveとの比較により、この対象者の移動速度Vが、他の人に比べてはやいかどうかを判定する。具体的には、画像処理プロセッサ4は、
移動速度V>平均移動速度Vave+α(但し、αは予め定めた補正定数)
であれば、移動速度がはやい対象者であると判定する。
When the process related to s24 is completed, the
Movement speed V> Average movement speed Vave + α (where α is a predetermined correction constant)
If it is, it will determine with a moving speed being a target person.
画像処理プロセッサ4は、上述した処理で判定した属性の判定結果に基づき、この対象者に対するレコードを作成し、これを図2に示す属性判定結果DB5に登録する(s26)。
The
次に、出力画像生成処理について説明する。上述したように、画像入力部3に入力されたビデオ画像に撮像されていた人は、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について、当てはまるかどうかを判定した判定結果を対応付けて属性判定結果DB5に登録している。図6は、出力画像生成処理を示すフローチャートである。
Next, output image generation processing will be described. As described above, a person who is captured in the video image input to the
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
These four attributes are registered in the attribute determination result DB 5 in association with the determination results determined as to whether they are applicable. FIG. 6 is a flowchart showing output image generation processing.
操作者は、操作部6において、オブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ4は、操作部6において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける(s51)。s51で受け付ける属性の種類は、1つ以上であればいくつであってもよい。このs51にかかる処理が、この発明で言う属性指定受付ステップに相当する。
The operator uses the operation unit 6 to perform an input operation related to designation of the type of attribute of the object. The
画像処理プロセッサ4は、属性判定結果DB5を検索し、s51で受け付けた種類の属性について、当てはまると判定した対象者を抽出する(s52)。画像処理プロセッサ4は、s51で受け付けた属性の種類が複数である場合、受け付けた全ての種類の属性について、当てはまると判定した対象者を抽出する処理としてもよいし、受け付けたいずれかの種類の属性について、当てはまると判定した対象者を抽出する構成としてもよい。
The
画像処理プロセッサ4は、s52で抽出した各対象者の顔画像を一覧で表示するサムネイル画像を出力画像として生成する(s53)。このs53にかかる処理が、この発明で言う出力画像生成ステップに相当する。画像処理プロセッサ4は、s52で生成したサムネイル画像を出力部7から出力する(s54)。このサムネイル画像は、出力部7に接続されている表示装置等において表示される。このs54にかかる処理が、この発明で言う出力ステップに相当する。
The
図7は、このサムネイル画像の表示画面例を示す図である。図7は、指定した属性の種類が「マスクをつけている」であった場合の例である。 FIG. 7 is a diagram showing an example of the thumbnail image display screen. FIG. 7 shows an example when the type of the designated attribute is “with mask”.
したがって、外見にかかる特徴(マスクをつけていたや、サングラスをかけていた等)が判明している人であれば、ビデオ画像に撮像されている該当する人の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。 Therefore, if you know the appearance characteristics (such as wearing a mask or wearing sunglasses), the time and effort required to confirm the person in the video image can be saved. It is done. In addition, it is possible to narrow down the objects to be checked with an attribute relating to a state where the moving speed is fast.
また、上記の例では、指定された種類の属性に当てはまる人の顔画像を一覧で表示するサムネイル画像を出力画像として生成し、出力するとしたが、画像入力部3に入力されたビデオ画像に撮像されている人全員の顔画像を一覧で表示するとともに、指定された種類の属性に当てはまる人については、他の人に比べて強調した画像、例えば顔画像の枠線を太くしたり、色を異ならせたりした画像、を出力画像として生成してもよい。
In the above example, a thumbnail image that displays a list of human face images corresponding to the specified type of attribute is generated and output as an output image. However, a video image input to the
次に、再生処理について説明する。図8は、この再生処理を示すフローチャートである。 Next, the reproduction process will be described. FIG. 8 is a flowchart showing this reproduction processing.
画像処理プロセッサ4は、図7に示している出力画像において、表示されている顔画像の指定を受け付ける(s61)。画像処理プロセッサ4は、顔画像が指定された人のIDを判断する(s62)。画像処理プロセッサ4は、s62で判断したIDをキーにして、属性判定結果DB5を検索し、該当者の再生開始位置を取得する(s63)。画像処理プロセッサ4は、画像入力部3に入力されたビデオ画像について、s63で取得した再生位置から再生を開始する(s64)。このs64が、この発明で言う再生部に相当する構成である。すなわち、画像処理プロセッサ4は、この発明で言う再生部に相当する構成も有している。
The
なお、再生対象であるビデオ画像については、画像入力部3に接続されているハードディスク等のメディア(不図示)に記録(録画)されている。また、このメディアは、画像処理装置1に内蔵されているものであってもよいし、画像処理装置1に対して外付けされたものであってもよい。
Note that a video image to be reproduced is recorded (recorded) on a medium (not shown) such as a hard disk connected to the
これにより、警備員等の担当者は、顔画像を指定することによって、その顔画像にかかる人が撮像されているビデオ画像を簡単に確認できる。 Thereby, a person in charge such as a guard can easily confirm a video image in which a person related to the face image is captured by designating the face image.
また、上記の例では、
(1)マスクをつけているかどうか、
(2)サングラスをかけているかどうか
(3)移動速度がはやいかどうか、
(4)顔が撮像されないように移動しているかどうか、
の4つの属性について当てはまるかどうかを判定するとしたが、判定する属性の種類はこれに限らない。
In the above example,
(1) Whether you have a mask,
(2) Whether wearing sunglasses (3) Whether moving speed is fast,
(4) Whether the face is moving so that it is not imaged,
However, the type of attribute to be determined is not limited to this.
また、上記の例では、対象とするオブジェクトの種類を人にしたが、他の移動体であってもよい。例えば、対象とするオブジェクトの種類を車両にする場合には、
(a)ナンバープレートが隠されているかどうか、
(b)ナンバープレートに表記されているナンバープレート番号を隠しているかどうか(ナンバープレート自体は隠されていない。)、
(c)車両正面側からドライバの顔が見えないように隠しているかどうか等を外見にかかる属性として判定し、
(d)移動速度がはやいかどうか、
(e)逆走しているかどうか、
(f)蛇行しているかどうか、
(g)無灯火が走行しているかどうか、等を状態にかかる属性として判定すればよい。
Further, in the above example, the type of the target object is human, but other moving bodies may be used. For example, when the target object type is a vehicle,
(A) whether the license plate is hidden,
(B) Whether the license plate number written on the license plate is hidden (the license plate itself is not hidden),
(C) It is determined whether or not the driver's face is hidden from the front side of the vehicle as an attribute related to appearance,
(D) Whether the moving speed is fast,
(E) whether you are running backwards,
(F) whether it is meandering,
(G) What is necessary is just to determine whether the no-light is running, etc. as an attribute concerning a state.
(a)は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられなかったときに、ナンバープレートが隠されていると判定すればよい。また、(b)は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられたが、表記されている文字(ナンバープレート番号)に対する文字認識処理で、ナンバープレート番号が認識できなかったときに、ナンバープレート番号を隠していると判定すればよい。また、(c)は、略正面から車両を撮像したフレーム画像において、上述した第1の顔画像検出処理、および第2の顔画像検出処理の両方でドライバの顔が検出できなかったときに、ドライバの顔が見えないように隠していると判定すればよい。 (A) should just determine with the number plate being hidden, when the number plate of the vehicle is not found by processes, such as pattern matching with respect to the frame image in which the vehicle is imaged. In addition, (b) is a character recognition process for a written character (number plate number), although a license plate of the vehicle was found by processing such as pattern matching for a frame image in which the vehicle is imaged. When the license plate number cannot be recognized, it may be determined that the license plate number is hidden. (C) is a frame image obtained by imaging the vehicle from substantially the front, when the driver's face cannot be detected by both the first face image detection process and the second face image detection process described above. It may be determined that the driver's face is hidden from view.
また、(d)は、上述した人の場合と同様に判定すればよい。また、(e)、および(f)は、車両の移動経路から判定すればよい。さらに、(f)は、ほとんどの車両が前照灯を点灯させている状況において、前照灯を点灯させていない車両を無灯火で走行している車両であると判定すればよい。前照灯が点灯しているかどうかは、撮像されているフレーム画像において、車両の左右両側に輝度が高い領域があるかどうかによって判定できる。 Moreover, what is necessary is just to determine similarly to the case of the person mentioned above (d). Further, (e) and (f) may be determined from the moving route of the vehicle. Furthermore, (f) should just determine with the vehicle which is driving | running with no light in the situation where most vehicles are lighting the headlamp, and the vehicle which is not lighting the headlamp. Whether or not the headlamp is lit can be determined based on whether or not there is a region with high luminance on both the left and right sides of the vehicle in the captured frame image.
この場合も、外見にかかる特徴が判明している車両であれば、ビデオ画像に撮像されている該当する車両の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。 In this case as well, if the vehicle is characterized by appearance, the time and labor required for confirming the corresponding vehicle captured in the video image can be reduced. In addition, it is possible to narrow down the objects to be checked with an attribute relating to a state where the moving speed is fast.
また、対象とするオブジェクトの種類は、上述した人や車両にかぎらず、他の種類の移動体であってもよい。また、対象とするオブジェクトの種類は、1種類に限らず、複数種類であってもよい。この場合、対象とするオブジェクトの種類毎に分けて、図2に示した属性判定結果DB5を作成するのが好ましい。 Further, the type of the target object is not limited to the above-described person or vehicle, but may be other types of moving objects. Further, the type of object to be targeted is not limited to one type, and may be a plurality of types. In this case, it is preferable to create the attribute determination result DB 5 shown in FIG. 2 separately for each target object type.
1…画像処理装置
2…制御部
3…画像入力部
4…画像処理プロセッサ
5…属性判定結果データベース(属性判定結果DB)
6…操作部
7…出力部
DESCRIPTION OF
6 ...
Claims (6)
前記画像入力部に入力されたビデオ画像にかかるフレーム画像を処理し、撮像されているオブジェクトについて、予め定めたオブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるかどうかを判定する属性判定部と、
オブジェクトの属性の指定を受け付ける属性指定受付部と、
前記属性指定受付部で受け付けたオブジェクトの属性について、前記属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成部と、
前記出力画像生成部が生成した出力画像を出力する出力部と、を備え、
前記属性判定部は、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定する、画像処理装置。 An image input unit for inputting a video image;
Whether the frame image applied to the video image input to the image input unit is processed, and for the object being imaged, whether the attribute relating to the appearance of the predetermined object and the attribute relating to the state of the object apply to the attribute An attribute determination unit for determining
An attribute designation accepting unit for accepting specification of an object attribute;
An output image generating unit that generates an output image that distinguishes an object determined by the attribute determining unit from other objects for the attribute of the object received by the attribute designation receiving unit;
An output unit that outputs the output image generated by the output image generation unit,
The attribute determination unit determines, as an attribute related to the state of the object, at least whether the moving speed of the object is faster than other objects based on the average moving speed of the object on the frame image, not in real space. An image processing apparatus that makes a determination.
属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
前記出力画像生成ステップで生成した出力画像を出力部から出力する出力ステップと、をコンピュータが、実行する画像処理方法であって、
前記属性判定ステップは、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定するステップである、画像処理方法。 Whether a frame image applied to a video image input to the image input unit is processed, and for an object being imaged, an attribute relating to the appearance of a predetermined object and an attribute relating to the state of the object, whether the attribute applies An attribute determination step for determining;
In the attribute designation accepting unit, an attribute designation accepting step for accepting designation of the attribute of the object;
An output image generating step for generating an output image that distinguishes an object that has been determined to be applicable to the attribute determination step with respect to the attribute of the object received in the attribute designation reception step;
An output processing for outputting an output image generated in the output image generation step from an output unit, and an image processing method that a computer executes,
In the attribute determination step, as an attribute related to the state of the object, at least whether or not the moving speed of the object is faster than other objects is based on the average moving speed of the object on the frame image, not in the real space. An image processing method that is a step of determining by
属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
前記出力画像生成ステップで生成した出力画像を出力部から出力する出力ステップと、をコンピュータに実行させる画像処理プログラムであって、
前記属性判定ステップは、オブジェクトの状態にかかる属性として、少なくとも、オブジェクトの移動速度が他のオブジェクトに比べてはやいかどうかを、実空間上ではなく、フレーム画像上におけるオブジェクトの平均移動速度を基準にして判定するステップである、画像処理プログラム。 Whether a frame image applied to a video image input to the image input unit is processed, and for an object being imaged, an attribute relating to the appearance of a predetermined object and an attribute relating to the state of the object, whether the attribute applies An attribute determination step for determining;
In the attribute designation accepting unit, an attribute designation accepting step for accepting designation of the attribute of the object;
An output image generating step for generating an output image that distinguishes an object that has been determined to be applicable to the attribute determination step with respect to the attribute of the object received in the attribute designation reception step;
An output processing for outputting an output image generated in the output image generation step from an output unit, and an image processing program for causing a computer to execute the output step,
In the attribute determination step, as an attribute related to the state of the object, at least whether or not the moving speed of the object is faster than other objects is based on the average moving speed of the object on the frame image, not in the real space. An image processing program that is a step of determining by
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013145981A JP6405606B2 (en) | 2013-07-12 | 2013-07-12 | Image processing apparatus, image processing method, and image processing program |
CN201480002199.XA CN104604219B (en) | 2013-07-12 | 2014-06-23 | Image processing apparatus and image processing method |
PCT/JP2014/066526 WO2015005102A1 (en) | 2013-07-12 | 2014-06-23 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013145981A JP6405606B2 (en) | 2013-07-12 | 2013-07-12 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015019296A JP2015019296A (en) | 2015-01-29 |
JP6405606B2 true JP6405606B2 (en) | 2018-10-17 |
Family
ID=52279788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013145981A Active JP6405606B2 (en) | 2013-07-12 | 2013-07-12 | Image processing apparatus, image processing method, and image processing program |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6405606B2 (en) |
CN (1) | CN104604219B (en) |
WO (1) | WO2015005102A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117835B (en) * | 2017-06-26 | 2022-10-14 | 佳能株式会社 | Image processing apparatus and method |
JP7444423B2 (en) | 2019-05-20 | 2024-03-06 | i-PRO株式会社 | Vehicle monitoring system and vehicle monitoring method |
WO2022091297A1 (en) * | 2020-10-29 | 2022-05-05 | 日本電気株式会社 | Spectator monitoring device, spectator monitoring system, spectator monitoring method, and non-transitory computer-readable medium |
KR102465437B1 (en) * | 2022-05-30 | 2022-11-10 | (주)이앤제너텍 | Apparatus and method for tracking object based on artificial intelligence |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843495B2 (en) * | 2002-07-10 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Face recognition in a digital imaging system accessing a database of people |
JP4541316B2 (en) * | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | Video surveillance search system |
JP4944818B2 (en) * | 2008-02-28 | 2012-06-06 | 綜合警備保障株式会社 | Search device and search method |
JP5523900B2 (en) * | 2009-03-31 | 2014-06-18 | 綜合警備保障株式会社 | Person search device, person search method, and person search program |
CN102045162A (en) * | 2009-10-16 | 2011-05-04 | 电子科技大学 | Personal identification system of permittee with tri-modal biometric characteristic and control method thereof |
JP5574692B2 (en) * | 2009-12-17 | 2014-08-20 | キヤノン株式会社 | Video information processing method and apparatus |
JP5400718B2 (en) * | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | Monitoring system and monitoring method |
CN101980242B (en) * | 2010-09-30 | 2014-04-09 | 徐勇 | Human face discrimination method and system and public safety system |
JP5793353B2 (en) * | 2011-06-20 | 2015-10-14 | 株式会社東芝 | Face image search system and face image search method |
CN102789690B (en) * | 2012-07-17 | 2014-08-20 | 公安部道路交通安全研究中心 | Illegal vehicle identifying method and system |
CN102890719B (en) * | 2012-10-12 | 2015-12-16 | 浙江宇视科技有限公司 | A kind of method that license plate number is searched for generally and device |
-
2013
- 2013-07-12 JP JP2013145981A patent/JP6405606B2/en active Active
-
2014
- 2014-06-23 WO PCT/JP2014/066526 patent/WO2015005102A1/en active Application Filing
- 2014-06-23 CN CN201480002199.XA patent/CN104604219B/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015019296A (en) | 2015-01-29 |
CN104604219B (en) | 2019-04-12 |
WO2015005102A1 (en) | 2015-01-15 |
CN104604219A (en) | 2015-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4700477B2 (en) | MOBILE BODY MONITORING SYSTEM AND MOBILE BODY FEATURE CALCULATION DEVICE | |
JP2019192227A (en) | Video monitoring system, video processing method, and video processing program | |
US20200374491A1 (en) | Forensic video exploitation and analysis tools | |
WO2007037065A9 (en) | Object tracking method and object tracking apparatus | |
CN111815675A (en) | Target object tracking method and device, electronic equipment and storage medium | |
JP2016208127A (en) | Case video processing apparatus, case video processing system, case video processing method, and program | |
KR101645959B1 (en) | The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map | |
JP2018005555A (en) | Image processing device, information processing device and method, as well as program | |
JP2008009849A (en) | Person tracking device | |
JP6405606B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US11120838B2 (en) | Information processing apparatus, control method, and program | |
JP2009027393A (en) | Image searching system and personal searching method | |
JP6292540B2 (en) | Information processing system, information processing method, and program | |
KR20110035662A (en) | Intelligent image search method and system using surveillance camera | |
US20220004748A1 (en) | Video display method, device and system, and video camera | |
KR20170006356A (en) | Method for customer analysis based on two-dimension video and apparatus for the same | |
US20200311438A1 (en) | Representative image generation device and representative image generation method | |
JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
JP2012230494A (en) | Pedestrian detection device | |
JP7263094B2 (en) | Information processing device, information processing method and program | |
JP5962383B2 (en) | Image display system and image processing apparatus | |
CN112381068B (en) | Method and system for detecting 'playing mobile phone' of person | |
KR102356165B1 (en) | Method and device for indexing faces included in video | |
JPWO2020022362A1 (en) | Motion detection device, characteristic detection device, fluid detection device, motion detection system, motion detection method, program, and recording medium | |
JP2008146132A (en) | Image detection device, program, and image detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6405606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |