JP7233292B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP7233292B2 JP7233292B2 JP2019082931A JP2019082931A JP7233292B2 JP 7233292 B2 JP7233292 B2 JP 7233292B2 JP 2019082931 A JP2019082931 A JP 2019082931A JP 2019082931 A JP2019082931 A JP 2019082931A JP 7233292 B2 JP7233292 B2 JP 7233292B2
- Authority
- JP
- Japan
- Prior art keywords
- flow line
- area
- data table
- human detection
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、画像処理装置および画像処理方法に係り、特に、個々の人物を認識して動線を正確に解析するのに好適な画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and image processing method, and more particularly to an image processing apparatus and image processing method suitable for recognizing individual persons and accurately analyzing flow lines.
カメラなどの機器により、動画像データを撮像し、コンピュータなどの情報処理装置により、移動する人物の動線を解析する技術は、生産設備における作業管理、ショッピングモールの販売促進のための顧客情報解析、セキャリティシステムへの応用など様々な分野で応用されている。 The technology that captures moving image data with equipment such as cameras and analyzes the flow lines of moving people with information processing equipment such as computers is used for work management in production facilities and customer information analysis for sales promotion in shopping malls. , security systems, etc.
例えば、特許文献1には、来客者の行動軌跡を把握するために、フロアの撮像画像の背景画像を生成し、所定の周期毎に、来客者の滞留位置または通過位置に関する動線情報を取得し、生成した背景画像と取得した来客者の動線情報をサーバ装置に送信して、来客者の動線情報を行動の軌跡として分析して、モニタに表示する動線分析システムが開示されている。
For example, in
また、特許文献2には、動線抽出部から抽出された作業者の動線と、作業者の識別情報とを関連付けて、記録する作業管理システムが開示されている。
Further,
生産設備の作業員の作業を管理する方法としては、天井カメラを設置してそれにより、人の動線を取得する技術が知られている。このとき、単に動線を抽出するだけでなく、個人認識をできるとよりきめの細かな作業管理が可能になる。そのため、画像から顔認識をする技術を併用したり、作業者にQRコード(登録商標)などの画像認識をできるマーカを装着させて、個人IDと関連づいた動線を利用することが考えられる。しかしながら、そのような個人IDと関連づいた動線では、個人同定はできるが動線抽出範囲が狭くなるという課題が生じる。これは、大きなマーカを装着すれば解決するが、物理的に、作業者の作業を阻害するという問題が生じる。 As a method for managing the work of workers in production equipment, a technique of installing a ceiling camera and thereby acquiring the line of flow of people is known. At this time, it is possible to perform more detailed work management by not only extracting flow lines but also by recognizing individuals. Therefore, it is conceivable to use a technology that recognizes the face from the image, or to have the worker wear a marker that can recognize the image such as a QR code (registered trademark), and use the flow line associated with the personal ID. . However, with such flow lines associated with personal IDs, although individual identification is possible, a problem arises in that the flow line extraction range is narrow. This problem can be solved by attaching a large marker, but this poses a problem of physically hindering the work of the operator.
本発明の目的は、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing apparatus and an image processing method capable of analyzing a worker's movement line in a wide work range without interfering with the work of the worker.
本発明の画像処理装置の構成は、好ましくは、撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、ID付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けること、を特徴とするようにしたものである。 The configuration of the image processing apparatus of the present invention is preferably an image processing apparatus that analyzes a flow line along which a person moves from photographed image data, each record holding data representing a human-detected flow line, A human detection flow line data table having region information of human detection regions in chronological order, each record holding data representing a flow line with an ID, and holding an ID specifying a person and region information of ID regions in chronological order. The image data is analyzed, the human detection area of the moving person is obtained and stored in the human detection flow line data table, the image data is analyzed, and the ID area and the ID are stored. An ID that identifies a person included in the area is obtained and stored in the flow line data table with ID, and the ID held by each record in the flow line data table with ID is stored in each record of the human detection flow line data table. By doing so, the person-detected flow line and the ID-attached flow line are linked.
本発明によれば、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus and image processing method which can analyze the flow line of a worker's wide work range can be provided, without obstructing a worker's work.
以下、本発明に係る実施形態を、図1ないし図10を用いて説明する。 An embodiment according to the present invention will be described below with reference to FIGS. 1 to 10. FIG.
先ず、図1および図2を用いて本発明の一実施形態に係る画像処理システムの構成について説明する。
本実施形態の画像処理システムは、図1に示されるように、画像処理装置120、カメラ110、表示装置121が接続された形態である。
First, the configuration of an image processing system according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2. FIG.
The image processing system of this embodiment, as shown in FIG. 1, has a form in which an
カメラ110は、人物100の動画像を撮像する装置であり、例えば、構内ネットワークにより、画像処理装置120とIP接続されたWebカメラである。カメラ110は、人物100を撮像するために、施設の天井に設置されているものとする。表示装置121は、ユーザに動画像やその他の表示対象を表示する装置である。画像処理装置120は、動画像から動線を抽出し、動線を解析したり、動線を利用したアプリケーションソフトウェアを実行する装置である。
The
人物100は、その動線を取得して解析する対象となる作業者である。マーカ101は、例えば、人物100のヘルメットや防止などに付加される人物の個人を特定するためのQRコード、バーコードや文字などである。また、個人を認識するために、顔102を利用した顔認識を用いてもよい。
A
次に、図2を用いて画像処理装置の機能構成について説明する。
画像処理装置120は、人検知動線抽出部200、ID付き動線抽出部201、動線紐付け部202、画像認識部203の機能部を有する。
Next, the functional configuration of the image processing apparatus will be described with reference to FIG.
The
人検知動線抽出部200は、画像処理装置120が人検知を行う画像認識により得られる人物動線を抽出する機能部である。本実施形態では、この動線を「人検知動線」と言うことにする。ID付き動線抽出部201は、画像処理装置120がマーカ認識や顔認識を行って、個人を特定し、個人を特定する情報を付加した人物動線を抽出する機能部である。本実施形態では、この動線を「ID付き動線」と言うことにする。動線紐付け部202は、人検知動線抽出部200が抽出した人検知動線と、ID付き動線抽出部201が抽出したID付き動線とを関連付ける機能部である。画像認識部203は、QRコード認識、バーコード認識、OCRの文字認識などにより、画像からID情報を認識する機能部である。
The human-detected flow
画像処理装置120は、人検知動線データテーブル210、ID付き動線データテーブル211を保持する。
The
人検知動線データテーブル210は、人検知動線に関する情報を格納するテーブルである。ID付き動線データテーブル211は、ID付き動線に関する情報を格納するテーブルである。なお、これらのテーブルの詳細は、後に説明する。 The human-detected flow line data table 210 is a table that stores information about human-detected flow lines. The ID-attached flow line data table 211 is a table that stores information on the ID-attached flow line. Details of these tables will be described later.
次に、図3を用いて画像処理装置のハードウェア・ソフトウェア構成について説明する。
画像処理装置120のハードウェア構成としては、例えば、図3に示されるパーソナルコンピュータのような一般的な情報処理装置で実現される。
Next, the hardware/software configuration of the image processing apparatus will be described with reference to FIG.
As a hardware configuration of the
画像処理装置120は、CPU(Central Processing Unit)402、主記憶装置404、ネットワークI/F406、表示I/F408、入出力I/F410、補助記憶I/F412が、バスにより結合された形態になっている。
The
CPU402は、画像処理装置120の各部を制御し、主記憶装置404に必要なプログラムをロードして実行する。
The
主記憶装置404は、通常、RAMなどの揮発メモリで構成され、CPU402が実行するプログラム、参照するデータが記憶される。
The
ネットワークI/F406は、カメラ110のネットワークと接続するためのインタフェースである。
A network I/
表示I/F408は、LCD(Liquid Crystal Display)などの表示装置121を接続するためのインタフェースである。
A display I/
入出力I/F410は、入出力装置を接続するためのインタフェースである。図3の例では、キーボード430とポインティングデバイスのマウス432が接続されている。
The input/output I/
補助記憶I/F412は、HDD(Hard Disk Drive)450やSSD(Solid State Drive)などの補助記憶装置を接続するためのインタフェースである。
Auxiliary storage I/
HDD450は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。画像処理装置120には、人検知動線抽出プログラム460、ID付き動線抽出プログラム461、動線紐付けプログラム462、画像認識プログラム463がインストールされている。
The HDD 450 has a large storage capacity and stores programs for executing this embodiment. A human detection flow
人検知動線抽出プログラム460、ID付き動線抽出プログラム461、動線紐付けプログラム462、画像認識プログラム463は、それぞれ人検知動線抽出部200、ID付き動線抽出部201、動線紐付け部202、画像認識部203の機能を実現するためのプログラムである。
また、HDD450には、人検知動線データテーブル210、ID付き動線データテーブル211が格納されている。
The human-detected flow-
The HDD 450 also stores a human-detected flow line data table 210 and an ID-attached flow line data table 211 .
次に、図4および図5を用いて画像処理システムが使用するデータ構造について説明する。
人検知動線データテーブル210は、図4に示されるように、人検知動線インデックス210a、ID210b、フレーム履歴210cの項目を有する。人検知動線インデックス210aには、人検知動線を識別するためのインデックスが格納される。ID210bは、ID付き動線と紐付けたときのそのID付き動線に定義されているIDの値が格納される。フレーム履歴210cは、人検知動線がフレーム毎のデータとして格納される。フレーム履歴210cは、領域情報と画像特徴量がデータとして含まれる。フレーム履歴210cに含まれる領域情報は、例えば、領域左上のx,y座標と、幅、高さで表現される人検知領域(詳細は、後述)である。画像特徴量は、例えば、撮像した動画像の特徴量を捉えるデータであり、例えば、多次元の特徴量ベクトル情報で表現される。画像特徴量は、例えば、QRコードやバーコードを解析する場合には、色ヒストグラムの情報を解析することにより得ることができる。図4のフレーム履歴210cのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端(t)に新しいデータが書き込まれるものとする。
Next, the data structure used by the image processing system will be described with reference to FIGS. 4 and 5. FIG.
The human-detected flow line data table 210 has items of a human-detected
ID付き動線データテーブル211は、図4に示されるように、ID付き動線インデックス211a、ID211b、フレーム履歴211cの項目を有する。ID付き動線インデックス211aには、ID付き動線を識別するためのインデックスが格納される。ID211bは、顔認識やマーカ認識で認識された個人のIDが格納される。フレーム履歴211cは、ID付き動線がフレーム毎のデータとして格納される。フレーム履歴211cは、領域情報がデータとして含まれる。フレーム履歴211cに含まれる領域情報は、人検知動線データテーブル210と同様に、例えば、領域左上のx,y座標と、幅、高さで表現されるID領域(詳細は、後述)である。また、人検知動線データテーブル210と同様に、図4のフレーム履歴211cのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端(t)に新しいデータが書き込まれるものとする。
As shown in FIG. 4, the ID-attached flow line data table 211 has items of an ID-attached
次に、図6Aおよび図7を用いて撮影される画像と動線検出の関係について説明する。
図6Aが、QRコードによるマーカ認識の画像処理を行うときの領域の関係を示したものであり、図6Bが、顔認識の画像処理を行うときの領域の関係を示したものである。
Next, the relationship between captured images and flow line detection will be described with reference to FIGS. 6A and 7. FIG.
FIG. 6A shows the relationship between areas when performing image processing for marker recognition using a QR code, and FIG. 6B shows the relationship between areas when performing image processing for face recognition.
図6A、図6Bに示される人検知領域900は、人検知動線抽出部200が人検知動線を作成するために、移動する人を検知する領域である。図6Aの例では、人検知動線を作成する対象となる人の一部または全部の人が個々の人を識別するIDの情報を含むマーカを帽子やヘルメットなどの頭部につけているものとする。このとき、マーカによるIDがID領域901にあるものとする。
A
本実施形態の画像処理システムでは、後に詳説するように、人検知領域900から相対的にマーカによるIDが存在する領域に対して、ID存在可能領域920を計算する。
In the image processing system of this embodiment, an ID existence
人検知領域900から相対的な位置関係によって定まるID存在可能領域920と、ID付き動線の領域情報として有するID領域の関係によって、人検知動線とID付き動線の紐付けを行うものである。なお、この処理の詳細は、後に説明する。
The human detection flow line and the ID flow line are linked according to the relationship between the ID existence
また、本実施形態の画像処理システムでは、ID存在可能領域920であると予測される領域に対して画像特徴量領域910として、この部分の画像特徴量を算出する。画像特徴量領域910は、人の頭頂など人検知領域に対して相対的に定められる領域となる。マーカをつけている人とマーカをつけていない人の画像特徴量は明らかに異なる。したがって、この画像特徴量領域910から算出される画像特徴量に基づいて、マーカをつけている人とマーカをつけていない人の動線を区別することができる。画像特徴量領域910は、動線の画像特徴を求める領域であり、ID存在可能領域と等しくとってもよい。
In addition, in the image processing system of the present embodiment, the area predicted to be the ID existence
顔認識を行うときには、図6Bに示されるように、顔102の部分がID領域901となり、それを包含する領域が、ID存在可能領域920である。顔認識の場合も、画像特徴量領域910とID存在可能領域は、等しく取ってよい。
When performing face recognition, as shown in FIG. 6B, the part of the
なお、図示しなかったが、顔認識を行うときには、この画像処理システムは、IDと顔認識の画像特徴量が対になったテーブルを保持するものとする。 Although not shown, when performing face recognition, this image processing system holds a table in which IDs and image feature amounts for face recognition are paired.
本実施形態では、天井に設置されたカメラ110により動線を抽出する画像を撮影する。このとき、図7に示されるように、ID認識可能領域700は、カメラ110の下からある程度の近傍領域となり、それを含む範囲で、ID認識不可能領域・人検知動線抽出可能領域701が広がっている。
In this embodiment, images for extracting flow lines are captured by a
そのため、人検知動線とID付き動線紐付けることができれば、IDを認識できる動線の範囲を広くとることができるという意義を有する。 Therefore, if the person-detected flow line can be associated with the ID-attached flow line, it is significant that the range of the flow line in which the ID can be recognized can be widened.
なお、人検知動線が複数のカメラをまたいでいた場合には、カメラから撮影した情報とカメラ間の幾何学的関係から人検知動線を紐付けたものを人検知動線の解析の対象としてもよい。 In addition, if the human detection flow line straddles multiple cameras, the human detection flow line that is linked from the information captured by the camera and the geometric relationship between the cameras is the target of the human detection flow line analysis. may be
次に、図8ないし図10を用いて画像処理システムの動線処理について説明する。 Next, flow line processing of the image processing system will be described with reference to FIGS. 8 to 10. FIG.
先ず、図8を用いて画像処理システムの動線処理の概要について説明する。
最初に、ID付き動線処理を行う(S01)。
次に、人検知抽出処理と動線紐付け処理を行う(S02)。
First, the outline of flow line processing of the image processing system will be described with reference to FIG.
First, flow line processing with an ID is performed (S01).
Next, human detection extraction processing and flow line linking processing are performed (S02).
次に、図8を用いてID付き動線抽出処理の詳細について説明する。
これは、図8のS01に該当する処理である。
先ず、画像ストリームの新たなフレームtに対して、画像認識部203がID認識を実施する(S100)。これは、例えば、マーカ101として付与されているQRコードやバーコードを画像認識して、ID情報とID領域901の情報を得る処理である。
Next, the details of the ID-attached flow line extraction process will be described with reference to FIG.
This is the process corresponding to S01 in FIG.
First, the
ID付き動線データテーブルのフレームt-1(一つ前のフレーム)に、S100でID認識をして得られたID211bと同じIDを有するレコードがあるか否かを判断する(S101)。
It is determined whether or not there is a record having the same ID as
同じIDを有するレコードがある場合には(S101:YES)、ID認識をして得られたID211bと同じIDを有するレコードのフレームtのエントリに、ID認識結果から得られたID領域901の領域情報を書き込む(S102)。
If there is a record with the same ID (S101: YES), the ID area 901 obtained from the ID recognition result is added to the entry of the frame t of the record with the same ID as the
同じIDを有するレコードがない場合には(S101:NO)、新たなレコードを作成し、フレームtのエントリに、ID認識結果から得られたID領域901の領域情報を書き込む(S103)。 If there is no record with the same ID (S101: NO), a new record is created and the area information of the ID area 901 obtained from the ID recognition result is written in the entry of frame t (S103).
次に、図10を用いて人検知抽出処理と動線紐付け処理の詳細について説明する。
先ず、画像ストリームの新たなフレームtに対して人検知を実施する(S200)。
そして、各人検知領域900に対して、S202~S210の処理を行う(S201~S211)。
Next, the details of the human detection extraction process and the flow line linking process will be described with reference to FIG. 10 .
First, human detection is performed on a new frame t of the image stream (S200).
Then, the processes of S202 to S210 are performed for each human detection area 900 (S201 to S211).
人検知領域900の相対位置から画像特徴量を算出する画像特徴量領域910を求めて、その領域から画像特徴量を算出する(S202)。
An image
次に、人検知動線データテーブル210のフレームt-1(一つ前のフレーム)において、領域情報が示す領域が人検知領域900の近傍であり、かつ、S202で算出した画像特徴量と所定の近さを有する画像特徴量を有する人検知動線データテーブル210のレコードを抽出する(S203)。ここで、「画像特徴量と所定の近さを有する」とは、例えば、特徴量ベクトルのノルム距離が所定の閾値より小さくなることで判断することができる。以下の説明と図10において、抽出された人検知動線データテーブル210のレコードが表現する動線を、「人検知動線候補」ということにする。
Next, in the frame t−1 (the previous frame) of the human detection flow line data table 210, the area indicated by the area information is in the vicinity of the
次に、S203で抽出された人検知動線候補が単数か複数かを判断する(S204)。 Next, it is determined whether the human detection flow line candidate extracted in S203 is singular or plural (S204).
人検知動線候補が単数のときには(S204:YES)、抽出された人検知動線データテーブル210のレコードのフレームtに、人検知結果の領域情報として、人検知領域900と、画像特徴量領域910から求められた画像特徴量を書き込み(S205)、次のループに行く(S211)。
When there is a single human detection flow line candidate (S204: YES), the
人検知動線候補が複数のときには(S204:NO)、人検知領域から算出したID存在可能領域920に、ID付き動線データテーブルのレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれかが含まれるか否かを判断する(S206、図6A、図6Bも参照)。
When there are a plurality of human detection flow line candidates (S204: NO), the ID area 901 represented by the area information of the ID in the frame t of the record of the ID flow line data table is displayed in the ID existence
人検知領域から算出したID存在可能領域920に、ID付き動線データテーブル211のレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれかが含まれるときには(S206:YES)、人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがあるか否かを判断する(S207)。
When any of the ID areas 901 represented by the area information of the ID in the frame t of the record of the ID-attached flow line data table 211 is included in the ID existence
人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがあったときには(S207:YES)、人検知動線データテーブル210のレコードのフレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S208)。 When there is a human-detected flow line candidate having the same ID as that of the ID area 901 (S207: YES), the entry of the frame t in the record of the human-detected flow line data table 210 has the obtained The area information of the human detection area and the image feature amount are written (S208).
人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがなかったときには(S207:NO)、人検知動線データテーブル210に新たなレコードを作成し、人検知動線インデックスを追加し、該当するID付き動線テーブルのレコードのIDをIDとして書込み、フレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S209)。この処理が、人検知動線とID付き動線とを紐付ける処理である。 When there is no human-detected flow line candidate having the same ID as the ID of the ID area 901 (S207: NO), a new record is created in the human-detected flow line data table 210, and the human-detected flow line candidate is created. An index is added, the ID of the record in the corresponding ID-attached flow line table is written as an ID, and the area information and the image feature amount of the obtained human detection area are written in the entry of frame t (S209). This process is a process of linking the human-detected flow line and the ID-attached flow line.
人検知領域から算出したID存在可能領域920に、ID付き動線データテーブル211のレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれもが含まれないときには(S206:NO)、人検知動線データテーブル210に新たなレコードを作成し、人検知動線インデックスを追加し、IDは、NULLとして、フレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S210)。
When none of the ID areas 901 represented by the area information of the ID in the frame t of the record of the ID-attached flow line data table 211 is included in the possible
以上の処理により、ID付き動線と人検知動線が紐付けられ、人の動線を利用するアプリケーションソフトウェアで利用可能になる。これは、アプリケーションソフトウェアでの動線解析において、図7で説明したように、より広い範囲でIDを認識できる動線が得られる意義を有する。 Through the above processing, the ID-attached flow line and the person-detected flow line are linked, and can be used by application software that uses the person's flow line. This has the significance that, in flow line analysis using application software, a flow line that allows IDs to be recognized in a wider range can be obtained, as described with reference to FIG.
また、複数の動線が交差する場合に、従来技術では、交差点以降の動線の区別をするのが難しいという問題があったが、ID付き動線と人検知動線が紐付けられるため、IDに有無により、個々の動線の区別が容易になるという特徴がある。 In addition, when a plurality of flow lines intersect, the conventional technology has the problem that it is difficult to distinguish the flow lines after the intersection. There is a feature that individual flow lines can be easily distinguished depending on the presence or absence of an ID.
100…人物
101…マーカ
102…顔
110…カメラ
120…画像処理装置
121…表示装置
200…人検知動線抽出部
201…ID付き動線抽出部
202…動線紐付け部
203…画像認識部
210…人検知動線データテーブル
211…ID付き動線データテーブル
900…人検知領域
901…ID領域
910…画像特徴量領域
920…ID存在可能領域
REFERENCE SIGNS
Claims (4)
各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納し、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付け、
前記人検知領域に対して、相対的な位置関係により定められたID存在可能領域に含まれる前記ID領域から認識されたIDを格納することより、人検知動線とID付き動線を紐付けること、
を特徴とする画像処理装置。 An image processing device that analyzes a flow line along which a person moves from photographed image data,
a human detection flow line data table in which each record holds data representing a human detection flow line and has area information of human detection areas in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
analyzing the image data to obtain an ID area and an ID identifying a person contained in the ID area, and storing the ID area in the flow line data table with ID;
By storing an ID held by each record of the ID-attached flow line data table in each record of the human-detected flow-line data table, the human-detected flow line and the ID-attached flow line are linked ,
By storing the ID recognized from the ID region included in the ID existence possible region determined by the relative positional relationship with the human detection region, the human detection flow line and the flow line with ID are linked. matter,
An image processing device characterized by:
各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納し、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付け、
前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求め、
ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出し、
その候補の中からID付き動線データテーブルの各レコードが保持するIDを格納するレコードを選出することを特徴とする画像処理装置。 An image processing device that analyzes a flow line along which a person moves from photographed image data,
a human detection flow line data table in which each record holds data representing a human detection flow line and has area information of human detection areas in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
analyzing the image data to obtain an ID area and an ID identifying a person contained in the ID area, and storing the ID area in the flow line data table with ID;
By storing an ID held by each record of the ID-attached flow line data table in each record of the human-detected flow-line data table, the human-detected flow line and the ID-attached flow line are linked,
obtaining an image feature amount from an image feature area for calculating an image feature amount determined by a relative positional relationship with respect to the human detection area;
Comparing frame data at a certain point in time with previous frame data, and extracting candidate records from the human-detected flow line data table based on the positional relationship of the human-detected regions and the closeness of image feature amounts. death,
An image processing apparatus characterized in that a record storing an ID held by each record of a flow line data table with ID is selected from among the candidates.
画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納するステップと、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けるステップと、を有し、
前記人検知領域に対して、相対的な位置関係により定められたID存在可能領域に含まれる前記ID領域から認識されたIDを格納することより、人検知動線とID付き動線を紐付けること、
を特徴とする画像処理方法。 An image processing method for analyzing a flow line along which a person moves from image data captured by an image processing device,
The image processing apparatus includes a human detection flow line data table in which each record holds data representing a human detection flow line and has region information of human detection regions in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
a step of analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
a step of analyzing image data to obtain an ID area and an ID identifying a person included in the ID area, and storing the ID area in the flow line data table with ID;
and linking the human-detected flow line with the ID-attached flow line by storing an ID held by each record of the ID-attached flow-line data table in each record of the human-detected flow-line data table. ,
By storing the ID recognized from the ID region included in the ID existence possible region determined by the relative positional relationship with the human detection region, the human detection flow line and the flow line with ID are linked. matter,
An image processing method characterized by:
画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納するステップと、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けるステップと、
前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求めるステップと、
ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出するステップと、
その候補の中からID付き動線データテーブルの各レコードが保持するIDを格納するレコードを選出するステップと、を有することを特徴とする画像処理方法。 An image processing method for analyzing a flow line along which a person moves from image data captured by an image processing device,
The image processing apparatus includes a human detection flow line data table in which each record holds data representing a human detection flow line and has region information of human detection regions in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
a step of analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
a step of analyzing image data to obtain an ID area and an ID identifying a person included in the ID area, and storing the ID area in the flow line data table with ID;
a step of associating the human-detected flow line with the ID-attached flow line by storing the ID held by each record of the ID-attached flow-line data table in each record of the human-detected flow-line data table;
obtaining an image feature amount from an image feature area for calculating an image feature amount determined by a relative positional relationship with respect to the human detection area;
Comparing frame data at a certain point in time with previous frame data, and extracting candidate records from the human-detected flow line data table based on the positional relationship of the human-detected regions and the closeness of image feature amounts. and
and selecting, from among the candidates, a record storing an ID held by each record of the ID-attached flow line data table.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082931A JP7233292B2 (en) | 2019-04-24 | 2019-04-24 | Image processing device and image processing method |
PCT/JP2020/017588 WO2020218463A1 (en) | 2019-04-24 | 2020-04-24 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082931A JP7233292B2 (en) | 2019-04-24 | 2019-04-24 | Image processing device and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020182063A JP2020182063A (en) | 2020-11-05 |
JP7233292B2 true JP7233292B2 (en) | 2023-03-06 |
Family
ID=72942210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082931A Active JP7233292B2 (en) | 2019-04-24 | 2019-04-24 | Image processing device and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7233292B2 (en) |
WO (1) | WO2020218463A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283398A (en) * | 2021-07-13 | 2021-08-20 | 国网电子商务有限公司 | Table identification method and system based on clustering |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006093955A (en) | 2004-09-22 | 2006-04-06 | Matsushita Electric Ind Co Ltd | Video processing apparatus |
JP2011170564A (en) | 2010-02-17 | 2011-09-01 | Toshiba Tec Corp | Traffic line connection method, device, and traffic line connection program |
JP2011227647A (en) | 2010-04-19 | 2011-11-10 | Secom Co Ltd | Suspicious person detection device |
JP2012050031A (en) | 2010-08-30 | 2012-03-08 | Secom Co Ltd | Surveillance device |
JP2018093283A (en) | 2016-11-30 | 2018-06-14 | マクセル株式会社 | Monitoring information gathering system |
JP2018165849A (en) | 2017-03-28 | 2018-10-25 | 達広 佐野 | Attribute collection system by camera |
-
2019
- 2019-04-24 JP JP2019082931A patent/JP7233292B2/en active Active
-
2020
- 2020-04-24 WO PCT/JP2020/017588 patent/WO2020218463A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006093955A (en) | 2004-09-22 | 2006-04-06 | Matsushita Electric Ind Co Ltd | Video processing apparatus |
JP2011170564A (en) | 2010-02-17 | 2011-09-01 | Toshiba Tec Corp | Traffic line connection method, device, and traffic line connection program |
JP2011227647A (en) | 2010-04-19 | 2011-11-10 | Secom Co Ltd | Suspicious person detection device |
JP2012050031A (en) | 2010-08-30 | 2012-03-08 | Secom Co Ltd | Surveillance device |
JP2018093283A (en) | 2016-11-30 | 2018-06-14 | マクセル株式会社 | Monitoring information gathering system |
JP2018165849A (en) | 2017-03-28 | 2018-10-25 | 達広 佐野 | Attribute collection system by camera |
Also Published As
Publication number | Publication date |
---|---|
JP2020182063A (en) | 2020-11-05 |
WO2020218463A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fang et al. | Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach | |
Ray et al. | Real-time construction worker posture analysis for ergonomics training | |
Yang et al. | Tracking multiple workers on construction sites using video cameras | |
US10795928B2 (en) | Image search apparatus, system, and method | |
JP6362674B2 (en) | Video surveillance support apparatus, video surveillance support method, and program | |
US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
CN110619324A (en) | Pedestrian and safety helmet detection method, device and system | |
US20140301602A1 (en) | Queue Analysis | |
US9891798B2 (en) | Face image tracking system | |
JP6503079B2 (en) | Specific person detection system, specific person detection method and detection device | |
US20210042971A1 (en) | Information processing device, display method, and program storage medium for monitoring object movement | |
KR20170016578A (en) | Clothes Fitting System And Operation Method of Threof | |
JP7233292B2 (en) | Image processing device and image processing method | |
CN115862113A (en) | Stranger abnormity identification method, device, equipment and storage medium | |
JP6593949B1 (en) | Information processing apparatus and marketing activity support apparatus | |
US20210334758A1 (en) | System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors | |
Casuat et al. | Deep-hart: An inference deep learning approach of hard hat detection for work safety and surveillance | |
WO2022185569A1 (en) | Video analysis system and video analysis method | |
US20210166425A1 (en) | Mapping multiple views to an identity | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
Barlybayev et al. | Personal protective equipment detection using YOLOv8 architecture on object detection benchmark datasets: a comparative study | |
WO2023195122A1 (en) | Processing device, processing method, and recording medium | |
Mollaei et al. | Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset | |
WO2023152893A1 (en) | Management device, management system, management method, and program | |
KR102560107B1 (en) | System and method for preventing annotation errors using time and spatial information of multiple cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7233292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |