WO2020218463A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020218463A1
WO2020218463A1 PCT/JP2020/017588 JP2020017588W WO2020218463A1 WO 2020218463 A1 WO2020218463 A1 WO 2020218463A1 JP 2020017588 W JP2020017588 W JP 2020017588W WO 2020218463 A1 WO2020218463 A1 WO 2020218463A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow line
area
person detection
person
data table
Prior art date
Application number
PCT/JP2020/017588
Other languages
English (en)
French (fr)
Inventor
洋登 永吉
雄大 浦野
泰彦 稲富
俊輝 岡部
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020218463A1 publication Critical patent/WO2020218463A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to an image processing device and an image processing method, and more particularly to an image processing device and an image processing method suitable for recognizing an individual person and accurately analyzing a flow line.
  • Technology that captures moving image data with devices such as cameras and analyzes the movement lines of moving people with information processing devices such as computers is used for work management in production facilities and customer information analysis for sales promotion in shopping malls. , It is applied in various fields such as application to security system.
  • Patent Document 1 in order to grasp the behavior trajectory of a visitor, a background image of a captured image of the floor is generated, and flow line information regarding a staying position or a passing position of the visitor is acquired at predetermined intervals. Then, a flow line analysis system that transmits the generated background image and the acquired flow line information of the visitor to the server device, analyzes the flow line information of the visitor as an action trajectory, and displays it on the monitor is disclosed. There is.
  • Patent Document 2 discloses a work management system that records a worker's flow line extracted from the flow line extraction unit in association with the worker's identification information.
  • An object of the present invention is to provide an image processing device and an image processing method capable of analyzing a flow line of a wide working range of a worker without disturbing the work of the worker.
  • the configuration of the image processing device of the present invention is preferably an image processing device that analyzes a movement line in which a person moves from captured image data, and each record holds data representing a person detection movement line.
  • a person detection flow line data table that has area information of the person detection area in chronological order, data that each record represents a flow line with an ID is held, and an ID that identifies a person and area information of the ID area are held in chronological order. It has an ID-attached flow line data table, analyzes image data, finds a person detection area for a moving person, stores it in the person detection flow line data table, analyzes the image data, and analyzes the ID area and ID.
  • the ID that identifies the person included in the area is obtained and stored in the ID-attached movement line data table, and the ID held by each record in the ID-attached movement line data table is stored in each record of the person detection movement line data table.
  • an image processing device and an image processing method capable of analyzing a flow line in a wide working range of a worker without disturbing the work of the worker.
  • the image processing system of the present embodiment has an image processing device 120, a camera 110, and a display device 121 connected to each other.
  • the camera 110 is a device that captures a moving image of a person 100, and is, for example, a Web camera that is IP-connected to the image processing device 120 via a premises network. It is assumed that the camera 110 is installed on the ceiling of the facility in order to image the person 100.
  • the display device 121 is a device that displays a moving image or other display target to the user.
  • the image processing device 120 is a device that extracts a flow line from a moving image, analyzes the flow line, and executes application software using the flow line.
  • the marker 101 is, for example, a QR code, a barcode, a character, or the like for identifying an individual of a person added to a helmet of the person 100 or prevention. Further, in order to recognize an individual, face recognition using the face 102 may be used.
  • the image processing device 120 has functional units of a person detection flow line extraction unit 200, an ID-attached flow line extraction unit 201, a flow line linking unit 202, and an image recognition unit 203.
  • the person detection flow line extraction unit 200 is a functional unit that extracts a person flow line obtained by image recognition in which the image processing device 120 detects a person. In the present embodiment, this flow line will be referred to as a "human detection flow line”.
  • the ID-attached flow line extraction unit 201 is a functional unit in which the image processing device 120 performs marker recognition and face recognition to identify an individual and extract a person flow line to which information that identifies the individual is added. In the present embodiment, this flow line is referred to as an "ID-attached flow line”.
  • the flow line linking unit 202 is a functional unit that associates the person detection flow line extracted by the person detection flow line extraction unit 200 with the ID-attached flow line extracted by the ID-attached flow line extraction unit 201.
  • the image recognition unit 203 is a functional unit that recognizes ID information from an image by QR code recognition, bar code recognition, OCR character recognition, and the like.
  • the image processing device 120 holds a person detection flow line data table 210 and an ID-attached flow line data table 211.
  • the person detection flow line data table 210 is a table that stores information related to the person detection flow line.
  • the ID-attached flow line data table 211 is a table for storing information related to the ID-attached flow line. The details of these tables will be described later.
  • the hardware configuration of the image processing device 120 is realized by, for example, a general information processing device such as the personal computer shown in FIG.
  • the image processing device 120 has a form in which a CPU (Central Processing Unit) 402, a main storage device 404, a network I / F406, a display I / F408, an input / output I / F410, and an auxiliary storage I / F412 are connected by a bus. ing.
  • a CPU Central Processing Unit
  • the CPU 402 controls each part of the image processing device 120, loads and executes a program required for the main storage device 404.
  • the main storage device 404 is usually composed of a volatile memory such as a RAM, and stores a program executed by the CPU 402 and data to be referred to.
  • the network I / F406 is an interface for connecting to the network of the camera 110.
  • the display I / F 408 is an interface for connecting a display device 121 such as an LCD (Liquid Crystal Display).
  • a display device 121 such as an LCD (Liquid Crystal Display).
  • the input / output I / F 410 is an interface for connecting an input / output device.
  • the keyboard 430 and the mouse 432 of the pointing device are connected.
  • the auxiliary storage I / F412 is an interface for connecting an auxiliary storage device such as an HDD (Hard Disk Drive) 450 or an SSD (Solid State Drive).
  • an HDD Hard Disk Drive
  • SSD Solid State Drive
  • the HDD 450 has a large storage capacity, and stores a program for executing the present embodiment.
  • a human detection flow line extraction program 460, an ID-attached flow line extraction program 461, a flow line association program 462, and an image recognition program 463 are installed in the image processing device 120.
  • the person detection flow line extraction program 460, the ID-attached flow line extraction program 461, the flow line linking program 462, and the image recognition program 463 are the person detection flow line extraction unit 200, the ID-attached flow line extraction unit 201, and the flow line association, respectively. This is a program for realizing the functions of the unit 202 and the image recognition unit 203. Further, the HDD 450 stores a person detection flow line data table 210 and an ID-attached flow line data table 211.
  • the person detection flow line data table 210 has items of the person detection flow line index 210a, ID210b, and frame history 210c.
  • the person detection flow line index 210a stores an index for identifying the person detection flow line.
  • the ID 210b stores the value of the ID defined in the ID-attached flow line when associated with the ID-attached flow line.
  • the frame history 210c the person detection flow line is stored as data for each frame.
  • the frame history 210c includes area information and image feature amounts as data.
  • the area information included in the frame history 210c is, for example, the x and y coordinates at the upper left of the area and the person detection area represented by the width and height (details will be described later).
  • the image feature amount is, for example, data that captures the feature amount of the captured moving image, and is represented by, for example, multidimensional feature amount vector information.
  • the image feature amount can be obtained by analyzing the information of the color histogram, for example, when analyzing the QR code or the barcode.
  • the right side is a past frame, and it is assumed that new data is written to the left end (t) by sequentially shifting to the right at each frame time.
  • the ID-attached flow line data table 211 has items of the ID-attached flow line index 211a, ID211b, and frame history 211c.
  • the ID-attached flow line index 211a stores an index for identifying the ID-attached flow line.
  • ID211b stores the ID of the individual recognized by face recognition or marker recognition.
  • the frame history 211c the flow line with ID is stored as data for each frame.
  • the frame history 211c includes area information as data.
  • the area information included in the frame history 211c is, for example, an ID area represented by the x and y coordinates at the upper left of the area and the width and height (details will be described later), as in the human detection flow line data table 210. ..
  • the right side is the past frame, and each frame time is sequentially shifted to the right, and new data is added to the left end (t). Supposes that is written.
  • FIG. 6A shows the relationship of regions when performing image processing for marker recognition using a QR code
  • FIG. 6B shows the relationship between regions when performing image processing for face recognition.
  • the person detection area 900 shown in FIGS. 6A and 6B is an area in which the person detection flow line extraction unit 200 detects a moving person in order to create a person detection flow line.
  • the person detection flow line extraction unit 200 detects a moving person in order to create a person detection flow line.
  • some or all of the people for whom the person detection flow line is created have a marker on the head of a hat, helmet, or the like that contains information on an ID that identifies each person. To do. At this time, it is assumed that the ID by the marker is in the ID area 901.
  • the ID existence area 920 is calculated with respect to the area where the ID by the marker exists relative to the person detection area 900.
  • the person detection flow line and the ID-attached flow line are linked by the relationship between the ID existence area 920 determined by the relative positional relationship from the person detection area 900 and the ID area possessed as the area information of the ID-attached flow line. is there. The details of this process will be described later.
  • the image feature amount of this portion is calculated as the image feature amount area 910 with respect to the region predicted to be the ID existence region 920.
  • the image feature amount region 910 is a region defined relative to a human detection region such as the top of a human head. The amount of image features of a person with a marker and a person without a marker are clearly different. Therefore, based on the image feature amount calculated from the image feature amount area 910, it is possible to distinguish the flow lines of the person with the marker and the person without the marker.
  • the image feature amount area 910 is an area for obtaining the image feature of the flow line, and may be equal to the ID existence area.
  • the portion of the face 102 becomes the ID area 901, and the area including the ID area 920 is the ID existence area 920. Also in the case of face recognition, the image feature amount area 910 and the ID existence area may be taken equally.
  • this image processing system when performing face recognition, this image processing system shall hold a table in which the ID and the image feature amount of face recognition are paired.
  • an image for extracting a flow line is taken by a camera 110 installed on the ceiling.
  • the ID recognizable area 700 becomes a neighborhood area to some extent from the bottom of the camera 110, and the ID recognizable area / person detection flow line extractable area 701 includes the ID recognizable area 701. It has spread.
  • the person detection flow line is analyzed by linking the person detection flow line from the information taken by the cameras and the geometric relationship between the cameras. May be.
  • the image recognition unit 203 performs ID recognition for a new frame t of the image stream (S100). This is, for example, a process of image-recognizing a QR code or a barcode assigned as a marker 101 to obtain ID information and information of the ID area 901.
  • the image feature amount area 910 for calculating the image feature amount is obtained from the relative position of the person detection area 900, and the image feature amount is calculated from that area (S202).
  • the area indicated by the area information is in the vicinity of the person detection area 900, and the image feature amount calculated in S202 and the predetermined value.
  • the record of the person detection flow line data table 210 having the image feature amount having the proximity of is extracted (S203).
  • "having a predetermined proximity to the image feature amount” can be determined, for example, when the norm distance of the feature amount vector becomes smaller than a predetermined threshold value.
  • the flow line represented by the record of the extracted person detection flow line data table 210 is referred to as a “person detection flow line candidate”.
  • the person detection area 900 and the image feature amount area are set in the frame t of the record of the extracted person detection flow line data table 210 as the area information of the person detection result.
  • the image feature amount obtained from 910 is written (S205), and the next loop is started (S211).
  • the ID region 901 represented by the ID area information in the frame t of the record of the ID-attached flow line data table is set in the ID existence area 920 calculated from the human detection area. It is determined whether or not any of them is included (see also S206, FIG. 6A, FIG. 6B).
  • the ID existence area 920 calculated from the person detection area includes any of the ID areas 901 represented by the ID area information in the frame t of the record of the ID-attached flow line data table 211 (S206: YES), the person is detected. It is determined whether or not any of the flow line candidates has the same ID as the ID of the ID area 901 (S207).
  • This process is a process of associating a person detection flow line with an ID-attached flow line.
  • the ID existence area 920 calculated from the person detection area does not include any of the ID areas 901 represented by the ID area information in the frame t of the record of the ID-attached flow line data table 211 (S206: NO)
  • the person A new record is created in the detection flow line data table 210, a person detection flow line index is added, and the ID is NUML, and the area information and image feature amount of the obtained person detection area are written in the entry of the frame t. (S210).
  • the flow line with ID and the flow line for detecting a person are linked and can be used by application software that uses the flow line for a person. This has the significance of obtaining a flow line capable of recognizing an ID in a wider range as described with reference to FIG. 7 in the flow line analysis by the application software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有する。そして、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、ＩＤ付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付ける。これにより、画像処理装置において、作業者の広い作業範囲の動線を解析できるようにする。

Description

画像処理装置および画像処理方法
　本発明は、画像処理装置および画像処理方法に係り、特に、個々の人物を認識して動線を正確に解析するのに好適な画像処理装置および画像処理方法に関する。
　カメラなどの機器により、動画像データを撮像し、コンピュータなどの情報処理装置により、移動する人物の動線を解析する技術は、生産設備における作業管理、ショッピングモールの販売促進のための顧客情報解析、セキャリティシステムへの応用など様々な分野で応用されている。
　例えば、特許文献１には、来客者の行動軌跡を把握するために、フロアの撮像画像の背景画像を生成し、所定の周期毎に、来客者の滞留位置または通過位置に関する動線情報を取得し、生成した背景画像と取得した来客者の動線情報をサーバ装置に送信して、来客者の動線情報を行動の軌跡として分析して、モニタに表示する動線分析システムが開示されている。
　また、特許文献２には、動線抽出部から抽出された作業者の動線と、作業者の識別情報とを関連付けて、記録する作業管理システムが開示されている。
特開２０１７－３３１８４号公報 特開２０１８－１０３６６号公報
　生産設備の作業員の作業を管理する方法としては、天井カメラを設置してそれにより、人の動線を取得する技術が知られている。このとき、単に動線を抽出するだけでなく、個人認識をできるとよりきめの細かな作業管理が可能になる。そのため、画像から顔認識をする技術を併用したり、作業者にＱＲコード（登録商標）などの画像認識をできるマーカを装着させて、個人ＩＤと関連づいた動線を利用することが考えられる。しかしながら、そのような個人ＩＤと関連づいた動線では、個人同定はできるが動線抽出範囲が狭くなるという課題が生じる。これは、大きなマーカを装着すれば解決するが、物理的に、作業者の作業を阻害するという問題が生じる。
　本発明の目的は、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することにある。
　本発明の画像処理装置の構成は、好ましくは、撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、ＩＤ付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けること、を特徴とするようにしたものである。
　本発明によれば、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することができる。
画像処理システムの一例を示す構成図である。 画像処理装置の機能構成図である。 画像処理装置のハードウェア・ソフトウェア構成図である。 人検知動線データテーブルの一例を示す図である。 ＩＤ付き動線データテーブルの一例を示す図である。 撮影される画像からＩＤが認識される範囲について説明する図である（その一）。 撮影される画像からＩＤが認識される範囲について説明する図である（その二）。 撮影される画像と動線検出の関係について説明する図である。 画像処理システムの動線処理を示すフローチャートである。 ＩＤ付き動線抽出処理を示すフローチャートである。 人検知抽出処理と動線紐付け処理を示すフローチャートである。
　以下、本発明に係る実施形態を、図１ないし図１０を用いて説明する。
　先ず、図１および図２を用いて本発明の一実施形態に係る画像処理システムの構成について説明する。
  本実施形態の画像処理システムは、図１に示されるように、画像処理装置１２０、カメラ１１０、表示装置１２１が接続された形態である。
　カメラ１１０は、人物１００の動画像を撮像する装置であり、例えば、構内ネットワークにより、画像処理装置１２０とＩＰ接続されたＷｅｂカメラである。カメラ１１０は、人物１００を撮像するために、施設の天井に設置されているものとする。表示装置１２１は、ユーザに動画像やその他の表示対象を表示する装置である。画像処理装置１２０は、動画像から動線を抽出し、動線を解析したり、動線を利用したアプリケーションソフトウェアを実行する装置である。
　人物１００は、その動線を取得して解析する対象となる作業者である。マーカ１０１は、例えば、人物１００のヘルメットや防止などに付加される人物の個人を特定するためのＱＲコード、バーコードや文字などである。また、個人を認識するために、顔１０２を利用した顔認識を用いてもよい。
　次に、図２を用いて画像処理装置の機能構成について説明する。
  画像処理装置１２０は、人検知動線抽出部２００、ＩＤ付き動線抽出部２０１、動線紐付け部２０２、画像認識部２０３の機能部を有する。
　人検知動線抽出部２００は、画像処理装置１２０が人検知を行う画像認識により得られる人物動線を抽出する機能部である。本実施形態では、この動線を「人検知動線」と言うことにする。ＩＤ付き動線抽出部２０１は、画像処理装置１２０がマーカ認識や顔認識を行って、個人を特定し、個人を特定する情報を付加した人物動線を抽出する機能部である。本実施形態では、この動線を「ＩＤ付き動線」と言うことにする。動線紐付け部２０２は、人検知動線抽出部２００が抽出した人検知動線と、ＩＤ付き動線抽出部２０１が抽出したＩＤ付き動線とを関連付ける機能部である。画像認識部２０３は、ＱＲコード認識、バーコード認識、ＯＣＲの文字認識などにより、画像からＩＤ情報を認識する機能部である。
　画像処理装置１２０は、人検知動線データテーブル２１０、ＩＤ付き動線データテーブル２１１を保持する。
　人検知動線データテーブル２１０は、人検知動線に関する情報を格納するテーブルである。ＩＤ付き動線データテーブル２１１は、ＩＤ付き動線に関する情報を格納するテーブルである。なお、これらのテーブルの詳細は、後に説明する。
　次に、図３を用いて画像処理装置のハードウェア・ソフトウェア構成について説明する。
  画像処理装置１２０のハードウェア構成としては、例えば、図３に示されるパーソナルコンピュータのような一般的な情報処理装置で実現される。
　画像処理装置１２０は、ＣＰＵ（Central Processing Unit）４０２、主記憶装置４０４、ネットワークＩ／Ｆ４０６、表示Ｉ／Ｆ４０８、入出力Ｉ／Ｆ４１０、補助記憶Ｉ／Ｆ４１２が、バスにより結合された形態になっている。
　ＣＰＵ４０２は、画像処理装置１２０の各部を制御し、主記憶装置４０４に必要なプログラムをロードして実行する。
　主記憶装置４０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ４０２が実行するプログラム、参照するデータが記憶される。
　ネットワークＩ／Ｆ４０６は、カメラ１１０のネットワークと接続するためのインタフェースである。
　表示Ｉ／Ｆ４０８は、ＬＣＤ（Liquid Crystal Display）などの表示装置１２１を接続するためのインタフェースである。
　入出力Ｉ／Ｆ４１０は、入出力装置を接続するためのインタフェースである。図３の例では、キーボード４３０とポインティングデバイスのマウス４３２が接続されている。
　補助記憶Ｉ／Ｆ４１２は、ＨＤＤ（Hard Disk Drive）４５０やＳＳＤ（Solid State Drive）などの補助記憶装置を接続するためのインタフェースである。
　ＨＤＤ４５０は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。画像処理装置１２０には、人検知動線抽出プログラム４６０、ＩＤ付き動線抽出プログラム４６１、動線紐付けプログラム４６２、画像認識プログラム４６３がインストールされている。
　人検知動線抽出プログラム４６０、ＩＤ付き動線抽出プログラム４６１、動線紐付けプログラム４６２、画像認識プログラム４６３は、それぞれ人検知動線抽出部２００、ＩＤ付き動線抽出部２０１、動線紐付け部２０２、画像認識部２０３の機能を実現するためのプログラムである。
  また、ＨＤＤ４５０には、人検知動線データテーブル２１０、ＩＤ付き動線データテーブル２１１が格納されている。
　次に、図４および図５を用いて画像処理システムが使用するデータ構造について説明する。
  人検知動線データテーブル２１０は、図４に示されるように、人検知動線インデックス２１０ａ、ＩＤ２１０ｂ、フレーム履歴２１０ｃの項目を有する。人検知動線インデックス２１０ａには、人検知動線を識別するためのインデックスが格納される。ＩＤ２１０ｂは、ＩＤ付き動線と紐付けたときのそのＩＤ付き動線に定義されているＩＤの値が格納される。フレーム履歴２１０ｃは、人検知動線がフレーム毎のデータとして格納される。フレーム履歴２１０ｃは、領域情報と画像特徴量がデータとして含まれる。フレーム履歴２１０ｃに含まれる領域情報は、例えば、領域左上のｘ，ｙ座標と、幅、高さで表現される人検知領域（詳細は、後述）である。画像特徴量は、例えば、撮像した動画像の特徴量を捉えるデータであり、例えば、多次元の特徴量ベクトル情報で表現される。画像特徴量は、例えば、ＱＲコードやバーコードを解析する場合には、色ヒストグラムの情報を解析することにより得ることができる。図４のフレーム履歴２１０ｃのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端（ｔ）に新しいデータが書き込まれるものとする。
　ＩＤ付き動線データテーブル２１１は、図４に示されるように、ＩＤ付き動線インデックス２１１ａ、ＩＤ２１１ｂ、フレーム履歴２１１ｃの項目を有する。ＩＤ付き動線インデックス２１１ａには、ＩＤ付き動線を識別するためのインデックスが格納される。ＩＤ２１１ｂは、顔認識やマーカ認識で認識された個人のＩＤが格納される。フレーム履歴２１１ｃは、ＩＤ付き動線がフレーム毎のデータとして格納される。フレーム履歴２１１ｃは、領域情報がデータとして含まれる。フレーム履歴２１１ｃに含まれる領域情報は、人検知動線データテーブル２１０と同様に、例えば、領域左上のｘ，ｙ座標と、幅、高さで表現されるＩＤ領域（詳細は、後述）である。また、人検知動線データテーブル２１０と同様に、図４のフレーム履歴２１１ｃのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端（ｔ）に新しいデータが書き込まれるものとする。
　次に、図６Ａおよび図７を用いて撮影される画像と動線検出の関係について説明する。
  図６Ａが、ＱＲコードによるマーカ認識の画像処理を行うときの領域の関係を示したものであり、図６Ｂが、顔認識の画像処理を行うときの領域の関係を示したものである。
　図６Ａ、図６Ｂに示される人検知領域９００は、人検知動線抽出部２００が人検知動線を作成するために、移動する人を検知する領域である。図６Ａの例では、人検知動線を作成する対象となる人の一部または全部の人が個々の人を識別するＩＤの情報を含むマーカを帽子やヘルメットなどの頭部につけているものとする。このとき、マーカによるＩＤがＩＤ領域９０１にあるものとする。
　本実施形態の画像処理システムでは、後に詳説するように、人検知領域９００から相対的にマーカによるＩＤが存在する領域に対して、ＩＤ存在可能領域９２０を計算する。
　人検知領域９００から相対的な位置関係によって定まるＩＤ存在可能領域９２０と、ＩＤ付き動線の領域情報として有するＩＤ領域の関係によって、人検知動線とＩＤ付き動線の紐付けを行うものである。なお、この処理の詳細は、後に説明する。
　また、本実施形態の画像処理システムでは、ＩＤ存在可能領域９２０であると予測される領域に対して画像特徴量領域９１０として、この部分の画像特徴量を算出する。画像特徴量領域９１０は、人の頭頂など人検知領域に対して相対的に定められる領域となる。マーカをつけている人とマーカをつけていない人の画像特徴量は明らかに異なる。したがって、この画像特徴量領域９１０から算出される画像特徴量に基づいて、マーカをつけている人とマーカをつけていない人の動線を区別することができる。画像特徴量領域９１０は、動線の画像特徴を求める領域であり、ＩＤ存在可能領域と等しくとってもよい。
　顔認識を行うときには、図６Ｂに示されるように、顔１０２の部分がＩＤ領域９０１となり、それを包含する領域が、ＩＤ存在可能領域９２０である。顔認識の場合も、画像特徴量領域９１０とＩＤ存在可能領域は、等しく取ってよい。
　なお、図示しなかったが、顔認識を行うときには、この画像処理システムは、ＩＤと顔認識の画像特徴量が対になったテーブルを保持するものとする。
　本実施形態では、天井に設置されたカメラ１１０により動線を抽出する画像を撮影する。このとき、図７に示されるように、ＩＤ認識可能領域７００は、カメラ１１０の下からある程度の近傍領域となり、それを含む範囲で、ＩＤ認識不可能領域・人検知動線抽出可能領域７０１が広がっている。
　そのため、人検知動線とＩＤ付き動線紐付けることができれば、ＩＤを認識できる動線の範囲を広くとることができるという意義を有する。
　なお、人検知動線が複数のカメラをまたいでいた場合には、カメラから撮影した情報とカメラ間の幾何学的関係から人検知動線を紐付けたものを人検知動線の解析の対象としてもよい。
　次に、図８ないし図１０を用いて画像処理システムの動線処理について説明する。
　先ず、図８を用いて画像処理システムの動線処理の概要について説明する。
  最初に、ＩＤ付き動線処理を行う（Ｓ０１）。
  次に、人検知抽出処理と動線紐付け処理を行う（Ｓ０２）。
　次に、図８を用いてＩＤ付き動線抽出処理の詳細について説明する。
  これは、図８のＳ０１に該当する処理である。
  先ず、画像ストリームの新たなフレームｔに対して、画像認識部２０３がＩＤ認識を実施する（Ｓ１００）。これは、例えば、マーカ１０１として付与されているＱＲコードやバーコードを画像認識して、ＩＤ情報とＩＤ領域９０１の情報を得る処理である。
　ＩＤ付き動線データテーブルのフレームｔ－１（一つ前のフレーム）に、Ｓ１００でＩＤ認識をして得られたＩＤ２１１ｂと同じＩＤを有するレコードがあるか否かを判断する（Ｓ１０１）。
　同じＩＤを有するレコードがある場合には（Ｓ１０１：ＹＥＳ）、ＩＤ認識をして得られたＩＤ２１１ｂと同じＩＤを有するレコードのフレームｔのエントリに、ＩＤ認識結果から得られたＩＤ領域９０１の領域情報を書き込む（Ｓ１０２）。
　同じＩＤを有するレコードがない場合には（Ｓ１０１：ＮＯ）、新たなレコードを作成し、フレームｔのエントリに、ＩＤ認識結果から得られたＩＤ領域９０１の領域情報を書き込む（Ｓ１０３）。
　次に、図１０を用いて人検知抽出処理と動線紐付け処理の詳細について説明する。
  先ず、画像ストリームの新たなフレームｔに対して人検知を実施する（Ｓ２００）。
  そして、各人検知領域９００に対して、Ｓ２０２～Ｓ２１０の処理を行う（Ｓ２０１～Ｓ２１１）。
　人検知領域９００の相対位置から画像特徴量を算出する画像特徴量領域９１０を求めて、その領域から画像特徴量を算出する（Ｓ２０２）。
　次に、人検知動線データテーブル２１０のフレームｔ－１（一つ前のフレーム）において、領域情報が示す領域が人検知領域９００の近傍であり、かつ、Ｓ２０２で算出した画像特徴量と所定の近さを有する画像特徴量を有する人検知動線データテーブル２１０のレコードを抽出する（Ｓ２０３）。ここで、「画像特徴量と所定の近さを有する」とは、例えば、特徴量ベクトルのノルム距離が所定の閾値より小さくなることで判断することができる。以下の説明と図１０において、抽出された人検知動線データテーブル２１０のレコードが表現する動線を、「人検知動線候補」ということにする。
　次に、Ｓ２０３で抽出された人検知動線候補が単数か複数かを判断する（Ｓ２０４）。
　人検知動線候補が単数のときには（Ｓ２０４：ＹＥＳ）、抽出された人検知動線データテーブル２１０のレコードのフレームｔに、人検知結果の領域情報として、人検知領域９００と、画像特徴量領域９１０から求められた画像特徴量を書き込み（Ｓ２０５）、次のループに行く（Ｓ２１１）。
　人検知動線候補が複数のときには（Ｓ２０４：ＮＯ）、人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブルのレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれかが含まれるか否かを判断する（Ｓ２０６、図６Ａ、図６Ｂも参照）。
　人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブル２１１のレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれかが含まれるときには（Ｓ２０６：ＹＥＳ）、人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがあるか否かを判断する（Ｓ２０７）。
　人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがあったときには（Ｓ２０７：ＹＥＳ）、人検知動線データテーブル２１０のレコードのフレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２０８）。
　人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがなかったときには（Ｓ２０７：ＮＯ）、人検知動線データテーブル２１０に新たなレコードを作成し、人検知動線インデックスを追加し、該当するＩＤ付き動線テーブルのレコードのＩＤをＩＤとして書込み、フレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２０９）。この処理が、人検知動線とＩＤ付き動線とを紐付ける処理である。
　人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブル２１１のレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれもが含まれないときには（Ｓ２０６：ＮＯ）、人検知動線データテーブル２１０に新たなレコードを作成し、人検知動線インデックスを追加し、ＩＤは、ＮＵＬＬとして、フレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２１０）。
　以上の処理により、ＩＤ付き動線と人検知動線が紐付けられ、人の動線を利用するアプリケーションソフトウェアで利用可能になる。これは、アプリケーションソフトウェアでの動線解析において、図７で説明したように、より広い範囲でＩＤを認識できる動線が得られる意義を有する。
　また、複数の動線が交差する場合に、従来技術では、交差点以降の動線の区別をするのが難しいという問題があったが、ＩＤ付き動線と人検知動線が紐付けられるため、ＩＤに有無により、個々の動線の区別が容易になるという特徴がある。
１００…人物
１０１…マーカ
１０２…顔
１１０…カメラ
１２０…画像処理装置
１２１…表示装置
２００…人検知動線抽出部
２０１…ＩＤ付き動線抽出部
２０２…動線紐付け部
２０３…画像認識部
２１０…人検知動線データテーブル
２１１…ＩＤ付き動線データテーブル
９００…人検知領域
９０１…ＩＤ領域
９１０…画像特徴量領域
９２０…ＩＤ存在可能領域

Claims (6)

  1. 　撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、
    　各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
    　各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、
    　画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
    　画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、前記ＩＤ付き動線データテーブルに格納し、
    　前記人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けること、
    を特徴とする画像処理装置。
  2. 　前記人検知領域に対して、相対的な位置関係により定められたＩＤ存在可能領域に含まれる前記ＩＤ領域から認識されたＩＤを格納することより、人検知動線とＩＤ付き動線を紐付けること、を特徴とする請求項１記載の画像処理装置。
  3. 　前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求め、
    　ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出し、
    　その候補の中からＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納するレコードを選出することを特徴とする請求項１記載の画像処理装置。
  4. 　画像処理装置により、撮影された画像データから、人物が移動する動線を解析する画像処理方法であって、
    　画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
    　各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、
    　画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
    　画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、前記ＩＤ付き動線データテーブルに格納するステップと、
    　前記人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けるステップと、を有することを特徴とする画像処理方法。
  5. 　前記人検知領域に対して、相対的な位置関係により定められたＩＤ存在可能領域に含まれる前記ＩＤ領域から認識されたＩＤを格納することより、人検知動線とＩＤ付き動線を紐付けること、を特徴とする請求項４記載の画像処理方法。
  6. 　前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求めるステップと、
    　ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出するステップと、
    　その候補の中からＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納するレコードを選出するステップと、を有することを特徴とする請求項４記載の画像処理方法。
PCT/JP2020/017588 2019-04-24 2020-04-24 画像処理装置および画像処理方法 WO2020218463A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019082931A JP7233292B2 (ja) 2019-04-24 2019-04-24 画像処理装置および画像処理方法
JP2019-082931 2019-04-24

Publications (1)

Publication Number Publication Date
WO2020218463A1 true WO2020218463A1 (ja) 2020-10-29

Family

ID=72942210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017588 WO2020218463A1 (ja) 2019-04-24 2020-04-24 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP7233292B2 (ja)
WO (1) WO2020218463A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283398A (zh) * 2021-07-13 2021-08-20 国网电子商务有限公司 一种基于聚类的表格识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2011170564A (ja) * 2010-02-17 2011-09-01 Toshiba Tec Corp 動線連結方法，装置及び動線連結プログラム
JP2011227647A (ja) * 2010-04-19 2011-11-10 Secom Co Ltd 不審者検知装置
JP2012050031A (ja) * 2010-08-30 2012-03-08 Secom Co Ltd 監視装置
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
JP2018165849A (ja) * 2017-03-28 2018-10-25 達広 佐野 カメラによる属性収集システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2011170564A (ja) * 2010-02-17 2011-09-01 Toshiba Tec Corp 動線連結方法，装置及び動線連結プログラム
JP2011227647A (ja) * 2010-04-19 2011-11-10 Secom Co Ltd 不審者検知装置
JP2012050031A (ja) * 2010-08-30 2012-03-08 Secom Co Ltd 監視装置
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
JP2018165849A (ja) * 2017-03-28 2018-10-25 達広 佐野 カメラによる属性収集システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283398A (zh) * 2021-07-13 2021-08-20 国网电子商务有限公司 一种基于聚类的表格识别方法及系统

Also Published As

Publication number Publication date
JP7233292B2 (ja) 2023-03-06
JP2020182063A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
Luo et al. Towards efficient and objective work sampling: Recognizing workers' activities in site surveillance videos with two-stream convolutional networks
Fang et al. Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach
JP6362674B2 (ja) 映像監視支援装置、映像監視支援方法、およびプログラム
US11665311B2 (en) Video processing system
JP6319421B2 (ja) 情報処理装置、データ分析方法、及び、プログラム
CN110991261A (zh) 交互行为识别方法、装置、计算机设备和存储介质
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
Chattopadhyay et al. Frontal gait recognition from occluded scenes
US11429985B2 (en) Information processing device calculating statistical information
JP2019101549A (ja) 作業現場監視装置およびプログラム
KR20160118830A (ko) 압력 센서를 이용한 객체 인식 방법
CN110555349B (zh) 一种工作时长统计方法和装置
WO2020218463A1 (ja) 画像処理装置および画像処理方法
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
JP6988555B2 (ja) 業務管理装置および業務管理方法
WO2022185569A1 (ja) 映像解析システム、及び映像解析方法
JP6527049B2 (ja) 行動特性分析システムおよび行動特性分析方法
CN110956644B (zh) 一种运动轨迹确定方法及系统
JP2022072347A (ja) 座標管理装置、座標管理方法、及びプログラム
JP7414660B2 (ja) 異常行動検出システム及び異常行動検出方法
KR102560107B1 (ko) 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법
EP4354388A1 (en) Task analysis device and method
JP6975666B2 (ja) 人物特定システム及び人物特定方法
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
Mollaei et al. Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20794745

Country of ref document: EP

Kind code of ref document: A1