JP7233292B2 - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP7233292B2
JP7233292B2 JP2019082931A JP2019082931A JP7233292B2 JP 7233292 B2 JP7233292 B2 JP 7233292B2 JP 2019082931 A JP2019082931 A JP 2019082931A JP 2019082931 A JP2019082931 A JP 2019082931A JP 7233292 B2 JP7233292 B2 JP 7233292B2
Authority
JP
Japan
Prior art keywords
flow line
area
data table
human detection
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019082931A
Other languages
Japanese (ja)
Other versions
JP2020182063A (en
Inventor
洋登 永吉
雄大 浦野
泰彦 稲富
俊輝 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019082931A priority Critical patent/JP7233292B2/en
Priority to PCT/JP2020/017588 priority patent/WO2020218463A1/en
Publication of JP2020182063A publication Critical patent/JP2020182063A/en
Application granted granted Critical
Publication of JP7233292B2 publication Critical patent/JP7233292B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像処理装置および画像処理方法に係り、特に、個々の人物を認識して動線を正確に解析するのに好適な画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and image processing method, and more particularly to an image processing apparatus and image processing method suitable for recognizing individual persons and accurately analyzing flow lines.

カメラなどの機器により、動画像データを撮像し、コンピュータなどの情報処理装置により、移動する人物の動線を解析する技術は、生産設備における作業管理、ショッピングモールの販売促進のための顧客情報解析、セキャリティシステムへの応用など様々な分野で応用されている。 The technology that captures moving image data with equipment such as cameras and analyzes the flow lines of moving people with information processing equipment such as computers is used for work management in production facilities and customer information analysis for sales promotion in shopping malls. , security systems, etc.

例えば、特許文献1には、来客者の行動軌跡を把握するために、フロアの撮像画像の背景画像を生成し、所定の周期毎に、来客者の滞留位置または通過位置に関する動線情報を取得し、生成した背景画像と取得した来客者の動線情報をサーバ装置に送信して、来客者の動線情報を行動の軌跡として分析して、モニタに表示する動線分析システムが開示されている。 For example, in Patent Document 1, in order to grasp the behavioral trajectory of visitors, a background image of a captured image of the floor is generated, and flow line information regarding the visitor's staying position or passing position is acquired for each predetermined period. Then, the generated background image and the acquired visitor flow line information are transmitted to a server device, the visitor flow line information is analyzed as the trajectory of the visitor's behavior, and the flow line analysis system is disclosed for displaying on a monitor. there is

また、特許文献2には、動線抽出部から抽出された作業者の動線と、作業者の識別情報とを関連付けて、記録する作業管理システムが開示されている。 Further, Patent Literature 2 discloses a work management system that associates and records a worker's flow line extracted from a flow line extraction unit and worker identification information.

特開2017-33184号公報JP 2017-33184 A 特開2018-10366号公報JP 2018-10366 A

生産設備の作業員の作業を管理する方法としては、天井カメラを設置してそれにより、人の動線を取得する技術が知られている。このとき、単に動線を抽出するだけでなく、個人認識をできるとよりきめの細かな作業管理が可能になる。そのため、画像から顔認識をする技術を併用したり、作業者にQRコード(登録商標)などの画像認識をできるマーカを装着させて、個人IDと関連づいた動線を利用することが考えられる。しかしながら、そのような個人IDと関連づいた動線では、個人同定はできるが動線抽出範囲が狭くなるという課題が生じる。これは、大きなマーカを装着すれば解決するが、物理的に、作業者の作業を阻害するという問題が生じる。 As a method for managing the work of workers in production equipment, a technique of installing a ceiling camera and thereby acquiring the line of flow of people is known. At this time, it is possible to perform more detailed work management by not only extracting flow lines but also by recognizing individuals. Therefore, it is conceivable to use a technology that recognizes the face from the image, or to have the worker wear a marker that can recognize the image such as a QR code (registered trademark), and use the flow line associated with the personal ID. . However, with such flow lines associated with personal IDs, although individual identification is possible, a problem arises in that the flow line extraction range is narrow. This problem can be solved by attaching a large marker, but this poses a problem of physically hindering the work of the operator.

本発明の目的は、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing apparatus and an image processing method capable of analyzing a worker's movement line in a wide work range without interfering with the work of the worker.

本発明の画像処理装置の構成は、好ましくは、撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、ID付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けること、を特徴とするようにしたものである。 The configuration of the image processing apparatus of the present invention is preferably an image processing apparatus that analyzes a flow line along which a person moves from photographed image data, each record holding data representing a human-detected flow line, A human detection flow line data table having region information of human detection regions in chronological order, each record holding data representing a flow line with an ID, and holding an ID specifying a person and region information of ID regions in chronological order. The image data is analyzed, the human detection area of the moving person is obtained and stored in the human detection flow line data table, the image data is analyzed, and the ID area and the ID are stored. An ID that identifies a person included in the area is obtained and stored in the flow line data table with ID, and the ID held by each record in the flow line data table with ID is stored in each record of the human detection flow line data table. By doing so, the person-detected flow line and the ID-attached flow line are linked.

本発明によれば、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus and image processing method which can analyze the flow line of a worker's wide work range can be provided, without obstructing a worker's work.

画像処理システムの一例を示す構成図である。1 is a configuration diagram showing an example of an image processing system; FIG. 画像処理装置の機能構成図である。2 is a functional configuration diagram of an image processing apparatus; FIG. 画像処理装置のハードウェア・ソフトウェア構成図である。2 is a hardware/software configuration diagram of an image processing apparatus; FIG. 人検知動線データテーブルの一例を示す図である。It is a figure which shows an example of a human-detection flow line data table. ID付き動線データテーブルの一例を示す図である。It is a figure which shows an example of a flow-line data table with ID. 撮影される画像からIDが認識される範囲について説明する図である(その一)。FIG. 4 is a diagram for explaining a range in which an ID is recognized from a photographed image (No. 1); 撮影される画像からIDが認識される範囲について説明する図である(その二)。FIG. 11 is a diagram illustrating a range in which an ID is recognized from a photographed image (part 2); 撮影される画像と動線検出の関係について説明する図である。It is a figure explaining the relationship between the image image|photographed and flow line detection. 画像処理システムの動線処理を示すフローチャートである。4 is a flowchart showing flow line processing of the image processing system; ID付き動線抽出処理を示すフローチャートである。It is a flow chart which shows flow line extraction processing with ID. 人検知抽出処理と動線紐付け処理を示すフローチャートである。6 is a flowchart showing human detection extraction processing and flow line linking processing.

以下、本発明に係る実施形態を、図1ないし図10を用いて説明する。 An embodiment according to the present invention will be described below with reference to FIGS. 1 to 10. FIG.

先ず、図1および図2を用いて本発明の一実施形態に係る画像処理システムの構成について説明する。
本実施形態の画像処理システムは、図1に示されるように、画像処理装置120、カメラ110、表示装置121が接続された形態である。
First, the configuration of an image processing system according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2. FIG.
The image processing system of this embodiment, as shown in FIG. 1, has a form in which an image processing device 120, a camera 110, and a display device 121 are connected.

カメラ110は、人物100の動画像を撮像する装置であり、例えば、構内ネットワークにより、画像処理装置120とIP接続されたWebカメラである。カメラ110は、人物100を撮像するために、施設の天井に設置されているものとする。表示装置121は、ユーザに動画像やその他の表示対象を表示する装置である。画像処理装置120は、動画像から動線を抽出し、動線を解析したり、動線を利用したアプリケーションソフトウェアを実行する装置である。 The camera 110 is a device that captures a moving image of the person 100, and is, for example, a web camera IP-connected to the image processing device 120 via a local network. Assume that the camera 110 is installed on the ceiling of the facility in order to image the person 100 . The display device 121 is a device that displays moving images and other display objects to the user. The image processing device 120 is a device that extracts a flow line from a moving image, analyzes the flow line, and executes application software using the flow line.

人物100は、その動線を取得して解析する対象となる作業者である。マーカ101は、例えば、人物100のヘルメットや防止などに付加される人物の個人を特定するためのQRコード、バーコードや文字などである。また、個人を認識するために、顔102を利用した顔認識を用いてもよい。 A person 100 is a worker whose flow line is to be acquired and analyzed. The marker 101 is, for example, a QR code, a bar code, characters, or the like for identifying the person attached to the helmet or protection of the person 100 . Also, face recognition using the face 102 may be used to recognize an individual.

次に、図2を用いて画像処理装置の機能構成について説明する。
画像処理装置120は、人検知動線抽出部200、ID付き動線抽出部201、動線紐付け部202、画像認識部203の機能部を有する。
Next, the functional configuration of the image processing apparatus will be described with reference to FIG.
The image processing apparatus 120 has functional units of a human detection flow line extraction unit 200 , an ID flow line extraction unit 201 , a flow line linking unit 202 , and an image recognition unit 203 .

人検知動線抽出部200は、画像処理装置120が人検知を行う画像認識により得られる人物動線を抽出する機能部である。本実施形態では、この動線を「人検知動線」と言うことにする。ID付き動線抽出部201は、画像処理装置120がマーカ認識や顔認識を行って、個人を特定し、個人を特定する情報を付加した人物動線を抽出する機能部である。本実施形態では、この動線を「ID付き動線」と言うことにする。動線紐付け部202は、人検知動線抽出部200が抽出した人検知動線と、ID付き動線抽出部201が抽出したID付き動線とを関連付ける機能部である。画像認識部203は、QRコード認識、バーコード認識、OCRの文字認識などにより、画像からID情報を認識する機能部である。 The human-detected flow line extraction unit 200 is a functional unit that extracts a human flow line obtained by image recognition performed by the image processing apparatus 120 for human detection. In this embodiment, this line of flow will be referred to as a "human detection line of flow". The ID-attached flow line extraction unit 201 is a functional unit in which the image processing apparatus 120 performs marker recognition and face recognition, identifies an individual, and extracts a person flow line to which information for identifying the individual is added. In this embodiment, this line of flow is referred to as "flow line with ID". The flow line linking unit 202 is a functional unit that associates the human-detected flow line extracted by the human-detected flow line extraction unit 200 with the ID-attached flow line extracted by the ID-attached flow line extraction unit 201 . The image recognition unit 203 is a functional unit that recognizes ID information from an image by QR code recognition, barcode recognition, OCR character recognition, or the like.

画像処理装置120は、人検知動線データテーブル210、ID付き動線データテーブル211を保持する。 The image processing apparatus 120 holds a human-detected flow line data table 210 and an ID-attached flow line data table 211 .

人検知動線データテーブル210は、人検知動線に関する情報を格納するテーブルである。ID付き動線データテーブル211は、ID付き動線に関する情報を格納するテーブルである。なお、これらのテーブルの詳細は、後に説明する。 The human-detected flow line data table 210 is a table that stores information about human-detected flow lines. The ID-attached flow line data table 211 is a table that stores information on the ID-attached flow line. Details of these tables will be described later.

次に、図3を用いて画像処理装置のハードウェア・ソフトウェア構成について説明する。
画像処理装置120のハードウェア構成としては、例えば、図3に示されるパーソナルコンピュータのような一般的な情報処理装置で実現される。
Next, the hardware/software configuration of the image processing apparatus will be described with reference to FIG.
As a hardware configuration of the image processing apparatus 120, for example, it is realized by a general information processing apparatus such as a personal computer shown in FIG.

画像処理装置120は、CPU(Central Processing Unit)402、主記憶装置404、ネットワークI/F406、表示I/F408、入出力I/F410、補助記憶I/F412が、バスにより結合された形態になっている。 The image processing device 120 has a form in which a CPU (Central Processing Unit) 402, a main storage device 404, a network I/F 406, a display I/F 408, an input/output I/F 410, and an auxiliary storage I/F 412 are connected by a bus. ing.

CPU402は、画像処理装置120の各部を制御し、主記憶装置404に必要なプログラムをロードして実行する。 The CPU 402 controls each unit of the image processing apparatus 120, loads necessary programs into the main storage device 404, and executes them.

主記憶装置404は、通常、RAMなどの揮発メモリで構成され、CPU402が実行するプログラム、参照するデータが記憶される。 The main memory device 404 is normally composed of a volatile memory such as a RAM, and stores programs executed by the CPU 402 and data to be referred to.

ネットワークI/F406は、カメラ110のネットワークと接続するためのインタフェースである。 A network I/F 406 is an interface for connecting the camera 110 to a network.

表示I/F408は、LCD(Liquid Crystal Display)などの表示装置121を接続するためのインタフェースである。 A display I/F 408 is an interface for connecting a display device 121 such as an LCD (Liquid Crystal Display).

入出力I/F410は、入出力装置を接続するためのインタフェースである。図3の例では、キーボード430とポインティングデバイスのマウス432が接続されている。 The input/output I/F 410 is an interface for connecting input/output devices. In the example of FIG. 3, a keyboard 430 and a mouse 432 as a pointing device are connected.

補助記憶I/F412は、HDD(Hard Disk Drive)450やSSD(Solid State Drive)などの補助記憶装置を接続するためのインタフェースである。 Auxiliary storage I/F 412 is an interface for connecting auxiliary storage devices such as HDD (Hard Disk Drive) 450 and SSD (Solid State Drive).

HDD450は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。画像処理装置120には、人検知動線抽出プログラム460、ID付き動線抽出プログラム461、動線紐付けプログラム462、画像認識プログラム463がインストールされている。 The HDD 450 has a large storage capacity and stores programs for executing this embodiment. A human detection flow line extraction program 460 , an ID-attached flow line extraction program 461 , a flow line linking program 462 , and an image recognition program 463 are installed in the image processing apparatus 120 .

人検知動線抽出プログラム460、ID付き動線抽出プログラム461、動線紐付けプログラム462、画像認識プログラム463は、それぞれ人検知動線抽出部200、ID付き動線抽出部201、動線紐付け部202、画像認識部203の機能を実現するためのプログラムである。
また、HDD450には、人検知動線データテーブル210、ID付き動線データテーブル211が格納されている。
The human-detected flow-line extraction program 460, the ID-attached flow-line extraction program 461, the flow-line tying program 462, and the image recognition program 463 are the human-detected flow-line extraction unit 200, the ID-attached flow-line extraction unit 201, and the flow-line tying program, respectively. It is a program for realizing the functions of the unit 202 and the image recognition unit 203 .
The HDD 450 also stores a human-detected flow line data table 210 and an ID-attached flow line data table 211 .

次に、図4および図5を用いて画像処理システムが使用するデータ構造について説明する。
人検知動線データテーブル210は、図4に示されるように、人検知動線インデックス210a、ID210b、フレーム履歴210cの項目を有する。人検知動線インデックス210aには、人検知動線を識別するためのインデックスが格納される。ID210bは、ID付き動線と紐付けたときのそのID付き動線に定義されているIDの値が格納される。フレーム履歴210cは、人検知動線がフレーム毎のデータとして格納される。フレーム履歴210cは、領域情報と画像特徴量がデータとして含まれる。フレーム履歴210cに含まれる領域情報は、例えば、領域左上のx,y座標と、幅、高さで表現される人検知領域(詳細は、後述)である。画像特徴量は、例えば、撮像した動画像の特徴量を捉えるデータであり、例えば、多次元の特徴量ベクトル情報で表現される。画像特徴量は、例えば、QRコードやバーコードを解析する場合には、色ヒストグラムの情報を解析することにより得ることができる。図4のフレーム履歴210cのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端(t)に新しいデータが書き込まれるものとする。
Next, the data structure used by the image processing system will be described with reference to FIGS. 4 and 5. FIG.
The human-detected flow line data table 210 has items of a human-detected flow line index 210a, an ID 210b, and a frame history 210c, as shown in FIG. The human-detected flow line index 210a stores an index for identifying a human-detected flow line. The ID 210b stores the value of the ID defined for the ID-attached flow line when associated with the ID-attached flow line. In the frame history 210c, human-detected flow lines are stored as data for each frame. The frame history 210c includes area information and image feature amounts as data. The area information included in the frame history 210c is, for example, a human detection area represented by x, y coordinates, width, and height of the upper left corner of the area (details will be described later). The image feature amount is, for example, data that captures the feature amount of a captured moving image, and is represented by, for example, multidimensional feature amount vector information. For example, when analyzing a QR code or barcode, the image feature amount can be obtained by analyzing color histogram information. In the frame of the frame history 210c in FIG. 4, the right side is the past frame, and the frame is shifted to the right at each frame time, and new data is written at the left end (t).

ID付き動線データテーブル211は、図4に示されるように、ID付き動線インデックス211a、ID211b、フレーム履歴211cの項目を有する。ID付き動線インデックス211aには、ID付き動線を識別するためのインデックスが格納される。ID211bは、顔認識やマーカ認識で認識された個人のIDが格納される。フレーム履歴211cは、ID付き動線がフレーム毎のデータとして格納される。フレーム履歴211cは、領域情報がデータとして含まれる。フレーム履歴211cに含まれる領域情報は、人検知動線データテーブル210と同様に、例えば、領域左上のx,y座標と、幅、高さで表現されるID領域(詳細は、後述)である。また、人検知動線データテーブル210と同様に、図4のフレーム履歴211cのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端(t)に新しいデータが書き込まれるものとする。 As shown in FIG. 4, the ID-attached flow line data table 211 has items of an ID-attached flow line index 211a, an ID 211b, and a frame history 211c. The flow line index with ID 211a stores an index for identifying a flow line with ID. The ID 211b stores an individual ID recognized by face recognition or marker recognition. The frame history 211c stores ID-attached flow lines as data for each frame. The frame history 211c includes area information as data. The area information included in the frame history 211c is, for example, an ID area (details will be described later) expressed by the x, y coordinates of the upper left corner of the area, and the width and height, as in the human detection flow line data table 210. . As with the human detection flow line data table 210, in the frames of the frame history 211c in FIG. shall be written.

次に、図6Aおよび図7を用いて撮影される画像と動線検出の関係について説明する。
図6Aが、QRコードによるマーカ認識の画像処理を行うときの領域の関係を示したものであり、図6Bが、顔認識の画像処理を行うときの領域の関係を示したものである。
Next, the relationship between captured images and flow line detection will be described with reference to FIGS. 6A and 7. FIG.
FIG. 6A shows the relationship between areas when performing image processing for marker recognition using a QR code, and FIG. 6B shows the relationship between areas when performing image processing for face recognition.

図6A、図6Bに示される人検知領域900は、人検知動線抽出部200が人検知動線を作成するために、移動する人を検知する領域である。図6Aの例では、人検知動線を作成する対象となる人の一部または全部の人が個々の人を識別するIDの情報を含むマーカを帽子やヘルメットなどの頭部につけているものとする。このとき、マーカによるIDがID領域901にあるものとする。 A human detection area 900 shown in FIGS. 6A and 6B is an area where a moving person is detected in order for the human detection flow line extraction unit 200 to create a human detection flow line. In the example of FIG. 6A, it is assumed that some or all of the people for whom the human detection flow line is to be created have markers including ID information for identifying individual people on their heads, such as hats or helmets. do. At this time, it is assumed that the ID by the marker is in the ID area 901 .

本実施形態の画像処理システムでは、後に詳説するように、人検知領域900から相対的にマーカによるIDが存在する領域に対して、ID存在可能領域920を計算する。 In the image processing system of this embodiment, an ID existence possible area 920 is calculated for an area in which an ID by a marker exists relative to the human detection area 900, as will be described in detail later.

人検知領域900から相対的な位置関係によって定まるID存在可能領域920と、ID付き動線の領域情報として有するID領域の関係によって、人検知動線とID付き動線の紐付けを行うものである。なお、この処理の詳細は、後に説明する。 The human detection flow line and the ID flow line are linked according to the relationship between the ID existence possible region 920 determined by the relative positional relationship from the human detection region 900 and the ID region held as the region information of the ID flow line. be. Details of this processing will be described later.

また、本実施形態の画像処理システムでは、ID存在可能領域920であると予測される領域に対して画像特徴量領域910として、この部分の画像特徴量を算出する。画像特徴量領域910は、人の頭頂など人検知領域に対して相対的に定められる領域となる。マーカをつけている人とマーカをつけていない人の画像特徴量は明らかに異なる。したがって、この画像特徴量領域910から算出される画像特徴量に基づいて、マーカをつけている人とマーカをつけていない人の動線を区別することができる。画像特徴量領域910は、動線の画像特徴を求める領域であり、ID存在可能領域と等しくとってもよい。 In addition, in the image processing system of the present embodiment, the area predicted to be the ID existence possible area 920 is regarded as the image feature amount area 910, and the image feature amount of this portion is calculated. The image feature amount area 910 is an area defined relative to a human detection area such as the top of a person's head. The image feature values of a person wearing a marker and a person not wearing a marker are clearly different. Therefore, based on the image feature amount calculated from this image feature amount area 910, it is possible to distinguish the flow line of the person wearing the marker and the person not wearing the marker. The image feature amount area 910 is an area for obtaining the image feature of the flow line, and may be equal to the ID existence possible area.

顔認識を行うときには、図6Bに示されるように、顔102の部分がID領域901となり、それを包含する領域が、ID存在可能領域920である。顔認識の場合も、画像特徴量領域910とID存在可能領域は、等しく取ってよい。 When performing face recognition, as shown in FIG. 6B, the part of the face 102 is an ID area 901, and the area including it is an ID existable area 920. FIG. In the case of face recognition as well, the image feature amount area 910 and the ID existence possible area may be taken equally.

なお、図示しなかったが、顔認識を行うときには、この画像処理システムは、IDと顔認識の画像特徴量が対になったテーブルを保持するものとする。 Although not shown, when performing face recognition, this image processing system holds a table in which IDs and image feature amounts for face recognition are paired.

本実施形態では、天井に設置されたカメラ110により動線を抽出する画像を撮影する。このとき、図7に示されるように、ID認識可能領域700は、カメラ110の下からある程度の近傍領域となり、それを含む範囲で、ID認識不可能領域・人検知動線抽出可能領域701が広がっている。 In this embodiment, images for extracting flow lines are captured by a camera 110 installed on the ceiling. At this time, as shown in FIG. 7, the ID recognizable area 700 is a near area from below the camera 110 to some extent. It has spread.

そのため、人検知動線とID付き動線紐付けることができれば、IDを認識できる動線の範囲を広くとることができるという意義を有する。 Therefore, if the person-detected flow line can be associated with the ID-attached flow line, it is significant that the range of the flow line in which the ID can be recognized can be widened.

なお、人検知動線が複数のカメラをまたいでいた場合には、カメラから撮影した情報とカメラ間の幾何学的関係から人検知動線を紐付けたものを人検知動線の解析の対象としてもよい。 In addition, if the human detection flow line straddles multiple cameras, the human detection flow line that is linked from the information captured by the camera and the geometric relationship between the cameras is the target of the human detection flow line analysis. may be

次に、図8ないし図10を用いて画像処理システムの動線処理について説明する。 Next, flow line processing of the image processing system will be described with reference to FIGS. 8 to 10. FIG.

先ず、図8を用いて画像処理システムの動線処理の概要について説明する。
最初に、ID付き動線処理を行う(S01)。
次に、人検知抽出処理と動線紐付け処理を行う(S02)。
First, the outline of flow line processing of the image processing system will be described with reference to FIG.
First, flow line processing with an ID is performed (S01).
Next, human detection extraction processing and flow line linking processing are performed (S02).

次に、図8を用いてID付き動線抽出処理の詳細について説明する。
これは、図8のS01に該当する処理である。
先ず、画像ストリームの新たなフレームtに対して、画像認識部203がID認識を実施する(S100)。これは、例えば、マーカ101として付与されているQRコードやバーコードを画像認識して、ID情報とID領域901の情報を得る処理である。
Next, the details of the ID-attached flow line extraction process will be described with reference to FIG.
This is the process corresponding to S01 in FIG.
First, the image recognition unit 203 performs ID recognition on a new frame t of the image stream (S100). This is, for example, a process of image recognition of a QR code or a bar code added as a marker 101 to obtain ID information and information of the ID area 901 .

ID付き動線データテーブルのフレームt-1(一つ前のフレーム)に、S100でID認識をして得られたID211bと同じIDを有するレコードがあるか否かを判断する(S101)。 It is determined whether or not there is a record having the same ID as ID 211b obtained by ID recognition in S100 in frame t-1 (the previous frame) of the flow line data table with ID (S101).

同じIDを有するレコードがある場合には(S101:YES)、ID認識をして得られたID211bと同じIDを有するレコードのフレームtのエントリに、ID認識結果から得られたID領域901の領域情報を書き込む(S102)。 If there is a record with the same ID (S101: YES), the ID area 901 obtained from the ID recognition result is added to the entry of the frame t of the record with the same ID as the ID 211b obtained by ID recognition. Information is written (S102).

同じIDを有するレコードがない場合には(S101:NO)、新たなレコードを作成し、フレームtのエントリに、ID認識結果から得られたID領域901の領域情報を書き込む(S103)。 If there is no record with the same ID (S101: NO), a new record is created and the area information of the ID area 901 obtained from the ID recognition result is written in the entry of frame t (S103).

次に、図10を用いて人検知抽出処理と動線紐付け処理の詳細について説明する。
先ず、画像ストリームの新たなフレームtに対して人検知を実施する(S200)。
そして、各人検知領域900に対して、S202~S210の処理を行う(S201~S211)。
Next, the details of the human detection extraction process and the flow line linking process will be described with reference to FIG. 10 .
First, human detection is performed on a new frame t of the image stream (S200).
Then, the processes of S202 to S210 are performed for each human detection area 900 (S201 to S211).

人検知領域900の相対位置から画像特徴量を算出する画像特徴量領域910を求めて、その領域から画像特徴量を算出する(S202)。 An image feature amount area 910 for calculating the image feature amount is obtained from the relative position of the human detection area 900, and the image feature amount is calculated from that area (S202).

次に、人検知動線データテーブル210のフレームt-1(一つ前のフレーム)において、領域情報が示す領域が人検知領域900の近傍であり、かつ、S202で算出した画像特徴量と所定の近さを有する画像特徴量を有する人検知動線データテーブル210のレコードを抽出する(S203)。ここで、「画像特徴量と所定の近さを有する」とは、例えば、特徴量ベクトルのノルム距離が所定の閾値より小さくなることで判断することができる。以下の説明と図10において、抽出された人検知動線データテーブル210のレコードが表現する動線を、「人検知動線候補」ということにする。 Next, in the frame t−1 (the previous frame) of the human detection flow line data table 210, the area indicated by the area information is in the vicinity of the human detection area 900, and the image feature amount calculated in S202 and the predetermined A record of the human-detected flow line data table 210 having an image feature quantity having a closeness is extracted (S203). Here, "having a predetermined closeness to the image feature amount" can be determined, for example, by making the norm distance of the feature amount vector smaller than a predetermined threshold. In the following description and FIG. 10, the flow lines represented by the extracted records of the human-detected flow-line data table 210 are referred to as "human-detected flow-line candidates".

次に、S203で抽出された人検知動線候補が単数か複数かを判断する(S204)。 Next, it is determined whether the human detection flow line candidate extracted in S203 is singular or plural (S204).

人検知動線候補が単数のときには(S204:YES)、抽出された人検知動線データテーブル210のレコードのフレームtに、人検知結果の領域情報として、人検知領域900と、画像特徴量領域910から求められた画像特徴量を書き込み(S205)、次のループに行く(S211)。 When there is a single human detection flow line candidate (S204: YES), the human detection region 900 and the image feature amount region are added to the frame t of the extracted record of the human detection flow line data table 210 as the region information of the human detection result. The image feature amount obtained from 910 is written (S205), and the process goes to the next loop (S211).

人検知動線候補が複数のときには(S204:NO)、人検知領域から算出したID存在可能領域920に、ID付き動線データテーブルのレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれかが含まれるか否かを判断する(S206、図6A、図6Bも参照)。 When there are a plurality of human detection flow line candidates (S204: NO), the ID area 901 represented by the area information of the ID in the frame t of the record of the ID flow line data table is displayed in the ID existence possible area 920 calculated from the human detection area. It is determined whether any are included (S206, see also FIGS. 6A and 6B).

人検知領域から算出したID存在可能領域920に、ID付き動線データテーブル211のレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれかが含まれるときには(S206:YES)、人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがあるか否かを判断する(S207)。 When any of the ID areas 901 represented by the area information of the ID in the frame t of the record of the ID-attached flow line data table 211 is included in the ID existence possible area 920 calculated from the human detection area (S206: YES), human detection is performed. It is determined whether or not there is a flow line candidate having the same ID as that of the ID area 901 (S207).

人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがあったときには(S207:YES)、人検知動線データテーブル210のレコードのフレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S208)。 When there is a human-detected flow line candidate having the same ID as that of the ID area 901 (S207: YES), the entry of the frame t in the record of the human-detected flow line data table 210 has the obtained The area information of the human detection area and the image feature amount are written (S208).

人検知動線候補の中に、そのID領域901のIDと同じIDを有するものがなかったときには(S207:NO)、人検知動線データテーブル210に新たなレコードを作成し、人検知動線インデックスを追加し、該当するID付き動線テーブルのレコードのIDをIDとして書込み、フレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S209)。この処理が、人検知動線とID付き動線とを紐付ける処理である。 When there is no human-detected flow line candidate having the same ID as the ID of the ID area 901 (S207: NO), a new record is created in the human-detected flow line data table 210, and the human-detected flow line candidate is created. An index is added, the ID of the record in the corresponding ID-attached flow line table is written as an ID, and the area information and the image feature amount of the obtained human detection area are written in the entry of frame t (S209). This process is a process of linking the human-detected flow line and the ID-attached flow line.

人検知領域から算出したID存在可能領域920に、ID付き動線データテーブル211のレコードのフレームtにおけるIDの領域情報が表すID領域901のいずれもが含まれないときには(S206:NO)、人検知動線データテーブル210に新たなレコードを作成し、人検知動線インデックスを追加し、IDは、NULLとして、フレームtのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む(S210)。 When none of the ID areas 901 represented by the area information of the ID in the frame t of the record of the ID-attached flow line data table 211 is included in the possible ID existence area 920 calculated from the human detection area (S206: NO), A new record is created in the detection flow line data table 210, a human detection flow line index is added, ID is set to NULL, and the region information and image feature amount of the obtained human detection region are written in the entry of frame t. (S210).

以上の処理により、ID付き動線と人検知動線が紐付けられ、人の動線を利用するアプリケーションソフトウェアで利用可能になる。これは、アプリケーションソフトウェアでの動線解析において、図7で説明したように、より広い範囲でIDを認識できる動線が得られる意義を有する。 Through the above processing, the ID-attached flow line and the person-detected flow line are linked, and can be used by application software that uses the person's flow line. This has the significance that, in flow line analysis using application software, a flow line that allows IDs to be recognized in a wider range can be obtained, as described with reference to FIG.

また、複数の動線が交差する場合に、従来技術では、交差点以降の動線の区別をするのが難しいという問題があったが、ID付き動線と人検知動線が紐付けられるため、IDに有無により、個々の動線の区別が容易になるという特徴がある。 In addition, when a plurality of flow lines intersect, the conventional technology has the problem that it is difficult to distinguish the flow lines after the intersection. There is a feature that individual flow lines can be easily distinguished depending on the presence or absence of an ID.

100…人物
101…マーカ
102…顔
110…カメラ
120…画像処理装置
121…表示装置
200…人検知動線抽出部
201…ID付き動線抽出部
202…動線紐付け部
203…画像認識部
210…人検知動線データテーブル
211…ID付き動線データテーブル
900…人検知領域
901…ID領域
910…画像特徴量領域
920…ID存在可能領域
REFERENCE SIGNS LIST 100 Person 101 Marker 102 Face 110 Camera 120 Image processing device 121 Display device 200 Human detection flow line extraction unit 201 Flow line extraction unit with ID 202 Flow line linking unit 203 Image recognition unit 210 Human detection flow line data table 211 Flow line data table with ID 900 Human detection area 901 ID area 910 Image feature amount area 920 ID existence possible area

Claims (4)

撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、
各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納し、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付け
前記人検知領域に対して、相対的な位置関係により定められたID存在可能領域に含まれる前記ID領域から認識されたIDを格納することより、人検知動線とID付き動線を紐付けること、
を特徴とする画像処理装置。
An image processing device that analyzes a flow line along which a person moves from photographed image data,
a human detection flow line data table in which each record holds data representing a human detection flow line and has area information of human detection areas in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
analyzing the image data to obtain an ID area and an ID identifying a person contained in the ID area, and storing the ID area in the flow line data table with ID;
By storing an ID held by each record of the ID-attached flow line data table in each record of the human-detected flow-line data table, the human-detected flow line and the ID-attached flow line are linked ,
By storing the ID recognized from the ID region included in the ID existence possible region determined by the relative positional relationship with the human detection region, the human detection flow line and the flow line with ID are linked. matter,
An image processing device characterized by:
撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、
各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納し、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付け、
前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求め、
ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出し、
その候補の中からID付き動線データテーブルの各レコードが保持するIDを格納するレコードを選出することを特徴とする画像処理装置
An image processing device that analyzes a flow line along which a person moves from photographed image data,
a human detection flow line data table in which each record holds data representing a human detection flow line and has area information of human detection areas in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
analyzing the image data to obtain an ID area and an ID identifying a person contained in the ID area, and storing the ID area in the flow line data table with ID;
By storing an ID held by each record of the ID-attached flow line data table in each record of the human-detected flow-line data table, the human-detected flow line and the ID-attached flow line are linked,
obtaining an image feature amount from an image feature area for calculating an image feature amount determined by a relative positional relationship with respect to the human detection area;
Comparing frame data at a certain point in time with previous frame data, and extracting candidate records from the human-detected flow line data table based on the positional relationship of the human-detected regions and the closeness of image feature amounts. death,
An image processing apparatus characterized in that a record storing an ID held by each record of a flow line data table with ID is selected from among the candidates.
画像処理装置により、撮影された画像データから、人物が移動する動線を解析する画像処理方法であって、
画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納するステップと、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けるステップと、を有し、
前記人検知領域に対して、相対的な位置関係により定められたID存在可能領域に含まれる前記ID領域から認識されたIDを格納することより、人検知動線とID付き動線を紐付けること、
を特徴とする画像処理方法。
An image processing method for analyzing a flow line along which a person moves from image data captured by an image processing device,
The image processing apparatus includes a human detection flow line data table in which each record holds data representing a human detection flow line and has region information of human detection regions in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
a step of analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
a step of analyzing image data to obtain an ID area and an ID identifying a person included in the ID area, and storing the ID area in the flow line data table with ID;
and linking the human-detected flow line with the ID-attached flow line by storing an ID held by each record of the ID-attached flow-line data table in each record of the human-detected flow-line data table. ,
By storing the ID recognized from the ID region included in the ID existence possible region determined by the relative positional relationship with the human detection region, the human detection flow line and the flow line with ID are linked. matter,
An image processing method characterized by:
画像処理装置により、撮影された画像データから、人物が移動する動線を解析する画像処理方法であって、
画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
各々のレコードがID付き動線を表すデータ保持し、人物を特定するIDと時系列順にID領域の領域情報とを保持するID付き動線データテーブルとを有し、
画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
画像データを解析して、ID領域とID領域に含まれる人物を特定するIDを求めて、前記ID付き動線データテーブルに格納するステップと、
前記人検知動線データテーブルの各々のレコードに、ID付き動線データテーブルの各レコードが保持するIDを格納することにより、人検知動線とID付き動線を紐付けるステップと、
前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求めるステップと、
ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出するステップと、
その候補の中からID付き動線データテーブルの各レコードが保持するIDを格納するレコードを選出するステップと、を有することを特徴とする画像処理方法
An image processing method for analyzing a flow line along which a person moves from image data captured by an image processing device,
The image processing apparatus includes a human detection flow line data table in which each record holds data representing a human detection flow line and has region information of human detection regions in chronological order;
Each record holds data representing a flow line with an ID, and has an ID flow line data table that holds an ID specifying a person and area information of the ID area in chronological order,
a step of analyzing image data to obtain a human detection area of a moving person and storing it in the human detection flow line data table;
a step of analyzing image data to obtain an ID area and an ID identifying a person included in the ID area, and storing the ID area in the flow line data table with ID;
a step of associating the human-detected flow line with the ID-attached flow line by storing the ID held by each record of the ID-attached flow-line data table in each record of the human-detected flow-line data table;
obtaining an image feature amount from an image feature area for calculating an image feature amount determined by a relative positional relationship with respect to the human detection area;
Comparing frame data at a certain point in time with previous frame data, and extracting candidate records from the human-detected flow line data table based on the positional relationship of the human-detected regions and the closeness of image feature amounts. and
and selecting, from among the candidates, a record storing an ID held by each record of the ID-attached flow line data table.
JP2019082931A 2019-04-24 2019-04-24 Image processing device and image processing method Active JP7233292B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019082931A JP7233292B2 (en) 2019-04-24 2019-04-24 Image processing device and image processing method
PCT/JP2020/017588 WO2020218463A1 (en) 2019-04-24 2020-04-24 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082931A JP7233292B2 (en) 2019-04-24 2019-04-24 Image processing device and image processing method

Publications (2)

Publication Number Publication Date
JP2020182063A JP2020182063A (en) 2020-11-05
JP7233292B2 true JP7233292B2 (en) 2023-03-06

Family

ID=72942210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082931A Active JP7233292B2 (en) 2019-04-24 2019-04-24 Image processing device and image processing method

Country Status (2)

Country Link
JP (1) JP7233292B2 (en)
WO (1) WO2020218463A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283398A (en) * 2021-07-13 2021-08-20 国网电子商务有限公司 Table identification method and system based on clustering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093955A (en) 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd Video processing apparatus
JP2011170564A (en) 2010-02-17 2011-09-01 Toshiba Tec Corp Traffic line connection method, device, and traffic line connection program
JP2011227647A (en) 2010-04-19 2011-11-10 Secom Co Ltd Suspicious person detection device
JP2012050031A (en) 2010-08-30 2012-03-08 Secom Co Ltd Surveillance device
JP2018093283A (en) 2016-11-30 2018-06-14 マクセル株式会社 Monitoring information gathering system
JP2018165849A (en) 2017-03-28 2018-10-25 達広 佐野 Attribute collection system by camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093955A (en) 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd Video processing apparatus
JP2011170564A (en) 2010-02-17 2011-09-01 Toshiba Tec Corp Traffic line connection method, device, and traffic line connection program
JP2011227647A (en) 2010-04-19 2011-11-10 Secom Co Ltd Suspicious person detection device
JP2012050031A (en) 2010-08-30 2012-03-08 Secom Co Ltd Surveillance device
JP2018093283A (en) 2016-11-30 2018-06-14 マクセル株式会社 Monitoring information gathering system
JP2018165849A (en) 2017-03-28 2018-10-25 達広 佐野 Attribute collection system by camera

Also Published As

Publication number Publication date
JP2020182063A (en) 2020-11-05
WO2020218463A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
Fang et al. Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach
Ray et al. Real-time construction worker posture analysis for ergonomics training
Yang et al. Tracking multiple workers on construction sites using video cameras
US10795928B2 (en) Image search apparatus, system, and method
JP6362674B2 (en) Video surveillance support apparatus, video surveillance support method, and program
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
CN110619324A (en) Pedestrian and safety helmet detection method, device and system
US20140301602A1 (en) Queue Analysis
US9891798B2 (en) Face image tracking system
JP6503079B2 (en) Specific person detection system, specific person detection method and detection device
US20210042971A1 (en) Information processing device, display method, and program storage medium for monitoring object movement
KR20170016578A (en) Clothes Fitting System And Operation Method of Threof
JP7233292B2 (en) Image processing device and image processing method
CN115862113A (en) Stranger abnormity identification method, device, equipment and storage medium
JP6593949B1 (en) Information processing apparatus and marketing activity support apparatus
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
Casuat et al. Deep-hart: An inference deep learning approach of hard hat detection for work safety and surveillance
WO2022185569A1 (en) Video analysis system and video analysis method
US20210166425A1 (en) Mapping multiple views to an identity
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
Barlybayev et al. Personal protective equipment detection using YOLOv8 architecture on object detection benchmark datasets: a comparative study
WO2023195122A1 (en) Processing device, processing method, and recording medium
Mollaei et al. Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset
WO2023152893A1 (en) Management device, management system, management method, and program
KR102560107B1 (en) System and method for preventing annotation errors using time and spatial information of multiple cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150