JP7185740B1 - Area identification device, area identification method, and area identification program - Google Patents

Area identification device, area identification method, and area identification program Download PDF

Info

Publication number
JP7185740B1
JP7185740B1 JP2021140294A JP2021140294A JP7185740B1 JP 7185740 B1 JP7185740 B1 JP 7185740B1 JP 2021140294 A JP2021140294 A JP 2021140294A JP 2021140294 A JP2021140294 A JP 2021140294A JP 7185740 B1 JP7185740 B1 JP 7185740B1
Authority
JP
Japan
Prior art keywords
area
type
region
unit
connotative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021140294A
Other languages
Japanese (ja)
Other versions
JP2023034184A (en
Inventor
凌太 藤田
光義 山足
令 西濱
尭理 中尾
紘和 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2021140294A priority Critical patent/JP7185740B1/en
Application granted granted Critical
Publication of JP7185740B1 publication Critical patent/JP7185740B1/en
Publication of JP2023034184A publication Critical patent/JP2023034184A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】画像データにおける横断領域を人手によらずに特定可能にする。【解決手段】物体検出部23は、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する。内包領域特定部241は、検出された対象の種別についての物体の位置を内包する内包領域を特定する。重畳領域特定部242は、2つ以上の種別のうちある種別について特定された内包領域と他の種別について特定された内包領域とが重畳する重畳領域を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域として特定する。【選択図】図1A cross-sectional area in image data can be specified without human intervention. An object detection unit (23) detects an object of each of two or more types as a target type from image data obtained by a photographing device. The connotative region identifying unit 241 identifies the connotative region containing the position of the object for the type of the detected target. The overlapping region identification unit 242 identifies an overlapping region in which the connotative region identified for one type and the connotative region identified for the other type among the two or more types overlap, and an area in which an object of a certain type moves. is identified as a traversing area traversed by an object of the type [Selection drawing] Fig. 1

Description

本開示は、ある種別の物体が移動する領域を他の物体が横断する横断領域を特定する技術に関する。 The present disclosure relates to a technique for identifying a crossing area in which another object traverses a moving area of a certain type of object.

人又は車両が進行するとき、他の物体の移動により一時的に侵入禁止となる侵入禁止領域がある。この侵入禁止領域において、侵入を防止するゲート等があるのにも関わらず、人又は車両が侵入し事故に繋がる事案がある。また、横断歩道において、赤信号であるにも関わらず人が横断してしまい事故に繋がる事案がある。事故を未然に防ぐために、侵入禁止領域及び横断歩道といった横断領域を、監視カメラによって得られた映像データを用いて監視することが行われている。 When a person or vehicle is traveling, there is a no-entry area that is temporarily prohibited from entering due to the movement of other objects. Although there is a gate or the like to prevent entry into this prohibited area, there are cases where people or vehicles enter and cause accidents. In addition, there are cases in which people cross the pedestrian crossing even though the traffic light is red, leading to an accident. In order to prevent accidents, crossing areas such as no-entry areas and pedestrian crossings are monitored using video data obtained by surveillance cameras.

映像データを用いた監視を行う際、監視対象の領域を設定し、設定された領域に限定して、対象の検出を行うことは、誤検出の抑制と検出性能の向上といった面において有効である。
監視カメラによって設置される位置及び角度が異なり、監視対象の領域の大きさ及び形状は異なる。そのため、監視対象の領域の設定は、手動で行われるのが一般的である。したがって、監視カメラの台数が多くなると、監視対象の領域を設定するために大きな負担がかかる。また、風等の影響により監視カメラが動いてしまい、撮影範囲が変わってしまった場合には、監視対象の領域を設定し直す必要があり、負担がかかる原因となる。
When monitoring using video data, setting a monitoring target area and limiting detection to the set area is effective in terms of suppressing false detections and improving detection performance. .
The positions and angles installed by the surveillance cameras are different, and the size and shape of the areas to be monitored are different. Therefore, setting of the monitoring target area is generally performed manually. Therefore, when the number of monitoring cameras increases, setting the area to be monitored becomes a heavy burden. In addition, if the monitoring camera moves due to the influence of the wind or the like and the imaging range changes, it is necessary to reset the area to be monitored, which causes a burden.

特許文献1には、撮影画像において車両ブロックが規制領域にあるか否かを判定すること等により、交通違反であるか否かを判定することが記載されている。 Japanese Patent Laid-Open No. 2002-200002 describes determining whether or not a traffic violation has occurred by determining whether or not a vehicle block is in a restricted area in a captured image.

特開2007-316856号公報JP 2007-316856 A

特許文献1においても規制領域を設定する方法については記載されておらず、手動で設定する必要がある。そのため、特許文献1に記載された技術を用いて交通違反であるか否かを判定する場合にも、規制領域の設定を行うために負担がかかる。
本開示は、画像データにおける横断領域を人手によらずに特定可能にすることを目的とする。
Japanese Patent Application Laid-Open No. 2002-300000 also does not describe a method for setting the restricted area, and it is necessary to set it manually. Therefore, even when determining whether or not there is a traffic violation using the technique described in Patent Document 1, a burden is placed on setting the restricted area.
An object of the present disclosure is to enable identification of a crossing region in image data without manual intervention.

本開示に係る領域特定装置は、
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出部と、
前記物体検出部によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定部と、
前記内包領域特定部によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域として特定する重畳領域特定部と
を備える。
The area identification device according to the present disclosure is
an object detection unit that detects an object of the target type from image data obtained by a photographing device, with each of two or more types as a target type;
an enclosing area specifying unit that specifies an enclosing area that encloses the position of the object for the type of the target detected by the object detecting unit;
A region where an object of a certain type moves in a superimposed region where the connotative region identified for one type among the two or more types by the connotative region identifying unit overlaps the connotative region identified for another type. as a traversing region traversed by another type of object.

前記内包領域特定部は、前記物体検出部によって検出された前記対象の種別についての物体の位置から、外れ値を除去して残った位置を内包する前記内包領域を特定する。 The encapsulating area specifying unit specifies the enclosing area that includes the positions remaining after outliers are removed from the positions of the object for the type of the object detected by the object detecting unit.

前記物体検出部は、検出された物体の追跡を行い、
前記内包領域特定部は、追跡ができなかった物体の位置を除去して残った位置を内包する前記内包領域を特定する。
The object detection unit tracks the detected object,
The enclosing area identifying unit identifies the enclosing area that includes the remaining positions after removing the positions of the object that could not be tracked.

前記領域特定装置は、さらに、
前記画像データにおける前記重畳領域特定部によって特定された横断領域から、検出対象を検出する対象検出部
を備える。
The area identification device further
A target detection unit that detects a detection target from the crossing area specified by the superimposed area specifying unit in the image data.

前記物体検出部は、前記物体を検出した後、物体の種別毎にユーザが設定した位置に点をプロットし、
前記内包領域特定部は、プロットされた点に基づき前記内包領域を特定する。
After detecting the object, the object detection unit plots a point at a position set by the user for each type of object,
The encapsulation area specifying unit specifies the encapsulation area based on the plotted points.

前記物体検出部は、前記対象の種別の物体以外の物体についても検出し、
前記領域特定装置は、さらに、
前記対象の種別の物体以外の物体についての検出情報に基づき、前記横断領域を補正する領域補正部
を備える。
The object detection unit also detects an object other than the object of the target type,
The area identification device further
An area correction unit that corrects the crossing area based on detection information about an object other than the object of the target type is provided.

前記領域特定装置は、さらに、
特定の種別の物体については、物体の位置を外側に補正距離だけずらす位置補正部
を備える。
The area identification device further
For a specific type of object, a position correction unit is provided that shifts the position of the object outward by a correction distance.

前記領域特定装置は、さらに、
前記種別毎に、前記横断領域の各位置における移動方向を特定する方向特定部
を備える。
The area identification device further
A direction identifying unit that identifies a moving direction at each position of the crossing area is provided for each of the types.

本開示に係る領域特定方法は、
コンピュータが、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出し、
コンピュータが、検出された前記対象の種別についての物体の位置を内包する内包領域を特定し、
コンピュータが、前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する。
The region identification method according to the present disclosure is
A computer detects an object of the target type from the image data obtained by the imaging device, with each of two or more types as the target type,
A computer identifies an encapsulating region that encloses the position of an object for the detected type of target;
A computer determines an overlapping region in which the connotative region specified for one type of the two or more types and the connotative region specified for another type overlap, and an area in which the object of the certain type moves. It is specified as a traversing area traversed by objects of other types.

本開示に係る領域特定プログラムは、
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出処理と、
前記物体検出処理によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定処理と、
前記内包領域特定処理によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定処理と
を行う領域特定装置としてコンピュータを機能させる。
The area identification program according to the present disclosure is
An object detection process for detecting an object of the target type from image data obtained by an imaging device, with each of two or more types as a target type;
an enclosing area specifying process for specifying an enclosing area enclosing the position of the object for the type of the object detected by the object detecting process;
The object of the certain type moves in a superimposed region where the connotative region identified for one type among the two or more types and the connotative region identified for the other type overlap by the connotative region identification processing. The computer is caused to function as an area identification device that performs overlapping area identification processing for identifying the area as a crossing area traversed by the object of the other type.

本開示では、主として移動する種別の物体と、横断する種別の物体とを検出して、検出された位置から横断領域を特定する。これにより、画像データにおける横断領域を人手によらずに特定可能である。 In the present disclosure, mainly moving types of objects and traversing types of objects are detected, and a traversing area is identified from the detected positions. This makes it possible to identify the crossing area in the image data without manual intervention.

実施の形態1に係る領域特定装置10の構成図。1 is a configuration diagram of an area identification device 10 according to Embodiment 1. FIG. 実施の形態1に係る領域特定装置10の全体的な動作を示すフローチャート。4 is a flowchart showing the overall operation of the region identification device 10 according to Embodiment 1; 実施の形態1に係る物体検出処理のフローチャート。4 is a flowchart of object detection processing according to the first embodiment; 実施の形態1に係る検出枠の位置の説明図。FIG. 4 is an explanatory diagram of the position of a detection frame according to Embodiment 1; 実施の形態1に係る検出枠の位置の説明図。FIG. 4 is an explanatory diagram of the position of a detection frame according to Embodiment 1; 実施の形態1に係る2次元座標空間42の説明図。4 is an explanatory diagram of a two-dimensional coordinate space 42 according to Embodiment 1. FIG. 実施の形態1に係る領域特定処理のフローチャート。4 is a flowchart of region identification processing according to the first embodiment; 実施の形態1に係る重畳領域52の説明図。FIG. 5 is an explanatory diagram of a superimposed region 52 according to Embodiment 1; 変形例1に係る領域特定装置10の構成図。FIG. 2 is a configuration diagram of an area identification device 10 according to Modification 1; 変形例3に係る領域特定装置10の構成図。FIG. 11 is a configuration diagram of an area identification device 10 according to Modification 3; 実施の形態2に係る領域特定装置10の構成図。FIG. 2 is a configuration diagram of an area identification device 10 according to Embodiment 2; 実施の形態2に係る領域特定装置10の全体的な動作を示すフローチャート。6 is a flowchart showing the overall operation of the area specifying device 10 according to Embodiment 2; 実施の形態3に係る領域特定装置10の構成図。FIG. 2 is a configuration diagram of an area identification device 10 according to Embodiment 3; 実施の形態3に係る領域特定処理のフローチャート。11 is a flow chart of region identification processing according to the third embodiment; 実施の形態3に係る領域補正処理の説明図。FIG. 11 is an explanatory diagram of area correction processing according to the third embodiment; 実施の形態3に係る領域補正処理の説明図。FIG. 11 is an explanatory diagram of area correction processing according to the third embodiment; 変形例5に係る領域特定装置10の構成図。FIG. 11 is a configuration diagram of an area identification device 10 according to Modification 5; 変形例5に係る領域特定処理のフローチャート。14 is a flowchart of region identification processing according to modification 5; 変形例5に係る位置補正処理の説明図。FIG. 11 is an explanatory diagram of position correction processing according to Modification 5; 実施の形態4に係る領域特定装置10の構成図。FIG. 10 is a configuration diagram of an area specifying device 10 according to Embodiment 4; 実施の形態4に係る領域特定装置10の全体的な動作を示すフローチャート。11 is a flow chart showing the overall operation of the area specifying device 10 according to the fourth embodiment;

実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る領域特定装置10の構成を説明する。
領域特定装置10は、ある種別の物体が移動する領域を他の物体が横断する横断領域53を特定するためのコンピュータである。
領域特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
Embodiment 1.
*** Configuration description ***
A configuration of an area identification device 10 according to Embodiment 1 will be described with reference to FIG.
The area identifying device 10 is a computer for identifying a crossing area 53 where another object traverses a moving area of a certain type of object.
The area identification device 10 includes hardware including a processor 11 , a memory 12 , a storage 13 and a communication interface 14 . The processor 11 is connected to other hardware via signal lines and controls these other hardware.

プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。 The processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).

メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。 The memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 include SRAM (Static Random Access Memory) and DRAM (Dynamic Random Access Memory).

ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。 The storage 13 is a storage device that stores data. A specific example of the storage 13 is an HDD (Hard Disk Drive). In addition, the storage 13 is SD (registered trademark, Secure Digital) memory card, CF (Compact Flash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk), etc. It may be a portable recording medium.

通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。 The communication interface 14 is an interface for communicating with an external device. Specific examples of the communication interface 14 are Ethernet (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark, High-Definition Multimedia Interface) ports.

領域特定装置10は、通信インタフェース14を介して、撮影装置31と接続されている。撮影装置31は、監視対象とする横断領域の少なくとも一部を撮影領域に含むように設置されている。 The area identification device 10 is connected to the imaging device 31 via the communication interface 14 . The photographing device 31 is installed so as to include at least part of the crossing area to be monitored in the photographing area.

領域特定装置10は、機能構成要素として、初期設定部21と、映像取得部22と、物体検出部23と、領域特定部24とを備える。領域特定部24は、内包領域特定部241と、重畳領域特定部242とを備える。領域特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、領域特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、領域特定装置10の各機能構成要素の機能が実現される。
The area identification device 10 includes an initial setting unit 21, an image acquisition unit 22, an object detection unit 23, and an area identification unit 24 as functional components. The area identifying section 24 includes an enclosing area identifying section 241 and an overlapping area identifying section 242 . The function of each functional component of the area specifying device 10 is realized by software.
The storage 13 stores a program that implements the function of each functional component of the area identification device 10 . This program is read into the memory 12 by the processor 11 and executed by the processor 11 . Thereby, the function of each functional component of the area identification device 10 is realized.

図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。 Only one processor 11 is shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.

***動作の説明***
図2から図8を参照して、実施の形態1に係る領域特定装置10の動作を説明する。
実施の形態1に係る領域特定装置10の動作手順は、実施の形態1に係る領域特定方法に相当する。また、実施の形態1に係る領域特定装置10の動作を実現するプログラムは、実施の形態1に係る領域特定プログラムに相当する。
***Description of operation***
The operation of the area identification device 10 according to the first embodiment will be described with reference to FIGS. 2 to 8. FIG.
The operation procedure of the area identifying device 10 according to the first embodiment corresponds to the area identifying method according to the first embodiment. Also, a program that realizes the operation of the area identifying device 10 according to the first embodiment corresponds to the area identifying program according to the first embodiment.

図2を参照して、実施の形態1に係る領域特定装置10の全体的な動作を説明する。
(ステップS11:初期設定処理)
初期設定部21は、ユーザに検出する物体の種別を指定させる。具体的には、初期設定部21は、主として移動する1つ以上の物体の種別と、主として移動する物体が移動する領域を横断する1つ以上の物体の種別とを指定させる。例えば、横断領域53として進入禁止領域を特定する場合には、主として移動する物体の種別として人又は車両が指定され、横断する物体の種別として主として移動する物体以外が指定される。また、横断領域53として横断歩道の領域を特定する場合には、主として移動する物体の種別として車両が指定され、横断する物体の種別として人が指定される。なお、車両として、四輪自動車と、二輪自動車と、自転車といったより具体的な種別が指定されてもよい。
初期設定部21は、指定された種別のリスト41と、指定された種別毎の2次元座標空間42とをメモリ12に設定する。2次元座標空間42は、座標位置の管理を行える形式であればよく、例えばCSV(Comma-Separated Values)形式のデータでもよい。
The overall operation of the area identification device 10 according to Embodiment 1 will be described with reference to FIG.
(Step S11: Initial setting process)
The initial setting unit 21 allows the user to specify the type of object to be detected. Specifically, the initial setting unit 21 designates the type of one or more objects that mainly move and the type of one or more objects that traverse the region in which the mainly moving objects move. For example, when a no-entry area is specified as the crossing area 53, a person or a vehicle is specified as the type of object that mainly moves, and an object other than an object that mainly moves is specified as the type of object to cross. When specifying a pedestrian crossing area as the crossing area 53, a vehicle is specified as the type of the mainly moving object, and a person is specified as the type of the crossing object. As the vehicle, more specific types such as a four-wheeled vehicle, a two-wheeled vehicle, and a bicycle may be specified.
The initial setting unit 21 sets the specified type list 41 and the two-dimensional coordinate space 42 for each specified type in the memory 12 . The two-dimensional coordinate space 42 may be in any format as long as it can manage coordinate positions, and may be data in CSV (Comma-Separated Values) format, for example.

(ステップS12:映像取得処理)
映像取得部22は、撮影装置31によって得られた映像データを取得する。この際、映像取得部22は、撮影装置31に対して直射日光がさす時間帯等を避けた他の時間帯に得られた、適度な長さがある映像データを取得する。適度な長さとは、ステップS11で設定されたリスト41に含まれる種別と、撮影装置31が設置された場所といった条件によって異なる。例えば、種別が人及び車両であり、人及び車両が頻繁に通る場所に撮影装置31が設置されている場合には、適度な長さは5時間程度である。適度な長さの映像データは、連続した映像のデータであってもよいし、連続した映像のデータでなく、途切れ途切れの映像のデータであってもよい。いずれにせよ適度な長さの映像データは、“映像の合計時間が適度な長さ”となる映像データもしくは複数の映像データであればよい。
映像取得部22は、取得された映像データをフレーム毎の画像データに分解して、メモリ12に書き込む。
(Step S12: Image Acquisition Processing)
The video acquisition unit 22 acquires video data obtained by the imaging device 31 . At this time, the image acquisition unit 22 acquires image data having an appropriate length, which is obtained during a time period other than a time period in which the imaging device 31 is exposed to direct sunlight. The appropriate length differs depending on conditions such as the type included in the list 41 set in step S11 and the location where the photographing device 31 is installed. For example, when the type is people and vehicles, and the photographing device 31 is installed in a place where people and vehicles frequently pass, the appropriate length is about 5 hours. The moderately long video data may be continuous video data, or may be intermittent video data instead of continuous video data. In any case, the video data having a moderate length may be video data or a plurality of video data having a "moderate length of total video time".
The video acquisition unit 22 decomposes the acquired video data into image data for each frame, and writes the image data into the memory 12 .

ステップS12で得られた各フレームの画像データを対象として、ステップS13の処理が実行される。 The process of step S13 is performed on the image data of each frame obtained in step S12.

(ステップS13:物体検出処理)
物体検出部23は、ステップS11で設定されたリスト41に含まれる2つ以上の種別それぞれを対象の種別として、対象の画像データから対象の種別の物体を検出する。
(Step S13: Object detection processing)
The object detection unit 23 detects an object of the target type from the target image data using each of the two or more types included in the list 41 set in step S11 as the target type.

(ステップS14:領域特定処理)
領域特定部24は、ステップS11で設定されたリスト41に含まれる2つ以上の種別それぞれを対象の種別として、ステップS13で検出された対象の種別についての物体の位置を内包する内包領域51を特定する。そして、領域特定部24は、2つ以上の種別のうちある種別について特定された内包領域51と他の種別について特定された内包領域51とが重畳する重畳領域52を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域53として特定する。
(Step S14: Area specifying process)
The region specifying unit 24 sets each of the two or more types included in the list 41 set in step S11 as the target type, and determines the inclusive region 51 that includes the position of the object for the target type detected in step S13. Identify. Then, the region identifying unit 24 determines whether an object of a certain type moves in an overlapping region 52 where the connotative region 51 identified for a certain type among two or more types and the connotative region 51 identified for another type overlap each other. A crossing region 53 crossed by another type of object is specified as a crossing region 53 .

図3を参照して、実施の形態1に係る物体検出処理(図2のステップS13)を説明する。
(ステップS21:空間読込処理)
物体検出部23は、ステップS11で設定された各種別についての2次元座標空間42を読み込む。
The object detection process (step S13 in FIG. 2) according to the first embodiment will be described with reference to FIG.
(Step S21: Spatial reading process)
The object detection unit 23 reads the two-dimensional coordinate space 42 for each type set in step S11.

(ステップS22:検出処理)
物体検出部23は、各種別を対象の種別として、対象の画像データから対象の種別の物体を検出する。具体的には、物体検出部23は、画像データから対象の種別を検出する物体検出モデルを用いて、対象の種別の物体を検出する。これにより、物体検出部23は、物体が検出された領域を囲む検出枠を特定する。この際、検出枠には、検出された物体の種別の情報が対応付けされる。ここでは、検出枠は、矩形であるとする。
(Step S22: detection processing)
The object detection unit 23 detects an object of the target type from the target image data using each type as the target type. Specifically, the object detection unit 23 detects an object of the target type using an object detection model for detecting the target type from the image data. Thereby, the object detection unit 23 specifies a detection frame surrounding the area where the object is detected. At this time, information on the type of the detected object is associated with the detection frame. Here, it is assumed that the detection frame is rectangular.

ステップS22で特定された各検出枠を対象として、ステップS23の処理が実行される。 The process of step S23 is executed for each detection frame specified in step S22.

(ステップS23:プロット処理)
物体検出部23は、対象の検出枠に対応付けされた種別の情報を参照して、対象の検出枠に対応する種別を特定する。物体検出部23は、特定された種別についての2次元座標空間42に対して、対象の検出枠の位置に点をプロットする。
検出枠の位置は、ユーザによって種別毎に事前に設定される。具体例としては、図4に示すように、種別が人である場合には、検出枠の位置は、検出枠の下辺の中心点の位置である。図5に示すように、種別が車両である場合には、車両の前面又は背面が検出され、検出枠の位置は、検出枠の下辺の両端点の位置である。なお車両の中でも乗用車は下辺の中心点の位置をプロットし、バス、トラック等の大型車両は下辺の両端点の位置をプロットするように設定してもよい。
(Step S23: plot processing)
The object detection unit 23 identifies the type corresponding to the target detection frame by referring to the information on the type associated with the target detection frame. The object detection unit 23 plots points at the positions of the target detection frames in the two-dimensional coordinate space 42 for the specified type.
The position of the detection frame is preset by the user for each type. As a specific example, as shown in FIG. 4, when the type is human, the position of the detection frame is the position of the center point of the lower side of the detection frame. As shown in FIG. 5, when the type is a vehicle, the front or back of the vehicle is detected, and the positions of the detection frame are the positions of the endpoints on the lower side of the detection frame. Among the vehicles, the position of the center point of the lower side may be plotted for passenger cars, and the position of both end points of the lower side may be plotted for large vehicles such as buses and trucks.

(ステップS24:空間記憶処理)
物体検出部23は、ステップS23で位置がプロットされた、各種別についての2次元座標空間42をメモリ12に書き込む。これにより、図6に示すように、種別毎に、物体が検出された位置に点がプロットされた2次元座標空間42が生成される。
(Step S24: Spatial storage processing)
The object detection unit 23 writes in the memory 12 the two-dimensional coordinate space 42 for each type whose positions are plotted in step S23. As a result, as shown in FIG. 6, a two-dimensional coordinate space 42 in which points are plotted at positions where objects are detected is generated for each type.

図7を参照して、実施の形態1に係る領域特定処理(図2のステップS14)を説明する。
(ステップS31:空間読込処理)
内包領域特定部241は、図3のステップS24で記憶された各種別についての2次元座標空間42を読み込む。
The area specifying process (step S14 in FIG. 2) according to the first embodiment will be described with reference to FIG.
(Step S31: Spatial reading process)
The connotative region specifying unit 241 reads the two-dimensional coordinate space 42 for each type stored in step S24 of FIG.

リスト41に含まれる2つ以上の種別それぞれを対象として、ステップS32からステップS33の処理が実行される。 The processes from step S32 to step S33 are executed for each of the two or more types included in the list 41 .

(ステップS32:外れ値除去処理)
内包領域特定部241は、対象の種別についての2次元座標空間42にプロットされた点から外れ値を除去する。具体例としては、内包領域特定部241は、k近傍法といった手法を用いて、外れ値を除去する。また、内包領域特定部241は、2次元座標空間42を基準サイズ毎に分割して得られた各分割空間について、点の密度が閾値よりも低い分割空間の点を除去することにより、外れ値を除去してもよい。
(Step S32: outlier removal processing)
The connotative region identification unit 241 removes outliers from the points plotted in the two-dimensional coordinate space 42 for the target type. As a specific example, the enclosing region identification unit 241 removes outliers using a method such as the k-nearest neighbor method. In addition, the connotative region identifying unit 241 removes the points of the divided spaces obtained by dividing the two-dimensional coordinate space 42 into each reference size, and the points of the divided spaces whose point density is lower than the threshold value. may be removed.

(ステップS33:内包領域特定処理)
内包領域特定部241は、ステップS32で外れ値を除去して残った点の位置を内包する内包領域51を特定する。具体的には、内包領域特定部241は、外れ値が除去された後の対象の2次元座標空間42を入力として、QuickHullといったアルゴリズムを実行することにより、内包領域51を特定する。
(Step S33: Connotative area specifying process)
The encapsulating region specifying unit 241 specifies the enclosing region 51 that encloses the positions of the remaining points after removing the outliers in step S32. Specifically, the connotative region identifying unit 241 identifies the connotative region 51 by executing an algorithm such as QuickHull with the target two-dimensional coordinate space 42 from which outliers have been removed as input.

(ステップS34:重畳領域特定処理)
重畳領域特定部242は、ステップS33である種別について特定された内包領域51とステップS33で他の種別について特定された内包領域51とが重畳する重畳領域52を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域53として特定する。ここで、ある種別とは、主として移動する物体の種別であり、他の種別とは、主として移動する物体が移動する領域を横断する物体の種別である。
例えば、横断領域53として横断歩道の領域を特定する場合には、主として移動する物体の種別が車両であり、横断する物体の種別が人と自転車との少なくともいずれかである。横断する物体の種別が人と自転車と両方であるとすると、図8に示すように、車両についての内包領域51が、人についての内包領域51と自転車についての内包領域51との少なくともいずれかと重畳する重畳領域52が横断領域53として特定される。なお横断歩道には、自転車横断帯を含むものとする。
(Step S34: Overlapping area specifying process)
The superimposed region identifying unit 242 determines the superimposed region 52 where the connotative region 51 identified for a certain type in step S33 and the connotative region 51 identified for another type in step S33 overlap as a region where an object of a certain type moves. is identified as the traversing region 53 traversed by other types of objects. Here, a certain type is a type of an object that mainly moves, and another type is a type of an object that traverses an area in which the mainly moving object moves.
For example, when a pedestrian crossing area is specified as the crossing area 53, the type of the mainly moving object is a vehicle, and the type of the crossing object is at least one of a person and a bicycle. Assuming that the types of crossing objects are both people and bicycles, as shown in FIG. A crossing region 53 is identified as the overlapping region 52 . Crosswalks shall include bicycle crossings.

(ステップS35:領域記憶処理)
重畳領域特定部242は、ステップS34で特定された横断領域53を示す領域情報をメモリ12に書き込む。
(Step S35: Area storage processing)
The superimposed area identifying unit 242 writes area information indicating the crossing area 53 identified in step S34 to the memory 12 .

***実施の形態1の効果***
以上のように、実施の形態1に係る領域特定装置10は、主として移動する種別の物体と、横断する種別の物体とを検出して、検出された位置から横断領域53を特定する。これにより、画像データにおける横断領域を人手によらずに特定可能である。
*** Effect of Embodiment 1 ***
As described above, the region identifying apparatus 10 according to Embodiment 1 mainly detects objects of a moving type and objects of a crossing type, and identifies the crossing region 53 from the detected positions. This makes it possible to identify the crossing area in the image data without manual intervention.

また、実施の形態1に係る領域特定装置10は、外れ値を除去した上で横断領域53を特定する。これにより、誤検出の影響を軽減することが可能である。 Further, the region identification device 10 according to Embodiment 1 identifies the crossing region 53 after removing outliers. This makes it possible to reduce the influence of erroneous detection.

***他の構成***
<変形例1>
実施の形態1では、映像取得部22は、撮影装置31によって得られた映像データを、撮影装置31から取得した。しかし、図9に示すように、撮影装置31によって得られた映像データが一旦外部ストレージ32に記憶され、映像取得部22が外部ストレージ32から映像データを読み出してもよい。
***Other Configurations***
<Modification 1>
In Embodiment 1, the video acquisition unit 22 acquires video data obtained by the imaging device 31 from the imaging device 31 . However, as shown in FIG. 9, the image data obtained by the photographing device 31 may be temporarily stored in the external storage 32 and the image acquisition unit 22 may read the image data from the external storage 32 .

<変形例2>
実施の形態1では、k近傍法といった手法を用いて外れ値を除去することにより、誤検出の影響の軽減を図った。これに代えて、あるいは、これに加えて、追跡が適切に行えなかった物体の位置を除去することにより誤検出の影響の軽減を図ってもよい。
具体的には、物体検出部23は、検出された物体について追跡処理を行う。追跡処理については既存技術を用いることで実現可能である。そして、内包領域特定部241は、追跡処理で適切な追跡ができなかった物体の位置を示す点を除去する。適切な追跡ができなかったとは、追跡が途切れてしまった、あるいは、フレーム間で基準距離以上離れた位置に移動した追跡結果になったといったことである。
<Modification 2>
In Embodiment 1, the effect of erroneous detection is reduced by removing outliers using a method such as the k-nearest neighbor method. Alternatively, or in addition, the effects of false detections may be reduced by removing the positions of objects that could not be properly tracked.
Specifically, the object detection unit 23 performs tracking processing on the detected object. Tracking processing can be realized by using existing technology. Then, the enclosing region specifying unit 241 removes points indicating the positions of objects that could not be properly tracked in the tracking process. Failure to perform appropriate tracking means that the tracking is interrupted or that the tracking results in moving to a position separated by a reference distance or more between frames.

<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
<Modification 3>
In Embodiment 1, each functional component is realized by software. However, as a modification 3, each functional component may be realized by hardware. Regarding this modification 3, the points different from the first embodiment will be described.

図10を参照して、変形例3に係る領域特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、領域特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
The configuration of the region identification device 10 according to Modification 3 will be described with reference to FIG. 10 .
When each functional component is implemented by hardware, the area identifying device 10 includes an electronic circuit 15 in place of the processor 11, memory 12 and storage 13. FIG. The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, memory 12 and storage 13 .

電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
The electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
Each functional component may be implemented by one electronic circuit 15, or each functional component may be implemented by being distributed among a plurality of electronic circuits 15. FIG.

<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification 4>
As a modification 4, some functional components may be implemented by hardware, and other functional components may be implemented by software.

プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, the memory 12, the storage 13 and the electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.

実施の形態2.
実施の形態2では、横断領域53を監視する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
Embodiment 2.
The second embodiment differs from the first embodiment in that the crossing area 53 is monitored. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.

***構成の説明***
図11を参照して、実施の形態2に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、対象検出部25を備える点が図1に示す領域特定装置10と異なる。対象検出部25の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the area identification device 10 according to the second embodiment will be described with reference to FIG.
The region identifying device 10 differs from the region identifying device 10 shown in FIG. 1 in that it includes an object detection unit 25 as a functional component. The functions of the object detection unit 25 are implemented by software or hardware, like other functional components.

***動作の説明***
図12を参照して、実施の形態2に係る領域特定装置10の全体的な動作を説明する。
ステップS11AからステップS14Aの処理は、図2のステップS11からステップS14の処理と同じである。
***Description of operation***
The overall operation of the area identification device 10 according to the second embodiment will be described with reference to FIG.
The processing from step S11A to step S14A is the same as the processing from step S11 to step S14 in FIG.

(ステップS15A:対象検出処理)
対象検出部25は、撮影装置31によって取得された画像データにおけるステップS14Aで特定された横断領域53から、検出対象を検出する。例えば、横断領域53に基準時間以上に渡って置かれた物体を検出対象として検出することが考えられる。また、横断領域53として横断歩道の領域が特定された場合には、横断歩道に対する信号が赤信号にも関わらず、横断領域53にいる人を検出対象として検出するといったことが考えられる。信号が赤信号か否かは、画像データから検出して判定もよいし、信号を制御する機器から信号の状態を示す情報を取得して判定してもよい。
(Step S15A: Target detection processing)
The object detection unit 25 detects a detection object from the crossing area 53 specified in step S14A in the image data acquired by the photographing device 31 . For example, it is conceivable to detect an object placed in the crossing area 53 for a reference time or longer as a detection target. Further, when a pedestrian crossing area is specified as the crossing area 53, it is conceivable that a person in the crossing area 53 is detected as a detection target even though the signal for the pedestrian crossing is red. Whether or not a signal is a red signal may be determined by detecting it from image data, or may be determined by acquiring information indicating the state of the signal from a device that controls the signal.

***実施の形態2の効果***
以上のように、実施の形態2に係る領域特定装置10は、特定された横断領域53から検出対象を検出することにより、横断領域53を監視する。監視対象の領域を絞り込んだ上で検出対象の検出を行うため、誤検出の抑制及び検出性能の向上を図ることが可能である。
*** Effect of Embodiment 2 ***
As described above, the area identification device 10 according to the second embodiment monitors the crossing area 53 by detecting the detection target from the identified crossing area 53 . Since the detection target is detected after narrowing down the area to be monitored, it is possible to suppress erroneous detection and improve detection performance.

実施の形態3.
実施の形態3は、周辺の検出情報に基づき横断領域53の補正を行う点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態3では、実施の形態1に機能を加えた場合について説明する。しかし、実施の形態2に機能を加えることも可能である。
Embodiment 3.
Embodiment 3 differs from Embodiments 1 and 2 in that the crossing area 53 is corrected based on detection information about the periphery. In the third embodiment, this different point will be explained, and the explanation of the same point will be omitted.
In the third embodiment, a case in which functions are added to the first embodiment will be described. However, it is also possible to add functions to the second embodiment.

***構成の説明***
図13を参照して、実施の形態3に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、領域補正部243を備える点が図1に示す領域特定装置10と異なる。領域補正部243の機能は、他の機能構成要素と同様にソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the area identification device 10 according to the third embodiment will be described with reference to FIG.
The area identification device 10 differs from the area identification device 10 shown in FIG. 1 in that it includes an area correction unit 243 as a functional component. The function of the area correction unit 243 is realized by software or hardware like other functional components.

***動作の説明***
図14を参照して、実施の形態3に係る領域特定処理(図2のステップS14)を説明する。
ステップS31AからステップS34Aの処理は、図7のステップS31からステップS34の処理と同じである。ステップS36Aの処理は、図7のステップS35の処理と同じである。
***Description of operation***
The region specifying process (step S14 in FIG. 2) according to the third embodiment will be described with reference to FIG.
The processing from step S31A to step S34A is the same as the processing from step S31 to step S34 in FIG. The processing of step S36A is the same as the processing of step S35 in FIG.

(ステップS35A:領域補正処理)
領域補正部243は、周辺の検出情報に基づき、ステップS34Aで特定された横断領域53を補正する。周辺の検出情報とは、ステップS13で検出された物体の周辺から検出された、対象の種別以外の物体の情報である。ここでは、ステップS13では、対象の種別以外の物体についても検出されているものとする。
(Step S35A: area correction processing)
The area correction unit 243 corrects the crossing area 53 specified in step S34A based on the peripheral detection information. Peripheral detection information is information about an object other than the target type, which is detected from the vicinity of the object detected in step S13. Here, in step S13, objects other than the target type are also detected.

横断領域として侵入禁止領域を特定する場合には、領域補正部243は、周辺の検出情報として進入禁止領域の出入口であるゲートの位置を用いて、横断領域53を補正する。この場合には、図2のステップS13で物体検出部23がゲートを検出し、領域補正部243は検出されたゲートの位置を利用して横断領域53を補正する。主として移動する物体が通る領域とゲートとの間にはある程度の距離がある可能性がある。この場合、物体の位置を内包する内包領域51に基づき横断領域53を特定する場合、ゲートの内側に横断領域53として特定されない領域ができる。そこで、領域補正部243は、ゲートの位置の方へ、横断領域53を少し広げるように補正する。これにより、ゲートの内側に横断領域53として特定されない領域ができることを防止できる。 When specifying the no-entry area as the crossing area, the area correction unit 243 corrects the crossing area 53 using the position of the gate, which is the entrance/exit of the no-entry area, as the surrounding detection information. In this case, the object detection unit 23 detects the gate in step S13 of FIG. 2, and the area correction unit 243 corrects the crossing area 53 using the detected gate position. There may be some distance between the gate and the area through which primarily moving objects pass. In this case, when specifying the crossing region 53 based on the enclosing region 51 that includes the position of the object, there will be a region that is not specified as the crossing region 53 inside the gate. Therefore, the region correction unit 243 corrects the crossing region 53 so as to slightly widen toward the gate position. Thereby, it is possible to prevent the formation of a region not specified as the crossing region 53 inside the gate.

横断領域として横断歩道の領域を特定する場合には、領域補正部243は、周辺の検出情報として路面における表示の位置を用いて、横断領域53を補正する。路面における表示は、具体的には、歩道と車道との境界を示す白線(路側線)である。この場合には、図2のステップS13で物体検出部23が路面に描かれた白線を検出し、領域補正部243は検出された白線の位置を利用して横断領域53を補正する。
図16に示すように、車両が通る領域と歩道との間には、ある程度の距離がある。そのため、車両の位置を内包する内包領域51に基づき横断領域53を特定した場合には、歩道との間に横断領域53として特定されない領域ができてしまう。そこで、領域補正部243は、歩道との境界を示す白線の位置の方へ、横断領域53を少し広げるように補正する。これにより、歩道との間に横断領域53として特定されない領域ができることを防止できる。
When specifying a pedestrian crossing area as the crossing area, the area correction unit 243 corrects the crossing area 53 using the position of the display on the road surface as the peripheral detection information. Specifically, the display on the road surface is a white line (roadside line) that indicates the boundary between the sidewalk and the roadway. In this case, in step S13 of FIG. 2, the object detection unit 23 detects the white line drawn on the road surface, and the area correction unit 243 corrects the crossing area 53 using the position of the detected white line.
As shown in FIG. 16, there is some distance between the area where the vehicle passes and the sidewalk. Therefore, when the crossing area 53 is specified based on the inclusive area 51 that includes the position of the vehicle, an area that is not specified as the crossing area 53 is created between the sidewalk and the crossing area 53 . Therefore, the region correction unit 243 corrects the crossing region 53 so as to slightly expand toward the position of the white line indicating the boundary with the sidewalk. As a result, it is possible to prevent an area that is not specified as the crossing area 53 from being created between the sidewalk and the sidewalk.

***実施の形態3の効果***
以上のように、実施の形態3に係る領域特定装置10は、主として移動する種別の物体と、横断する種別の物体とを検出して特定された横断領域53を、ゲート又は白線等に基づき補正する。これにより、より精度よく横断領域53を特定可能である。
*** Effect of Embodiment 3 ***
As described above, the region identification device 10 according to the third embodiment corrects the crossing region 53 identified by detecting mainly moving type objects and crossing type objects based on gates, white lines, or the like. do. Thereby, the crossing area 53 can be identified with higher accuracy.

***他の構成***
<変形例5>
実施の形態3では、横断領域53を補正した。しかし、図2のステップS13で検出された物体の位置を補正してもよい。
***Other Configurations***
<Modification 5>
In Embodiment 3, the crossing area 53 is corrected. However, the position of the object detected in step S13 of FIG. 2 may be corrected.

図17を参照して、変形例5に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、位置補正部244を備える。位置補正部244の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
The configuration of the area identification device 10 according to Modification 5 will be described with reference to FIG. 17 .
The area identification device 10 includes a position corrector 244 as a functional component. The function of the position corrector 244 is realized by software or hardware, like other functional components.

図18を参照して、変形例5に係る領域特定処理(図2のステップS14)を説明する。
ステップS31Bの処理は、図7のステップS31の処理と同じである。ステップS33BからステップS36Bの処理は、図7のステップS32からステップS35の処理と同じである。
The area specifying process (step S14 in FIG. 2) according to Modification 5 will be described with reference to FIG.
The processing of step S31B is the same as the processing of step S31 in FIG. The processing from step S33B to step S36B is the same as the processing from step S32 to step S35 in FIG.

(ステップS32B:位置補正処理)
位置補正部244は、図2のステップS13で検出された物体の位置を補正する。
横断領域として侵入禁止領域を特定する場合には、図19に示すように、物体の位置は、検出枠の下辺の両端点の位置が用いられる。この場合には、位置補正部244は、物体の位置を、検出枠の下辺の両端点を補正距離だけ外側にずらした位置に補正する。
図15を参照して説明したように、物体が通る位置とゲートとの間には、ある程度の距離がある。物体の位置を外側にずらした位置に補正することにより、物体の位置がゲートに近くなる。これにより、ゲートの内側に横断領域53として特定されない領域ができることを防止できる。
(Step S32B: position correction processing)
The position corrector 244 corrects the position of the object detected in step S13 of FIG.
When specifying an intrusion prohibited area as a crossing area, as shown in FIG. 19, as the position of the object, the positions of both end points on the lower side of the detection frame are used. In this case, the position correction unit 244 corrects the position of the object to a position obtained by shifting the two end points of the lower side of the detection frame outward by the correction distance.
As described with reference to FIG. 15, there is some distance between the position through which the object passes and the gate. By correcting the position of the object to the position shifted outward, the position of the object becomes closer to the gate. Thereby, it is possible to prevent the formation of a region not specified as the crossing region 53 inside the gate.

実施の形態4.
実施の形態4は、物体の移動方向を特定する点が実施の形態1~3と異なる。実施の形態4では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態4では、実施の形態1に機能を加えた場合について説明する。しかし、実施の形態2に機能を加えることも可能である。
Embodiment 4.
Embodiment 4 differs from Embodiments 1 to 3 in that the moving direction of an object is specified. In the fourth embodiment, this different point will be explained, and the explanation of the same point will be omitted.
In a fourth embodiment, a case in which functions are added to the first embodiment will be described. However, it is also possible to add functions to the second embodiment.

***構成の説明***
図20を参照して、実施の形態4に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、方向特定部26を備える点が図1に示す領域特定装置10と異なる。方向特定部26の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the area identification device 10 according to the fourth embodiment will be described with reference to FIG.
The area identifying device 10 differs from the area identifying device 10 shown in FIG. 1 in that it includes a direction identifying section 26 as a functional component. The function of the direction identification unit 26 is realized by software or hardware, like other functional components.

***動作の説明***
図21を参照して、実施の形態4に係る領域特定装置10の全体的な動作を説明する。
ステップS11BからステップS14Bの処理は、図2のステップS11からステップS14の処理と同じである。
***Description of operation***
The overall operation of the area identification device 10 according to the fourth embodiment will be described with reference to FIG.
The processing from step S11B to step S14B is the same as the processing from step S11 to step S14 in FIG.

(ステップS15B:方向特定処理)
方向特定部26は、種別毎に、ステップS14で特定された横断領域53の各位置における物体の移動方向を特定する。
具体的には、ステップS13Bでは、物体検出部23によって物体の追跡処理が行われているとする。方向特定部26は、追跡処理の結果を参照することにより、種別毎に、各位置における移動方向を特定する。例えば、車両は、車線によって移動方向が決まっている場合がある。この場合には、位置毎に車両の移動方向を特定可能である。
なお、同じ種別であっても、一部の物体は異なる方向に移動する場合がある。方向特定部26は、このように例外的な方向に移動する物体については除去し、大多数の物体が移動する方向を特定すればよい。また、種別によっては、移動方向が定まっていない場合もある。方向特定部26は、移動方向が定まっていない場合には、移動方向が定まっていないことを特定すればよい。
(Step S15B: direction specifying process)
The direction specifying unit 26 specifies the moving direction of the object at each position of the crossing area 53 specified in step S14 for each type.
Specifically, in step S13B, it is assumed that the object detection unit 23 is performing object tracking processing. The direction identification unit 26 identifies the movement direction at each position for each type by referring to the result of the tracking process. For example, a vehicle may have a moving direction determined by lanes. In this case, the moving direction of the vehicle can be specified for each position.
Some objects may move in different directions even if they are of the same type. The direction identifying unit 26 may remove objects moving in such exceptional directions and identify the direction in which the majority of objects move. Also, depending on the type, the direction of movement may not be fixed. If the moving direction is not fixed, the direction specifying unit 26 may specify that the moving direction is not fixed.

また方向特定部26を備えることにより、物体の種別と物体の移動方向を特定することができる。物体の種別とその移動方向との組み合わせにより、物体として同じものとして検出した場合でも、種別が異なる物体と認識して処理を進めることができる。例えば、画像データ上の上から下方向に移動する車両(例えば車両種別1)と、画像データ上の右から左に移動する車両(例えば車両種別2)及び左から右に移動する車両(例えば車両種別3)を、それぞれ別の種別の物体として検出するように物体検出部23が動作することが可能である。
図21のフローチャートを用いて、その変形例を説明すると、ステップS15Bの処理をステップS13Bの前に実行して移動方向を特定し、ステップS13Bの処理で移動方向を考慮して、物体の種別を検出する。
Also, by providing the direction specifying unit 26, it is possible to specify the type of the object and the moving direction of the object. Depending on the combination of the type of the object and its moving direction, even if the object is detected as the same object, it can be recognized as an object of a different type and the process can proceed. For example, a vehicle that moves from top to bottom on the image data (eg, vehicle type 1), a vehicle that moves from right to left on the image data (eg, vehicle type 2), and a vehicle that moves from left to right (eg, vehicle It is possible for the object detection unit 23 to operate so as to detect types 3) as objects of different types.
The modification will be described with reference to the flowchart of FIG. To detect.

***実施の形態4の効果***
以上のように、実施の形態4に係る領域特定装置10は、種別毎に、横断領域53の各位置における物体の移動方向を特定する。これにより、実施の形態2で説明したように検出対象を検出する際に、特定された移動方向と異なる方向に移動する物体を検出するといった処理を実現可能になる。
*** Effect of Embodiment 4 ***
As described above, the region identification device 10 according to Embodiment 4 identifies the movement direction of an object at each position in the crossing region 53 for each type. As a result, when detecting a detection target as described in the second embodiment, it is possible to detect an object moving in a direction different from the specified movement direction.

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.

10 領域特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 初期設定部、22 映像取得部、23 物体検出部、24 領域特定部、241 内包領域特定部、242 重畳領域特定部、243 領域補正部、244 位置補正部、25 対象検出部、26 方向特定部、31 撮影装置、32 外部ストレージ、41 リスト、42 2次元座標空間、51 内包領域、52 重畳領域、53 横断領域。 10 area identification device 11 processor 12 memory 13 storage 14 communication interface 15 electronic circuit 21 initial setting unit 22 image acquisition unit 23 object detection unit 24 area identification unit 241 connotation area identification unit 242 superimposition Area identification unit 243 Area correction unit 244 Position correction unit 25 Object detection unit 26 Direction identification unit 31 Photographing device 32 External storage 41 List 42 Two-dimensional coordinate space 51 Inclusive area 52 Superimposed area 53 transversal area.

Claims (10)

2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出部と、
前記物体検出部によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定部と、
前記内包領域特定部によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定部と
を備える領域特定装置。
an object detection unit that detects an object of the target type from image data obtained by a photographing device, with each of two or more types as a target type;
an enclosing area specifying unit that specifies an enclosing area that encloses the position of the object for the type of the target detected by the object detecting unit;
The object of the certain type moves in a superimposed region where the connotative region identified for one type among the two or more types and the connotative region identified for the other type overlap by the connotative region identifying unit. and a superimposed area identifying unit that identifies the area as a crossing area traversed by the object of the other type.
前記内包領域特定部は、前記物体検出部によって検出された前記対象の種別についての物体の位置から、外れ値を除去して残った位置を内包する前記内包領域を特定する
請求項1に記載の領域特定装置。
2. The enclosing area specifying unit according to claim 1, wherein the enclosing area specifying unit specifies the enclosing area including a position remaining after outliers are removed from the positions of the object for the type of the object detected by the object detecting unit. Area identification device.
前記物体検出部は、検出された物体の追跡を行い、
前記内包領域特定部は、追跡ができなかった物体の位置を除去して残った位置を内包する前記内包領域を特定する
請求項1又は2に記載の領域特定装置。
The object detection unit tracks the detected object,
3. The area identifying apparatus according to claim 1, wherein the enclosing area specifying unit specifies the enclosing area that includes the remaining positions after removing the positions of the object that could not be tracked.
前記領域特定装置は、さらに、
前記画像データにおける前記重畳領域特定部によって特定された横断領域から、検出対象を検出する対象検出部
を備える請求項1から3までのいずれか1項に記載の領域特定装置。
The area identification device further
4. The area identification device according to any one of claims 1 to 3, further comprising an object detection unit that detects a detection object from the crossing area identified by the superimposed area identification unit in the image data.
前記物体検出部は、前記物体を検出した後、物体の種別毎にユーザが設定した位置に点をプロットし、
前記内包領域特定部は、プロットされた点に基づき前記内包領域を特定する請求項1から4までのいずれか1項に記載の領域特定装置。
After detecting the object, the object detection unit plots a point at a position set by the user for each type of object,
5. The area identification device according to any one of claims 1 to 4, wherein said connotative area identification unit identifies said connotative area based on plotted points.
前記物体検出部は、前記対象の種別の物体以外の物体についても検出し、
前記領域特定装置は、さらに、
前記対象の種別の物体以外の物体についての検出情報に基づき、前記横断領域を補正する領域補正部
を備える請求項1から5までのいずれか1項に記載の領域特定装置。
The object detection unit also detects an object other than the object of the target type,
The area identification device further
6. The area identification device according to any one of claims 1 to 5, further comprising an area correction unit that corrects the crossing area based on detection information about an object other than the object of the target type.
前記領域特定装置は、さらに、
特定の種別の物体については、物体の位置を外側に補正距離だけずらす位置補正部
を備える請求項1から6までのいずれか1項に記載の領域特定装置。
The area identification device further
7. The area identification device according to any one of claims 1 to 6, further comprising a position correction unit that shifts the position of the object outward by a correction distance for a specific type of object.
前記領域特定装置は、さらに、
前記種別毎に、前記横断領域の各位置における移動方向を特定する方向特定部
を備える請求項1から7までのいずれか1項に記載の領域特定装置。
The area identification device further
8. The area identification device according to any one of claims 1 to 7, further comprising a direction identification unit that identifies a moving direction at each position of the crossing area for each of the types.
コンピュータが、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出し、
コンピュータが、検出された前記対象の種別についての物体の位置を内包する内包領域を特定し、
コンピュータが、前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する領域特定方法。
A computer detects an object of the target type from the image data obtained by the imaging device, with each of two or more types as the target type,
A computer identifies an encapsulating region that encloses the position of an object for the detected type of target;
A computer determines an overlapping region in which the connotative region specified for one type of the two or more types and the connotative region specified for another type overlap, and an area in which the object of the certain type moves. A region identification method for identifying a crossing region crossed by objects of other types.
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出処理と、
前記物体検出処理によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定処理と、
前記内包領域特定処理によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定処理と
を行う領域特定装置としてコンピュータを機能させる領域特定プログラム。
An object detection process for detecting an object of the target type from image data obtained by an imaging device, with each of two or more types as a target type;
an enclosing area specifying process for specifying an enclosing area enclosing the position of the object for the type of the object detected by the object detecting process;
The object of the certain type moves in a superimposed region where the connotative region identified for one type among the two or more types and the connotative region identified for the other type overlap by the connotative region identification processing. A region identification program that causes a computer to function as a region identification device that performs superimposed region identification processing for identifying a region as a crossing region traversed by an object of the other type.
JP2021140294A 2021-08-30 2021-08-30 Area identification device, area identification method, and area identification program Active JP7185740B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021140294A JP7185740B1 (en) 2021-08-30 2021-08-30 Area identification device, area identification method, and area identification program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021140294A JP7185740B1 (en) 2021-08-30 2021-08-30 Area identification device, area identification method, and area identification program

Publications (2)

Publication Number Publication Date
JP7185740B1 true JP7185740B1 (en) 2022-12-07
JP2023034184A JP2023034184A (en) 2023-03-13

Family

ID=84357692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021140294A Active JP7185740B1 (en) 2021-08-30 2021-08-30 Area identification device, area identification method, and area identification program

Country Status (1)

Country Link
JP (1) JP7185740B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011181014A (en) * 2010-03-03 2011-09-15 Secom Co Ltd Moving-object tracking device
US20150206014A1 (en) * 2014-01-22 2015-07-23 Xerox Corporation Video-based system for automated detection of double parking violations
WO2016108327A1 (en) * 2014-12-30 2016-07-07 광주과학기술원 Vehicle detection method, database structure for vehicle detection, and database construction method for vehicle detection
WO2019161663A1 (en) * 2018-02-24 2019-08-29 北京图森未来科技有限公司 Harbor area monitoring method and system, and central control system
JP2020013206A (en) * 2018-07-13 2020-01-23 日本ユニシス株式会社 Device for detecting two-wheeled vehicle from moving image/camera, program, and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011181014A (en) * 2010-03-03 2011-09-15 Secom Co Ltd Moving-object tracking device
US20150206014A1 (en) * 2014-01-22 2015-07-23 Xerox Corporation Video-based system for automated detection of double parking violations
WO2016108327A1 (en) * 2014-12-30 2016-07-07 광주과학기술원 Vehicle detection method, database structure for vehicle detection, and database construction method for vehicle detection
WO2019161663A1 (en) * 2018-02-24 2019-08-29 北京图森未来科技有限公司 Harbor area monitoring method and system, and central control system
JP2020013206A (en) * 2018-07-13 2020-01-23 日本ユニシス株式会社 Device for detecting two-wheeled vehicle from moving image/camera, program, and system

Also Published As

Publication number Publication date
JP2023034184A (en) 2023-03-13

Similar Documents

Publication Publication Date Title
JP5058002B2 (en) Object detection device
EP3150961B1 (en) Stereo camera device and vehicle provided with stereo camera device
WO2016145626A1 (en) Traffic abnormity detection method and device, and image monitoring system
JP6544393B2 (en) Image recording apparatus, image recording method and image recording program
JP6097150B2 (en) Image processing apparatus, image processing method, and program
JP2015103894A (en) On-vehicle image processing apparatus, and semiconductor device
JP2005222424A (en) Moving body periphery monitoring system, moving body periphery monitoring method, control program, and readable recording medium
JP7185740B1 (en) Area identification device, area identification method, and area identification program
JP5983749B2 (en) Image processing apparatus, image processing method, and image processing program
KR20180004196A (en) Image storage method and image storage device using the same
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
CN112270258A (en) Violation information acquisition method and device for non-motor vehicle
WO2016147704A1 (en) Monitoring device, monitoring system, monitoring method, and computer-readable recording medium
JP6302205B2 (en) OBE
JP7204988B2 (en) Crack detection device, crack detection method and crack detection program
WO2014033922A1 (en) Image processing device, image processing method, and image processing program
JP7062959B2 (en) Vehicle detectors, vehicle detection methods, and vehicle detection programs
KR101585326B1 (en) Video recording system for saving selected frame to high resolution and method of operation thereof
US10922835B2 (en) Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method
JP7419469B1 (en) Information processing device, information processing method and program
TWI841054B (en) Road debris warning system and method
JP7497398B2 (en) Information processing device, information processing method, and program
KR102569438B1 (en) Apparatus and method for generating a warning
KR20140090873A (en) Apparatus and Method for Processing Image of Vehicle
JP7336367B2 (en) External environment recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7185740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150