JP6937266B2 - Area selection device, area selection method, and area selection program - Google Patents

Area selection device, area selection method, and area selection program Download PDF

Info

Publication number
JP6937266B2
JP6937266B2 JP2018096294A JP2018096294A JP6937266B2 JP 6937266 B2 JP6937266 B2 JP 6937266B2 JP 2018096294 A JP2018096294 A JP 2018096294A JP 2018096294 A JP2018096294 A JP 2018096294A JP 6937266 B2 JP6937266 B2 JP 6937266B2
Authority
JP
Japan
Prior art keywords
rectangular area
local
area
specified
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096294A
Other languages
Japanese (ja)
Other versions
JP2019200706A (en
Inventor
有哉 巻渕
有哉 巻渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018096294A priority Critical patent/JP6937266B2/en
Publication of JP2019200706A publication Critical patent/JP2019200706A/en
Application granted granted Critical
Publication of JP6937266B2 publication Critical patent/JP6937266B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、オブジェクトに対応する矩形領域のマッチングを行う領域選択装置、領域選択方法、及び領域選択プログラムに関する。 The present invention relates to an area selection device for matching rectangular areas corresponding to objects, an area selection method, and an area selection program.

従来、所定エリアに設置されている撮像装置により撮像された画像を解析してオブジェクトの領域を特定し、オブジェクトの領域と、オブジェクトの所定エリアにおける位置とを関連付けた記憶部を参照し、特定したオブジェクトの所定エリアにおける位置を特定する画像解析装置が開示されている(例えば、特許文献1参照)。 Conventionally, an image captured by an imaging device installed in a predetermined area is analyzed to identify an object area, and a storage unit that associates the object area with a position in the predetermined area of the object is referred to and specified. An image analysis device that identifies a position of an object in a predetermined area is disclosed (see, for example, Patent Document 1).

特開2017−117244号公報JP-A-2017-117244

ところで、特定したオブジェクトの領域と、記憶部に記憶されているオブジェクトとをマッチングする場合、特定したオブジェクトの領域と、記憶部に記憶されているオブジェクトとの重複率(IOU:Intersection over Union)に基づいてマッチングすることが行われる。しかしながら、重複率に基づいてマッチングする場合、特定したオブジェクトの領域と、記憶部に記憶されている全てのオブジェクトとの重複率を算出する必要があり、マッチングに時間を要するという問題がある。 By the way, when matching the area of the specified object with the object stored in the storage unit, the overlap rate (IOU: Intersection over Union) between the area of the specified object and the object stored in the storage unit is set. Matching is done based on. However, in the case of matching based on the duplication rate, it is necessary to calculate the duplication rate between the area of the specified object and all the objects stored in the storage unit, and there is a problem that matching takes time.

これに対し、特許文献1には、インデキシングしたオブジェクトの中心座標及び面積と、オブジェクトの所定エリアにおける位置とを関連付けて記憶させておき、特定したオブジェクトの中心座標及び面積と、記憶されているオブジェクトの中心座標及び面積とのマッチングを高速に行うことが開示されている。 On the other hand, in Patent Document 1, the center coordinates and area of the indexed object and the position of the object in a predetermined area are stored in association with each other, and the center coordinates and area of the specified object and the stored object are stored. It is disclosed that matching with the center coordinates and area of the object is performed at high speed.

しかしながら、中心座標と面積とを一つのベクトルと定義した3次元空間でインデキシングを行った場合、重複率を用いてマッチングを行う場合に比べて精度が劣るという問題がある。 However, when indexing is performed in a three-dimensional space in which the center coordinates and the area are defined as one vector, there is a problem that the accuracy is inferior to that in the case of matching using the overlap rate.

そこで、本発明はこれらの点に鑑みてなされたものであり、特定したオブジェクトに対応するオブジェクトのマッチングを高速かつ高精度に実現することができる領域選択装置、領域選択方法、及び領域選択プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an area selection device, an area selection method, and an area selection program capable of realizing matching of objects corresponding to a specified object at high speed and with high accuracy are provided. The purpose is to provide.

本発明の第1の態様に係る領域選択装置は、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部と、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部と、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部と、を備える。 The area selection device according to the first aspect of the present invention identifies an object included in the image captured by the image pickup device that images a predetermined area, and determines the position of the object corresponding to the local position which is the position in the image. It is included in the related information in which the rectangular area specifying portion that specifies the position and size of the rectangular area corresponding to the object and the rectangular area information indicating the position and size of the rectangular area are associated with each of the plurality of local positions. A first selection unit that selects one or more local positions that are relatively close to the position of the object specified by the rectangular area identification unit from the plurality of local positions, and the rectangular area specified by the rectangular area identification unit. The one or more said, based on the position and size and the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the one or more local positions selected by the first selection. A second selection unit for selecting one rectangular area information from the rectangular area information is provided.

前記関連情報において、前記複数のローカル位置のそれぞれに、前記矩形領域に対応するオブジェクトの前記所定エリアにおける位置であるグローバル位置がさらに関連付けられており、前記領域選択装置は、前記関連情報において前記第2選択部が選択した前記一の矩形領域情報に関連付けられている前記グローバル位置を、前記オブジェクトのグローバル位置として特定する位置特定部をさらに備えてもよい。 In the related information, each of the plurality of local positions is further associated with a global position which is a position in the predetermined area of the object corresponding to the rectangular area, and the area selection device is the first in the related information. (2) A position specifying unit that specifies the global position associated with the one rectangular area information selected by the selection unit as the global position of the object may be further provided.

前記第2選択部は、前記矩形領域特定部が特定した前記矩形領域と、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域のそれぞれとの重複率を算出し、重複率が相対的に高い矩形領域に対応する一の前記矩形領域情報を選択してもよい。 The second selection unit is a rectangular area indicated by the rectangular area specified by the rectangular area identification unit and one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. The overlap rate with each of the above may be calculated, and one of the rectangular area information corresponding to the rectangular area having a relatively high overlap rate may be selected.

前記第2選択部は、算出した前記重複率のうち、最も高い重複率が所定の閾値未満である場合、一の前記矩形領域情報を選択しないように制御してもよい。 The second selection unit may control not to select one of the rectangular area information when the highest overlap rate among the calculated overlap rates is less than a predetermined threshold value.

前記第2選択部は、前記第1選択部が選択したローカル位置と、前記矩形領域特定部が特定した前記オブジェクトの位置が所定距離以上である場合、一の前記矩形領域情報を選択しないように制御してもよい。 The second selection unit does not select one of the rectangular area information when the local position selected by the first selection unit and the position of the object specified by the rectangular area identification unit are equal to or longer than a predetermined distance. You may control it.

前記第1選択部は、前記矩形領域特定部が特定した前記オブジェクトの位置から所定距離以内のローカル位置が前記関連情報に含まれていない場合、前記ローカル位置を選択しないように制御してもよい。 The first selection unit may control not to select the local position when the related information does not include a local position within a predetermined distance from the position of the object specified by the rectangular area identification unit. ..

前記関連情報は、オブジェクトが取り得る複数の形状のそれぞれに対応して設けられており、前記第1選択部は、前記複数の形状のそれぞれに対応する複数の前記関連情報を参照し、前記矩形領域特定部が特定した前記オブジェクトの位置に対応する複数のローカル位置を選択してもよい。 The related information is provided corresponding to each of the plurality of shapes that the object can take, and the first selection unit refers to the plurality of related information corresponding to each of the plurality of shapes, and the rectangle. A plurality of local positions corresponding to the positions of the objects specified by the area specifying unit may be selected.

前記第1選択部は、複数の前記関連情報を参照し、前記複数の形状のそれぞれに対応する前記ローカル位置を複数選択し、前記第2選択部は、前記第1選択部が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている前記矩形領域情報が示す前記矩形領域の位置及び大きさと、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさとに基づいて、複数の形状のそれぞれに対して選択した複数の前記矩形領域情報から一の矩形領域情報を選択してもよい。
前記関連情報において、前記複数のローカル位置がインデックス化されていてもよい。
The first selection unit refers to the plurality of related information and selects a plurality of the local positions corresponding to each of the plurality of shapes, and the second selection unit has the first selection unit having a plurality of shapes. Based on the position and size of the rectangular area indicated by the rectangular area information associated with the plurality of local positions selected for each, and the position and size of the rectangular area specified by the rectangular area specifying portion. One rectangular area information may be selected from the plurality of rectangular area information selected for each of the plurality of shapes.
In the relevant information, the plurality of local locations may be indexed.

本発明の第2の態様に係る領域選択方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定するステップと、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、特定された前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択するステップと、特定された前記矩形領域の位置及び大きさと、選択された一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択するステップと、を備える。 The area selection method according to the second aspect of the present invention identifies an object included in an image captured by an imaging device that captures a predetermined area, which is executed by a computer, and corresponds to a local position which is a position in the image. The step of specifying the position of the object and the position and size of the rectangular area corresponding to the object, and the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A step of selecting one or more local positions relatively close to the specified object position from the plurality of included local positions, the position and size of the specified rectangular area, and one or more selected local positions. A step of selecting one rectangular area information from the one or more rectangular area information based on the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the local positions. Be prepared.

本発明の第3の態様に係る領域選択プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部、及び、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部、として機能させる。 The area selection program according to the third aspect of the present invention identifies an object included in an image captured by an imaging device that images a predetermined area, and the object corresponds to a local position that is a position in the image. Related information in which the rectangular area specifying part that specifies the position and the position and size of the rectangular area corresponding to the object and the rectangular area information indicating the position and size of the rectangular area are associated with each of the plurality of local positions. A first selection unit that selects one or more local positions that are relatively close to the position of the object specified by the rectangular area identification unit from the plurality of included local positions, and the rectangular area identification unit that identifies the first selection unit. Based on the position and size of the rectangular area and the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the one or more local positions selected by the first selection. It functions as a second selection unit for selecting one rectangular area information from the above rectangular area information.

本発明によれば、特定したオブジェクトに対応するオブジェクトのマッチングを高速かつ高精度に実現することができるという効果を奏する。 According to the present invention, there is an effect that matching of an object corresponding to a specified object can be realized at high speed and with high accuracy.

第1実施形態に係る領域選択装置の概要を示す図である。It is a figure which shows the outline of the area selection apparatus which concerns on 1st Embodiment. 第1実施形態に係る領域選択装置の構成を示す図である。It is a figure which shows the structure of the area selection apparatus which concerns on 1st Embodiment. 第1実施形態に係るオブジェクト投影情報の一例を示す図である。It is a figure which shows an example of the object projection information which concerns on 1st Embodiment. 複数のローカル位置を選択する例を説明する図である。It is a figure explaining the example of selecting a plurality of local positions. 第1実施形態に係る領域選択装置における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of processing in the area selection apparatus which concerns on 1st Embodiment. 第2実施形態に係る領域選択装置の構成を示す図である。It is a figure which shows the structure of the area selection apparatus which concerns on 2nd Embodiment. 第2実施形態に係るオブジェクト投影情報の一例を示す図である。It is a figure which shows an example of the object projection information which concerns on 2nd Embodiment.

<第1実施形態>
[領域選択装置2の概要]
図1は、第1実施形態に係る領域選択装置2の概要を示す図である。領域選択装置2は、撮像装置1が撮像した画像に含まれるオブジェクトに対応する矩形領域を特定する装置である。オブジェクトは、例えば、店舗等の所定エリアにおいて、移動の軌跡を追跡する対象である店員等の人物である。
<First Embodiment>
[Overview of area selection device 2]
FIG. 1 is a diagram showing an outline of the area selection device 2 according to the first embodiment. The area selection device 2 is a device that identifies a rectangular area corresponding to an object included in an image captured by the image pickup device 1. The object is, for example, a person such as a clerk who is a target for tracking a movement trajectory in a predetermined area such as a store.

撮像装置1は、所定エリアを撮像する撮像装置である。ここで、所定エリアは、例えば店舗のフロアである。所定エリアには、移動の軌跡を追跡する対象のオブジェクトとして、店員等の人物が存在する。撮像装置1は、所定エリアの全方位画像を撮像する。なお、本実施形態において、撮像装置1は、全方位画像を撮像するものとしたが、これに限らず、全方位画像ではない画像を撮像してもよい。 The image pickup device 1 is an image pickup device that images a predetermined area. Here, the predetermined area is, for example, the floor of a store. In the predetermined area, a person such as a clerk exists as an object for tracking the trajectory of movement. The image pickup device 1 captures an omnidirectional image of a predetermined area. In the present embodiment, the image pickup device 1 captures an omnidirectional image, but the present invention is not limited to this, and an image other than the omnidirectional image may be captured.

領域選択装置2は、撮像装置1が撮像した全方位画像を取得する(図1の(1))。領域選択装置2は、取得した全方位画像を解析することにより、全方位画像に含まれるオブジェクトを示す矩形領域を特定するとともに、全方位画像上のオブジェクトの位置を特定する(図1の(2))。この際、領域選択装置2は、オブジェクト検出用に学習済みの機械学習器や深層学習器を用いることができる。 The area selection device 2 acquires an omnidirectional image captured by the image pickup device 1 ((1) in FIG. 1). The area selection device 2 analyzes the acquired omnidirectional image to specify a rectangular area indicating an object included in the omnidirectional image and to specify the position of the object on the omnidirectional image ((2) in FIG. 1). )). At this time, the area selection device 2 can use a machine learner or a deep learner that has been trained for object detection.

領域選択装置2には、所定エリアの位置であるグローバル位置にオブジェクトが配置された場合に撮像装置1が撮像する全方位画像に含まれる当該オブジェクトに対応する矩形領域を示す矩形領域情報と、当該オブジェクトの全方位画像上の位置であるローカル位置とを関連付けた関連情報としてのオブジェクト投影情報が記憶されている。領域選択装置2は、オブジェクト投影情報を参照し、特定したオブジェクトの位置に近いローカル位置を一以上選択する(図1の(3))。 The area selection device 2 includes rectangular area information indicating a rectangular area corresponding to the object included in the omnidirectional image captured by the image pickup device 1 when the object is arranged at the global position which is the position of the predetermined area, and the said area selection device 2. Object projection information is stored as related information associated with the local position, which is the position on the omnidirectional image of the object. The area selection device 2 refers to the object projection information and selects one or more local positions close to the position of the specified object ((3) in FIG. 1).

領域選択装置2は、特定したオブジェクトの矩形領域と、選択された一以上のローカル位置のそれぞれに関連付けられている矩形領域との重複率を算出し(図1の(4))、重複率が最も高い矩形領域を示す矩形領域情報を特定する(図1の(5))。 The area selection device 2 calculates the overlap rate between the rectangular area of the specified object and the rectangular area associated with each of the selected one or more local positions ((4) in FIG. 1), and the overlap rate is determined. The rectangular area information indicating the highest rectangular area is specified ((5) in FIG. 1).

このようにすることで、領域選択装置2は、全方位画像から特定したオブジェクトを示す矩形領域と、オブジェクト投影情報に記憶されている全ての矩形領域との重複率を算出することなく、一の矩形領域情報を特定するので、全ての矩形領域との重複率を算出する場合に比べて高速かつ高精度にオブジェクトを示す矩形領域のマッチングを行うことができる。
続いて、領域選択装置2の構成について説明する。
By doing so, the area selection device 2 does not calculate the overlap rate between the rectangular area indicating the object specified from the omnidirectional image and all the rectangular areas stored in the object projection information. Since the rectangular area information is specified, it is possible to match the rectangular area indicating the object with high speed and high accuracy as compared with the case of calculating the overlap rate with all the rectangular areas.
Subsequently, the configuration of the area selection device 2 will be described.

[領域選択装置2の構成]
図2は、第1実施形態に係る領域選択装置2の構成を示す図である。図2に示すように、領域選択装置2は、記憶部21と、制御部22とを備える。
[Configuration of area selection device 2]
FIG. 2 is a diagram showing a configuration of the area selection device 2 according to the first embodiment. As shown in FIG. 2, the area selection device 2 includes a storage unit 21 and a control unit 22.

記憶部21は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部21は、制御部22が実行するプログラムを記憶している。例えば、記憶部21は、領域選択装置2を、画像取得部221、矩形領域特定部222、第1選択部223、及び第2選択部224として機能させる領域選択プログラムを記憶している。 The storage unit 21 is a storage medium including a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The storage unit 21 stores a program executed by the control unit 22. For example, the storage unit 21 stores an area selection program that causes the area selection device 2 to function as an image acquisition unit 221, a rectangular area identification unit 222, a first selection unit 223, and a second selection unit 224.

また、記憶部21には、予め、複数のローカル位置のそれぞれに、矩形領域の位置及び大きさを示す矩形領域情報を関連付けたオブジェクト投影情報が記憶されているものとする。 Further, it is assumed that the storage unit 21 stores in advance object projection information in which rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions.

図3は、第1実施形態に係るオブジェクト投影情報の一例を示す図である。図3に示すように、オブジェクト投影情報は、オブジェクトが取り得る複数の形状のそれぞれに対応して設けられている。オブジェクトは、人物であることから、オブジェクトの形状は、例えば、直立しているときの人物の形状、椅子に座っているときの人物の形状、大人を示す人物の形状、子供を示す人物の形状である。なお、オブジェクト投影情報は、複数の形状のそれぞれに対して別個に設けられていてもよいし、複数の形状のそれぞれに対応して一つのみ設けられていてもよい。 FIG. 3 is a diagram showing an example of object projection information according to the first embodiment. As shown in FIG. 3, the object projection information is provided corresponding to each of a plurality of shapes that the object can take. Since the object is a person, the shape of the object is, for example, the shape of a person when standing upright, the shape of a person when sitting on a chair, the shape of a person indicating an adult, and the shape of a person indicating a child. Is. The object projection information may be provided separately for each of the plurality of shapes, or may be provided only once for each of the plurality of shapes.

また、オブジェクト投影情報において、複数のローカル位置は、例えばkd木(k-dimensional tree)によりインデックス化されている。ローカル位置がインデックス化されていることにより、ローカル位置の検索を高速に実現することができる。 Further, in the object projection information, a plurality of local positions are indexed by, for example, a kd tree (k-dimensional tree). Since the local position is indexed, the search for the local position can be realized at high speed.

制御部22は、例えばCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)である。制御部22は、記憶部21に記憶された領域選択プログラムを実行することにより、画像取得部221、矩形領域特定部222、第1選択部223、及び第2選択部224として機能する。 The control unit 22 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The control unit 22 functions as an image acquisition unit 221, a rectangular area identification unit 222, a first selection unit 223, and a second selection unit 224 by executing an area selection program stored in the storage unit 21.

画像取得部221は、撮像装置1が撮像した全方位画像を取得する。全方位画像には、撮像時刻を示す情報が含まれている。 The image acquisition unit 221 acquires an omnidirectional image captured by the image pickup device 1. The omnidirectional image contains information indicating the imaging time.

矩形領域特定部222は、所定エリアを撮像する撮像装置1が撮像した全方位画像を解析することにより、全方位画像におけるオブジェクトに対応する矩形領域の位置及び大きさを特定する。例えば、矩形領域特定部222は、全方位画像における矩形領域の位置として、当該矩形領域の一つの頂点を示す2次元座標(x,y)を特定するとともに、矩形領域の大きさとして、当該頂点と隣接する2つの頂点との距離w、hを特定することにより、矩形領域の位置及び大きさを示す矩形領域情報(x,y,w,h)を特定する。ここで、全方位画像上の所定軸に対する矩形領域の傾きθは0であるものとする。傾きθが0の矩形領域を、直立矩形領域という。なお、矩形領域特定部222は、機械学習器や深層学習器を用いてオブジェクトの矩形領域を特定してもよい。一般に、機械学習器や深層学習器を用いてオブジェクトの矩形領域を特定する場合は、直立矩形領域として特定する場合が多い。 The rectangular area specifying unit 222 identifies the position and size of the rectangular area corresponding to the object in the omnidirectional image by analyzing the omnidirectional image captured by the imaging device 1 that images the predetermined area. For example, the rectangular area specifying unit 222 specifies two-dimensional coordinates (x, y) indicating one vertex of the rectangular area as the position of the rectangular area in the omnidirectional image, and determines the vertex as the size of the rectangular area. By specifying the distances w and h between the two vertices adjacent to each other, the rectangular area information (x, y, w, h) indicating the position and size of the rectangular area is specified. Here, it is assumed that the inclination θ of the rectangular region with respect to the predetermined axis on the omnidirectional image is 0. A rectangular area with an inclination θ of 0 is called an upright rectangular area. The rectangular area specifying unit 222 may specify the rectangular area of the object by using a machine learning device or a deep learning device. In general, when a rectangular area of an object is specified using a machine learner or a deep learner, it is often specified as an upright rectangular area.

また、矩形領域特定部222は、特定したオブジェクトに対応する矩形領域の位置及び大きさに基づいて、全方位画像におけるオブジェクトの位置を特定する。例えば、矩形領域特定部222は、矩形領域の中心点を、全方位画像におけるオブジェクトの位置として特定する。なお、ここで特定するオブジェクトの位置は、矩形領域情報に含まれる2次元座標(x,y)と同一である必要はない。 Further, the rectangular area specifying unit 222 specifies the position of the object in the omnidirectional image based on the position and size of the rectangular area corresponding to the specified object. For example, the rectangular area specifying unit 222 specifies the center point of the rectangular area as the position of the object in the omnidirectional image. The position of the object specified here does not have to be the same as the two-dimensional coordinates (x, y) included in the rectangular area information.

第1選択部223は、記憶部21に記憶されているオブジェクト投影情報に含まれる複数のローカル位置から、矩形領域特定部222が特定したオブジェクトの位置から相対的に近い一以上のローカル位置を選択する。 The first selection unit 223 selects one or more local positions relatively close to the position of the object specified by the rectangular area identification unit 222 from a plurality of local positions included in the object projection information stored in the storage unit 21. do.

具体的には、第1選択部223は、オブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報を参照し、当該複数のオブジェクト投影情報について、矩形領域特定部222が特定したオブジェクトの位置から相対的に近いローカル位置として、当該オブジェクトの位置から所定距離以内の一以上のローカル位置を選択する。 Specifically, the first selection unit 223 refers to a plurality of object projection information corresponding to each of the plurality of shapes that the object can take, and the object specified by the rectangular area specifying unit 222 with respect to the plurality of object projection information. As a local position relatively close to the position of, one or more local positions within a predetermined distance from the position of the object are selected.

図4は、複数のローカル位置を選択する例を説明する図である。図4に示す矩形領域Rは、矩形領域特定部222が、全方位画像OPから特定したオブジェクトに対応する矩形領域であり、位置Pは、矩形領域特定部222が特定したオブジェクトの位置である。 FIG. 4 is a diagram illustrating an example of selecting a plurality of local positions. The rectangular area R shown in FIG. 4 is a rectangular area corresponding to the object specified by the rectangular area specifying unit 222 from the omnidirectional image OP, and the position P is the position of the object specified by the rectangular area specifying unit 222.

第1選択部223は、直立状態に対応するオブジェクト投影情報を参照し、位置Pから所定距離以内の範囲APに対応するローカル位置として一以上のローカル位置を選択する。また、第1選択部223は、着席状態に対応するオブジェクト投影情報を参照し、位置Pから所定距離以内の範囲APに対応するローカル位置として、一以上のローカル位置を選択する。オブジェクト投影情報に含まれる複数のローカル位置はインデックス化されていることから、第1選択部223は、一以上のローカル位置を高速に選択することができる。 The first selection unit 223 refers to the object projection information corresponding to the upright state, and selects one or more local positions as the local positions corresponding to the range AP within a predetermined distance from the position P. Further, the first selection unit 223 refers to the object projection information corresponding to the seated state, and selects one or more local positions as the local positions corresponding to the range AP within a predetermined distance from the position P. Since the plurality of local positions included in the object projection information are indexed, the first selection unit 223 can select one or more local positions at high speed.

なお、第1選択部223は、矩形領域特定部222が特定したオブジェクトの位置から所定距離以内のローカル位置がオブジェクト投影情報に含まれていない場合、オブジェクト投影情報からローカル位置を選択しないようにしてもよい。このようにすることで、領域選択装置2は、オブジェクトに対応する矩形領域情報が存在しないにもかかわらず矩形領域情報を選択してしまう過検出を抑制することができる。 Note that the first selection unit 223 does not select a local position from the object projection information when the object projection information does not include a local position within a predetermined distance from the position of the object specified by the rectangular area identification unit 222. May be good. By doing so, the area selection device 2 can suppress over-detection in which the rectangular area information is selected even though the rectangular area information corresponding to the object does not exist.

第2選択部224は、矩形領域特定部222が特定した矩形領域の位置及び大きさと、第1選択部223が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。 The second selection unit 224 contains information on one or more rectangular areas associated with the position and size of the rectangular area specified by the rectangular area identification unit 222 and one or more local positions selected by the first selection unit 223. One rectangular area information is selected from the one or more rectangular area information based on the position and size of the indicated rectangular area.

具体的には、第2選択部224は、矩形領域特定部222が特定した矩形領域情報が示す矩形領域と、第1選択部223が選択した一以上のローカル位置に関連付けられている一以上の矩形領域情報が示す矩形領域のそれぞれとの重複率を算出する。そして、第2選択部224は、重複率が相対的に高い矩形領域に対応する一の矩形領域情報を選択する。 Specifically, the second selection unit 224 is one or more associated with the rectangular area indicated by the rectangular area information specified by the rectangular area identification unit 222 and one or more local positions selected by the first selection unit 223. The overlap rate with each of the rectangular areas indicated by the rectangular area information is calculated. Then, the second selection unit 224 selects one rectangular area information corresponding to the rectangular area having a relatively high overlap rate.

より具体的には、第2選択部224は、第1選択部223が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている矩形領域情報が示す矩形領域の位置及び大きさと、矩形領域特定部222が特定した矩形領域の位置及び大きさとに基づいて算出される重複率に基づいて、複数の形状のそれぞれに対して選択した矩形領域情報から一の矩形領域情報を選択する。例えば、第2選択部224は、複数の形状のそれぞれに対して選択した矩形領域情報のうち、重複率が最も高い一の矩形領域情報を選択する。 More specifically, the second selection unit 224 refers to the position and size of the rectangular area indicated by the rectangular area information associated with the plurality of local positions selected by the first selection unit 223 for each of the plurality of shapes. , Select one rectangular area information from the rectangular area information selected for each of a plurality of shapes based on the overlap rate calculated based on the position and size of the rectangular area specified by the rectangular area specifying unit 222. .. For example, the second selection unit 224 selects one rectangular area information having the highest duplication rate among the rectangular area information selected for each of the plurality of shapes.

第1選択部223が、全ての矩形領域情報の中から、オブジェクトの位置に相対的に近いローカル位置を選択した場合、特定の形状に対応するローカル位置のみ選択され、実際のオブジェクトの形状に対応するローカル位置が選択できない場合がある。これに対し、領域選択装置2は、第1選択部223が複数の形状のそれぞれに対して選択された複数のローカル位置に関連付けられている矩形領域情報から一の矩形領域情報を選択するので、実際のオブジェクトの形状に対応する矩形領域情報を精度良く選択することができる。 When the first selection unit 223 selects a local position relatively close to the object position from all the rectangular area information, only the local position corresponding to the specific shape is selected and corresponds to the actual object shape. You may not be able to select the local location to do. On the other hand, in the area selection device 2, the first selection unit 223 selects one rectangular area information from the rectangular area information associated with the plurality of local positions selected for each of the plurality of shapes. The rectangular area information corresponding to the shape of the actual object can be selected with high accuracy.

なお、第2選択部224は、算出した複数の重複率のうち、最も高い重複率が所定の閾値未満である場合、一の矩形領域情報を選択しないように制御してもよい。また、第2選択部224は、第1選択部223が選択したローカル位置と、矩形領域特定部222が特定したオブジェクトの位置が所定距離以上である場合、一の矩形領域情報を選択しないようにしてもよい。このようにすることで、領域選択装置2は、過検出を抑制することができる。 The second selection unit 224 may control not to select one rectangular area information when the highest overlap rate among the calculated plurality of overlap rates is less than a predetermined threshold value. Further, the second selection unit 224 does not select one rectangular area information when the local position selected by the first selection unit 223 and the position of the object specified by the rectangular area identification unit 222 are equal to or longer than a predetermined distance. You may. By doing so, the region selection device 2 can suppress over-detection.

[領域選択装置2における処理の流れ]
続いて、領域選択装置2における処理の流れについて説明する。図5は、第1実施形態に係る領域選択装置2における処理の流れを示すフローチャートである。
[Process flow in the area selection device 2]
Subsequently, the processing flow in the area selection device 2 will be described. FIG. 5 is a flowchart showing a processing flow in the area selection device 2 according to the first embodiment.

まず、画像取得部221は、撮像装置1から全方位画像を取得する(S11)。
続いて、矩形領域特定部222は、取得した全方位画像の画像解析を行い、全方位画像に含まれるオブジェクトの矩形領域と、当該オブジェクトの位置を特定する(S12)。
First, the image acquisition unit 221 acquires an omnidirectional image from the image pickup device 1 (S11).
Subsequently, the rectangular area specifying unit 222 performs image analysis of the acquired omnidirectional image, and specifies the rectangular area of the object included in the omnidirectional image and the position of the object (S12).

続いて、第1選択部223は、記憶部21に記憶されているオブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報に含まれる複数のローカル位置から、特定したオブジェクトの位置から相対的に近い一以上のローカル位置を選択する(S13)。 Subsequently, the first selection unit 223 starts from a plurality of local positions included in a plurality of object projection information corresponding to each of the plurality of shapes that the object stored in the storage unit 21 can take, and from the position of the specified object. Select one or more local positions that are relatively close (S13).

続いて、第2選択部224は、特定したオブジェクトの矩形領域と、選択された、複数の形状のそれぞれに対応する一以上のローカル位置のそれぞれに関連付けられている矩形領域情報が示す矩形領域との重複率を算出する(S14)。
続いて、第2選択部224は、算出した重複率が最も高い矩形領域を示す矩形領域情報を選択する(S15)。
Subsequently, the second selection unit 224 includes a rectangular area of the specified object and a rectangular area indicated by the rectangular area information associated with each of the one or more local positions corresponding to each of the plurality of selected shapes. The duplication rate of is calculated (S14).
Subsequently, the second selection unit 224 selects the rectangular area information indicating the rectangular area having the highest calculated duplication rate (S15).

[第1実施形態における効果]
以上説明したように、第1実施形態に係る領域選択装置2は、所定エリアを撮像する撮像装置1が撮像した画像に含まれるオブジェクトを特定し、ローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する。領域選択装置2は、オブジェクト投影情報から、特定されたオブジェクトの位置から相対的に近い一以上のローカル位置を選択し、特定されたオブジェクトに対応する矩形領域の位置及び大きさと、オブジェクト投影情報において選択された一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。このようにすることで、領域選択装置2は、全方位画像から特定したオブジェクトと、オブジェクト投影情報上の矩形領域情報が示すオブジェクトとのマッチングを高速かつ高精度に実現することができる。
[Effect in the first embodiment]
As described above, the area selection device 2 according to the first embodiment identifies an object included in the image captured by the image pickup device 1 that images a predetermined area, and the position of the object corresponding to the local position and the said object. Identify the position and size of the rectangular area corresponding to the object. The area selection device 2 selects one or more local positions relatively close to the position of the specified object from the object projection information, and in the position and size of the rectangular area corresponding to the specified object and the object projection information. Select one rectangular area information from the one or more rectangular area information based on the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the selected one or more local positions. .. By doing so, the area selection device 2 can realize matching between the object specified from the omnidirectional image and the object indicated by the rectangular area information on the object projection information at high speed and with high accuracy.

<第2実施形態>
[複数の撮像装置1のいずれかに対応する矩形領域情報を選択する]
続いて、第2実施形態について説明する。第1実施形態では、撮像装置1に対応するオブジェクト投影情報を参照し、撮像装置1が撮像した全方位画像に含まれるオブジェクトに対応する一の矩形領域情報を選択した。しかしながら、所定エリアの広さによっては、1台の撮像装置1が、所定エリアの全てを撮像することができず、複数の撮像装置1で所定エリアを撮像する場合がある。そこで、第2実施形態に係る領域選択装置2は、複数の撮像装置1が撮像した全方位画像から、一の矩形領域情報を選択する。
<Second Embodiment>
[Select rectangular area information corresponding to any of the plurality of image pickup devices 1]
Subsequently, the second embodiment will be described. In the first embodiment, the object projection information corresponding to the image pickup device 1 is referred to, and one rectangular area information corresponding to the object included in the omnidirectional image captured by the image pickup device 1 is selected. However, depending on the size of the predetermined area, one imaging device 1 may not be able to image the entire predetermined area, and a plurality of imaging devices 1 may image the predetermined area. Therefore, the area selection device 2 according to the second embodiment selects one rectangular area information from the omnidirectional images captured by the plurality of image pickup devices 1.

図6は、第2実施形態に係る領域選択装置2の構成を示す図である。図6に示すように、領域選択装置2の制御部22は、位置特定部225をさらに備える。
図7は、第2実施形態に係るオブジェクト投影情報の一例を示す図である。図7に示すように、第2実施形態に係るオブジェクト投影情報は、複数の撮像装置1のそれぞれを識別する装置IDと、ローカル位置と、矩形領域情報と、グローバル位置とを関連付けて記憶する。
FIG. 6 is a diagram showing a configuration of the area selection device 2 according to the second embodiment. As shown in FIG. 6, the control unit 22 of the area selection device 2 further includes a position specifying unit 225.
FIG. 7 is a diagram showing an example of object projection information according to the second embodiment. As shown in FIG. 7, the object projection information according to the second embodiment stores the device ID that identifies each of the plurality of imaging devices 1, the local position, the rectangular area information, and the global position in association with each other.

第2実施形態において、第1選択部223は、オブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報を参照し、当該複数のオブジェクト投影情報について、オブジェクトの位置を特定する元となった全方位画像を撮像した撮像装置の装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。 In the second embodiment, the first selection unit 223 refers to a plurality of object projection information corresponding to each of the plurality of shapes that the object can take, and is a source for specifying the position of the object with respect to the plurality of object projection information. A plurality of local positions corresponding to the position of the object are selected from the plurality of local positions associated with the device ID of the imaging device that has captured the omnidirectional image.

例えば、第1選択部223は、第1の撮像装置1から取得した全方位画像に対して特定されたオブジェクトの位置について、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。同様に、第1選択部223は、第2の撮像装置1から取得した全方位画像に対して特定されたオブジェクトの位置について、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。 For example, the first selection unit 223 has a plurality of locals associated with a device ID indicating the first image pickup device 1 for the position of the specified object with respect to the omnidirectional image acquired from the first image pickup device 1. From the positions, select a plurality of local positions corresponding to the positions of the object. Similarly, the first selection unit 223 is associated with a plurality of device IDs indicating the second image pickup device 1 for the position of the specified object with respect to the omnidirectional image acquired from the second image pickup device 1. From the local positions, select a plurality of local positions corresponding to the position of the object.

第1の撮像装置1及び第2の撮像装置1は、同時に所定エリアを撮像することから、第1の撮像装置1及び第2の撮像装置1の撮像範囲が重複している場合には、それぞれの撮像装置1が撮像した全方位画像にオブジェクトが映り込む場合がある。この場合、第1選択部223は、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択するとともに、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択する。 Since the first image pickup device 1 and the second image pickup device 1 simultaneously image a predetermined area, if the image pickup ranges of the first image pickup device 1 and the second image pickup device 1 overlap, they respectively. The object may be reflected in the omnidirectional image captured by the image pickup device 1 of the above. In this case, the first selection unit 223 selects a plurality of local positions associated with the device ID indicating the first image pickup device 1, and a plurality of positions associated with the device ID indicating the second image pickup device 1. Select a local location for.

第2選択部224は、矩形領域特定部222が特定した矩形領域の位置及び大きさと、第1選択部223が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。第2選択部224は、第1選択部223が一の時刻に対して、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択するとともに、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択した場合、それぞれの装置IDに対して、一の矩形領域情報を選択してもよい。この場合、第2選択部224は、2つの矩形領域情報を選択する。 The second selection unit 224 contains information on one or more rectangular areas associated with the position and size of the rectangular area specified by the rectangular area identification unit 222 and one or more local positions selected by the first selection unit 223. One rectangular area information is selected from the one or more rectangular area information based on the position and size of the indicated rectangular area. The second selection unit 224 selects a plurality of local positions associated with the device ID indicating the first image pickup device 1 with respect to one time, and the second selection unit 224 selects a plurality of local positions associated with the device ID, and the second image pickup device 1 When a plurality of local positions associated with the device ID indicating the device ID are selected, one rectangular area information may be selected for each device ID. In this case, the second selection unit 224 selects two rectangular area information.

位置特定部225は、記憶部21に記憶されているオブジェクト投影情報において、第2選択部224が選択した一の矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定する。また、位置特定部225は、第2選択部224が2つの矩形領域情報を選択した場合、例えば重複率の高い方の矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定する。なお、位置特定部225は、第2選択部224が2つの矩形領域情報を選択した場合、それぞれの矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定してもよい。 The position specifying unit 225 is an object in which the rectangular area specifying unit 222 specifies the global position associated with the one rectangular area information selected by the second selection unit 224 in the object projection information stored in the storage unit 21. Identify as the global location of. Further, in the position specifying unit 225, when the second selection unit 224 selects two rectangular area information, the rectangular area specifying unit 222 specifies, for example, the global position associated with the rectangular area information having the higher duplication rate. Specify as the global position of the created object. When the second selection unit 224 selects two rectangular area information, the position specifying unit 225 sets the global position associated with each rectangular area information as the global position of the object specified by the rectangular area specifying unit 222. May be specified as.

位置特定部225は、特定したオブジェクトが含まれている全方位画像に含まれている撮像時刻を示す情報と、特定したグローバル位置を示す位置情報とを関連付けて、オブジェクト位置情報として、記憶部21に記憶させる。 The position specifying unit 225 associates the information indicating the imaging time included in the omnidirectional image including the specified object with the position information indicating the specified global position, and stores the object position information as the storage unit 21. To memorize.

[第2実施形態における効果]
以上説明したように、第2実施形態に係る領域選択装置2は、特定した矩形領域情報に関連付けられているグローバル位置を、特定したオブジェクトのグローバル位置に特定する。このようにすることで、領域選択装置2は、複数の撮像装置1が撮像した全方位画像の少なくともいずれかに含まれるオブジェクトに対応するグローバル位置を高速かつ高精度に特定することができる。
[Effect in the second embodiment]
As described above, the area selection device 2 according to the second embodiment specifies the global position associated with the specified rectangular area information to the global position of the specified object. By doing so, the area selection device 2 can specify the global position corresponding to the object included in at least one of the omnidirectional images captured by the plurality of image pickup devices 1 at high speed and with high accuracy.

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments.

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 Further, in particular, the specific embodiment of the distribution / integration of the apparatus is not limited to those shown above, and all or a part thereof may be arbitrarily added according to various additions or functional loads. It can be functionally or physically distributed / integrated in units.

1・・・撮像装置、2・・・領域選択装置、21・・・記憶部、22・・・制御部、221・・・画像取得部、222・・・矩形領域特定部、223・・・第1選択部、224・・・第2選択部、225・・・位置特定部

1 ... Imaging device, 2 ... Area selection device, 21 ... Storage unit, 22 ... Control unit, 221 ... Image acquisition unit, 222 ... Rectangular area identification unit, 223 ... 1st selection unit, 224 ... 2nd selection unit, 225 ... Position identification unit

Claims (11)

所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部と、
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部と、
前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部と、
を備える領域選択装置。
The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Rectangle area identification part and
Relative to the position of the object specified by the rectangular area specifying portion from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A first selection that selects one or more local locations that are close to each other,
The position and size of the rectangular area specified by the rectangular area specifying unit and the position of the rectangular area indicated by one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. A second selection unit that selects one rectangular area information from the one or more rectangular area information based on the size and the size.
Area selection device comprising.
前記関連情報において、前記複数のローカル位置のそれぞれに、前記矩形領域に対応するオブジェクトの前記所定エリアにおける位置であるグローバル位置がさらに関連付けられており、
前記関連情報において前記第2選択部が選択した前記一の矩形領域情報に関連付けられている前記グローバル位置を、前記オブジェクトのグローバル位置として特定する位置特定部をさらに備える、
請求項1に記載の領域選択装置。
In the related information, each of the plurality of local positions is further associated with a global position, which is a position in the predetermined area of the object corresponding to the rectangular area.
A position specifying unit that specifies the global position associated with the one rectangular area information selected by the second selection unit as the global position of the object in the related information is further provided.
The area selection device according to claim 1.
前記第2選択部は、前記矩形領域特定部が特定した前記矩形領域と、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域のそれぞれとの重複率を算出し、重複率が相対的に高い矩形領域に対応する一の前記矩形領域情報を選択する、
請求項1に記載の領域選択装置。
The second selection unit is a rectangular area indicated by the rectangular area specified by the rectangular area identification unit and one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. The overlap rate with each of the above is calculated, and one of the rectangular area information corresponding to the rectangular area having a relatively high overlap rate is selected.
The area selection device according to claim 1.
前記第2選択部は、算出した前記重複率のうち、最も高い重複率が所定の閾値未満である場合、一の前記矩形領域情報を選択しないように制御する、
請求項3に記載の領域選択装置。
The second selection unit controls not to select one of the rectangular area information when the highest overlap rate among the calculated overlap rates is less than a predetermined threshold value.
The area selection device according to claim 3.
前記第2選択部は、前記第1選択部が選択したローカル位置と、前記矩形領域特定部が特定した前記オブジェクトの位置が所定距離以上である場合、一の前記矩形領域情報を選択しないように制御する、
請求項1から4のいずれか1項に記載の領域選択装置。
The second selection unit does not select one of the rectangular area information when the local position selected by the first selection unit and the position of the object specified by the rectangular area identification unit are equal to or longer than a predetermined distance. Control,
The area selection device according to any one of claims 1 to 4.
前記第1選択部は、前記矩形領域特定部が特定した前記オブジェクトの位置から所定距離以内のローカル位置が前記関連情報に含まれていない場合、前記ローカル位置を選択しないように制御する、
請求項1から5のいずれか1項に記載の領域選択装置。
The first selection unit controls not to select the local position when the related information does not include a local position within a predetermined distance from the position of the object specified by the rectangular area specifying unit.
The area selection device according to any one of claims 1 to 5.
前記関連情報は、オブジェクトが取り得る複数の形状のそれぞれに対応して設けられており、
前記第1選択部は、前記複数の形状のそれぞれに対応する複数の前記関連情報を参照し、前記矩形領域特定部が特定した前記オブジェクトの位置に対応する複数のローカル位置を選択する、
請求項1から6のいずれか1項に記載の領域選択装置。
The related information is provided corresponding to each of a plurality of shapes that the object can take.
The first selection unit refers to a plurality of the related information corresponding to each of the plurality of shapes, and selects a plurality of local positions corresponding to the positions of the objects specified by the rectangular area identification unit.
The area selection device according to any one of claims 1 to 6.
前記第1選択部は、複数の前記関連情報を参照し、前記複数の形状のそれぞれに対応する前記ローカル位置を複数選択し、
前記第2選択部は、前記第1選択部が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている前記矩形領域情報が示す前記矩形領域の位置及び大きさと、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさとに基づいて、複数の形状のそれぞれに対して選択した複数の前記矩形領域情報から一の矩形領域情報を選択する、
請求項7に記載の領域選択装置。
The first selection unit refers to a plurality of the related information, selects a plurality of the local positions corresponding to each of the plurality of shapes, and selects a plurality of the local positions.
The second selection unit includes the position and size of the rectangular area indicated by the rectangular area information associated with the plurality of local positions selected by the first selection unit for each of the plurality of shapes, and the rectangular area. One rectangular area information is selected from a plurality of the rectangular area information selected for each of the plurality of shapes based on the position and size of the rectangular area specified by the specific portion.
The area selection device according to claim 7.
前記関連情報において、前記複数のローカル位置がインデックス化されている、
請求項1から8のいずれか1項に記載の領域選択装置。
In the relevant information, the plurality of local locations are indexed.
The area selection device according to any one of claims 1 to 8.
コンピュータが実行する、
所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定するステップと、
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、特定された前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択するステップと、
特定された前記矩形領域の位置及び大きさと、選択された一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択するステップと、
を備える領域選択方法。
Computer runs,
The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Steps to do and
One or more that are relatively close to the position of the object specified from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. Steps to select a local location for
One or more based on the identified position and size of the rectangular area and the position and size of the rectangular area indicated by one or more of the rectangular area information associated with each of the selected one or more local positions. And the step of selecting one rectangular area information from the rectangular area information of
Area selection method including.
コンピュータを、
所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部、
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部、及び、
前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部、
として機能させる領域選択プログラム。
Computer,
The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Rectangular area identification part,
Relative to the position of the object specified by the rectangular area specifying portion from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A first selection that selects one or more local locations that are close to each other, and
The position and size of the rectangular area specified by the rectangular area specifying unit and the position of the rectangular area indicated by one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. A second selection unit that selects one rectangular area information from the one or more rectangular area information based on the size and the size.
Area selection program to function as.
JP2018096294A 2018-05-18 2018-05-18 Area selection device, area selection method, and area selection program Active JP6937266B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018096294A JP6937266B2 (en) 2018-05-18 2018-05-18 Area selection device, area selection method, and area selection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096294A JP6937266B2 (en) 2018-05-18 2018-05-18 Area selection device, area selection method, and area selection program

Publications (2)

Publication Number Publication Date
JP2019200706A JP2019200706A (en) 2019-11-21
JP6937266B2 true JP6937266B2 (en) 2021-09-22

Family

ID=68612545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096294A Active JP6937266B2 (en) 2018-05-18 2018-05-18 Area selection device, area selection method, and area selection program

Country Status (1)

Country Link
JP (1) JP6937266B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266468B2 (en) * 2014-08-13 2018-01-24 セコム株式会社 Object detection device
JP6151677B2 (en) * 2014-10-16 2017-06-21 セコム株式会社 Object detection device
JP6729043B2 (en) * 2016-06-20 2020-07-22 株式会社リコー Information processing device and information processing system

Also Published As

Publication number Publication date
JP2019200706A (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US11025878B2 (en) Image processing apparatus, image processing method thereof and storage medium
JP6435750B2 (en) Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and three-dimensional coordinate calculation program
Hagbi et al. Shape recognition and pose estimation for mobile augmented reality
JP5172010B2 (en) Rectangle table detection using RGB and depth measurement hybrid camera sensors
US11017588B2 (en) Image processing apparatus that generates a virtual view image from multiple images captured from different directions and method controlling the same
CN106529573A (en) Real-time object detection method based on combination of three-dimensional point cloud segmentation and local feature matching
JP5631086B2 (en) Information processing apparatus, control method therefor, and program
US20050234323A1 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
US20070183665A1 (en) Face feature point detecting device and method
US11170246B2 (en) Recognition processing device, recognition processing method, and program
JP6880618B2 (en) Image processing program, image processing device, and image processing method
JP2010541065A (en) 3D beverage container positioning device
US9569850B2 (en) System and method for automatically determining pose of a shape
JP2019036346A (en) Image processing apparatus, image processing method, and program
CN113894799B (en) Robot and marker identification method and device for assisting environment positioning
JP5371685B2 (en) Information processing apparatus, control method, and program
JP6017343B2 (en) Database generation device, camera posture estimation device, database generation method, camera posture estimation method, and program
KR20210046217A (en) Method and apparatus for detecting an object using detection of a plurality of regions
JP6579727B1 (en) Moving object detection device, moving object detection method, and moving object detection program
JP2011054062A (en) Apparatus and method for processing image, and program
JP6937266B2 (en) Area selection device, area selection method, and area selection program
JP6894398B2 (en) Object tracking device, object tracking method, and object tracking program
JP6929241B2 (en) Selection device, selection method and selection program
JPWO2019016879A1 (en) Object detection device and object detection method
JP6991958B2 (en) Object tracking device, object tracking method, and object tracking program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R150 Certificate of patent or registration of utility model

Ref document number: 6937266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150