JP6937266B2 - Area selection device, area selection method, and area selection program - Google Patents
Area selection device, area selection method, and area selection program Download PDFInfo
- Publication number
- JP6937266B2 JP6937266B2 JP2018096294A JP2018096294A JP6937266B2 JP 6937266 B2 JP6937266 B2 JP 6937266B2 JP 2018096294 A JP2018096294 A JP 2018096294A JP 2018096294 A JP2018096294 A JP 2018096294A JP 6937266 B2 JP6937266 B2 JP 6937266B2
- Authority
- JP
- Japan
- Prior art keywords
- rectangular area
- local
- area
- specified
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、オブジェクトに対応する矩形領域のマッチングを行う領域選択装置、領域選択方法、及び領域選択プログラムに関する。 The present invention relates to an area selection device for matching rectangular areas corresponding to objects, an area selection method, and an area selection program.
従来、所定エリアに設置されている撮像装置により撮像された画像を解析してオブジェクトの領域を特定し、オブジェクトの領域と、オブジェクトの所定エリアにおける位置とを関連付けた記憶部を参照し、特定したオブジェクトの所定エリアにおける位置を特定する画像解析装置が開示されている(例えば、特許文献1参照)。 Conventionally, an image captured by an imaging device installed in a predetermined area is analyzed to identify an object area, and a storage unit that associates the object area with a position in the predetermined area of the object is referred to and specified. An image analysis device that identifies a position of an object in a predetermined area is disclosed (see, for example, Patent Document 1).
ところで、特定したオブジェクトの領域と、記憶部に記憶されているオブジェクトとをマッチングする場合、特定したオブジェクトの領域と、記憶部に記憶されているオブジェクトとの重複率(IOU:Intersection over Union)に基づいてマッチングすることが行われる。しかしながら、重複率に基づいてマッチングする場合、特定したオブジェクトの領域と、記憶部に記憶されている全てのオブジェクトとの重複率を算出する必要があり、マッチングに時間を要するという問題がある。 By the way, when matching the area of the specified object with the object stored in the storage unit, the overlap rate (IOU: Intersection over Union) between the area of the specified object and the object stored in the storage unit is set. Matching is done based on. However, in the case of matching based on the duplication rate, it is necessary to calculate the duplication rate between the area of the specified object and all the objects stored in the storage unit, and there is a problem that matching takes time.
これに対し、特許文献1には、インデキシングしたオブジェクトの中心座標及び面積と、オブジェクトの所定エリアにおける位置とを関連付けて記憶させておき、特定したオブジェクトの中心座標及び面積と、記憶されているオブジェクトの中心座標及び面積とのマッチングを高速に行うことが開示されている。 On the other hand, in Patent Document 1, the center coordinates and area of the indexed object and the position of the object in a predetermined area are stored in association with each other, and the center coordinates and area of the specified object and the stored object are stored. It is disclosed that matching with the center coordinates and area of the object is performed at high speed.
しかしながら、中心座標と面積とを一つのベクトルと定義した3次元空間でインデキシングを行った場合、重複率を用いてマッチングを行う場合に比べて精度が劣るという問題がある。 However, when indexing is performed in a three-dimensional space in which the center coordinates and the area are defined as one vector, there is a problem that the accuracy is inferior to that in the case of matching using the overlap rate.
そこで、本発明はこれらの点に鑑みてなされたものであり、特定したオブジェクトに対応するオブジェクトのマッチングを高速かつ高精度に実現することができる領域選択装置、領域選択方法、及び領域選択プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an area selection device, an area selection method, and an area selection program capable of realizing matching of objects corresponding to a specified object at high speed and with high accuracy are provided. The purpose is to provide.
本発明の第1の態様に係る領域選択装置は、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部と、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部と、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部と、を備える。 The area selection device according to the first aspect of the present invention identifies an object included in the image captured by the image pickup device that images a predetermined area, and determines the position of the object corresponding to the local position which is the position in the image. It is included in the related information in which the rectangular area specifying portion that specifies the position and size of the rectangular area corresponding to the object and the rectangular area information indicating the position and size of the rectangular area are associated with each of the plurality of local positions. A first selection unit that selects one or more local positions that are relatively close to the position of the object specified by the rectangular area identification unit from the plurality of local positions, and the rectangular area specified by the rectangular area identification unit. The one or more said, based on the position and size and the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the one or more local positions selected by the first selection. A second selection unit for selecting one rectangular area information from the rectangular area information is provided.
前記関連情報において、前記複数のローカル位置のそれぞれに、前記矩形領域に対応するオブジェクトの前記所定エリアにおける位置であるグローバル位置がさらに関連付けられており、前記領域選択装置は、前記関連情報において前記第2選択部が選択した前記一の矩形領域情報に関連付けられている前記グローバル位置を、前記オブジェクトのグローバル位置として特定する位置特定部をさらに備えてもよい。 In the related information, each of the plurality of local positions is further associated with a global position which is a position in the predetermined area of the object corresponding to the rectangular area, and the area selection device is the first in the related information. (2) A position specifying unit that specifies the global position associated with the one rectangular area information selected by the selection unit as the global position of the object may be further provided.
前記第2選択部は、前記矩形領域特定部が特定した前記矩形領域と、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域のそれぞれとの重複率を算出し、重複率が相対的に高い矩形領域に対応する一の前記矩形領域情報を選択してもよい。 The second selection unit is a rectangular area indicated by the rectangular area specified by the rectangular area identification unit and one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. The overlap rate with each of the above may be calculated, and one of the rectangular area information corresponding to the rectangular area having a relatively high overlap rate may be selected.
前記第2選択部は、算出した前記重複率のうち、最も高い重複率が所定の閾値未満である場合、一の前記矩形領域情報を選択しないように制御してもよい。 The second selection unit may control not to select one of the rectangular area information when the highest overlap rate among the calculated overlap rates is less than a predetermined threshold value.
前記第2選択部は、前記第1選択部が選択したローカル位置と、前記矩形領域特定部が特定した前記オブジェクトの位置が所定距離以上である場合、一の前記矩形領域情報を選択しないように制御してもよい。 The second selection unit does not select one of the rectangular area information when the local position selected by the first selection unit and the position of the object specified by the rectangular area identification unit are equal to or longer than a predetermined distance. You may control it.
前記第1選択部は、前記矩形領域特定部が特定した前記オブジェクトの位置から所定距離以内のローカル位置が前記関連情報に含まれていない場合、前記ローカル位置を選択しないように制御してもよい。 The first selection unit may control not to select the local position when the related information does not include a local position within a predetermined distance from the position of the object specified by the rectangular area identification unit. ..
前記関連情報は、オブジェクトが取り得る複数の形状のそれぞれに対応して設けられており、前記第1選択部は、前記複数の形状のそれぞれに対応する複数の前記関連情報を参照し、前記矩形領域特定部が特定した前記オブジェクトの位置に対応する複数のローカル位置を選択してもよい。 The related information is provided corresponding to each of the plurality of shapes that the object can take, and the first selection unit refers to the plurality of related information corresponding to each of the plurality of shapes, and the rectangle. A plurality of local positions corresponding to the positions of the objects specified by the area specifying unit may be selected.
前記第1選択部は、複数の前記関連情報を参照し、前記複数の形状のそれぞれに対応する前記ローカル位置を複数選択し、前記第2選択部は、前記第1選択部が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている前記矩形領域情報が示す前記矩形領域の位置及び大きさと、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさとに基づいて、複数の形状のそれぞれに対して選択した複数の前記矩形領域情報から一の矩形領域情報を選択してもよい。
前記関連情報において、前記複数のローカル位置がインデックス化されていてもよい。
The first selection unit refers to the plurality of related information and selects a plurality of the local positions corresponding to each of the plurality of shapes, and the second selection unit has the first selection unit having a plurality of shapes. Based on the position and size of the rectangular area indicated by the rectangular area information associated with the plurality of local positions selected for each, and the position and size of the rectangular area specified by the rectangular area specifying portion. One rectangular area information may be selected from the plurality of rectangular area information selected for each of the plurality of shapes.
In the relevant information, the plurality of local locations may be indexed.
本発明の第2の態様に係る領域選択方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定するステップと、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、特定された前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択するステップと、特定された前記矩形領域の位置及び大きさと、選択された一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択するステップと、を備える。 The area selection method according to the second aspect of the present invention identifies an object included in an image captured by an imaging device that captures a predetermined area, which is executed by a computer, and corresponds to a local position which is a position in the image. The step of specifying the position of the object and the position and size of the rectangular area corresponding to the object, and the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A step of selecting one or more local positions relatively close to the specified object position from the plurality of included local positions, the position and size of the specified rectangular area, and one or more selected local positions. A step of selecting one rectangular area information from the one or more rectangular area information based on the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the local positions. Be prepared.
本発明の第3の態様に係る領域選択プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部、複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部、及び、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部、として機能させる。 The area selection program according to the third aspect of the present invention identifies an object included in an image captured by an imaging device that images a predetermined area, and the object corresponds to a local position that is a position in the image. Related information in which the rectangular area specifying part that specifies the position and the position and size of the rectangular area corresponding to the object and the rectangular area information indicating the position and size of the rectangular area are associated with each of the plurality of local positions. A first selection unit that selects one or more local positions that are relatively close to the position of the object specified by the rectangular area identification unit from the plurality of included local positions, and the rectangular area identification unit that identifies the first selection unit. Based on the position and size of the rectangular area and the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the one or more local positions selected by the first selection. It functions as a second selection unit for selecting one rectangular area information from the above rectangular area information.
本発明によれば、特定したオブジェクトに対応するオブジェクトのマッチングを高速かつ高精度に実現することができるという効果を奏する。 According to the present invention, there is an effect that matching of an object corresponding to a specified object can be realized at high speed and with high accuracy.
<第1実施形態>
[領域選択装置2の概要]
図1は、第1実施形態に係る領域選択装置2の概要を示す図である。領域選択装置2は、撮像装置1が撮像した画像に含まれるオブジェクトに対応する矩形領域を特定する装置である。オブジェクトは、例えば、店舗等の所定エリアにおいて、移動の軌跡を追跡する対象である店員等の人物である。
<First Embodiment>
[Overview of area selection device 2]
FIG. 1 is a diagram showing an outline of the area selection device 2 according to the first embodiment. The area selection device 2 is a device that identifies a rectangular area corresponding to an object included in an image captured by the image pickup device 1. The object is, for example, a person such as a clerk who is a target for tracking a movement trajectory in a predetermined area such as a store.
撮像装置1は、所定エリアを撮像する撮像装置である。ここで、所定エリアは、例えば店舗のフロアである。所定エリアには、移動の軌跡を追跡する対象のオブジェクトとして、店員等の人物が存在する。撮像装置1は、所定エリアの全方位画像を撮像する。なお、本実施形態において、撮像装置1は、全方位画像を撮像するものとしたが、これに限らず、全方位画像ではない画像を撮像してもよい。 The image pickup device 1 is an image pickup device that images a predetermined area. Here, the predetermined area is, for example, the floor of a store. In the predetermined area, a person such as a clerk exists as an object for tracking the trajectory of movement. The image pickup device 1 captures an omnidirectional image of a predetermined area. In the present embodiment, the image pickup device 1 captures an omnidirectional image, but the present invention is not limited to this, and an image other than the omnidirectional image may be captured.
領域選択装置2は、撮像装置1が撮像した全方位画像を取得する(図1の(1))。領域選択装置2は、取得した全方位画像を解析することにより、全方位画像に含まれるオブジェクトを示す矩形領域を特定するとともに、全方位画像上のオブジェクトの位置を特定する(図1の(2))。この際、領域選択装置2は、オブジェクト検出用に学習済みの機械学習器や深層学習器を用いることができる。 The area selection device 2 acquires an omnidirectional image captured by the image pickup device 1 ((1) in FIG. 1). The area selection device 2 analyzes the acquired omnidirectional image to specify a rectangular area indicating an object included in the omnidirectional image and to specify the position of the object on the omnidirectional image ((2) in FIG. 1). )). At this time, the area selection device 2 can use a machine learner or a deep learner that has been trained for object detection.
領域選択装置2には、所定エリアの位置であるグローバル位置にオブジェクトが配置された場合に撮像装置1が撮像する全方位画像に含まれる当該オブジェクトに対応する矩形領域を示す矩形領域情報と、当該オブジェクトの全方位画像上の位置であるローカル位置とを関連付けた関連情報としてのオブジェクト投影情報が記憶されている。領域選択装置2は、オブジェクト投影情報を参照し、特定したオブジェクトの位置に近いローカル位置を一以上選択する(図1の(3))。 The area selection device 2 includes rectangular area information indicating a rectangular area corresponding to the object included in the omnidirectional image captured by the image pickup device 1 when the object is arranged at the global position which is the position of the predetermined area, and the said area selection device 2. Object projection information is stored as related information associated with the local position, which is the position on the omnidirectional image of the object. The area selection device 2 refers to the object projection information and selects one or more local positions close to the position of the specified object ((3) in FIG. 1).
領域選択装置2は、特定したオブジェクトの矩形領域と、選択された一以上のローカル位置のそれぞれに関連付けられている矩形領域との重複率を算出し(図1の(4))、重複率が最も高い矩形領域を示す矩形領域情報を特定する(図1の(5))。 The area selection device 2 calculates the overlap rate between the rectangular area of the specified object and the rectangular area associated with each of the selected one or more local positions ((4) in FIG. 1), and the overlap rate is determined. The rectangular area information indicating the highest rectangular area is specified ((5) in FIG. 1).
このようにすることで、領域選択装置2は、全方位画像から特定したオブジェクトを示す矩形領域と、オブジェクト投影情報に記憶されている全ての矩形領域との重複率を算出することなく、一の矩形領域情報を特定するので、全ての矩形領域との重複率を算出する場合に比べて高速かつ高精度にオブジェクトを示す矩形領域のマッチングを行うことができる。
続いて、領域選択装置2の構成について説明する。
By doing so, the area selection device 2 does not calculate the overlap rate between the rectangular area indicating the object specified from the omnidirectional image and all the rectangular areas stored in the object projection information. Since the rectangular area information is specified, it is possible to match the rectangular area indicating the object with high speed and high accuracy as compared with the case of calculating the overlap rate with all the rectangular areas.
Subsequently, the configuration of the area selection device 2 will be described.
[領域選択装置2の構成]
図2は、第1実施形態に係る領域選択装置2の構成を示す図である。図2に示すように、領域選択装置2は、記憶部21と、制御部22とを備える。
[Configuration of area selection device 2]
FIG. 2 is a diagram showing a configuration of the area selection device 2 according to the first embodiment. As shown in FIG. 2, the area selection device 2 includes a
記憶部21は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部21は、制御部22が実行するプログラムを記憶している。例えば、記憶部21は、領域選択装置2を、画像取得部221、矩形領域特定部222、第1選択部223、及び第2選択部224として機能させる領域選択プログラムを記憶している。
The
また、記憶部21には、予め、複数のローカル位置のそれぞれに、矩形領域の位置及び大きさを示す矩形領域情報を関連付けたオブジェクト投影情報が記憶されているものとする。
Further, it is assumed that the
図3は、第1実施形態に係るオブジェクト投影情報の一例を示す図である。図3に示すように、オブジェクト投影情報は、オブジェクトが取り得る複数の形状のそれぞれに対応して設けられている。オブジェクトは、人物であることから、オブジェクトの形状は、例えば、直立しているときの人物の形状、椅子に座っているときの人物の形状、大人を示す人物の形状、子供を示す人物の形状である。なお、オブジェクト投影情報は、複数の形状のそれぞれに対して別個に設けられていてもよいし、複数の形状のそれぞれに対応して一つのみ設けられていてもよい。 FIG. 3 is a diagram showing an example of object projection information according to the first embodiment. As shown in FIG. 3, the object projection information is provided corresponding to each of a plurality of shapes that the object can take. Since the object is a person, the shape of the object is, for example, the shape of a person when standing upright, the shape of a person when sitting on a chair, the shape of a person indicating an adult, and the shape of a person indicating a child. Is. The object projection information may be provided separately for each of the plurality of shapes, or may be provided only once for each of the plurality of shapes.
また、オブジェクト投影情報において、複数のローカル位置は、例えばkd木(k-dimensional tree)によりインデックス化されている。ローカル位置がインデックス化されていることにより、ローカル位置の検索を高速に実現することができる。 Further, in the object projection information, a plurality of local positions are indexed by, for example, a kd tree (k-dimensional tree). Since the local position is indexed, the search for the local position can be realized at high speed.
制御部22は、例えばCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)である。制御部22は、記憶部21に記憶された領域選択プログラムを実行することにより、画像取得部221、矩形領域特定部222、第1選択部223、及び第2選択部224として機能する。
The
画像取得部221は、撮像装置1が撮像した全方位画像を取得する。全方位画像には、撮像時刻を示す情報が含まれている。
The
矩形領域特定部222は、所定エリアを撮像する撮像装置1が撮像した全方位画像を解析することにより、全方位画像におけるオブジェクトに対応する矩形領域の位置及び大きさを特定する。例えば、矩形領域特定部222は、全方位画像における矩形領域の位置として、当該矩形領域の一つの頂点を示す2次元座標(x,y)を特定するとともに、矩形領域の大きさとして、当該頂点と隣接する2つの頂点との距離w、hを特定することにより、矩形領域の位置及び大きさを示す矩形領域情報(x,y,w,h)を特定する。ここで、全方位画像上の所定軸に対する矩形領域の傾きθは0であるものとする。傾きθが0の矩形領域を、直立矩形領域という。なお、矩形領域特定部222は、機械学習器や深層学習器を用いてオブジェクトの矩形領域を特定してもよい。一般に、機械学習器や深層学習器を用いてオブジェクトの矩形領域を特定する場合は、直立矩形領域として特定する場合が多い。
The rectangular
また、矩形領域特定部222は、特定したオブジェクトに対応する矩形領域の位置及び大きさに基づいて、全方位画像におけるオブジェクトの位置を特定する。例えば、矩形領域特定部222は、矩形領域の中心点を、全方位画像におけるオブジェクトの位置として特定する。なお、ここで特定するオブジェクトの位置は、矩形領域情報に含まれる2次元座標(x,y)と同一である必要はない。
Further, the rectangular
第1選択部223は、記憶部21に記憶されているオブジェクト投影情報に含まれる複数のローカル位置から、矩形領域特定部222が特定したオブジェクトの位置から相対的に近い一以上のローカル位置を選択する。
The
具体的には、第1選択部223は、オブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報を参照し、当該複数のオブジェクト投影情報について、矩形領域特定部222が特定したオブジェクトの位置から相対的に近いローカル位置として、当該オブジェクトの位置から所定距離以内の一以上のローカル位置を選択する。
Specifically, the
図4は、複数のローカル位置を選択する例を説明する図である。図4に示す矩形領域Rは、矩形領域特定部222が、全方位画像OPから特定したオブジェクトに対応する矩形領域であり、位置Pは、矩形領域特定部222が特定したオブジェクトの位置である。
FIG. 4 is a diagram illustrating an example of selecting a plurality of local positions. The rectangular area R shown in FIG. 4 is a rectangular area corresponding to the object specified by the rectangular
第1選択部223は、直立状態に対応するオブジェクト投影情報を参照し、位置Pから所定距離以内の範囲APに対応するローカル位置として一以上のローカル位置を選択する。また、第1選択部223は、着席状態に対応するオブジェクト投影情報を参照し、位置Pから所定距離以内の範囲APに対応するローカル位置として、一以上のローカル位置を選択する。オブジェクト投影情報に含まれる複数のローカル位置はインデックス化されていることから、第1選択部223は、一以上のローカル位置を高速に選択することができる。
The
なお、第1選択部223は、矩形領域特定部222が特定したオブジェクトの位置から所定距離以内のローカル位置がオブジェクト投影情報に含まれていない場合、オブジェクト投影情報からローカル位置を選択しないようにしてもよい。このようにすることで、領域選択装置2は、オブジェクトに対応する矩形領域情報が存在しないにもかかわらず矩形領域情報を選択してしまう過検出を抑制することができる。
Note that the
第2選択部224は、矩形領域特定部222が特定した矩形領域の位置及び大きさと、第1選択部223が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。
The
具体的には、第2選択部224は、矩形領域特定部222が特定した矩形領域情報が示す矩形領域と、第1選択部223が選択した一以上のローカル位置に関連付けられている一以上の矩形領域情報が示す矩形領域のそれぞれとの重複率を算出する。そして、第2選択部224は、重複率が相対的に高い矩形領域に対応する一の矩形領域情報を選択する。
Specifically, the
より具体的には、第2選択部224は、第1選択部223が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている矩形領域情報が示す矩形領域の位置及び大きさと、矩形領域特定部222が特定した矩形領域の位置及び大きさとに基づいて算出される重複率に基づいて、複数の形状のそれぞれに対して選択した矩形領域情報から一の矩形領域情報を選択する。例えば、第2選択部224は、複数の形状のそれぞれに対して選択した矩形領域情報のうち、重複率が最も高い一の矩形領域情報を選択する。
More specifically, the
第1選択部223が、全ての矩形領域情報の中から、オブジェクトの位置に相対的に近いローカル位置を選択した場合、特定の形状に対応するローカル位置のみ選択され、実際のオブジェクトの形状に対応するローカル位置が選択できない場合がある。これに対し、領域選択装置2は、第1選択部223が複数の形状のそれぞれに対して選択された複数のローカル位置に関連付けられている矩形領域情報から一の矩形領域情報を選択するので、実際のオブジェクトの形状に対応する矩形領域情報を精度良く選択することができる。
When the
なお、第2選択部224は、算出した複数の重複率のうち、最も高い重複率が所定の閾値未満である場合、一の矩形領域情報を選択しないように制御してもよい。また、第2選択部224は、第1選択部223が選択したローカル位置と、矩形領域特定部222が特定したオブジェクトの位置が所定距離以上である場合、一の矩形領域情報を選択しないようにしてもよい。このようにすることで、領域選択装置2は、過検出を抑制することができる。
The
[領域選択装置2における処理の流れ]
続いて、領域選択装置2における処理の流れについて説明する。図5は、第1実施形態に係る領域選択装置2における処理の流れを示すフローチャートである。
[Process flow in the area selection device 2]
Subsequently, the processing flow in the area selection device 2 will be described. FIG. 5 is a flowchart showing a processing flow in the area selection device 2 according to the first embodiment.
まず、画像取得部221は、撮像装置1から全方位画像を取得する(S11)。
続いて、矩形領域特定部222は、取得した全方位画像の画像解析を行い、全方位画像に含まれるオブジェクトの矩形領域と、当該オブジェクトの位置を特定する(S12)。
First, the
Subsequently, the rectangular
続いて、第1選択部223は、記憶部21に記憶されているオブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報に含まれる複数のローカル位置から、特定したオブジェクトの位置から相対的に近い一以上のローカル位置を選択する(S13)。
Subsequently, the
続いて、第2選択部224は、特定したオブジェクトの矩形領域と、選択された、複数の形状のそれぞれに対応する一以上のローカル位置のそれぞれに関連付けられている矩形領域情報が示す矩形領域との重複率を算出する(S14)。
続いて、第2選択部224は、算出した重複率が最も高い矩形領域を示す矩形領域情報を選択する(S15)。
Subsequently, the
Subsequently, the
[第1実施形態における効果]
以上説明したように、第1実施形態に係る領域選択装置2は、所定エリアを撮像する撮像装置1が撮像した画像に含まれるオブジェクトを特定し、ローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する。領域選択装置2は、オブジェクト投影情報から、特定されたオブジェクトの位置から相対的に近い一以上のローカル位置を選択し、特定されたオブジェクトに対応する矩形領域の位置及び大きさと、オブジェクト投影情報において選択された一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。このようにすることで、領域選択装置2は、全方位画像から特定したオブジェクトと、オブジェクト投影情報上の矩形領域情報が示すオブジェクトとのマッチングを高速かつ高精度に実現することができる。
[Effect in the first embodiment]
As described above, the area selection device 2 according to the first embodiment identifies an object included in the image captured by the image pickup device 1 that images a predetermined area, and the position of the object corresponding to the local position and the said object. Identify the position and size of the rectangular area corresponding to the object. The area selection device 2 selects one or more local positions relatively close to the position of the specified object from the object projection information, and in the position and size of the rectangular area corresponding to the specified object and the object projection information. Select one rectangular area information from the one or more rectangular area information based on the position and size of the rectangular area indicated by the one or more rectangular area information associated with each of the selected one or more local positions. .. By doing so, the area selection device 2 can realize matching between the object specified from the omnidirectional image and the object indicated by the rectangular area information on the object projection information at high speed and with high accuracy.
<第2実施形態>
[複数の撮像装置1のいずれかに対応する矩形領域情報を選択する]
続いて、第2実施形態について説明する。第1実施形態では、撮像装置1に対応するオブジェクト投影情報を参照し、撮像装置1が撮像した全方位画像に含まれるオブジェクトに対応する一の矩形領域情報を選択した。しかしながら、所定エリアの広さによっては、1台の撮像装置1が、所定エリアの全てを撮像することができず、複数の撮像装置1で所定エリアを撮像する場合がある。そこで、第2実施形態に係る領域選択装置2は、複数の撮像装置1が撮像した全方位画像から、一の矩形領域情報を選択する。
<Second Embodiment>
[Select rectangular area information corresponding to any of the plurality of image pickup devices 1]
Subsequently, the second embodiment will be described. In the first embodiment, the object projection information corresponding to the image pickup device 1 is referred to, and one rectangular area information corresponding to the object included in the omnidirectional image captured by the image pickup device 1 is selected. However, depending on the size of the predetermined area, one imaging device 1 may not be able to image the entire predetermined area, and a plurality of imaging devices 1 may image the predetermined area. Therefore, the area selection device 2 according to the second embodiment selects one rectangular area information from the omnidirectional images captured by the plurality of image pickup devices 1.
図6は、第2実施形態に係る領域選択装置2の構成を示す図である。図6に示すように、領域選択装置2の制御部22は、位置特定部225をさらに備える。
図7は、第2実施形態に係るオブジェクト投影情報の一例を示す図である。図7に示すように、第2実施形態に係るオブジェクト投影情報は、複数の撮像装置1のそれぞれを識別する装置IDと、ローカル位置と、矩形領域情報と、グローバル位置とを関連付けて記憶する。
FIG. 6 is a diagram showing a configuration of the area selection device 2 according to the second embodiment. As shown in FIG. 6, the
FIG. 7 is a diagram showing an example of object projection information according to the second embodiment. As shown in FIG. 7, the object projection information according to the second embodiment stores the device ID that identifies each of the plurality of imaging devices 1, the local position, the rectangular area information, and the global position in association with each other.
第2実施形態において、第1選択部223は、オブジェクトが取り得る複数の形状のそれぞれに対応する複数のオブジェクト投影情報を参照し、当該複数のオブジェクト投影情報について、オブジェクトの位置を特定する元となった全方位画像を撮像した撮像装置の装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。
In the second embodiment, the
例えば、第1選択部223は、第1の撮像装置1から取得した全方位画像に対して特定されたオブジェクトの位置について、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。同様に、第1選択部223は、第2の撮像装置1から取得した全方位画像に対して特定されたオブジェクトの位置について、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置の中から、当該オブジェクトの位置に対応する複数のローカル位置を選択する。
For example, the
第1の撮像装置1及び第2の撮像装置1は、同時に所定エリアを撮像することから、第1の撮像装置1及び第2の撮像装置1の撮像範囲が重複している場合には、それぞれの撮像装置1が撮像した全方位画像にオブジェクトが映り込む場合がある。この場合、第1選択部223は、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択するとともに、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択する。
Since the first image pickup device 1 and the second image pickup device 1 simultaneously image a predetermined area, if the image pickup ranges of the first image pickup device 1 and the second image pickup device 1 overlap, they respectively. The object may be reflected in the omnidirectional image captured by the image pickup device 1 of the above. In this case, the
第2選択部224は、矩形領域特定部222が特定した矩形領域の位置及び大きさと、第1選択部223が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の矩形領域情報から一の矩形領域情報を選択する。第2選択部224は、第1選択部223が一の時刻に対して、第1の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択するとともに、第2の撮像装置1を示す装置IDに関連付けられている複数のローカル位置を選択した場合、それぞれの装置IDに対して、一の矩形領域情報を選択してもよい。この場合、第2選択部224は、2つの矩形領域情報を選択する。
The
位置特定部225は、記憶部21に記憶されているオブジェクト投影情報において、第2選択部224が選択した一の矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定する。また、位置特定部225は、第2選択部224が2つの矩形領域情報を選択した場合、例えば重複率の高い方の矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定する。なお、位置特定部225は、第2選択部224が2つの矩形領域情報を選択した場合、それぞれの矩形領域情報に関連付けられているグローバル位置を、矩形領域特定部222が特定したオブジェクトのグローバル位置として特定してもよい。
The
位置特定部225は、特定したオブジェクトが含まれている全方位画像に含まれている撮像時刻を示す情報と、特定したグローバル位置を示す位置情報とを関連付けて、オブジェクト位置情報として、記憶部21に記憶させる。
The
[第2実施形態における効果]
以上説明したように、第2実施形態に係る領域選択装置2は、特定した矩形領域情報に関連付けられているグローバル位置を、特定したオブジェクトのグローバル位置に特定する。このようにすることで、領域選択装置2は、複数の撮像装置1が撮像した全方位画像の少なくともいずれかに含まれるオブジェクトに対応するグローバル位置を高速かつ高精度に特定することができる。
[Effect in the second embodiment]
As described above, the area selection device 2 according to the second embodiment specifies the global position associated with the specified rectangular area information to the global position of the specified object. By doing so, the area selection device 2 can specify the global position corresponding to the object included in at least one of the omnidirectional images captured by the plurality of image pickup devices 1 at high speed and with high accuracy.
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments.
また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 Further, in particular, the specific embodiment of the distribution / integration of the apparatus is not limited to those shown above, and all or a part thereof may be arbitrarily added according to various additions or functional loads. It can be functionally or physically distributed / integrated in units.
1・・・撮像装置、2・・・領域選択装置、21・・・記憶部、22・・・制御部、221・・・画像取得部、222・・・矩形領域特定部、223・・・第1選択部、224・・・第2選択部、225・・・位置特定部
1 ... Imaging device, 2 ... Area selection device, 21 ... Storage unit, 22 ... Control unit, 221 ... Image acquisition unit, 222 ... Rectangular area identification unit, 223 ... 1st selection unit, 224 ... 2nd selection unit, 225 ... Position identification unit
Claims (11)
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部と、
前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部と、
を備える領域選択装置。 The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Rectangle area identification part and
Relative to the position of the object specified by the rectangular area specifying portion from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A first selection that selects one or more local locations that are close to each other,
The position and size of the rectangular area specified by the rectangular area specifying unit and the position of the rectangular area indicated by one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. A second selection unit that selects one rectangular area information from the one or more rectangular area information based on the size and the size.
Area selection device comprising.
前記関連情報において前記第2選択部が選択した前記一の矩形領域情報に関連付けられている前記グローバル位置を、前記オブジェクトのグローバル位置として特定する位置特定部をさらに備える、
請求項1に記載の領域選択装置。 In the related information, each of the plurality of local positions is further associated with a global position, which is a position in the predetermined area of the object corresponding to the rectangular area.
A position specifying unit that specifies the global position associated with the one rectangular area information selected by the second selection unit as the global position of the object in the related information is further provided.
The area selection device according to claim 1.
請求項1に記載の領域選択装置。 The second selection unit is a rectangular area indicated by the rectangular area specified by the rectangular area identification unit and one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. The overlap rate with each of the above is calculated, and one of the rectangular area information corresponding to the rectangular area having a relatively high overlap rate is selected.
The area selection device according to claim 1.
請求項3に記載の領域選択装置。 The second selection unit controls not to select one of the rectangular area information when the highest overlap rate among the calculated overlap rates is less than a predetermined threshold value.
The area selection device according to claim 3.
請求項1から4のいずれか1項に記載の領域選択装置。 The second selection unit does not select one of the rectangular area information when the local position selected by the first selection unit and the position of the object specified by the rectangular area identification unit are equal to or longer than a predetermined distance. Control,
The area selection device according to any one of claims 1 to 4.
請求項1から5のいずれか1項に記載の領域選択装置。 The first selection unit controls not to select the local position when the related information does not include a local position within a predetermined distance from the position of the object specified by the rectangular area specifying unit.
The area selection device according to any one of claims 1 to 5.
前記第1選択部は、前記複数の形状のそれぞれに対応する複数の前記関連情報を参照し、前記矩形領域特定部が特定した前記オブジェクトの位置に対応する複数のローカル位置を選択する、
請求項1から6のいずれか1項に記載の領域選択装置。 The related information is provided corresponding to each of a plurality of shapes that the object can take.
The first selection unit refers to a plurality of the related information corresponding to each of the plurality of shapes, and selects a plurality of local positions corresponding to the positions of the objects specified by the rectangular area identification unit.
The area selection device according to any one of claims 1 to 6.
前記第2選択部は、前記第1選択部が複数の形状のそれぞれに対して選択した複数のローカル位置に関連付けられている前記矩形領域情報が示す前記矩形領域の位置及び大きさと、前記矩形領域特定部が特定した前記矩形領域の位置及び大きさとに基づいて、複数の形状のそれぞれに対して選択した複数の前記矩形領域情報から一の矩形領域情報を選択する、
請求項7に記載の領域選択装置。 The first selection unit refers to a plurality of the related information, selects a plurality of the local positions corresponding to each of the plurality of shapes, and selects a plurality of the local positions.
The second selection unit includes the position and size of the rectangular area indicated by the rectangular area information associated with the plurality of local positions selected by the first selection unit for each of the plurality of shapes, and the rectangular area. One rectangular area information is selected from a plurality of the rectangular area information selected for each of the plurality of shapes based on the position and size of the rectangular area specified by the specific portion.
The area selection device according to claim 7.
請求項1から8のいずれか1項に記載の領域選択装置。 In the relevant information, the plurality of local locations are indexed.
The area selection device according to any one of claims 1 to 8.
所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定するステップと、
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、特定された前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択するステップと、
特定された前記矩形領域の位置及び大きさと、選択された一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択するステップと、
を備える領域選択方法。 Computer runs,
The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Steps to do and
One or more that are relatively close to the position of the object specified from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. Steps to select a local location for
One or more based on the identified position and size of the rectangular area and the position and size of the rectangular area indicated by one or more of the rectangular area information associated with each of the selected one or more local positions. And the step of selecting one rectangular area information from the rectangular area information of
Area selection method including.
所定エリアを撮像する撮像装置が撮像した画像に含まれるオブジェクトを特定し、前記画像における位置であるローカル位置に対応する当該オブジェクトの位置と、当該オブジェクトに対応する矩形領域の位置及び大きさとを特定する矩形領域特定部、
複数のローカル位置のそれぞれに、前記矩形領域の位置及び大きさを示す矩形領域情報を関連付けた関連情報に含まれる前記複数のローカル位置から、前記矩形領域特定部が特定した前記オブジェクトの位置から相対的に近い一以上のローカル位置を選択する第1選択部、及び、
前記矩形領域特定部が特定した前記矩形領域の位置及び大きさと、前記第1選択部が選択した一以上のローカル位置のそれぞれに関連付けられている一以上の前記矩形領域情報が示す矩形領域の位置及び大きさとに基づいて、当該一以上の前記矩形領域情報から一の矩形領域情報を選択する第2選択部、
として機能させる領域選択プログラム。 Computer,
The object included in the image captured by the imaging device that captures the predetermined area is specified, and the position of the object corresponding to the local position, which is the position in the image, and the position and size of the rectangular area corresponding to the object are specified. Rectangular area identification part,
Relative to the position of the object specified by the rectangular area specifying portion from the plurality of local positions included in the related information in which the rectangular area information indicating the position and size of the rectangular area is associated with each of the plurality of local positions. A first selection that selects one or more local locations that are close to each other, and
The position and size of the rectangular area specified by the rectangular area specifying unit and the position of the rectangular area indicated by one or more rectangular area information associated with each of the one or more local positions selected by the first selection unit. A second selection unit that selects one rectangular area information from the one or more rectangular area information based on the size and the size.
Area selection program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018096294A JP6937266B2 (en) | 2018-05-18 | 2018-05-18 | Area selection device, area selection method, and area selection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018096294A JP6937266B2 (en) | 2018-05-18 | 2018-05-18 | Area selection device, area selection method, and area selection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019200706A JP2019200706A (en) | 2019-11-21 |
JP6937266B2 true JP6937266B2 (en) | 2021-09-22 |
Family
ID=68612545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018096294A Active JP6937266B2 (en) | 2018-05-18 | 2018-05-18 | Area selection device, area selection method, and area selection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6937266B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6266468B2 (en) * | 2014-08-13 | 2018-01-24 | セコム株式会社 | Object detection device |
JP6151677B2 (en) * | 2014-10-16 | 2017-06-21 | セコム株式会社 | Object detection device |
JP6729043B2 (en) * | 2016-06-20 | 2020-07-22 | 株式会社リコー | Information processing device and information processing system |
-
2018
- 2018-05-18 JP JP2018096294A patent/JP6937266B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019200706A (en) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11025878B2 (en) | Image processing apparatus, image processing method thereof and storage medium | |
JP6435750B2 (en) | Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and three-dimensional coordinate calculation program | |
Hagbi et al. | Shape recognition and pose estimation for mobile augmented reality | |
JP5172010B2 (en) | Rectangle table detection using RGB and depth measurement hybrid camera sensors | |
US11017588B2 (en) | Image processing apparatus that generates a virtual view image from multiple images captured from different directions and method controlling the same | |
CN106529573A (en) | Real-time object detection method based on combination of three-dimensional point cloud segmentation and local feature matching | |
JP5631086B2 (en) | Information processing apparatus, control method therefor, and program | |
US20050234323A1 (en) | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method | |
US20070183665A1 (en) | Face feature point detecting device and method | |
US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
JP6880618B2 (en) | Image processing program, image processing device, and image processing method | |
JP2010541065A (en) | 3D beverage container positioning device | |
US9569850B2 (en) | System and method for automatically determining pose of a shape | |
JP2019036346A (en) | Image processing apparatus, image processing method, and program | |
CN113894799B (en) | Robot and marker identification method and device for assisting environment positioning | |
JP5371685B2 (en) | Information processing apparatus, control method, and program | |
JP6017343B2 (en) | Database generation device, camera posture estimation device, database generation method, camera posture estimation method, and program | |
KR20210046217A (en) | Method and apparatus for detecting an object using detection of a plurality of regions | |
JP6579727B1 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
JP2011054062A (en) | Apparatus and method for processing image, and program | |
JP6937266B2 (en) | Area selection device, area selection method, and area selection program | |
JP6894398B2 (en) | Object tracking device, object tracking method, and object tracking program | |
JP6929241B2 (en) | Selection device, selection method and selection program | |
JPWO2019016879A1 (en) | Object detection device and object detection method | |
JP6991958B2 (en) | Object tracking device, object tracking method, and object tracking program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6937266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |