JP7286387B2 - Position estimation system, position estimation device, position estimation method, and program - Google Patents

Position estimation system, position estimation device, position estimation method, and program Download PDF

Info

Publication number
JP7286387B2
JP7286387B2 JP2019073587A JP2019073587A JP7286387B2 JP 7286387 B2 JP7286387 B2 JP 7286387B2 JP 2019073587 A JP2019073587 A JP 2019073587A JP 2019073587 A JP2019073587 A JP 2019073587A JP 7286387 B2 JP7286387 B2 JP 7286387B2
Authority
JP
Japan
Prior art keywords
height
imaging device
calculation unit
projection plane
position estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019073587A
Other languages
Japanese (ja)
Other versions
JP2020173504A (en
Inventor
フック ファム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2019073587A priority Critical patent/JP7286387B2/en
Publication of JP2020173504A publication Critical patent/JP2020173504A/en
Application granted granted Critical
Publication of JP7286387B2 publication Critical patent/JP7286387B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、位置推定システム、位置推定装置、位置推定方法、及びプログラムに関する。 The present invention relates to a position estimation system, a position estimation device, a position estimation method, and a program.

例えば移動前と移動後とで撮像装置が撮像して得られた画像に基づいて、三次元形状を推定する技術が知られている（例えば、特許文献１参照）。特許文献１の技術では、例えば道路面を基準面としたうえで、その上に存在する対象物の特徴点の位置を推定し、推定された特徴点の位置の集合により三次元形状を推定するようにされている。つまり、特許文献１の技術では、対象物の位置推定が行われる。 For example, there is known a technique for estimating a three-dimensional shape based on images captured by an imaging device before and after movement (see, for example, Patent Document 1). In the technique of Patent Document 1, for example, a road surface is used as a reference surface, the positions of feature points of objects existing on the road surface are estimated, and a three-dimensional shape is estimated from a set of estimated feature point positions. It is made like this. In other words, the technique of Patent Document 1 estimates the position of the target object.

特開２０１０－１８１９１９号公報JP 2010-181919 A

しかしながら、上記の特許文献１による位置推定の技術では、他の物体によって一部が隠された状態の物体を対象物とした場合には、その対象物の距離を算出することができないために、位置推定が困難になる。 However, in the position estimation technique according to Patent Document 1, when an object that is partly hidden by another object is used as the target, the distance to the target cannot be calculated. Position estimation becomes difficult.

本発明は、このような事情に鑑みてなされたもので、撮像により得られる画像に基づいて対象物の位置を推定するにあたり、他の物体により一部が隠された対象物についても位置を推定できるようにすることを目的とする。 The present invention has been made in view of such circumstances. It aims to make it possible.

上述した課題を解決する本発明の一態様は、撮像装置と、前記撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部と、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部とを備える位置推定システムである。 One aspect of the present invention that solves the above-described problems is an imaging device, and a height that calculates the height of an object based on image recognition processing that is performed on a captured image obtained by imaging with the imaging device. A position comprising a calculator and a position calculator that calculates the position of the object on the projection plane of the imaging device set corresponding to the ground surface based on the height calculated by the height calculator. It is an estimation system.

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部と、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部とを備える位置推定装置である。 Further, one aspect of the present invention includes a height calculation unit that calculates the height of a target object based on image recognition processing that is performed on a captured image that is captured by an imaging device, and the height calculation unit. and a position calculation unit that calculates the position of the object on the projection plane of the imaging device set corresponding to the ground surface, based on the height calculated by.

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出ステップと、前記高さ算出ステップにより算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出ステップとを備える位置推定方法である。 Further, one aspect of the present invention includes a height calculation step of calculating a height of a target object based on an image recognition process executed on a captured image obtained by capturing an image by an imaging device, and the height calculation step a position calculation step of calculating the position of the object on the projection plane of the imaging device set corresponding to the ground surface, based on the calculated height.

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部として機能させるためのプログラムである。 Further, according to one aspect of the present invention, a height calculation unit calculates a height of a target object based on image recognition processing performed on a captured image obtained by capturing an image by an imaging device, and the height calculation unit A program for functioning as a position calculation unit that calculates the position of the object on the projection plane of the imaging device set corresponding to the ground surface based on the calculated height.

以上説明したように、本発明によれば、撮像により得られる画像に基づいて対象物の位置を推定するにあたり、他の物体により一部が隠された対象物についても位置を推定できるようになるという効果が得られる。 As described above, according to the present invention, in estimating the position of an object based on an image obtained by imaging, it is possible to estimate the position of an object partially hidden by another object. effect is obtained.

本実施形態における位置推定システムの構成例を示す図である。It is a figure which shows the structural example of the position estimation system in this embodiment. 本実施形態における対象物の位置推定の手法例を説明する図である。It is a figure explaining the method example of the position estimation of the target object in this embodiment. 本実施形態における対象物の位置推定の手法例を説明する図である。It is a figure explaining the method example of the position estimation of the target object in this embodiment. 本実施形態における対象物の位置推定の手法例を説明する図である。It is a figure explaining the method example of the position estimation of the target object in this embodiment. 本実施形態における位置推定装置が実行する処理手順例を示すフローチャートである。4 is a flow chart showing an example of a processing procedure executed by the position estimation device according to the embodiment;

図１は、本実施形態の位置推定システム１の構成例を示している。本実施形態の位置推定システムは、例えば固定的に設置される監視カメラを備える監視システム等に適用されてもよいし、車両やロボット等の移動体が備えるものであってもよい。
同図の位置推定システム１は、撮像装置１００、位置推定装置２００、及び情報出力装置３００を備える。 FIG. 1 shows a configuration example of a position estimation system 1 of this embodiment. The position estimation system of this embodiment may be applied to, for example, a monitoring system including a fixedly installed monitoring camera, or may be provided in a moving object such as a vehicle or a robot.
A position estimation system 1 in the figure includes an imaging device 100 , a position estimation device 200 , and an information output device 300 .

撮像装置１００は、撮像を行う。本実施形態の撮像装置１００は、例えばステレオカメラなどのようなものではなく、例えば単眼によるものであってよい。 The imaging device 100 performs imaging. The imaging device 100 of this embodiment may be, for example, a monocular device instead of a stereo camera.

位置推定装置２００は、撮像装置１００により撮像して得られた画像（撮像画像）に基づいて、撮像画像にて被写体として含まれる対象物についての現実空間での位置を推定する装置である。
位置推定装置２００は、機能部として、入出力インターフェース部２０１、情報処理部２０２、及び記憶部２０３を備える。 The position estimation device 200 is a device that estimates the position in the real space of an object included as a subject in the captured image based on an image (captured image) obtained by imaging with the imaging device 100 .
The position estimation device 200 includes an input/output interface unit 201, an information processing unit 202, and a storage unit 203 as functional units.

入出力インターフェース部２０１は、位置推定装置２００と外部との情報の入出力を行う部位である。撮像装置１００が出力する撮像画像は、入出力インターフェース部２０１が入力し、情報処理部２０２に渡すようにされる。
また、情報処理部２０２が出力した画像、音声等の情報は、入出力インターフェース部２０１から情報出力装置３００に出力される。 The input/output interface unit 201 is a part that inputs and outputs information between the position estimation device 200 and the outside. A captured image output by the imaging device 100 is input to the input/output interface unit 201 and transferred to the information processing unit 202 .
Information such as images and sounds output by the information processing unit 202 is output from the input/output interface unit 201 to the information output device 300 .

情報処理部２０２は、対象物の位置推定に関する情報処理を実行する。情報処理部２０２としての機能は、位置推定装置２００において備えられるＣＰＵ（Central Processing Unit）が、プログラムを実行することにより実現される。同図の情報処理部２０２は、投影面設定部２２１、高さ算出部２２２、位置算出部２２３、及び位置変換部２２４を備える。
投影面設定部２２１は、撮像装置１００に対応する投影面を設定する。具体的に、投影面設定部２２１は、投影面として、地上面に対応する投影面（地上投影面）を設定する。
高さ算出部２２２は、撮像装置１００により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する。
位置算出部２２３は、高さ算出部２２２により算出された高さに基づいて、地上投影面における対象物の位置を算出する。
位置変換部２２４は、位置算出部２２３により算出された位置を現実空間における位置に変換する。 The information processing unit 202 executes information processing related to position estimation of an object. The function of the information processing section 202 is realized by executing a program by a CPU (Central Processing Unit) provided in the position estimation device 200 . The information processing unit 202 in FIG.
The projection plane setting unit 221 sets a projection plane corresponding to the imaging device 100 . Specifically, the projection plane setting unit 221 sets a projection plane (ground projection plane) corresponding to the ground plane as the projection plane.
The height calculation unit 222 calculates the height of the object based on the image recognition processing executed on the image captured by the imaging device 100 .
The position calculator 223 calculates the position of the object on the ground projection plane based on the height calculated by the height calculator 222 .
The position conversion unit 224 converts the position calculated by the position calculation unit 223 into a position in the physical space.

記憶部２０３は、位置推定装置２００に対応する各種の情報を記憶する。 The storage unit 203 stores various information corresponding to the position estimation device 200 .

情報出力装置３００は、位置推定装置２００から出力された情報を出力する。情報出力装置３００は、表示装置であってもよいし、音声出力装置であってもよいし、印刷装置であってもよい。 Information output device 300 outputs the information output from position estimation device 200 . The information output device 300 may be a display device, an audio output device, or a printing device.

図２～図４を参照して、本実施形態の位置推定システム１よる位置推定の手法例について説明する。
図２は、撮像装置１００により撮像して得られた撮像画像の一例を示している。同図の撮像画像においては、画像認識処理による被写体の抽出結果が示される。なお、ここでは、説明を簡単にすることの便宜上、撮像装置１００の位置、撮像方向等の条件は、固定であって、既知である場合を例に挙げる。
同図の撮像画像Ｐ１においては、被写体ＯＢ１～ＯＢ６の６つの被写体が含まれている。被写体ＯＢ１～ＯＢ６について特に区別しない場合には、被写体ＯＢと記載する。
位置推定装置２００の高さ算出部２２２は、撮像画像Ｐ１について画像認識処理を行ったうえで、例えばニューラルネットワーク等のＡＩ（Artificial Intelligence：人工知能）フレームワーク（あるいは機械学習フレームワーク等でもよい）を利用した処理により、被写体ＯＢごとの属性を認識する。
単純な例の１つとして、高さ算出部２２２は、被写体ＯＢ１、ＯＢ２、ＯＢ３については成人の人であると認識し、被写体ＯＢ３については子供の人であると認識し、被写体ＯＢ５は、乗用車に該当する車両であると認識し、被写体ＯＢ６については、トラックとしての車両であると認識する。
そのうえで、高さ算出部２２２は、人としての被写体ＯＢについては、例えばさらに、顔、衣服、髪型、身に付けているアクセサリや持ち物などに応じた特徴量に基づいて女性と男性とのいずれであるのかを認識してもよい。また、人としての被写体ＯＢについては、顔等の特徴量に基づいて、例えばアジア系、ヨーロッパ系、アフリカ系といったように、どの民族系に該当するのかを認識するようにされてもよい。
また、高さ算出部２２２は、車両としての被写体ＯＢについては、例えばさらに乗用車であればミニバン、セダンといった区分での認識、トラックであれば小型、中型、大型といった区分での認識が行われてよい。さらに車両としての被写体ＯＢについては、車種、型番等の認識が行われるようにされてもよい。
そして、高さ算出部２２２は、認識された属性に対応する高さを算出する。高さ算出部２２２は、例えば属性ごとに高さが対応付けられた高さテーブルのデータを参照し、認識された属性に対応付けられた高さを取得し、取得された高さを高さの算出結果としてよい。あるいは、高さ算出部２２２は、機械学習により、属性の認識に伴って、認識された属性の高さも導出するようにされてもよい。
このようにして、高さ算出部２２２は、同図の撮像画像において抽出される被写体ＯＢごとの高さを算出することができる。 An example of a method of position estimation by the position estimation system 1 of this embodiment will be described with reference to FIGS. 2 to 4. FIG.
FIG. 2 shows an example of a captured image obtained by imaging with the imaging device 100. As shown in FIG. In the picked-up image of FIG. 1, the result of subject extraction by image recognition processing is shown. Here, for the convenience of simplifying the description, a case where the conditions such as the position of the imaging device 100 and the imaging direction are fixed and known will be taken as an example.
A captured image P1 in FIG. 1 includes six subjects OB1 to OB6. When the objects OB1 to OB6 are not particularly distinguished, they are referred to as objects OB.
The height calculation unit 222 of the position estimation device 200 performs image recognition processing on the captured image P1, and then uses an AI (Artificial Intelligence) framework such as a neural network (or may be a machine learning framework). The attribute of each subject OB is recognized by the processing using .
As a simple example, the height calculator 222 recognizes that the subjects OB1, OB2, and OB3 are adults, the subject OB3 is a child, and the subject OB5 is a passenger car. and the object OB6 is recognized as a vehicle as a truck.
In addition, the height calculation unit 222 further determines whether the subject OB as a person is male or female based on the feature amount according to, for example, the face, clothes, hairstyle, accessories worn, belongings, etc. You can recognize if there is Also, regarding the subject OB as a person, it may be configured to recognize which ethnic group, such as Asian, European, or African, corresponds to, based on the feature amount of the face or the like.
In addition, the height calculation unit 222 recognizes the subject OB as a vehicle, for example, by classifying a passenger car into categories such as a minivan and a sedan, and by classifying a truck into categories such as a small size, medium size, and large size. good. Furthermore, with respect to the subject OB as a vehicle, the vehicle type, model number, etc. may be recognized.
Then, the height calculator 222 calculates the height corresponding to the recognized attribute. The height calculation unit 222, for example, refers to data in a height table in which heights are associated with attributes, acquires heights associated with recognized attributes, and converts the acquired heights into heights. may be the calculation result of Alternatively, the height calculator 222 may derive the height of the recognized attribute by machine learning as the attribute is recognized.
In this manner, the height calculator 222 can calculate the height of each object OB extracted in the captured image of FIG.

なお、高さ算出の対象となる対象物は、人や車両に限定されない。対象物は、例えば物、ロボット、動物、ランドマーク等であってもよい。本実施形態において高さが算出される対象物については、位置推定が可能とされる。つまり、本実施形態において位置空いての対象となる撮像画像内の対象物は、人や車両に限定されない。 Objects for which height calculation is to be performed are not limited to people and vehicles. Objects may be, for example, objects, robots, animals, landmarks, and the like. Position estimation is possible for objects whose heights are calculated in this embodiment. That is, in the present embodiment, the objects in the captured image that are empty objects are not limited to people and vehicles.

図３は、撮像装置１００の投影面と、撮像画像Ｐ１に含まれていた被写体ＯＢとの関係を示している。
同図においては、撮像装置１００の投影中心Ｖが固定で定められている。また、同図において、投影中心Ｖから垂直に投影した地上面の点（位置）が垂直投影点Ｖｈとなる。ここで、撮像装置１００の位置については固定であるので、距離ＶＶｈは不変（一定）である。 FIG. 3 shows the relationship between the projection plane of the imaging device 100 and the subject OB included in the captured image P1.
In the figure, the projection center V of the imaging device 100 is fixed. Also, in the figure, a point (position) on the ground surface projected vertically from the center of projection V is a vertical projection point Vh . Here, since the position of the imaging device 100 is fixed, the distance VVh is unchanged (constant).

また、同図においては、投影面ａｂｃｄが示されている。投影面ａｂｃｄは、撮像装置１００に対応して定められた投影中心Ｖとする透視投影モデルにより得られた二次元画像の投影面となる。このような投影面は、単眼カメラにより撮像して得られる二次元画像と等しい。
また、同図においては、地上面に対応する投影面ＡＢＣＤも示されている。以降の説明において、地上面に対応する投影面ＡＢＣＤについては、地上投影面ＡＢＣＤとも記載して、地上面に対応しない投影面ａｂｃｄと区別する。
同図に示される投影面ａｂｃｄにおける或る１つの座標ｍｉ（ximage,yimage,1）は、地上投影面ＡＢＣＤにおいては、座標Ｍｈｉ（xh,yh,-H）が対応する。Ｈは撮像装置１００の設置された高さである。
ここで、座標ｍｉと座標Ｍｈｉの関係は、以下の式１により表すことができる。 In addition, in the figure, a projection plane abcd is shown. A projection plane abcd is a projection plane of a two-dimensional image obtained by a perspective projection model with a projection center V determined corresponding to the imaging device 100 . Such a projection plane is equivalent to a two-dimensional image obtained by imaging with a monocular camera.
The figure also shows a projection plane ABCD corresponding to the ground plane. In the following description, the projection plane ABCD corresponding to the ground plane will also be referred to as the ground projection plane ABCD to distinguish from the projection plane abcd that does not correspond to the ground plane.
One coordinate m i ( x image , y image , 1) on the projection plane abcd shown in FIG. . H is the height at which the imaging device 100 is installed.
Here, the relationship between the coordinates mi and the coordinates Mhi can be expressed by the following Equation 1.

Figure 0007286387000001
Figure 0007286387000001

式１において、Ａは、変換マトリクスであり、撮像装置１００の内部パラメータ（画像中心、焦点距離、画素有効サイズ）と外部パラメータ（撮像装置１００の姿勢（高さ、撮像方向等）により求められる。 In Equation 1, A is a transformation matrix, which is obtained from internal parameters (image center, focal length, effective pixel size) and external parameters (posture (height, imaging direction, etc.) of the imaging device 100 of the imaging device 100 .

図４は、位置算出部２２３による対象物の位置についての算出手法を模式的に示している。
ここで、撮像装置１００の投影中心Ｖの高さＨは既知であり、ｉ番目としての対象物ＯＢｉの高さはＨｉであることが高さ算出部２２２により算出されている。
また、位置算出部２２３は、対象物ＯＢｉの高さに対応する指示位置ｐｔｉ（対象物の特定の位置の座標の一例、同図では人の頭部として定義されている例が示される）の撮像画像内の二次元座標を特定する。位置算出部２２３は、特定された撮像内の二次元座標に対応する投影面ａｂｃｄ内の座標ｍｉを特定する。位置算出部２２３は、投影面ａｂｃｄ内の座標ｍｉが特定されることに応じて、式１により、地上投影面ＡＢＣＤにおける座標Ｍｈｉを一意に求めることができる。
そして、位置算出部２２３は、垂直投影点Ｖｈから座標Ｍｈｉまでの間において、対象物ＯＢｉの指示位置ｐｔｉが、投影中心Ｖと座標Ｍｈｉとを結ぶ線分上に存在する状態のときの位置を、対象物ＯＢｉの地上投影面ＡＢＣＤ上での位置Ｍｉとして特定する。
即ち、対象物ＯＢｉの位置Ｍｉについて、以下の式２により表すことができる。 FIG. 4 schematically shows a method of calculating the position of the object by the position calculator 223. As shown in FIG.
Here, the height H of the projection center V of the imaging device 100 is known, and the height calculator 222 calculates that the height of the i-th target object OB i is Hi .
In addition, the position calculation unit 223 calculates the indicated position pt i (an example of the coordinates of a specific position of the object, which is defined as a person's head in the figure) corresponding to the height of the object OB i . ) in the captured image. The position calculator 223 identifies the coordinates mi in the projection plane abcd corresponding to the identified two-dimensional coordinates in the captured image. The position calculator 223 can uniquely obtain the coordinates M hi on the ground projection plane ABCD according to Equation 1 in accordance with the identification of the coordinates mi on the projection plane abcd.
Then, the position calculation unit 223 determines that the indicated position pt i of the object OB i exists on the line segment connecting the projection center V and the coordinate M hi between the vertical projection point V h and the coordinate M hi . The position at that time is specified as the position Mi of the object OB i on the ground projection plane ABCD.
That is, the position M i of the object OB i can be expressed by the following Equation 2.

Figure 0007286387000002
Figure 0007286387000002

従って、位置算出部２２３は、対象物ＯＢｉの位置Ｍｉを、例えば撮像装置１００の高さＨと、対象物ＯＢｉについて算出された高さＨｉと、投影面ａｂｃｄ上での対象物ＯＢｉの指示位置ｐｔｉの座標ｍｉとを用いて以下の式３により算出することができる。 Therefore, the position calculation unit 223 calculates the position M i of the object OB i by, for example, the height H of the imaging device 100, the height H i calculated for the object OB i, and the position M i of the object OB i on the projection plane abcd It can be calculated by the following equation 3 using the coordinates m i of the indicated position pt i of OB i .

Figure 0007286387000003
Figure 0007286387000003

また、上記説明は、撮像装置１００の位置が固定である場合を例に挙げたが、撮像装置１００が移動体等に設けられたことで移動するものである場合、位置算出部２２３は、以下のようにして対象物ＯＢｉの位置Ｍｉを算出してよい。つまり、位置算出部２２３は、投影中心Ｖについて、時間ｔに応じて平行移動により変化する座標（Xo(t),Yo(t),0）として定義したうえで、以下の式４により対象物ＯＢｉの位置Ｍｉを算出してよい。 Further, in the above description, the case where the position of the imaging device 100 is fixed is given as an example. The position M i of the object OB i may be calculated as follows. That is, the position calculation unit 223 defines the projection center V as coordinates (Xo(t), Yo(t), 0) that change according to the time t due to translation, and calculates The position M i of OB i may be calculated.

Figure 0007286387000004
Figure 0007286387000004

そして、位置変換部２２４は、上記のようにして位置算出部２２３により算出された対象物ＯＢｉの位置Ｍｉの座標を、例えば地図上の座標に変換することで、現実空間における位置（座標）に変換する。 Then, the position conversion unit 224 converts the coordinates of the position M i of the object OB i calculated by the position calculation unit 223 as described above into coordinates on a map, for example, thereby obtaining a position in the physical space (coordinates ).

このようにして、本実施形態においては、位置推定装置２００によって、撮像装置１００により撮像して得られた撮像画像内の被写体を対象物として、対象物の位置を推定することができる。例えば位置推定装置２００は、推定された位置が地図上で示されるようにして、例えば表示、印刷等により情報出力装置３００により出力させることができる。 In this manner, in the present embodiment, the position estimation device 200 can estimate the position of a target object, which is a subject in the image captured by the imaging device 100 . For example, the position estimation device 200 can cause the information output device 300 to display, print, or otherwise output the estimated position on a map.

上記のようにして対象物の位置推定を行う本実施形態の位置推定システム１では、例えば撮像画像において手前の被写体によって一部（特に地上面に対応する被写体部分）が隠されている被写体を対象物とした場合にも位置推定を行うことができる。そのうえで、本実施形態においては、撮像画像において一部が隠されていない対象物と一部が隠されている対象物とで、同じアルゴリズムを適用して位置を推定できる。つまり、本実施形態の位置推定システム１では、一部が隠されている対象物について、一部が隠されていない対象物と同じ精度で位置を推定できる。
また、本実施形態の位置推定システム１による位置推定手法であれば、例えばステレオカメラなどのような視差の相違に対応させた複数の撮像画像を得る必要がない。つまり、本実施形態の位置推定システム１は、対象物を撮像する撮像装置１００として、前述のように単眼によるものを採用することができる。これにより、例えばコストの削減、位置推定システム１を構成するハードウェアの小型化を図ることも可能になる。 In the position estimation system 1 of the present embodiment, which estimates the position of an object as described above, for example, a subject whose part (especially, the part of the subject corresponding to the ground surface) is hidden by the subject in the foreground in the captured image is targeted. It is also possible to estimate the position of an object. Moreover, in the present embodiment, the same algorithm can be applied to estimate the position of an object that is not partially hidden and an object that is partially hidden in the captured image. In other words, the position estimation system 1 of the present embodiment can estimate the position of a partially hidden object with the same accuracy as that of a partially hidden object.
Also, with the position estimation method by the position estimation system 1 of the present embodiment, it is not necessary to obtain a plurality of captured images corresponding to differences in parallax, such as with a stereo camera. That is, the position estimation system 1 of the present embodiment can employ a monocular device as described above as the imaging device 100 for imaging the object. As a result, for example, it is possible to reduce the cost and downsize the hardware that constitutes the position estimation system 1 .

なお、位置推定システム１のハードウェア構成としては、図１に示した撮像装置１００、位置推定装置２００、及び情報出力装置３００としての３つの装置による構成に限定されない。例えば、撮像装置１００、位置推定装置２００、及び情報出力装置３００のうちの所定の２以上が１つのハードウェアとして統合された構成であってもよい。さらに、撮像装置１００、位置推定装置２００、及び情報出力装置３００のうちの任意の装置について、さらに複数のハードウェアに分割された構成であってもよい。 Note that the hardware configuration of the position estimation system 1 is not limited to the configuration of the three devices as the imaging device 100, the position estimation device 200, and the information output device 300 shown in FIG. For example, predetermined two or more of the imaging device 100, the position estimation device 200, and the information output device 300 may be integrated as one piece of hardware. Furthermore, any one of the imaging device 100, the position estimation device 200, and the information output device 300 may be further divided into a plurality of pieces of hardware.

図５のフローチャートは、位置推定装置２００が実行する処理手順例を示している。
ステップＳ１０１：位置推定装置２００において、投影面設定部２２１は、投影中心Ｖの座標を設定する。投影中心Ｖの座標は、ｘ軸座標、ｙ軸座標、及び高さＨに対応するｚ軸座標を含む三次元座標であってよい。投影中心Ｖの座標の設定は、撮像装置１００の位置と撮像方向とを決定することに相当する。
この場合において、撮像装置１００の位置、撮像方向が固定である場合には、既知である撮像装置１００の位置と撮像方向に基づいて予め１つの投影中心Ｖの座標を求めたうえで、求められた投影中心Ｖの座標を記憶部２０３に記憶させておいてよい。投影面設定部２２１は、当該ステップＳ１０１として、記憶部２０３に記憶された投影中心Ｖの座標を取得すればよい。
あるいは、撮像装置１００が移動体に設けられて時間経過に応じて移動するものである場合、投影面設定部２２１は、当該ステップＳ１０１として以下の処理を実行してよい。つまり、投影面設定部２２１は、例えば移動体が測位する自己の位置（方向も含まれてよい）に基づいて撮像装置１００の位置、撮像方向を導出する。投影面設定部２２１は、導出された撮像装置１００の位置、撮像方向に応じた投影中心Ｖの座標を算出してよい。 The flowchart in FIG. 5 shows an example of a processing procedure executed by the position estimation device 200. As shown in FIG.
Step S101: In the position estimation device 200, the projection plane setting unit 221 sets the coordinates of the projection center V. FIG. The coordinates of the center of projection V may be three-dimensional coordinates including the x-axis coordinate, the y-axis coordinate, and the z-axis coordinate corresponding to the height H. Setting the coordinates of the projection center V corresponds to determining the position and imaging direction of the imaging device 100 .
In this case, when the position and the imaging direction of the imaging device 100 are fixed, the coordinates of one projection center V are obtained in advance based on the known position and the imaging direction of the imaging device 100, and then obtained. The coordinates of the projection center V may be stored in the storage unit 203 . The projection plane setting unit 221 may acquire the coordinates of the projection center V stored in the storage unit 203 in step S101.
Alternatively, when the imaging device 100 is provided in a mobile object and moves with the passage of time, the projection plane setting unit 221 may perform the following processing as the step S101. In other words, the projection plane setting unit 221 derives the position and the imaging direction of the imaging device 100 based on, for example, the position (or the direction may also be included) measured by the moving body. The projection plane setting unit 221 may calculate the coordinates of the projection center V according to the derived position of the imaging device 100 and the imaging direction.

ステップＳ１０２：情報処理部２０２は、撮像装置１００により撮像して得られた撮像画像を、入出力インターフェース部２０１経由で取得する。 Step S<b>102 : The information processing section 202 acquires the captured image obtained by imaging with the imaging device 100 via the input/output interface section 201 .

ステップＳ１０３：投影面設定部２２１は、ステップＳ１０１により設定された投影中心Ｖを原点とする地上投影面ＡＢＣＤを設定する。地上投影面ＡＢＣＤが設定されることで、撮像画像における１の二次元座標が対応する地上投影面ＡＢＣＤ上での１の座標を一意に特定できる。 Step S103: The projection plane setting unit 221 sets the ground projection plane ABCD with the projection center V set in step S101 as the origin. By setting the ground projection plane ABCD, it is possible to uniquely identify one coordinate on the ground projection plane ABCD corresponding to one two-dimensional coordinate in the captured image.

ステップＳ１０４：高さ算出部２２２は、位置推定の対象となる対象物ＯＢｉの高さＨｉを算出する。高さ算出部２２２は、当該ステップＳ１０４の処理として、前述のように、撮像画像に対する画像認識、機械学習によって、撮像画像から対象物ＯＢｉとしての被写体を抽出し、抽出された対象物ＯＢｉの属性を認識し、認識された属性に応じて高さＨｉを算出するようにされてよい。
ステップＳ１０５：位置算出部２２３は、対象物ＯＢｉの地上投影面ＡＢＣＤ上での位置Ｍｉを算出する。位置算出部２２３は、図４での説明のように、投影中心Ｖの高さＨと、対象物ＯＢｉの高さＨｉと、対象物ＯＢｉの指示位置ｐｔｉとを利用して、位置Ｍｉを算出してよい。
ステップＳ１０６：位置変換部２２４は、ステップＳ１０５により算出された対象物ＯＢｉの地上投影面ＡＢＣＤ上での位置Ｍｉを、現実空間における位置（座標）に変換する。ステップＳ１０５により算出された位置Ｍｉは、例えば図３、図４に例示したように、投影中心Ｖを原点として設定された仮想の地上投影面ＡＢＣＤ上にて特定された位置であり、現実空間におけるどの位置に対応するものであるのかは確定されていない。そこで、位置変換部２２４は、位置Ｍｉを現実空間における位置に変換する処理を行う。つまり、位置変換部２２４は、位置Ｍｉが現実空間におけるいずれの位置に相当するのかを特定する。
このために、一例として、記憶部２０３は、現実空間に座標を設定した地図情報を記憶する。位置変換部２２４は、例えば現実空間において測位された撮像装置１００の位置に基づいて、投影中心Ｖを地図情報における１つの座標に対応付ける。位置変換部２２４は、例えば地図情報において、投影中心Ｖを基準として位置Ｍｉが対応する座標を特定する。このようにして、位置Ｍｉが現実空間における位置に変換される。 Step S104: The height calculator 222 calculates the height H i of the object OB i whose position is to be estimated. As the processing of step S104, the height calculation unit 222 extracts a subject as the object OB i from the captured image by image recognition and machine learning for the captured image as described above, and extracts the extracted object OB i . , and calculate the height H i according to the recognized attribute.
Step S105: The position calculator 223 calculates the position M i of the object OB i on the ground projection plane ABCD. The position calculation unit 223 uses the height H of the projection center V, the height H i of the object OB i , and the indicated position pt i of the object OB i , as described with reference to FIG. A position M i may be calculated.
Step S106: The position conversion unit 224 converts the position M i of the object OB i calculated in step S105 on the ground projection plane ABCD into a position (coordinates) in the physical space. The position M i calculated in step S105 is a position specified on a virtual ground projection plane ABCD set with the center of projection V as the origin, as exemplified in FIGS. It has not been determined which position in . Therefore, the position conversion unit 224 performs processing to convert the position Mi into a position in the physical space. In other words, the position conversion unit 224 identifies which position in the physical space the position Mi corresponds to.
For this reason, as an example, the storage unit 203 stores map information in which coordinates are set in the physical space. The position conversion unit 224 associates the projection center V with one coordinate in the map information based on, for example, the position of the imaging device 100 measured in the physical space. The position conversion unit 224 identifies the coordinates corresponding to the position Mi with the center of projection V as a reference, for example, in the map information. In this way the position M i is transformed into a position in the real space.

なお、上述の位置推定装置２００としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の位置推定装置２００としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。 By recording a program for realizing the functions of the position estimation device 200 described above in a computer-readable recording medium, and causing the computer system to read and execute the program recorded in this recording medium, the above-described Processing as the position estimation device 200 may be performed. Here, "loading and executing the program recorded on the recording medium into the computer system" includes installing the program in the computer system. The "computer system" here includes hardware such as an OS and peripheral devices. A "computer system" may also include a plurality of computer devices connected via a network including communication lines. Recording media also include internal or external recording media that can be accessed from the distribution server for distributing the program.

１ 位置推定システム、１００ 撮像装置、２００ 位置推定装置、２０１ 入出力インターフェース部、２０２ 情報処理部、２０３ 記憶部、２２１ 投影面設定部、２２２ 高さ算出部、２２３ 位置算出部、２２４ 位置変換部、３００ 情報出力装置 1 position estimation system 100 imaging device 200 position estimation device 201 input/output interface unit 202 information processing unit 203 storage unit 221 projection plane setting unit 222 height calculation unit 223 position calculation unit 224 position conversion unit , 300 information output device

Claims (5)

撮像装置と、
前記撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部と、
前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部と、
前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部と
を備える位置推定システム。 an imaging device;
An object is extracted from the imaged image by image recognition processing executed on the imaged image obtained by the imaging device, and the attributes of the extracted object are recognized by processing using machine learning. a height calculation unit for calculating the height of the object according to the recognized attribute ;
Setting corresponding to the ground surface based on the height of the center of projection of the imaging device from the ground surface, the height of the object calculated by the height calculation unit , and the specific position of the object a position calculation unit for calculating the position of the object on the ground projection plane of the imaging device ;
a position conversion unit that converts the position of the object on the ground projection plane calculated by the position calculation unit into a position in real space;
A position estimation system comprising: 前記撮像装置は単眼である
請求項１に記載の位置推定システム。 The position estimation system of claim 1, wherein the imaging device is monocular. 撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部と、
前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部と、
前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部と
を備える位置推定装置。 An object is extracted from the imaged image by image recognition processing performed on the imaged image obtained by imaging with an imaging device, and the attribute of the extracted object is recognized by processing using machine learning, a height calculation unit that calculates the height of the object according to the recognized attribute ;
Setting corresponding to the ground surface based on the height of the center of projection of the imaging device from the ground surface, the height of the object calculated by the height calculation unit , and the specific position of the object a position calculation unit for calculating the position of the object on the ground projection plane of the imaging device ;
a position conversion unit that converts the position of the object on the ground projection plane calculated by the position calculation unit into a position in real space;
A position estimation device comprising: 撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出ステップと、
前記撮像装置の投影中心の地上面からの高さと、前記高さ算出ステップにより算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出ステップと、
前記位置算出ステップにより算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換ステップと
を備える位置推定方法。 An object is extracted from the imaged image by image recognition processing performed on the imaged image obtained by imaging with an imaging device, and the attribute of the extracted object is recognized by processing using machine learning, a height calculation step of calculating the height of the object according to the recognized attribute ;
Setting corresponding to the ground surface based on the height of the center of projection of the imaging device from the ground surface, the height of the object calculated by the height calculating step , and the specific position of the object a position calculation step of calculating the position of the object on the ground projection plane of the imaging device ;
a position conversion step of converting the position of the object on the ground projection plane calculated by the position calculation step into a position in the physical space;
A position estimation method comprising: コンピュータを、
撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部、
前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部、
前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部
として機能させるためのプログラム。 the computer,
An object is extracted from the imaged image by image recognition processing performed on the imaged image obtained by imaging with an imaging device, and the attribute of the extracted object is recognized by processing using machine learning, a height calculation unit that calculates the height of the object according to the recognized attribute ;
Setting corresponding to the ground surface based on the height of the center of projection of the imaging device from the ground surface, the height of the object calculated by the height calculation unit , and the specific position of the object a position calculation unit that calculates the position of the object on the ground projection plane of the image pickup device ;
A position conversion unit that converts the position of the object on the ground projection plane calculated by the position calculation unit into a position in the real space.
A program to function as
JP2019073587A 2019-04-08 2019-04-08 Position estimation system, position estimation device, position estimation method, and program Active JP7286387B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019073587A JP7286387B2 (en) 2019-04-08 2019-04-08 Position estimation system, position estimation device, position estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019073587A JP7286387B2 (en) 2019-04-08 2019-04-08 Position estimation system, position estimation device, position estimation method, and program

Publications (2)

Publication Number Publication Date
JP2020173504A JP2020173504A (en) 2020-10-22
JP7286387B2 true JP7286387B2 (en) 2023-06-05

Family

ID=72831627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019073587A Active JP7286387B2 (en) 2019-04-08 2019-04-08 Position estimation system, position estimation device, position estimation method, and program

Country Status (1)

Country Link
JP (1) JP7286387B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239291A1 (en) * 2021-05-13 2022-11-17 パナソニックＩｐマネジメント株式会社 Object detection device and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193187A (en) 2010-03-15 2011-09-29 Omron Corp Monitoring camera terminal
JP2018144526A (en) 2017-03-01 2018-09-20 アイシン精機株式会社 Periphery monitoring device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193187A (en) 2010-03-15 2011-09-29 Omron Corp Monitoring camera terminal
JP2018144526A (en) 2017-03-01 2018-09-20 アイシン精機株式会社 Periphery monitoring device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Qi Mei-bin et al.，Moving Object Localization with Single Camera Based on Height Model in Video Surveillance，2007 1st International Conference on Bioinformatics and Biomedical Engineering，2007年07月08日，https://ieeexplore.ieee.org/document/4272613/

Also Published As

Publication number Publication date
JP2020173504A (en) 2020-10-22

Similar Documents

Publication Publication Date Title
JP4653606B2 (en) Image recognition apparatus, method and program
JP5812599B2 (en) Information processing method and apparatus
JP6723061B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP5926228B2 (en) Depth detection method and system for autonomous vehicles
JP4728432B2 (en) Face posture estimation device, face posture estimation method, and face posture estimation program
JP4814669B2 (en) 3D coordinate acquisition device
JP4950787B2 (en) Image processing apparatus and method
JP7038345B2 (en) Camera parameter set calculation method, camera parameter set calculation program and camera parameter set calculation device
KR101807513B1 (en) The analysis apparatus and method of user intention using video information in three dimensional space
KR20180087947A (en) Modeling method and modeling apparatus using 3d point cloud
JP2007310707A (en) Apparatus and method for estimating posture
CN110520905B (en) Face posture correcting device and method
JPWO2006093250A1 (en) Motion measuring device, motion measuring system, vehicle-mounted device, motion measuring method, motion measuring program, and computer-readable recording medium
JP2019185557A (en) Image analysis device, method, and program
JP2021513175A (en) Data processing methods and devices, electronic devices and storage media
JP2012059030A (en) Human body identification method and human body identification apparatus using range image camera
US20230085384A1 (en) Characterizing and improving of image processing
JP7379065B2 (en) Information processing device, information processing method, and program
JP2000251078A (en) Method and device for estimating three-dimensional posture of person, and method and device for estimating position of elbow of person
JP2018156408A (en) Image recognizing and capturing apparatus
JP2015206768A (en) Foreground area extraction device, foreground area extraction method and program
CN111854620A (en) Monocular camera-based actual pupil distance measuring method, device and equipment
JP7286387B2 (en) Position estimation system, position estimation device, position estimation method, and program
JP2015219868A (en) Information processor, information processing method and program
JP2007304721A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7286387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150