JP5007863B2 - 3D object position measuring device - Google Patents

3D object position measuring device Download PDF

Info

Publication number
JP5007863B2
JP5007863B2 JP2008110387A JP2008110387A JP5007863B2 JP 5007863 B2 JP5007863 B2 JP 5007863B2 JP 2008110387 A JP2008110387 A JP 2008110387A JP 2008110387 A JP2008110387 A JP 2008110387A JP 5007863 B2 JP5007863 B2 JP 5007863B2
Authority
JP
Japan
Prior art keywords
voxel
dimensional
dimensional object
position measuring
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008110387A
Other languages
Japanese (ja)
Other versions
JP2009258058A (en
Inventor
祐教 松本
善久 白田
猛 大川
賢二 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2008110387A priority Critical patent/JP5007863B2/en
Publication of JP2009258058A publication Critical patent/JP2009258058A/en
Application granted granted Critical
Publication of JP5007863B2 publication Critical patent/JP5007863B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の3次元物体の位置を計測することができる3次元物体位置計測装置に関するものである。   The present invention relates to a three-dimensional object position measuring apparatus capable of acquiring a plurality of temporally continuous image data and measuring the position of a three-dimensional object of a monitoring target without contact.

従来、用いられていた3次元物体の距離計測方法としては、典型的には、2台のカメラを用いてステレオ撮影を行い、対象物の3次元位置を計測するものがある。例えば、特許文献1で提案されているように、周知の二点測量の原理を用い、2台のカメラを用い、2点から撮影するカメラの位置と角度から被写体までの距離を測定するものがある。この特許文献1に記載の立体カメラ用雲台装置の発明では、ある時間のカメラからの画像入力により正確な距離を測定するために、2台のカメラの位置と角度を制御する。   Conventionally, as a method of measuring the distance of a three-dimensional object, there is typically a method of measuring a three-dimensional position of an object by performing stereo photography using two cameras. For example, as proposed in Patent Document 1, using the well-known principle of two-point surveying, two cameras are used to measure the distance to the subject from the position and angle of the camera that shoots from two points. is there. In the invention of the stereoscopic camera pan / tilt head device described in Patent Document 1, the positions and angles of the two cameras are controlled in order to measure an accurate distance by inputting an image from the camera for a certain period of time.

また、複数台のカメラで撮影された画像のデータから対象物の3次元空間における位置を判定するために、ボクセル投票処理を利用しているものとして、特許文献2に記載のインタフェース方法の発明がある。この発明では、ボクセル投票処理を利用して実空間の3次元空間をボクセルに分割したボクセル空間における3次元位置の物体情報の判定を行う。
特開2005−24629号公報 特開2005−321966号公報
In addition, the invention of the interface method described in Patent Document 2 assumes that voxel voting processing is used to determine the position of an object in a three-dimensional space from data of images taken by a plurality of cameras. is there. In the present invention, the object information of the three-dimensional position in the voxel space obtained by dividing the three-dimensional space of the real space into voxels using voxel voting processing is determined.
JP 2005-24629 A JP 2005-321966 A

従来における距離計測方法を利用して、立体物の3次元位置を判定するには、特許文献1に記載のように、複雑な装置構成を必要とし、装置全体の構成が大きくなり、かつ、複雑化する等の課題が存在していた。   In order to determine the three-dimensional position of a three-dimensional object using a conventional distance measurement method, as described in Patent Document 1, a complicated apparatus configuration is required, and the entire apparatus configuration becomes large and complicated. There were issues such as

また、特許文献2に記載されているインタフェース方法の発明では、ボクセル投票処理を利用して、実空間の3次元空間をボクセルに分割したボクセル空間における3次元位置の物体情報の判定を行うが、この場合に、対象の3次元空間内に固定された複数台のカメラで撮影した複数の入力画像から、操作者の体の部位の、該操作者の指し示した方向に関わる始点と終点の3次元座標を算出し、操作者の指し示す実空間上での3次元指示方向情報を求める処理など複雑な処理を必要としており、計算コストが大きいという問題がある。   Moreover, in the invention of the interface method described in Patent Document 2, the object information of the three-dimensional position in the voxel space obtained by dividing the three-dimensional space in the real space into voxels using the voxel voting process is described. In this case, from a plurality of input images photographed by a plurality of cameras fixed in the target three-dimensional space, the three-dimensional start and end points of the body part of the operator related to the direction indicated by the operator Complicated processing such as processing for calculating coordinates and obtaining three-dimensional pointing direction information in the real space indicated by the operator is required, and there is a problem that calculation cost is high.

本発明は、上記のような課題を解決するためになされたものであり、本発明の目的は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の3次元物体の位置を計測することができる3次元物体位置計測装置を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to acquire a plurality of temporally continuous image data and to perform a non-contact three-dimensional object to be monitored. An object of the present invention is to provide a three-dimensional object position measuring apparatus capable of measuring the position of the object.

上記の目的を達成するため、本発明の3次元物体位置計測装置は、対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、前記撮影手段により取得された画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、前記特徴量抽出手段にて抽出された特徴量の距離情報に基づいて、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行うボクセル投票処理手段と、前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する3次元位置計測処理手段とを有することを特徴とするものである。   In order to achieve the above object, a three-dimensional object position measurement apparatus according to the present invention includes a photographing unit that photographs a target object and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the photographing means; and distance information of the feature quantities extracted by the feature quantity extraction means Based on the above, in the voxel space obtained by dividing the target three-dimensional space into voxels, a straight line connecting the object whose feature value is extracted and the lens center of the photographing means is drawn in the voxel space, and one vote is obtained for the voxel where the straight lines intersect. Voxel voting processing means for performing voting processing one by one, voxel voting history holding means for holding history data of voting results by the voxel voting processing means, and the voxel voting history A movement amount correcting means for correcting based on the movement vector moved by the shadow means; a three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history; It is characterized by having.

また、本発明の3次元物体位置計測装置は、一つの態様として、撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、ボクセル投票処理手段は、カメラの移動速度によって、対象とする3次元空間の大きさとボクセルのサイズを変更するように構成される。   In addition, according to one aspect of the three-dimensional object position measurement apparatus of the present invention, the photographing unit controls the camera to photograph the object, and a plurality of images having parallax with respect to the object are temporally continuous. While acquiring image data, the voxel voting processing means is configured to change the size of the target three-dimensional space and the size of the voxel according to the moving speed of the camera.

また、本発明の3次元物体位置計測装置は、別の態様として、撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得するように構成される。   In another aspect of the three-dimensional object position measuring apparatus of the present invention, the photographing unit photographs a target with a single moving camera, and temporally displays a plurality of images having parallax with respect to the target. It is configured to acquire continuous image data.

また、本発明の3次元物体位置計測装置においては、更に、3次元位置計測処理手段により特定した対象物の位置と、自己の3次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段を有することを特徴とするものである。   In the three-dimensional object position measurement apparatus of the present invention, the distance measurement is further performed to measure the position of the object specified by the three-dimensional position measurement processing means, and the distance between the own three-dimensional model and the object in the voxel space. It has the means.

また、本発明の3次元物体位置計測装置においては、更に、計測した自己の3次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、自己の3次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段を有することを特徴とするものである。   Further, in the three-dimensional object position measuring apparatus of the present invention, the interval between the measured self three-dimensional model and the object in the voxel space and the interval measurement history obtained by measuring a plurality of intervals from the present are further used. The apparatus further comprises interval change amount measuring means for measuring the change amount of the interval between the self three-dimensional model and the object in the voxel space.

また、本発明の3次元物体位置計測装置においては、3次元モデルは移動体であり、対象物は空間に固定された立体物であることを特徴とするものである。   In the three-dimensional object position measuring apparatus of the present invention, the three-dimensional model is a moving body, and the target is a three-dimensional object fixed in space.

また、本発明の3次元物体位置計測装置においては、更に、間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置を有することを特徴とするものである。   Further, the three-dimensional object position measuring device of the present invention further includes a contact risk determining device that determines a time until contact between the object and the self model based on an output from the interval change amount measuring means. It is characterized by this.

また、本発明の3次元物体位置計測装置において、更に、接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置を有することを特徴とするものである。   The three-dimensional object position measuring apparatus of the present invention further includes a contact warning device that outputs warning information based on an output from the contact risk determination device.

また、本発明の3次元物体位置計測装置においては、更に、接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置を有することを特徴とするものである。   Further, the three-dimensional object position measuring apparatus of the present invention further includes a safety control device that operates the safety device based on an output from the contact warning device.

このような特徴を有する本発明の3次元物体位置計測装置によれば、単一もしくは複数のカメラにより取得された時間的に連続性のある画像データの情報により、対象とする3次元空間をボクセルに分割したボクセル空間において、自己の3次元モデルの立体物と、対象物である例えば周囲の立体物との距離を判定することでき、周囲の立体物と自己の3次元モデルである立体物の移動体との衝突の可能性を予測することができる。   According to the three-dimensional object position measuring apparatus of the present invention having such a feature, a target three-dimensional space is voxeled based on information of temporally continuous image data acquired by a single or a plurality of cameras. In the voxel space divided into two, it is possible to determine the distance between the three-dimensional object of its own three-dimensional model and the target object, for example, the surrounding three-dimensional object, and the three-dimensional object of its own three-dimensional model can be determined. The possibility of a collision with a moving object can be predicted.

従来の3次元位置の距離計測装置は、複数のカメラからの入力画像データに基づいて、物体の距離を測定するが、本発明の3次元物体位置計測装置においては、時間的に連続する画像データによって、累積されたボクセル投票結果に基づいて3次元物体の位置を計測する。これにより、従来の3次元位置の距離計測装置に比べて多くの情報を利用できるため、ある時間の入力画像に対する処理量を削減することができ、装置構成の簡単化が可能となる。   A conventional distance measuring device for a three-dimensional position measures the distance of an object based on input image data from a plurality of cameras. In the three-dimensional object position measuring device of the present invention, temporally continuous image data The position of the three-dimensional object is measured based on the accumulated voxel vote result. As a result, a larger amount of information can be used as compared with a conventional distance measuring device for a three-dimensional position, so that the processing amount for an input image for a certain time can be reduced, and the device configuration can be simplified.

また、従来における3次元位置の距離測定方法では、ステレオカメラのように複数のカメラを用いることが必要であるが、本発明の3次元物体位置計測装置においては、画像データを取得する撮像装置が移動するため、例えば、撮像装置が搭載された3次元物体位置計測装置が移動するため、単一カメラにより時間的に連続する画像データを取得し、これを擬似的なステレオ画像として利用して、時間的に発生するカメラの視差を用いて、擬似的に複数のカメラと同様の機能を実現できる。   Further, in the conventional three-dimensional position distance measuring method, it is necessary to use a plurality of cameras such as a stereo camera. However, in the three-dimensional object position measuring apparatus according to the present invention, an imaging apparatus that acquires image data is used. In order to move, for example, because a three-dimensional object position measuring device on which an imaging device is mounted moves, image data that is temporally continuous is acquired by a single camera, and this is used as a pseudo stereo image. A function similar to that of a plurality of cameras can be realized in a pseudo manner using temporally generated parallax of the camera.

また、従来における3次元位置の距離測定方法では、物体の移動速度が高くなるに従って高速の処理を必要とするが、本発明の3次元物体位置計測装置においては、画像データを取得する3次元物体位置計測装置の移動速度に応じて、計測する対象の3次元空間の範囲と、それを分割するボクセルの大きさを変更することにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。   In addition, the conventional method for measuring the distance of a three-dimensional position requires high-speed processing as the moving speed of the object increases. In the three-dimensional object position measuring apparatus of the present invention, a three-dimensional object that acquires image data is used. Necessary to increase the amount of processing even if the moving speed increases by changing the range of the 3D space to be measured and the size of the voxel that divides it according to the moving speed of the position measuring device Can be measured.

また、本発明による3次元物体位置計測装置においては、この3次元物体位置計測装置を搭載した自己モデルと対象物の周囲の立体物との間隔および間隔の変化量を測定し、自己モデルの立体物の移動体と周囲の3次元空間における立体物の対象物とが接触する可能性を予測して、ある時間内に接触すると予測される場合に、警告もしくは自己モデルの移動体の移動を制御し、接触を回避することが可能となる。   In the three-dimensional object position measuring apparatus according to the present invention, the distance between the self-model on which the three-dimensional object position measuring apparatus is mounted and the three-dimensional object around the target object and the amount of change in the distance are measured. Predicts the possibility of contact between a moving object and a three-dimensional object in the surrounding three-dimensional space, and controls the movement of a warning or self-model moving object when it is predicted that the object will contact within a certain period of time Thus, contact can be avoided.

以下、本発明を実施する場合に一つの形態について、具体的に図面を参照して説明する。図1は、本発明の一実施例の3次元物体位置計測装置の構成を説明するブロック図であり、図2は、本発明の3次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。図2には、立方体形状の単位3次元空間であるボクセルと、3次元位置の距離を計測する対象の3次元空間のボクセル空間との関係が示されている。   Hereinafter, one embodiment of the present invention will be specifically described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a three-dimensional object position measuring apparatus according to an embodiment of the present invention. FIG. 2 is an explanatory diagram illustrating a voxel voting process in the three-dimensional object position measuring apparatus of the present invention. is there. FIG. 2 shows the relationship between a voxel, which is a cubic unit three-dimensional space, and a voxel space, which is a target three-dimensional space whose distance is measured.

図1において、101は第1カメラ画像入力部、102は第2カメラ画像入力部、103は第1特徴量抽出処理部、104は第2特徴量抽出処理部、105はボクセル投票処理部、106は3次元位置計測処理部、107はボクセル投票履歴データ納付部、108は移動量補正処理部、109は撮影装置移動量である。図2において、201は対象の3次元空間のボクセル空間、202は立方体形状の単位3次元空間であるボクセル、203は第1カメラ画像入力部の撮像装置のカメラ、204は第2カメラ画像入力部の撮像装置のカメラ、205は対象物の特徴量抽出結果をそれぞれ示している。   In FIG. 1, 101 is a first camera image input unit, 102 is a second camera image input unit, 103 is a first feature amount extraction processing unit, 104 is a second feature amount extraction processing unit, 105 is a voxel voting processing unit, 106 Is a three-dimensional position measurement processing unit, 107 is a voxel voting history data payment unit, 108 is a movement amount correction processing unit, and 109 is a moving amount of the photographing apparatus. 2, 201 is a voxel space of a target three-dimensional space, 202 is a voxel that is a cubic unit three-dimensional space, 203 is a camera of an imaging device of a first camera image input unit, and 204 is a second camera image input unit. Cameras 205 of the image pickup apparatus 205 respectively show the feature amount extraction results of the object.

図1および図2を参照して説明する。第1カメラ画像入力部101は、複数のカメラ(撮影装置)により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向(レンズ中心軸方向)により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。第2カメラ画像入力部102は、複数のカメラ(撮影装置)により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向(レンズ中心軸方向)により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。なお、第1カメラ画像入力部101および第2カメラ画像入力部102では、カメラが移動体に搭載されており、カメラにより時間的に連続する画像データを取得した場合には、取得した連続した画像データに時間的に発生するカメラ視差があるので、この画像データを用いることもできる。このような場合には、カメラは単一カメラでよい。   This will be described with reference to FIGS. The first camera image input unit 101 shoots a three-dimensional object as a target with a plurality of cameras (imaging devices), and has a parallax with respect to the target according to the camera viewing direction (lens central axis direction) of the plurality of cameras. Acquire temporally continuous image data of a plurality of images. The second camera image input unit 102 shoots a three-dimensional object as a target with a plurality of cameras (photographing devices), and has a parallax with respect to the target according to the camera line-of-sight direction (lens center axis direction) of the plurality of cameras. Acquire temporally continuous image data of a plurality of images. Note that in the first camera image input unit 101 and the second camera image input unit 102, when the camera is mounted on the moving body and the temporally continuous image data is acquired by the camera, the acquired continuous image Since there is a camera parallax that occurs temporally in the data, this image data can also be used. In such a case, the camera may be a single camera.

これらの第1カメラ画像入力部101および第2カメラ画像入力部102は、後述するように、ボクセル空間における対象物の識別性を高くするために、図2に示されるように、第1カメラ画像入力部101のカメラ203のカメラ視線方向と、第2カメラ画像入力部102におけるカメラ204のカメラ視線方向とは、互いに異なる方向に設定される。   As will be described later, the first camera image input unit 101 and the second camera image input unit 102 are configured so that the first camera image input unit 101 and the second camera image input unit 102 have a first camera image input as shown in FIG. The camera line-of-sight direction of the camera 203 in the input unit 101 and the camera line-of-sight direction of the camera 204 in the second camera image input unit 102 are set in different directions.

第1特徴量抽出処理部103は、第1カメラ画像入力部101から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。ここで画像データから抽出する特徴量として、例えば、対象物を識別するための特徴量である形状データ、色データなどと共に撮像装置と対象物の間の距離情報が利用される。同じく、第2特徴量抽出処理部104は、第2カメラ画像入力部102から出力された時間的に連続な画像データに対し、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。   The first feature amount extraction processing unit 103 performs image processing by the stereo method on the temporally continuous image data output from the first camera image input unit 101, using the parallax in the plurality of image data, and the target object A feature amount including distance information from is extracted. Here, as the feature amount extracted from the image data, for example, distance information between the imaging device and the target object is used together with shape data, color data, and the like, which are feature quantities for identifying the target object. Similarly, the second feature quantity extraction processing unit 104 performs image processing by the stereo method on temporally continuous image data output from the second camera image input unit 102 by using parallax in a plurality of image data, Extract features including distance information from objects.

ボクセル投票処理部105は、第1特徴量抽出処理部103および第2特徴量抽出処理部104により抽出された特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理では、図2に示されるように、対象とする3次元空間をボクセル202に分割したボクセル空間201において特徴量を抽出した対象物205とカメラ(203,204)のレンズ中心を結ぶ直線をボクセル空間201中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。そして、後述するように、ボクセル投票結果データに基づいて、ボクセル空間201における各ボクセル202の投票結果のデータに基づいて、対象物の位置が特定され、対象物の立体と自己の3次元モデルの立体との関係の距離がボクセルの単位で計測される。   The voxel voting processing unit 105 performs voxel voting processing based on the distance information of the feature amounts extracted by the first feature amount extraction processing unit 103 and the second feature amount extraction processing unit 104. In the voxel voting process, as shown in FIG. 2, a straight line that connects the object 205 from which the feature amount is extracted in the voxel space 201 obtained by dividing the target three-dimensional space into voxels 202 and the lens center of the camera (203, 204). In the voxel space 201, a process of voting one vote at a time on each voxel where the straight lines intersect, and outputting the resulting voxel voting result data. Then, as will be described later, based on the voxel voting result data, the position of the object is specified based on the voting result data of each voxel 202 in the voxel space 201, and the three-dimensional model of the object and its own three-dimensional model The distance of the relationship with the solid is measured in voxel units.

ボクセル投票履歴データ格納部107は、ボクセル投票結果の履歴を保持するため、ボクセル投票処理部105から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、3次元物体位置計測装置の移動量のデータを対応させて保持される。   The voxel voting history data storage unit 107 stores the voxel voting result data history data output from the voxel voting processing unit 105 in association with time-series data in order to hold the voxel voting result history. The time-series data is held in correspondence with the movement amount data of the three-dimensional object position measuring device.

移動量補正処理部108は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。3次元位置計測処理部106は、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。   The movement amount correction processing unit 108 performs processing for correcting the voxel voting history data based on a movement vector in which the camera position of the imaging apparatus moves. The three-dimensional position measurement processing unit 106 performs processing for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history.

図3は、対象とする3次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。図3(a)は移動速度が高い場合の3次元空間をボクセル空間に分割するボクセルのサイズを説明する図であり、図3(b)は移動速度が低い場合の3次元空間をボクセル空間に分割するボクセルのサイズを説明する図である。301は移動速度が高い場合の3次元空間、302は移動速度が高い場合のボクセルであり、また、311は移動速度が低い場合の3次元空間、312は移動速度が低い場合のボクセルである。   FIG. 3 is a diagram illustrating the relationship between the size of the target three-dimensional space and the voxel division size. FIG. 3A is a diagram illustrating the size of a voxel that divides a three-dimensional space into a voxel space when the moving speed is high, and FIG. 3B is a diagram illustrating that the three-dimensional space when the moving speed is low is converted into a voxel space. It is a figure explaining the size of the voxel to divide. Reference numeral 301 denotes a three-dimensional space when the moving speed is high, 302 denotes a voxel when the moving speed is high, 311 denotes a three-dimensional space when the moving speed is low, and 312 denotes a voxel when the moving speed is low.

本発明の3次元物体位置計測装置は移動体に搭載されており、前述したように、カメラ画像を入力するための撮像装置のカメラは、移動して対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。その場合に、移動体の移動速度、すなわち、カメラの移動速度に応じて、ボクセル投票処理部105のボクセル投票処理では、ボクセルサイズが変更され、変更されたサイズのボクセルにより対象とする3次元空間のボクセル空間を分割する。その結果として、対象の3次元空間のボクセル空間のサイズについても変更される。これにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。   The three-dimensional object position measurement apparatus of the present invention is mounted on a moving body, and as described above, the camera of the imaging apparatus for inputting a camera image moves and has a plurality of images having parallax with respect to the object. To obtain continuous image data. In that case, in the voxel voting process of the voxel voting processing unit 105 according to the moving speed of the moving body, that is, the moving speed of the camera, the voxel size is changed, and the target three-dimensional space is determined by the changed voxel size. Divide the voxel space. As a result, the size of the target three-dimensional space is also changed. Thereby, even if the moving speed increases, the necessary measurement can be performed without increasing the processing amount much.

図3(a)に示されるように、移動体の移動速度が高い場合には、ボクセルのサイズを大きくする。これにより、ボクセルにより分割する対象とする3次元空間のボクセル空間も大きくして処理を行う。また、移動体の移動速度が低い場合には、図3(b)に示されるように、ボクセルのサイズを小さくして、ボクセルにより分割する対象とする3次元空間のボクセル空間も小さくして処理を行う。このようにすると、移動速度が高くなり、また低くなっても、処理量を増やすことなくデータ処理量により必要な計測を行うことができる。   As shown in FIG. 3A, when the moving speed of the moving body is high, the size of the voxel is increased. As a result, the processing is performed with the voxel space of the three-dimensional space to be divided by the voxel being enlarged. Also, when the moving speed of the moving object is low, as shown in FIG. 3B, the processing is performed by reducing the size of the voxel and the voxel space of the three-dimensional space to be divided by the voxel. I do. In this way, even if the moving speed increases and decreases, the necessary measurement can be performed based on the data processing amount without increasing the processing amount.

次に本発明の3次元物体位置計測装置の変形例及び応用例について説明する。図4は、単一のカメラで対象物を撮影する構成の3次元物体位置計測装置の構成を示すブロック図である。この場合には、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。動作については、図1により説明した3次元物体位置計測装置と同様である。   Next, modified examples and application examples of the three-dimensional object position measuring apparatus of the present invention will be described. FIG. 4 is a block diagram illustrating a configuration of a three-dimensional object position measurement apparatus configured to capture an object with a single camera. In this case, the object is photographed by a single moving camera, and temporally continuous image data of a plurality of images having parallax with respect to the object is acquired. The operation is the same as that of the three-dimensional object position measuring apparatus described with reference to FIG.

図4に示す単一のカメラで対象物を撮影する構成の3次元物体位置計測装置について説明する。401はカメラ画像入力部、402は特徴量抽出処理部、403はボクセル投票処理部、404は3次元位置計測処理部、405はボクセル投票履歴データ納付部、406は移動量補正処理部、407は撮影装置移動量である。   A three-dimensional object position measuring apparatus configured to capture an object with a single camera shown in FIG. 4 will be described. 401 is a camera image input unit, 402 is a feature amount extraction processing unit, 403 is a voxel voting processing unit, 404 is a three-dimensional position measurement processing unit, 405 is a voxel voting history data payment unit, 406 is a movement amount correction processing unit, and 407 is This is the moving amount of the photographing apparatus.

カメラ画像入力部401は、単一のカメラにより対象物となる立体物を撮影して、カメラ移動量による時間差で対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。特徴量抽出処理部402は、カメラ画像入力部401から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。特徴量抽出処理部402により抽出された特徴量は、ボクセル投票処理部403に入力される。ボクセル投票処理部403では、特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理は、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物とカメラのレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。   The camera image input unit 401 shoots a three-dimensional object as a target with a single camera, and acquires temporally continuous image data of a plurality of images having parallax with respect to the target with a time difference depending on the amount of camera movement. To do. The feature amount extraction processing unit 402 performs image processing by a stereo method on temporally continuous image data output from the camera image input unit 401 by using parallax in a plurality of image data, and information on distance from the object The feature quantity including is extracted. The feature amount extracted by the feature amount extraction processing unit 402 is input to the voxel voting processing unit 403. The voxel voting processing unit 403 performs voxel voting processing based on the distance information of the feature amount. The voxel voting process draws a straight line connecting the object from which the feature amount is extracted in the voxel space obtained by dividing the target three-dimensional space into voxels in the voxel space, and gives one vote to the voxel where the straight lines intersect. The process of voting one by one is performed, and the voxel voting result data as a result is output.

ボクセル投票履歴データ格納部405は、ボクセル投票処理部403から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、3次元物体位置計測装置の移動量のデータを対応させて保持される。   The voxel voting history data storage unit 405 stores the history data of the voxel voting result data output from the voxel voting processing unit 403 in association with time series data. The time-series data is held in correspondence with the movement amount data of the three-dimensional object position measuring device.

移動量補正処理部406は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。3次元位置計測処理部404では、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。これにより、ボクセル投票結果データに基づいて、ボクセル空間における各ボクセルの投票結果のデータに基づいて、対象物の位置を特定し、対象物の立体と自己の3次元モデルの立体との関係の距離がボクセルの単位で計測される。   The movement amount correction processing unit 406 performs processing for correcting the voxel voting history data based on a movement vector in which the camera position of the imaging apparatus moves. The three-dimensional position measurement processing unit 404 performs processing for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history. Thereby, based on the voxel voting result data, based on the voting result data of each voxel in the voxel space, the position of the object is specified, and the distance between the solid of the target and the solid of the own three-dimensional model Is measured in voxel units.

図5は、3次元物体位置計測装置を利用して、3次元物体の間隔計測を行う場合の応用例の構成を示すブロック図であり、図6は、3次元物体位置計測装置において作成された3次元空間のボクセル空間を利用して3次元物体の間隔計測を行う処理の一例を説明する図である。図6の(a)はボクセル空間を上から見た状態の図を示しており、図6の(b)はボクセル空間を前から見た状態の図を示しており、図6の(c)はボクセル空間を横から見た状態の図を示しており、立体図形の平面図、正面図、側面図に対応している。   FIG. 5 is a block diagram showing a configuration of an application example in the case of measuring the interval of a three-dimensional object using the three-dimensional object position measuring device, and FIG. 6 is created in the three-dimensional object position measuring device. It is a figure explaining an example of the process which performs the space | interval measurement of a three-dimensional object using the voxel space of three-dimensional space. 6A shows a view of the voxel space viewed from above, and FIG. 6B shows a view of the voxel space viewed from the front, FIG. 6C. Shows a view of the voxel space as viewed from the side, and corresponds to a plan view, a front view, and a side view of a three-dimensional figure.

図5および図6において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、600はボクセル空間、601は自己の3次元モデル、602は測定された対象物の第1の立体、603は測定された対象物の第1の立体である。   5 and 6, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, 600 is a voxel space, and 601 is its own three-dimensional. The model, 602 is the first solid of the measured object, and 603 is the first solid of the measured object.

図5および図6を参照して3次元物体の間隔計測の処理について説明すると、3次元物体の間隔計測では、3次元物体位置計測装置501においてボクセル空間の中で計測された対象物に対して、間隔を測定する対象とする自己の三次元モデルを、同じボクセル空間に導入する。そして、当該ボクセル空間において対象物と自己の3次元モデルとの立体との間隔を計測する。   The processing for measuring the interval between the three-dimensional objects will be described with reference to FIGS. 5 and 6. In the interval measurement of the three-dimensional object, the object measured in the voxel space by the three-dimensional object position measuring device 501 is used. The self three-dimensional model whose interval is to be measured is introduced into the same voxel space. And the space | interval with the solid of a target object and its own three-dimensional model is measured in the said voxel space.

間隔測定装置503には、3次元物体位置計測装置501により計測された対象物の位置がボクセル空間の中で表現されており、これに対して、間隔を測定する対象とする自己の三次元モデル502を、同じボクセル空間に導入する。この状態のボクセル空間600が、図6に示されている。そして、間隔測定装置503が、当該ボクセル空間において対象物と自己の3次元モデルとの立体との間隔を計測する。図6に示すように、ボクセル空間600に自己の三次元モデル601が導入されており、また、ボクセル空間600には、3次元物体位置計測装置501により計測された対象物の位置データが、第1の立体602,第2の立体603として、その位置が表現されている。これらの立体の位置関係が、ボクセル空間600において、それぞれのボクセルのサイズを基準の単位として計測されて、間隔測定が行われる。図6では、測定される間隔が、矢印で表記されている。   In the interval measuring device 503, the position of the object measured by the three-dimensional object position measuring device 501 is expressed in the voxel space. 502 is introduced into the same voxel space. The voxel space 600 in this state is shown in FIG. And the space | interval measuring apparatus 503 measures the space | interval with the solid of a target object and its own three-dimensional model in the said voxel space. As shown in FIG. 6, a self three-dimensional model 601 is introduced into the voxel space 600, and the position data of the object measured by the three-dimensional object position measuring device 501 is stored in the voxel space 600. The positions of the first solid 602 and the second solid 603 are represented. The positional relationship between these three-dimensional objects is measured in the voxel space 600 using the size of each voxel as a reference unit. In FIG. 6, the measured intervals are indicated by arrows.

このように、間隔測定装置503では、自己の3次元モデル(移動体)と対象物の立体との間隔が測定できるので、この間隔測定を継続して行うことにより、所定時間の間の変化量を計測できる。変化量が計測できると、自己の3次元モデル(移動体)と対象物の立体とが接近しているのか、遠ざかっているのかが判定できる。図7は、3次元物体位置計測装置を利用して、3次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。   As described above, the interval measuring device 503 can measure the interval between the own three-dimensional model (moving body) and the three-dimensional object, and thus the amount of change during a predetermined time can be obtained by continuously performing the interval measurement. Can be measured. If the amount of change can be measured, it can be determined whether the own three-dimensional model (moving body) and the three-dimensional object are approaching or moving away. FIG. 7 is a block diagram illustrating a configuration of an application example in which a three-dimensional object position measurement apparatus is used to measure the interval change amount of a three-dimensional object.

図7には、3次元物体位置計測装置を間隔変化量計測装置に利用する場合の構成の一例が示されている。図7において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、701は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、702は間隔変化量計測装置である。   FIG. 7 shows an example of a configuration in the case where the three-dimensional object position measuring device is used for the interval change amount measuring device. In FIG. 7, reference numeral 501 denotes a three-dimensional object position measuring device, 502 denotes data of its own three-dimensional model whose interval is to be measured, 503 denotes an interval measuring device, and 701 denotes interval measurement history data for storing interval measurement data history. A storage device 702 is an interval variation measuring device.

前述したように、間隔測定装置503が、3次元位置計測装置501から測定される対象物の立体の位置データと、自己3次元モデルデータ502により、自己の3次元モデル(移動体)と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置701に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置702では、間隔計測履歴データ格納装置701に格納された所定の回数分の間隔測定履歴データと、間隔測定装置503から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。この間隔変化量のデータは、更に、接触・危険判定処理のためのデータとして利用される。   As described above, the interval measuring device 503 uses the three-dimensional position data of the target object measured from the three-dimensional position measuring device 501 and the self three-dimensional model data 502 to determine its own three-dimensional model (moving body) and the target object. The interval between the three-dimensional object is measured, the interval measurement is continuously performed, and the measurement result data is continuously accumulated as history data in the interval measurement history data storage device 701. In the interval change amount measuring device 702, the interval change amount data is measured by the interval measurement history data for a predetermined number of times stored in the interval measurement history data storage device 701 and the interval measurement data output from the interval measuring device 503. Is output. This interval change amount data is further used as data for contact / danger determination processing.

応用例として、ここでの自己の3次元モデルを、自動車などの移動体として、また、3次元位置を判定する対象物は周囲の空間に固定されて配置されている立体物とすると、その間隔変化量を測定することにより、移動体と立体物が接触するまでの時間を判定できる。判定された時間に応じて、接触の可能性の警告、危険の回避のための安全制御を行うことができる。   As an application example, if the three-dimensional model here is a moving object such as an automobile, and the object for determining the three-dimensional position is a three-dimensional object fixed in the surrounding space, the interval By measuring the amount of change, the time until the moving body and the three-dimensional object come into contact can be determined. Depending on the determined time, a warning of the possibility of contact and safety control for avoiding danger can be performed.

このような3次元物体位置計測装置の応用例について、更に説明する。図8には、3次元物体位置計測装置を利用して、3次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図を示している。   An application example of such a three-dimensional object position measuring apparatus will be further described. FIG. 8 is a block diagram showing a configuration of an application example in which a three-dimensional object position measurement device is used to measure a distance between three-dimensional objects, a contact risk is determined, a contact warning is output, and further safety control is performed. Is shown.

これまでに、説明したように、本発明の3次元物体位置計測装置を利用して、3次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う場合の装置構成が、図8のブロック図として示されている。図8において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、701は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、702は間隔変化量計測装置、703は接触・危険判定処理装置、704は接触警告装置、705は安全制御装置である。   As described above, when measuring the distance between three-dimensional objects using the three-dimensional object position measuring device of the present invention, determining contact danger, outputting a contact warning, and further performing safety control The apparatus configuration is shown as a block diagram in FIG. In FIG. 8, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, and 701 is interval measurement history data for storing interval measurement data history. A storage device, 702 is an interval change amount measuring device, 703 is a contact / danger determination processing device, 704 is a contact warning device, and 705 is a safety control device.

図7を参照して説明したように、図8の装置構成においても、間隔測定装置503が、3次元位置計測装置501から測定される対象物の立体の位置データと、自己3次元モデルデータ502により、自己の3次元モデル(移動体)と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置701に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置702では、間隔計測履歴データ格納装置701に格納された所定の回数分の間隔測定履歴データと、間隔測定装置503から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。間隔変化量計測手装置702からの出力は、接触・危険判定処理装置703に入力される。接触・危険判定処理装置703には、危険を判定するために、予め接触するまでの時間が設定されており、間隔変化量のデータにより、対象物と自己モデルとの間の接触までの時間を判定すし、設定された時間に基づいて、接触・危険を判定する。   As described with reference to FIG. 7, also in the apparatus configuration of FIG. 8, the distance measurement device 503 is configured to measure the position of the three-dimensional object and the self three-dimensional model data 502 measured by the three-dimensional position measurement device 501. Thus, the interval between the self three-dimensional model (moving body) and the solid of the object is measured, the interval measurement is continuously performed, and the measurement result data is continuously stored as history data in the interval measurement history data storage device 701. And accumulate. In the interval change amount measuring device 702, the interval change amount data is measured by the interval measurement history data for a predetermined number of times stored in the interval measurement history data storage device 701 and the interval measurement data output from the interval measuring device 503. Is output. The output from the interval change amount measuring device 702 is input to the contact / danger determination processing device 703. In the contact / danger determination processing device 703, in order to determine the danger, a time until contact is set in advance, and the time until contact between the object and the self model is determined based on the data of the interval change amount. The contact / danger is determined based on the set time.

接触・危険判定処理装置703により、間隔変化量計測手装置702からの出力に基づいて、対象物と自己モデルとの間の接触までの時間が判定され、危険を判定すると、接触警告装置704により、モニタ表示、ブザー鳴動などにより、警告情報を出力する。更に、安全制御装置705が設けられており、安全制御装置705が、接触警告装置704からの出力に基づいて、ブレーキをかけるなどして安全制御を行い、安全装置を動作させる。   The contact / risk determination processing device 703 determines the time until contact between the object and the self-model based on the output from the interval change amount measuring device 702. When the risk is determined, the contact warning device 704 Warning information is output by monitor display, buzzer sound, etc. Further, a safety control device 705 is provided, and the safety control device 705 performs safety control by applying a brake or the like based on an output from the contact warning device 704 and operates the safety device.

このように、本発明の3次元物体位置計測装置により計測されたボクセル空間の対象物の位置に基づいて、本発明では、計測装置を搭載した自己のモデルと周囲の3次元空間との間隔および間隔の変化量を測定し、自己のモデルと周囲の3次元空間とが接触する可能性を推定し、ある時間内に接触すると予測される場合に、警告もしくは自己の移動を制御することにより、接触を回避することが可能となる。   Thus, based on the position of the object in the voxel space measured by the three-dimensional object position measuring device of the present invention, in the present invention, the distance between the own model equipped with the measuring device and the surrounding three-dimensional space and By measuring the amount of change in the interval, estimating the possibility of contact between the model and the surrounding three-dimensional space, and controlling the warning or self movement when predicted to contact within a certain period of time, Contact can be avoided.

本発明の一実施例の3次元物体位置計測装置のシステム構成を説明するブロック図である。It is a block diagram explaining the system configuration | structure of the three-dimensional object position measuring apparatus of one Example of this invention. 本発明の3次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。It is explanatory drawing explaining the voxel vote process in the three-dimensional object position measuring apparatus of this invention. 対象とする3次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。It is a figure explaining the relationship between the magnitude | size of the target three-dimensional space, and the division | segmentation size of a voxel. 単一のカメラで対象物を撮影する3次元物体位置計測装置の構成を示すブロック図である。It is a block diagram which shows the structure of the three-dimensional object position measuring apparatus which image | photographs a target object with a single camera. 3次元物体位置計測装置を利用して、3次元物体の間隔計測を行う場合の応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example in the case of measuring the space | interval of a three-dimensional object using a three-dimensional object position measuring apparatus. 3次元物体位置計測装置において作成された3次元空間のボクセル空間を利用して3次元物体の間隔計測を行う処理の一例を説明する図である。It is a figure explaining an example of the process which measures the space | interval of a three-dimensional object using the voxel space of the three-dimensional space created in the three-dimensional object position measuring apparatus. 3次元物体位置計測装置を利用して、3次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example which measures the space | interval variation | change_quantity of a three-dimensional object using a three-dimensional object position measuring apparatus. 3次元物体位置計測装置を利用して、3次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example which measures the space | interval of a three-dimensional object using a three-dimensional object position measuring apparatus, determines a contact danger, outputs a contact warning, and also performs safety control.

符号の説明Explanation of symbols

101 第1カメラ画像入力部
102 第2カメラ画像入力部
103 第1特徴量抽出処理部
104 第2特徴量抽出処理部
105 ボクセル投票処理部
106 3次元位置計測処理部
107 ボクセル投票履歴データ納付部
108 移動量補正処理部
109 撮影装置移動量
201 ボクセル空間
202 ボクセル、
203 カメラ、
204 カメラ、
205 対象物の特徴量抽出結果
301 移動速度が高い場合の3次元空間
302 移動速度が高い場合のボクセル
311 移動速度が低い場合の3次元空間
312 移動速度が低い場合のボクセル
401 カメラ画像入力部
402 特徴量抽出処理部
403 ボクセル投票処理部
404 3次元位置計測処理部
405 ボクセル投票履歴データ納付部
406 移動量補正処理部
407 撮影装置移動量
501 3次元物体位置計測装置
502 三次元モデルデータ、
503 間隔測定装置
701 間隔計測履歴データ格納装置、
702 間隔変化量計測装置
703 接触・危険判定処理装置
704 接触警告装置、
705 安全制御装置
101 First camera image input unit 102 Second camera image input unit 103 First feature quantity extraction processing unit 104 Second feature quantity extraction processing unit 105 Voxel voting processing unit 106 Three-dimensional position measurement processing unit 107 Voxel voting history data payment unit 108 Movement amount correction processing unit 109 Imaging device movement amount 201 Voxel space 202 Voxel,
203 camera,
204 cameras,
205 Object Feature Extraction Result 301 Three-Dimensional Space 302 When Movement Speed is High Voxel 311 When Movement Speed is High Three-Dimensional Space 312 When Movement Speed is Low Voxel 401 When Movement Speed is Low Camera Image Input Unit 402 Feature amount extraction processing unit 403 Voxel voting processing unit 404 3D position measurement processing unit 405 Voxel voting history data payment unit 406 Movement amount correction processing unit 407 Imaging device movement amount 501 3D object position measurement device 502 3D model data,
503 interval measurement device 701 interval measurement history data storage device,
702 Interval change amount measuring device 703 Contact / danger determination processing device 704 Contact warning device,
705 Safety control device

Claims (9)

対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、
前記撮影手段により取得された画像データに基づいて対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量の距離情報に基づいて、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行うボクセル投票処理手段と、
前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、
前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、
前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する3次元位置計測処理手段と、
を有することを特徴とする3次元物体位置計測装置。
Photographing means for photographing an object and acquiring temporally continuous image data of a plurality of images having parallax with respect to the object;
A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the imaging means;
Based on the distance information of the feature quantity extracted by the feature quantity extraction means, a straight line connecting the object from which the feature quantity is extracted in the voxel space obtained by dividing the target three-dimensional space into voxels and the lens center of the photographing means is voxel. Voxel voting processing means for performing a process of voting one by one on the voxels where the straight lines intersect with each other,
Voxel voting history holding means for holding history data of voting results by the voxel voting processing means;
A moving amount correcting means for correcting the voxel voting history based on a moving vector moved by the photographing means;
Three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history;
A three-dimensional object position measuring apparatus comprising:
請求項1に記載の3次元物体位置計測装置において、
前記撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、
前記ボクセル投票処理手段は、前記カメラの移動速度によって、対象とする3次元空間の大きさとボクセルのサイズを変更する
ことを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 1,
The imaging means controls the camera to image an object, acquires temporally continuous image data of a plurality of images having parallax with respect to the object,
The voxel voting processing means changes the size of a target three-dimensional space and the size of a voxel according to the moving speed of the camera.
請求項1に記載の3次元物体位置計測装置において、
前記撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する
ことを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 1,
The three-dimensional object position is characterized in that the photographing unit photographs a target object with a single moving camera and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. Measuring device.
請求項1乃至3のいずれかに記載の3次元物体位置計測装置において、更に、
前記3次元位置計測処理手段により特定した対象物の位置により、自己の3次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段
を有することを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to any one of claims 1 to 3, further comprising:
3. A three-dimensional object position measuring apparatus comprising interval measuring means for measuring an interval between a self three-dimensional model and an object in a voxel space based on the position of the object specified by the three-dimensional position measurement processing means.
請求項4に記載の3次元物体位置計測装置において、更に、
計測した自己の3次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、
自己の3次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段
を有することを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 4, further comprising:
Using the measured interval between the 3D model of the measured self and the object in the voxel space, and the interval measurement history that measured multiple intervals from the present,
A three-dimensional object position measuring device comprising interval change amount measuring means for measuring a change amount of an interval between a self three-dimensional model and an object in a voxel space.
請求項4または5に記載の3次元物体位置計測装置において、
前記3次元モデルは移動体であり、
前記対象物は空間に固定された立体物である
ことを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 4 or 5,
The three-dimensional model is a moving object,
The three-dimensional object position measuring apparatus according to claim 1, wherein the object is a three-dimensional object fixed in space.
請求項5に記載の3次元物体位置計測装置において、更に、
前記間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置
を有することを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 5, further comprising:
A three-dimensional object position measuring device comprising a contact risk determining device for determining a time until contact between an object and a self model based on an output from the interval change amount measuring means.
請求項7に記載の3次元物体位置計測装置において、更に、
前記接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置
を有することを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring apparatus according to claim 7, further comprising:
A three-dimensional object position measuring device comprising a contact warning device that outputs warning information based on an output from the contact risk determination device.
請求項8に記載の3次元物体位置計測装置において、更に
前記接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置
を有することを特徴とする3次元物体位置計測装置。
The three-dimensional object position measuring device according to claim 8, further comprising a safety control device that operates the safety device based on an output from the contact warning device.
JP2008110387A 2008-04-21 2008-04-21 3D object position measuring device Active JP5007863B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008110387A JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008110387A JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Publications (2)

Publication Number Publication Date
JP2009258058A JP2009258058A (en) 2009-11-05
JP5007863B2 true JP5007863B2 (en) 2012-08-22

Family

ID=41385648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008110387A Active JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Country Status (1)

Country Link
JP (1) JP5007863B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727689B2 (en) * 2008-04-28 2011-07-20 三菱重工業株式会社 Workpiece measuring device, collision prevention device and machine tool
CN102472617B (en) * 2009-11-10 2014-07-02 三菱重工业株式会社 Workpiece measuring device, collision preventing device, and machine tool
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US9110163B2 (en) 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
WO2016199508A1 (en) * 2015-06-09 2016-12-15 ソニー株式会社 Information processing device, information processing method, and program
JP6695997B2 (en) * 2016-10-21 2020-05-20 株式会社ソニー・インタラクティブエンタテインメント Information processing equipment
WO2018074420A1 (en) 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント Information processing device
KR102166236B1 (en) * 2018-12-19 2020-10-15 동의대학교 산학협력단 Method of 3d scanning and image correction
WO2021200004A1 (en) * 2020-04-01 2021-10-07 パナソニックIpマネジメント株式会社 Information processing device, and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0949714A (en) * 1995-08-04 1997-02-18 Canon Inc Apparatus for extracting three-dimensional shape
JP2002032744A (en) * 2000-07-14 2002-01-31 Komatsu Ltd Device and method for three-dimensional modeling and three-dimensional image generation
JP2003333590A (en) * 2002-05-16 2003-11-21 Komatsu Ltd System for generating image at site
JP2004046464A (en) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof
JP4019854B2 (en) * 2002-08-12 2007-12-12 日産自動車株式会社 Travel route generator
JP2005257278A (en) * 2004-03-09 2005-09-22 Hitachi Ltd Image acquisition system, distance measurement method, distance measurement system using the method and record medium that recorded the method
JP4283816B2 (en) * 2006-03-31 2009-06-24 日本電信電話株式会社 Three-dimensional environment information acquisition apparatus, three-dimensional environment information acquisition method, and recording medium storing a program realizing the method

Also Published As

Publication number Publication date
JP2009258058A (en) 2009-11-05

Similar Documents

Publication Publication Date Title
JP5007863B2 (en) 3D object position measuring device
CN109737874B (en) Object size measuring method and device based on three-dimensional vision technology
US9672630B2 (en) Contour line measurement apparatus and robot system
JP4814669B2 (en) 3D coordinate acquisition device
US9208396B2 (en) Image processing method and device, and program
JP5715735B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
JP5011528B2 (en) 3D distance measurement sensor and 3D distance measurement method
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
EP3113150B1 (en) Local location computation device and local location computation method
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
US20190364257A1 (en) Photogrammetry system and method of operation
WO2011125937A1 (en) Calibration data selection device, method of selection, selection program, and three dimensional position measuring device
JP6880822B2 (en) Equipment, mobile equipment and methods
JP2016148512A (en) Monocular motion stereo distance estimation method and monocular motion stereo distance estimation device
JP5299101B2 (en) Peripheral display device
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
US20130021449A1 (en) Three-dimensional measuring method
CN113034605B (en) Target object position determining method and device, electronic equipment and storage medium
JP4198536B2 (en) Object photographing apparatus, object photographing method and object photographing program
JP2011024079A (en) Peripheral display device
JP6409769B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
KR20180102080A (en) A method and apparatus for displaying a front-view around a vehicle,
JP2020088688A (en) Monitoring device, monitoring system, monitoring method, and monitoring program
CN106327465A (en) Method and device for determining object position
JP2022011821A (en) Information processing device, information processing method and mobile robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120516

R150 Certificate of patent or registration of utility model

Ref document number: 5007863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250