JP5007863B2 - 3D object position measuring device - Google Patents
3D object position measuring device Download PDFInfo
- Publication number
- JP5007863B2 JP5007863B2 JP2008110387A JP2008110387A JP5007863B2 JP 5007863 B2 JP5007863 B2 JP 5007863B2 JP 2008110387 A JP2008110387 A JP 2008110387A JP 2008110387 A JP2008110387 A JP 2008110387A JP 5007863 B2 JP5007863 B2 JP 5007863B2
- Authority
- JP
- Japan
- Prior art keywords
- voxel
- dimensional
- dimensional object
- position measuring
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の3次元物体の位置を計測することができる3次元物体位置計測装置に関するものである。 The present invention relates to a three-dimensional object position measuring apparatus capable of acquiring a plurality of temporally continuous image data and measuring the position of a three-dimensional object of a monitoring target without contact.
従来、用いられていた3次元物体の距離計測方法としては、典型的には、2台のカメラを用いてステレオ撮影を行い、対象物の3次元位置を計測するものがある。例えば、特許文献1で提案されているように、周知の二点測量の原理を用い、2台のカメラを用い、2点から撮影するカメラの位置と角度から被写体までの距離を測定するものがある。この特許文献1に記載の立体カメラ用雲台装置の発明では、ある時間のカメラからの画像入力により正確な距離を測定するために、2台のカメラの位置と角度を制御する。 Conventionally, as a method of measuring the distance of a three-dimensional object, there is typically a method of measuring a three-dimensional position of an object by performing stereo photography using two cameras. For example, as proposed in Patent Document 1, using the well-known principle of two-point surveying, two cameras are used to measure the distance to the subject from the position and angle of the camera that shoots from two points. is there. In the invention of the stereoscopic camera pan / tilt head device described in Patent Document 1, the positions and angles of the two cameras are controlled in order to measure an accurate distance by inputting an image from the camera for a certain period of time.
また、複数台のカメラで撮影された画像のデータから対象物の3次元空間における位置を判定するために、ボクセル投票処理を利用しているものとして、特許文献2に記載のインタフェース方法の発明がある。この発明では、ボクセル投票処理を利用して実空間の3次元空間をボクセルに分割したボクセル空間における3次元位置の物体情報の判定を行う。
従来における距離計測方法を利用して、立体物の3次元位置を判定するには、特許文献1に記載のように、複雑な装置構成を必要とし、装置全体の構成が大きくなり、かつ、複雑化する等の課題が存在していた。 In order to determine the three-dimensional position of a three-dimensional object using a conventional distance measurement method, as described in Patent Document 1, a complicated apparatus configuration is required, and the entire apparatus configuration becomes large and complicated. There were issues such as
また、特許文献2に記載されているインタフェース方法の発明では、ボクセル投票処理を利用して、実空間の3次元空間をボクセルに分割したボクセル空間における3次元位置の物体情報の判定を行うが、この場合に、対象の3次元空間内に固定された複数台のカメラで撮影した複数の入力画像から、操作者の体の部位の、該操作者の指し示した方向に関わる始点と終点の3次元座標を算出し、操作者の指し示す実空間上での3次元指示方向情報を求める処理など複雑な処理を必要としており、計算コストが大きいという問題がある。 Moreover, in the invention of the interface method described in Patent Document 2, the object information of the three-dimensional position in the voxel space obtained by dividing the three-dimensional space in the real space into voxels using the voxel voting process is described. In this case, from a plurality of input images photographed by a plurality of cameras fixed in the target three-dimensional space, the three-dimensional start and end points of the body part of the operator related to the direction indicated by the operator Complicated processing such as processing for calculating coordinates and obtaining three-dimensional pointing direction information in the real space indicated by the operator is required, and there is a problem that calculation cost is high.
本発明は、上記のような課題を解決するためになされたものであり、本発明の目的は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の3次元物体の位置を計測することができる3次元物体位置計測装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to acquire a plurality of temporally continuous image data and to perform a non-contact three-dimensional object to be monitored. An object of the present invention is to provide a three-dimensional object position measuring apparatus capable of measuring the position of the object.
上記の目的を達成するため、本発明の3次元物体位置計測装置は、対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、前記撮影手段により取得された画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、前記特徴量抽出手段にて抽出された特徴量の距離情報に基づいて、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行うボクセル投票処理手段と、前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する3次元位置計測処理手段とを有することを特徴とするものである。 In order to achieve the above object, a three-dimensional object position measurement apparatus according to the present invention includes a photographing unit that photographs a target object and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the photographing means; and distance information of the feature quantities extracted by the feature quantity extraction means Based on the above, in the voxel space obtained by dividing the target three-dimensional space into voxels, a straight line connecting the object whose feature value is extracted and the lens center of the photographing means is drawn in the voxel space, and one vote is obtained for the voxel where the straight lines intersect. Voxel voting processing means for performing voting processing one by one, voxel voting history holding means for holding history data of voting results by the voxel voting processing means, and the voxel voting history A movement amount correcting means for correcting based on the movement vector moved by the shadow means; a three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history; It is characterized by having.
また、本発明の3次元物体位置計測装置は、一つの態様として、撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、ボクセル投票処理手段は、カメラの移動速度によって、対象とする3次元空間の大きさとボクセルのサイズを変更するように構成される。 In addition, according to one aspect of the three-dimensional object position measurement apparatus of the present invention, the photographing unit controls the camera to photograph the object, and a plurality of images having parallax with respect to the object are temporally continuous. While acquiring image data, the voxel voting processing means is configured to change the size of the target three-dimensional space and the size of the voxel according to the moving speed of the camera.
また、本発明の3次元物体位置計測装置は、別の態様として、撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得するように構成される。 In another aspect of the three-dimensional object position measuring apparatus of the present invention, the photographing unit photographs a target with a single moving camera, and temporally displays a plurality of images having parallax with respect to the target. It is configured to acquire continuous image data.
また、本発明の3次元物体位置計測装置においては、更に、3次元位置計測処理手段により特定した対象物の位置と、自己の3次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段を有することを特徴とするものである。 In the three-dimensional object position measurement apparatus of the present invention, the distance measurement is further performed to measure the position of the object specified by the three-dimensional position measurement processing means, and the distance between the own three-dimensional model and the object in the voxel space. It has the means.
また、本発明の3次元物体位置計測装置においては、更に、計測した自己の3次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、自己の3次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段を有することを特徴とするものである。 Further, in the three-dimensional object position measuring apparatus of the present invention, the interval between the measured self three-dimensional model and the object in the voxel space and the interval measurement history obtained by measuring a plurality of intervals from the present are further used. The apparatus further comprises interval change amount measuring means for measuring the change amount of the interval between the self three-dimensional model and the object in the voxel space.
また、本発明の3次元物体位置計測装置においては、3次元モデルは移動体であり、対象物は空間に固定された立体物であることを特徴とするものである。 In the three-dimensional object position measuring apparatus of the present invention, the three-dimensional model is a moving body, and the target is a three-dimensional object fixed in space.
また、本発明の3次元物体位置計測装置においては、更に、間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置を有することを特徴とするものである。 Further, the three-dimensional object position measuring device of the present invention further includes a contact risk determining device that determines a time until contact between the object and the self model based on an output from the interval change amount measuring means. It is characterized by this.
また、本発明の3次元物体位置計測装置において、更に、接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置を有することを特徴とするものである。 The three-dimensional object position measuring apparatus of the present invention further includes a contact warning device that outputs warning information based on an output from the contact risk determination device.
また、本発明の3次元物体位置計測装置においては、更に、接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置を有することを特徴とするものである。 Further, the three-dimensional object position measuring apparatus of the present invention further includes a safety control device that operates the safety device based on an output from the contact warning device.
このような特徴を有する本発明の3次元物体位置計測装置によれば、単一もしくは複数のカメラにより取得された時間的に連続性のある画像データの情報により、対象とする3次元空間をボクセルに分割したボクセル空間において、自己の3次元モデルの立体物と、対象物である例えば周囲の立体物との距離を判定することでき、周囲の立体物と自己の3次元モデルである立体物の移動体との衝突の可能性を予測することができる。 According to the three-dimensional object position measuring apparatus of the present invention having such a feature, a target three-dimensional space is voxeled based on information of temporally continuous image data acquired by a single or a plurality of cameras. In the voxel space divided into two, it is possible to determine the distance between the three-dimensional object of its own three-dimensional model and the target object, for example, the surrounding three-dimensional object, and the three-dimensional object of its own three-dimensional model can be determined. The possibility of a collision with a moving object can be predicted.
従来の3次元位置の距離計測装置は、複数のカメラからの入力画像データに基づいて、物体の距離を測定するが、本発明の3次元物体位置計測装置においては、時間的に連続する画像データによって、累積されたボクセル投票結果に基づいて3次元物体の位置を計測する。これにより、従来の3次元位置の距離計測装置に比べて多くの情報を利用できるため、ある時間の入力画像に対する処理量を削減することができ、装置構成の簡単化が可能となる。 A conventional distance measuring device for a three-dimensional position measures the distance of an object based on input image data from a plurality of cameras. In the three-dimensional object position measuring device of the present invention, temporally continuous image data The position of the three-dimensional object is measured based on the accumulated voxel vote result. As a result, a larger amount of information can be used as compared with a conventional distance measuring device for a three-dimensional position, so that the processing amount for an input image for a certain time can be reduced, and the device configuration can be simplified.
また、従来における3次元位置の距離測定方法では、ステレオカメラのように複数のカメラを用いることが必要であるが、本発明の3次元物体位置計測装置においては、画像データを取得する撮像装置が移動するため、例えば、撮像装置が搭載された3次元物体位置計測装置が移動するため、単一カメラにより時間的に連続する画像データを取得し、これを擬似的なステレオ画像として利用して、時間的に発生するカメラの視差を用いて、擬似的に複数のカメラと同様の機能を実現できる。 Further, in the conventional three-dimensional position distance measuring method, it is necessary to use a plurality of cameras such as a stereo camera. However, in the three-dimensional object position measuring apparatus according to the present invention, an imaging apparatus that acquires image data is used. In order to move, for example, because a three-dimensional object position measuring device on which an imaging device is mounted moves, image data that is temporally continuous is acquired by a single camera, and this is used as a pseudo stereo image. A function similar to that of a plurality of cameras can be realized in a pseudo manner using temporally generated parallax of the camera.
また、従来における3次元位置の距離測定方法では、物体の移動速度が高くなるに従って高速の処理を必要とするが、本発明の3次元物体位置計測装置においては、画像データを取得する3次元物体位置計測装置の移動速度に応じて、計測する対象の3次元空間の範囲と、それを分割するボクセルの大きさを変更することにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。 In addition, the conventional method for measuring the distance of a three-dimensional position requires high-speed processing as the moving speed of the object increases. In the three-dimensional object position measuring apparatus of the present invention, a three-dimensional object that acquires image data is used. Necessary to increase the amount of processing even if the moving speed increases by changing the range of the 3D space to be measured and the size of the voxel that divides it according to the moving speed of the position measuring device Can be measured.
また、本発明による3次元物体位置計測装置においては、この3次元物体位置計測装置を搭載した自己モデルと対象物の周囲の立体物との間隔および間隔の変化量を測定し、自己モデルの立体物の移動体と周囲の3次元空間における立体物の対象物とが接触する可能性を予測して、ある時間内に接触すると予測される場合に、警告もしくは自己モデルの移動体の移動を制御し、接触を回避することが可能となる。 In the three-dimensional object position measuring apparatus according to the present invention, the distance between the self-model on which the three-dimensional object position measuring apparatus is mounted and the three-dimensional object around the target object and the amount of change in the distance are measured. Predicts the possibility of contact between a moving object and a three-dimensional object in the surrounding three-dimensional space, and controls the movement of a warning or self-model moving object when it is predicted that the object will contact within a certain period of time Thus, contact can be avoided.
以下、本発明を実施する場合に一つの形態について、具体的に図面を参照して説明する。図1は、本発明の一実施例の3次元物体位置計測装置の構成を説明するブロック図であり、図2は、本発明の3次元物体位置計測装置におけるボクセル投票処理を説明する説明図である。図2には、立方体形状の単位3次元空間であるボクセルと、3次元位置の距離を計測する対象の3次元空間のボクセル空間との関係が示されている。 Hereinafter, one embodiment of the present invention will be specifically described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a three-dimensional object position measuring apparatus according to an embodiment of the present invention. FIG. 2 is an explanatory diagram illustrating a voxel voting process in the three-dimensional object position measuring apparatus of the present invention. is there. FIG. 2 shows the relationship between a voxel, which is a cubic unit three-dimensional space, and a voxel space, which is a target three-dimensional space whose distance is measured.
図1において、101は第1カメラ画像入力部、102は第2カメラ画像入力部、103は第1特徴量抽出処理部、104は第2特徴量抽出処理部、105はボクセル投票処理部、106は3次元位置計測処理部、107はボクセル投票履歴データ納付部、108は移動量補正処理部、109は撮影装置移動量である。図2において、201は対象の3次元空間のボクセル空間、202は立方体形状の単位3次元空間であるボクセル、203は第1カメラ画像入力部の撮像装置のカメラ、204は第2カメラ画像入力部の撮像装置のカメラ、205は対象物の特徴量抽出結果をそれぞれ示している。
In FIG. 1, 101 is a first camera image input unit, 102 is a second camera image input unit, 103 is a first feature amount extraction processing unit, 104 is a second feature amount extraction processing unit, 105 is a voxel voting processing unit, 106 Is a three-dimensional position measurement processing unit, 107 is a voxel voting history data payment unit, 108 is a movement amount correction processing unit, and 109 is a moving amount of the photographing apparatus. 2, 201 is a voxel space of a target three-dimensional space, 202 is a voxel that is a cubic unit three-dimensional space, 203 is a camera of an imaging device of a first camera image input unit, and 204 is a second camera image input unit.
図1および図2を参照して説明する。第1カメラ画像入力部101は、複数のカメラ(撮影装置)により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向(レンズ中心軸方向)により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。第2カメラ画像入力部102は、複数のカメラ(撮影装置)により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向(レンズ中心軸方向)により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。なお、第1カメラ画像入力部101および第2カメラ画像入力部102では、カメラが移動体に搭載されており、カメラにより時間的に連続する画像データを取得した場合には、取得した連続した画像データに時間的に発生するカメラ視差があるので、この画像データを用いることもできる。このような場合には、カメラは単一カメラでよい。
This will be described with reference to FIGS. The first camera
これらの第1カメラ画像入力部101および第2カメラ画像入力部102は、後述するように、ボクセル空間における対象物の識別性を高くするために、図2に示されるように、第1カメラ画像入力部101のカメラ203のカメラ視線方向と、第2カメラ画像入力部102におけるカメラ204のカメラ視線方向とは、互いに異なる方向に設定される。
As will be described later, the first camera
第1特徴量抽出処理部103は、第1カメラ画像入力部101から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。ここで画像データから抽出する特徴量として、例えば、対象物を識別するための特徴量である形状データ、色データなどと共に撮像装置と対象物の間の距離情報が利用される。同じく、第2特徴量抽出処理部104は、第2カメラ画像入力部102から出力された時間的に連続な画像データに対し、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。
The first feature amount
ボクセル投票処理部105は、第1特徴量抽出処理部103および第2特徴量抽出処理部104により抽出された特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理では、図2に示されるように、対象とする3次元空間をボクセル202に分割したボクセル空間201において特徴量を抽出した対象物205とカメラ(203,204)のレンズ中心を結ぶ直線をボクセル空間201中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。そして、後述するように、ボクセル投票結果データに基づいて、ボクセル空間201における各ボクセル202の投票結果のデータに基づいて、対象物の位置が特定され、対象物の立体と自己の3次元モデルの立体との関係の距離がボクセルの単位で計測される。
The voxel
ボクセル投票履歴データ格納部107は、ボクセル投票結果の履歴を保持するため、ボクセル投票処理部105から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、3次元物体位置計測装置の移動量のデータを対応させて保持される。
The voxel voting history
移動量補正処理部108は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。3次元位置計測処理部106は、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。
The movement amount
図3は、対象とする3次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。図3(a)は移動速度が高い場合の3次元空間をボクセル空間に分割するボクセルのサイズを説明する図であり、図3(b)は移動速度が低い場合の3次元空間をボクセル空間に分割するボクセルのサイズを説明する図である。301は移動速度が高い場合の3次元空間、302は移動速度が高い場合のボクセルであり、また、311は移動速度が低い場合の3次元空間、312は移動速度が低い場合のボクセルである。
FIG. 3 is a diagram illustrating the relationship between the size of the target three-dimensional space and the voxel division size. FIG. 3A is a diagram illustrating the size of a voxel that divides a three-dimensional space into a voxel space when the moving speed is high, and FIG. 3B is a diagram illustrating that the three-dimensional space when the moving speed is low is converted into a voxel space. It is a figure explaining the size of the voxel to divide.
本発明の3次元物体位置計測装置は移動体に搭載されており、前述したように、カメラ画像を入力するための撮像装置のカメラは、移動して対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。その場合に、移動体の移動速度、すなわち、カメラの移動速度に応じて、ボクセル投票処理部105のボクセル投票処理では、ボクセルサイズが変更され、変更されたサイズのボクセルにより対象とする3次元空間のボクセル空間を分割する。その結果として、対象の3次元空間のボクセル空間のサイズについても変更される。これにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。
The three-dimensional object position measurement apparatus of the present invention is mounted on a moving body, and as described above, the camera of the imaging apparatus for inputting a camera image moves and has a plurality of images having parallax with respect to the object. To obtain continuous image data. In that case, in the voxel voting process of the voxel
図3(a)に示されるように、移動体の移動速度が高い場合には、ボクセルのサイズを大きくする。これにより、ボクセルにより分割する対象とする3次元空間のボクセル空間も大きくして処理を行う。また、移動体の移動速度が低い場合には、図3(b)に示されるように、ボクセルのサイズを小さくして、ボクセルにより分割する対象とする3次元空間のボクセル空間も小さくして処理を行う。このようにすると、移動速度が高くなり、また低くなっても、処理量を増やすことなくデータ処理量により必要な計測を行うことができる。 As shown in FIG. 3A, when the moving speed of the moving body is high, the size of the voxel is increased. As a result, the processing is performed with the voxel space of the three-dimensional space to be divided by the voxel being enlarged. Also, when the moving speed of the moving object is low, as shown in FIG. 3B, the processing is performed by reducing the size of the voxel and the voxel space of the three-dimensional space to be divided by the voxel. I do. In this way, even if the moving speed increases and decreases, the necessary measurement can be performed based on the data processing amount without increasing the processing amount.
次に本発明の3次元物体位置計測装置の変形例及び応用例について説明する。図4は、単一のカメラで対象物を撮影する構成の3次元物体位置計測装置の構成を示すブロック図である。この場合には、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。動作については、図1により説明した3次元物体位置計測装置と同様である。 Next, modified examples and application examples of the three-dimensional object position measuring apparatus of the present invention will be described. FIG. 4 is a block diagram illustrating a configuration of a three-dimensional object position measurement apparatus configured to capture an object with a single camera. In this case, the object is photographed by a single moving camera, and temporally continuous image data of a plurality of images having parallax with respect to the object is acquired. The operation is the same as that of the three-dimensional object position measuring apparatus described with reference to FIG.
図4に示す単一のカメラで対象物を撮影する構成の3次元物体位置計測装置について説明する。401はカメラ画像入力部、402は特徴量抽出処理部、403はボクセル投票処理部、404は3次元位置計測処理部、405はボクセル投票履歴データ納付部、406は移動量補正処理部、407は撮影装置移動量である。 A three-dimensional object position measuring apparatus configured to capture an object with a single camera shown in FIG. 4 will be described. 401 is a camera image input unit, 402 is a feature amount extraction processing unit, 403 is a voxel voting processing unit, 404 is a three-dimensional position measurement processing unit, 405 is a voxel voting history data payment unit, 406 is a movement amount correction processing unit, and 407 is This is the moving amount of the photographing apparatus.
カメラ画像入力部401は、単一のカメラにより対象物となる立体物を撮影して、カメラ移動量による時間差で対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。特徴量抽出処理部402は、カメラ画像入力部401から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。特徴量抽出処理部402により抽出された特徴量は、ボクセル投票処理部403に入力される。ボクセル投票処理部403では、特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理は、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物とカメラのレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。
The camera image input unit 401 shoots a three-dimensional object as a target with a single camera, and acquires temporally continuous image data of a plurality of images having parallax with respect to the target with a time difference depending on the amount of camera movement. To do. The feature amount
ボクセル投票履歴データ格納部405は、ボクセル投票処理部403から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、3次元物体位置計測装置の移動量のデータを対応させて保持される。
The voxel voting history
移動量補正処理部406は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。3次元位置計測処理部404では、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。これにより、ボクセル投票結果データに基づいて、ボクセル空間における各ボクセルの投票結果のデータに基づいて、対象物の位置を特定し、対象物の立体と自己の3次元モデルの立体との関係の距離がボクセルの単位で計測される。
The movement amount
図5は、3次元物体位置計測装置を利用して、3次元物体の間隔計測を行う場合の応用例の構成を示すブロック図であり、図6は、3次元物体位置計測装置において作成された3次元空間のボクセル空間を利用して3次元物体の間隔計測を行う処理の一例を説明する図である。図6の(a)はボクセル空間を上から見た状態の図を示しており、図6の(b)はボクセル空間を前から見た状態の図を示しており、図6の(c)はボクセル空間を横から見た状態の図を示しており、立体図形の平面図、正面図、側面図に対応している。 FIG. 5 is a block diagram showing a configuration of an application example in the case of measuring the interval of a three-dimensional object using the three-dimensional object position measuring device, and FIG. 6 is created in the three-dimensional object position measuring device. It is a figure explaining an example of the process which performs the space | interval measurement of a three-dimensional object using the voxel space of three-dimensional space. 6A shows a view of the voxel space viewed from above, and FIG. 6B shows a view of the voxel space viewed from the front, FIG. 6C. Shows a view of the voxel space as viewed from the side, and corresponds to a plan view, a front view, and a side view of a three-dimensional figure.
図5および図6において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、600はボクセル空間、601は自己の3次元モデル、602は測定された対象物の第1の立体、603は測定された対象物の第1の立体である。 5 and 6, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, 600 is a voxel space, and 601 is its own three-dimensional. The model, 602 is the first solid of the measured object, and 603 is the first solid of the measured object.
図5および図6を参照して3次元物体の間隔計測の処理について説明すると、3次元物体の間隔計測では、3次元物体位置計測装置501においてボクセル空間の中で計測された対象物に対して、間隔を測定する対象とする自己の三次元モデルを、同じボクセル空間に導入する。そして、当該ボクセル空間において対象物と自己の3次元モデルとの立体との間隔を計測する。
The processing for measuring the interval between the three-dimensional objects will be described with reference to FIGS. 5 and 6. In the interval measurement of the three-dimensional object, the object measured in the voxel space by the three-dimensional object
間隔測定装置503には、3次元物体位置計測装置501により計測された対象物の位置がボクセル空間の中で表現されており、これに対して、間隔を測定する対象とする自己の三次元モデル502を、同じボクセル空間に導入する。この状態のボクセル空間600が、図6に示されている。そして、間隔測定装置503が、当該ボクセル空間において対象物と自己の3次元モデルとの立体との間隔を計測する。図6に示すように、ボクセル空間600に自己の三次元モデル601が導入されており、また、ボクセル空間600には、3次元物体位置計測装置501により計測された対象物の位置データが、第1の立体602,第2の立体603として、その位置が表現されている。これらの立体の位置関係が、ボクセル空間600において、それぞれのボクセルのサイズを基準の単位として計測されて、間隔測定が行われる。図6では、測定される間隔が、矢印で表記されている。
In the
このように、間隔測定装置503では、自己の3次元モデル(移動体)と対象物の立体との間隔が測定できるので、この間隔測定を継続して行うことにより、所定時間の間の変化量を計測できる。変化量が計測できると、自己の3次元モデル(移動体)と対象物の立体とが接近しているのか、遠ざかっているのかが判定できる。図7は、3次元物体位置計測装置を利用して、3次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。
As described above, the
図7には、3次元物体位置計測装置を間隔変化量計測装置に利用する場合の構成の一例が示されている。図7において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、701は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、702は間隔変化量計測装置である。
FIG. 7 shows an example of a configuration in the case where the three-dimensional object position measuring device is used for the interval change amount measuring device. In FIG. 7,
前述したように、間隔測定装置503が、3次元位置計測装置501から測定される対象物の立体の位置データと、自己3次元モデルデータ502により、自己の3次元モデル(移動体)と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置701に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置702では、間隔計測履歴データ格納装置701に格納された所定の回数分の間隔測定履歴データと、間隔測定装置503から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。この間隔変化量のデータは、更に、接触・危険判定処理のためのデータとして利用される。
As described above, the
応用例として、ここでの自己の3次元モデルを、自動車などの移動体として、また、3次元位置を判定する対象物は周囲の空間に固定されて配置されている立体物とすると、その間隔変化量を測定することにより、移動体と立体物が接触するまでの時間を判定できる。判定された時間に応じて、接触の可能性の警告、危険の回避のための安全制御を行うことができる。 As an application example, if the three-dimensional model here is a moving object such as an automobile, and the object for determining the three-dimensional position is a three-dimensional object fixed in the surrounding space, the interval By measuring the amount of change, the time until the moving body and the three-dimensional object come into contact can be determined. Depending on the determined time, a warning of the possibility of contact and safety control for avoiding danger can be performed.
このような3次元物体位置計測装置の応用例について、更に説明する。図8には、3次元物体位置計測装置を利用して、3次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図を示している。 An application example of such a three-dimensional object position measuring apparatus will be further described. FIG. 8 is a block diagram showing a configuration of an application example in which a three-dimensional object position measurement device is used to measure a distance between three-dimensional objects, a contact risk is determined, a contact warning is output, and further safety control is performed. Is shown.
これまでに、説明したように、本発明の3次元物体位置計測装置を利用して、3次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う場合の装置構成が、図8のブロック図として示されている。図8において、501は3次元物体位置計測装置、502は間隔を測定する対象とする自己の三次元モデルのデータ、503は間隔測定装置、701は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、702は間隔変化量計測装置、703は接触・危険判定処理装置、704は接触警告装置、705は安全制御装置である。 As described above, when measuring the distance between three-dimensional objects using the three-dimensional object position measuring device of the present invention, determining contact danger, outputting a contact warning, and further performing safety control The apparatus configuration is shown as a block diagram in FIG. In FIG. 8, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, and 701 is interval measurement history data for storing interval measurement data history. A storage device, 702 is an interval change amount measuring device, 703 is a contact / danger determination processing device, 704 is a contact warning device, and 705 is a safety control device.
図7を参照して説明したように、図8の装置構成においても、間隔測定装置503が、3次元位置計測装置501から測定される対象物の立体の位置データと、自己3次元モデルデータ502により、自己の3次元モデル(移動体)と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置701に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置702では、間隔計測履歴データ格納装置701に格納された所定の回数分の間隔測定履歴データと、間隔測定装置503から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。間隔変化量計測手装置702からの出力は、接触・危険判定処理装置703に入力される。接触・危険判定処理装置703には、危険を判定するために、予め接触するまでの時間が設定されており、間隔変化量のデータにより、対象物と自己モデルとの間の接触までの時間を判定すし、設定された時間に基づいて、接触・危険を判定する。
As described with reference to FIG. 7, also in the apparatus configuration of FIG. 8, the
接触・危険判定処理装置703により、間隔変化量計測手装置702からの出力に基づいて、対象物と自己モデルとの間の接触までの時間が判定され、危険を判定すると、接触警告装置704により、モニタ表示、ブザー鳴動などにより、警告情報を出力する。更に、安全制御装置705が設けられており、安全制御装置705が、接触警告装置704からの出力に基づいて、ブレーキをかけるなどして安全制御を行い、安全装置を動作させる。
The contact / risk
このように、本発明の3次元物体位置計測装置により計測されたボクセル空間の対象物の位置に基づいて、本発明では、計測装置を搭載した自己のモデルと周囲の3次元空間との間隔および間隔の変化量を測定し、自己のモデルと周囲の3次元空間とが接触する可能性を推定し、ある時間内に接触すると予測される場合に、警告もしくは自己の移動を制御することにより、接触を回避することが可能となる。 Thus, based on the position of the object in the voxel space measured by the three-dimensional object position measuring device of the present invention, in the present invention, the distance between the own model equipped with the measuring device and the surrounding three-dimensional space and By measuring the amount of change in the interval, estimating the possibility of contact between the model and the surrounding three-dimensional space, and controlling the warning or self movement when predicted to contact within a certain period of time, Contact can be avoided.
101 第1カメラ画像入力部
102 第2カメラ画像入力部
103 第1特徴量抽出処理部
104 第2特徴量抽出処理部
105 ボクセル投票処理部
106 3次元位置計測処理部
107 ボクセル投票履歴データ納付部
108 移動量補正処理部
109 撮影装置移動量
201 ボクセル空間
202 ボクセル、
203 カメラ、
204 カメラ、
205 対象物の特徴量抽出結果
301 移動速度が高い場合の3次元空間
302 移動速度が高い場合のボクセル
311 移動速度が低い場合の3次元空間
312 移動速度が低い場合のボクセル
401 カメラ画像入力部
402 特徴量抽出処理部
403 ボクセル投票処理部
404 3次元位置計測処理部
405 ボクセル投票履歴データ納付部
406 移動量補正処理部
407 撮影装置移動量
501 3次元物体位置計測装置
502 三次元モデルデータ、
503 間隔測定装置
701 間隔計測履歴データ格納装置、
702 間隔変化量計測装置
703 接触・危険判定処理装置
704 接触警告装置、
705 安全制御装置
101 First camera
203 camera,
204 cameras,
205 Object
503
702 Interval change
705 Safety control device
Claims (9)
前記撮影手段により取得された画像データに基づいて対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量の距離情報に基づいて、対象とする3次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに1票ずつ投票する処理を行うボクセル投票処理手段と、
前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、
前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、
前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する3次元位置計測処理手段と、
を有することを特徴とする3次元物体位置計測装置。 Photographing means for photographing an object and acquiring temporally continuous image data of a plurality of images having parallax with respect to the object;
A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the imaging means;
Based on the distance information of the feature quantity extracted by the feature quantity extraction means, a straight line connecting the object from which the feature quantity is extracted in the voxel space obtained by dividing the target three-dimensional space into voxels and the lens center of the photographing means is voxel. Voxel voting processing means for performing a process of voting one by one on the voxels where the straight lines intersect with each other,
Voxel voting history holding means for holding history data of voting results by the voxel voting processing means;
A moving amount correcting means for correcting the voxel voting history based on a moving vector moved by the photographing means;
Three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history;
A three-dimensional object position measuring apparatus comprising:
前記撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、
前記ボクセル投票処理手段は、前記カメラの移動速度によって、対象とする3次元空間の大きさとボクセルのサイズを変更する
ことを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 1,
The imaging means controls the camera to image an object, acquires temporally continuous image data of a plurality of images having parallax with respect to the object,
The voxel voting processing means changes the size of a target three-dimensional space and the size of a voxel according to the moving speed of the camera.
前記撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する
ことを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 1,
The three-dimensional object position is characterized in that the photographing unit photographs a target object with a single moving camera and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. Measuring device.
前記3次元位置計測処理手段により特定した対象物の位置により、自己の3次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段
を有することを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to any one of claims 1 to 3, further comprising:
3. A three-dimensional object position measuring apparatus comprising interval measuring means for measuring an interval between a self three-dimensional model and an object in a voxel space based on the position of the object specified by the three-dimensional position measurement processing means.
計測した自己の3次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、
自己の3次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段
を有することを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 4, further comprising:
Using the measured interval between the 3D model of the measured self and the object in the voxel space, and the interval measurement history that measured multiple intervals from the present,
A three-dimensional object position measuring device comprising interval change amount measuring means for measuring a change amount of an interval between a self three-dimensional model and an object in a voxel space.
前記3次元モデルは移動体であり、
前記対象物は空間に固定された立体物である
ことを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 4 or 5,
The three-dimensional model is a moving object,
The three-dimensional object position measuring apparatus according to claim 1, wherein the object is a three-dimensional object fixed in space.
前記間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置
を有することを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 5, further comprising:
A three-dimensional object position measuring device comprising a contact risk determining device for determining a time until contact between an object and a self model based on an output from the interval change amount measuring means.
前記接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置
を有することを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring apparatus according to claim 7, further comprising:
A three-dimensional object position measuring device comprising a contact warning device that outputs warning information based on an output from the contact risk determination device.
前記接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置
を有することを特徴とする3次元物体位置計測装置。 The three-dimensional object position measuring device according to claim 8, further comprising a safety control device that operates the safety device based on an output from the contact warning device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008110387A JP5007863B2 (en) | 2008-04-21 | 2008-04-21 | 3D object position measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008110387A JP5007863B2 (en) | 2008-04-21 | 2008-04-21 | 3D object position measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009258058A JP2009258058A (en) | 2009-11-05 |
JP5007863B2 true JP5007863B2 (en) | 2012-08-22 |
Family
ID=41385648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008110387A Active JP5007863B2 (en) | 2008-04-21 | 2008-04-21 | 3D object position measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5007863B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4727689B2 (en) * | 2008-04-28 | 2011-07-20 | 三菱重工業株式会社 | Workpiece measuring device, collision prevention device and machine tool |
CN102472617B (en) * | 2009-11-10 | 2014-07-02 | 三菱重工业株式会社 | Workpiece measuring device, collision preventing device, and machine tool |
US9523772B2 (en) | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
US9110163B2 (en) | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
WO2016199508A1 (en) * | 2015-06-09 | 2016-12-15 | ソニー株式会社 | Information processing device, information processing method, and program |
JP6695997B2 (en) * | 2016-10-21 | 2020-05-20 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing equipment |
WO2018074420A1 (en) | 2016-10-21 | 2018-04-26 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device |
KR102166236B1 (en) * | 2018-12-19 | 2020-10-15 | 동의대학교 산학협력단 | Method of 3d scanning and image correction |
WO2021200004A1 (en) * | 2020-04-01 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Information processing device, and information processing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0949714A (en) * | 1995-08-04 | 1997-02-18 | Canon Inc | Apparatus for extracting three-dimensional shape |
JP2002032744A (en) * | 2000-07-14 | 2002-01-31 | Komatsu Ltd | Device and method for three-dimensional modeling and three-dimensional image generation |
JP2003333590A (en) * | 2002-05-16 | 2003-11-21 | Komatsu Ltd | System for generating image at site |
JP2004046464A (en) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof |
JP4019854B2 (en) * | 2002-08-12 | 2007-12-12 | 日産自動車株式会社 | Travel route generator |
JP2005257278A (en) * | 2004-03-09 | 2005-09-22 | Hitachi Ltd | Image acquisition system, distance measurement method, distance measurement system using the method and record medium that recorded the method |
JP4283816B2 (en) * | 2006-03-31 | 2009-06-24 | 日本電信電話株式会社 | Three-dimensional environment information acquisition apparatus, three-dimensional environment information acquisition method, and recording medium storing a program realizing the method |
-
2008
- 2008-04-21 JP JP2008110387A patent/JP5007863B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009258058A (en) | 2009-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5007863B2 (en) | 3D object position measuring device | |
CN109737874B (en) | Object size measuring method and device based on three-dimensional vision technology | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP4814669B2 (en) | 3D coordinate acquisition device | |
US9208396B2 (en) | Image processing method and device, and program | |
JP5715735B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
JP5011528B2 (en) | 3D distance measurement sensor and 3D distance measurement method | |
US10347029B2 (en) | Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program | |
EP3113150B1 (en) | Local location computation device and local location computation method | |
EP2990757B1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
US20190364257A1 (en) | Photogrammetry system and method of operation | |
WO2011125937A1 (en) | Calibration data selection device, method of selection, selection program, and three dimensional position measuring device | |
JP6880822B2 (en) | Equipment, mobile equipment and methods | |
JP2016148512A (en) | Monocular motion stereo distance estimation method and monocular motion stereo distance estimation device | |
JP5299101B2 (en) | Peripheral display device | |
WO2018222122A1 (en) | Methods for perspective correction, computer program products and systems | |
US20130021449A1 (en) | Three-dimensional measuring method | |
CN113034605B (en) | Target object position determining method and device, electronic equipment and storage medium | |
JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
JP2011024079A (en) | Peripheral display device | |
JP6409769B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
KR20180102080A (en) | A method and apparatus for displaying a front-view around a vehicle, | |
JP2020088688A (en) | Monitoring device, monitoring system, monitoring method, and monitoring program | |
CN106327465A (en) | Method and device for determining object position | |
JP2022011821A (en) | Information processing device, information processing method and mobile robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5007863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |