JPWO2018229812A1 - Three-dimensional measuring device and method - Google Patents

Three-dimensional measuring device and method Download PDF

Info

Publication number
JPWO2018229812A1
JPWO2018229812A1 JP2019524550A JP2019524550A JPWO2018229812A1 JP WO2018229812 A1 JPWO2018229812 A1 JP WO2018229812A1 JP 2019524550 A JP2019524550 A JP 2019524550A JP 2019524550 A JP2019524550 A JP 2019524550A JP WO2018229812 A1 JPWO2018229812 A1 JP WO2018229812A1
Authority
JP
Japan
Prior art keywords
dimensional
information
point group
group information
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019524550A
Other languages
Japanese (ja)
Other versions
JP6845929B2 (en
Inventor
聡 笹谷
聡 笹谷
誠也 伊藤
誠也 伊藤
亮祐 三木
亮祐 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2018229812A1 publication Critical patent/JPWO2018229812A1/en
Application granted granted Critical
Publication of JP6845929B2 publication Critical patent/JP6845929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、および方法を提供することを目的とする。計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。It is an object of the present invention to provide a three-dimensional measuring device and a three-dimensional measuring device capable of acquiring three-dimensional point group information necessary for detecting an object having a complicated shape such as a walking person. A three-dimensional sensor that obtains a captured image including the object to be measured as three-dimensional information, a three-dimensional point cloud information obtaining unit that obtains three-dimensional information from the three-dimensional sensor as point cloud information, and an object to be measured for the captured image An object point group information extraction unit that extracts point cloud information of the object, an object shape model database that stores the shape of the target object as an object shape model, and, from the point shape information of the object shape model and the measurement target object, A three-dimensional measuring apparatus, comprising: a correction parameter calculating unit that calculates a correction parameter for correcting coordinates of a point group; and a point group information correcting unit that corrects point group information of an object to be measured using the correction parameter.

Description

本発明は、カメラなどの計測装置が取得した点群情報から対象の物体を検出する三次元計測装置、および方法に関する。   The present invention relates to a three-dimensional measuring device and a method for detecting a target object from point cloud information acquired by a measuring device such as a camera.

近年、計測装置が計測した情報を用いて、物体を検出する物体検出技術へのニーズが高まっている。   In recent years, the need for an object detection technique for detecting an object using information measured by a measurement device has been increasing.

計測装置としては、監視カメラ、ステレオカメラ、距離センサ、レーザレーダ、赤外線タグなどが多く活用されている。これらの計測装置のなかでも特に、装置を新設するための導入コストが安く、かつ既設の装置を利用できればコストを抑えて物体検出技術を適用できることから、監視カメラへの期待が高い。しかし、監視カメラからの一般的な画像による物体検出技術では、入力画像と予めデータベースに保存した大量のサンプルデータ（サンプル画像）を比較する手法を採用するため、照明条件などにより物体の見え方がサンプルデータと大きく異なる場合に、物体を検出することが困難となるという問題がある。   Surveillance cameras, stereo cameras, distance sensors, laser radars, infrared tags, and the like are widely used as measurement devices. Among these measuring devices, in particular, there is a high expectation for a surveillance camera because the introduction cost for installing a new device is low, and if an existing device can be used, the cost can be reduced and the object detection technology can be applied. However, the object detection technology using a general image from a surveillance camera employs a method of comparing an input image with a large amount of sample data (sample images) stored in a database in advance. There is a problem that it is difficult to detect an object when the data is significantly different from the sample data.

そこで、物体の三次元形状を計測することで、物体を高精度に検出する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体検出技術が挙げられる。この技術では、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差により、撮像範囲内の三次元の点群情報を取得することで、物体の三次元形状を計測して物体検出を実行する。この場合に正確な三次元の点群情報を取得するためには、視差を高精度に算出する必要があり、具体的には、左右のカメラ間の位置関係を求めるキャリブレーション作業の精度を上げる、あるいは視差を高密度に算出するといった方法がある。   Therefore, attention has been focused on a technology for detecting an object with high accuracy by measuring the three-dimensional shape of the object. Such a technique includes, for example, an object detection technique using a stereo camera. In this technology, object detection is performed by measuring the three-dimensional shape of an object by acquiring three-dimensional point group information within an imaging range based on parallax calculated by comparing a pair of left and right camera images captured by a stereo camera. Execute In this case, in order to obtain accurate three-dimensional point group information, it is necessary to calculate the parallax with high accuracy. Specifically, the accuracy of the calibration work for obtaining the positional relationship between the left and right cameras is improved. Alternatively, there is a method of calculating the parallax at a high density.

しかし、前者の方法では製品の開発コスト増大に繋がり、後者の方法では処理負荷の増大に繋がるため、視差算出後に物体を検出する場合に処理負荷が大きい高度なアルゴリズムを適用することが困難となる。   However, the former method leads to an increase in product development cost, and the latter method leads to an increase in processing load. Therefore, it is difficult to apply an advanced algorithm having a large processing load when detecting an object after calculating parallax. .

そのため、視差の算出精度は上げず三次元の点群情報を直接補正する技術が求められる。例えば、特許文献１では、床などの平面モデルを利用して三次元点群を直線や曲線に当てはめることで、三次元の点群情報を補正している。   Therefore, a technique for directly correcting the three-dimensional point group information without increasing the parallax calculation accuracy is required. For example, in Patent Literature 1, three-dimensional point group information is corrected by applying a three-dimensional point group to a straight line or a curve using a plane model such as a floor.

特開２００３−２４８８１４号公報JP 2003-248814 A

特許文献１では、床などの一定の直線や曲線を持つ物体であれば三次元点群情報を補正できるものの、歩行する人物のように形状が複雑な物体を補正できず、物体検出に必要な三次元点群情報を取得できない。   In Patent Literature 1, three-dimensional point group information can be corrected for an object having a certain straight line or curve, such as a floor, but an object having a complicated shape such as a walking person cannot be corrected. 3D point cloud information cannot be obtained.

以上のことから本発明においては、歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、方法、およびプログラムを提供することを目的とする。   In view of the above, it is an object of the present invention to provide a three-dimensional measuring device, a method, and a program capable of acquiring three-dimensional point group information necessary for detecting an object having a complicated shape such as a walking person. I do.

以上のことから本発明においては、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。」としたものである。   From the above, in the present invention, the three-dimensional sensor that obtains a captured image including the object to be measured as three-dimensional information, and the three-dimensional point group information acquisition that acquires three-dimensional information from the three-dimensional sensor as point group information Unit, an object point cloud information extraction unit that extracts point cloud information of an object to be measured from the captured image, an object shape model database that stores the shape of the target object as an object shape model, the object shape model and the measurement object Correction parameter calculation means for calculating a correction parameter for correcting the coordinates of the point cloud of the object from the point cloud information of the object, and point cloud information correction means for correcting the point cloud information of the object to be measured by the correction parameter A three-dimensional measuring device characterized by the following. "

また本発明は、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、撮像画像について計測対象の物体の点群情報を抽出し、計測対象の物体の形状を物体形状モデルとして記憶し、物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、補正パラメータにより計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。」としたものである。   Also, the present invention provides a method of obtaining three-dimensional information from a three-dimensional sensor that obtains a captured image including an object to be measured as three-dimensional information as point cloud information, and extracting point cloud information of the measured object from the captured image. The shape of the object to be measured is stored as an object shape model, and a correction parameter for correcting the coordinates of the point cloud of the object is calculated from the object shape model and the point cloud information of the object to be measured. A three-dimensional measuring method characterized by correcting point group information of an object. "

以上述べた特徴により本発明の三次元計測装置を適用することで、物体の検出に必要な精度の三次元点群情報を算出できる。   By applying the three-dimensional measuring apparatus of the present invention with the features described above, it is possible to calculate three-dimensional point group information with the accuracy required for detecting an object.

また本発明の実施例によれば、ステレオカメラのような三次元情報の計測装置において、計測範囲全体の三次元点群情報から計測対象である物体の点群情報を抽出し、物体形状モデルと比較することで、点群情報の補正パラメータを求め、新たに入力された三次元点群情報を前記パラメータにて補正することで、物体の検出に必要な精度の三次元点群情報を取得するができる。   According to the embodiment of the present invention, in a three-dimensional information measuring device such as a stereo camera, the point cloud information of the object to be measured is extracted from the three-dimensional point cloud information of the entire measurement range, and the object shape model and By comparison, a correction parameter of the point group information is obtained, and the newly input three-dimensional point group information is corrected by the parameter to obtain three-dimensional point group information with an accuracy required for object detection. Can be.

本発明の実施例１に係る三次元計測装置のブロック構成例を示す図。FIG. 1 is a diagram illustrating an example of a block configuration of a three-dimensional measurement apparatus according to a first embodiment of the present invention. 本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図。FIG. 2 is a diagram illustrating a configuration example of a three-dimensional point group information acquisition unit 4 according to the first embodiment of the present invention. ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示す図。The figure which shows the example of the image D2R and D2L (D3R, D3L) imaged by the stereo camera 2. FIG. 本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図。FIG. 4 is a diagram illustrating a concept of processing of an object point group information extraction unit 5 according to the first embodiment of the present invention. 本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図。FIG. 2 is a diagram illustrating a configuration example of a correction parameter calculation unit 6 according to the first embodiment of the present invention. 視点変換画像作成部４０により作成された視点変換画像の一例を示す図。The figure which shows an example of the viewpoint conversion image created by the viewpoint conversion image creation part 40. 物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示す図。The figure which shows an example of the object shape model data 300 memorize | stored in the object shape model database DB2. 本発明の実施例１に係る物体形状モデル比較部４１の処理フローを示す図。FIG. 4 is a diagram showing a processing flow of an object shape model comparison unit 41 according to the first embodiment of the present invention. 物体形状モデル比較部４１の処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置の一例を示す図。The figure which shows an example of the position information of the object calculated | required by the processing steps S1 and S2 of the object shape model comparison part 41, and the position of an object shape model. 本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図。FIG. 4 is a view for explaining processing content of processing step S3 of the object shape model 41 according to the first embodiment of the present invention. 物体形状モデル４１の処理内容を補足説明するための図。The figure for supplementarily explaining the processing content of the object shape model 41. 本発明の実施例２に係る三次元計測装置のブロック構成例を示す図。FIG. 6 is a diagram illustrating an example of a block configuration of a three-dimensional measurement apparatus according to a second embodiment of the present invention. 三次元空間分割部９１の処理内容を説明する図。FIG. 7 is a diagram for explaining processing contents of a three-dimensional space division unit 91. 本発明の実施例２により出力される補正パラメータの一例を示す図。FIG. 9 is a diagram illustrating an example of a correction parameter output according to the second embodiment of the present invention. 本発明の実施例３に係る三次元計測装置のブロック構成例を示す図。FIG. 9 is a diagram illustrating an example of a block configuration of a three-dimensional measurement apparatus according to a third embodiment of the present invention. 実施例３に係るカメラパラメータ補正部１１２の処理フローを示す図。FIG. 11 is a diagram illustrating a processing flow of a camera parameter correction unit 112 according to the third embodiment.

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。   Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.

図１は本発明の実施例１に係る三次元計測装置のブロック構成例図である。図１に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌ（撮像装置）を隣接して構成されたステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき事前に求めたパラメータによって補正する装置である。なお、図１の三次元計測装置１における、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の各機能は、演算装置、主記憶装置、外部記憶装置を有するカメラ、あるいはカメラとは別に用意した計算機において実現される。   FIG. 1 is a block diagram illustrating an example of a three-dimensional measurement apparatus according to a first embodiment of the present invention. The three-dimensional measuring apparatus 1 shown in FIG. 1 converts three-dimensional point group information acquired by using a stereo camera 2 constituted by two cameras 2R and 2L (imaging apparatus) adjacent to each other into an object shape model to be measured. This is a device that corrects with a parameter obtained in advance based on. The functions of the image acquisition unit 3, the three-dimensional point group information acquisition unit 4, the object point group information extraction unit 5, the correction parameter calculation unit 6, and the point group information correction unit 7 in the three-dimensional measurement device 1 in FIG. The present invention is realized by a camera having an arithmetic device, a main storage device, and an external storage device, or a computer prepared separately from the camera.

図１に示す各機能の概要をまず説明すると、画像取得部３はステレオカメラ２から画像を取得する機能であり、三次元点群情報取得部４は前記画像の情報から計測範囲の三次元点群情報を算出する機能であり、物体点群情報抽出部５は前記三次元点群情報から計測対象となる物体に対応する三次元点群情報のみを抽出する機能であり、補正パラメータ算出部６は前記抽出した物体の三次元点群情報と物体形状モデルを比較することで点群情報の補正パラメータを算出する機能であり、点群情報補正部７は算出した補正パラメータを用いて、三次元点群情報取得部４により新たに取得された点群情報を補正する機能である。以下、各機能の詳細について説明する。   First, an outline of each function shown in FIG. 1 will be described. The image acquiring unit 3 is a function of acquiring an image from the stereo camera 2, and the three-dimensional point group information acquiring unit 4 is configured to acquire a three-dimensional point of a measurement range from the information of the image. The object point group information extracting unit 5 has a function of calculating group information, and has a function of extracting only three-dimensional point group information corresponding to an object to be measured from the three-dimensional point group information. Is a function of calculating a correction parameter of the point group information by comparing the extracted three-dimensional point group information of the object with the object shape model. The point group information correction unit 7 uses the calculated correction parameter to perform three-dimensional correction. This is a function for correcting the point cloud information newly obtained by the point cloud information obtaining section 4. Hereinafter, details of each function will be described.

画像取得部３は、右画像取得部３Ｒと左画像取得部３Ｌから構成され、ステレオカメラ２を構成する左右のカメラ２Ｒ、２Ｌからデジタル画像データＤ２Ｒ、Ｄ２Ｌを取得する。以下の説明では、画像取得部３がカメラ２から取得するデジタル画像データＤ２Ｒ、Ｄ２Ｌを単に「撮像画像」と呼ぶ。また画像取得部３が出力するデジタル画像データＤ３Ｒ、Ｄ３Ｌも「撮像画像」と呼ぶものとする。   The image acquisition unit 3 includes a right image acquisition unit 3R and a left image acquisition unit 3L, and acquires digital image data D2R and D2L from the left and right cameras 2R and 2L constituting the stereo camera 2. In the following description, the digital image data D2R and D2L acquired by the image acquisition unit 3 from the camera 2 are simply referred to as “captured images”. The digital image data D3R and D3L output by the image acquisition unit 3 are also called “captured images”.

このようにしてデジタル画像データＤ３Ｒ、Ｄ３Ｌを得るためのステレオカメラ２、あるいはさらには画像取得部３を含む構成は、その視野内に計測対象の物体を含む撮像画像を得るものであり、得られた撮像画像は三次元情報として把握可能な情報である。このことから、この機能部分は三次元センサを構成したものということができる。なお、計測対象の物体を含む撮像画像を三次元情報として把握可能な機構、手段は、上記以外に種々のものがあり、本発明はこれらに限定されるものではない。   In this manner, the configuration including the stereo camera 2 for obtaining the digital image data D3R and D3L or further including the image acquisition unit 3 is for obtaining a captured image including the object to be measured in the field of view. The captured image is information that can be grasped as three-dimensional information. From this, it can be said that this functional part constitutes a three-dimensional sensor. In addition, there are various mechanisms and means other than those described above that can grasp a captured image including an object to be measured as three-dimensional information, and the present invention is not limited to these.

図２は、本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図である。図２を用いて、ステレオカメラ２を利用した三次元点群情報取得部４の機能について説明する。三次元点群情報取得部４は、左右の画像取得部３Ｒ、３Ｌからそれぞれ取得した撮像画像Ｄ３Ｒ、Ｄ３Ｌを用いて視差を算出する機能である視差算出部１０と、算出した視差から計測範囲の三次元点群情報の座標値を計算する機能である三次元点群座標算出部１１を持つ。   FIG. 2 is a diagram illustrating a configuration example of the three-dimensional point group information acquisition unit 4 according to the first embodiment of the present invention. The function of the three-dimensional point group information acquisition unit 4 using the stereo camera 2 will be described with reference to FIG. The three-dimensional point group information acquiring unit 4 includes a parallax calculating unit 10 that calculates parallax using the captured images D3R and D3L obtained from the left and right image obtaining units 3R and 3L, respectively, and a measurement range based on the calculated parallax. It has a three-dimensional point group coordinate calculator 11 which is a function for calculating coordinate values of three-dimensional point group information.

図３は、ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示している。この撮影事例では、ステレオカメラ２の視野内に歩行する人物Ｍと基本的に移動しない背景としての木Ｔが撮影されている。また右画像取得部３Ｒの撮像画像Ｄ３Ｒと左画像取得部３Ｌの撮像画像Ｄ３Ｌは、いずれも人物Ｍと背景の木Ｔを視野内に入れているものの、視認する領域や角度は相違している。   FIG. 3 shows an example of images D2R and D2L (D3R and D3L) captured by the stereo camera 2. In this photographing example, a person M walking in the field of view of the stereo camera 2 and a tree T as a background that basically does not move are photographed. Although the captured image D3R of the right image acquisition unit 3R and the captured image D3L of the left image acquisition unit 3L both include the person M and the background tree T in the field of view, the visual recognition area and the angle are different. .

視差算出部１０では、例えばブロックマッチングという一般的な手法を利用して左右の撮影画像間の視差を算出する。まず、画像取得部３Ｒにより一方のカメラ２Ｒから取得した撮像画像Ｄ３Ｒを基準画像、画像取得部３Ｌにより他方のカメラ２Ｌから取得した撮像画像Ｄ３Ｌを比較画像として、２枚の画像Ｄ３Ｒ、Ｄ３Ｌを左右に並べた場合に画像内の物体が同じ高さになるよう平行化処理を実施する。次に、基準画像Ｄ３Ｒから例えば３２×３２画像の大きさの小領域を選定する。そして、比較画像Ｄ３Ｌにおいて、基準画像Ｄ３Ｒの小領域と相違度が最小となる同一の大きさの小領域を、基準画像Ｄ３Ｒの小領域と同じ位置から１画素ずつ水平方向に探索する。この水平方向の探索幅を、基準画像Ｄ３Ｒにて選定した小領域内の特定の画素（例えば左上の位置にある画素）の視差として決定し、基準画像Ｄ３Ｒ内の全ての範囲で同一の処理を適応することで、全画素の視差を算出する。なお、小領域の相違度を計算する方法としては、（１）式に示すＳＡＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）などの方法があり、特に限定しない。また、本例以外にも２枚の画像における視差を算出可能な方法であれば、特に限定しない。   The parallax calculation unit 10 calculates the parallax between the left and right captured images using, for example, a general technique called block matching. First, the two images D3R and D3L are left and right, with the captured image D3R acquired from one camera 2R by the image acquisition unit 3R as a reference image, and the captured image D3L acquired from the other camera 2L by the image acquisition unit 3L as a comparison image. The parallelization processing is performed so that the objects in the image have the same height when they are arranged in a row. Next, a small area having a size of, for example, 32 × 32 images is selected from the reference image D3R. Then, in the comparative image D3L, a small area of the same size as the small area of the reference image D3R, which has the smallest difference, is searched in the horizontal direction one pixel at a time from the same position as the small area of the reference image D3R. This search width in the horizontal direction is determined as the parallax of a specific pixel (for example, a pixel at the upper left position) in the small area selected in the reference image D3R, and the same processing is performed in the entire range in the reference image D3R. By adapting, the parallax of all pixels is calculated. As a method of calculating the degree of difference between the small areas, there is a method such as SAD (sum of squared difference) shown in the equation (1), and there is no particular limitation. In addition, other than this example, the method is not particularly limited as long as the method can calculate the parallax between two images.

Figure 2018229812
なお（１）式において、Ｔ１は小領域（基準画像Ｄ３Ｒ）の輝度値、Ｔ２は小領域（比較画像Ｄ３Ｌ）の輝度値、Ｍは小領域の横幅、Ｎは小領域の縦幅、（ｉ、ｊ）は右下を（Ｍ−１、Ｎ−１）とし、左上を（０、０）とする座標である。
Figure 2018229812
 In equation (1), T1 is the luminance value of the small area (reference image D3R), T2 is the luminance value of the small area (comparative image D3L), M is the horizontal width of the small area, N is the vertical width of the small area, and (i , J) are coordinates where the lower right is (M−1, N−1) and the upper left is (0, 0).

三次元点群座標算出部１１は、視差算出部１０により求めた各画素の視差とカメラパラメータデータベースＤＢ１に記憶されたカメラパラメータデータ２００を用いて三次元空間内の点群の座標値を計算する。まず、算出した視差ｄと、カメラの撮影した画像上に設置した座標である画像座標（ｖ、ｕ）を用いて、（２）式によりカメラ座標Ｘｃを求める。ここでカメラ座標Ｘｃとは、カメラの位置を中心とした三次元空間内の座標を示しており、スキューがなく、アスペクト比を１と仮定した場合では（２）式を用いて画像座標から算出できる。The three-dimensional point group coordinate calculation unit 11 calculates the coordinate values of the point group in the three-dimensional space using the parallax of each pixel obtained by the parallax calculation unit 10 and the camera parameter data 200 stored in the camera parameter database DB1. . First, using the calculated parallax d and image coordinates (v, u), which are coordinates set on an image captured by the camera, camera coordinates Xc are obtained by equation (2). Here, the camera coordinates Xc indicate coordinates in a three-dimensional space centered on the position of the camera. If there is no skew and the aspect ratio is assumed to be 1, the image coordinates are calculated from the image coordinates using Expression (2). Can be calculated.

Figure 2018229812
なお（２）式において、（ｕ、ｖ）は画像座標、（ｕ０、ｖ０）は画像中心、ｂは基線長、ｆは焦点距離、ｐｉｔは画素ピッチであり、このうち基線長ｂ、焦点距離ｆ、画素ピッチｐｉｔは、既知でありカメラパラメータ２００に含まれているものとする。
Figure 2018229812
 In equation (2), (u, v) is the image coordinates, (u 0 , v 0 ) is the center of the image, b is the base line length, f is the focal length, and pit is the pixel pitch. It is assumed that the focal length f and the pixel pitch pit are known and included in the camera parameters 200.

次に、（３）式によりカメラ座標Ｘｃを世界座標ｘｗに変換する。Next, the camera coordinates Xc are converted into the world coordinates xw by the equation (3).

Figure 2018229812
なお（３）式において、ｔはカメラ位置を表す並進ベクトル、Ｒはカメラの設置角度（姿勢）を表す回転行列であり、カメラパラメータ２００から算出可能である。本実施例では、（３）式によって求めた世界座標ｘｗを三次元点群情報取得部４により取得される三次元点群座標の座標値とする。
Figure 2018229812
 In the equation (3), t is a translation vector representing the camera position, R is a rotation matrix representing the installation angle (posture) of the camera, and can be calculated from the camera parameters 200. In the present embodiment, the world coordinates xw obtained by the equation (3) are set as the coordinate values of the three-dimensional point group coordinates obtained by the three-dimensional point group information obtaining unit 4.

図４は本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図である。ここでは図２の三次元点群情報取得部４により取得される三次元点群座標の座標値の例が、図３の例に則して示されている。図３の人物Ｍと背景の木Ｔは、三次元の基準画像３０が示す領域内に位置付けられている。これに対し、背景の木Ｔのみを含む領域を想定したものが三次元の背景画像３２であり、三次元の基準画像３０から三次元の背景画像３２を除外したとすると、ここには計測対象である人物Ｍのみの三次元の画像３３が得られることになる。   FIG. 4 is a diagram illustrating the concept of the process of the object point group information extraction unit 5 according to the first embodiment of the present invention. Here, an example of the coordinate values of the three-dimensional point group coordinates acquired by the three-dimensional point group information acquisition unit 4 in FIG. 2 is shown in accordance with the example in FIG. The person M and the background tree T in FIG. 3 are positioned in an area indicated by the three-dimensional reference image 30. On the other hand, assuming an area including only the background tree T is the three-dimensional background image 32, and if the three-dimensional background image 32 is excluded from the three-dimensional reference image 30, the measurement target Thus, a three-dimensional image 33 of only the person M is obtained.

物体点群情報抽出部５においては、図４の処理により背景に含まれない計測対象（人物）のみの三次元点群座標３３を抽出する。具体的には物体点群情報抽出部５は、三次元点群情報取得部４によって取得したステレオカメラ３の計測範囲全体の点群情報から、計測対象の物体Ｍに対応する点群情報を抽出する。計測対象が含まれる領域の選定方法としては、図４のように、計測対象である物体Ｍが存在する基準画像３０と予め保持した背景画像３２の差分を取り、求めた背景差分の画像３３を活用するといった背景差分法などの一般的な手法がある。背景差分法などにより求めた背景差分の画像３３について、計測対象Ｍが存在する画像領域３４を求め、画像領域３４内の各画素の視差から計算した三次元点群情報のみを抽出することで、物体の点群情報を取得できる。   The object point group information extracting unit 5 extracts the three-dimensional point group coordinates 33 of only the measurement target (person) not included in the background by the processing of FIG. Specifically, the object point cloud information extraction unit 5 extracts point cloud information corresponding to the object M to be measured from the point cloud information of the entire measurement range of the stereo camera 3 acquired by the three-dimensional point cloud information acquisition unit 4. I do. As a method of selecting a region including a measurement target, as shown in FIG. 4, a difference between a reference image 30 in which an object M to be measured is present and a previously held background image 32 is obtained, and the obtained background difference image 33 is obtained. There is a general method such as a background subtraction method that utilizes it. For the background difference image 33 obtained by the background difference method or the like, an image area 34 in which the measurement target M exists is obtained, and only the three-dimensional point group information calculated from the parallax of each pixel in the image area 34 is extracted. Point cloud information of an object can be acquired.

なお、物体点群情報抽出部５は背景差分法のみに限らず、例えば画像の特徴量抽出や視差の値などにより基準画像内から物体の領域を決定する方法、物体が存在する場合と存在しない場合の三次元空間の点群情報を直接比較することで必要な点群情報を取得する方法などでも良い。   Note that the object point group information extraction unit 5 is not limited to the background subtraction method. For example, a method of determining an area of an object from within a reference image by extracting a feature amount of an image, a value of a parallax, or the like. In such a case, a method of acquiring necessary point group information by directly comparing the point group information in the three-dimensional space may be used.

図５は、本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図である。図５を用いて補正パラメータ算出部６について説明する。   FIG. 5 is a diagram illustrating a configuration example of the correction parameter calculation unit 6 according to the first embodiment of the present invention. The correction parameter calculator 6 will be described with reference to FIG.

補正パラメータ算出部６は、物体点群情報抽出部５から取得した物体の点群情報から視点変換画像を作成する視点変換画像作成部４０と、作成した前記視点変換画像と物体形状モデルデータベースＤＢ２より取得した物体形状モデル３００を比較して補正パラメータを計算する物体形状モデル比較部４１と、計算した前記補正パラメータを出力して点群情報補正部７に受け渡す補正パラメータ出力部４２を備える。以下、視点変換画像作成部４０、物体形状モデルデータベースＤＢ２、物体形状モデル比較部４１について説明する。   The correction parameter calculation unit 6 includes a viewpoint conversion image creation unit 40 that creates a viewpoint conversion image from the point cloud information of the object acquired from the object point cloud information extraction unit 5, and the created viewpoint conversion image and the object shape model database DB2. An object shape model comparison unit 41 that compares the acquired object shape model 300 to calculate a correction parameter, and a correction parameter output unit 42 that outputs the calculated correction parameter and passes it to the point cloud information correction unit 7. Hereinafter, the viewpoint conversion image creation unit 40, the object shape model database DB2, and the object shape model comparison unit 41 will be described.

視点変換画像作成部４０は計測対象の物体Ｍの三次元情報から視点変換画像を作成する。ここで、計測対象の物体Ｍの三次元情報とは、物体点群情報抽出部５において求めた計測対象Ｍが存在する画像領域３４を含む領域の画像であり、これを物体の三次元情報として表示している。   The viewpoint conversion image creation unit 40 creates a viewpoint conversion image from the three-dimensional information of the measurement target object M. Here, the three-dimensional information of the object M to be measured is an image of an area including the image area 34 in which the measurement target M obtained by the object point group information extracting unit 5 exists, and this is used as the three-dimensional information of the object. it's shown.

図６は物体の三次元情報から作成した視点変換画像の一例を示しており、５１は物体の三次元情報５０を物体に対して真正面の視点Ｚから見た正面視点画像、５２は物体に対して右側面の視点Ｘから見た右側面視点画像、５３は物体に対して真上の視点Ｙから見た直上視点画像である。図６のように、視点画像は三次元点群の座標値を二次元の画像情報に変換しており、正面視点画像５１では横軸がｘ値、縦軸がｙ値、右側面視点画像５２では横軸がｚ値、縦軸がｙ値、直上視点画像５３では横軸がｘ値、縦軸がｚ値を示している。   FIG. 6 shows an example of a viewpoint conversion image created from the three-dimensional information of the object, 51 is a front viewpoint image obtained by viewing the three-dimensional information 50 of the object from the viewpoint Z directly in front of the object, and 52 is a front viewpoint image of the object. 53 is a right side viewpoint image viewed from the right side viewpoint X, and 53 is a right above viewpoint image viewed from the viewpoint Y directly above the object. As shown in FIG. 6, the viewpoint image is obtained by converting the coordinate values of the three-dimensional point group into two-dimensional image information. In the front viewpoint image 51, the horizontal axis is the x value, the vertical axis is the y value, and the right side viewpoint image 52 , The horizontal axis represents the z value, the vertical axis represents the y value, and in the immediately above viewpoint image 53, the horizontal axis represents the x value, and the vertical axis represents the z value.

本実施例では、（４）式から（７）式を利用して、三次元点群座標（世界座標）ｘｗから視点変換画像を作成する。なお物体の三次元情報５０についての三次元点群座標（世界座標）ｘｗは（４）式で表現され、視点変換画像のうち、正面視点画像５１は（５）式、右側面視点画像５２は（６）式、直上視点画像５３は（７）式により表現することができるが、特に本手法に限定されるものでは無い。   In the present embodiment, a viewpoint-converted image is created from the three-dimensional point group coordinates (world coordinates) xw using Expressions (4) to (7). Note that the three-dimensional point group coordinates (world coordinates) xw of the three-dimensional information 50 of the object are expressed by Expression (4), and among the viewpoint conversion images, the front viewpoint image 51 is expressed by Expression (5), and the right side viewpoint image 52 is expressed by Expression (5). Equation (6) and the overhead viewpoint image 53 can be expressed by Equation (7), but are not particularly limited to this method.

Figure 2018229812
Figure 2018229812

Figure 2018229812
Figure 2018229812

Figure 2018229812
Figure 2018229812

Figure 2018229812
図７は計測対象の物体が人物の場合における、物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示している。
Figure 2018229812
 FIG. 7 shows an example of the object shape model data 300 stored in the object shape model database DB2 when the object to be measured is a person.

図７において、６０は物体形状モデルデータベースＤＢ２の記憶内容の一覧表であり、６１、６２、６３は三次元点群が高密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示し、６１ａ、６２ａ、６３ａは三次元点群が低密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示している。   In FIG. 7, reference numeral 60 denotes a list of contents stored in the object shape model database DB2, and reference numerals 61, 62, and 63 denote a front-view point group, a right-view point group, and a front-view point group of the person M when the three-dimensional point group is dense. The directly above viewpoint group is shown, and 61a, 62a, 63a respectively show the front front viewpoint group, right side viewpoint point group, and just above viewpoint point group of the person M when the three-dimensional point group has low density.

ステレオカメラ２では基準画像の各画素に対応する視差の値から三次元点群情報を取得するため、基準画像自体の解像度やステレオカメラ２と物体の距離によって、物体の解像度が変化し取得可能な点群情報の密度が変化する。   Since the stereo camera 2 acquires the three-dimensional point group information from the value of the parallax corresponding to each pixel of the reference image, the resolution of the object changes and can be acquired depending on the resolution of the reference image itself and the distance between the stereo camera 2 and the object. The density of the point cloud information changes.

例えば、基準画像の解像度が高い場合やステレオカメラ２と物体Ｍとの距離が短い場合は、６１、６２、６３のような人のシルエットがはっきり判別できる高密度な点群情報を取得でき、基準画像の解像度が低い場合やステレオカメラ２と物体との距離が長い場合は、６１ａ、６２ａ、６３ａのような人のシルエットが粗くなる低密度な点群情報を取得できる。   For example, when the resolution of the reference image is high or when the distance between the stereo camera 2 and the object M is short, high-density point cloud information such as 61, 62, and 63 that can clearly distinguish the silhouette of a person can be obtained. When the resolution of the image is low or when the distance between the stereo camera 2 and the object is long, low-density point group information such as 61a, 62a, and 63a in which the silhouette of a person is coarse can be obtained.

点群情報の指標値としては例えば（８）式を利用する方法がある。なお（８）式においてαは正規化定数、Ｗは撮影画像の横幅、Ｈは撮影画像の縦幅、Ｄは物体とステレオカメラ２との間の距離である。その他点群情報の指標値を得る手法としては、点群の数を計測しその合計数に応じてグループ化するなどの点群数を利用する方法などがあるが、特に限定するものではない。   As an index value of the point group information, for example, there is a method using equation (8). In Equation (8), α is a normalization constant, W is the horizontal width of the captured image, H is the vertical width of the captured image, and D is the distance between the object and the stereo camera 2. Other methods for obtaining the index value of the point cloud information include, but are not particularly limited to, a method of measuring the number of point clouds and grouping according to the total number, and using the number of point clouds.

Figure 2018229812
なお図７では、三次元点群の密度を（１）から（１０）までの１０段階に分割して、人物Ｍの真正面視点点群、右側面視点点群、直上視点点群を予め準備した例を示しているが、特に分割数などは限定しないものとし、使用する点群情報の視点数についても３つに限定されるものでなく、真正面、右側面、直上以外の視点を使用しても良い。また、図７では計測対象の物体を人物とした場合のデータベースについて示したが、物体形状モデルを予め用意できる物体であれば計測対象の物体は特に限定されない。
Figure 2018229812
 In FIG. 7, the density of the three-dimensional point group is divided into ten stages from (1) to (10), and a frontal viewpoint point group, a right side viewpoint point group, and a directly above viewpoint point group of the person M are prepared in advance. Although an example is shown, the number of divisions and the like are not particularly limited, and the number of viewpoints of the point group information to be used is not limited to three, and viewpoints other than the front, right side, and immediately above are used. Is also good. Although FIG. 7 shows the database in the case where the object to be measured is a person, the object to be measured is not particularly limited as long as the object shape model can be prepared in advance.

図７に物体形状モデル比較部４１の処理フローを示す。物体形状モデル比較部４１では、まず処理ステップＳ１において、視点変換画像作成部４０により作成した物体の視点変換画像から物体の三次元空間上での位置を算出し、処理ステップＳ２において算出した物体の位置情報に応じて物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の位置を決定する。そして処理ステップＳ３において、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報を比較してフィッティングすることで補正量を算出し、処理ステップＳ４において補正量の情報から最も適した補正パラメータを決定する。   FIG. 7 shows a processing flow of the object shape model comparison unit 41. In the processing step S1, the object shape model comparison unit 41 first calculates the position of the object in the three-dimensional space from the viewpoint conversion image of the object created by the viewpoint conversion image creation unit 40, and calculates the position of the object calculated in the processing step S2. The position of the object shape model 300 acquired from the object shape model database DB2 is determined according to the position information. Then, in processing step S3, the correction amount is calculated by comparing and fitting the three-dimensional point group information of the object in the viewpoint-converted image and the point group information of the object shape model. Determine the correction parameters.

以下、上記の各処理ステップＳ１からＳ４によって、直上視点画像における物体の三次元情報と物体形状モデルをフィッティングさせて補正パラメータを出力する例について説明する。図９は、直上視点画像における物体の三次元情報と物体形状モデルの例を示している。図９において左側のｘ−Ｚ座標上の領域５３は図６の直上視点画像５３の一例を示しており、ｘ−Ｚ座標により位置づけられた複数の点群により計測対象の物体が形成されている。図９において右側のｘ−Ｚ座標上の点群７２は、図５の物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の一例を示している。   Hereinafter, an example in which the correction parameters are output by fitting the three-dimensional information of the object and the object shape model in the immediately above viewpoint image by the above processing steps S1 to S4 will be described. FIG. 9 shows an example of the three-dimensional information of the object and the object shape model in the immediately above viewpoint image. In FIG. 9, an area 53 on the xZ coordinate on the left side shows an example of the immediately above viewpoint image 53 in FIG. 6, and an object to be measured is formed by a plurality of point groups positioned by the xZ coordinate. . In FIG. 9, a point group 72 on the xZ coordinate on the right side shows an example of the object shape model 300 acquired from the object shape model database DB2 in FIG.

図８の処理ステップＳ１では、図９左側のｘ−Ｚ座標上の直上視点画像５３について、直上視点画像５３内の点群から物体の位置情報（ｘ１、ｚ１）を計算する。物体の位置情報（ｘ１、ｚ１）の計算方法としては、直上視点画像５３の物体の点群情報を活用して、各ｘ値、ｚ値の平均値をｘ１、ｚ１とする方法、各ｘ値の平均値をｘ１としｘ値が平均値に近く値が最小となるｚ値をｚ１とする方法、ｚ値が最小となる点のｘ値、ｚ値をｘ１、ｚ１とする方法などがあり、特に限定するものではない。   In the processing step S1 in FIG. 8, the position information (x1, z1) of the object is calculated from the point group in the directly-upper-view image 53 on the xZ coordinate on the left side of FIG. 9. As a method of calculating the position information (x1, z1) of the object, a method of using the point group information of the object in the immediately above viewpoint image 53 to set the average value of each x value and z value to x1, z1, and each x value There is a method in which the average value of x is x1, the z value at which the x value is close to the average value and the value is minimum is z1, the x value of the point at which the z value is minimum, and the z value is x1, z1, etc. There is no particular limitation.

図８の処理ステップＳ２では、まず処理ステップＳ１によって求めた物体の位置情報に対して最適な物体形状モデルデータ３００を物体形状モデルデータベースＤＢ２より取得する。取得方法としては、物体の位置情報からカメラと物体の距離を求めて（５）式により点群密度を算出することで、該当する物体形状モデルを選定できる。点群密度を考慮して抽出された物体形状モデルの一例を示す点群が図９右側の７２である。   In the processing step S2 of FIG. 8, first, the optimum object shape model data 300 for the position information of the object obtained in the processing step S1 is acquired from the object shape model database DB2. As an acquisition method, a corresponding object shape model can be selected by obtaining the distance between the camera and the object from the position information of the object and calculating the density of the point cloud by Expression (5). A point group 72 showing an example of the object shape model extracted in consideration of the point cloud density is 72 on the right side of FIG.

そして、選定した物体形状モデル３００において、例えば点群情報の各ｘ値、ｚ値の平均値、あるいは各ｘ値の平均値かつｘ値が平均値に近く値が最小となるｚ値、あるいはｚ値が最小となる点のｘ値、ｚ値を処理ステップＳ１で求めた（ｘ１、ｚ１）と一致するよう物体形状モデル３００を配置する。なお、物体形状モデル３００の位置を決める方法としては、処理ステップＳ１と同様の手法あるいは異なる手法のどちらでも良く、特に限定しない。   In the selected object shape model 300, for example, the average value of each x value and z value of the point group information, or the average value of each x value and the z value at which the x value is close to the average value and the value is minimum, or z The object shape model 300 is arranged so that the x value and the z value of the point having the minimum value coincide with (x1, z1) obtained in the processing step S1. Note that the method of determining the position of the object shape model 300 may be either the same method as in the processing step S1 or a different method, and is not particularly limited.

図９では処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置を示している。図９において、５３は直上視点画像、７１は処理ステップＳ１により求めた直上視点画像５３上での物体の位置情報（ｘ１、ｚ１）の一例、７２は物体形状モデル３００の一例、７３は処理ステップＳ２により求めた物体形状モデルの位置を示す点の一例である。処理ステップＳ２では、点７１と点７３が一致するように物体形状モデルを配置する。   FIG. 9 shows the position information of the object and the position of the object shape model obtained in the processing steps S1 and S2. In FIG. 9, reference numeral 53 denotes an overhead viewpoint image, reference numeral 71 denotes an example of position information (x1, z1) of an object on the upstream viewpoint image 53 obtained in processing step S1, reference numeral 72 denotes an example of an object shape model 300, and reference numeral 73 denotes a processing step. It is an example of the point which shows the position of the object shape model calculated | required by S2. In the processing step S2, the object shape model is arranged so that the points 71 and 73 match.

図１０は、本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図である。図１０を用いて処理ステップＳ３について説明する。図１０は直上視点画像８０において、物体の点群情報と物体形状モデルの各点群情報からいくつか抜粋した点を示しており、８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅは物体Ｍの点群情報、８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅは物体形状モデルの点群情報、８３は物体Ｍから見たステレオカメラ２の方向である。   FIG. 10 is a diagram for explaining the processing content of the processing step S3 of the object shape model 41 according to the first embodiment of the present invention. The processing step S3 will be described with reference to FIG. FIG. 10 shows points extracted from the point cloud information of the object and each point cloud information of the object shape model in the overhead image 80, and 81a, 81b, 81c, 81d, and 81e are the point cloud information of the object M. , 82 a, 82 b, 82 c, 82 d, and 82 e indicate point group information of the object shape model, and 83 indicates the direction of the stereo camera 2 viewed from the object M.

ステレオカメラ２では性質上、カメラより遠方になるほど視差の精度が下がり、視差から計算される三次元点群情報の算出精度も低下する。そのため、処理ステップＳ３では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅと物体形状モデルの点群８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅ同士をフィッティングさせる際に、カメラに近い点から順番にフィッティングする手法を適応し、補正量を算出する。   Due to the nature of the stereo camera 2, the accuracy of the parallax decreases as the distance from the camera increases, and the calculation accuracy of the three-dimensional point group information calculated from the parallax also decreases. Therefore, in the processing step S3, when fitting the point group information 81a, 81b, 81c, 81d, 81e of the object and the point groups 82a, 82b, 82c, 82d, 82e of the object shape model, in order from the point closest to the camera. Is applied, and a correction amount is calculated.

具体的には、まず物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅの内最もカメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在するかを探索する。存在する場合は該当の点と８１ｅを対応付けることとし、存在しない場合は、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点と８１ｅを対応付ける。これを全ての物体の点群に適応することで、物体の点群情報と物体形状モデルをフィッティングさせる。図１０の図示例では、カメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在していないが、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点である８２ｅを８１ｅと対応付けたことを示している。   More specifically, first, of the object point model information 81a, 81b, 81c, 81d, 81e, which is 81e located closest to the camera, 81e which is not fitted in the direction of the camera direction 83 is used. Search for the existence of a point. If the point exists, the corresponding point is associated with 81e. If the point does not exist, the point having the smallest relative distance in the x value among the points having the small z value is associated with 81e. By applying this to the point cloud of all objects, the point cloud information of the object and the object shape model are fitted. In the illustrated example of FIG. 10, there is no point of the object shape model that is not fitted in the direction of the camera direction 83 with respect to 81 e located closest to the camera. It shows that 82e, which is the point with the smallest relative distance in the x value, is associated with 81e.

最後に、対応付けた各点８２ｅ、８１ｅ同士において（９）（１０）式によりｘ軸、ｚ軸方向のそれぞれの補正量を算出する。なお（９）（１０）式において、Ｐｘ、Ｐｚは、ｘ値、ｚ値の補正量、ｘｔ、ｚｔは物体形状モデルの点のｘ値、ｚ値、ｘｍ、ｚｍは物体の三次元情報のｘ値、ｚ値を示している。Finally, the respective correction amounts in the x-axis and z-axis directions are calculated for the associated points 82e and 81e by the equations (9) and (10). In the expressions (9) and (10), P x and P z are x values and correction amounts of z values, xt and zt are x values of points of the object shape model, z values, xm and zm are three-dimensional of the object. The x and z values of the information are shown.

Figure 2018229812
Figure 2018229812

Figure 2018229812
処理ステップＳ４では、処理ステップＳ３により求めた各点同士の補正量から最終的な補正パラメータを決定する。決定方法としては、ｘ軸、ｚ軸方向に対する各補正量Ｐｘ、Ｐｚの平均値を補正パラメータとする方法や、各方向に対して最大の補正量を補正パラメータとする方法など、特に限定しない。
Figure 2018229812
 In processing step S4, a final correction parameter is determined from the correction amount between the points obtained in processing step S3. The determination method is not particularly limited, such as a method of using an average value of the respective correction amounts P x and P z in the x-axis and z-axis directions as a correction parameter, and a method of using the maximum correction amount in each direction as a correction parameter. do not do.

物体形状モデル比較部４１では、以上説明した処理の流れにより補正パラメータを算出でき、ｙ軸方向に対する補正パラメータを求める場合には、右側面視点画像に対して処理ステップＳ１から処理ステップＳ４の同様の処理を適応することで対応できる。なお、処理ステップＳ３、処理ステップＳ４において、補正パラメータを算出する手段として、カメラに近い点から順番にフィッティングして求めた補正量から補正パラメータを算出する方法以外に、最適化を利用する方法でも良い。   The object shape model comparison unit 41 can calculate the correction parameters according to the above-described processing flow. When obtaining the correction parameters in the y-axis direction, the same processing steps S1 to S4 are performed on the right side viewpoint image. This can be dealt with by adapting the processing. In the processing steps S3 and S4, as a means for calculating a correction parameter, besides a method of calculating a correction parameter from a correction amount obtained by fitting in order from a point close to the camera, a method using optimization is also used. good.

例えば、処理ステップＳ３において最近傍探索手法などにより点群同士をフィッティングさせ、出力したｘ軸、ｚ軸方向における各点同士の補正量の差が最小となるように最適化する手法などがあり、特に限定しない。また、処理ステップＳ４の補正パラメータの決定方法として、必ず各方向に対して１つのパラメータを割り当てるのではなく、距離に応じて異なるパラメータを割り当てる方法を利用しても良い。   For example, there is a method of fitting the point groups to each other by a nearest neighbor search method or the like in the processing step S3, and optimizing so that the difference in correction amount between the output points in the x-axis and z-axis directions is minimized. There is no particular limitation. Further, as a method of determining the correction parameter in the processing step S4, a method of allocating different parameters according to the distance may be used instead of always allocating one parameter to each direction.

図１１は、物体形状モデル４１の処理内容を補足説明するための図であり、例えば、図１１に示すように、物体形状モデルの点群情報８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅの中で最もｚ値が小さい点８２ｅを基準として、点８２ｅからの距離が等間隔となる直線８４ａ、８４ｂ、８４ｃにより空間８５ａ、８５ｂ、８５ｃを作成する。そして、各空間にある点群情報からＳ３により各空間に対応する補正量Ｐｘ、Ｐｚを求め、空間ごとの補正量を二次関数に近似したものを補正パラメータとして使用しても良い。FIG. 11 is a diagram for supplementarily explaining the processing content of the object shape model 41. For example, as shown in FIG. 11, among the point group information 82a, 82b, 82c, 82d, 82e of the object shape model, Spaces 85a, 85b, and 85c are created by straight lines 84a, 84b, and 84c having the same distance from the point 82e with reference to the point 82e having a small z value. Then, the correction amounts P x and P z corresponding to each space are obtained from the point group information in each space by S3, and the correction amount for each space approximated by a quadratic function may be used as a correction parameter.

また、本実施例では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅを全て使用し、点群数などを用いて物体の点群情報に対して適切な物体形状モデルを選定する方法を採用したが、物体の点群情報に対してダウンサンプリング処理などを実施して点群数を減らした後で、適切な物体形状モデルを選定する方法を利用しても良い。また、本実施例では、同一の向きの物体形状モデルを利用したが、複数の向きの物体形状モデルを用意しておき、物体と三次元計測装置との三次元空間上の位置関係によって、最適な向きの物体形状モデルを選定して使用するなどの方法でも良い。   Further, in the present embodiment, a method of using all the point cloud information 81a, 81b, 81c, 81d, 81e of the object and selecting an appropriate object shape model for the point cloud information of the object by using the number of point clouds or the like. However, a method of selecting an appropriate object shape model after performing the downsampling process or the like on the point cloud information of the object to reduce the number of point clouds may be used. Further, in this embodiment, the object shape models in the same direction are used, but the object shape models in a plurality of directions are prepared, and the optimal shape is determined by the positional relationship between the object and the three-dimensional measuring device in the three-dimensional space. For example, a method of selecting and using an object shape model with an appropriate orientation may be used.

点群情報補正部７では、三次元点群情報取得部４によって取得した三次元点群の座標値を、物体形状モデル比較部４１により算出した補正パラメータを用いて（１１）式により補正する。なお（１１）式において、ｘｗは補正前の三次元点群座標（世界座標）、Ｘ´ｗは補正後の三次元点群座標（世界座標）であり、Ｐは、ｘ、ｙ、ｚ軸成分についての三次元の補正パラメータである。The point group information correcting unit 7 corrects the coordinate values of the three-dimensional point group obtained by the three-dimensional point group information obtaining unit 4 by using the correction parameters calculated by the object shape model comparing unit 41 according to equation (11). In still (11), xw is a three-dimensional point cloud coordinates before correction (world coordinates), X'w is a three-dimensional point group coordinates after correction (world coordinates), P is, x, y, z-axis This is a three-dimensional correction parameter for the component.

Figure 2018229812
本発明の実施例１では以上説明した機能構成により、計測範囲から抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を補正することで、物体検出に必要な精度の三次元点群情報を算出できる。
Figure 2018229812
 In the first embodiment of the present invention, a viewpoint image is created from the point cloud information of the object extracted from the measurement range and the point cloud information of the object is compared with the previously prepared object shape model on the viewpoint image by the functional configuration described above. By doing so, a correction parameter is obtained, and the newly input three-dimensional point group information is corrected based on the parameter value, so that three-dimensional point group information with the accuracy required for object detection can be calculated.

なお、実施例１では、三次元点群情報の補正パラメータとしてｘ軸、ｙ軸、ｚ軸の３方向に補正するパラメータを出力したが、必要に応じて、３方向の内、１方向または２方向のみ補正するという方法を用いても良い。   In the first embodiment, the parameters to be corrected in the three directions of the x-axis, the y-axis, and the z-axis are output as the correction parameters of the three-dimensional point group information. A method of correcting only the direction may be used.

また、実施例１において、計測対象である物体の全体の点群情報を用いて補正パラメータを出力する必要は無い。例えば、計測対象を人物とした場合、物体点群情報抽出部５により人物の頭部の三次元点群情報を抽出して、予め用意した人物の頭部のみの物体形状モデルと比較することで補正パラメータを算出するなどといった、物体の一部の情報のみを利用する方法でも良い。   In the first embodiment, it is not necessary to output the correction parameter using the entire point cloud information of the object to be measured. For example, when the measurement target is a person, the object point group information extraction unit 5 extracts the three-dimensional point group information of the head of the person and compares it with an object shape model prepared only for the head of the person prepared in advance. A method using only part of the information of the object, such as calculating a correction parameter, may be used.

図１２は本発明の実施例２に係る三次元計測装置のブロック構成例図である。図１２に示す三次元計測装置１は、実施例１と同じく２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき三次元空間の位置ごとに事前に求めたパラメータにより補正する装置である。   FIG. 12 is an example of a block configuration of a three-dimensional measuring apparatus according to the second embodiment of the present invention. The three-dimensional measuring apparatus 1 shown in FIG. 12 converts the three-dimensional point group information acquired by using the stereo camera 2 adjacent to the two cameras 2R and 2L in the same manner as in the first embodiment based on the object shape model of the measurement target. This is a device for correcting with a parameter obtained in advance for each position in the original space.

実施例２では、三次元計測装置の計測範囲を複数の三次元空間に分割した後、各三次元空間に存在する計測対象の点群情報と物体形状モデルを比較することで三次元空間ごとの補正パラメータを算出し、新規に入力された三次元点群情報を分割した空間ごとに算出したパラメータによって補正できる。   In the second embodiment, after the measurement range of the three-dimensional measurement device is divided into a plurality of three-dimensional spaces, the point group information of the measurement target existing in each three-dimensional space is compared with the object shape model, so that each of the three-dimensional spaces is compared. Correction parameters are calculated, and the newly input three-dimensional point group information can be corrected with the parameters calculated for each divided space.

図１２において、画像取得部３、三次元点群情報取得部４の機能については実施例１と同一である。三次元空間分割部９１は、計測範囲における三次元空間を複数の領域に分割する機能であり、実施例２において新たに追加された機能である。物体点群情報抽出部５’、補正パラメータ算出部６’、点群情報補正部７’の機能は、実施例１の物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の機能をほぼ踏襲しているが、三次元空間分割部９１において計測範囲における三次元空間を複数の領域に分割したことに関連して、複数の分割領域ごとに処理する点で相違している。物体点群情報抽出部５’は三次元空間分割部９１によって分割された領域ごとに物体の点群を抽出する機能であり、補正パラメータ算出部６’は分割領域ごとに補正パラメータを算出する機能であり、点群情報補正部７’は分割領域ごとに補正パラメータ算出部６’によって算出された補正パラメータを用いて点群情報を補正する機能である。以下、三次元空間分割部９１の具体的な機能について説明する。   12, the functions of the image acquisition unit 3 and the three-dimensional point group information acquisition unit 4 are the same as those in the first embodiment. The three-dimensional space dividing unit 91 is a function of dividing the three-dimensional space in the measurement range into a plurality of regions, and is a function newly added in the second embodiment. The functions of the object point group information extraction unit 5 ', the correction parameter calculation unit 6', and the point group information correction unit 7 'are the same as those of the object point group information extraction unit 5, the correction parameter calculation unit 6, and the point group information correction unit of the first embodiment. 7, but differs in that the three-dimensional space in the measurement range is divided into a plurality of regions by the three-dimensional space dividing unit 91, so that processing is performed for each of the plurality of divided regions. I have. The object point group information extraction unit 5 'has a function of extracting a point group of an object for each region divided by the three-dimensional space division unit 91, and the correction parameter calculation unit 6' has a function of calculating a correction parameter for each divided region. The point group information correcting section 7 'has a function of correcting the point group information by using the correction parameters calculated by the correction parameter calculating section 6' for each divided area. Hereinafter, specific functions of the three-dimensional space division unit 91 will be described.

図１３は、三次元空間分割部９１の処理内容を説明する図である。図１３では、上部に人物が存在する三次元空間の例を示し、下部にｘ−Ｚ座標上の直上視点画像の例を示している。図１３は、三次元空間分割部９１によって計測範囲における三次元空間を９つの領域に分割する一例を示している。   FIG. 13 is a diagram for explaining the processing content of the three-dimensional space division unit 91. FIG. 13 illustrates an example of a three-dimensional space in which a person is present in an upper part, and illustrates an example of a directly-above viewpoint image on xZ coordinates in a lower part. FIG. 13 shows an example in which the three-dimensional space dividing unit 91 divides the three-dimensional space in the measurement range into nine regions.

図１３において、１００は計測範囲の三次元空間、１０１は計測対象の人物、１０２は三次元空間１００にある床平面、１０３は三次元空間１００の直上視点画像を示している。   In FIG. 13, reference numeral 100 denotes a three-dimensional space of a measurement range, 101 denotes a person to be measured, 102 denotes a floor plane in the three-dimensional space 100, and 103 denotes a viewpoint image immediately above the three-dimensional space 100.

三次元空間分割部９１では、図１３のように、三次元空間の床平面１０２を基準として領域を等分割する方法や、直上視点画像１０３を基準として領域を等分割する方法があるが、特に三次元の空間を分割する方法であれば特に限定しない。例えば、直上視点画像１０３をディスプレイに表示して、ＧＵＩなどによりユーザが直線などを引いて領域を分割しても良い。また、領域を分割する際に、必ずしも全ての領域が等しい大きさになる必要は無く、正方形以外の形状に分割しても良い。   In the three-dimensional space division unit 91, as shown in FIG. 13, there are a method of equally dividing a region on the basis of the floor plane 102 of the three-dimensional space and a method of equally dividing the region on the basis of the immediately above viewpoint image 103. There is no particular limitation as long as the method divides a three-dimensional space. For example, the area 103 may be divided by displaying the directly above viewpoint image 103 on a display and drawing a straight line by a user using a GUI or the like. Further, when dividing a region, it is not always necessary that all regions have the same size, and the region may be divided into a shape other than a square.

図１４は、本発明の実施例２により出力される補正パラメータの一例を示す図である。三次元計測装置１では、図１４のように、三次元空間分割部９１により分割された各領域上において、物体点群情報抽出部５’、補正パラメータ算出部６’により補正パラメータを出力する。そして、点群情報補正部７’によって、三次元点群情報取得部４から新規に取得した三次元点群情報を各領域の補正パラメータにより補正する。領域ごとに物体の点群情報を抽出する方法としては、例えば、カメラを設置後、計測範囲内を人物に移動してもらい、領域の中心位置ごとに停止してもらい停止中の点群情報を抽出する方法や、画像処理などにより領域への出入りを自動で判定して抽出する方法などがあり、特に限定しない。   FIG. 14 is a diagram illustrating an example of a correction parameter output according to the second embodiment of the present invention. In the three-dimensional measuring apparatus 1, as shown in FIG. 14, on each area divided by the three-dimensional space dividing unit 91, a correction parameter is output by the object point group information extracting unit 5 'and the correction parameter calculating unit 6'. Then, the point group information correction unit 7 ′ corrects the three-dimensional point group information newly acquired from the three-dimensional point group information acquisition unit 4 using the correction parameters of each area. As a method of extracting the point cloud information of the object for each area, for example, after installing a camera, a person is moved within the measurement range, and the stopped point cloud information is obtained at each center position of the area. There are a method of extracting, and a method of automatically judging out of a region by image processing or the like and extracting, without particular limitation.

本発明の実施例２では以上説明した機能構成により、計測範囲を複数の領域に分割した後、領域ごとに抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を分割した領域ごとに補正することで、物体検出に必要な精度の三次元点群情報を算出できる。   According to the second embodiment of the present invention, by dividing the measurement range into a plurality of regions by the above-described functional configuration, a viewpoint image is created from the point group information of the object extracted for each region, and the point of the object is displayed on the viewpoint image. Correction parameters are obtained by comparing the group information with a previously prepared object shape model, and the newly input three-dimensional point group information is corrected for each divided region by using the parameter values, thereby making it necessary for object detection. Accurate three-dimensional point cloud information can be calculated.

図１５は本発明の実施例３に係る三次元計測装置のブロック構成例を示す図である。図１５に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づきカメラのパラメータを補正する装置である。実施例３では、計測範囲内に存在する計測対象の点群情報と物体形状モデルを比較し、予め取得したカメラのパラメータを補正することで、新規に入力された三次元点群情報を補正できる。   FIG. 15 is a diagram illustrating an example of a block configuration of the three-dimensional measurement apparatus according to the third embodiment of the present invention. The three-dimensional measuring apparatus 1 shown in FIG. 15 corrects the parameters of the three-dimensional point group information acquired by using the stereo camera 2 adjacent to the two cameras 2R and 2L based on the object shape model to be measured. Device. In the third embodiment, the newly input three-dimensional point group information can be corrected by comparing the point shape information of the measurement target existing in the measurement range with the object shape model and correcting the camera parameters acquired in advance. .

図１５において、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５の機能については実施例１と同一である。カメラ情報抽出部１１１は、実施例３において新規に追加された構成であり、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２の情報からカメラの焦点距離や歪み補正係数といった三次元計測装置１によって補正するパラメータを取得する機能である。カメラパラメータ補正部１１２も実施例３において新規に追加された構成であり、計測対象の点群情報と物体形状モデルを比較することで前記パラメータを補正する機能である。以下、カメラパラメータ補正部１１２の機能について詳細に説明する。   In FIG. 15, the functions of the image acquisition unit 3, the three-dimensional point group information acquisition unit 4, and the object point group information extraction unit 5 are the same as those in the first embodiment. The camera information extracting unit 111 is a configuration newly added in the third embodiment. The three-dimensional measuring device 1 such as a camera focal length and a distortion correction coefficient based on information of a stereo camera 2 adjacent to two cameras 2R and 2L is added. This is a function of acquiring a parameter to be corrected by using The camera parameter correction unit 112 is also a configuration newly added in the third embodiment, and has a function of correcting the parameters by comparing the point group information of the measurement target with the object shape model. Hereinafter, the function of the camera parameter correction unit 112 will be described in detail.

図１６はカメラパラメータ補正部１１２のフローを示している。カメラパラメータ補正部１１２では、最初の処理ステップＳ１０においてカメラ情報抽出部１１１により選定されたカメラパラメータを取得し、物体形状モデル比較部４１の処理である処理ステップＳ１と処理ステップＳ２を実施した後、処理ステップＳ１１において物体の三次元点群情報と物体形状モデルの点群情報の一致率を算出する。そして、処理ステップＳ１２において一致率が閾値以上か否かを判定し、閾値未満である場合は処理ステップＳ１３に移りカメラパラメータを更新して視点変換画像を作成し、閾値以上である場合は処理ステップＳ１４に移り最新のカメラパラメータを出力する。以下、処理ステップＳ１１、処理ステップＳ１３について詳細に説明する。   FIG. 16 shows a flow of the camera parameter correction unit 112. The camera parameter correction unit 112 acquires the camera parameters selected by the camera information extraction unit 111 in the first processing step S10, and executes the processing steps S1 and S2, which are the processing of the object shape model comparison unit 41, In processing step S11, the matching rate between the three-dimensional point group information of the object and the point group information of the object shape model is calculated. Then, it is determined whether or not the matching rate is equal to or greater than a threshold value in processing step S12. If the matching rate is less than the threshold value, the process proceeds to processing step S13 to update the camera parameters to create a viewpoint conversion image. The process moves to S14 and outputs the latest camera parameters. Hereinafter, the processing steps S11 and S13 will be described in detail.

処理ステップＳ１１では、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報との一致率を算出する。一致率の算出方法としては、視点変換画像に直上視点画像を用いる場合を例にすると、処理ステップＳ３と同様に直上視点画像における物体の点群情報と物体形状モデルの点群情報をフィッティングさせた後、（１２）（１３）式により算出する方法がある。また、右側面視点画像も活用して点群のｙ値も一致率に利用する方法などもあり、２つの点群同士を比較可能な方法であれば、特に限定しない。   In processing step S11, a coincidence rate between the three-dimensional point group information of the object in the viewpoint converted image and the point group information of the object shape model is calculated. As an example of the method of calculating the coincidence rate, in a case where the overhead viewpoint image is used as the viewpoint conversion image, the point group information of the object and the point group information of the object shape model in the overhead viewpoint image are fitted as in the processing step S3. Later, there is a method of calculating by the formulas (12) and (13). Also, there is a method of utilizing the y value of the point group for the coincidence rate by utilizing the right side viewpoint image, and the method is not particularly limited as long as the two point groups can be compared with each other.

Figure 2018229812
Figure 2018229812

Figure 2018229812
処理ステップＳ１３では、カメラパラメータを更新して再度三次元点群の座標値を計算した後、処理ステップＳ１にて使用する視点変換画像を作成する。例えば、修正するパラメータが焦点距離の場合は、焦点距離の値を更新し、（２）式によりカメラ座標Ｘｃを算出し、カメラ座標Ｘｃより三次元点群座標の世界座標ｘｗを求める方法などがある。
Figure 2018229812
 In the processing step S13, after updating the camera parameters and calculating the coordinate values of the three-dimensional point group again, a viewpoint conversion image used in the processing step S1 is created. For example, when the parameter to be corrected is the focal length, a method of updating the value of the focal length, calculating the camera coordinates Xc by the equation (2), and obtaining the world coordinates xw of the three-dimensional point group coordinates from the camera coordinates Xc is available. is there.

また、実施例１でも述べた通り、ステレオカメラでは、ブロックマッチングを用いて視差を算出するが、算出の精度を向上させるためにカメラ特有のレンズ歪みを補正する歪み補正処理を基準画像と比較画像に適応して、画像座標（ｖ、ｕ）を修正する場合が多い。歪み補正処理のためにはカメラ独自の歪み係数と呼ばれるカメラパラメータを利用し、三次元計測装置１ではこの歪み係数パラメータを補正する手段としても使用できる。例えば、画像座標（ｖ、ｕ）を一般的な歪み補正の数式である（１４）式により補正する場合、カメラの歪み補正パラメータが５つ存在するため、これら５つのパラメータを更新し、三次元点群の座標値を再度計算することで、新たな視点変換画像を作成できる。なお（１４）式において、ひずみ補正後の画像座標（ｖ、ｕ）の表示について、記号ｖ、ｕの上部に波の形の記号を付して区別している。また（１４）式において、ｋ１、ｋ２、ｋ３、ｐ１、ｐ２は、ひずみ補正パラメータである。Further, as described in the first embodiment, in the stereo camera, the parallax is calculated using block matching. However, in order to improve the accuracy of the calculation, a distortion correction process for correcting camera-specific lens distortion is performed on the reference image and the comparative image. , The image coordinates (v, u) are often corrected. For the distortion correction processing, a camera parameter called a distortion coefficient unique to the camera is used, and the three-dimensional measuring apparatus 1 can be used as a means for correcting the distortion coefficient parameter. For example, when the image coordinates (v, u) are corrected by equation (14), which is a general equation of distortion correction, since there are five camera distortion correction parameters, these five parameters are updated and three-dimensionally corrected. By calculating the coordinate values of the point group again, a new viewpoint conversion image can be created. In equation (14), the display of the image coordinates (v, u) after the distortion correction is distinguished by adding a wave-shaped symbol above the symbols v and u. In addition (14), k 1, k 2, k 3, p 1, p 2 is a distortion compensation parameter.

Figure 2018229812
さらに、カメラパラメータの更新幅としては、特に限定せず、カメラの特性や経験則などにより決定しても良い。また、更新するカメラパラメータの種類としては、計測範囲における三次元点群の座標値を算出する際に使用するパラメータであれば、特に限定しない。
Figure 2018229812
 Further, the update width of the camera parameter is not particularly limited, and may be determined based on the characteristics of the camera and the rule of thumb. The type of the camera parameter to be updated is not particularly limited as long as the parameter is used for calculating the coordinate value of the three-dimensional point group in the measurement range.

本発明の実施例３では以上説明した機能構成により、カメラパラメータを更新して算出した物体の点群情報と、予め用意した物体形状モデルの点群情報を比較して、点群同士の一致度合が最大となるようカメラパラメータを随時更新することで、物体検出に必要な精度の三次元点群情報を算出可能なカメラパラメータを推定できる。   According to the third embodiment of the present invention, the degree of coincidence between the point groups is compared by comparing the point group information of the object calculated by updating the camera parameters with the point group information of the object shape model prepared in advance by the functional configuration described above. By updating the camera parameters at any time so that is maximized, it is possible to estimate camera parameters capable of calculating three-dimensional point group information with the accuracy required for object detection.

なお、実施例３では、実施例２のように、予め計測範囲を複数の三次元空間に分割しておき、空間ごとに最適なカメラパラメータを算出することで、新規に三次元点群情報が取得された際に、各空間における最適なカメラパラメータを用いて三次元点群の座標値を再度計算し直すという方法を用いても良い。   In the third embodiment, as in the second embodiment, the measurement range is divided into a plurality of three-dimensional spaces in advance, and optimal camera parameters are calculated for each space. When acquired, a method of recalculating the coordinate values of the three-dimensional point group using the optimal camera parameters in each space may be used.

本発明においては、実施例１、実施例２、実施例３のいずれか、またはその組み合わせ事例を用いることで、例えば、カメラの焦点距離やレンズ歪み係数の推定精度が低い場合においても、物体検出に必要な精度の三次元点群情報を取得できるため、後段に物体認識や物体追跡といった処理が追加された状況においても、高精度に処理を実施することが可能である。   In the present invention, by using any one of the first, second, and third embodiments or a combination thereof, for example, even when the estimation accuracy of the camera focal length or the lens distortion coefficient is low, the object detection can be performed. Since it is possible to acquire the three-dimensional point cloud information with the required accuracy, it is possible to perform the processing with high accuracy even in a situation where processes such as object recognition and object tracking are added at a later stage.

また、カメラを設置した時のみ本実施例１、２、３のいずれかの処理を実施するだけでなく、一定間隔ごとに処理を実施して三次元点群情報の補正パラメータを更新することで、監視用途などのような長時間の計測により発生し得る計測装置の経年劣化などの問題を解決できる。   In addition to performing the processing of any of the first, second, and third embodiments only when the camera is installed, the processing is performed at regular intervals to update the correction parameter of the three-dimensional point group information. In addition, it is possible to solve a problem such as aging of a measuring device which may occur due to long-time measurement such as a monitoring application.

また、本実施例１、２、３のいずれかを用いる場合、計測範囲の全ての三次元点群情報を補正するのではなく、例えば計測装置から一定距離離れた遠方の計測範囲に存在する三次元点群情報のみを補正するという手段を利用しても良い。   When any one of the first, second, and third embodiments is used, all three-dimensional point group information in the measurement range is not corrected. Means for correcting only the original point group information may be used.

なお、実施例１、実施例２、実施例３では三次元情報を計測する装置としてステレオカメラを利用する場合について説明したが、距離センサなどの計測範囲における三次元点群情報を取得できる装置であれば、特に限定しない。   In the first, second, and third embodiments, a case is described in which a stereo camera is used as a device for measuring three-dimensional information. However, a device that can acquire three-dimensional point group information in a measurement range such as a distance sensor is used. If there is, there is no particular limitation.

１：三次元計測装置，２：ステレオカメラ，２Ｒ、２Ｌ：カメラ（撮像装置），３：画像取得部，４：三次元点群情報取得部，５：物体点群情報抽出部，６：補正パラメータ算出部，７：点群情報補正部，１０：視差算出部，１１：三次元点群座標算出部 1: three-dimensional measurement device, 2: stereo camera, 2R, 2L: camera (imaging device), 3: image acquisition unit, 4: three-dimensional point group information acquisition unit, 5: object point group information extraction unit, 6: correction Parameter calculation unit, 7: Point group information correction unit, 10: Parallax calculation unit, 11: 3D point group coordinate calculation unit

Claims (17)

計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、該三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、前記撮像画像について前記計測対象の物体の点群情報を抽出する物体点群情報抽出部と、前記計測対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータにより前記計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。   A three-dimensional sensor that obtains a captured image including an object to be measured as three-dimensional information, a three-dimensional point cloud information obtaining unit that obtains three-dimensional information from the three-dimensional sensor as point cloud information, and the measurement of the captured image An object point cloud information extraction unit for extracting point cloud information of a target object, an object shape model database storing the shape of the object to be measured as an object shape model, and a point of the object shape model and the object to be measured. A correction parameter calculating unit configured to calculate a correction parameter for correcting the coordinates of the point group of the object from the group information; and a point group information correcting unit configured to correct the point group information of the object to be measured by the correction parameter. 3D measurement device. 請求項１に記載の三次元計測装置であって、
前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 1,
The three-dimensional sensor is a stereo camera including two cameras, and corrects internal parameters of the two cameras using a result of comparison between the object shape model and point cloud information of the object to be measured. 3D measurement device. 請求項１または請求項２に記載の三次元計測装置であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 1 or claim 2,
The three-dimensional measuring apparatus is characterized in that the object shape model representing the shape of the object to be measured stores the shape of the object to be measured as a shape as viewed from each of three-dimensional directions. 請求項１から請求項３のいずれか１項に記載の三次元計測装置であって、
前記補正パラメータ算出手段は、前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、３次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測装置。The three-dimensional measuring device according to any one of claims 1 to 3, wherein
The correction parameter calculating means estimates a correction parameter of the point group information of the object to be measured for each position in a three-dimensional space by comparing the object shape model with point group information of the object to be measured. A three-dimensional measuring device characterized by the following. 請求項１から請求項４のいずれか１項に記載の三次元計測装置であって、
前記補正パラメータ算出手段により得られた前記補正パラメータにより、前記物体点群情報抽出部で得られた点群情報を補正することを特徴とする三次元計測装置。The three-dimensional measuring device according to any one of claims 1 to 4, wherein
A three-dimensional measuring apparatus, wherein the point group information obtained by the object point group information extracting unit is corrected by the correction parameter obtained by the correction parameter calculating unit. 請求項１から請求項５のいずれか１項に記載の三次元計測装置であって、
前記補正パラメータ算出手段は、位置情報、物体の三次元点群情報の密度情報、三次元センサと物体の距離情報、物体から三次元センサへの方向情報の少なくとも１つ以上を用いて、物体の点群情報と物体形状モデルを対応付けることを特徴とする三次元計測装置。The three-dimensional measuring device according to any one of claims 1 to 5, wherein
The correction parameter calculation means uses at least one of position information, density information of the three-dimensional point group information of the object, distance information between the three-dimensional sensor and the object, and direction information from the object to the three-dimensional sensor to obtain the correction information of the object. A three-dimensional measuring apparatus, wherein point group information is associated with an object shape model. 請求項１から請求項６のいずれか１項に記載の三次元計測装置であって、
予め計測範囲を複数の三次元空間に分割した後、前記三次元空間ごとに補正パラメータ算出手段によって点群情報を補正可能な補正パラメータを算出することを特徴とする三次元計測装置。The three-dimensional measuring device according to any one of claims 1 to 6, wherein
A three-dimensional measuring apparatus, wherein a measurement range is divided into a plurality of three-dimensional spaces in advance, and then a correction parameter capable of correcting point group information is calculated by a correction parameter calculating unit for each of the three-dimensional spaces. 請求項７に記載の三次元計測装置であって、
分割された三次元空間ごとに前記パラメータにより点群情報を補正することを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 7,
A three-dimensional measuring apparatus, wherein point group information is corrected for each divided three-dimensional space by the parameter. 請求項１から請求項８のいずれか１項に記載の三次元計測装置であって、
前記三次元センサの情報を抽出する計測装置情報抽出手段と、抽出した前記三次元センサの情報と物体の点群情報と物体形状モデルから前記三次元センサのパラメータを補正する三次元センサパラメータ補正部を有することを特徴とする三次元計測装置。The three-dimensional measuring device according to any one of claims 1 to 8, wherein
Measuring device information extracting means for extracting the information of the three-dimensional sensor, and a three-dimensional sensor parameter correction unit for correcting the parameters of the three-dimensional sensor from the extracted information of the three-dimensional sensor, point cloud information of an object, and an object shape model A three-dimensional measuring device comprising: 請求項９に記載の三次元計測装置であって、
前記点群情報補正手段は、前記三次元センサパラメータ補正部によって補正された三次元センサのパラメータによって点群情報を補正することを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 9,
The three-dimensional measuring device, wherein the point group information correcting means corrects the point group information using the parameters of the three-dimensional sensor corrected by the three-dimensional sensor parameter correcting unit. 請求項９または請求項１０に記載の三次元計測装置であって、
前記三次元センサは２台以上の撮像装置を使用したステレオカメラであることを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 9 or claim 10,
The three-dimensional sensor is a stereo camera using two or more imaging devices. 請求項１１に記載の三次元計測装置であって、
前記三次元センサパラメータ補正部によって補正されるパラメータが、歪み補正係数、焦点距離の少なくとも１つ以上であることを特徴とする三次元計測装置。The three-dimensional measuring device according to claim 11, wherein
The three-dimensional measurement device, wherein the parameter corrected by the three-dimensional sensor parameter correction unit is at least one of a distortion correction coefficient and a focal length. 計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、前記撮像画像について前記計測対象の物体の点群情報を抽出し、前記計測対象の物体の形状を物体形状モデルとして記憶し、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、前記補正パラメータにより前記計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。   Obtaining three-dimensional information from a three-dimensional sensor that obtains a captured image including the object to be measured as three-dimensional information as point cloud information, extracting point cloud information of the object to be measured with respect to the captured image, The shape of the object is stored as an object shape model, a correction parameter for correcting the coordinates of the point cloud of the object is calculated from the object shape model and the point cloud information of the object to be measured, and the measurement parameter is calculated based on the correction parameter. A three-dimensional measurement method, wherein point cloud information of an object is corrected. 請求項１３に記載の三次元計測方法であって、
前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測方法。The three-dimensional measurement method according to claim 13,
The three-dimensional sensor is a stereo camera including two cameras, and corrects internal parameters of the two cameras using a result of comparison between the object shape model and point cloud information of the object to be measured. 3D measurement method. 請求項１３または請求項１４に記載の三次元計測方法であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測方法。A three-dimensional measurement method according to claim 13 or claim 14,
The three-dimensional measurement method, wherein the object shape model representing the shape of the object to be measured stores the shape of the object to be measured as a shape when viewed from each of three-dimensional directions. 請求項１３から請求項１５のいずれか１項に記載の三次元計測方法であって、
前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、３次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測方法。The three-dimensional measurement method according to any one of claims 13 to 15, wherein
Three-dimensional measurement, wherein a correction parameter of the point group information of the object to be measured is estimated for each position in a three-dimensional space by comparing the point shape information of the object shape model and the point group information of the object to be measured. Method. 請求項１３から請求項１６のいずれか１項に記載の三次元計測方法であって、
前記補正パラメータにより、前記点群情報を補正することを特徴とする三次元計測方法。The three-dimensional measurement method according to any one of claims 13 to 16, wherein
A three-dimensional measurement method, wherein the point group information is corrected by the correction parameter.
JP2019524550A 2017-06-12 2017-06-12 3D measuring device and method Active JP6845929B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021587 WO2018229812A1 (en) 2017-06-12 2017-06-12 Three-dimensional measurement device and method

Publications (2)

Publication Number Publication Date
JPWO2018229812A1 true JPWO2018229812A1 (en) 2020-02-27
JP6845929B2 JP6845929B2 (en) 2021-03-24

Family

ID=64659013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019524550A Active JP6845929B2 (en) 2017-06-12 2017-06-12 3D measuring device and method

Country Status (2)

Country Link
JP (1) JP6845929B2 (en)
WO (1) WO2018229812A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039426A (en) * 2019-08-30 2021-03-11 株式会社東芝 Estimation apparatus, estimation method and program
WO2022009602A1 (en) * 2020-07-08 2022-01-13 ソニーグループ株式会社 Information processing device, information processing method, and program
US20240103133A1 (en) * 2021-03-17 2024-03-28 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and sensing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (en) * 2002-02-18 2003-10-31 Topcon Corp Apparatus, method and chart for calibration as well as result diagnostic device
JP2013246490A (en) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> Estimation device, estimation method and computer program
JP2014063475A (en) * 2012-08-28 2014-04-10 Canon Inc Information processor, information processing method, and computer program
JP2017040549A (en) * 2015-08-19 2017-02-23 シャープ株式会社 Image processing device and error determination method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (en) * 2002-02-18 2003-10-31 Topcon Corp Apparatus, method and chart for calibration as well as result diagnostic device
JP2013246490A (en) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> Estimation device, estimation method and computer program
JP2014063475A (en) * 2012-08-28 2014-04-10 Canon Inc Information processor, information processing method, and computer program
JP2017040549A (en) * 2015-08-19 2017-02-23 シャープ株式会社 Image processing device and error determination method

Also Published As

Publication number Publication date
JP6845929B2 (en) 2021-03-24
WO2018229812A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
JP7134012B2 (en) Parallax estimation device and method
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
JP5671281B2 (en) Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus
US10733751B2 (en) Displacement detecting apparatus and displacement detecting method
JP2004340840A (en) Distance measuring device, distance measuring method and distance measuring program
JPWO2013133129A1 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
JP6845929B2 (en) 3D measuring device and method
KR20120011653A (en) Image processing apparatus and method
JP2016157188A (en) Attitude estimation model generation device and attitude estimation device
JP6282377B2 (en) Three-dimensional shape measurement system and measurement method thereof
JP6396499B2 (en) Scale measurement of 3D information
JP5976089B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, and program
US12033406B2 (en) Method and device for identifying presence of three-dimensional objects using images
KR102533909B1 (en) A multi-view camera-based iterative calibration method for the generation of a 3D volume model
JP2016099318A (en) Stereo matching device, stereo matching program, and stereo matching method
KR101538014B1 (en) Converting method photographic images to 3d images through 3d modeling
JP5727969B2 (en) Position estimation apparatus, method, and program
CN109902695B (en) Line feature correction and purification method for image pair linear feature matching
JP5656018B2 (en) Sphere detection method
JP6198104B2 (en) 3D object recognition apparatus and 3D object recognition method
KR20170001448A (en) Apparatus for measuring position of camera using stereo camera and method using the same
Nakazato et al. FPGA-based stereo vision system using census transform for autonomous mobile robot
WO2019116518A1 (en) Object detection device and object detection method
JP5457976B2 (en) 3D shape acquisition apparatus and 3D shape acquisition program
JP2018032144A5 (en)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210226

R150 Certificate of patent or registration of utility model

Ref document number: 6845929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150