JP4511147B2 - Three-dimensional shape generator - Google Patents

Three-dimensional shape generator Download PDF

Info

Publication number
JP4511147B2
JP4511147B2 JP2003344837A JP2003344837A JP4511147B2 JP 4511147 B2 JP4511147 B2 JP 4511147B2 JP 2003344837 A JP2003344837 A JP 2003344837A JP 2003344837 A JP2003344837 A JP 2003344837A JP 4511147 B2 JP4511147 B2 JP 4511147B2
Authority
JP
Japan
Prior art keywords
camera
image
unit
dimensional shape
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2003344837A
Other languages
Japanese (ja)
Other versions
JP2005115420A (en
Inventor
和郎 岩根
Original Assignee
株式会社岩根研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社岩根研究所 filed Critical 株式会社岩根研究所
Priority to JP2003344837A priority Critical patent/JP4511147B2/en
Publication of JP2005115420A publication Critical patent/JP2005115420A/en
Application granted granted Critical
Publication of JP4511147B2 publication Critical patent/JP4511147B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カメラで得られる動画又は連続静止画の映像に基づいて、対象物の三次元形状を求め、三次元地図を生成する三次元形状生成装置に関する。 The present invention is based on the moving image or continuous still images of the video obtained by the camera obtains a three-dimensional shape of the object, relates to a three-dimensional shape generation apparatus for generating a three-dimensional map.
特に、本発明は、高価な機器や膨大な手間と費用などを必要とすることなく、簡易かつ高精度に対象物の三次元形状を求めて三次元地図を生成することができる三次元形状生成装置に関する。 In particular, the present invention is, without the need for an expensive equipment and massive labor and cost, the three-dimensional shape generation capable of generating a three-dimensional map determined the three-dimensional shape of the object easily and accurately apparatus on.

カーナビゲーション装置などにおいては、対象物を三次元的に表示する三次元地図の生成技術が利用されている。 In car navigation device, generation technique of a three-dimensional map for displaying the object three-dimensionally are used. 三次元地図では、例えば道路や建物などの対象物について高さ方向を含む立体的な三次元情報が表示されるため、対象物を容易かつ正確に把握することができ、二次元地図では得られない有用な地図情報が得られるようになる。 The three-dimensional map, for example for stereoscopic three-dimensional information, including the height direction for objects such as roads and buildings are displayed, it is possible to grasp the object easily and accurately, resulting in the two-dimensional map no useful map information so obtained.
従来の三次元地図生成の技術としては、航空機からレーザーなどで地表を測量し、地表の三次元データを取得して、地上から撮影した視差による三次元データと組み合わせて詳細部分を計測し、それから3DCG(コンピュータグラフィックス)を生成し、さらに地上から撮影した対象物のテクスチャーを切り取って3DCGに貼り付ける等の処理によって生成していた(特許文献1−3参照。)。 As a technique of a conventional three-dimensional map generated, to survey the surface with a laser from the aircraft, to obtain the surface of the three-dimensional data, and measure the details of combined three-dimensional data by parallax taken from the ground, then 3DCG generates (computer graphics), it was produced by processing such as pasting the 3DCG cut texture of the object taken further from the ground (see Patent Document 1-3.).

特開2000−066583号公報 JP 2000-066583 JP 特開2002−098538号公報 JP 2002-098538 JP 特開2003−114614号公報 JP 2003-114614 JP

上記のような従来の三次元地図の技術では、高価な機器を必要とし、しかも、膨大な手間と費用をかけなければ三次元地図を作成できないという問題があった。 In the conventional three-dimensional map techniques such as those described above, it requires expensive equipment, moreover, there is a problem that you can not create a three-dimensional map to be multiplied by the enormous amount of effort and expense.
ここで、通常の安価なカメラで撮影される映像であっても、映像は三次元情報を含んでおり、そこから三次元地図の生成に必要となる三次元情報を抽出することは可能であり、また、二台のカメラで撮影した視差から三次元情報を抽出することも可能であった。 Here, even a video image captured by a normal inexpensive cameras, video includes a three-dimensional information, it is possible to extract three-dimensional information necessary for generating a three-dimensional map from there , it was also possible to extract three-dimensional information from the parallax taken by two cameras. 従って、通常のカメラを車両などに搭載して移動しながら対象物を撮影し、そこから三次元情報を抽出して三次元地図を生成することは、理論上は可能である。 Accordingly, the normal camera objects photographed while moving in mounted on a vehicle, to produce a three-dimensional map by extracting three-dimensional information from which is theoretically possible.

しかしながら、単に通常のカメラで映像を撮影しただけでは、撮影するカメラが移動するために、揺れ等の外乱を受け、座標がぶれ、回転し、位置として安定な映像を取得,抽出できず、三次元情報を高精度に抽出することはできない。 However, merely by shooting the image in normal camera, because the camera to photograph moves, disturbed shaking etc., coordinates shake, rotate, obtains a stable image as the position can not be extracted, tertiary it is not possible to extract the original information with high accuracy.
特に、カメラ位置と視点角度は、カメラを搭載した車両等の移動につれて刻々変化するので、その三次元位置を精度良く計測できなければならない。 In particular, the camera position and view angle, because every moment changes as the movement of the vehicle or the like equipped with a camera must be able to accurately measure the three-dimensional position. また、カメラの3軸方向の移動を正確に抽出できなければ、精度の良い三次元地図を生成することはできない。 Also, to be able to accurately extract the movement in three axial directions of the camera, it is impossible to produce a three-dimensional map with good accuracy.
また、二台のカメラで撮影した視差からの三次元抽出では精度に限界があり、誤差を縮小する何等かの技術,手段が必要となる。 Further, there is a limit to the precision in three dimensions extracted from the parallax taken with two cameras, some kind of technology to reduce the error, the means required.

そこで、本願発明者は、鋭意研究の結果、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、さらに、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることにより、安価なカメラであっても、精度の良い三次元データを抽出し、高精度な三次元地図を生成し得ることに想到した。 Accordingly, the present inventors have made extensive research results, automatically detect a sufficient number of feature points from a plurality of frame images of a moving image, further, the characteristic points automatically tracked between frames, overlapping for a number of feature points by determining the angle of rotation and operation to the camera position with high accuracy, even inexpensive camera, extracting three-dimensional data with good accuracy, and conceived that can produce a highly accurate three-dimensional map.
すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、高価な機器を必要とせず、安価なカメラで、しかも原理的には一台のカメラで、車両に積載して周辺状況を撮影し、あるいは人がカメラを手に持って周囲を撮影し、その映像を解析して、そこから三次元情報を抽出して、画像処理技術により三次元形状を生成し、三次元地図を生成することができる三次元形状生成装置の提供を目的とする。 That is, the present invention has been proposed to solve the problem of the prior art have, without requiring expensive equipment, an inexpensive camera, yet in principle by a single camera, the vehicle loading and by photographing the surrounding conditions, or human shooting around in his hand the camera, analyzes the image, it extracts the three-dimensional information from it, by an image processing technique to generate a three-dimensional shape , and an object thereof is to provide a three-dimensional shape generation apparatus capable of generating a three-dimensional map.

上記目的を達成するため、本発明の三次元形状生成装置は移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、前記画像取得部で取得された画像を一時記録する画像記録部と、前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの3軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、前記ベクトル検出部で求められたカメラの三次元位置と3軸回転のカメラベクトルの各データを付加した全フレーム画像を記録するカメラベクトル付加画像記録部と、各フレーム画像及び各フレーム単位で得られたカメラベクトルに基づき、複数のフ To achieve the above object, the three-dimensional shape generation apparatus of the present invention includes an image acquisition unit that acquires an image from the camera to obtain a video or continuous still images provided to the moving body acquired by the image acquisition unit an image recording unit for temporarily recording an image from the image data read from the image recording unit, a three-dimensional position of a point or small area in correspondence with each frame, three-dimensional position and three axes of the camera of the camera the rotation overlap calculated in a plurality of frames, and the vector detecting section for obtaining the camera vector statistically processed as the distribution of the error is minimized, the three-dimensional position and three-axis rotation of the camera obtained by the vector detector a camera vector additional image recording unit for recording all the frame images obtained by adding the data of the camera vector on the basis of the camera vector obtained in the frame image and the frame, a plurality of full ーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する多重視差演算部と、前記多重視差演算部における対象物の三次元形状の生成を連続的に繰り返して、三次元形状を形成する三次元形状生成部と、を備える構成としてある。 Many parallax resulting from over-time images, or by using the average value of a number of optical flow obtained from a plurality of frame images, overlapping computation for micro surfaces each point in the image within the object, a three-dimensional shape of the object and multiplexing parallax calculation unit to be generated, the generation of three-dimensional shape continuously repeating of the object in the multiple parallax calculation section, it is constituted with a three-dimensional shape generation unit which forms a three-dimensional shape, a.

また、本発明の三次元形状生成装置は移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、前記画像取得部で取得された画像を一時記録する画像記録部と、前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの3軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、前記ベクトル検出部で求めたカメラベクトルから、元画像を補正するための補正信号を生成する補正信号生成部と、前記補正信号で補正された正規化画像を記録する正規化画像変換部と、各フレームでのカメラの三次元位置と、前記補正信号で補正された複数の正規化映 Further, the three-dimensional shape generation apparatus of the present invention includes an image acquisition unit that acquires an image from the camera to obtain a video or continuous still images provided to the moving body is temporarily recorded to the image acquired by the image acquisition unit an image recording unit, from the image data read from the image recording unit, a three-dimensional position of a point or small area in correspondence with each frame, the three-dimensional position and three-axis rotation of the camera of the camera a plurality of frames in duplicate operation, and the vector detecting section for obtaining the camera vector statistically processed as the distribution of the error is minimized, the camera vector obtained by the vector detecting unit, for generating a correction signal for correcting the original image a correction signal generation unit, and the normalized image converting unit that records the corrected normalized image in the correction signal, and the three-dimensional position of the camera in each frame, movies plurality of normalized corrected by said correction signal に基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する三次元形状生成部と、を備える構成としてある。 The basis, a number of parallax obtained from a plurality of frame images, or by using the average value of a number of optical flow obtained from a plurality of frame images, overlap calculation for small surfaces each point in the image object of the object a three-dimensional shape generator for generating a three-dimensional shape, it is constituted with a.

また、本発明の三次元形状生成装置は前記ベクトル検出部が、前記画像記録部から読み出された画像データにより、画像中に特徴点となるべき点又は小領域画像を自動抽出して自動指定する特徴点抽出部と、前記自動指定された特徴点の各フレーム間での対応関係を求める特徴点対応処理部と、前記対応関係が求められた特徴点の三次元位置座標及びカメラ位置を演算で求める特徴点・カメラ位置演算部と、前記特徴点の三次元位置を複数演算し、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をするとともに、誤差の大きい特徴点を検出してそれを削除し、他の特徴点に基づく再演算をし、全体の誤差を最小化する誤差最小化部と、を備える構成としてある。 Further, the three-dimensional shape generation apparatus of the present invention, the vector detecting section, the the image data read from the image recording unit, it should become a feature point in an image or a small area image is automatically extracted automatically a feature point extraction unit that specifies the feature point processor unit for determining the corresponding relationship between each frame of the automatic designated feature points, a three-dimensional position coordinates and camera positions of feature points wherein the correspondence relationship has been determined a feature point camera position calculation unit for determining by calculation, the three-dimensional position of the feature points several operations, together with the distribution of the position and the camera position of each feature point to the statistic processing so as to minimize large feature of the error remove it to detect point, the re-calculation based on other characteristic points, certain overall error as the structure and an error minimization unit that minimizes.

また、本発明の三次元形状生成装置は前記ベクトル検出部が、画像内の映像的に特徴がある特徴点を自動検出し、各フレーム画像内で当該特徴点の対応点を求め、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、所定の値にnとmを設定して単位演算を繰り返し、カメラから画像内の特徴点までの距離により特徴点を複数段に分類して、フレーム間隔mを、カメラから特徴点までの距離が遠いほど大きくなるように設定し、mによる特徴点の分類を複数オーバーラップさせながら、複数段階のmを設定し、画像の進行とともにnが連続的に進行し、演算を連続的に進行させ、nの進行とmの各段階で、同一特徴点について複数回重複演算して、各特徴点及びカメラ位置の誤差が Further, the three-dimensional shape generation apparatus of the present invention, the vector detecting section, the image to the feature points are characterized in an image automatically detects obtains the corresponding point of the feature point in each frame image, the camera vector focusing on the n-th and n + m-th two-frame images Fn and Fn + m as a unit operation used for the operation, repeated unit operation by setting n and m to a predetermined value, the distance from the camera to the feature point in the image classify the feature points in a plurality of stages by the frame interval m, and set so that the distance from the camera to the feature point increases farther, while multiple overlapping classification of feature points by m, a plurality of steps m set, n is continuously advanced with the progress of image, computed continuously allowed to proceed, at each stage of progression and m of n, multiple overlapping operation on the same feature point, the feature point and the camera error of position 最小になるようにスケール調整することにより統合し、距離演算を行い、誤差の分布が大きい特徴点を削除し、再演算することにより、各特徴点及びカメラ位置での演算の精度を上げるように構成してある。 Integrated by scaling to minimize performs distance calculation, delete the feature point distribution is large errors, by recalculation, to improve the accuracy of the calculation at each feature point and a camera position configure and Aru.

また、本発明の三次元形状生成装置は前記三次元形状生成部が、既に得られているカメラベクトルに基づき、フレーム画像内の小領域を移動しながら演算を繰り返して、画像内のすべての小領域について多数の視差を抽出し、その視差による重複演算により誤差の少ない三次元形状を生成する多重視差三次元形状生成部と、多重視差三次元形状生成部で生成された三次元形状を、カメラと同一の座標系に統合して三次元地図を出力する多重視差三次元形状出力部と、を備える構成としてある。 Further, the three-dimensional shape generation apparatus of the present invention, the three-dimensional shape generation section, based on the camera vector already obtained, by repeating the operation while moving the small region in the frame image, the image of all extracting a plurality of parallax for small regions, three-dimensional shape of the multi-parallax three-dimensional shape generator for generating a three-dimensional shape small error, which is generated by multiplexing parallax three-dimensional shape generation unit by overlapping operation by the parallax a certain multiplexed parallax three-dimensional shape output unit integrated into the same coordinate system and the camera outputs the three-dimensional map, a structure comprising a.

また、本発明の三次元形状生成装置は前記三次元形状生成部が、前記画像取得部で取得された映像を、所望の対象物の面に垂直になるカメラ視点からの映像に平面変換する指定方向平面変換処理部と、平面変換された映像により、ある領域内の映像のオプティカルフローを演算し、所望の目的平面のオプティカルフローを抽出する目的平面オプティカルフローの抽出指定部と、前記目的平面以外のオプティカルフローを排除する目的以外面排除部と、目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える平面形状及び座標取得部と、前記ある領域を移動しながら演算を繰り返して、領域内の所望の対象物のすべてについて、平面構成による三次元形状を生成する平面構成三次元形状生成部と、それらの平面構成による Further, the three-dimensional shape generation apparatus of the present invention, the three-dimensional shape generation unit, an image acquired by the image acquisition unit, a planar converted to images from the camera viewpoint to be perpendicular to the plane of the desired object a designated direction plane conversion processing unit, the images that are flat converted, calculates the optical flow of the image of a certain area, and the extraction designating section object plane optical flow extracting the optical flow of a desired object plane, the object plane and purpose other than the surface eliminating unit that eliminates the optical flows other than the object plane, and extracted as a plane having a shape and a planar shape and the coordinate acquiring unit gives the three-dimensional coordinates in the plane, while moving said certain area operation the repeated for all desired objects in the region, and the planar configuration the three-dimensional shape generation unit for generating a three-dimensional shape by a planar configuration, in accordance with their planar configuration 次元形状を三次元地図として出力する平面再構成三次元形状出力部と、を備える構成としてある。 A planar reconfigurable three-dimensional shape output unit for outputting the dimension shape as a three-dimensional map, it is constituted with a.

また、本発明の三次元形状生成装置は前記ベクトル検出部が、移動するカメラのベクトルを検出するとともに、カメラとは別に、移動する移動物体の移動ベクトルを、前記カメラベクトルと同じ方法により検出することで、移動するカメラからの移動物体のベクトルを検出しカメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出するように構成してある。 Further, the three-dimensional shape generation apparatus of the present invention is detected, the vector detecting unit detects a vector of the moving camera, the camera separately from the movement vector of the moving object moving, in the same manner as the camera vector doing, configured to detect the vector of the moving object from the moving camera by vector addition of the movement vector of the moving object and the moving vector of the detected camera, the orientation with respect to the stationary coordinate form of the moving object as a three-dimensional vector are you.

また、本発明の三次元形状生成装置は前記移動体に備えられるカメラとは別に又はそれを兼ねて、同じ移動体に備えられる複数のカメラからなり、視野が重複するように設定した視野重複カメラ部と、前記視野重複カメラ部で取得される同時刻の複数の画像を関連づけて記録する視野重複画像記録部と、前記視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する連続三次元画像生成部と、前記連続三次元画像生成部で得られた三次元画像を、前記ベクトル検出部から得られた移動するカメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する座標統合部と、統合された座標系で対象物及び周囲の三次元形状を生成する統合三次元形状生成部と、を Further, the three-dimensional shape generation apparatus of the present invention, the doubles separately or it is a camera provided to the mobile, a plurality of cameras provided in the same moving body, the field of view overlap was set to field of view overlap a camera unit, and the field of view overlapping the image recording unit for recording in association with the plurality of images at the same time acquired by the field of view overlapping the camera unit, obtained by calculation from a plurality of images at the same time that the above-field overlap, in a unit time a continuous three-dimensional image generating unit for generating a three-dimensional image consisting of specific coordinate system, the camera vector of the camera three-dimensional image obtained by the continuous three-dimensional image generating unit, to move obtained from the vector detecting section binds to, and coordinate integration unit that integrates and converts the common coordinate system and the mobile camera system, an integrated three-dimensional shape generator for generating the object and surrounding three-dimensional shape in an integrated coordinate system, the えた構成としてある。 E was there as a constituent.

さらに、本発明の三次元形状生成装置は前記移動体に備えられるカメラとして複数のカメラを備え、近距離の詳細データを必要とする部分を主に撮影する近距離部分詳細画像取得部と、前記複数のカメラで取得される、視野が一部重複するように設定された同時刻の複数の画像を関連して呼び出し可能な形で記録する並列画像記録部と、前記視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する近距離部分三次元形状生成部と、前記視野の重複する画像から視差を検出し、前記カメラを備えた移動体以外の他の移動物体を検出する他の移動物体検出部と、前記視野の重複する画像の視差データから、前記他の移動物体の視差データを排除する他の移動物体排除部と、前記三次元形状生成部と、前記近距離部分三 Furthermore, the three-dimensional shape generation apparatus of the present invention comprises a plurality of cameras as a camera provided in the movable body, a short-range partial detailed image acquiring unit for mainly capturing a portion that requires a short distance of detailed data, the acquired at a plurality of cameras, and the parallel image recording unit field of view recorded by the set plurality of images that can be related to calling the form at the same time so as to overlap partially, from overlapping images of the field of view detecting a parallax, and short-range partial three-dimensional shape generation unit that generates a detailed three-dimensional shape of the near portion, it detects a parallax from overlapping images of the field of view, other than the moving body with the camera the other moving object detection unit for detecting a moving object, the parallax data of overlapping images of the field of view, other and moving objects exclusion section that eliminates the parallax data of said other moving object, said three-dimensional shape generator , the short-range part three 元形状生成部とが重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する座標校正統合部と、統合されたデータを記録する統合座標記録部と、それら統合されたデータを表示する総合画像表示部と、を備える構成としてある。 From the three-dimensional shape of the object portion and the original shape generating section overlap, to calibrate the scale in actual length by parallax, a coordinate calibration integration unit that integrates the respective coordinate systems, integration of recording the integrated data and coordinate the recording unit, there are a total image display unit for displaying them integrated data, configured to include a.

そして、本発明の三次元地図生成装置は、本発明に係る三次元形状生成装置を備え、対象物の三次元形状を連続的に広範囲に生成することにより、三次元地図を生成するように構成してある。 Then, the three-dimensional map generating apparatus of the present invention comprises a three-dimensional shape generation apparatus according to the present invention, by continuously extensively generate a three-dimensional shape of the object, configured to generate a three-dimensional map are you.

以上のような本発明の三次元形状生成装置によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。 According to the three-dimensional shape generation apparatus of the present invention as described above, by automatically detecting a sufficient number of feature points from a plurality of frame images of the moving picture, automatically tracking feature points between each frame, a number of it can be obtained rotation angle and overlap calculated by the camera position about a feature point with high precision. 従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析してカメラ軌跡を三次元で求めることができる。 Thus, even normal inexpensive cameras, people photographed while moving with the camera, or a camera capturing the surroundings images from a vehicle or the like to move the load, in three dimensions the camera trajectory by analyzing the video it can be determined.
そして、その三次元カメラ位置を基準として、カメラ映像内の平面部分を多重視差やオプティカルフロー等から抽出し、平面をテクスチャー付きで抽出し、平面の三次元形状を再構成することで対象物の三次元形状を表現し、それを連続して実施することで三次元地図を生成することができる。 Then, based on the three-dimensional camera position, it extracts the flat portion of the camera image from the multi-focus difference and optical flow or the like, extracts a plane with a texture object by reconstructing a three-dimensional shape of the plane represent the three-dimensional shape, it is possible to generate a three-dimensional map by carrying it in succession.

これにより、従来技術のような高価な機器や膨大な手間と費用を必要とすることなく、安価かつ高精度に三次元地図を生成することができる。 Thus, it is possible to conventionally without the need for expensive equipment and enormous labor and expense, such as technology, to produce a three-dimensional map to inexpensively and with high accuracy.
なお、本発明は、移動するカメラによって得られる映像のみでなく、並列に設置した二台のカメラによる視差からの情報を併用することも勿論可能である。 The present invention is not only the image obtained by the moving camera, it is of course possible to combine the information from the disparity by two cameras installed in parallel.
例えば、移動するカメラで取得される映像によるだけでなく、並列に設置したカメラから取得された三次元画像と本発明を組み合わせることにより、固定されたカメラで取得された時間的に連続した三次元画像を、本発明によるカメラベクトルにより三次元的に統合し、一つの座標系に統合して表示することができる。 For example, not only by the video acquired by the moving camera, by combining the three-dimensional image and the present invention obtained from a camera installed in parallel, in time obtained by the fixed camera continuous three-dimensional image, integrating three-dimensionally by the camera vector according to the invention, it is possible to display integrated into a single coordinate system.

以下、本発明に係る三次元形状生成装置の好ましい実施形態について、図面を参照しつつ説明する。 Hereinafter, the preferred embodiments of the three-dimensional shape generation apparatus according to the present invention will be described with reference to the drawings.
ここで、以下に示す本発明の三次元形状生成装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。 Here, the three-dimensional shape generation apparatus of the present invention is described below, processing executed by a computer by an instruction of the program (software), means are realized by function. プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出,抽出した特徴点の自動追跡,特徴点の三次元座標の算出,カメラベクトルの演算等を行わせる。 The program sends a command to each component of a computer, shown below such predetermined processing and functions, for example, automatic extraction of characteristic points, automatic tracking of the extracted feature points, calculation of the three-dimensional coordinates of the feature points, the camera to perform arithmetic operations in vector. このように、本発明の三次元形状生成装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。 Thus, each process and means of the three-dimensional shape generation apparatus of the present invention is adapted to program and the computer can be realized by cooperating with the specific means.
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。 Incidentally, the whole or part of the program, for example, a magnetic disk, an optical disk, a semiconductor memory, is provided by a readable recording medium in any other computer, the program read out from the recording medium is installed and executed on the computer that. また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。 The program, without using the recording medium, can be directly loaded into the computer run through a communication line.

[第一実施形態] First Embodiment
まず、図1〜図12を参照して、本発明に係る三次元形状生成装置の第一実施形態について説明する。 First, with reference to FIGS. 1 to 12, it will be described first embodiment of a three-dimensional shape generation apparatus according to the present invention.
図1は、本発明の第一実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 1 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a first embodiment of the present invention.
同図に示す本実施形態に係る三次元形状生成装置10は、所望の対象物についての三次元情報を生成するために、例えば、移動する車両に積載したカメラ、(原理的には一台のカメラでよい)を用い、その移動による座標の変化を精度良く抽出するようにしてある。 The three-dimensional shape generation apparatus 10 according to the embodiment shown in the figure, in order to generate a three-dimensional information about the desired object, for example, camera loaded on a moving vehicle, of the single in (theoretically used may be a camera), are the changes in the coordinates by the movement so as to accurately extract.
カメラ座標を精度良く抽出するには、画像内の映像的な特徴点を検出し、その移動を追跡する技術を用いる。 To extract the camera coordinate accurately detects an image feature points in the image, using the technique to track its movement. 特徴点の検出を自動化し、追跡も自動化することで、手作業による作業を大幅に省略することができる。 The detection of the feature point automate tracking also be automated, it is possible to omit significant work manual.

ここで、画像内の特徴点からカメラ位置を求めるには、例えば、同時に6〜7点以上の特徴点があるように、特徴点を画像内で追跡する。 Here, in order to determine the camera position from the feature points in the image, for example, as there are 6-7 points or more feature points simultaneously, to track the feature point in the image. そして、それらの特徴点に対してエピポーラ幾何学を用い、カメラ位置を演算により求めることができるが、6〜7点程度の特徴点では、得られるカメラ位置の精度は不十分なものとなる。 Then, using the epipolar geometry for those feature points, but the camera position can be obtained by calculation, in an aspect of the order of 6 to 7 points, the accuracy of the camera position obtained becomes insufficient.
そこで、本実施形態では、抽出,追跡する特徴点の数を十分に多くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフレーム数を得るようにしてある。 Therefore, in this embodiment, the extraction, and sufficiently large number of feature points to be tracked also acquires multiple parallax by using a sufficient number of frames, is then to obtain a number superabundant feature point and the frame . 有り余る特徴点と有り余るフレーム数による多重視差を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め、そこから統計処理により、精度の高いカメラ位置を三次元座標として求めるようにする。 Using multiple parallax by the number of frames abundance and feature points to spare, by performing statistical processing, duplicate repeated operation, obtains the error distribution of the camera position, by statistical processing from there, as a three-dimensional coordinate the accurate camera position ask to. このようにすることで、各フレームのカメラ位置は高精度で求められる。 In this way, the camera position of each frame is determined with high precision. カメラ位置が高精度で求められれば、その後は、視差から三次元座標を求める技術で、画像内の全画素についての三次元座標が得られる。 As long sought by the camera position is accurate, then, in the technique for obtaining the three-dimensional coordinates from the parallax, the three-dimensional coordinates for all pixels in the image.

具体的には、図1に示すように、三次元形状生成装置10は、画像取得部11と、画像記録部12と、ベクトル検出部13と、カメラベクトル付加画像記録部14と、多重視差演算部15と、三次元形状生成部16を備えている。 Specifically, as shown in FIG. 1, the three-dimensional shape generation apparatus 10 includes an image acquisition unit 11, an image recording section 12, a vector detecting unit 13, a camera vector additional image recording unit 14, the multi-focus difference a calculation unit 15, and a three-dimensional shape generation section 16.
画像取得部11は、例えば、車両などの移動体に積載されたカメラや、人が手に持って移動するカメラによって撮影される動画若しくは連続静止画の映像を取得する。 Image acquisition unit 11, for example, a camera or stacked in a mobile object such as a vehicle, a person obtains the moving or successive still images of the video is captured by a camera moving in hand. なお、カメラが備えられる移動体(移動物体)としては、移動する人,自動車,船舶,航空機,ロボット,移動する機械等が含まれる。 As the mobile camera is provided (moving object), who moves, automobiles, ships, include aircraft, robot, moving machines, etc.
画像記録部12は、画像取得部11で取得した画像を一時記録する。 The image recording section 12 temporarily records the image acquired by the image acquisition unit 11.
カメラベクトル検出部13は、画像記録部12から読み出された画像データより、各フレームで対応関係にある点の、若しくは対応関係にある小領域の三次元位置、及びカメラの三次元位置とカメラの3軸回転等を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理して精度良く求める。 Camera vector detection unit 13, from the image data read from the image recording unit 12, a point in correspondence with each frame, or three-dimensional position of the small region in the corresponding relationship, and the camera of the three-dimensional position and the camera 3 axial rotation such overlapping operations in a plurality of frames, accurately obtained by statistical processing as the distribution of error is minimized.
このベクトル検出部13については、図3以下を参照しつつ後に詳述する。 This vector detection unit 13 will be described later with reference to Figure 3 below.

カメラベクトル付加画像記録部14は、ベクトル検出部13で得られたカメラの三次元位置と3軸回転のカメラベクトルの各データを付加した全フレーム画像を記録する。 Camera vector additional image recording unit 14 records the entire frame image to which the data of the camera vector of the three-dimensional position and three-axis rotation of the camera obtained by the vector detecting unit 13.
多重視差演算部15は、各フレーム単位で得られたカメラベクトルと、各フレーム画像とから、複数のフレーム画像から得られる十分に多くの視差、若しくは複数のフレーム画像から得られる十分に多くのオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する。 Multi emphasis difference calculation section 15, a camera vector obtained in units of frames, from each frame image, a sufficiently large number obtained from a plurality of frame images parallax, or a plurality of frame images sufficiently large resulting using the average value of the optical flow, overlapping computation for micro surfaces each point in the image within the object, to generate a three-dimensional shape of the object.
三次元形状生成部16は、多重視差演算部15で行われる対象物の形状の生成を連続的に繰り返して、三次元形状を形成する。 Three-dimensional shape generator 16, the generation of the shape of the object performed by the multi-focus-difference calculation section 15 continuously repeated to form a three-dimensional shape.

以上のような構成からなる三次元形状生成装置10では、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。 In the three-dimensional shape generation apparatus 10 consists of above configuration, it obtains an image by the in-vehicle camera or the like, sufficiently using a number of points in the corresponding relationship between frames, obtains the camera vector at high precision operation. 原理的には6点乃至7点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、100点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。 Although in principle the obtained three-dimensional coordinates if the feature points 6 points to 7 points, in the present embodiment, for example, by using a sufficient number of points of about 100 points, determine the distribution of the solution, that obtains each vector by statistical processing from the distribution, the results obtains the camera vector as.
このようにして求められたカメラの三次元位置とカメラの3軸回転から、それを各フレーム画像にデータとして付加し、複数のフレーム画像から得られる複数の視差、即ち多重視差と、既に取得しているカメラの三次元位置から、対象物の三次元形状を演算で求めることができる。 This way, the three-axis rotation of the three-dimensional position and the camera of the camera obtained, by adding it as data in each frame image, a plurality of parallax obtained from a plurality of frame images, that is, the multiplexing parallax, already acquired from to have three-dimensional position of the camera, it is possible to obtain a three-dimensional shape of the object in operation. このようにして、対象物の三次元形状を取得できる。 In this way, we obtain the three-dimensional shape of the object.

以上のような三次元形状生成装置10によれば、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求め、カメラベクトルから、撮影した対象物の三次元形状を求めることができる。 According to the three-dimensional shape generation apparatus 10 described above, not only the vehicle-mounted camera, for example, wielding the camera freely person in hand, shooting an object, calculating the camera vector from the video after shooting in determined from the camera vector, it is possible to determine the three-dimensional shape of the photographed object.
そして、以上の処理を繰り返すことで、広範囲の三次元形状、即ち三次元地図が生成されることになる。 Then, by repeating the above process, so that a wide range of three-dimensional shape, namely the three-dimensional map is generated.
図2に、本実施形態で生成される三次元形状(三次元地図)の表示例を示す。 Figure 2 shows a display example of a three-dimensional shape (three-dimensional map) which is generated in the present embodiment.

次に、図1で示した三次元形状生成装置10のベクトル検出部13の詳細について説明する。 Next, details of the vector detecting portion 13 of the three-dimensional shape generation apparatus 10 shown in FIG.
図3は、本発明の第一実施形態に係るベクトル検出部20(図1に示すベクトル検出部13)の概略構成を示すブロック図である。 Figure 3 is a block diagram showing the schematic configuration of the vector detecting unit 20 according to the first embodiment of the present invention (vector detecting unit 13 shown in FIG. 1).
同図に示すように、ベクトル検出部20は、特徴点抽出部21と、特徴点対応処理部22と、特徴点・カメラ位置演算部23と、誤差最小化部24を備えている。 As shown in the figure, the vector detecting unit 20, a feature point extraction unit 21, a feature point correspondence processing unit 22, a feature point camera position calculating unit 23, and an error minimization unit 24.

特徴点抽出部21は、三次元形状生成装置10の画像記録部12から読み出された画像データにより、記録した画像の中に、特徴点となるべき小領域画像を自動抽出して自動指定する。 Feature point extraction unit 21, the image data read from the image recording unit 12 of the three-dimensional shape generation apparatus 10, in a recorded image, and automatically specified automatically extracted small region image to be the feature point .
特徴点対応処理部22は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。 Feature point processor unit 22, a feature point is automatically extracted, by automatically tracking within each frame images between each frame automatically obtains the corresponding relationship.
特徴点・カメラ位置演算部23は、対応関係が求められた特徴点の三次元位置座標を求めるとともに、特徴点の三次元位置から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。 Feature point camera position calculation unit 23, together determine the three-dimensional position coordinates of the feature point correspondence is determined, automatically determine the camera vector corresponding to each frame image from the three-dimensional position of the feature point in the operation.
誤差最小化部24は、複数の特徴点の演算により、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をし、さらに誤差の大きい特徴点を検出して、それを削除し、再演算をすることで、全体の誤差を最小化する。 Error minimizing section 24, by the operation of a plurality of feature points, and the position and statistically treated to distribution becomes minimum camera position of each feature point, and further detects a large characteristic point of the error, remove it and, by recalculation, to minimize the total error. これにより、複数のカメラベクトルの解の分布が最小になるように統計処理された誤差の最小化処理を施したカメラ位置方向が自動的に決定される。 Thus, the camera position direction distribution of the solution was subjected to minimize processing errors are statistically processed so as to minimize a plurality of camera vector is automatically determined.

複数の画像(動画又は連続静止画)の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図3に示す本実施形態のベクトル検出部20では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び3軸回転ベクトルを求めるようにしてある。 There are several ways to detect a camera vector from the feature point of the plurality of images (video or continuous still images), but in the vector detecting unit 20 of this embodiment shown in FIG. 3, the image sufficiently large to the feature point number is automatically extracted, it is possible to automatically track, the epipolar geometry, are to determine a three-dimensional vector and the three-axis rotation vector of the camera.
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。 By taking sufficiently large number of feature points, will be the camera vector information is duplicated, the error from the redundant information by minimization can be obtained more accurate camera vector.

ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。 Here, the camera vector, refers to the vector of degrees of freedom with the camera.
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。 In general, three-dimensional object at rest has position coordinates (X, Y, Z) and the rotation angle of each of the coordinate axes ([Phi] x, [phi] y, .phi.z) the six degrees of freedom. 従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。 Therefore, camera vector refers positional coordinates of the camera (X, Y, Z) and the rotation angle of each of the coordinate axes ([Phi] x, [phi] y, .phi.z) a vector of six degrees of freedom. なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。 Note that when the camera moves, even although entering direction of movement freedom, which can be derived by differentiating the six degrees of freedom mentioned above.
このように、本実施形態のベクトル検出部20によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。 Thus, detection of the camera vector by vector detector 20 of the present embodiment, the camera that takes a value of six degrees of freedom for each frame, determining the six degrees of freedom that is different for each frame is there.

以下、ベクトル検出部20における具体的なカメラベクトルの検出方法について、図4以下を参照しつつ説明する。 Hereinafter, a method for detecting specific camera vector in the vector detecting unit 20 will be described with reference to FIG. 4 below.
まず、特徴点抽出部21で、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理部22で、複数のフレーム画像間で特徴点の対応関係を自動的に求める。 First, the feature point extraction unit 21, suitably in the frame image obtained by sampling, a point or small area image to the feature point is automatically extracted, the feature point processor unit 22, the feature point between a plurality of frame images automatically determine the corresponding relationship. 具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。 Specifically, as a reference for detection of the camera vector, obtaining a sufficiently number or more feature points required. 画像間の特徴点とその対応関係の一例を、図4〜図6に示す。 Feature points between the images and an example of such correspondence is shown in FIGS. 4 to 6. 図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図6に示す対応点1〜4参照)。 A feature point "+" is automatically extracted in the figure corresponding relationship between a plurality of frame images are automatically tracked (see corresponding points 1-4 shown in FIG. 6).
ここで、特徴点の抽出は、図7に示すように、各画像中に充分に多くの特徴点を指定,抽出することが望ましく(図7の○印参照)、例えば、100点程度の特徴点を抽出する。 Here, the feature point extraction, as shown in FIG. 7, specify a sufficiently large number of feature points in each image, it is desirable to extract (see ○ mark in FIG. 7), for example, about 100 points, wherein to extract the point.

続いて、特徴点・カメラ位置演算部23で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。 Subsequently, the feature point camera position calculating unit 23, the three-dimensional coordinates of the extracted feature points is determined by calculation, the camera vector is determined by calculation based on the three-dimensional coordinates. 具体的には、特徴点・カメラ位置演算部23は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの3軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する 本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。 Specifically, the feature point camera position calculating unit 23 is present between the consecutive frames, a position of a sufficient number of features, the position vector between moving camera, three-axis rotation vector of the camera, each camera such position and connecting points, wherein each vector, in the present embodiment for continuously calculated by calculating the relative value of the various three-dimensional vector, for example, camera motion by solving the epipolar equation from epipolar geometry of 360 degrees all around the image It is adapted to calculate the (camera position and the camera rotation).

図6に示す画像1,2は、360度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像1上の点は(θ1,φ1)、画像2上の点は(θ2,φ2)となる。 Image 1 and 2 shown in FIG. 6 is a 360-degree image the entire circumference image was Mercator deployed, the latitude phi, and mild theta, is a point on the image 1 (.theta.1, .phi.1), points on the image 2 ( θ2, the φ2). そして、それぞれのカメラでの空間座標は、z1=(cosφ1cosθ1,cosφ1sinθ1,sinφ1)、z2=(cosφ2cosθ2,cosφ2sinθ2,sinφ2)である。 Then, the spatial coordinates of each camera, z1 = (cosφ1cosθ1, cosφ1sinθ1, sinφ1), z2 = (cosφ2cosθ2, cosφ2sinθ2, sinφ2) is. カメラの移動ベクトルをt、カメラの回転行列をR、とすると、z1 T [t]×Rz2=0がエピポーラ方程式である。 The movement vector of the camera t, when the rotation matrix of the camera R, that, z1 T [t] × Rz2 = 0 is the epipolar equation.
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。 By providing a sufficient number of feature points, it is possible to calculate the t and R as a solution by the least square method by linear algebra. この演算を対応する複数フレームに適用し演算する。 Applying calculates the operation to a corresponding plurality of frames.
なお、図6は、ベクトル検出部20における処理を理解し易くするために、1台または複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のベクトル検出部20では、必ずしもメルカトール図法による展開画像である必要はない。 6 shows, in order to facilitate understanding of the process in the vector detecting section 20, expand one or a plurality 360 ° images taken with the camera and synthesis of the spherical images of the entire circumference at the Mercator projection as referred to map projection while indicating those, the actual vector detecting section 20 need not be the developed image by the Mercator projection.

次に、誤差最小化部24では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。 Next, the error minimizing section 24, the number of the plurality of camera positions and a plurality of feature points corresponding to each frame, by computing equations generated plurality of ways, and determined a vector based on the feature points calculated plurality of ways, distribution of the position and the camera position of each feature point by the statistical processing so as to minimize, obtain a final vector. 例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt 法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。 For example, the camera position of the plurality of frames, the camera rotation and a plurality of feature points to estimate the optimal solution of the least square method by Levenberg-Marquardt method, the camera position and converging the error, the camera rotation matrix, determine the coordinates of the feature points .
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。 Furthermore, it removes connexion to a large characteristic point distribution of the error, by recalculation on the basis of the other feature points, to raise the accuracy of the calculation at each feature point and the camera position.
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。 In this manner, it is possible to accurately obtain the position and the camera vector of the feature point.

図8〜図10に、ベクトル検出部20により得られる特徴点の三次元座標とカメラベクトルの例を示す。 Figure 8-10 shows an example of the three-dimensional coordinates and the camera vector of the feature point obtained by the vector detecting unit 20. 図8〜図10は、本実施形態のベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。 8 to 10 are explanatory views showing a vector detection method of the present embodiment, is a diagram showing the relative positional relationship between the camera and the object obtained by the plurality of frame images captured by a moving camera .
図8では、図6の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトルが示されている。 8, the three-dimensional coordinates of the characteristic points 1-4 shown in the images 1 and 2 in FIG. 6, a camera vector moving between images 1 and 2 are shown.
図9及び図10は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。 9 and 10 are the position of the camera which moves sufficiently many locations obtained feature points by the feature point and the frame image is shown. 同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。 In FIG, ○ mark to be continuously straight in the graph center a camera position, ○ mark located around indicates the position and height of the feature point.

ここで、ベクトル検出部における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図11に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。 Here, the operation in the vector detecting unit, in order to obtain a more three-dimensional information of accurate feature points and the camera position at a high speed, as shown in FIG. 11, a plurality of feature points according to the distance of the feature point from the camera set, to perform repeated a plurality of operation.
具体的には、ベクトル検出部は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返す。 Specifically, the vector detecting section, the image to automatically detect feature points in the video to features, when obtaining the corresponding points of the feature points in each frame image, and n-th use in the camera vector calculation n + m-th focusing on two frame images Fn and Fn + m as a unit operation is repeated a unit operation that appropriately setting the n and m.
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。 m is a frame interval, the feature points are classified into a plurality of stages depending on the distance from the camera to the feature points in the image, the distance from the camera to the feature point set to m increases farther, feature points from a camera distance to is set so as m becomes smaller closer. このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。 To this way, the farther the distance to the feature point from the camera, because the change in position between the image is small.

そして、特徴点のm値による分類を、十分にオーバーラップさせながら、複数段階のmを設定し、画像の進行とともにnが連続的に進行するのにともなって、演算を連続的に進行させる。 Then, the classification by m values ​​of feature points, while fully overlapped, set the m multiple stages, with in n progresses continuously with the progress of image, continuously advancing the operation. そして、nの進行とmの各段階で、同一特徴点について複数回重複演算を行う。 Then, at each stage of progression and m of n, a plurality of times overlap operation for the same feature points.
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。 In this way, by performing a unit operation focusing on the frame images Fn and Fn + m, in between the frames sampled every m sheets (between frames are dropped frames), calculates the precise camera vector over a long time and, in the m frames between frame images Fn and Fn + m (minimum unit frame), it may be a simple operation performed in a short time process.

m枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたFnとFn+mのカメラベクトルと重なることになる。 If there is no error in the precision camera vector calculation m sheets each, both ends of the camera vector of the m frames will overlap with the camera vector of Fn and Fn + m in which the high-precision operation. 従って、FnとFn+mの中間のm枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたFnとFn+mのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。 Thus, determined by simple calculation for frames Fn and Fn + intermediate m sheets minimum unit of m, both ends of the camera vector of the m sheets minimum unit frame obtained by the simple operation, Fn and Fn + m determined with high precision operation to match the camera vector, it is possible to scale the adjustment of m sheets of continuous camera vector.
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。 Thus, while seeking camera vector of error-free high precision, by combining simple operation, so that the processing speed can be increased.

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では100個以上の多くの特徴点を用いる場合に、簡易演算では最低限の10個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。 Here, the simplified computing, there are various ways depending on the accuracy, for example, (1) in the case of using a lot of characteristic points of 100 or more is a precision operation, the minimum order of 10 pieces in the simplified computing a method using feature points, (2) even as the number of the same feature point, given the feature points and the camera position equivalent, there countless triangle satisfied, since the equation of that number is met, by reducing the number of equations can be simplified calculation.
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。 Thus, integrated in the form of an error of the feature points and the camera position is scaled to minimize performs distance calculation, further, it deletes the feature point distribution is large errors, other features as required by re-calculating the point, it is possible to improve the accuracy of calculation at each feature point and the camera position.

そして、このように求められたカメラベクトルは、生成された三次元地図中に表示することができる。 Then, the camera vector obtained in this way can be displayed in three-dimensional in the map generated.
例えば、図12に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。 For example, as shown in FIG. 12, and the video from the in-vehicle camera planar development, the corresponding point on the object plane in each frame image searched automatically, the object plane bonded to match the corresponding points to generate a combined image, and displays integrated into the same coordinate system. そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。 Then, it is possible that a common coordinate system of the camera position and the camera direction is detected one after another into the, we plotted the position and direction, the trajectory.

以上説明したように、本実施形態に係る三次元形状生成装置によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。 As described above, according to the three-dimensional shape generation apparatus according to the present embodiment, a sufficient number of feature points from a plurality of frame images of the moving image to automatically detect, to automatically track the feature points between each frame It makes it possible to calculate the rotation angle and overlap calculated by the camera position for a number of feature points with high accuracy. 従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析してカメラ軌跡を三次元で求めることができる。 Thus, even normal inexpensive cameras, people photographed while moving with the camera, or a camera capturing the surroundings images from a vehicle or the like to move the load, in three dimensions the camera trajectory by analyzing the video it can be determined.
そして、その三次元カメラ位置を基準として、カメラ映像内の平面部分を多重視差やオプティカルフロー等から抽出し、平面をテクスチャー付きで抽出し、平面の三次元形状を再構成することで対象物の三次元形状を表現し、それを連続して実施することで三次元地図を生成することができる。 Then, based on the three-dimensional camera position, it extracts the flat portion of the camera image from the multi-focus difference and optical flow or the like, extracts a plane with a texture object by reconstructing a three-dimensional shape of the plane represent the three-dimensional shape, it is possible to generate a three-dimensional map by carrying it in succession.

これにより、従来技術のような高価な機器や膨大な手間と費用を必要とすることなく、安価かつ高精度に三次元地図を生成することができる。 Thus, it is possible to conventionally without the need for expensive equipment and enormous labor and expense, such as technology, to produce a three-dimensional map to inexpensively and with high accuracy.
なお、本実施形態に係る三次元形状生成装置は、移動するカメラによって得られる映像のみでなく、並列に設置した二台のカメラによる視差からの情報を併用することも勿論可能である。 Incidentally, the three-dimensional shape generation apparatus according to the present embodiment, not only the image obtained by the moving camera, it is of course possible to combine the information from the disparity by two cameras installed in parallel. 例えば、移動するカメラで取得される映像によるだけでなく、並列に設置したカメラから取得された三次元画像と本実施形態を組み合わせることにより、固定されたカメラで取得された時間的に連続した三次元画像を、本実施形態によるカメラベクトルにより三次元的に統合し、一つの座標系に統合して表示することができる。 For example, not only by the video acquired by the moving camera, by combining the three-dimensional image and the present embodiment is obtained from the camera installed in parallel, tertiary that are temporally consecutive acquired at a fixed camera the original image, three-dimensionally integrated with the camera vector according to the present embodiment, it is possible to display integrated into a single coordinate system.

[第二実施形態] Second Embodiment
次に、本発明に係る三次元形状生成装置の第二実施形態について、図13を参照しつつ説明する。 Next, a second embodiment of the three-dimensional shape generation apparatus according to the present invention will be described with reference to FIG. 13.
図13は、本発明の第二実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 13 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a second embodiment of the present invention.
同図に示す本実施形態の三次元形状生成装置10は、図1に示した第一実施形態の三次元形状生成装置10におけるカメラベクトル付加画像記録部14と多重視差演算部15を省略し、補正信号生成部17と正規化画像変換部18を備えた構成となっている。 Three-dimensional shape generation apparatus 10 of this embodiment shown in the drawing omits the camera vector additional image recording unit 14 and the multiplexing parallax calculation section 15 in the three-dimensional shape generation apparatus 10 of the first embodiment shown in FIG. 1 has a configuration in which a correction signal generation unit 17 and the normalized image conversion unit 18.
なお、画像取得部11,画像記録部12,ベクトル検出部13については、第一実施形態と同様になっている。 Incidentally, the image acquiring unit 11, an image recording unit 12, the vector detecting section 13, and is similar to the first embodiment.

補正信号生成部17は、ベクトル検出部13で得られた結果から、元画像の揺れ等を補正する為の補正信号を生成する。 Correction signal generation unit 17, from the results obtained by the vector detecting unit 13, and generates a correction signal for correcting the shaking and the like of the original image.
正規化画像変換部18は、補正信号生成部17で生成された補正信号によって、補正された揺れ等の無い正規化画像を変換,記録する。 Normalized image converting unit 18, the correction signal generated by the correction signal generation unit 17, it converts the free normalized images such corrected shaking is recorded.
そして、三次元形状生成部16では、各フレームでのカメラの三次元位置と、揺れが補正された複数の正規化映像とから、複数のフレーム画像から得られる十分に多くの視差、若しくは複数のフレーム画像から得られる十分に多くのオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、 Then, the three-dimensional shape generator 16, and the three-dimensional position of the camera in each frame, and a plurality of normalized images shake is corrected, a number of parallax sufficiently obtained from a plurality of frame images or a plurality of using the average value of the sufficiently large optical flow obtained from the frame image, overlap calculation for small surfaces each point in the image within the object,
対象物の三次元形状を生成する。 To generate a three-dimensional shape of the object.
このように、図2に示す三次元形状生成装置10では、ベクトル検出部13で求められたカメラベクトルに基づいて画像の揺れを補正してから、三次元形状の生成を行うようにしてあり、より高精度な三次元地図の生成が可能となる。 Thus, the three-dimensional shape generation apparatus 10 shown in FIG. 2, after correcting the shake of the image based on the camera vector obtained by the vector detection unit 13, Yes and to perform the generation of the three-dimensional shape, more accurate three-dimensional formation of the map is possible.

[第三実施形態] Third Embodiment
次に、本発明に係る三次元形状生成装置の第三実施形態について、図14を参照しつつ説明する。 Next, a third embodiment of a three-dimensional shape generation apparatus according to the present invention will be described with reference to FIG. 14.
図14は、本発明の第三実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 14 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a third embodiment of the present invention.
同図に示す本実施形態は、図1に示した三次元形状生成装置10の他の実施形態であり、三次元形状生成部16として視差方式を採用している。 The embodiment shown in the drawing, another embodiment of a three-dimensional shape generation apparatus 10 shown in FIG. 1 adopts the parallax method as a three-dimensional shape generation section 16.
具体的には、本実施形態の三次元形状生成部16は、多重視差三次元形状生成部16−1と、多重視差三次元形状出力部16−2を備えている。 Specifically, the three-dimensional shape generation unit 16 of the present embodiment includes a multiplexing parallax three-dimensional shape generation unit 16-1, a multi-parallax three-dimensional shape output unit 16-2.

多重視差三次元形状生成部16−1は、既に得られているカメラベクトルと、小領域を移動しながら得られる画像情報に基づいて、演算を繰り返して、すべての小領域について十分に多くの視差を抽出し、それによる重複演算により誤差の少ない三次元形状を生成する。 Multiple parallax three-dimensional shape generation unit 16-1, a camera vector already obtained, on the basis of image information obtained while moving the small region, by repeating the operation, the sufficiently large for all the small areas extracting parallax to generate an error less three-dimensional shape by overlapping operation by it.
多重視差三次元形状出力部16−2は、多重視差三次元形状生成部16−1で得られた三次元形状を、カメラと同一の座標系に統合して、三次元地図を出力する。 Multiple parallax three-dimensional shape output unit 16-2, a three-dimensional shape obtained by multiplexing parallax three-dimensional shape generation unit 16-1, and integrated into the same coordinate system and the camera, and outputs the three-dimensional map .
人が手持ちで撮影した映像や、カメラを積載し走行する車両から撮影して取得した画像において、カメラ位置と回転が確定すれば、対象の三次元形状を取得できる。 And video person taken with hand-held, in an image obtained by photographing the vehicle loaded with the camera running, if determined rotational camera position, can obtain three-dimensional shape of the object.
そこで、本実施形態の三次元形状生成部16のように、複数のフレームに共通する対象物の視差を求めれば、そのフレームの数以上の多重視差が得られる。 Therefore, as in the three-dimensional shape generation unit 16 of the present embodiment, by obtaining the parallax of an object that is common to a plurality of frames, number or more multiple disparity of the frame is obtained.
これにより、重複演算が可能となり、対象物の誤差のない三次元形状を得ることができ、より高精度な三次元地図を生成することができるようになる。 Thus, duplication operation becomes possible, it is possible to obtain an error-free three-dimensional shape of the object, it is possible to produce a more accurate three-dimensional map.

[第四実施形態] [Fourth Embodiment]
次に、本発明に係る三次元形状生成装置の第四実施形態について、図15〜図16を参照しつつ説明する。 Next, a fourth embodiment of the three-dimensional shape generation apparatus according to the present invention will be described with reference to FIGS. 15 16.
図15は、本発明の第四実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 15 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a fourth embodiment of the present invention.
同図に示す本実施形態は、図1に示した三次元形状生成装置10の他の実施形態であり、三次元形状生成部16としてオプティカルフロー(Opt.F.)方式を採用している。 The embodiment shown in the drawing, another embodiment of a three-dimensional shape generation apparatus 10 shown in FIG. 1 adopts the optical flow (Opt.F.) method as a three-dimensional shape generation section 16.
具体的には、本実施形態の三次元形状生成部16は、指定方向平面変換処理部16aと、オプティカルフロー演算部16bと、目的平面オプティカルフローの抽出指定部16cと、目的以外面排除部16dと、平面形状及び平面座標取得部16eと、三次元形状生成部16fと、平面再構成三次元形状出力部16gとを備えている。 Specifically, the three-dimensional shape generation unit 16 of this embodiment, the designated direction plane conversion processing unit 16a, and the optical flow computing unit 16b, and the extraction designating section 16c of the object plane optical flow, surface exclusion section 16d other purposes When includes a plane shape and the coordinate acquiring unit 16e, the three-dimensional shape generation unit 16f, and a planar reconfigurable three-dimensional shape output unit 16g.

指定方向平面変換処理部16aは、画像取得部11(図1参照)で取得される映像を、ある対象物の面に垂直になるカメラ視点からの映像に平面変換する。 Designated direction plane conversion processing unit 16a, an image acquired by the image acquiring unit 11 (see FIG. 1), a planar converted to images from the camera viewpoint to be perpendicular to the plane of a target object.
オプティカルフロー演算部16bは、ある領域内におけるオプティカルフローを演算により求める。 Optical flow computing unit 16b is determined by calculating the optical flow in a certain area.
目的平面オプティカルフローの抽出指定部16cは、ある領域内でお求められたオプティカルフローに基づき、所望の目的平面のオプティカルフローを抽出する。 Extraction designating section 16c of the object plane optical flow, based on the optical flows obtained travelers within a region, extracts the optical flow of the desired object plane.
目的以外面排除部16dは、オプティカルフローが抽出された目的平面以外のオプティカルフローを排除する。 Face exclusion section 16d other purpose eliminates the optical flows other than the target plane optical flow is extracted.
平面形状及び座標取得部16eは、目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える。 The planar shape and the coordinate acquiring unit 16e is a purpose plane, is extracted as a plane having a shape, giving the three-dimensional coordinates in the plane.
三次元形状生成部16fは、ある領域を移動しながら、演算を繰り返して、すべての領域について抽出し、平面構成による三次元形状を生成する。 Three-dimensional shape generation unit 16f while moving a certain area, repeat the operation, and extracted for all regions, creating a three-dimensional shape by a plane configuration.
平面再構成三次元地図出力部16gは、三次元形状生成部16fで生成された平面構成による三次元地図を出力する。 Planar reconfigurable three-dimensional map output portion 16g outputs the three-dimensional map according to the generated planar configuration in a three-dimensional shape generation section 16f.

図16は、本実施形態の三次元生成部16でオプティカルフローによって抽出される対象物の平面のイメージ図である。 Figure 16 shows an image of the plane of the object to be extracted in a three-dimensional generation unit 16 of the present embodiment by the optical flow. 同図に示すように、カメラの標準位置から各対象物が属する平面の垂直距離をDとすると、複数の並行平面群としてすべての平面を分離、抽出することができる。 As shown in the figure, the vertical distance of the plane of the object from the standard position of the camera belongs when is D, it is possible to all the planes separated and extracted as a plurality of parallel planes group. このとき、同図に示す街路樹のように、曲面状の対象物については、一つの対象物であっても一つの平面には乗らない点や面を有する曲面状の対象物については、曲面を複数の平面の集まりとして扱い、基準となる平面(同図では街路樹面(1))からの距離を与えることで、その平面に属する一つの対象物の情報として捉えることができる。 At this time, as the trees shown in the figure, the curved object, the curved object having a single point not ride in one plane even objects or surfaces, curved surfaces the treated as a collection of a plurality of planes, (in the figure trees surface (1)) plane as a reference to provide a distance from, it can be regarded as information of one object belonging to the plane.
このようにして、カメラ位置と方向を検出することにより、複数画像のカメラ位置から対象物の位置を特定することができ、平面展開画像から三次元地図を再構成できる。 In this manner, by detecting the camera position and direction, it is possible to identify the position of the object from the camera position of the plurality images, can be reconstructed a three-dimensional map from the planar unfolded image. 従って、車載カメラ等で撮影するだけで走行した範囲の領域についての三次元地図を自動的に生成することができるようになる。 Therefore, it is possible to automatically generate a three dimensional map of the region of the range runs just shooting in-vehicle camera or the like.

このように、本実施形態の三次元形状生成部16では、視差による地図生成によらない三次元地図生成の方法として、オプティカルフロー方式を採用している。 Thus, the three-dimensional shape generation unit 16 of the present embodiment, as a method for three-dimensional map generation that does not depend on the map generation by parallax, employs an optical flow method.
カメラで取得された映像を平面変換することにより、平面変換した画像から平面のオプティカルフローを演算することができる。 The image obtained by the camera by a plane conversion, it is possible to calculate the optical flow of the plane from the image plane converted. カメラの移動方向に対して並行な平面は同一のオプティカルフローを持つという法則から、同一平面上の画素のみを抽出することができる。 A plane parallel to the moving direction of the camera can be extracted from the rule that has the same optical flow, only the pixels on the same plane.
これにより、本発明の三次元形状生成装置10により高精度で求められるカメラ位置から平面変換処理を行い、正確な平面を求めること、すなわち、同一オプティカルフローを持つ目的の平面を定義することができ、その定義平面に平面のテクスチャーを貼り付けることができるようになる。 Accordingly, it performs planar conversion process by the three-dimensional shape generation apparatus 10 from a camera position obtained with high accuracy of the present invention, to determine the correct plane, i.e., it is possible to define the plane of the object with the same optical flow , it is possible to paste the texture plane to its definition plane.
さらに、同様の方法を繰り返し、次々と平面を定義し、テクスチャーが貼り付けられた平面を三次元的に再構成することで、データ量としては相当に少ない三次元地図を生成することが可能となる。 Furthermore, repeating the same method to define one after another plane, a plane texture pasted By reconstructing three-dimensionally, it is possible to produce considerably less three-dimensional map as the amount of data Become.

[第五実施形態] Fifth Embodiment
次に、本発明に係る三次元形状生成装置の第五実施形態について、図17を参照しつつ説明する。 Next, a fifth embodiment of a three-dimensional shape generation apparatus according to the present invention will be described with reference to FIG. 17.
図17は、本発明の第五実施形態に係る三次元形状生成装置における移動物体のベクトル検出方法を概念的に示す説明図である。 Figure 17 is an explanatory view conceptually showing the vector detection method of the moving object in the three-dimensional shape generation apparatus according to a fifth embodiment of the present invention.
同図に示すように、本実施形態では、図1に示した三次元形状生成装置10におけるベクトル検出と同じ方法で、移動物体の移動ベクトルを検出するようにしてある。 As shown in the figure, in this embodiment, in the same way as vector detection in the three-dimensional shape generation apparatus 10 shown in FIG. 1, it is to detect the movement vector of the moving object.

具体的には、本実施形態の三次元形状生成装置10は、上述した各実施形態における場合と同様に、移動するカメラのベクトルを検出する。 Specifically, the three-dimensional shape generation apparatus 10 of this embodiment, as in each embodiment described above, to detect the vector of the moving camera.
次に、カメラとは別に、移動する移動物体(例えば、走行する他の車両)の移動ベクトルを、カメラの移動ベクトルを検出するのと同じ方法で検出することにより、移動するカメラからの移動物体のベクトルを検出する。 Then, separately from the camera, a moving object of a moving object (e.g., running other vehicles) a motion vector, by detecting in the same way as for detecting the movement vector of the camera, the moving camera moves to detect the vector.
そして、カメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出するようにしてある。 By vector addition of the motion vector of the camera and the moving vector of the moving object, the orientation with respect to the stationary coordinate form of the moving object are detected as the three-dimensional vector.

運動は相対的であるから、カメラが動いても、対象物が動いても同じ方法が適用でき、カメラのベクトルと、カメラから見た移動物体の見かけ上のベクトルとの加算により、移動物体の移動ベクトルの相対値を検出できる。 Since movement is relative, even moving camera, even moving object can be applied the same way, the vector of the camera, by addition of the vector the apparent moving object viewed from the camera, the moving object It can detect the relative value of the movement vector.
これによって、例えば、移動物体中に既知の長さを見つけて、絶対長に変換することができる。 Thus, for example, to find a known length in the moving object can be converted to an absolute length. また、複数のカメラからの視差により、絶対長を計測して、あるいは、長さが既知の物体にふれている部分から、例えば路面に接している車両であれば、その路面から絶対長を得て、移動物体の絶対長を取得することができる。 Further, obtained by the parallax from multiple cameras, to measure the absolute length, or from the portion where the length is touched to the known objects, for example, if it is the vehicle that contacts the road surface, the absolute length from the road surface Te, it is possible to obtain the absolute length of the moving object.
このようにして、本実施形態では、移動物体の絶対長を求めることができるようになる。 In this manner, in the present embodiment, it is possible to determine the absolute length of the moving object.

[第六実施形態] Sixth Embodiment
次に、本発明に係る三次元形状生成装置の第六実施形態について、図18及び図19を参照しつつ説明する。 Next, a sixth embodiment of the three-dimensional shape generation apparatus according to the present invention will be described with reference to FIGS. 18 and 19.
図18は、本発明の第六実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 18 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a sixth embodiment of the present invention.
図19は、本実施形態に係る三次元形状生成装置に備えられる視野重複カメラと広角カメラを固定して設けた場合の具体例を模式的に示す斜視図である。 Figure 19 is a perspective view schematically showing a specific example of a case of providing secure the field of view overlapping camera and wide-angle camera provided in the three-dimensional shape generation apparatus according to the present embodiment.

これらの図に示す本実施形態は、図1に示した三次元形状生成装置10の他の実施形態であり、視野の重複する複数の画像を取得し、その視野重複画像に基づいて、複数の三次元形状を統合できるようになっている。 The present embodiment shown in these figures, another embodiment of a three-dimensional shape generation apparatus 10 shown in FIG. 1, to obtain a plurality of images overlapping of the field of view, based on its field of view overlapping images, a plurality of It has to integrate a three-dimensional shape.
従来から、複数のカメラによる重複する画像から、時間的に連続する三次元画像を得る手段が知られている。 Conventionally, an image that overlaps by a plurality of cameras are known means for obtaining a three-dimensional temporally continuous images. しかし、時々刻々得られる三次元画像は、それぞれが独立した座標であるため、そのままでは、フレームが異なる画像の間で関係付けることができない。 However, the three-dimensional image obtained every moment, since each is a separate coordinate, is intact, it can not be related between different frame images.
そこで、本実施形態では、時間軸方向の連続する画像により、特徴点追跡法によりカメラベクトルを求めて、時間的に連続するカメラベクトルを得ることで、先に取得された一部分の三次元画像を共通の座標で統一的に表現し、三次元全体像を生成できるようにした。 Therefore, in this embodiment, the successive images in the time axis direction, and the camera vector calculated by the feature point tracking process, to obtain a camera vector temporally consecutive, the three-dimensional image of a portion obtained previously a unified representation in a common coordinate, was it possible to generate a three-dimensional overall image.

具体的には、本実施形態の三次元形状生成装置30は、視野重複カメラ部31と、視野重複画像記録部32と、連続三次元画像生成部33と、移動カメラ座標系画像変換部34と、座標校正統合部35と、統合三次元形状生成部36とを備えた構成となっている。 Specifically, the three-dimensional shape generation apparatus 30 of this embodiment, a field overlapping camera unit 31, a field overlapping image recording unit 32, a continuous three-dimensional image generating unit 33, a moving camera coordinate system image conversion unit 34 has become a coordinate calibration integration section 35, a configuration including an integrated three-dimensional shape generator 36.
視野重複カメラ部31は、移動物体に積載したカメラとは別に、若しくはそれを兼ねて、同じ移動物体に積載し、複数のカメラから成り、視野が重複するように設定したカメラである。 Field overlapping the camera unit 31, apart from the camera loaded on a moving object, or doubles it, loaded on the same moving object, a plurality of cameras, it is the set camera to field of view overlap.
視野重複画像記録部32は、視野重複カメラ部から取得した、同時刻の画像を関連づけて、記録する。 Field overlapping the image recording unit 32, obtained from the field of view overlapping the camera unit, in association with the image at the same time, records.
連続三次元画像生成部33は、視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する。 Continuous three-dimensional image generating unit 33 is obtained by calculation from a plurality of images at the same time that the field of view overlap, generating a three-dimensional image consisting of specific coordinate system in a unit time.
なお、視野重複カメラ部31と、視野重複画像記録部32と、連続三次元画像生成部33は、ステレオビジョンカメラ(図19(a),(b)に示すカメラ1)のような、視野重複画像を取得できるカメラによって構成することができる。 Note that the field of view overlapping the camera unit 31, a field overlapping image recording unit 32, a continuous three-dimensional image generating unit 33, a stereo vision camera, such as (FIG. 19 (a), the camera 1 shown in (b)), the field of view overlap images can be constituted by the acquisition can camera.

移動カメラ座標系画像変換部34及び座標統合部35は、連続三次元画像生成部33で得られた三次元画像を、ベクトル抽出部13(図1参照)から得られた移動カメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する。 Moving the camera coordinate system image conversion unit 34 and the coordinate integration section 35, a three-dimensional image obtained by a continuous three-dimensional image generating unit 33, and the camera vector of the moving camera obtained from the vector extraction unit 13 (see FIG. 1) bound, and integrate into a common coordinate system and the mobile camera system.
ここで、本実施形態では、ベクトル抽出部13で移動ベクトルが抽出されるカメラは、例えば360度の全周画像のような広範囲の映像が撮影できる広角カメラ2(図19(a),(b)に示すカメラ2)とする。 In the present embodiment, the camera, for example, wide-angle camera 2 a wide range of video, such as the 360-degree all around image can be photographed by the mobile vector is extracted by the vector extracting unit 13 (FIG. 19 (a), (b camera 2) that shown).
統合三次元形状生成部36は、座標統合部35で統合された座標系で、対象物及び周囲の三次元形状を生成する。 Integrated three-dimensional shape generator 36 is a coordinate system that is integrated with the coordinate integration section 35, generates the object and the surrounding three-dimensional shape.
以上のような構成により、重複するカメラから取得された各時刻単位の三次元画像を統合し、単一座標系で結合して三次元全体像を表示することができる。 With the above configuration, by integrating the three-dimensional image at each time unit obtained from overlapping camera can display a three-dimensional overview bonded to a single coordinate system.

なお、視野重複させた近距離の三次元画像取得用のカメラとしては、例えば、カナダPGR社製「デジクロップス」を用いることができ(図19(a),(b)に示すカメラ1参照)、このような公知の視野重複カメラによって近距離の三次元画像を取得する。 As the camera for the three-dimensional image acquisition of short-range obtained by viewing overlap, for example, it can be used in Canada PGR Co. "digital Kuroppusu" (FIG. 19 (a), (b) the reference camera 1 shown in) to obtain a three-dimensional image of the near by such known field duplicate camera.
また、カメラベクトル取得用のカメラとしては、360度全周映像のような広範囲映像を撮影できるカメラ、例えば、カナダPGR社製「レディ・バグ」を用いることができ(図19(a),(b)に示すカメラ2参照)、また、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラなどを用いることもできる。 As the camera for camera vector acquisition, the camera capable of capturing a wide image such as 360 degrees all around the image, for example, can be used in Canada PGR Co. "Lady Bug" (FIG. 19 (a), ( reference camera 2 shown in b)), in a wide-angle lens or a fish-eye lens camera with the mobile camera, a fixed camera, the camera with a fixed multiple cameras can also be used as rotatable camera 360 degrees.

そして、このような広角カメラと視野重複カメラの位置関係を固定することで、360度カメラ等の広角カメラで得られたカメラベクトルを、視野重複カメラの持つカメラベクトルと同じとし、時刻毎の三次元画像に反映して、三次元画像を統一した画像に統合することができる。 Then, by fixing the positional relationship of such wide-angle camera and the field duplication camera, a camera vector obtained by the wide-angle camera, such as a 360-degree camera, same city as the camera vector having fields of view overlap camera, three for each time order reflected in the original image, it can be integrated into an image which unified three-dimensional image. 図19(a),(b)に示す例では、視野重複のカメラ1と360度用のカメラ2を、固定台3に固定してある。 Figure 19 (a), in the example (b), the camera 1 and camera 2 for 360-degree field of view overlap, are fixed to the fixing table 3.
このようにして、本実施形態では、移動物体であっても同一座標に統合できることになる。 Thus, in this embodiment, so that even moving object can be integrated into the same coordinates.
なお、カメラベクトルにより、それぞれの固有の座標系は共通する特徴点を共有するかたちで統合されるが、この場合は特徴点に限らず、画像全体を特徴点と見なして、全体の形状が一致するように統合することも可能である。 Note that the camera vector, but each of the specific coordinate system are integrated in the form of sharing feature points shared, this case is not limited to the feature point, the entire image is regarded as the characteristic point, the whole shape matching it is also possible to integrate to.

以下、本実施形態に係る三次元形状装置30の、より具体的な実施例として、連続してステレオビジョンを得ることができるカメラと、全周囲画像を撮影することが出来るカメラの組み合わせにより、三次元形状を得る実施例について説明する。 Hereinafter, the three-dimensional shape device 30 according to the present embodiment, as a more specific example, a camera can be obtained stereo vision in succession, by a combination of camera that can be photographed omnidirectional image, tertiary It is described embodiment to obtain the original shape.
まず、図19(a),(b)に示すように、ステレオビジョンカメラ1を、全周囲カメラ2と一体化して固定台3で固定し、相互の位置関係が変わらないように車両の屋根等に積載する。 First, as shown in FIG. 19 (a), (b), the stereo vision camera 1, and fixed with fixed base 3 integrated with the omnidirectional camera 2, the roof of the vehicle as the mutual positional relationship unchanged loading to.
カメラベクトルを抽出するには、視野が広いことが望ましい。 To extract the camera vector, it is desirable field of view wide. そこで360度全周囲撮影可能なカメラ2を選択する。 Then 360 degrees to select the entire circumference camera capable of photographing 2.
なお、ステレオビジョンカメラ1は、カナダPGR社製「デジクロップス(Degiclops)」を、また、全周囲カメラ2としては、同じくカナダPGR社製「レディ・バグ(LadyBug)」を用いるものとする。 In addition, the stereo vision camera 1, Canada PGR manufactured by the "digital Kuroppusu (Degiclops)", also, as is the entire periphery camera 2, same shall be used in Canada PGR Co., Ltd. "Lady bug (LadyBug)".

図19(a),(b)に示すように、ステレオビジョンカメラ1と全周囲カメラ2を固定台3の上に固定し、車両の屋根に取り付ける。 FIG. 19 (a), the (b), the fixed stereo vision camera 1 and the omnidirectional camera 2 on the fixed base 3, attached to the roof of the vehicle. カメラ取り付け位置と車両形状の三次元位置関係は前もって計測しておく必要があるが、一度計測すればカメラを移動しない限り、カメラ位置を計測することで、車両位置を決定することができる。 Three-dimensional position relation between the camera mounting position and the vehicle shape it is necessary to previously measured, but unless you move the camera Once measured, by measuring the camera position, it is possible to determine the vehicle position.
また、ステレオビジョンカメラ1と全周囲カメラ2の位置関係が固定されているので、それぞれのカメラは、車両と一体化して同じように回転し、進行し、揺れを受けることになる。 Further, the positional relationship of the stereo vision camera 1 and the omnidirectional camera 2 are fixed, each camera is integrated with the vehicle rotates in the same way, progress, will be subject to shaking.
なお、図19(a)ではステレオビジョンカメラ1は一つだけ搭載されているが、図19(b)では、複数のステレオビジョンカメラ1を搭載するようにしてある。 Although the stereo vision camera 1 in FIG. 19 (a) is mounted only one, in FIG. 19 (b), the are to be mounted a plurality of stereo vision camera 1. このように、複数のステレオビジョンカメラ1を備えることによって、同時に広範囲の三次元形状を取得できるので、本発明の画像処理の効率を、より向上させることができる。 Thus, by providing a plurality of stereo vision camera 1, it is possible to obtain a wide range of three-dimensional shape at the same time, the efficiency of image processing of the present invention, it is possible to further improve.

このように車両に搭載されたカメラでは、まず、ステレオビジョンカメラ1では、連続三次元画像生成部33(図18参照)により、連続した三次元画像が得られる。 In this way, a camera mounted on the vehicle, firstly, the stereo vision camera 1, the continuous three-dimensional image generating unit 33 (see FIG. 18), three-dimensional image continuous is obtained. ただ、各フレーム間の画像の位置関係は何ら関係が無く、そのままでは結合できない。 However, the positional relationship is no no relationship between the image between the frames, it can not bind as it is.
三次元的にマッチングすれば結合できるようにも考えられるが、それだけでは次第に誤差が累積し、フレームが進むにつれて画像は正常に結合されない。 Believed to allow binding if three-dimensionally matching, but only gradually errors are accumulated, the image is not successfully coupled as the frame progresses.

そこで、他のカメラである全周囲カメラ2により映像を取得して、ベクトル抽出部13(図18参照)でカメラベクトルを抽出することにより、カメラベクトルに基づいてカメラの姿勢をフィードバックさせ、カメラの姿勢を正しく整合して、それを画像に反映させる。 Therefore, to obtain an image by the omnidirectional camera 2 which is another camera, by extracting the camera vector in the vector extracting section 13 (see FIG. 18), is fed back to the posture of the camera based on the camera vector, the camera properly align the attitude, to reflect it in the image.
また、カメラベクトルからカメラの移動距離も取得できるので、カメラベクトルのデータから各フレームのカメラ位置と回転を三次元的に演算で求められるので、得られた3軸回転量と三次元位置を、それぞれのステレオビジョンカメラからの各フレームの映像に反映することで、各フレームのステレオ画像を移動カメラ座標系画像変換部34(図18参照)で共通の座標で表現することが可能となる。 Further, since the camera vector moving distance of the camera can also be acquired, since the data of the camera vector obtained by calculating the rotational and the camera position of each frame in three dimensions, the resulting three-axis rotation amount and a three-dimensional position, by reflecting the image of each frame from each of the stereo vision camera, it is possible to express a common coordinate stereo image of each frame moves the camera coordinate system image conversion unit 34 (see FIG. 18). それらは共通の座標系であるので、そのまま座標統合部35(図18参照)で合成することができる Since they are a common coordinate system, can be directly synthesized in the coordinate integration section 35 (see FIG. 18)

以上のように共通の座標系で画像を合成した上で、結合部位の微調整として三次元マッチングを施すことは十分意味のあることである。 On synthesized image in a common coordinate system as described above, it is possible with sufficient means subjected to three-dimensional matching as a fine adjustment of the binding site.
このようにすることで、統合三次元形状生成部36(図18参照)で、三次元形状を連続的に取得でき、また、それを三次元地図とすることができる。 By doing so, the integrated three-dimensional shape generation unit 36 ​​(see FIG. 18), a three-dimensional shape continuously be obtained, also it can be a three-dimensional map.
なお、本実施例では、ステレオビジョンを得るカメラと、カメラベクトルを得るカメラを別々としたが、共通のカメラとすることも当然可能である。 In this embodiment, a camera to obtain a stereo vision camera to obtain a camera vector was as separate, it is of course possible to a common camera.

[第七実施形態] [Seventh Embodiment]
次に、本発明に係る三次元形状生成装置の第七実施形態について、図20を参照しつつ説明する。 Next, a seventh embodiment of a three-dimensional shape generation apparatus according to the present invention will be described with reference to FIG. 20.
図20は、本発明の第七実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 20 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to a seventh embodiment of the present invention.
同図に示す本実施形態は、図1に示した三次元形状生成装置10の他の実施形態であり、カメラを搭載した車両が通る路面の凹凸を検出して、三次元地図を校正する手段を備えている。 The embodiment shown in the drawing, another embodiment of a three-dimensional shape generation apparatus 10 shown in FIG. 1, detects the irregularities of the road surface through which vehicle equipped with a camera, means for calibrating a three-dimensional map It is equipped with a.
具体的には、本実施形態に係る三次元形状生成装置40は、近距離部分詳細画像取得部41と、並列画像記録部42と、近距離部分三次元計測部43と、他の移動物体検出部44と、他の移動物体排除部45と、座標結合部46と、結合座標記録部47と、総合画像表示部48とを備えている。 Specifically, the three-dimensional shape generation apparatus 40 according to the present embodiment includes a short-range partial detailed image acquiring unit 41, a parallel image recording unit 42, a short-range partial three-dimensional measuring unit 43, the other moving object detection and parts 44, with the other moving object elimination unit 45, a coordinate bond portion 46, a coupling coordinate recording unit 47, and an overall image display unit 48.

近距離部分詳細画像取得部41は、移動物体に積載したカメラとして、複数台のカメラを積載し、特に近距離の詳細データを必要とする部分を主に撮影する手段である。 Short-range partial detailed image acquiring unit 41, a camera loaded on a moving object, loaded with multiple cameras, a means for mainly capturing a portion that specifically require the close range of the detailed data.
並列画像記録部42は、移動物体積載カメラによる視野が一部重複するように設定された、同時刻の画像を関連して呼び出し可能な形で記録する。 Parallel image recording unit 42, viewing by the moving object loaded camera is set so as to overlap partially, recorded in association with callable form an image at the same time.
近距離部分三次元形状生成部43は、視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する。 Short range portion three-dimensional shape generation unit 43 detects a parallax from overlapping images of the field of view to generate a detailed three-dimensional shape of the near portion.
他の移動物体検出部44は、視野の重複する画像から視差を検出し、カメラを積載した移動物体以外の、他の移動体を検出する。 Other moving object detection section 44 detects a parallax from overlapping images of the field of view, other than the moving object loaded with camera, detecting the other mobile body.

他の移動物体排除部45は、視野の重複する画像の視差データから、他の移動物体の視差データを排除する。 Other moving object elimination section 45, the parallax data of overlapping images of the field of view, eliminating the parallax data of other moving objects.
座標結合部46は、上述した各実施形態で示した三次元形状生成部16と、近距離部分三次元形状生成部43とにおいて重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する。 Coordinate coupling unit 46, a three-dimensional shape generation unit 16 shown in the above embodiments, the three-dimensional shape of the object overlapping portion in the near portion the three-dimensional shape generation unit 43, in actual length by parallax and calibrate the scale, to integrate the respective coordinate system.
統合座標記録部47は、統合されたデータを記録する。 Combined coordinate recording unit 47 records the integrated data.
総合画像表示部48は、統合座標記録部47で統合されたデータを表示する。 Overall image display unit 48 displays an integrated data combined coordinate recording unit 47.

カメラを搭載した車両が通過する路面の凹凸を精度良く計測しようとする場合、例えば二台のカメラで路面を撮影し、視差を検出して路面の凹凸を検出することができる。 If the vehicle equipped with the camera is to accurately measure the unevenness of the road surface passing through, for example, the road surface was photographed by two cameras, to detect a parallax capable of detecting irregularities in the road surface. しかし、それだけでは、カメラ間のベースラインの制限から、近距離の精度は取れるが、遠距離の精度は取れない。 However, that alone is, from the base line of the limit between the camera, but is take a short distance of accuracy, long distance of accuracy is not taken.
そこで、本実施形態では、超近距離計測のみ、二台のカメラによる視差によって画像処理で近距離の三次元形状生成を精度良く行い、全体座標と統合することで、三次元形状及び三次元地図を生成するようにしてある。 Therefore, in this embodiment, very short distance measurement only, accuracy perform better short-range three-dimensional shape generated by the image processing by the parallax by two cameras, by integrating the entire coordinates, three-dimensional shape and three-dimensional map It is so as to generate a. これによって、時車両以外の移動体を検出して、画像から移動体を排除することで、計算精度を向上させることができる。 Thus, when detecting a moving object other than a vehicle, by eliminating moving object from an image, it is possible to improve the calculation accuracy.

なお、本実施形態の三次元形状生成装置40は、上述した第六実施形態で示した三次元形状生成装置30(図18参照)と組み合わせて統合して実施することができる。 Incidentally, the three-dimensional shape generation apparatus 40 of the present embodiment can be implemented by integrating in combination with the three-dimensional shape generation apparatus 30 shown in the sixth embodiment described above (see FIG. 18).
すなわち、本実施形態に係る三次元形状生成装置40は、一つのカメラによる基本実施形態だけに限られず、第六実施形態で示したような複数のカメラ(ステレオビジョンカメラ、広角カメラ等を含む)による視差を併用したシステムとしても実施可能である。 That is, the three-dimensional shape generation apparatus 40 according to the present embodiment (including the stereo vision camera, the wide-angle camera, etc.), not limited to the basic embodiment according to one camera, multiple cameras, as shown in the sixth embodiment It can also be implemented as a system in combination with parallax by.

[第八実施形態] Eighth Embodiment
さらに、本発明に係る三次元形状生成装置の第八実施形態について、図21を参照しつつ説明する。 Furthermore, the eighth embodiment of the three-dimensional shape generation apparatus according to the present invention will be described with reference to FIG. 21.
図21は、本発明の第八実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 Figure 21 is a block diagram showing the schematic configuration of a three-dimensional shape generation apparatus according to the eighth embodiment of the present invention.
同図に示す本実施形態は、上述した第一乃至第七実施形態に係る三次元形状生成装置を、適宜組み合わせて実施できるようにしたものである。 The embodiment shown in the drawing, in which a three-dimensional shape generation apparatus according to the first to seventh embodiments described above, and so can be implemented in appropriate combination.

具体的には、本実施形態に係る三次元形状生成装置100は、図21に示すように、映像取得部101と、ベクトル検出部102と、重複演算部103と、補正信号生成部104と、正規化画像変換部105と、指定方向平面変換処理部106と、Opt. Specifically, the three-dimensional shape generation apparatus 100 according to this embodiment, as shown in FIG. 21, a video acquisition unit 101, a vector detecting unit 102, an overlap calculation unit 103, a correction signal generator 104, a normalized image conversion unit 105, a designated direction plane conversion processing unit 106, Opt. F. F. 演算部107と、目的平面Opt. A calculation unit 107, object plane Opt. F. F. の抽出指定部108と、平面形状及び座標演算部109と、面以外処理部110と、統合出力部111と、平面再構成三次元地図出力部112が、任意に選択により組み合わせられて実施できるようになっている。 An extraction designating section 108, and the planar shape and the coordinate calculation unit 109, a processing unit 110 other than the surface, and the integrated output unit 111, the planar reconfigurable three-dimensional map output section 112, so that can be implemented in combination with freely selected It has become.
各構成部分の具体的な内容は、上述した各実施形態で示した通りである。 Specific contents of each component are as shown in the above embodiments.
このような本実施形態の三次元形状生成装置100によれば、対象物の三次元形状を連続的に、広範囲に生成することで、三次元地図を生成することができる三次元地図生成装置を実現することができる。 According to such a three-dimensional shape generation apparatus 100 of the present embodiment, continuous three-dimensional shape of the object, by extensively generate a three-dimensional map generation apparatus capable of generating a three-dimensional map it can be realized. 本発明においては、三次元形状生成を限定した対象物に対してではなく、広範囲に連続して実行すれば三次元地図が得られるようになっている。 In the present invention, rather than to the object with a limited three-dimensional shape generated, so that the three-dimensional map when extensively performed continuously is obtained.

以上、本発明の三次元形状生成装置について、好ましい実施形態を示して説明したが、本発明に係る三次元形状生成装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。 Although the three-dimensional shape generation apparatus of the present invention has been described with reference to preferred embodiments, the three-dimensional shape generation apparatus according to the present invention is not limited to the embodiment described above, the scope of the present invention in but can be variously modified implementation.

本発明は、例えば、カーナビゲーション装置に備えられる三次元地図を生成するために好適な三次元形状生成装置として利用することができる。 The present invention is, for example, can be used as a suitable three-dimensional shape generation apparatus for generating a three-dimensional map provided to the car navigation system.

本発明の第一実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a first embodiment of the present invention is a block diagram showing. 本発明の第一実施形態に係る三次元形状生成装置で生成される三次元形状(三次元地図)の表示例を示す説明図である。 A display example of the three-dimensional shape (three-dimensional map) which is generated by the three-dimensional shape generation apparatus according to a first embodiment of the present invention. FIG. 本発明の第一実施形態に係るベクトル検出部の概略構成を示すブロック図である。 It is a block diagram showing the schematic configuration of the vector detecting unit according to the first embodiment of the present invention. 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 Method of detecting specific camera vector in the vector detecting unit according to the first embodiment of the present invention is an explanatory diagram showing. 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 Method of detecting specific camera vector in the vector detecting unit according to the first embodiment of the present invention is an explanatory diagram showing. 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 Method of detecting specific camera vector in the vector detecting unit according to the first embodiment of the present invention is an explanatory diagram showing. 本発明の第一実施形態に係るベクトル検出部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 The designation manner desirable feature point in the detection method of the camera vector by vector detection unit according to the first embodiment of the present invention. FIG. 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 Is a graph showing an example of the three-dimensional coordinates and the camera vector of the vector detection unit by the obtained feature points according to the first embodiment of the present invention. 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 Is a graph showing an example of the three-dimensional coordinates and the camera vector of the vector detection unit by the obtained feature points according to the first embodiment of the present invention. 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 Is a graph showing an example of the three-dimensional coordinates and the camera vector of the vector detection unit by the obtained feature points according to the first embodiment of the present invention. 本発明の第一実施形態に係るベクトル検出部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 In vector detection unit according to the first embodiment of the present invention, depending on the distance from the camera of feature points set a plurality of feature points is an explanatory diagram showing a case where repeated multiple operations. 本発明の第一実施形態に係るベクトル検出部で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。 Is a diagram of a case of displaying the three-dimensional in map generated the trajectory of the camera vector obtained by the vector detection unit according to the first embodiment of the present invention. 本発明の第二実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a second embodiment of the present invention is a block diagram showing. 本発明の第三実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a third embodiment of the present invention is a block diagram showing. 本発明の第四実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a fourth embodiment of the present invention is a block diagram showing. 本発明の第四実施形態の三次元生成部でオプティカルフローによって抽出される対象物の平面のイメージ図である。 In the three-dimensional generation unit of the fourth embodiment of the present invention is an image diagram of the plane of the object to be extracted by the optical flow. 本発明の第五実施形態に係る三次元形状生成装置における移動物体のベクトル検出方法を概念的に示す説明図である。 Vector detecting method of the moving object in the three-dimensional shape generation apparatus according to a fifth embodiment of the present invention is an explanatory diagram conceptually showing the. 本発明の第六実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a sixth embodiment of the present invention is a block diagram showing. 本発明の第六実施形態に係る三次元形状生成装置に備えられる視野重複カメラと広角カメラを固定して設けた場合の具体例を模式的に示す斜視図である。 Specific examples of the case where the field of view overlapping camera and wide-angle camera provided in the three-dimensional shape generation device provided with fixed according to a sixth embodiment of the present invention is a perspective view schematically showing. 本発明の第七実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to a seventh embodiment of the present invention is a block diagram showing. 本発明の第八実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 A schematic configuration of a three-dimensional shape generation apparatus according to the eighth embodiment of the present invention is a block diagram showing.

符号の説明 DESCRIPTION OF SYMBOLS

10 三次元形状生成装置 11 画像取得部 12 画像記録部 13 ベクトル検出部 14 カメラベクトル付加画像記録部 15 多重視差演算部 16 三次元形状生成部 17 補正信号生成部 18 正規化画像変換部 20 ベクトル検出部 21 特徴点抽出部 22 特徴点対応処理部 23 特徴点・カメラ位置演算部 24 誤差最小化部 10 three-dimensional shape generation apparatus 11 the image acquisition unit 12 the image recording unit 13 vector detecting unit 14 camera vector additional image recording section 15 multi-focus-difference calculation section 16 three-dimensional shape generator 17 the correction signal generation unit 18 normalized image converting unit 20 vector detector 21 feature point extraction section 22 feature point processor unit 23 the feature point camera position calculating unit 24 error minimizer

Claims (9)

  1. 移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、 An image acquisition section which acquires an image from the camera to obtain a video or continuous still images provided to the mobile,
    前記画像取得部で取得された画像を一時記録する画像記録部と、 An image recording unit for temporarily recording the images acquired by the image acquisition unit,
    前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの3軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、 Wherein the image data read from the image recording unit, overlapping calculations and three-dimensional position of a point or small area in correspondence with each frame, the three-dimensional position and three-axis rotation of the camera in the camera a plurality of frames, a vector detection unit for determining the camera vector statistically processed as the distribution of the error is minimized,
    前記ベクトル検出部で求められたカメラの三次元位置と3軸回転のカメラベクトルの各データを付加した全フレーム画像を記録するカメラベクトル付加画像記録部と、 A camera vector additional image recording unit for recording all the frame images obtained by adding the data of the camera vector of the three-dimensional position and three-axis rotation of the camera obtained by the vector detecting unit,
    各フレーム画像及び各フレーム単位で得られたカメラベクトルに基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する多重視差演算部と、 Based on the camera vector obtained in the frame image and the frame, using the average value of a number of optical flow obtained many parallax obtained from a plurality of frame images, or from a plurality of frame images, the image within the object and multiplexing parallax calculation section duplicate computation for micro surface points, to generate a three-dimensional shape of the object,
    前記多重視差演算部における対象物の三次元形状の生成を連続的に繰り返して、三次元形状を形成する三次元形状生成部と、 を備え、 Wherein the generation of three-dimensional shape of the object in the multiplexing parallax calculation unit repeats continuously, comprising a three-dimensional shape generation unit which forms a three-dimensional shape, and
    前記ベクトル検出部は、 The vector detecting section,
    画像内の映像的に特徴がある特徴点を自動検出し、各フレーム画像内で当該特徴点の対応点を求め、 Video to the feature points are characterized in an image automatically detects obtains the corresponding point of the feature point in each frame image,
    カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、所定の値にnとmを設定して単位演算を繰り返し、 Focusing on the n-th and n + m-th two-frame images Fn and Fn + m as a unit operation used in the camera vector calculation, repeating the unit operation by setting n and m to a predetermined value,
    カメラから画像内の特徴点までの距離により特徴点を複数段に分類して、フレーム間隔mを、カメラから特徴点までの距離が遠いほど大きくなるように設定し、 A feature point by the distance from the camera to the feature points in the image are classified into a plurality of stages, a frame interval m, and set so that the distance from the camera to the feature point increases farther,
    mによる特徴点の分類を複数オーバーラップさせながら、複数段階のmを設定し、 while multiple overlapping classification of feature points by m, and sets the m multiple stages,
    画像の進行とともにnが連続的に進行し、演算を連続的に進行させ、nの進行とmの各段階で、同一特徴点について複数回重複演算して、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整することにより統合し、距離演算を行い、 N is continuously advanced with the progress of image, computed continuously allowed to proceed, at each stage of progression and m of n, multiple overlapping operation on the same feature point, errors of the feature points and camera positions integrated by scaling to minimize performs distance calculation,
    誤差の分布が大きい特徴点を削除し、再演算することにより、 By remove the distribution is large characteristic point of the error, re-calculation,
    各特徴点及びカメラ位置での演算の精度を上げることを特徴とする三次元形状生成装置。 Three-dimensional shape generation apparatus characterized by resulting in higher accuracy of calculation at each feature point and the camera position.
  2. 移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、 An image acquisition section which acquires an image from the camera to obtain a video or continuous still images provided to the mobile,
    前記画像取得部で取得された画像を一時記録する画像記録部と、 An image recording unit for temporarily recording the images acquired by the image acquisition unit,
    前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの3軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、 Wherein the image data read from the image recording unit, overlapping calculations and three-dimensional position of a point or small area in correspondence with each frame, the three-dimensional position and three-axis rotation of the camera in the camera a plurality of frames, a vector detection unit for determining the camera vector statistically processed as the distribution of the error is minimized,
    前記ベクトル検出部で求めたカメラベクトルから、元画像を補正するための補正信号を生成する補正信号生成部と、 A camera vector obtained by the vector detecting unit, and the correction signal generation unit for generating a correction signal for correcting the original image,
    前記補正信号で補正された正規化画像を記録する正規化画像変換部と、 A normalized image converting unit that records the corrected normalized image in the correction signal,
    各フレームでのカメラの三次元位置と、前記補正信号で補正された複数の正規化映像に基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する三次元形状生成部と、 を備え、 A three-dimensional position of the camera in each frame, based on said plurality of normalized images corrected by the correction signal, the number obtained from a plurality of frame images parallax, or more of a number of optical flow obtained from the frame image using the average value, redundant operation for small surfaces each point in the image object, and a three-dimensional shape generator for generating a three-dimensional shape of the object,
    前記ベクトル検出部は、 The vector detecting section,
    画像内の映像的に特徴がある特徴点を自動検出し、各フレーム画像内で当該特徴点の対応点を求め、 Video to the feature points are characterized in an image automatically detects obtains the corresponding point of the feature point in each frame image,
    カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、所定の値にnとmを設定して単位演算を繰り返し、 Focusing on the n-th and n + m-th two-frame images Fn and Fn + m as a unit operation used in the camera vector calculation, repeating the unit operation by setting n and m to a predetermined value,
    カメラから画像内の特徴点までの距離により特徴点を複数段に分類して、フレーム間隔mを、カメラから特徴点までの距離が遠いほど大きくなるように設定し、 A feature point by the distance from the camera to the feature points in the image are classified into a plurality of stages, a frame interval m, and set so that the distance from the camera to the feature point increases farther,
    mによる特徴点の分類を複数オーバーラップさせながら、複数段階のmを設定し、 while multiple overlapping classification of feature points by m, and sets the m multiple stages,
    画像の進行とともにnが連続的に進行し、演算を連続的に進行させ、nの進行とmの各段階で、同一特徴点について複数回重複演算して、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整することにより統合し、距離演算を行い、 N is continuously advanced with the progress of image, computed continuously allowed to proceed, at each stage of progression and m of n, multiple overlapping operation on the same feature point, errors of the feature points and camera positions integrated by scaling to minimize performs distance calculation,
    誤差の分布が大きい特徴点を削除し、再演算することにより、 By remove the distribution is large characteristic point of the error, re-calculation,
    各特徴点及びカメラ位置での演算の精度を上げることを特徴とする三次元形状生成装置。 Three-dimensional shape generation apparatus characterized by resulting in higher accuracy of calculation at each feature point and the camera position.
  3. 前記ベクトル検出部は、 The vector detecting section,
    前記画像記録部から読み出された画像データにより、画像中に特徴点となるべき点又は小領域画像を自動抽出して自動指定する特徴点抽出部と、 The image data read from the image recording unit, and the feature point extraction unit for automatically specifying a point or small area image to be a feature point in the image is automatically extracted,
    前記自動指定された特徴点の各フレーム間での対応関係を求める特徴点対応処理部と、 A feature point processor unit for determining the corresponding relationship between each frame of the automatic designated feature points,
    前記対応関係が求められた特徴点の三次元位置座標及びカメラ位置を演算で求める特徴点・カメラ位置演算部と、 And said corresponding three-dimensional position coordinates of the relationship sought feature points and feature point camera position calculation unit for determining the camera position in the operation,
    前記特徴点の三次元位置を複数演算し、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をするとともに、誤差の大きい特徴点を検出してそれを削除し、他の特徴点に基づく再演算をし、全体の誤差を最小化する誤差最小化部と、 The three-dimensional position of the feature points several operations, together with the distribution of the position and the camera position of each feature point to the statistic processing so as to minimize, remove it detects a large characteristic point of the error, other a recalculation based on the feature point, and error minimizing section that minimizes the total error,
    を備える請求項1又は2記載の三次元形状生成装置。 Three-dimensional shape generation apparatus according to claim 1 or 2, including a.
  4. 前記三次元形状生成部は、 The three-dimensional shape generator,
    既に得られているカメラベクトルに基づき、 Based on the camera vector already obtained,
    フレーム画像内の小領域を移動しながら演算を繰り返して、画像内のすべての小領域について多数の視差を抽出し、その視差による重複演算により誤差の少ない三次元形状を生成する多重視差三次元形状生成部と、 Repeat operations while moving the small region in the frame image, extracting a number of parallax for all the small areas in an image, multi-parallax three-dimensional generating a three-dimensional shape small error by overlapping operation by the parallax and the shape generation unit,
    多重視差三次元形状生成部で生成された三次元形状を、カメラと同一の座標系に統合して三次元地図を出力する多重視差三次元形状出力部と、 The three-dimensional shape generated by the multiplexing parallax three-dimensional shape generation unit, and multiplexing parallax three-dimensional shape output unit integrated into the same coordinate system and the camera outputs the three-dimensional map,
    を備える請求項1乃至3 いずれか1項に記載の三次元形状生成装置。 Three-dimensional shape generation apparatus according to any one of claims 1 to 3 comprising a.
  5. 前記三次元形状生成部は、 The three-dimensional shape generator,
    前記画像取得部で取得された映像を、所望の対象物の面に垂直になるカメラ視点からの映像に平面変換する指定方向平面変換処理部と、 The image acquired by the image acquisition unit, and a designated direction plane conversion processing unit for flat converted to images from the camera viewpoint to be perpendicular to the plane of the desired object,
    平面変換された映像により、ある領域内の映像のオプティカルフローを演算し、所望の目的平面のオプティカルフローを抽出する目的平面オプティカルフローの抽出指定部と、 The planar converted video, and calculates the optical flow of the image of a certain area, and the extraction designating section object plane optical flow extracting the optical flow of a desired object plane,
    前記目的平面以外のオプティカルフローを排除する目的以外面排除部と、 A surface exclusion section except the purpose of eliminating an optical flow other than the object plane,
    目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える平面形状及び座標取得部と、 The object plane, and extracted as a plane having a shape and a planar shape and the coordinate acquiring unit gives the three-dimensional coordinates in the plane,
    前記ある領域を移動しながら演算を繰り返して、領域内の所望の対象物のすべてについて、平面構成による三次元形状を生成する平面構成三次元形状生成部と、 Repeat operations while moving said certain region, for all the desired objects in the region, and the planar configuration the three-dimensional shape generation unit for generating a three-dimensional shape by a planar configuration,
    それらの平面構成による三次元形状を三次元地図として出力する平面再構成三次元形状出力部と、 A planar reconfigurable three-dimensional shape output unit for outputting the three-dimensional shape according to their planar structure as a three-dimensional map,
    を備える請求項1乃至4 いずれか1項に記載の三次元形状生成装置。 Three-dimensional shape generation apparatus according to any one of claims 1 to 4 comprising a.
  6. 前記ベクトル検出部は、 The vector detecting section,
    移動するカメラのベクトルを検出するとともに、カメラとは別に、移動する移動物体の移動ベクトルを、前記カメラベクトルと同じ方法により検出することで、移動するカメラからの移動物体のベクトルを検出し カメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出する請求項1乃至5 いずれか1項に記載の三次元形状生成装置。 Detects the vector of a moving camera, separate from the camera, the movement vector of the moving object that moves, by detecting the same manner as the camera vector, of detecting the vector of the moving object from the moving camera camera the vector addition of the movement vector of the moving object and the moving vector, the three-dimensional shape generation apparatus according to claim 1 to 5 any one detects the orientation with respect to the stationary coordinate form of the moving object as a three-dimensional vector.
  7. 前記移動体に備えられるカメラとは別に又はそれを兼ねて、同じ移動体に備えられる複数のカメラからなり、視野が重複するように設定した視野重複カメラ部と、 The doubles separately or it is a camera provided to the mobile, a plurality of cameras provided in the same moving body, and the field overlapping camera unit that is configured to field of view overlap,
    前記視野重複カメラ部で取得される同時刻の複数の画像を関連づけて記録する視野重複画像記録部と、 And the field overlapping the image recording unit for recording in association with the plurality of images at the same time acquired by the field of view overlapping camera unit,
    前記視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する連続三次元画像生成部と、 Obtained by calculation from a plurality of images at the same time that the field of view overlap, a continuous three-dimensional image generating unit for generating a three-dimensional image consisting of specific coordinate system in a unit time,
    前記連続三次元画像生成部で得られた三次元画像を、前記ベクトル検出部から得られた移動するカメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する座標統合部と、 A three-dimensional image obtained by the continuous three-dimensional image generating unit, coupled with the camera vector of the camera to be moved obtained from the vector detecting section, the coordinate's integration is converted into a common coordinate system and the mobile camera system and parts,
    統合された座標系で対象物及び周囲の三次元形状を生成する統合三次元形状生成部と、 An integrated three-dimensional shape generator for generating the object and surrounding three-dimensional shape in an integrated coordinate system,
    を備えた請求項1乃至6 いずれか1項に記載の三次元形状生成装置。 Three-dimensional shape generation apparatus according to any one of claims 1 to 6 with a.
  8. 前記移動体に備えられるカメラとして複数のカメラを備え、近距離の詳細データを必要とする部分を主に撮影する近距離部分詳細画像取得部と、 A short-range partial detailed image acquiring unit which includes a plurality of cameras, mainly taking part in need of short-range detail data as a camera provided in the movable body,
    前記複数のカメラで取得される、視野が一部重複するように設定された同時刻の複数の画像を関連して呼び出し可能な形で記録する並列画像記録部と、 The acquired at a plurality of cameras, and the parallel image recording unit field of view recorded by the set associated to callable form a plurality of images at the same time so as to partially overlap,
    前記視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する近距離部分三次元形状生成部と、 Detecting a parallax from the images overlapping of the field of view, and short-range partial three-dimensional shape generation unit that generates a detailed three-dimensional shape of the near portion,
    前記視野の重複する画像から視差を検出し、前記カメラを備えた移動体以外の他の移動物体を検出する他の移動物体検出部と、 Detecting a parallax from the images overlapping of the field of view, and other moving object detection unit to detect other moving objects other than the mobile body equipped with the camera,
    前記視野の重複する画像の視差データから、前記他の移動物体の視差データを排除する他の移動物体排除部と、 Parallax data of overlapping images of the field of view, and other moving objects exclusion section that eliminates the parallax data of said other moving objects,
    前記三次元形状生成部と、前記近距離部分三次元形状生成部とが重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する座標校正統合部と、 Coordinates integrated with the three-dimensional shape generating unit, from said three-dimensional shape of the object portion and near portion the three-dimensional shape generation unit overlap, to calibrate the scale in actual length by parallax, the respective coordinate systems and calibration integration unit,
    統合されたデータを記録する統合座標記録部と、 A combined coordinate recording unit for recording the integrated data,
    それら統合されたデータを表示する総合画像表示部と、 And overall image display unit for displaying them integrated data,
    を備える請求項1乃至7 いずれか1項に記載の三次元形状生成装置。 Three-dimensional shape generation apparatus according to any one of claims 1 to 7 comprising a.
  9. 請求項1乃至8 いずれか1項に記載の三次元形状生成装置を備え、対象物の三次元形状を連続的に広範囲に生成することにより、三次元地図を生成することを特徴とする三次元地図生成装置。 Comprising a three-dimensional shape generation apparatus according to any one of claims 1 to 8, by continuously extensively generate a three-dimensional shape of the object, the three-and generating a three-dimensional map-dimensional map generating device.
JP2003344837A 2003-10-02 2003-10-02 Three-dimensional shape generator Active JP4511147B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003344837A JP4511147B2 (en) 2003-10-02 2003-10-02 Three-dimensional shape generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003344837A JP4511147B2 (en) 2003-10-02 2003-10-02 Three-dimensional shape generator

Publications (2)

Publication Number Publication Date
JP2005115420A JP2005115420A (en) 2005-04-28
JP4511147B2 true JP4511147B2 (en) 2010-07-28

Family

ID=34538338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003344837A Active JP4511147B2 (en) 2003-10-02 2003-10-02 Three-dimensional shape generator

Country Status (1)

Country Link
JP (1) JP4511147B2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005040721A1 (en) * 2003-10-29 2005-05-06 Waro Iwane 3d automatic measuring apparatus
JP4773794B2 (en) * 2005-10-19 2011-09-14 株式会社岩根研究所 Old and new image coordinate integrated device
JP5087264B2 (en) * 2005-12-08 2012-12-05 株式会社トプコン Image processing apparatus and method
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4874693B2 (en) * 2006-04-06 2012-02-15 株式会社トプコン The image processing apparatus and processing method
JP5362189B2 (en) * 2006-05-10 2013-12-11 株式会社トプコン The image processing apparatus and processing method
JP4813263B2 (en) * 2006-06-05 2011-11-09 株式会社トプコン The image processing apparatus and processing method
JP4809134B2 (en) * 2006-06-05 2011-11-09 株式会社トプコン The image processing apparatus and processing method
JP5184830B2 (en) * 2007-07-06 2013-04-17 株式会社トプコン Position measuring device and the position measuring method
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
KR100890224B1 (en) * 2007-07-20 2009-03-25 연세대학교 산학협력단 Method of reconstructing a 3d scene and apparatus for performing the same
KR100908084B1 (en) * 2007-11-14 2009-07-16 주식회사 영구아트 Recording medium storing a program for executing the three-dimensional coordinates of the object detection method and a method in a computer
JP5100360B2 (en) * 2007-12-21 2012-12-19 株式会社トプコン Image processing apparatus
JP5056436B2 (en) * 2008-01-24 2012-10-24 株式会社豊田中央研究所 Three-dimensional map generation apparatus, and program
JP5107154B2 (en) * 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ Motion estimation apparatus
JP5353199B2 (en) * 2008-11-20 2013-11-27 富士通株式会社 Map information collection system
JP5432545B2 (en) * 2009-02-25 2014-03-05 株式会社トプコン Object detection device
CA2766111A1 (en) * 2009-06-30 2011-01-06 Saab Ab A method and an arrangement for estimating 3d models in a street environment
JP2011194042A (en) 2010-03-19 2011-10-06 Brother Industries Ltd sewing machine
JP2011194043A (en) 2010-03-19 2011-10-06 Brother Industries Ltd Sewing machine
JP2012118666A (en) * 2010-11-30 2012-06-21 Iwane Laboratories Ltd Three-dimensional map automatic generation device
WO2013145072A1 (en) * 2012-03-26 2013-10-03 三菱電機株式会社 Camera calibration method, camera calibration program and camera calibration device
JP5775965B2 (en) * 2012-03-30 2015-09-09 株式会社日立製作所 Stereo camera system and mobile
FR2998400B1 (en) * 2012-11-21 2016-01-15 Thales Sa 3D Reconstruction Method and panoramic mosaicing 3d a scene
KR101711964B1 (en) * 2015-07-14 2017-03-13 서울대학교산학협력단 Free space map construction method, free space map construction system, foreground/background extraction method using the free space map, and foreground/background extraction system using the free space map
JP6446005B2 (en) * 2016-08-19 2018-12-26 株式会社カナン・ジオリサーチ Underground exploration equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268179A (en) * 1999-01-14 2000-09-29 Oojisu Soken:Kk Three-dimensional shape information obtaining method and device, two-dimensional picture obtaining method and device and record medium
JP2001028049A (en) * 1999-05-11 2001-01-30 Nippon Telegr & Teleph Corp <Ntt> Method and device for three-dimensional shape acquisition, and computer-readable recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268179A (en) * 1999-01-14 2000-09-29 Oojisu Soken:Kk Three-dimensional shape information obtaining method and device, two-dimensional picture obtaining method and device and record medium
JP2001028049A (en) * 1999-05-11 2001-01-30 Nippon Telegr & Teleph Corp <Ntt> Method and device for three-dimensional shape acquisition, and computer-readable recording medium

Also Published As

Publication number Publication date
JP2005115420A (en) 2005-04-28

Similar Documents

Publication Publication Date Title
Sequeira et al. Automated reconstruction of 3D models from real environments
Sansoni et al. State-of-the-art and applications of 3D imaging sensors in industry, cultural heritage, medicine, and criminal investigation
US8031933B2 (en) Method and apparatus for producing an enhanced 3D model of an environment or an object
Benosman et al. Panoramic vision
KR100912715B1 (en) Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors
JP4284644B2 (en) 3D modeling system and three-dimensional model building program
KR100450469B1 (en) Image combining method and system using a technology based on Time
Akbarzadeh et al. Towards urban 3d reconstruction from video
JP4912388B2 (en) Visual tracking method of the object in the real world using the 2D appearance and multiqueue depth estimation
JP6235022B2 (en) Multidimensional Data Capture environment using multiple devices
EP3388784A1 (en) Method and large format camera for acquiring a large format image of a large area object
US8773508B2 (en) 3D imaging system
CN102435188B (en) Monocular vision/inertia autonomous navigation method for indoor environment
US6438507B1 (en) Data processing method and processing device
CA2395257C (en) Any aspect passive volumetric image processing method
EP0921376A1 (en) Panoramic image acquisition system
JP4185052B2 (en) Expanded virtual environment
US5699444A (en) Methods and apparatus for using image data to determine camera location and orientation
US20020134151A1 (en) Apparatus and method for measuring distances
JP4273119B2 (en) Navigation device
US7126630B1 (en) Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
JP4340005B2 (en) Method of determining the relative camera orientation position to create a 3-d visual image
EP2615580B1 (en) Automatic scene calibration
CA2705809C (en) Method and apparatus of taking aerial surveys
JP6022562B2 (en) Mobile augmented reality system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060919

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090716

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160514

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250