WO2018143153A1 - 位置測定装置及び位置測定方法 - Google Patents

位置測定装置及び位置測定方法 Download PDF

Info

Publication number
WO2018143153A1
WO2018143153A1 PCT/JP2018/002854 JP2018002854W WO2018143153A1 WO 2018143153 A1 WO2018143153 A1 WO 2018143153A1 JP 2018002854 W JP2018002854 W JP 2018002854W WO 2018143153 A1 WO2018143153 A1 WO 2018143153A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
photographing
marker
baseline length
calculated
Prior art date
Application number
PCT/JP2018/002854
Other languages
English (en)
French (fr)
Inventor
健太郎 戸倉
永元　直樹
孝夫 掛橋
基博 池原
英昭 内山
Original Assignee
三井住友建設株式会社
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三井住友建設株式会社, 国立大学法人九州大学 filed Critical 三井住友建設株式会社
Priority to JP2018565540A priority Critical patent/JP6714110B2/ja
Priority to US16/480,080 priority patent/US10977825B2/en
Priority to DE112018000677.8T priority patent/DE112018000677T5/de
Publication of WO2018143153A1 publication Critical patent/WO2018143153A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a position measurement apparatus and a position measurement method for obtaining a three-dimensional position of the marker and / or the camera based on a plurality of images obtained by photographing one marker from different angles while moving the camera. .
  • FIG. 5 is a schematic view showing an example of how a marker is photographed from two photographing positions, and symbols D1 and Dn in the drawing indicate photographing positions when photographing a marker, and F1 and Fn indicate the photographing positions. It shows the range in which one pixel of the imaging device (CCD) of the camera can be photographed.
  • CCD imaging device
  • the distance from one imaging position D1 to the other imaging position Dn is the distance between the two most distant imaging positions.
  • the longer the length Lmax which is referred to as "baseline length”
  • the accuracy of position measurement see, for example, Non-Patent Document 1. That is, when one marker is to be photographed from two photographing positions D1 and Dn as shown in the figure, the range in which one pixel of the image pickup element can be photographed has a spatial spread as indicated by reference numerals F1 and Fn. The intersection is in the shape of a rhombus as indicated by the symbol G.
  • the position of the upper intersection H1 may be calculated or the position of the lower intersection H2 may be calculated, and the upper intersection H1 and the lower intersection H2 may be calculated. It is generally known that the smaller the distance J, the better the accuracy of the position measurement. Then, in order to reduce the distance J between the upper intersection point H1 and the lower intersection point H2, generally, it is better to lengthen the baseline length Lmax and make the above-mentioned rhombic shape horizontally long (flat). It is known to.
  • the accuracy of the three-dimensional measurement by a person is left when the judgment of how long the baseline length Lmax is to be made and how many photographs of one marker are taken is left to the judgment of the individual who takes the photograph. May be different.
  • the person who shoots the marker is a beginner, it is easy to shoot each marker from a biased direction because it is not used for shooting, and when not taking a long baseline length Lmax, and not shooting many images
  • An object of the present invention is to provide a position measurement device and a position measurement method that can solve the above-mentioned problems.
  • the first aspect of the present invention is illustrated in FIG. 1 and is obtained by photographing one marker (M1, M2, M3 or M4) from different angles while moving the camera (2).
  • the position measuring device (1) for determining the three-dimensional position of the marker (M1, M2, M3 or M4) and / or the camera (2) based on a plurality of images
  • Camera position calculation means (3) for calculating the shooting position (refer to symbols D1 and Dn in FIG. 5) of the camera (2) at the moment when the marker (M1, M2, M3 or M4) is shot a plurality of times ,
  • a plurality of photographing positions (D1, Dn) of the camera (2) calculated by the camera position calculation means (3) and / or unphotographed positions to be additionally photographed by the camera (2) (FIG. 5)
  • a photographing position etc. outputting means (4) for outputting the codes E1 and E2).
  • the photographing position etc. output means (4) comprises one point in the one marker (M1, M2, M3 or M4) and each photographing position (D1, Dn) of the camera (2). And a plurality of line segments (see symbols B1, B2, B3 and B4 in FIG. 2) connected to each other in the image.
  • the photographing position etc. output means (4) fills a section between the plurality of line segments (B1, B2, B3, B4) to form a sector (symbols C1, C2, C3 in FIG. 3). , C4).
  • a fifth aspect of the present invention relates to a marker (M1) based on a plurality of images obtained by photographing one marker (M1, M2, M3 or M4) from different angles while moving the camera (2). , M2, M3 or M4) and / or the position measurement method for determining the three-dimensional position of the camera (2), Calculating the photographing position (D1, Dn) of the camera (2) at the moment when the marker (M1, M2, M3 or M4) is photographed a plurality of times by the camera position calculating means (3); A plurality of photographing positions (D1, Dn) of the camera (2) calculated by the camera position calculation means (3) and / or unphotographed positions to be additionally photographed by the camera (2) (FIG. 5) Outputting the codes E1 and E2) by the photographing position etc. output means (4).
  • the photographing position etc. output means (4) comprises one point in the one marker (M1, M2, M3 or M4) and each photographing position (D1, Dn) of the camera (2). And a plurality of line segments (see symbols B1, B2, B3 and B4 in FIG. 2) connected to each other in the image.
  • the photographing position etc. output means (4) fills in the spaces between the plurality of line segments (B1, B2, B3, B4) to form a fan shape (symbols C1, C2, C3 in FIG. 3). , C4).
  • the imaging position of the camera at each moment when the marker is imaged a plurality of times, and / or the non-imaging position to be additionally captured by the camera are output Being configured, a person photographing with the camera can photograph the marker from an appropriate direction while looking at the output, and the baseline length can be increased. As a result, accurate three-dimensional measurement can be performed even if the photographer is a beginner.
  • FIG. 1 is a block diagram showing an example of the configuration of a position measurement device according to the present invention.
  • FIG. 2 is a schematic view showing an example of a display screen of the position measurement device according to the present invention.
  • FIG. 3 is a schematic view showing another example of the display screen of the position measurement device according to the present invention.
  • FIG. 4 (a) is a schematic view showing the positional relationship between the marker and the photographed image in an actual three-dimensional space
  • FIG. 4 (b) shows the marker and the vector in the display screen (photographed from the center of the marker It is a schematic diagram which shows the vector to a position, and the normal vector of this marker.
  • FIG. 5 is a schematic view showing an example of how markers are photographed from two photographing positions.
  • the position measurement device is a device for performing three-dimensional measurement with a camera with high accuracy, and as illustrated by a reference numeral 1 in FIG.
  • the markers M1, M2, M3 or M4 and / or the markers M1, M2, M3 or M4 are obtained based on a plurality of images (see symbols A1, A2, A3 in FIG. 4A) obtained by photographing M2, M3 or M4 from different angles.
  • the three-dimensional position of the camera 2 is obtained.
  • the position measuring device 1 A camera position calculation unit 3 that calculates the shooting position of the camera 2 at each moment when the marker M1, M2, M3 or M4 is shot a plurality of times; A plurality of shooting positions of the camera 2 calculated by the camera position calculation means 3 (for example, refer to symbols D1 and Dn in FIG. 5) and / or unphotographed positions to be additionally shot by the camera 2 (for example, Shooting position etc. output means 4 for outputting the symbols E1 and E2 shown in FIG. 5); Is equipped.
  • the above-described camera 2 is not a stereo camera but a so-called monocular camera.
  • the three-dimensional measurement in the present specification is a concept including both SLAM (Simultaneous Localization and Mapping) and SFM (structure from motion).
  • the photographing position etc. output means 4 The shooting position and / or the non-shooting position of the camera 2 may be displayed on the display 5 such as a liquid crystal panel, or ⁇ Even if you print out the shooting position and / or the non-shooting position of the camera 2, both are fine.
  • the unphotographed position of the camera 2 means a position where photographing is recommended in order to increase the baseline length Lmax. Further, the display of the photographing position and / or the non-photographing position of the camera 2 may be performed by various known figures.
  • the photographing position of the camera 2 at each moment when the marker M1, M2, M3 or M4 is photographed a plurality of times and / or the unphotographed position to be additionally photographed by the camera 2 is outputted Therefore, the person shooting with the camera 2 can view the output from the markers M1, M2, and so on from the appropriate direction (for example, the central angle of each sector is 120 degrees). M3 or M4 can be photographed, and the baseline length Lmax can be long. As a result, accurate three-dimensional measurement can be performed even if the photographer is a beginner.
  • the photographing position etc. output means 4 has a plurality of line segments B1 connecting one point in the one marker M1, M2, M3 or M4 to each photographing position of the camera 2.
  • B2, B3 and B4 may be displayed in the image.
  • gaps between the line segments B1, B2, B3 and B4 may be filled in and displayed as sectors C1, C2, C3 and C4.
  • the fan-shaped C1 and C4 are photographed from a wide direction with a large central angle, while the fan-shaped C2 and C3 are photographed from a narrow direction with a small central angle. Since the photographer can view such a display and can add imaging, an image from a wide direction can be obtained and accurate three-dimensional measurement can be performed.
  • the three-dimensional normal vector of the marker is V and the vector indicating the imaging position with one point (for example, the center point) of the marker as a base point is Xi.
  • the angle ⁇ i formed by the vector is expressed by the following equation.
  • the symbols V and X indicate vectors and are shown in bold in the equation.
  • the symbol i is a number assigned to the imaging position.
  • a baseline length calculation unit 6 that calculates a baseline length Lmax, which is a distance between at least two imaging positions farthest apart, based on the plurality of imaging positions of the camera 2 calculated by the camera position calculation unit 3.
  • a baseline length output unit 7 that outputs the baseline length Lmax calculated by the baseline length calculation unit 6; May be provided.
  • the baseline length output unit 7 The baseline length Lmax may be displayed on a display 5 such as a liquid crystal panel, or ⁇ Even if the baseline length Lmax is printed out, both are fine. Further, the display of the baseline length Lmax may be performed by various known figures.
  • the position measuring method while moving the camera 2, one marker M1, M2, M3 or M4 is photographed from a plurality of different angles based on a plurality of images A1, A2 and A3.
  • the photographing position of the camera 2 at each moment when the marker M1, M2, M3 or M4 is photographed a plurality of times and / or the unphotographed position to be additionally photographed by the camera 2 is outputted Therefore, the person shooting with the camera 2 can view the output from the markers M1, M2, and so on from the appropriate direction (for example, the central angle of each sector is 120 degrees). M3 or M4 can be photographed, and the baseline length Lmax can be long. As a result, accurate three-dimensional measurement can be performed even if the photographer is a beginner.
  • the photographing position etc. output means 4 has a plurality of line segments B1 connecting one point in the one marker M1, M2, M3 or M4 to each photographing position of the camera 2.
  • B2, B3 and B4 may be displayed.
  • gaps between the line segments B1, B2, B3 and B4 may be filled in and displayed as sectors C1, C2, C3 and C4.
  • baseline length a distance Lmax between at least two shooting positions farthest apart (hereinafter referred to as “baseline length”) is calculated as a baseline length A step of calculating by means 6; Outputting the baseline length Lmax calculated by the baseline length calculation means 6 by the baseline length output means 7; May be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】精度の良い３次元計測が行えるようにする。 【解決手段】ＳＬＡＭ等を使って３次元計測を精度良く行う場合には、単眼カメラで各マーカＭ１，Ｍ２，Ｍ３，Ｍ４を様々な方向から撮影する必要がある。本発明では、カメラで撮影した方向を扇形Ｃ１，Ｃ２，Ｃ３，Ｃ４で表示するようにしている。例えば、扇形Ｃ１，Ｃ４は中心角が大きくて広い方向から撮影されているのに対し、扇形Ｃ２，Ｃ３は中心角が小さくて狭い方向から撮影されていることが分かる。撮影者はそのような表示を見て撮影を追加することができるので、広い方向からの画像を得ることができ、精度の良い３次元計測を行うことができる。

Description

位置測定装置及び位置測定方法
　本発明は、カメラを移動させながら１つのマーカを異なる複数のアングルから撮影して得た複数の画像に基づいて前記マーカ及び／又は前記カメラの３次元位置を求める位置測定装置及び位置測定方法に関する。
　カメラ（単眼カメラ）を用いた３次元計測（例えば、ＳＬＡＭ）をするに際しては、該カメラを移動させながら１つのマーカを複数の撮影位置から異なるアングルで撮影する必要がある。図５は、２箇所の撮影位置からマーカを撮影する様子の一例を示す模式図であり、図中の符号Ｄ１，Ｄｎは、マーカを撮影するときの撮影位置を示し、Ｆ１，Ｆｎは、該カメラの撮像素子（ＣＣＤ）の１ピクセルが撮影できる範囲を示している。
　このような撮影を行う場合、一方の撮影位置Ｄ１から他方の撮影位置Ｄｎまでの距離（３つ以上の撮影位置から撮影する場合においては、最も離れた２つの撮影位置間の距離であり、本明細書においては“ベースライン長さ”とする）Ｌｍａｘは長ければ長いほど位置測定の精度が良くなることは知られている（例えば、非特許文献１参照）。つまり、同図に示すように２箇所の撮影位置Ｄ１，Ｄｎから１つのマーカを撮影しようとすると、撮像素子の１ピクセルが撮影できる範囲は符号Ｆ１，Ｆｎで示すように空間的な広がりを持っていて、その交差部は、符号Ｇで示すような菱形形状をしている。そして、その菱形形状の交差部Ｇにおいて、上の交点Ｈ１の位置が算出される場合もあれば下の交点Ｈ２の位置が算出される場合もあり、該上の交点Ｈ１と下の交点Ｈ２との距離Ｊが小さければ小さいほど位置測定の精度が良くなることが一般的に知られている。そして、該上の交点Ｈ１と下の交点Ｈ２との距離Ｊを小さくするには、前記ベースライン長さＬｍａｘを長くして上述の菱形形状が横長（偏平）にした方が良いことも一般的に知られている。
　一方、上述のような３次元計測は理論的には１つのマーカを２箇所から撮影すれば可能となるが、ノイズ（計測する対象物のピクセル指定ズレ）の影響を少なくするにはもっと多くの箇所（例えば、１０くらいの箇所）からの撮影が望まれる。
　すなわち、上述のような３次元計測をする際には、各マーカを撮影する際にベースライン長さＬｍａｘを長くした方が良く、しかも、沢山の写真を撮影した方が良い。
"Ｃ４　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ"，　Ｐ．２８，　"Ｅｒｒｏｒ　ａｎａｌｙｓｉｓ"、［２０１７年１月１９日検索］、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／～ｄｒａｍａｎａｎ／ｔｅａｃｈｉｎｇ／ｃｓ２１７＿ｓｐｒｉｎｇ０９／ｌｅｃ／ｓｔｅｒｅｏ．ｐｄｆ＞
　しかしながら、ベースライン長さＬｍａｘをどの程度長くするかとか、１つのマーカの写真を何枚撮るかなどの判断を、写真を撮影する個人の判断に委ねてしまうと、人によって３次元計測の精度が異なってしまうおそれがある。特に、マーカを撮影する人が初心者の場合には、撮影になれていないために各マーカを偏った方向から撮影し易くてベースライン長さＬｍａｘを長く取らない場合や、多くの枚数を撮影しない場合が多く、３次元計測の精度が悪くなりやすいという問題があった。
　本発明は、上述の問題を解消することのできる位置測定装置及び位置測定方法を提供することを目的とするものである。
　本発明の第１の観点は、図１に例示するものであって、カメラ（２）を移動させながら１つのマーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）を異なる複数のアングルから撮影して得た複数の画像に基づいて該マーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）及び／又は該カメラ（２）の３次元位置を求める位置測定装置（１）において、
　該マーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）を複数回撮影した瞬間のそれぞれの該カメラ（２）の撮影位置（図５中の符号Ｄ１，Ｄｎ参照）を算出するカメラ位置算出手段（３）と、
　該カメラ位置算出手段（３）が算出した該カメラ（２）の複数の撮影位置（Ｄ１，Ｄｎ）、及び／又は該カメラ（２）で追加して撮影すべき未撮影位置（図５中の符号Ｅ１，Ｅ２参照）を出力する撮影位置等出力手段（４）と、を備えたことを特徴とする。
　本発明の第２の観点は、前記撮影位置等出力手段（４）が、前記１つのマーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）中の一点と前記カメラ（２）の各撮影位置（Ｄ１，Ｄｎ）とを結ぶ複数の線分（図２の符号Ｂ１，Ｂ２，Ｂ３，Ｂ４参照）を画像中に表示するように構成されたことを特徴とする。
　本発明の第３の観点は、前記撮影位置等出力手段（４）が、前記複数の線分（Ｂ１，Ｂ２，Ｂ３，Ｂ４）の間を塗りつぶして扇形（図３の符号Ｃ１，Ｃ２，Ｃ３，Ｃ４参照）で表示することを特徴とする。
　本発明の第４の観点は、前記カメラ位置算出手段（３）が算出した前記カメラ（２）の複数の撮影位置（Ｄ１，Ｄｎ）に基づいて、少なくとも最も離れた２つの撮影位置（Ｄ１，Ｄｎ）間の距離であるベースライン長さ（図５の符号Ｌｍａｘ参照）を算出するベースライン長さ算出手段（６）と、
　該ベースライン長さ算出手段（６）が算出した前記ベースライン長さ（Ｌｍａｘ）を出力するベースライン長さ出力手段（７）と、を備えたことを特徴とする。
　本発明の第５の観点は、カメラ（２）を移動させながら１つのマーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）を異なる複数のアングルから撮影して得た複数の画像に基づいて該マーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）及び／又は該カメラ（２）の３次元位置を求める位置測定方法において、
　該マーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）を複数回撮影した瞬間のそれぞれの該カメラ（２）の撮影位置（Ｄ１，Ｄｎ）をカメラ位置算出手段（３）によって算出する工程と、
　該カメラ位置算出手段（３）が算出した該カメラ（２）の複数の撮影位置（Ｄ１，Ｄｎ）、及び／又は該カメラ（２）で追加して撮影すべき未撮影位置（図５中の符号Ｅ１，Ｅ２参照）を撮影位置等出力手段（４）によって出力する工程と、を備えたことを特徴とする。
　本発明の第６の観点は、前記撮影位置等出力手段（４）が、前記１つのマーカ（Ｍ１，Ｍ２，Ｍ３又はＭ４）中の一点と前記カメラ（２）の各撮影位置（Ｄ１，Ｄｎ）とを結ぶ複数の線分（図２の符号Ｂ１，Ｂ２，Ｂ３，Ｂ４参照）を画像中に表示するように構成されたことを特徴とする。
　本発明の第７の観点は、前記撮影位置等出力手段（４）が、前記複数の線分（Ｂ１，Ｂ２，Ｂ３，Ｂ４）の間を塗りつぶして扇形（図３の符号Ｃ１，Ｃ２，Ｃ３，Ｃ４参照）で表示することを特徴とする。
　本発明の第８の観点は、前記カメラ位置算出手段（３）が算出した前記カメラ（２）の複数の撮影位置（Ｄ１，Ｄｎ）に基づいて、少なくとも最も離れた２つの撮影位置（Ｄ１，Ｄｎ）間の距離であるベースライン長さ（Ｌｍａｘ）をベースライン長さ算出手段（６）により算出する工程と、
　該ベースライン長さ算出手段（６）が算出した前記ベースライン長さ（Ｌｍａｘ）をベースライン長さ出力手段（７）により出力する工程と、を備えたことを特徴とする。
　なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。
　上記した第１乃至８の観点によれば、前記マーカを複数回撮影した瞬間のそれぞれの前記カメラの撮影位置、及び／又は該カメラで追加して撮影すべき未撮影位置が出力されるように構成されているので、該カメラで撮影している者はその出力を見ながら適切な方向から該マーカを撮影することができ、前記ベースライン長さを長く取ることができる。その結果、撮影者が初心者であっても精度の良い３次元計測を行うことができる。
図１は、本発明に係る位置測定装置の構成の一例を示すブロック図である。 図２は、本発明に係る位置測定装置の表示画面の一例を示す模式図である。 図３は、本発明に係る位置測定装置の表示画面の他の例を示す模式図である。 図４（ａ）は、実際の３次元空間でのマーカと撮影画像との位置関係を示す模式図であり、同図（ｂ）は、表示画面中におけるマーカとベクトル（該マーカの中心から撮影位置へのベクトルや該マーカの法線ベクトル）とを示す模式図である。 図５は、２箇所の撮影位置からマーカを撮影する様子の一例を示す模式図である。
　以下、図１乃至図４に沿って、本発明の実施の形態について説明する。
　本発明に係る位置測定装置は、カメラを用いた３次元計測を高精度に行うための装置であって、図１に符号１で例示するように、カメラ２を移動させながら１つのマーカＭ１，Ｍ２，Ｍ３又はＭ４を異なる複数のアングルから撮影して得た複数の画像（図４（ａ）の符号Ａ１，Ａ２，Ａ３参照）に基づいて該マーカＭ１，Ｍ２，Ｍ３又はＭ４及び／又は該カメラ２の３次元位置を求めるものである。そして、該位置測定装置１は、
・　該マーカＭ１，Ｍ２，Ｍ３又はＭ４を複数回撮影した瞬間のそれぞれの該カメラ２の撮影位置を算出するカメラ位置算出手段３と、
・　該カメラ位置算出手段３が算出した該カメラ２の複数の撮影位置（例えば、図５の符号Ｄ１，Ｄｎ参照）、及び／又は該カメラ２で追加して撮影すべき未撮影位置（例えば、図５の符号Ｅ１，Ｅ２参照）を出力する撮影位置等出力手段４と、
を備えている。なお、上述したカメラ２はステレオカメラではなく、いわゆる単眼カメラである。また、本明細書における３次元計測は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）及びＳＦＭ（ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　ｍｏｔｉｏｎ）の両方を含む概念である。さらに、前記撮影位置等出力手段４は、
・　前記カメラ２の撮影位置及び／又は未撮影位置を液晶パネル等のディスプレイ５に表示するようにしても、或いは、
・　該カメラ２の撮影位置及び／又は未撮影位置をプリントアウトするようにしても、
どちらでも良い。またさらに、該カメラ２の未撮影位置とは、前記ベースライン長さＬｍａｘを長くするために撮影が推奨される位置を意味する。また、該カメラ２の撮影位置及び／又は未撮影位置の表示は、様々な公知の図形によって行えば良い。
　本発明によれば、前記マーカＭ１，Ｍ２，Ｍ３又はＭ４を複数回撮影した瞬間のそれぞれの前記カメラ２の撮影位置、及び／又は該カメラ２で追加して撮影すべき未撮影位置が出力されるように構成されているので、該カメラ２で撮影している者はその出力を見ながら適切な方向から（例えば、各扇形の中心角が１２０度となるように）該マーカＭ１，Ｍ２，Ｍ３又はＭ４を撮影することができ、前記ベースライン長さＬｍａｘを長く取ることができる。その結果、撮影者が初心者であっても精度の良い３次元計測を行うことができる。
　この場合、前記撮影位置等出力手段４は、図２に例示するように、前記１つのマーカＭ１，Ｍ２，Ｍ３又はＭ４中の一点と前記カメラ２の各撮影位置とを結ぶ複数の線分Ｂ１，Ｂ２，Ｂ３，Ｂ４を画像中に表示するように構成しておくと良い。また、図３に例示するように、それらの線分Ｂ１，Ｂ２，Ｂ３，Ｂ４の間の隙間も塗りつぶして扇形Ｃ１，Ｃ２，Ｃ３，Ｃ４で表示するように構成しておいても良い。このように表示した場合には、該カメラ２の撮影位置や未撮影位置を感覚的に把握することができる。例えば、扇形Ｃ１，Ｃ４は中心角が大きくて広い方向から撮影されているのに対し、扇形Ｃ２，Ｃ３は中心角が小さくて狭い方向から撮影されていることが分かる。撮影者はそのような表示を見て撮影を追加することができるので、広い方向からの画像を得ることができ、精度の良い３次元計測を行うことができる。
　なお、図４（ａ）に例示するように、マーカの３次元的な法線ベクトルをＶとし、マーカの一点（例えば、中心点）を基点として撮影位置を示すベクトルをＸｉとすると、それらのベクトルが為す角度θｉは次式で表される。ここで、記号Ｖ及びＸはベクトルを示し、数式中では太字で示している。また、記号ｉは、撮影位置に付けた番号である。
Figure JPOXMLDOC01-appb-M000001
　また、
・　前記カメラ位置算出手段３が算出した前記カメラ２の複数の撮影位置に基づいて、少なくとも最も離れた２つの撮影位置間の距離であるベースライン長さＬｍａｘを算出するベースライン長さ算出手段６と、
・　該ベースライン長さ算出手段６が算出した前記ベースライン長さＬｍａｘを出力するベースライン長さ出力手段７と、
を設けるようにしても良い。なお、前記ベースライン長さ出力手段７は、
・　前記ベースライン長さＬｍａｘを液晶パネル等のディスプレイ５に表示するようにしても、或いは、
・　該ベースライン長さＬｍａｘをプリントアウトするようにしても、
どちらでも良い。また、該ベースライン長さＬｍａｘの表示は、様々な公知の図形によって行えば良い。
　一方、本発明に係る位置測定方法は、カメラ２を移動させながら１つのマーカＭ１，Ｍ２，Ｍ３又はＭ４を異なる複数のアングルから撮影して得た複数の画像Ａ１，Ａ２，Ａ３に基づいて該マーカＭ１，Ｍ２，Ｍ３又はＭ４及び／又は該カメラ２の３次元位置を求める方法であって、
・　該マーカＭ１，Ｍ２，Ｍ３又はＭ４を複数回撮影した瞬間のそれぞれの該カメラ２の撮影位置をカメラ位置算出手段３によって算出する工程と、
・　該カメラ位置算出手段３が算出した該カメラ２の複数の撮影位置、及び／又は該カメラ２で追加して撮影すべき未撮影位置を撮影位置等出力手段４によって出力する工程と、
を備えている。
　本発明によれば、前記マーカＭ１，Ｍ２，Ｍ３又はＭ４を複数回撮影した瞬間のそれぞれの前記カメラ２の撮影位置、及び／又は該カメラ２で追加して撮影すべき未撮影位置が出力されるように構成されているので、該カメラ２で撮影している者はその出力を見ながら適切な方向から（例えば、各扇形の中心角が１２０度となるように）該マーカＭ１，Ｍ２，Ｍ３又はＭ４を撮影することができ、前記ベースライン長さＬｍａｘを長く取ることができる。その結果、撮影者が初心者であっても精度の良い３次元計測を行うことができる。
　この場合、前記撮影位置等出力手段４は、図２に例示するように、前記１つのマーカＭ１，Ｍ２，Ｍ３又はＭ４中の一点と前記カメラ２の各撮影位置とを結ぶ複数の線分Ｂ１，Ｂ２，Ｂ３，Ｂ４を表示するように構成しておくと良い。また、図３に例示するように、それらの線分Ｂ１，Ｂ２，Ｂ３，Ｂ４の間の隙間も塗りつぶして扇形Ｃ１，Ｃ２，Ｃ３，Ｃ４で表示するように構成しておいても良い。このように表示した場合には、該カメラ２の撮影位置や未撮影位置を感覚的に把握することができる。例えば、扇形Ｃ１，Ｃ４は中心角が大きくて広い方向から撮影されているのに対し、扇形Ｃ２，Ｃ３は中心角が小さくて狭い方向から撮影されていることが分かる。撮影者はそのような表示を見て撮影を追加することができるので、広い方向からの画像を得ることができ、精度の良い３次元計測を行うことができる。
　また、
　前記カメラ位置算出手段３が算出した前記カメラの複数の撮影位置に基づいて、少なくとも最も離れた２つの撮影位置間の距離（以下、“ベースライン長さ”とする）Ｌｍａｘをベースライン長さ算出手段６により算出する工程と、
　該ベースライン長さ算出手段６が算出した前記ベースライン長さＬｍａｘをベースライン長さ出力手段７により出力する工程と、
を設けるようにしても良い。
１　　　　　　　　　　　　　　　　　位置測定装置
２　　　　　　　　　　　　　　　　　カメラ
３　　　　　　　　　　　　　　　　　カメラ位置算出手段
４　　　　　　　　　　　　　　　　　撮影位置等出力手段
６　　　　　　　　　　　　　　　　　ベースライン長さ算出手段
７　　　　　　　　　　　　　　　　　ベースライン長さ出力手段
Ｂ１，Ｂ２，Ｂ３，Ｂ４　　　　　　　線分
Ｃ１，Ｃ２，Ｃ３，Ｃ４　　　　　　　扇形
Ｄ１，Ｄｎ　　　　　　　　　　　　　カメラの撮影位置
Ｅ１，Ｅ２　　　　　　　　　　　　　追加して撮影すべき未撮影位置
Ｌｍａｘ　　　　　　　　　　　　　　ベースライン長さ
Ｍ１，Ｍ２，Ｍ３，Ｍ４　　　　　　　マーカ

Claims (8)

  1. 　カメラを移動させながら１つのマーカを異なる複数のアングルから撮影して得た複数の画像に基づいて該マーカ及び／又は該カメラの３次元位置を求める位置測定装置において、
    　該マーカを複数回撮影した瞬間のそれぞれの該カメラの撮影位置を算出するカメラ位置算出手段と、
    　該カメラ位置算出手段が算出した該カメラの複数の撮影位置、及び／又は該カメラで追加して撮影すべき未撮影位置を出力する撮影位置等出力手段と、
    　を備えたことを特徴とする位置測定装置。
  2. 　前記撮影位置等出力手段は、前記１つのマーカ中の一点と前記カメラの各撮影位置とを結ぶ複数の線分を画像中に表示するように構成された、
    　ことを特徴とする請求項１に記載の位置測定装置。
  3. 　前記撮影位置等出力手段は、前記複数の線分の間を塗りつぶして扇形で表示する、
    　ことを特徴とする請求項２に記載の位置測定装置。
  4. 　前記カメラ位置算出手段が算出した前記カメラの複数の撮影位置に基づいて、少なくとも最も離れた２つの撮影位置間の距離（以下、“ベースライン長さ”とする）を算出するベースライン長さ算出手段と、
    　該ベースライン長さ算出手段が算出した前記ベースライン長さを出力するベースライン長さ出力手段と、
    　を備えたことを特徴とする請求項１乃至３に記載の位置測定装置。
  5. 　カメラを移動させながら１つのマーカを異なる複数のアングルから撮影して得た複数の画像に基づいて該マーカ及び／又は該カメラの３次元位置を求める位置測定方法において、
    　該マーカを複数回撮影した瞬間のそれぞれの該カメラの撮影位置をカメラ位置算出手段によって算出する工程と、
    　該カメラ位置算出手段が算出した該カメラの複数の撮影位置、及び／又は該カメラで追加して撮影すべき未撮影位置を撮影位置等出力手段によって出力する工程と、
    　を備えたことを特徴とする位置測定方法。
  6. 　前記撮影位置等出力手段は、前記１つのマーカ中の一点と前記カメラの各撮影位置とを結ぶ複数の線分を画像中に表示するように構成された、
    　ことを特徴とする請求項５に記載の位置測定方法。
  7. 　前記撮影位置等出力手段は、前記複数の線分の間を塗りつぶして扇形で表示する、
    　ことを特徴とする請求項６に記載の位置測定方法。
  8. 　前記カメラ位置算出手段が算出した前記カメラの複数の撮影位置に基づいて、少なくとも最も離れた２つの撮影位置間の距離（以下、“ベースライン長さ”とする）をベースライン長さ算出手段により算出する工程と、
    　該ベースライン長さ算出手段が算出した前記ベースライン長さをベースライン長さ出力手段により出力する工程と、
    　を備えたことを特徴とする請求項５乃至７のいずれか１項に記載の位置測定方法。
PCT/JP2018/002854 2017-02-03 2018-01-30 位置測定装置及び位置測定方法 WO2018143153A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018565540A JP6714110B2 (ja) 2017-02-03 2018-01-30 位置測定装置及び位置測定方法
US16/480,080 US10977825B2 (en) 2017-02-03 2018-01-30 Position measurement device and position measurement method
DE112018000677.8T DE112018000677T5 (de) 2017-02-03 2018-01-30 Vorrichtung zur Positionsbestimmung und Verfahren zur Positionsbestimmung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-018213 2017-02-03
JP2017018213 2017-02-03

Publications (1)

Publication Number Publication Date
WO2018143153A1 true WO2018143153A1 (ja) 2018-08-09

Family

ID=63039739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002854 WO2018143153A1 (ja) 2017-02-03 2018-01-30 位置測定装置及び位置測定方法

Country Status (4)

Country Link
US (1) US10977825B2 (ja)
JP (1) JP6714110B2 (ja)
DE (1) DE112018000677T5 (ja)
WO (1) WO2018143153A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277339A1 (ko) * 2021-07-02 2023-01-05 리얼룩앤컴퍼니 주식회사 감지표식을 이용한 장비 조립 편차 보정 및 공정 오차 보정 장치 및, 이를 이용한 조립 편차 보정 및 공정 수행 오차 보정 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129143B4 (de) * 2018-11-20 2021-06-17 Carl Zeiss Industrielle Messtechnik Gmbh Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon
CN114199235B (zh) * 2021-11-29 2023-11-03 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271408A (ja) * 2006-03-31 2007-10-18 Nippon Telegr & Teleph Corp <Ntt> 三次元環境情報取得装置，三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
JP2010219825A (ja) * 2009-03-16 2010-09-30 Topcon Corp 三次元計測用画像撮影装置
JP2010218173A (ja) * 2009-03-16 2010-09-30 Topcon Corp 三次元計測用画像撮影装置
US20110025829A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612401B (zh) * 2013-09-30 2018-02-23 独立行政法人产业技术综合研究所 标记图像处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271408A (ja) * 2006-03-31 2007-10-18 Nippon Telegr & Teleph Corp <Ntt> 三次元環境情報取得装置，三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
JP2010219825A (ja) * 2009-03-16 2010-09-30 Topcon Corp 三次元計測用画像撮影装置
JP2010218173A (ja) * 2009-03-16 2010-09-30 Topcon Corp 三次元計測用画像撮影装置
US20110025829A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277339A1 (ko) * 2021-07-02 2023-01-05 리얼룩앤컴퍼니 주식회사 감지표식을 이용한 장비 조립 편차 보정 및 공정 오차 보정 장치 및, 이를 이용한 조립 편차 보정 및 공정 수행 오차 보정 방법

Also Published As

Publication number Publication date
JPWO2018143153A1 (ja) 2020-01-09
US10977825B2 (en) 2021-04-13
US20190378299A1 (en) 2019-12-12
JP6714110B2 (ja) 2020-06-24
DE112018000677T5 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
JP5872923B2 (ja) Ａｒ画像処理装置及び方法
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
WO2018143153A1 (ja) 位置測定装置及び位置測定方法
JP2017096725A (ja) 情報処理装置、情報処理方法
JP2017129567A (ja) 情報処理装置、情報処理方法、プログラム
JP2016171463A (ja) 画像処理装置、画像処理方法およびプログラム
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
WO2005054779A1 (ja) 非接触三次元計測方法および装置
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
JP2007225423A (ja) 変位測定装置
JP2014027528A (ja) 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置
JP2018033133A (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置
JP2011130290A (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP2014138332A (ja) 画像処理装置及びプログラム
JP2019149777A (ja) 画像処理装置および画像処理プログラム
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
WO2017131868A1 (en) Real time wide angle video camera system with distortion correction
JP2015103885A (ja) 複眼撮像装置
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2018195967A (ja) 撮影システム、画像合成装置、画像合成方法及び画像合成プログラム
JP4775541B2 (ja) 撮影画像における歪曲収差補正方法
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
JP2007299219A (ja) 撮影画像におけるゆがみの較正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018565540

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18747402

Country of ref document: EP

Kind code of ref document: A1