TWI748234B - 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體 - Google Patents

三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體 Download PDF

Info

Publication number
TWI748234B
TWI748234B TW108130799A TW108130799A TWI748234B TW I748234 B TWI748234 B TW I748234B TW 108130799 A TW108130799 A TW 108130799A TW 108130799 A TW108130799 A TW 108130799A TW I748234 B TWI748234 B TW I748234B
Authority
TW
Taiwan
Prior art keywords
information
sensor
dimensional
posture
dimensional information
Prior art date
Application number
TW108130799A
Other languages
English (en)
Other versions
TW202029133A (zh
Inventor
山賢人
岡原浩平
皆川純
水野慎士
坂田真太郎
榊原拓実
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202029133A publication Critical patent/TW202029133A/zh
Application granted granted Critical
Publication of TWI748234B publication Critical patent/TWI748234B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

三維重建裝置（60）包括：三維資訊取得部（63），從檢測出對象物的第1感測器（10）取得該第1三維資訊，從能夠移動並且檢測出關注部位（A1）的第2感測器（50）取得該第2三維資訊；感測器資訊取得部（62），取得第1感測器資訊（I10）及第2感測器資訊（I50）；位置及配置姿態資訊取得部（61），取得第1位置及配置姿態資訊（E10），取得第2位置及配置姿態資訊（E50）；三維重建部（64），使用第1感測器資訊、第2感測器資訊、第1位置及配置姿態資訊、以及第2位置及配置姿態資訊，從第1三維資訊（D10）及第2三維資訊（D50），重建顯示出關注部位的三維資訊。

Description

三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體
本發明係有關於三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體。
習知技術有一種系統，使用複數台的感測器所取得的複數的現實空間資訊，重建存在於現實空間內的對象物的三維資訊(例如，參照非專利文獻1)。複數台的感測器例如是複數台的Kinect。Kinect是微軟公司的註冊商標。Kinect是動態捕捉裝置的一例。感測器所取得的現實空間資訊例如是顯示從感測器至對象物為止的距離的深度資訊。被重建的三維資訊是統合感測器所取得的複數的現實空間資訊而產生的統合空間資訊。
先行技術文獻
[非專利文獻1] Marek Kowalski，及其他2名，“Livescan3D：A Fast and Inexpensive 3D Data Acquisition System for Multiple Kinect v2 Sensors”
然而，為了正確地掌握現實空間的狀況，必須大致地掌握全體，詳細地掌握關注部位。然而，關注部位有移動的可能性，因此即使設置了複數台的感測器，有可能因為關注部位偏離出檢出可能範圍，或者是解析力不足，而缺漏掌握所必須的資訊。為了減少這樣的狀況的發生，雖然也有考慮過沿著 關注部位的移動路徑來增設感測器，但還是會有因為感測器的增設而增加了系統的成本的問題。
本發明為了解決上述習之技術的問題，目的是提供一種能夠以低成本重建出顯示關注部位的三維資訊的三維重建裝置及三維重建系統、為了以低成本重建出顯示關注部位的三維資訊而使用的三維重建方法、以及記錄三維重建程式的記錄媒體
本發明的一態樣的三維重建裝置，包括：三維資訊取得部，從配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊的第1感測器，取得該第1三維資訊，從能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離的深度資訊，來產生顯示該關注部位的第2三維資訊的第2感測器，取得該第2三維資訊；感測器資訊取得部，取得顯示出該第1感測器的固有特性之第1感測器資訊以及顯示出該第2感測器的固有特性之第2感測器資訊；位置及配置姿態資訊取得部，取得顯示該第1感測器的位置及配置姿態之第1位置及配置姿態資訊，取得顯示該第2感測器的位置及配置姿態之第2位置及配置姿態資訊；以及三維重建部，使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊。
本發明的其他態樣的三維重建方法，包括：從配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊的第1感測器，取得該第1三維資訊之步驟；從能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離 的深度資訊，來產生顯示該關注部位的第2三維資訊的第2感測器，取得該第2三維資訊之步驟；取得顯示出該第1感測器的固有特性之第1感測器資訊之步驟；取得顯示出該第2感測器的固有特性之第2感測器資訊之步驟；取得顯示該第1感測器的位置及配置姿態的第1位置及配置姿態資訊之步驟；取得顯示該第2感測器的位置及配置姿態的第2位置及配置姿態資訊之步驟；以及使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊之步驟。
根據本發明，能夠獲得以低成本重建要掌握空間狀況所需要的三維資訊的效果。
1、2:三維重建系統
10、20、30、40:感測器
50:感測器
11、21、31、41、51:感測器控制裝置
12:檢出資訊取得部
13:發送部
60、70:三維重建裝置
61:位置及配置姿態資訊取得部
62:感測器資訊取得部
63:三維資訊取得部
64:三維重建部
65:記憶部
71:接收部
101:處理器
102:記憶體
103:儲存器
104:輸入裝置
105:顯示裝置
200、300:無人移動裝置
210、310:檢出資訊取得部
220、320:位置及配置姿態變更指示部
230、330:驅動控制部
240、340:位置變更部
241:x方向驅動部
242:y方向驅動部
243:z方向驅動部
341:飛行驅動部
250、350:配置姿態變更部
251、351:θa方向驅動部
252、352:θe方向驅動部
A0:對象物
A1:關注部位
D10、D20、D30、D40:三維資訊
D50:三維資訊
E10、E20、E30、E40:位置及配置姿態資訊
E50:位置及配置姿態資訊
I10、I20、I30、I40:感測器資訊
I50:感測器資訊
R10、R20、R30、R40:檢出範圍
R50:檢出範圍
第1圖係概略地顯示對本發明的實施型態1的三維重建裝置提供現實空間資訊之三維資訊之複數台的感測器以及存在於現實空間內的對象物的配置的例子。
第2圖概略地顯示對實施型態1的三維重建裝置提供三維資訊之複數台的感測器以及存在於現實空間內的對象物的配置的其他的例子。
第3圖概略地顯示對實施型態1的三維重建裝置提供三維資訊之複數台的感測器以及存在於現實空間內的對象物的配置的其他的例子。
第4圖概略地顯示對實施型態1的三維重建裝置提供三維資訊之複數台的感測器以及存在於現實空間內的對象物的配置的其他的例子。
第5圖係概略地顯示實施型態1的三維重建裝置的架構的功能方塊圖。
第6圖係顯示實施型態1的三維重建裝置的硬體的架構的例子。
第7圖係顯示實施型態1的三維重建裝置的動作的流程圖。
第8圖係顯示三維資訊的重建的流程圖。
第9圖係概略地顯示對本發明的實施型態2的三維重建裝置提供現實空間資訊之三維資訊之複數台的感測器以及存在於現實空間內的對象物的配置的例子。
第10圖係顯示無人移動裝置的架構例的概略圖。
第11圖係概略顯示第10圖所示的無人移動裝置的架構的功能方塊圖。
第12圖係概略顯示實施型態2的三維重建裝置的架構的功能方塊圖。
第13圖係顯示實施型態2的三維重建裝置的動作的流程圖。
第14圖係顯示第13圖中的三維資訊的重建的動作的流程圖。
第15圖係顯示無人移動裝置的其他的架構例的概要圖。
第16圖係概略顯示第15圖所示的無人移動裝置的架構的功能方塊圖。
以下，參照圖式來說明本發明的實施型態的三維重建裝置、三維重建系統、三維重建方法、以及三維重建程式。以下的實施型態只不過是例子，在本發明的範圍內能夠做各種變更。又，以下的實施型態的架構能夠做適當地組合。
[實施型態1]第1圖係概略地顯示對本發明的實施型態1的三維重建裝置60提供現實空間資訊之三維資訊之複數台的感測器10、20、30、40、50以及存在於現實空間內的對象物A1的配置的例子。三維重建裝置60會統合感測器10、20、30、40、50所取得的複數的現實空間資訊來產生統合空間資訊。也就是，三維重建裝置60會統合感測器10、20、30、40、50所取得的複數的三維資訊來重建出統合的三維資訊。又，三維重建裝置60及感測器10、20、30、40、50會構成三維重建系統1。
感測器10、20、30、40、50是取得現實空間的資訊的裝置。感測 器10、20、30、40、50能夠取得顯示出感測器10、20、30、40、50至對象物A0為止的距離的深度資訊。感測器10、20、30、40、50例如深度相機。感測器10、20、30、40、50也可以被稱為動態捕捉裝置。感測器10、20、30、40、50所使用的測量原理例如TOF(Time Of Flight)方式。然而，感測器10、20、30、40、50所使用的測量原理能夠產生出顯示現實空間資訊的三維資訊的話，可以是其他任意方式。
感測器10、20、30、40配置於預先決定的位置。感測器10、20、30、40也被稱為「第1感測器」。感測器10、20、30、40例如被固定於天花板、牆壁、其他的構造物等的感測器。感測器10、20、30、40分別量測出其到達檢出範圍R10、R20、R30、R40內的物體的表面為止的距離。感測器10、20、30、40例如檢測出對象物A0來產生出顯示對象物A0的現實空間資訊之三維資訊D10、D20、D30、D40。三維資訊D10、D20、D30、D40也被稱為「第1三維資訊」。第1圖中，對象物A0是作業員。然而，對象物A0也可以是移動的機械、移動的產品、加工途中的物品等。又，配置於預先決定的位置的感測器的台數並不限定於4台，也可以是4台以外的台數。
感測器50可移動地設置。感測器50也稱為「第2感測器」。感測器50是能夠改變本身位置的感測器、能夠改變本身的配置姿態的感測器、或者是能夠同時改變本身位置及配置姿態的感測器。感測器50的位置及配置姿態能夠藉由感測器的使用者保持感測器50移動感測器50來變更。感測器50設置於以能夠變更感測器50的位置及配置姿態的方式來支持的支持裝置，使用者可以變更感測器50的位置及配置姿態。
又，感測器50的位置或配置姿態也可以不透過感測器的使用者，而透過變更感測器50的位置及配置姿態的移動裝置而被變更。例如，感測器50也可以搭載於具備控制自身的位置及配置姿態的自動追蹤功能的移動裝置，用 以持續檢測出關注部位A1。這個移動裝置也可以例如是無人車、被稱為「無人機」的無人飛機、無人船等。關於具備自動追蹤功能的移動裝置，會以後述的實施型態2及3來說明。
感測器50量測至檢出範圍R50內的物體的表面的距離。感測器50例如檢測出對象物A0的關注部位A1來產生出顯示關注部位A1的現實空間資訊之三維資訊D50。三維資訊D50也被稱為「第2三維資訊」。關注部位A1是希望被感測器50持續檢測的領域。例如，對象物A0是作業員時，關注部位A1是由作業員的手所組立的製造中的物品。第1圖中，關注部位A1是畫出作為對象物A0之作業員的前方的胸口附近預先決定的大小的範圍。然而，關注部位A1也可以是其他的位置及其他的大小的範圍。
第2圖概略地顯示對實施型態1的三維重建裝置提供現實空間資訊，即三維資訊之複數台的感測器10、20、30、40、50以及存在於現實空間內的對象物A0的配置的其他的例子。第2圖中，與第1圖所示的構成要素相同或對應的構成要素會標示與第1圖所示的符號相同的符號。第1圖中，對象物A0存在於感測器10、20、30、40的中間位置附近，第2圖中，對象物A0靠近感測器30，結果關注部位A1會靠近感測器30。此時，感測器50隨著關注部位A1的移動而移動，持續檢測關注部位A1。為了持續關注部位A1的檢測，感測器50的位置、配置姿態、或者是位置及配置姿態兩者會被變更，使得關注部位A1持續存在於感測器50的檢出範圍R10內。
第3圖概略地顯示對實施型態1的三維重建裝置提供現實空間資訊，即三維資訊之複數台的感測器10、20、30、40、50以及存在於現實空間內的對象物A0的配置的其他的例子。第3圖中，與第1圖所示的構成要素相同或對應的構成要素會標示與第1圖所示的符號相同的符號。第1圖中，作為對象物A0之作業員面向感測器40，第3圖中，作為對象物A0之作業員面向感測器30。結果， 第3圖中，關注部位A1是朝向感測器30的狀態。此時，感測器50會伴隨著關注部位A1的移動而移動，持續檢測出關注部位A1。也就是說，感測器50的位置、配置姿態、或者是位置及配置姿態兩者會被變更，使得關注部位A1持續存在感測器50的檢出範圍R10內。
第4圖概略地顯示對實施型態1的三維重建裝置提供現實空間資訊，即三維資訊之複數台的感測器10、20、30、40、50以及存在於現實空間內的對象物A0的配置的其他的例子。第4圖中，與第1圖所示的構成要素相同或對應的構成要素會標示與第1圖所示的符號相同的符號。第1圖中，對象物A0的關注部位A1及感測器50之間不存在障礙物，但第3圖中，顯示對象物A0的關注部位A1及感測器50之間存在障礙物B0的狀態。此時，感測器50會因應於障礙物B0的位置來移動，持續檢測出關注部位A1。感測器50的位置、配置姿態、或者是位置及配置姿態兩者會被變更，使得關注部位A1持續存在感測器50的檢出範圍R10內。
第5圖係概略地顯示實施型態1的三維重建裝置60的架構的功能方塊圖。三維重建裝置60是能夠將實施型態1的三維重建方法實施的裝置。三維重建裝置60例如為電腦。
如第5圖所示，三維重建裝置60具備位置及配置姿態資訊取得部61、感測器資訊取得部62、三維資訊取得部63、三維重建部64。三維重建裝置60也可以具備作為儲存三維資訊的記憶裝置之記憶部65。記憶部65也可以是連接到三維重建裝置60的外部的記憶裝置。
三維資訊取得部63從感測器10、20、30、40取得作為現實空間資訊之三維資訊D10、D20、D30、D40。又，三維資訊取得部63從感測器50取得顯示出關注部位A1的現實空間資訊之三維資訊D50。三維資訊取得部63以在實際時間內取得作為顯示出關注部位A1的現實空間資訊之三維資訊D50為佳。在實 際時間內取得是指不進行暫時保存三維資訊的處理，而取得三維資訊。
感測器資訊取得部62取得顯示出感測器10、20、30、40各自的固有特性之感測器資訊I10、I20、I30、I40。感測器資訊I10、I20、I30、I40也被稱為「第1感測器資訊」。感測器資訊取得部62取得顯示出感測器50的固有特性之感測器資訊I50。感測器I50也被稱為「第2感測器資訊」。感測器資訊I10、I20、I30、I40會在事前取得。感測器資訊I10、I20、I30、I40會透過使用者操作等而在事前輸入。然而，感測器資訊I10、I20、I30、I40也可以從感測器10、20、30、40取得。感測器資訊I50也可以透過使用者操作等而在事前輸入。然而，感測器資訊I50也可以從感測器50取得。
感測器10、20、30、40、50是相機的情況下，感測器資訊I10、I20、I30、I40、I50能夠包含相機的焦距等的內部參數。
位置及配置姿態資訊取得部61取得顯示出感測器10、20、30、40各自的位置及裝置姿態之位置及配置姿態資訊E10、E20、E30、E40。位置及配置姿態資訊E10、E20、E30、E40也被稱為「第1位置及配置姿態資訊」。位置及配置姿態資訊取得部61取得顯示出感測器50的位置及配置姿態之位置及配置姿態資訊E50。位置及配置姿態資訊取得部61也可以根據感測器50所取得的三維資訊顯示出的注目部位的移動資訊(例如移動方向、移動量等)來推估感測器50的位置及姿態資訊。位置及配置姿態資訊E50也被稱為「第2位置及配置姿態資訊」。位置及配置姿態資訊E10、E20、E30、E40、E50是以世界座標系統表示的資訊。位置及配置姿態資訊E10、E20、E30、E40會在事前取得。位置及配置姿態資訊E10、E20、E30、E40會透過使用者操作等而在事前輸入。然而，位置及配置姿態資訊E10、E20、E30、E40也可以從感測器10、20、30、40取得。位置及配置姿態資訊E50從感測器50取得。位置及配置姿態資訊取得部61以在實際時間內取得作為顯示出關注部位A1的現實空間資訊之三維資訊D50。
感測器10、20、30、40、50的位置以世界座標系統表示為佳。感測器10、20、30、40、50的配置姿態會以檢測方向來表示。從位置及配置姿態資訊E10、E20、E30、E40、E50及感測器資訊I10、I20、I30、I40、I50中，決定感測器10、20、30、40、50的檢出範圍R10、R20、R30、R40、R50。
三維重建部64會使用感測器資訊I10、I20、I30、I40、感測器資訊I50、位置及配置姿態資訊E10、E20、E30、E40、以及位置及配置姿態資訊E50，從三維資訊D10、D20、D30、D40以及三維資訊D50中重建顯示出關注部位A1的三維資訊。記憶部65記憶三維重建部64所重建的三維資訊。另外，重建的三維資訊也可以輸出至顯示裝置。
第6圖係顯示實施型態1的三維重建裝置60的硬體的架構的例子。三維重建裝置60具備作為儲存例如軟體的程式、也就是作為儲存實施型態1的三維重建程式的記憶裝置之記憶體102、作為執行儲存於記憶體102的程式的資訊處理部之處理器101。三維重建裝置60也可以是通用的電腦。處理器101是計算裝置。計算裝置是CPU(Central Processing Unit)。計算裝置也可以具有CPU再加上GPU(Graphics Processing Unit)。計算裝置也可以具備提供時間資訊的時間提供功能。
實施型態1的三維重建程式會從儲存資訊的記憶媒體透過媒體讀取裝置(未圖示)或者是透過能夠連接到網路等的通訊界面(未圖示)而儲存於記憶體102。又，三維重建裝置60也可以作為具有儲存資料庫等的各種資訊的記憶裝置之儲存器103。儲存器103也可以是存在於透過通訊介面(未圖示)而連接的雲端上之記憶裝置。又，三維重建裝置60也可以連接有滑鼠及鍵盤等這種使用者操作部之輸入裝置104。又，三維重建裝置60也可以連接顯示影像的顯示器之顯示裝置105。輸入裝置104及顯示裝置105也可以是三維重建裝置60的一部分。
第6圖所示的位置及配置姿態資訊取得部61、感測器資訊取得部62、三維資訊取得部63、以及三維重建部64能夠藉由執行儲存於記憶體102的程式的處理器101來實現。又，第5圖所示的記憶部65也可以是儲存器103的一部分。
第7圖係顯示實施型態1的三維重建裝置60的動作的流程圖。然而，三維重建裝置60的動作並不限定於第7圖的例子，而能夠有各種變更。
在步驟S11，感測器資訊取得部62會取得感測器10、20、30、40的感測器資訊I10、I20、I30、I40。感測器資訊I10、I20、I30、I40例如為能夠三維量測的感測器中的內部參數。
在步驟S12，位置及配置姿態資訊取得部61取得感測器10、20、30、40的位置及配置姿態資訊E10、E20、E30、E40。此時的感測器10、20、30、40的位置及配置姿態是由世界座標系統所表示。
在步驟S13，三維資訊取得部63會從感測器10、20、30、40、50取得現實空間的三維資訊D10、D20、D30、D40、D50。
在步驟S14，三維重建部64會使用感測器資訊I10、I20、I30、I40、感測器資訊I50、位置及配置姿態資訊E10、E20、E30、E40、以及位置及配置姿態資訊E50，統合現實空間的三維資訊D10、D20、D30、D40、D50，藉此重建三維資訊。統合的三維資訊D10、D20、D30、D40、D50是同時間取樣者為佳。
在步驟S15，重建的三維資訊儲存於記憶部65。記憶於記憶部65的重建的三維資訊上，會加上表示時間的附加資訊之時間戳。加上時間戳的三維資訊能夠作為動態影像或靜止影像而顯示於第6圖所示的顯示裝置105。
步驟S13至S15的處理例如會以一定的時間間隔反覆進行到結束命令輸入為止。
第8圖係顯示第7圖中的三維資訊的重建處理之步驟S14的動作的流程圖。然而，三維資訊的重建處理並不限定於第8圖的例子，有各種變更的可 能。
在步驟S141，位置及配置姿態資訊取得部61取得可移動的感測器50的位置及配置姿態資訊E50。
在步驟S142，感測器資訊取得部62會取得可移動的感測器50的感測器資訊I50。
在步驟S143，三維重建部64進行感測器10、20、30、40、50的時間同步。結由時間同步，感測器10、20、30、40、50的時間會與三維重建裝置60的時間同步。
在步驟S144，三維重建部64會進行座標轉換，用以將感測器10、20、30、40、50的各個座標系統中的點群(Point Cloud)所表示的三維資訊，轉換成作為共通座標系統之世界座標系統中的點群所表示的三維資訊。
在步驟S145，三維重建部64會進行統合座標轉換後的三維資訊的處理。此時，對於一部分彼此重複的三維資訊，會進行刪除其中一者的三維資訊等的處理。這個三維資訊的刪除能夠以公知的方法來進行。公知的方法的一例是使用體素過濾器的方法。
如以上所說明，使用實施型態1的三維重建裝置60、三維重建系統1、三維重建方法、或者是三維重建程式的話，能夠不讓關注部位A1的資訊缺漏，重建三維資訊並儲存於記憶部65。又，即使關注部位A1位於檢出範圍內，當感測器至關注部位A1的距離較長的情況下，現實空間資訊的資訊量有可能會下降(例如解析度等會下降)。然而，使用實施型態1的三維重建裝置60、三維重建系統1、三維重建方法、或者是三維重建程式的話，不只能夠不讓關注部位A1的資訊缺漏，還能夠持續地取得詳細顯示關注部位A1的三維資訊以及顯示包括關注部位A1的廣空間的三維資訊。
又，實施型態1中，不需要沿著對象物A0的移動路徑追加多數的 感測器，因此能夠抑制系統的成本的增加。又，能夠以低成本重建出更詳細顯示關注部位A1的三維資訊、或者是顯示包括關注部位A1全體的空間的三維資訊。
[實施型態2]上述實施型態1中，說明了感測器10、20、30、40、50直接連接到三維重建裝置60的例子。然而，感測器10、20、30、40、50與三維重建裝置也可以透過具有無線通訊功能的感測器控制裝置來進行通訊。
第9圖係概略地顯示對本發明的實施型態2的三維重建裝置70提供現實空間資訊之三維資訊之複數台的感測器10、20、30、40、50以及存在於現實空間內的對象物A0的配置的例子。第9圖中，與第1圖所示的構成要素相同或對應的構成要素會標示與第1圖所示的符號相同的符號。三維重建裝置70是能夠實施實施型態2的三維重建方法的裝置。實施型態2中，感測器10、20、30、40、50會各自透過感測器控制裝置11、21、31、41、51來進行與三維重建裝置70的通訊。三維重建裝置70、感測器10、20、30、40、50、以及感測器控制裝置11、21、31、41、51會構成三維重建系統2。
感測器控制裝置11、21、31、41、51會將感測器10、20、30、40、50所檢測出的三維資訊D10、D20、D30、D40、D50發送至三維重建裝置70。又，感測器控制裝置11、21、31、41、51也可以將感測器10、20、30、40、50的感測器資訊I10、I20、I30、I40、I50及位置及配置姿態資訊E10、E20、E30、E40、E50發送至三維重建裝置70。
又，實施型態2中，感測器50及感測器控制裝置51會被搭載於作為移動裝置之無人移動裝置200。無人移動裝置200例如能夠包括無人車、無人飛機、無人船、無人潛水艇等。又，無人移動裝置200也可以具備變更感測器50的配置姿態的機構。無人移動裝置200也可以具備自動追蹤功能，根據感測器50的檢出資訊來控制感測器50的位置及配置姿態，使得感測器50持續地檢測出關 注部位A1。
第10圖係顯示無人移動裝置200的架構例的概略圖。第11圖係概略顯示無人移動裝置200的架構的功能方塊圖。無人移動裝置200具備從感測器50取得現實空間的三維資訊D50之檢出資訊取得部210、根據三維資訊D50來產生感測器50的位置及配置姿態的變更指示資訊之位置及配置姿態變更指示部220、驅動控制部230、位置變更部240、配置姿態變更部250。檢出資訊取得部210以實際時間取得三維資訊D50為佳。檢出資訊取得部210也可以取得位置及配置姿態資訊E50。這個情況下，檢出資訊取得部210以實際時間取得位置及配置姿態資訊E50為佳。
無人移動裝置200的位置變更部240包括x方向驅動部241和y方向驅動部242，x方向驅動部241和y方向驅動部242是在x方向和y方向上彼此垂直的地面上行進的行進機構。x方向驅動部241和y方向驅動部242具備車輪、產生用以驅動車輪的驅動力的馬達、將以馬達產生的驅動力傳達到車輪的齒輪等的動力傳達機構等。
又，位置變更部240具有z方向驅動部243，z方向驅動部243是將感測器50往上下移動於z方向的昇降機構。z方向驅動部243具備指示感測器50等的支持台、產生將支持台上下移動的驅動力的馬達、將以馬達產生的驅動力傳達到支持台的齒輪等的動力傳達機構等。
又，無人移動裝置200的配置姿態變更部250具有含有變更感測器50的方位角θa的方位角變更機構之θa方向驅動部251、含有變更感測器50的仰角θe的仰角變更機構之θe方向驅動部252。θa方向驅動部251及θe方向驅動部252具備產生將感測器50或其支持台以水平軸線或垂直軸線為中心旋轉的驅動力之馬達、將馬達產生的驅動力傳達到感測器50或其支持台的齒輪等的動力傳達機構等。
例如，位置及配置姿態變更指示部220抽出三維資訊D50中的關注部位A1內的特徵點，為了不讓特徵點偏出預先決定的檢出範圍，將用以控制感測器50的位置及配置姿態之位置及配置姿態的變更指示資訊給予驅動控制部230。然而，位置及配置姿態變更指示部220也可以考慮感測器10、20、30、40的位置來產生變更指示資訊。例如，關注部位A1在感測器10、20、30、40的檢出範圍R10、R20、R30、R40任一者的範圍內的情況下，位置及配置姿態變更指示部220也可以容許關注部位A1暫時地偏離感測器50的檢出範圍R50。這個情況下，無人移動裝置200以事前的輸入操作取得有關於感測器10、20、30、40的檢出範圍R10、R20、R30、R40的資訊。又，無人移動裝置200也可以具備在感測器10、20、30、40之間進行通訊的通訊裝置，用以取得有關感測器10、20、30、40的檢出範圍R10、R20、R30、R40的資訊。
驅動控制部230依照接受到的變更指示資訊，而控制位置變更部240及配置姿態變更部250。
又，第10圖及第11圖所示的架構能夠適用於實施型態1。又，第11圖所示的無人移動裝置200的架構，與第6圖的架構相同地，能夠藉由記憶程式的記憶體、執行程式的處理器來實現。
又，感測器50的位置及配置姿態的控制並不限定於由內而外的方式，也可以以由外而內的方式來進行。例如，無人移動裝置200也可以具備檢測出感測器50的位置及配置姿態的外部的檢出器，位置及配置姿態變更指示部220也可以根據這個外部的檢出器的檢出信號來輸出位置及配置姿態變更指示。
第12圖係概略顯示實施型態2的三維重建裝置70的架構的功能方塊圖。第12圖中，與第5圖所示的構成要素相同或對應的構成要素會標示與第5圖所示的符號相同的符號。三維重建裝置70在具備接收部71這點，與實施型態1的三維重建裝置60不同。接收部71會透過感測器控制裝置11、21、31、41、51 來接收來自感測器10、20、30、40、50所發送的資訊。
感測器控制裝置11、21、31、41、51各自具備取得感測器做的檢出資訊之檢出資訊取得部12、以無線發送資訊至接收部71的發送部13。
第13圖係顯示實施型態2的三維重建裝置70的動作的流程圖。步驟S21、S22、S25中的處理與第6圖的步驟S11、S12、S15中的處理相同。步驟S23、S24中的處理與第6圖的步驟S13、S14中的處理相同。然而，實施型態2中，三維重建裝置70透過接收部71取得各種資訊。
步驟S23中，接收部71會從感測器10、20、30、40、50透過感測器控制裝置11、21、31、41、51來接收現實空間的三維資訊D10、D20、D30、D40、D50。三維資訊取得部63從接收部71取得現實空間的三維資訊D10、D20、D30、D40、D50。
第14圖係顯示第11圖中的三維資訊的重建的處理之步驟S24的動作的流程圖。步驟S241中，接收部71接收可移動的感測器50的位置及配置姿態資訊E50，位置及配置姿態取得部61從接收部71接收位置及配置姿態資訊E50。
步驟S242中，接收部71接收可移動的感測器50的感測器資訊I50，感測器取得部62從接收部71接收感測器資訊I50。
從步驟S243至S245的處理與第7圖中的步驟S143至S145的處理相同。
如以上說明，使用實施型態2的三維重建裝置70、三維重建系統2、三維重建方法、或者三維重建程式的話，能夠不讓關注部位A1的資訊缺漏，重建三維資訊。
又，因為不需要沿著對象物A0的移動路徑來追加多數的感測器，所以能夠抑制系統的成本的增加。
關於上述以外的點，實施型態2與實施型態1相同。
[實施型態2的變形例]第15圖係顯示無人移動裝置300的架構例的概要圖。第15圖係概略顯示無人移動裝置300的架構的功能方塊圖。無人移動裝置300具備以實際時間從感測器50取得現實空間的三維資訊D50之檢出資訊取得部310、根據三維資訊D50來產生感測器50的位置及配置資訊的變更指示資訊之位置及配置姿態變更指示部320、驅動控制部330、位置變更部340、配置姿態變更部350。
無人移動裝置300包括無人飛機。無人移動裝置300的位置變更部340具有飛行驅動部341，用以在x方向、y方向、z方向上彼此垂直的空中移動。飛行驅動部341具備螺旋槳、產生使螺旋槳旋轉的驅動力之馬達等。
又，無人移動裝置300的配置姿態變更部350具有包括變更感測器50的方位角θa的方位角變更機構之θa方向驅動部351、包括變更感測器50的仰角θe的仰角變更機構之θe方向驅動部352。θa方向驅動部351及θe方向驅動部352具備產生將感測器50或其支持台以水平軸線或垂直軸線為中心旋轉的驅動力之馬達、將馬達產生的驅動力傳達到感測器50或其支持台的齒輪等的動力傳達機構等。
例如，位置及配置姿態變更指示部320抽出三維資訊D50中的關注部位A0內的特徵點，為了不讓特徵點偏出預先決定的檢出範圍，將用以控制感測器50的位置及配置姿態之位置及配置姿態的變更指示資訊給予驅動控制部330。驅動控制部330會按照接受的變更指示資訊，控制位置變更部340及配置姿態變更部350。
又，第15圖及第16圖所示的架構也能夠適用於實施型態1。又，第15圖所示的無人移動裝置300的架構，能夠藉由記憶程式的記憶體、執行程式的處理器來實現。關於上述內容以外，第15圖及第16圖的例子與第10圖及第11圖的例子相同。
又，無人移動裝置300也可以是移動於水上的無人船、移動於水中的無人潛水艇、行走於預先鋪設的軌道上的無人車等。
上述各實施型態中說明的三維重建裝置及三維重建系統能夠適用於工廠中的作業員的作業的監視、製造途中的產品的監視等。
60:三維重建裝置
61:位置及配置姿態資訊取得部
62:感測器資訊取得部
63:三維資訊取得部
64:三維重建部
65:記憶部

Claims (17)

  1. 一種三維重建裝置，包括：三維資訊取得部，從配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊的第1感測器，取得該第1三維資訊，從能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離的深度資訊，來產生顯示該關注部位的第2三維資訊的第2感測器，取得該第2三維資訊；感測器資訊取得部，取得顯示出該第1感測器的固有特性之第1感測器資訊以及顯示出該第2感測器的固有特性之第2感測器資訊；位置及配置姿態資訊取得部，取得顯示該第1感測器的位置及配置姿態之第1位置及配置姿態資訊，取得顯示該第2感測器的位置及配置姿態之第2位置及配置姿態資訊；以及三維重建部，使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊。
  2. 如申請專利範圍第1項所述之三維重建裝置，其中該三維資訊取得部在實際時間從該第2感測器取得該第2三維資訊。
  3. 如申請專利範圍第1或2項所述之三維重建裝置，其中該位置及配置姿態資訊取得部在實際時間從該第2感測器取得該第2位置及配置姿態資訊。
  4. 如申請專利範圍第1項所述之三維重建裝置，更包括：接收部，接收無線訊號，其中該三維資訊取得部在實際時間透過該接收部從該第2感測器取得該第2三維資訊， 該位置及配置姿態取得部在實際時間透過該接收部從該第2感測器取得該第2位置及配置姿態資訊。
  5. 如申請專利範圍第1或2項所述之三維重建裝置，其中該位置及配置姿態資訊取得部根據該第2三維資訊所示的該關注部位的移動資訊，推估該第2感測器的位置及配置姿態。
  6. 如申請專利範圍第1或2項所述之三維重建裝置，更包括：記憶部，記憶該三維重建部所重建的該三維資訊。
  7. 一種三維重建系統，包括：第1感測器，配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊；第2感測器，能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離的深度資訊，來產生顯示該關注部位的第2三維資訊；三維資訊取得部，取得該第1三維資訊及該第2三維資訊；感測器資訊取得部，取得顯示出該第1感測器的固有特性之第1感測器資訊以及顯示出該第2感測器的固有特性之第2感測器資訊；位置及配置姿態資訊取得部，取得顯示該第1感測器的位置及配置姿態的第1位置及配置姿態資訊，取得顯示該第2感測器的位置及配置姿態的第2位置及配置姿態資訊；以及三維重建部，使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊。
  8. 如申請專利範圍第7項所述之三維重建系統， 其中該移動裝置根據該第2三維資訊來控制該第2感測器的位置及配置姿態，使得該關注部位不偏離出該第2感測器的檢出範圍。
  9. 如申請專利範圍第8項所述之三維重建系統，其中該移動裝置在實際時間從該第2感測器取得該第2三維資訊。
  10. 如申請專利範圍第8或9項所述之三維重建系統，其中該移動裝置在實際時間從該第2感測器取得該第2位置及配置姿態資訊。
  11. 如申請專利範圍第8或9項所述之三維重建系統，其中該移動裝置考量該第1感測器的位置來控制該第2感測器的移動。
  12. 如申請專利範圍第8或9項所述之三維重建系統，其中該關注部位在該第1感測器的檢出範圍內的情況下，該移動裝置進行控制來容許該關注部位暫時地偏離該第1感測器的檢出範圍。
  13. 如申請專利範圍第7至9項任一者所述之三維重建系統，其中該位置及配置姿態資訊取得部根據該第2三維資訊中的該關注部位的移動，來推估該第2感測器的位置及配置姿態。
  14. 如申請專利範圍第7至9項任一者所述之三維重建系統，其中該三維資訊取得部從複數的該第1感測器取得複數的該第1三維資訊，該感測器資訊取得部取得複數的該第1感測器資訊，該位置及配置姿態資訊取得部取得複數的該第1位置及配置姿態資訊，該三維重建部使用複數的該第1感測器資訊、該第2感測器資訊、複數的該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從複數的該第1三維資訊及該第2三維資訊，重建該三維資訊。
  15. 如申請專利範圍第7至9項任一者所述之三維重建系統，更包括：記憶部，記憶該三維重建部所重建的該三維資訊。
  16. 一種三維重建方法，包括以下步驟： 從配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊的第1感測器，取得該第1三維資訊；從能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離的深度資訊，來產生顯示該關注部位的第2三維資訊的第2感測器，取得該第2三維資訊；取得顯示出該第1感測器的固有特性之第1感測器資訊；取得顯示出該第2感測器的固有特性之第2感測器資訊；取得顯示該第1感測器的位置及配置姿態的第1位置及配置姿態資訊；取得顯示該第2感測器的位置及配置姿態的第2位置及配置姿態資訊；以及使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊。
  17. 一種記錄媒體，記錄了三維重建程式，使電腦執行以下的處理，包括：從配置於預先決定的位置並且藉由檢測出顯示至移動的對象物為止的距離的深度資訊來產生顯示該對象物的第1三維資訊的第1感測器，取得該第1三維資訊；從能夠藉由移動裝置移動、藉由該移動裝置變更位置及配置姿態、並且藉由檢測出顯示至該對象物當中預先決定的大小的範圍為止的距離，也就是至關注部位為止的距離的深度資訊，來產生顯示該關注部位的第2三維資訊的第2感測器，取得該第2三維資訊；取得顯示出該第1感測器的固有特性之第1感測器資訊； 取得顯示出該第2感測器的固有特性之第2感測器資訊；取得顯示該第1感測器的位置及配置姿態的第1位置及配置姿態資訊；取得顯示該第2感測器的位置及配置姿態的第2位置及配置姿態資訊；以及使用該第1感測器資訊、該第2感測器資訊、該第1位置及配置姿態資訊、以及該第2位置及配置姿態資訊，從該第1三維資訊及該第2三維資訊，重建顯示出該關注部位的三維資訊。
TW108130799A 2019-01-16 2019-08-28 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體 TWI748234B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-004819 2019-01-16
JP2019004819A JP7241546B2 (ja) 2019-01-16 2019-01-16 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
PCT/JP2019/018759 WO2020148926A1 (ja) 2019-01-16 2019-05-10 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
WOPCT/JP2019/018759 2019-05-10

Publications (2)

Publication Number Publication Date
TW202029133A TW202029133A (zh) 2020-08-01
TWI748234B true TWI748234B (zh) 2021-12-01

Family

ID=71614460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130799A TWI748234B (zh) 2019-01-16 2019-08-28 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體

Country Status (7)

Country Link
US (1) US20210333384A1 (zh)
EP (1) EP3896388B1 (zh)
JP (1) JP7241546B2 (zh)
KR (1) KR102564594B1 (zh)
CN (1) CN113260831A (zh)
TW (1) TWI748234B (zh)
WO (1) WO2020148926A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129143B4 (de) * 2018-11-20 2021-06-17 Carl Zeiss Industrielle Messtechnik Gmbh Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003014435A (ja) * 2001-07-04 2003-01-15 Minolta Co Ltd 測定装置及び測定方法
JP2018195241A (ja) * 2017-05-22 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631266B2 (ja) * 1994-05-13 2005-03-23 株式会社応用計測研究所 移動物体の計測装置
WO2005080914A1 (ja) * 2004-02-25 2005-09-01 The University Of Tokyo 形状測定装置及びその方法
JP2008168372A (ja) * 2007-01-10 2008-07-24 Toyota Motor Corp ロボット装置及び形状認識方法
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
US8264486B2 (en) * 2009-07-24 2012-09-11 The United States Of America As Represented By The Secretary Of The Navy Real-time high-speed three dimensional modeling system
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
JP2016125956A (ja) * 2015-01-07 2016-07-11 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム
US10304203B2 (en) * 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US20180253894A1 (en) * 2015-11-04 2018-09-06 Intel Corporation Hybrid foreground-background technique for 3d model reconstruction of dynamic scenes
US10591277B2 (en) * 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
JP7113294B2 (ja) * 2016-09-01 2022-08-05 パナソニックＩｐマネジメント株式会社 多視点撮像システム
KR20180067908A (ko) * 2016-12-13 2018-06-21 한국전자통신연구원 3차원 모델 복원 장치 및 방법
US10789726B2 (en) * 2017-03-15 2020-09-29 Rubber Match Productions, Inc. Methods and systems for film previsualization
JP7170230B2 (ja) * 2018-05-02 2022-11-14 パナソニックＩｐマネジメント株式会社 三次元再構成方法及び三次元再構成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003014435A (ja) * 2001-07-04 2003-01-15 Minolta Co Ltd 測定装置及び測定方法
JP2018195241A (ja) * 2017-05-22 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
KR102564594B1 (ko) 2023-08-07
CN113260831A (zh) 2021-08-13
TW202029133A (zh) 2020-08-01
EP3896388B1 (en) 2023-07-26
EP3896388A4 (en) 2022-01-26
WO2020148926A1 (ja) 2020-07-23
KR20210098526A (ko) 2021-08-10
JP2020112497A (ja) 2020-07-27
US20210333384A1 (en) 2021-10-28
EP3896388A1 (en) 2021-10-20
JP7241546B2 (ja) 2023-03-17

Similar Documents

Publication Publication Date Title
US11747823B2 (en) Monocular modes for autonomous platform guidance systems with auxiliary sensors
CN112567201B (zh) 距离测量方法以及设备
US10341633B2 (en) Systems and methods for correcting erroneous depth information
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
JP2019114234A (ja) 航空非破壊検査用の測位システム
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
CN106339001A (zh) 地图生成方法、移动机器人以及地图生成系统
CN110095786B (zh) 基于一线激光雷达的三维点云地图生成方法及系统
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US11994588B2 (en) Three-dimensional surface scanning
US20210268659A1 (en) Spatially-Aware Camera and Method Thereof
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
CN103003666A (zh) 用于三维空间测量的平行的在线-离线重构
KR20170124871A (ko) 무인차량의 자율주행을 위한 라이다센서 장치
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
TWI748234B (zh) 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體
Yang et al. Enhanced 6D measurement by integrating an Inertial Measurement Unit (IMU) with a 6D sensor unit of a laser tracker
CN115435784A (zh) 高空作业平台激光雷达与惯导融合定位建图装置及方法
JP6557055B2 (ja) 電波計測システムおよび基地局
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
CN112578363B (zh) 激光雷达运动轨迹获取方法及装置、介质
CN208314856U (zh) 一种用于单目机载目标检测的系统
JP2023131258A (ja) 情報処理装置、及び制御方法
Alenya et al. ToF cameras for eye-in-hand robotics