TWI687870B - 環境取得系統以及環境取得方法 - Google Patents

環境取得系統以及環境取得方法 Download PDF

Info

Publication number
TWI687870B
TWI687870B TW107139524A TW107139524A TWI687870B TW I687870 B TWI687870 B TW I687870B TW 107139524 A TW107139524 A TW 107139524A TW 107139524 A TW107139524 A TW 107139524A TW I687870 B TWI687870 B TW I687870B
Authority
TW
Taiwan
Prior art keywords
housing
environment
visual sensor
environmental information
acquisition system
Prior art date
Application number
TW107139524A
Other languages
English (en)
Other versions
TW201926139A (zh
Inventor
蓮沼仁志
Original Assignee
日商川崎重工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商川崎重工業股份有限公司 filed Critical 日商川崎重工業股份有限公司
Publication of TW201926139A publication Critical patent/TW201926139A/zh
Application granted granted Critical
Publication of TWI687870B publication Critical patent/TWI687870B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531—Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

環境取得系統(1)具備外殼(11)、視覺感測器(12)及資料處理部(14)。上述視覺感測器(12)係被容納於上述外殼(11)內，且可重複取得與上述外殼(11)的外部之環境相關的環境資訊。上述資料處理部(14)係根據以上述視覺感測器(12)取得的環境資訊或自該環境資訊獲取的資訊，進行上述視覺感測器(12)之位置及姿勢的推測處理及外部環境三維資料的生成處理。上述視覺感測器(12)係可於上述外殼(11)的姿勢未被控制且上述外殼(11)遠離地面而不受外部的機械約束的狀態下，取得上述環境資訊。

Description

環境取得系統以及環境取得方法
本發明主要關於一種環境取得系統的構成。
過往已知一種構成，其於機器人上安裝照相機(camera)或感測器，且利用照相機或感測器取得機器人之位置資訊等。專利文獻1至專利文獻3揭示此種之構成。
專利文獻1揭示一種機器人系統，其具備：機器人臂；照相機，其安裝於機器人臂之前端或其近旁；及機器人控制器，其根據自拍攝之圖像資料中獲取的作業對象等的位置資訊，進行機器人臂的位置校正。於該構成中，機器人控制器係根據位置資訊進行機器人臂的位置校正。藉此，可提高機器人臂之保持等的動作精度。
專利文獻2揭示一種移動體裝置之位置識別系統，其具備：移動台車；照相機，其安裝於移動台車側；及複數個發光型目標標誌，其配置於既定位置，且僅於自移動台車傳送特定之發光請求信號之情況下才反應且發光。於該構成中，預先將所有目標標誌之設置位置與移動台車的發光請求信號建立關聯，且以照相機確定區域內的至少兩個 目標標誌位置。然後，根據照相機的方向及拍攝圖像中的標誌的坐標位置計算自身位置。
專利文獻3揭示一種自主移動機器人，其具備：三維量測感測器，其能夠立體量測與物體間隔的距離；同時定位感測器(Simultaneous Localization sensor)，其能量測自身位置；及運算裝置，其包含地圖生成部。於該構成中，使機器人在移動環境內運動，且利用三維量測感測器量測機器人至周圍物體的距離，並利用同時定位感測器掃描移動環境。然後，自掃描之資料中生成環境地圖的資料。
[先前技術文獻] [專利文獻]
專利文獻1：日本特開2017-132002號公報。
專利文獻2：日本特開2005-3445號公報。
專利文獻3：日本特開2016-149090號公報。
然而，於專利文獻1的構成中，於機器人臂的前端或其近旁等需要用以安裝照相機的空間。因此，當安裝空間不足時，不能使用該構成。
於專利文獻2的構成中，為了獲取移動台車的位置，需要預先準備複數個標誌且將其等標誌配置於既定位置。因此，可能於使用之準 備上會費時費力，難謂便利性高。
於專利文獻3的構成中，使用有複數個照相機及感測器。因此，其製造成本增高。
本發明係鑑於以上的情狀而完成，其目的在於能使準備作業變得簡單，並且可自由且靈活地取得外部環境的三維資料。
本發明所欲解決的問題誠如上述，以下對用以解決該問題的手段及其功效進行說明。
根據本發明之第一觀點，提供以下構成的環境取得系統。亦即，該環境取得系統具備外殼、視覺感測器及資料處理部。上述視覺感測器係被容納於上述外殼內，且可重複取得與上述外殼的外部之環境相關的環境資訊。上述資料處理部係根據以上述視覺感測器取得的環境資訊或自該環境資訊獲取的資訊，進行上述視覺感測器之位置及姿勢的推測處理及外部環境三維資料的生成處理。上述視覺感測器係可於上述外殼的姿勢未被控制且上述外殼遠離地面而不受外部的機械約束的狀態下，取得上述環境資訊。
根據本發明之第二觀點，提供以下的環境取得方法。亦即，該環境取得方法係包含環境資訊取得步驟及資料處理步驟。於上述環境資訊取得步驟中，使用具備外殼及視覺感測器的感測裝置，且於上述外 殼的姿勢未被控制且上述外殼遠離地面而不受外部的機械約束的狀態下，使上述視覺感測器取得上述環境資訊。上述視覺感測器係被容納於上述外殼內，並且可以重複取得與上述外殼的外部之環境相關的環境資訊。於上述資料處理步驟中，根據於上述環境資訊取得步驟中取得的環境資訊或自該環境資訊獲取的資訊，進行上述視覺感測器之位置及姿勢的推測及外部環境三維資料的生成。
藉此，無須複雜的準備作業，可容易取得外部環境三維資料。此外，由於可以高度靈活的視點取得環境資訊，因此可抑制因死角導致的外部環境三維資料的損失。
根據本發明的環境取得系統及環境取得方法，不僅準備作業簡單，且可靈活自由地取得外部環境的三維資料。
1:環境取得系統
10:感測裝置
11:外殼
11a:開口
12:立體照相機(視覺感測器)
13:距離圖像資料生成裝置
14:SLAM處理裝置(資料處理裝置)
15:特徵點處理部
16:環境地圖生成部
17:同時定位部
18:特徵點擷取部
19:特徵點追蹤部
20:記憶部
21:通信部
25:支撐殼體
26:支撐軸
31:機器人臂
32:工件
40:飛行物體
50:外部裝置
51:三維資料搜索部
圖1為顯示本發明之一實施形態之環境取得系統的整體構成的外觀圖。
圖2為環境取得系統具備之感測裝置的剖視圖。
圖3為顯示環境取得系統之電性構成的方塊圖。
圖4為顯示環境取得系統之使用例的圖。
圖5為顯示環境取得系統之其他使用例的圖。
以下，參照圖式對本發明之實施形態進行說明。圖1為顯示環境取得系統1的整體構成的外觀圖。圖2為環境取得系統1具備之感測裝置10的剖視圖。圖3為顯示環境取得系統1之電性構成的方塊圖。
如圖1所示，環境取得系統1具備感測裝置10。該感測裝置10具備容納各裝置的外殼11。並且，如圖2所示，感測裝置10具備立體照相機(視覺感測器)12、距離圖像資料生成裝置13、SLAM(Simultaneous Localization and Mapping：同時定位與地圖構建)處理裝置(資料處理部)14、記憶部20及通信部21。
外殼11係形成為中空球形。於外殼11之內部空間的中央部配置有支撐殼體25。該支撐殼體25係藉助複數個桿狀之支撐軸26被固定於外殼11的內壁。於支撐殼體25之內部配置有立體照相機12、距離圖像資料生成裝置13、SLAM處理裝置14、記憶部20及通信部21。此外，於支撐殼體25之內部設置有用以對上述各部分供給電力的未圖示之充電式蓄電池。
於外殼11形成具有適宜大小的開口11a。容納於內部的立體照相機12可經由該開口11a對外部進行拍攝。
儘管未圖示，但較佳為於外殼11的表面安裝有能吸收撞擊的構件(例如橡膠等)。藉此，即使於如後述因投擲感測裝置10而導致與外部物體碰撞之情況下，仍可減少對內部裝置的撞擊，並且可防止外部環境的損害。也可由能夠吸收振動的材料構成整個外殼11。
立體照相機12係具備一對相互間隔適當的距離而配置之攝像元件(圖像感測器)。每個攝像元件例如可作為CCD(Charge coupled Device：電荷耦合元件)而構成。2個攝像元件相互同步動作，藉此，生成同時拍攝了外部環境的一對圖像資料。於本實施形態中，該一對圖像資料(立體圖像資料)相當於環境資訊。此外，於立體照相機12中，將CCD取得的圖像資料直接寫入且保存於RAM，以謀求實現高速化，藉此，立體照相機12每秒可生成500幀以上、較佳為1000幀以上的圖像資料。
距離圖像資料生成裝置13係由能進行圖像處理的電腦構成，且具備CPU、ROM、RAM等。距離圖像資料生成裝置13係藉由對由立體照相機12獲取的一對圖像資料進行公知的立體匹配處理，求得與每個圖像對應之位置的偏差(視差)。視差係與距離成反比例，與拍攝物的距離越近則視差越是增大。距離圖像資料生成裝置13係根據該視差生成使距離資訊與圖像資料的各像素建立對應的距離圖像資料。
每當立體照相機12生成圖像資料時，即時執行距離圖像資料的生成。因此，能以與立體照相機12相同的頻率獲取距離圖像資料。距離圖像資料生成裝置13係將生成的距離圖像資料輸出至SLAM處理裝置14。
與距離圖像資料生成裝置13相同，SLAM處理裝置14係作為具有CPU、ROM及RAM等的電腦而構成。SLAM處理裝置14係對自距離 圖像資料生成裝置13輸入的距離圖像資料進行SLAM處理。藉此，可同時取得立體照相機12的位置及姿勢的推測資訊及環境地圖即外部環境三維資料。依此方式使用照相機圖像進行的SLAM處理被稱為Visual-SLAM。立體照相機12的位置及姿勢係與感測裝置10的位置及姿勢對應。
如圖3所示，SLAM處理裝置14係具備特徵點處理部15、環境地圖生成部16及同時定位部17。
特徵點處理部15係藉由對依序輸入至SLAM處理裝置14的距離圖像資料的圖像進行解析，設定適宜的特徵點，進而取得其運動。特徵點處理部15係將特徵點及其運動的資訊輸出至環境地圖生成部16及同時定位部17。
特徵點處理部15係具備特徵點擷取部18及特徵點追蹤部19。
特徵點擷取部18係藉由公知方法自距離圖像資料內包含的圖像中擷取複數個特徵點。已提出各種各樣之特徵點的擷取方法，例如可使用諸如Harris、FAST、SIFT、SURF等的各種運算法。特徵點擷取部18係將獲取之特徵點的坐標等資訊輸出至特徵點追蹤部19。也可於輸出至特徵點追蹤部19的資訊內含有描述該特徵點的特徵量。
特徵點追蹤部19係藉由公知方法，於連續獲取的複數個距離圖像資料之間追蹤出現於圖像中的特徵點。已提出各種追蹤特徵點的方法， 例如可使用Horn-Schunk方法、Lucas-Kanade方法等。藉由該處理，可求得以向量(vector)表現特徵點之移動的光流，該特徵點係在相當於圖像之平面內。
環境地圖生成部16係根據自特徵點處理部15輸入的特徵點的資料，依序生成環境地圖即三維地圖(外部環境三維資料)。同時定位部17係根據特徵點的追蹤結果，依序取得立體照相機12的位置及姿勢。
以下，具體進行說明。確定用以製作地圖之三維地圖坐標系(世界坐標系)，且於以該坐標系表示之三維空間中，以某種方法提供初始的立體照相機12的位置及姿勢。然後，自特徵點處理部15朝環境地圖生成部16輸入根據最初之距離圖像資料的特徵點的資訊。該特徵點的資訊內含有表示圖像上的特徵點的位置的坐標及至該特徵點的距離(於距離圖像資料中與坐標建立關聯的距離)。環境地圖生成部16係使用立體照相機12的位置及姿勢、特徵點在圖像上之坐標、及與該坐標建立關聯的距離，計算該特徵點在三維地圖坐標系中的位置。環境地圖生成部16係將獲得的特徵點的位置資訊輸出且記憶於記憶部20。該處理相當於將特徵點作為三維地圖的一部分繪製於三維空間中。
然後，假定已獲取新的距離圖像資料，且自特徵點處理部15輸入有之前設定的特徵點的追蹤結果及本次新設定的特徵點。同時定位部17係根據輸入之特徵點的追蹤結果(位置及距離的變化)及三維地圖坐標系中的該特徵點的位置，推測立體照相機12的位置及姿勢之變化。藉此，可以獲取立體照相機12於三維地圖坐標系中的新位置及姿勢。
接著，環境地圖生成部16以更新後的立體照相機12的位置及姿勢為基準，計算新設定的特徵點在三維地圖坐標系中的位置，並將計算結果輸出至記憶部20。藉此，可於三維空間中追加繪製新的特徵點。
如此，每次輸入有距離圖像資料時，則即時且交替地重複藉由環境地圖生成部16進行三維地圖資料的更新處理、及藉由同時定位部17進行立體照相機12的位置及姿勢的更新處理。藉此，可生成作為被繪製之點組的三維地圖資料。
記憶部20係記憶藉由環境地圖生成部16生成的三維地圖資料。再者，記憶部20還可一併記憶藉由同時定位部17計算的立體照相機12的位置及姿勢的變化履歷。
通信部21例如可利用無線與配置於外殼11外部的外部裝置50之間進行通信。因此，可根據來自外部之指令控制感測裝置10的動作。此外，感測裝置10可將記憶於記憶部20的三維地圖資料等的感測裝置10收集的資訊輸出至外部。
接著，參照圖4，對環境取得系統1的使用例進行說明。於圖4的示例中，環境取得系統1係被利用於使用機器人臂31對工件32進行作業時之動作支援。
為了獲取顯示機器人臂31的周圍已變得如何等的資料，使用者手 握環境取得系統1的感測裝置10，適當地朝機器人臂31及工件32的周邊投擲。
感測裝置10未特別具備用於行駛的輪胎或用於飛行的螺旋槳等移動手段。因此，能以低成本實現環境取得系統1。此外，由於投擲感測裝置10時的動作與球類遊戲等中使用的球基本相同，因此使用者容易掌握。由於外殼11係球形，因此可成為不易損壞的構造，於這層意義上對使用者而言亦能輕鬆操縱。
於投擲之感測裝置10掉落到地板等上乃至達到靜止的過程中，進行立體照相機12之攝像、距離圖像資料生成裝置13的距離圖像資料的生成、及SLAM處理裝置14的三維地圖資料的製作。
上述處理係於感測裝置10進行拋物線運動乃至自由落體運動的狀態下，換言之係於外殼11的姿勢未被控制且外殼11遠離地面而不受外部的機械約束的狀態下進行。因此，可實現非常靈活自由的視點，例如，若朝上方拋擲感測裝置10，可於三維地圖資料中包含根據高處之視點的特徵點的位置。因此，容易避免在以定點照相機獲取的情況下容易產生之死角的問題等，從而可豐富三維地圖資料的資訊量。由於立體照相機12係以每秒生成500幀以上較佳為每秒生成1000幀以上的圖像資料的方式構成，因此，即使於感測裝置10伴隨投擲而高速移動或旋轉之情況下，對特徵點之追踪仍幾乎不會失敗。
使用者例如還可一面有意圖地使感測裝置10旋轉一面投擲。藉此， 立體照相機12一面改變各種方向一面呈拋物線移動，因此可對感測裝置10周圍的寬闊範圍取得三維地圖資料。換言之，可以一個立體照相機12實質上獲取猶如具備複數個立體照相機12那樣的寬闊視野。因此，可簡化感測裝置10的構成並可降低成本。
也可重複進行將感測裝置10投擲之後拾起並再次投擲之作業。藉由以各種之軌道投擲於各種地方，可獲取範圍寬且高精度的三維地圖資料。
由感測裝置10生成並記憶於記憶部20的三維地圖資料係藉由通信部21被傳送至圖3所示的外部裝置50。
外部裝置50取得的三維地圖資料係被適當地利用於機器人臂31的動作指令。例如，使用三維地圖資料求得工件32之相對於機器人臂31的前端的終端效應器的相對位置及姿勢，並根據該資訊對機器人臂31發出指令。因此，即使機器人臂31本身具備的感測器的精度因某種原因而不佳，機器人臂31仍可適宜地對工件32進行作業。或者，藉由根據三維地圖資料生成機器人臂31周圍的障礙物的資訊，可防止機器人臂31在動作時與周圍環境發生干擾。
外部裝置50將取得之三維地圖資料作為對象進行三維物體識別。更具體地說明，外部裝置50具備三維資料搜索部51，該三維資料搜索部51係將預先提供的三維模型的形狀與該三維模型的名稱建立對應關係後，例如以資料庫的形式加以記憶。三維資料搜索部51係利用諸如 三維匹配等公知方法自取得的三維地圖資料中搜索三維模型，並將相應的名稱例如作為標籤提供給尋獲的三維形狀。因此，例如於自三維地圖資料中尋獲工件32的三維形狀的情況下，可賦予稱為「工件」之標籤。
當使用者指示機器人臂31進行動作時使用所獲取的標籤，可有效地避免指示的複雜化。此外，關於機器人臂31的動作，例如也可以「握持」、「搬送」的方式抽像地進行指示。藉由上述說明，可使機器人臂31以諸如指示「握持工件」的簡單的使用者界面進行使用者期望的作業，而無須依賴數值等的指示。
如以上說明，本實施形態的環境取得系統1係具備外殼11、立體照相機12及SLAM處理裝置14。立體照相機12被容納於外殼11，且可重複取得與外殼11外部的環境相關的立體圖像資料。SLAM處理裝置14係根據自利用立體照相機12取得的立體圖像資料中獲取的距離圖像資料，進行立體照相機12的位置及姿勢的推測處理及三維地圖資料的生成處理。立體照相機12可於外殼11的姿勢未被控制且外殼11遠離地面而不受外部機械約束的狀態下取得立體圖像資料。
藉此，不需要預先確保固定之設置空間或預先進行裝置的固定作業，可容易取得三維地圖資料。此外，由於可一面投擲外殼11且使其落下一面取得環境資訊，因此可以抑制因死角而導致的三維地圖資料的損失。
於本實施形態的環境取得系統1中，立體照相機12可於外殼11的自由落體狀態下取得立體圖像資料。
藉此，例如藉由單純地朝任意之場所投擲而可簡單地使用。
此外，於本實施形態的環境取得系統1中，外殼11的外形係球形。
藉此，容易以人的手等進行投擲。此外，由於為球形，因此可確保其強度，並且容易旋轉，因此可取得範圍寬的三維地圖資料。
於本實施形態的環境取得系統1中，藉由照相機取得上述立體圖像資料。
與例如後述的LIDAR比較，照相機更廉價。因此，可有效地降低成本。
此外，於本實施形態的環境取得系統1中，SLAM處理裝置14係被容納於外殼11。並且，可即時進行立體照相機12之立體圖像資料的取得及SLAM處理裝置14的處理。
藉此，由於即時取得外部環境三維資料，因此適合於要求即時性的情況。
此外，本實施形態的環境取得系統1係具備：三維資料搜索部51， 係自三維地圖資料中搜索預先登錄的三維資料。
因此，例如藉由自外部環境三維資料中檢測機器人的操作對象物，可以簡化與機器人的動作的示教相關的使用者界面。此外，例如可自動檢測出現於外部環境三維資料的異常狀況。
此外，於本實施形態中，藉由包含以下之環境資訊取得步驟及資料處理步驟的方法，進行外部環境之取得。於上述環境資訊取得步驟中，使用上述感測裝置10，於外殼11的姿勢未被控制且外殼11遠離地面而不受外部的機械約束的狀態下，使立體照相機12取得立體圖像資料。於上述資料處理步驟中，根據自於上述環境資訊取得步驟中取得的立體圖像資料中獲取的距離圖像資料，進行立體照相機12的位置及姿勢的推測及三維地圖資料的生成。
因此，不需要預先確保固定之設置空間或預先進行裝置的固定作業，而可容易取得三維地圖資料。此外，由於可一面投擲外殼11且使其落下一面取得環境資訊，因此可以抑制因死角而導致的三維地圖資料的損失。
以上儘管對本發明的較佳實施形態進行了說明，但上述構成例如可依如下方式進行變更。再者，有時亦可省略相同的說明。
也可以於外部裝置50設置SLAM處理裝置14而不是在感測裝置10上，且利用無線通信使外部裝置50自感測裝置10取得距離圖像資 料而進行Visual-SLAM處理的方式進行變更。並且，也可以將距離圖像資料生成裝置13設於外部裝置50，且利用無線通信使外部裝置50自感測裝置10取得立體圖像資料而進行距離圖像資料之生成處理及Visual-SLAM處理的方式變更。
於外部裝置50具備距離圖像資料生成裝置13及SLAM處理裝置14等之情況，由於可以減輕感測裝置10的重量，因此可使操作變得更容易。此外，感測裝置10相對於外部的撞擊不易被損壞。
另一方面，如上述實施形態，若將立體照相機12、距離圖像資料生成裝置13及SLAM處理裝置14皆設於感測裝置10側，可以高速輸入/輸出立體圖像資料、距離圖像資料等，因此更容易即時處理。換言之，即使於如上述使用高速型之照相機作為立體照相機12之情況下，仍可即時使距離圖像資料生成裝置13及SLAM處理裝置14動作，進而可以實際時間處理生成三維地圖資料。
環境取得系統1也可具備：旋轉驅動部，係使立體照相機12相對於外殼11進行旋轉。例如，該旋轉驅動部可作為使支撐殼體25相對於支撐軸26旋轉的電動馬達而構成。於外殼11上以一面能使立體照相機12旋轉一面對外部進行拍攝的方式，例如以與立體照相機12的透鏡的旋轉軌跡對向之方式預先設置環形透明構件。
於該情況下，可一面強制性地使立體照相機12旋轉一面取得立體圖像資料。因此，即使自投擲感測裝置10至著落於地板乃至達到靜止 為止的移動軌跡較短，仍可獲取範圍寬的三維地圖資料。
於上述實施形態中，雖然環境取得系統1係在與機器人臂31等分離的狀態下被使用，但該環境取得系統1也可直接將外殼11安裝於機器人臂31等上以供使用。
例如，外殼11也可構成為立方體形狀或長方體形狀而不是球形。此外，對開口11a的形狀無特別限制，例如可設為長孔形狀。此外，開口11a也可變更為透明窗。整個外殼11可為透明構件。
作為視覺感測器可使用單眼照相機，以取代立體照相機12。於該情況下，SLAM處理裝置14只要進行公知的單眼Visual-SLAM處理即可。此外，也可取代立體照相機12，而使用組合單眼照相機及陀螺儀感測器而成的公知構成，取得視差資訊並將其利用於SLAM技術。
也可藉由上述旋轉驅動部強制性地使單眼照相機旋轉，且藉由適宜之量測感測器(例如編碼器)依序量測該單眼照相機的旋轉方向及角速度，藉以取得視差資訊而利用於SLAM技術。
也可使用能進行三維量測的三維LIDAR(雷射掃描器)作為視覺感測器，以取代立體照相機12。於該情況下，與使用立體照相機12的情況比較，可更精確地量測對象物的三維位置。此外，藉由使用雷射，可進行抑制亮度等之外部影響的掃描。
於使用三維LIDAR之情況下，該三維LIDAR輸出的三維點組資料係相當於環境資訊。省略距離圖像資料生成裝置13，且將三維點組資料輸入SLAM處理裝置14。於SLAM處理裝置14中，省略特徵點處理部15，且將該三維點組資料作為三維地圖資料的一部分輸出至環境地圖生成部16。然後當輸入了三維點組資料時，藉由ICP等公知運算法對該點組進行追蹤處理，且將點組的運動資訊輸出至同時定位部17。同時定位部17根據三維點組的運動推測三維LIDAR的位置及姿勢。藉此，可實現SLAM處理。
為了提高同時定位部17之自身位置的推測精度，感測裝置10也可具備能量測加速度及角速度的IMU(慣性量測單元)。
也可取代外部裝置50而於感測裝置10設置三維資料搜索部51。藉由於感測裝置10側進行三維物體識別，可迅速(幾乎即時地)且容易地利用識別結果。
感測裝置10還可經由適宜的固定夾具安裝於在工地上進行作業的作業人員的佩戴物(例如安全帽等)上進行使用。因此，作業人員不僅可利用自己的眼睛，而且還可利用在SLAM處理中取得的目前位置的資訊或三維地圖資料等進行作業。此外，還可容易確保作業人員為了作業而移動的路徑的可追蹤性。還可考慮將作業人員的目前位置及三維地圖資料即時地傳送至監控者的顯示裝置，監控者可觀察該顯示裝置來指示作業人員。較佳為與上述實施形態相同，對取得的三維地圖資料進行三維物體識別。藉此，容易發現與預先登錄的對象物不同的異 物或發現對象物的異常狀態(例如損壞等)，並能容易掌握維護對象的位置。藉此，可提高作業效率。
如圖5所示，還可於無人機等飛行物體40上使用多組感測裝置10。飛行物體40自空中將感測裝置10一齊朝欲取得三維地圖資料的區域投擲。藉此，每個感測裝置10取得三維地圖資料。安裝於飛行物體40的外部裝置50係將利用無線通信而自各感測裝置10收集的三維地圖資料整合為一個。藉此，可於短時間內獲取範圍寬的三維地圖資料。
1:環境取得系統
10:感測裝置
11:外殼
11a:開口

Claims (9)

  1. 一種環境取得系統，係具備：外殼；視覺感測器，係被容納於前述外殼內，且可重複取得與前述外殼的外部之環境相關的環境資訊；以及資料處理部，係根據以前述視覺感測器取得的環境資訊或自前述環境資訊獲取的資訊，進行前述視覺感測器之位置及姿勢的推測處理及外部環境三維資料的生成處理；前述視覺感測器係可於前述外殼的姿勢未被控制且前述外殼遠離地面而不受外部的機械約束的狀態下，取得前述環境資訊。
  2. 如請求項1所記載的環境取得系統，其中前述視覺感測器可於前述外殼的自由落體狀態下取得前述環境資訊。
  3. 如請求項1或2所記載的環境取得系統，其中前述外殼的外形係球形。
  4. 如請求項1或2所記載的環境取得系統，其中前述視覺感測器係照相機。
  5. 如請求項1或2所記載的環境取得系統，其中前述資料處理部係被容納於前述外殼內；即時進行前述視覺感測器之前述環境資訊的取得及前述資料處理部的處理。
  6. 如請求項1或2所記載的環境取得系統，其中前述資料處理部係被配置於前述外殼的外部；前述資料處理部係利用通信取得前述視覺感測器獲取之前述環境資訊，且對前述環境資訊進行處理。
  7. 如請求項1或2所記載的環境取得系統，其中具備：旋轉驅動部，使前述視覺感測器相對於前述外殼進行旋轉。
  8. 如請求項1或2所記載的環境取得系統，其中具備：三維資料搜索部，係自前述外部環境三維資料中搜索預先登錄的三維資料。
  9. 一種環境取得方法，係包含：環境資訊取得步驟，係使用具備外殼及視覺感測器的感測裝置，於前述外殼的姿勢未被控制且前述外殼遠離地面而不受外部的機械約束的狀態下，使前述視覺感測器取得前述環境資訊，其中前述視覺感測器係被容納於前述外殼內並且可以重複取得與前述外殼的外部之環境相關的環境資訊；以及資料處理步驟，係根據於前述環境資訊取得步驟中取得的環境資訊或自前述環境資訊獲取的資訊，進行前述視覺感測器之位置及姿勢的推測及外部環境三維資料的生成。
TW107139524A 2017-11-08 2018-11-07 環境取得系統以及環境取得方法 TWI687870B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017215253A JP2019086419A (ja) 2017-11-08 2017-11-08 環境取得システム
JP2017-215253 2017-11-08

Publications (2)

Publication Number Publication Date
TW201926139A TW201926139A (zh) 2019-07-01
TWI687870B true TWI687870B (zh) 2020-03-11

Family

ID=66438839

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139524A TWI687870B (zh) 2017-11-08 2018-11-07 環境取得系統以及環境取得方法

Country Status (5)

Country Link
US (1) US20200366815A1 (zh)
JP (1) JP2019086419A (zh)
CN (1) CN111417836A (zh)
TW (1) TWI687870B (zh)
WO (1) WO2019093282A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429113B2 (en) * 2019-08-08 2022-08-30 Lg Electronics Inc. Serving system using robot and operation method thereof
WO2021049281A1 (ja) * 2019-09-12 2021-03-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
US11703864B2 (en) * 2020-02-13 2023-07-18 Skydio, Inc. Scanning structures via unmanned aerial vehicles
CN111268127A (zh) * 2020-02-26 2020-06-12 西安交通大学 一种飞行侦察机器人和多球形移动侦察机器人的复合侦查系统
WO2023234384A1 (ja) * 2022-06-03 2023-12-07 Ｎｅｃソリューションイノベータ株式会社 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104254A (ja) * 2005-10-04 2007-04-19 Konica Minolta Holdings Inc カメラユニット
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
TW201704096A (zh) * 2015-07-28 2017-02-01 英華達股份有限公司 無人機
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042420A (ja) * 1999-07-29 2001-02-16 Fuji Photo Film Co Ltd デジタルカメラ
JP5158223B2 (ja) * 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP5866913B2 (ja) * 2011-09-19 2016-02-24 株式会社リコー 撮像装置
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
WO2016006588A1 (ja) * 2014-07-09 2016-01-14 パイオニア株式会社 移動体制御装置、移動体制御方法、移動体制御プログラム及び記録媒体
CN104935896B (zh) * 2015-06-29 2019-03-08 广州杰赛科技股份有限公司 自适应运动环境侦测装置以及系统
US20170043882A1 (en) * 2015-08-12 2017-02-16 Drones Latam Srl Apparatus for capturing aerial view images
CN105354875B (zh) * 2015-09-25 2018-01-23 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN105931283B (zh) * 2016-04-22 2019-10-29 南京梦宇三维技术有限公司 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106652028B (zh) * 2016-12-28 2020-07-03 深圳乐动机器人有限公司 一种环境三维建图方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104254A (ja) * 2005-10-04 2007-04-19 Konica Minolta Holdings Inc カメラユニット
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
TW201704096A (zh) * 2015-07-28 2017-02-01 英華達股份有限公司 無人機
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法

Also Published As

Publication number Publication date
WO2019093282A1 (ja) 2019-05-16
US20200366815A1 (en) 2020-11-19
TW201926139A (zh) 2019-07-01
JP2019086419A (ja) 2019-06-06
CN111417836A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
TWI687870B (zh) 環境取得系統以及環境取得方法
CN108453738B (zh) 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法
JP5618840B2 (ja) 飛行体の飛行制御システム
CN108226938A (zh) 一种agv小车的定位系统和方法
CN106898022A (zh) 一种手持式快速三维扫描系统及方法
CN107923740B (zh) 传感器设备、传感器系统以及信息处理设备
CN105981074A (zh) 相机标定
CN108499054A (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
JP2016177640A (ja) 映像監視システム
JP2015037937A (ja) 飛行体の飛行制御システム
CN107203207B (zh) 无人行驶作业车
CN107205111B (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
CN108332755A (zh) 一种球形机器人视觉定位系统
CN107203206B (zh) 无人行驶作业车
JPWO2021090352A1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
JP7391053B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7453762B2 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
US20220011750A1 (en) Information projection system, controller, and information projection method
WO2020024150A1 (zh) 地图处理方法、设备、计算机可读存储介质
Hsia et al. Height estimation via stereo vision system for unmanned helicopter autonomous landing
TW202201946A (zh) 攝影系統及機器人系統
JP7440272B2 (ja) 飛行体、３次元位置・姿勢計測装置、及び３次元位置・姿勢計測方法
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
CN116499456B (zh) 移动机器人自动定位装置、方法及无人割草机定位系统
JP7278637B2 (ja) 自走式移動装置