TWI645160B - 重疊顯示系統 - Google Patents

重疊顯示系統 Download PDF

Info

Publication number
TWI645160B
TWI645160B TW107118478A TW107118478A TWI645160B TW I645160 B TWI645160 B TW I645160B TW 107118478 A TW107118478 A TW 107118478A TW 107118478 A TW107118478 A TW 107118478A TW I645160 B TWI645160 B TW I645160B
Authority
TW
Taiwan
Prior art keywords
camera
laser scanner
measurement pattern
posture
pattern
Prior art date
Application number
TW107118478A
Other languages
English (en)
Other versions
TW201938988A (zh
Inventor
吉田光伸
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Application granted granted Critical
Publication of TWI645160B publication Critical patent/TWI645160B/zh
Publication of TW201938988A publication Critical patent/TW201938988A/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

重疊顯示系統(100),包括基底(10)、姿勢變化機構(20)、測量對象物(40)以及計算機(50)。基底(10),固定攝影機(11)和雷射掃描器(12)。姿勢變化機構(20),將固定攝影機(11)和雷射掃描器(12)的基底(10)固定。姿勢變化機構(20),使基底(10)的轉動角度、傾斜角度、偏轉角度改變。測量對象物(40),有測量圖案(41)。計算機(50),取得攝影機(11)拍攝的測量圖案(41)的攝影影像(11a)以及根據雷射掃描器(12)產生的測量圖案(41)的掃描線(12a),重疊攝影影像(11a)以及掃描線(12a),顯示在顯示裝置(60)上。

Description

重疊顯示系統
本發明,係關於使用於行動製圖系統(Mobile Mapping System)(以下稱MMS),且用於校準攝影機以及雷射掃描器的重疊顯示系統。
MMS,係在測量車輛中裝載推測車輛位置的裝置、攝影機以及雷射掃描器。根據MMS測量車輛的行駛,寬廣地進行道路以及道路周邊形狀的測量。MMS測量車輛,經過時間變化以及小碰撞等,攝影機以及雷射掃描器的安裝位置或安裝姿勢可能改變。攝影機以及雷射掃描器的安裝位置或安裝姿勢一改變,測量精度就惡化。
於是,為了防止測量精度惡化,實施用以確保精度的校準(例如專利文件1)。
[先行技術文件] [專利文件]
[專利文件1]日本專利第2010-175423號公開公報
但是,一直以來,校準之際,讓裝載攝影機以及 雷射掃描器的車輛行駛(例如專利文件1)。因此,校準的負擔很大。
於是,本發明以提供不裝載攝影機以及雷射掃描器於車輛而進行校準的系統為目的。
本發明的重疊顯示系統,包括基底,固定攝影機以及雷射掃描器;姿勢變化機構,將固定上述攝影機和上述雷射掃描器的上述基底固定,使上述基底的轉動角度、傾斜角度、偏轉角度改變;測量對象物,具有上述攝影機拍攝的圖案,且根據上述雷射掃描器產生的掃描出現反射亮度不同的圖案之測量圖案;以及計算機,取得上述攝影機拍攝的上述測量圖案的攝影影像以及根據上述雷射掃描器產生的上述測量圖案的掃描結果之掃描線,重疊上述攝影影像以及上述掃描線,顯示在顯示裝置上。
根據本發明,可以提供車輛上不裝載攝影機以及雷射掃描器而進行校準的系統。
Φ‧‧‧轉動角度
θ‧‧‧傾斜角度
ψ‧‧‧偏轉角度
△Φ‧‧‧轉動角度差
△θ‧‧‧傾斜角度差
△ψ‧‧‧偏轉角度差
10‧‧‧基底
11‧‧‧攝影機
11a‧‧‧攝影影像
12‧‧‧雷射掃描器
12a‧‧‧掃描線
20‧‧‧姿勢變化機構
21‧‧‧轉動軸
22‧‧‧傾斜軸
23‧‧‧偏轉軸
24‧‧‧支持構件
30‧‧‧試驗裝置
32‧‧‧地板
40‧‧‧測量對象物
41‧‧‧測量圖案
42‧‧‧配置面
43‧‧‧輪腳(caster)
50‧‧‧計算機
51‧‧‧處理器
51a‧‧‧顯示控制部
51b‧‧‧補正部
52‧‧‧主記憶裝置
53‧‧‧輔助記憶裝置
54‧‧‧輸出入介面裝置
55‧‧‧信號線
60‧‧‧顯示裝置
70‧‧‧輸入裝置
71‧‧‧鍵盤
72‧‧‧滑鼠
81‧‧‧一點鎖線
82‧‧‧地板
100‧‧‧重疊顯示系統
[第1圖]係第一實施形態的圖,顯示重疊顯示系統的概要圖;[第2圖]係第一實施形態的圖中試驗裝置以及測量對象物的立體圖;[第3圖]係第一實施形態的圖中計算機的硬體構成圖; [第4圖]係第一實施形態的圖,顯示雷射掃描器的旋轉圖;[第5圖]係第一實施形態的圖,顯示雷射掃描器的旋轉的其他圖;[第6圖]係第一實施形態的圖,顯示雷射掃描器的旋轉的又其他圖[第7圖]係第一實施形態的圖,顯示攝影機以及雷射掃描器的偏轉角度差圖;[第8圖]係第一實施形態的圖,顯示攝影機以及雷射掃描器的傾斜角度差圖;[第9圖]係第一實施形態的圖,顯示攝影機以及雷射掃描器的轉動角度差圖;以及[第10圖]係第一實施形態的圖,顯示攝影機以及雷射掃描器的轉動角度差的其他圖。
以下關於本發明的實施形態,利用圖說明。又,各圖中,相同或相當的部分,附上相同的符號。實施形態的說明中,關於相同或相當的部分,適當省略或簡化說明。
第一實施形態
參照第1、2、3圖,說明第一實施形態的重疊顯示系統100。第1圖顯示重疊顯示系統100的概要。第2圖係試驗裝置30以及測量對象物40的立體圖。測量對象物40具有測量圖案41。第2圖中,係看不到後述的轉動軸21、傾斜軸22以及偏轉軸23的狀態。第1及2圖中,試驗裝置30配置在地板82上。第3圖係顯示計算機50的硬體構成。
第1圖所示的重疊顯示系統100中,計算機50的顯示控制部51a,經由輸出入介面裝置54,取得攝影機11拍攝的測量圖案41的攝影影像11a以及雷射掃描器12產生的測量圖案41的掃描結果的掃描線12a。於是,計算機50的顯示控制部51a,重疊測量圖案41的攝影影像11a以及掃描線12a,顯示在顯示裝置60上。
測量對象物40具有輪腳(caster)43。輪腳(caster)43係移動機構。測量對象物40可以藉由輪腳(caster)43移動至地板82上。操作員藉由移動測量對象物40,讓測量圖案41接近試驗裝置30,或者可以讓測量圖案41遠離試驗裝置30。又,操作員改變固定攝影機11以及雷射掃描器12的基底10的轉動角度Φ、傾斜角度θ、偏轉角度ψ,為了正確重疊雷射掃描器12的掃描線12a與攝影影像11a,看顯示裝置60的畫面,可以決定校準參數。所謂校準參數,係指示固定至基底10,攝影機11與雷射掃描器12的相對姿勢差的資訊。
具體而言,係攝影機11的安裝姿勢與雷射掃描器12的安裝姿勢之間,轉動角度差△Φ、傾斜角度差△θ、偏轉角度差△ψ。以下,轉動角度差△Φ、傾斜角度差△θ、偏轉角度差△ψ有時只記述為△Φ、△θ、△ψ。後述△Φ、△θ、△ψ的細節。△Φ、△θ、△ψ都是後述的姿勢不同資訊。姿勢不同資訊係指示攝影機11與雷射掃描器12的相對姿勢不同的資訊。
根據重疊顯示系統100,使用測量對象物40與試驗裝置30,得到校準參數的△Φ、△θ、△ψ。重疊顯示系統100 中,裝載攝影機11與雷射掃描器12的試驗裝置30,不移動。
因此,如專利文件1,因為不必讓裝載攝影機11與雷射掃描器12的車輛行駛,可以簡便決定校準參數。
構成的說明
以下,詳細說明重疊顯示系統100。如第1圖所示,重疊顯示系統100,包括試驗裝置30、計算機50、顯示裝置60以及測量對象物40。
試驗裝置30,包括基底10與姿勢變化機構20。基底10,固定攝影機11與雷射掃描器12。基底10、攝影機11及雷射掃描器12,全體可以看作一個剛體。固定基底10與攝影機11的基底10相對於地板82不移動。
姿勢變化機構20,將固定攝影機11與雷射掃描器12的基底10固定。姿勢變化機構20,可以使基底10的轉動角度Φ、傾斜角度θ、偏轉角度ψ改變。
攝影機11,與計算機50連接。攝影機11,輸出測量圖案41的攝影影像11a至計算機50。雷射掃描器12,與計算機50連接。雷射掃描器12,輸出測量圖案41的掃描結果之掃描線12a至計算機50。
全體可以看作一個剛體,基底10、攝影機11及雷射掃描器12,在以MMS測量車輛實際裝載的狀態下,配置在試驗裝置30中。即,一點鎖線81圍繞的基底10、攝影機11及雷射掃描器12,在以MMS測量車輛實際裝載的狀態。
基底10,由姿勢變化機構20支持。姿勢變化機構20,具有轉動軸21、傾斜軸22、偏轉軸23以及支持構件24。
試驗裝置30中,根據姿勢變化機構20,設定轉動軸21、傾斜軸22及偏轉軸23。轉動軸21、傾斜軸22及偏轉軸23,有時分別標記為X軸、Y軸、Z軸。轉動軸21中,雷射掃描器12射出的雷射光方向,係配置測量對象物40的測量圖案41的配置面42的法線方向。第4到6圖係顯示雷射掃描器12旋轉的圖。第4圖顯示雷射掃描器12在XY平面內零度的狀態。第5圖顯示雷射掃描器12在XY平面內從零度的狀態往右旋轉的狀態。第6圖顯示雷射掃描器12在XY平面內從零度的狀態往左旋轉的狀態。如第4圖所示,雷射掃描器12,在XY平面內從零度到+90度、-90度的範圍內旋轉,射出雷射光。即,雷射掃描器12,在第4圖的狀態為零度時,在Z軸周圍可往右90度、往左90度旋轉。第4圖中,配置面42的法線方向是雷射光的零度射出方向,此雷射光的零度射出方向設定為X軸方向。包含+90度及-90度的雷射光的平面的法線方向是Z軸方向。XZ平面的法線方向是Y軸方向。如上述,設定X軸、Y軸、Z軸的轉動軸21、傾斜軸22及偏轉軸23。
固定攝影機11以及雷射掃描器12的基底10,可以在轉動軸21(X軸)、傾斜軸22(Y軸)及偏轉軸23(Z軸)的周圍旋轉。轉動軸21的旋轉角度是轉動角度Φ,傾斜軸22的旋轉角度是傾斜角度θ,偏轉軸23的旋轉角度是偏轉角度ψ。
轉動軸21、傾斜軸22以及偏轉軸23,以支持構件24支持。即,固定攝影機11以及雷射掃描器12的基底10,經由轉動軸21、傾斜軸22以及偏轉軸23,以支持構件24支持。
測量對象物40,具有測量圖案41。測量圖案41, 係攝影機11拍攝的圖案,且根據雷射掃描器12產生的掃描出現反射亮度不同的圖案。第一實施形態中,測量圖案41的實例是格子圖案。第一實施形態的格子圖案中,黑與白相同形狀,但黑與白不同形狀也沒關係。又,根據雷射掃描器12產生的掃描出現反射亮度不同的圖案的話,測量圖案41不限於格子圖案。
測量對象物40,具有輪腳(caster)43。利用輪腳(caster)43,可以在地板82上移動測量對象物40。即,對於試驗裝置30,可以自由改變測量對象物40的位置。
計算機50,作為硬體,包括處理器51、主記憶裝置52、輔助記憶裝置53、輸出入介面裝置54。處理器51,經由信號線55與其他的硬體連接,控制這些其他的硬體。
處理器51,係進行演算處理的IC(積體電路)。處理器51,作為具體例,係CPU(中央處理單元)、DSP(數位信號處理器)、GPU(圖形處理單元)。
主記憶裝置52,係可讀寫的揮發性記憶裝置。作為主記憶裝置52的具體例,係SRAM(靜態隨機存取記憶體)、DRAM(動態隨機存取記憶體)。
輔助記憶裝置53,係可讀寫的非揮發性記憶裝置。輔助記憶裝置53中,記憶用以實現計算機50的機能的程式以及其他資料。輔助記憶裝置53,作為具體例,係磁碟裝置(硬碟)。又,輔助記憶裝置53,係使用光碟(Optical disc)、雷射唱片(Compact disc)、Blue-ray(註冊商標)(藍光)光碟、DVD(數位多功能光碟)等可攜式記憶媒體的記憶裝置也可以。
輸出入介面裝置54,係處理器51用以與攝影機11、 雷射掃描器12、顯示裝置60以及輸入裝置70通訊的介面裝置。
計算機50,作為機能要素,包括顯示控制部51a以及補正部51b。顯示控制部51a以及補正部51b的機能,以重疊顯示程式實現。輔助記憶裝置53中,記憶實現顯示控制部51a以及補正部51b的機能的重疊顯示程式。重疊顯示程式,以處理器51讀入實現。藉此,實現顯示控制部51a以及補正部51b的機能。
重疊顯示程式,使計算機50實行顯示控制部51a以及補正部51b的各部的「部」改稱為「處理」、「步驟」或「程序」的各處理、各步驟或各程序。又,重疊顯示方法,係以計算機50實行重疊顯示程式來實施的方法。重疊顯示程式,由收納在電腦可讀取的記錄媒體提供也可以,作為程式產品提供也可以。
第3圖中,處理器51只顯示1個。但是,計算機50,備置代替處理器51的複數的處理器也可以。這些複數的處理器,分擔實行顯示控制部51a以及補正部51b的機能。各個處理器,與處理器51相同,係進行演算處理的IC。處理器51以及複數的處理器,被稱作處理電路作為總稱。
動作的說明
參照第7到10圖,說明重疊顯示系統100的動作。
(1)第7圖顯示攝影機11的姿勢以及雷射掃描器12的姿勢之間有偏轉角度差△ψ的實例。
(2)第7圖,顯示利用顯示控制部51a,攝影影像11a與掃描線12a在顯示裝置60上重疊顯示的情況。說明攝影影像11a與掃 描線12a在顯示裝置60上重疊顯示的動作。
(3)操作員,用試驗裝置30的攝影機11拍攝測量圖案41,又,用雷射掃描器12掃描測量圖案41。
(4)攝影影像11a以及掃描線12a,經由輸出入介面裝置54,發送給顯示控制部51a。
(5)顯示控制部51a,經由輸出入介面裝置54,在顯示裝置60上重疊顯示攝影影像11a以及掃描線12a。掃描線12a以線顯示,但實際上是點集合的點群。此點群,稱作雷射點群。雷射點群也顯示反射亮度。
(6)攝影機11與雷射掃描器12的偏轉方向姿勢一致時,對於攝影機11,正確重疊掃描線12a。即,所謂「正確重疊」,係白與黑的反射亮度和攝影影像11a重疊。第7圖中,掃描線12a-1,顯示正確重疊攝影影像11a的掃描線。
(7)掃描線12a-2的黑白圖案,相對於掃描線12a-1的黑白圖案,顯示往右方向偏離的狀態。掃描線12a-3的黑白圖案,相對於掃描線12a-1的黑白圖案,往左方向偏離。掃描線12a-2與掃描線12a-3,沒正確重疊攝影影像11a。
(8)藉由修正左方向或右方向的偏離量,可以修正攝影機11的姿勢與雷射掃描器12的姿勢之間的偏轉角度差△ψ。又,第7圖中,一起記述右方向偏離與左方向偏離,但實際上出現右方向偏離與左方向偏離其中之一。
(9)說明左方向偏離的實例。掃描線12a-3的黑白圖案,相對於正常的掃描線12a-1的黑白圖案,往左方向偏離長度L1。另一方面,如第1圖所示,從試驗裝置30的基準點到測量圖案 41的距離,係距離L0。因此,攝影機11與雷射掃描器12的偏轉角度差△ψ,可以用以下的式1計算。
△ψ=tan-1(L1/L0) (式1)
操作者,從顯示裝置60上顯示的攝影影像11a與掃描線12a-3讀取長度L1,算出偏轉角度差△ψ。根據上述,攝影機11的姿勢與雷射掃描器12的姿勢之間,得到偏轉角度差△ψ。
(10)算出偏轉角度差△ψ時,操作者經由像鍵盤71或滑鼠72的輸入裝置70,輸入姿勢不同資訊的偏轉角度差△ψ至計算機50。
即,對計算機50的補正部51b,經由輸入裝置70,輸入姿勢不同資訊的偏轉角度差△ψ。計算機50的補正部51b,使用姿勢不同資訊的偏轉角度差△ψ,補正顯示裝置60上顯示的掃描線12a的位置。具體而言,實現補正部51b的重疊顯示程式中,設定對於基底10的攝影機11及雷射掃描器12的姿勢資訊。補正部51b取得偏轉角度差△ψ時,補正此姿勢資訊。補正姿勢資訊,具有實際上使用工具修正攝影機11的姿勢與雷射掃描器12的姿勢之間的偏轉角度差△ψ的效果。顯示控制部51a,將補正部51b補正位置的掃描線12a重疊至測量圖案41的攝影影像11a顯示。根據此重疊顯示,操作者,可以確認偏轉角度差△ψ的修正狀態。
(11)操作者利用以式1得到的值作為偏轉角度差△ψ。但是,取代利用以式1得到的值作為偏轉角度差△ψ,操作者輸入相當於偏轉角度差△ψ的值至計算機50。具體而言,操作者,直到得到正常的掃描線為止,輸入不同值的相當值至計算機50, 得到校正偏轉角度Φ之掃描線也可以。相當值是姿勢不同資訊。
又,使用式1的結果時,操作者旋轉基底10,但使用相當值時,操作者,不一定旋轉基底10也可以。不旋轉基底10時,沒有姿勢變化機構20也可以。因此第1圖中,固定攝影機11與雷射掃描器12的基底10,配置在地板32上也可以,配置在支持構件24上也可以。
(1)第8圖,顯示攝影機11的姿勢與雷射掃描器12的姿勢之間有傾斜角度差△θ之例。
(2)第8圖,顯示利用顯示控制部51a,測量圖案41與掃描線12a-4或掃描線12a-5在顯示裝置60上重疊顯示的情況。不用區別掃描線12a-4或掃描線12a-5時,掃描線標記為掃描線12a。說明測量圖案41與掃描線12a在顯示裝置60重疊顯示的動作。
(3)操作員,用試驗裝置30的攝影機11拍攝測量圖案41,又,用雷射掃描器12掃描測量圖案41。
(4)攝影影像11a以及掃描線12a,經由輸出入介面裝置54,發送給顯示控制部51a。
(5)顯示控制部51a,經由輸出入介面裝置54,在顯示裝置60上重疊顯示攝影影像11a以及掃描線12a。這些與第7圖相同。
(6)攝影機11與雷射掃描器12的傾斜方向姿勢一致時,對於測量圖案41,正確重疊掃描線12a。即,所謂「正確重疊」,如下述。如上述,第8圖,顯示攝影機11與雷射掃描器12的傾 斜方向姿勢偏離的情況。操作者往傾斜方向即傾斜軸22(Y軸)周圍旋轉基底10時,顯示裝置60的畫面中隨著基底10的旋轉移動掃描線12a。第1圖中,假設操作者往傾斜軸22(Y軸)的左周旋轉基底10。在此情況下,第8圖中,掃描線12a,從掃描線12a-4往掃描線12a-5移動。攝影機11與雷射掃描器12的傾斜方向的姿勢偏離的情況下,從掃描線12a-4往掃描線12a-5移動時,對於攝影影像11a的黑白,掃描線的黑白反轉的時機偏離。即,攝影機11與雷射掃描器12的傾斜方向的姿勢沒偏離的情況下,在離掃描線12a-4長度L2的位置掃描線的黑白反轉。另一方面,攝影機11與雷射掃描器12的傾斜方向的姿勢偏離的情況下,離掃描線12a-4長度L3的位置的掃描線12a-5中,掃描線的黑白反轉。
(7)此例中,藉由修正下方向的偏離量,可以修正攝影機11的姿勢與雷射掃描器12的姿勢之間的傾斜角度差△θ。在此下方向的偏離量係L3-L2。
因此,與第7圖的情況相同,攝影機11與雷射掃描器12的傾斜角度差△θ可以用以下的式2計算。
△θ=tan-1((L3-L2)/L0) (式2)
操作者,從顯示裝置60上顯示的攝影影像11a與掃描線12a-4以及掃描線12a-5,讀取長度「L3-L2」,算出傾斜角度差△θ。
根據上述,得到攝影機11的姿勢與雷射掃描器12的姿勢之間的傾斜角度差△θ。
(8)算出傾斜角度差△θ時,操作者經由像鍵盤71或滑 鼠72的輸入裝置70,將姿勢不同資訊的傾斜角度差△θ輸入至計算機50。即,計算機50的補正部51b,經由輸入裝置70,輸入姿勢不同資訊的傾斜角度差△θ。
計算機50的補正部51b,利用姿勢不同資訊的傾斜角度差△θ,與偏轉角度差△ψ的情況相同,補正顯示裝置60上顯示的掃描線12a的位置。補正部51b取得傾斜角度差△θ時,補正第7圖的說明中所述的姿勢資訊。補正姿勢資訊,具有實際上使用工具,修正攝影機11的姿勢與雷射掃描器12的姿勢之間的傾斜角度差△θ的效果。顯示控制部51a,將補正部51b補正位置的掃描線12a,重疊在測量圖案41的攝影影像11a上顯示。根據此重疊顯示,操作者,可以確認傾斜角度差△θ的修正狀態。
(9)操作者根據式2得到的值用作傾斜角度差△θ。但是,取代使用根據式2得到的值作為傾斜角度差△θ,操作者,輸入相當於傾斜角度差△θ的相當值至計算機50也可以。相當值是姿勢不同資訊。
具體而言,操作者,直到得到正常的掃描線為止,輸入不同值的相當值至計算機50,得到校正的傾斜角度θ之掃描線也可以。相當值是姿勢不同資訊。
又,使用式2的結果時,操作者旋轉基底10,但使用相當值時,操作者,不一定旋轉基底10也可以。不旋轉基底10時,沒有姿勢變化機構20也可以。因此第1圖中,固定攝影機11與雷射掃描器12的基底10,配置在地板32上也可以,配置在支持構件24上也可以。
第9圖,顯示攝影機11的姿勢以及雷射掃描器12的姿勢之間沒有轉動角度差△Φ的情況。第9圖顯示正確校正轉動角度Φ的狀態。掃描線12a-6,係正確校正轉動角度Φ的狀態中的掃描線。正確校正轉動角度Φ的情況下,掃描線12a-6的黑白與測量圖案41的黑白一致。
第10圖,顯示攝影機11的姿勢以及雷射掃描器12的姿勢之間有轉動角度差△Φ的情況。第10圖顯示沒正確校正轉動角度Φ的狀態。掃描線12a-7,係沒正確校正轉動角度Φ的狀態中的掃描線。沒正確校正轉動角度Φ的情況下,掃描線12a-7的黑白與測量圖案41的黑白不一致。
假設修正掃描線12a-7為掃描線12a-6的情況,說明轉動角度Φ的校正。
(1)如果是第10圖的狀態,操作者,經由輸入裝置70,輸入相當於轉動角度差△Φ的相當值至計算機50。
(2)計算機50的補正部51b中,經由輸入裝置70,輸入姿勢不同資訊的轉動角度差△Φ的相當值。
(3)補正部51b,使用輸入的相當值作為姿勢不同資訊,補正顯示裝置60上顯示的掃描線12a-7的位置。補正部51b,與取得偏轉角度差△ψ的情況相同,補正姿勢資訊的轉動角度Φ。
(4)顯示控制部51a,將補正部51b補正轉動角度Φ的掃描線,重疊在測量圖案41的攝影影像11a上顯示。根據此重疊顯示,操作者,可以確認轉動角度Φ的修正狀態。
(5)操作者,直到得到掃描線12a-6為止,輸入改變值的 相當值至計算機50。
(6)又,使用相當於轉動角度差△Φ的相當值時,操作者,不一定旋轉基底10也可以。不旋轉基底10的情況下,沒有姿勢變化機構20也可以。於是第1圖中,固定攝影機11與雷射掃描器12的基底10,配置在地板32上也可以,配置在支持構件24上也可以。
實際的重疊影像,轉動角度差△Φ、傾斜角度差△θ以及偏轉角度差△ψ混合出現。在那情況下,操作者,讓基底10在轉動軸(X軸)21、傾斜軸(Y軸)22以及偏轉軸(Z軸)23的周圍旋轉。於是,操作者,得到第7圖所示出現偏轉角度差△ψ的狀態,如第8圖所示出現傾斜角度差△θ的狀態,個別地確認偏轉角度差△ψ、傾斜角度差△θ等。
第一實施形態的效果說明
根據以上說明的第一實施形態的重疊顯示系統100,裝載攝影機11以及雷射掃描器12的測量車輛,不必為了校正行駛。因此,可以減輕校正的負擔。又,根據重疊顯示系統100,裝載攝影機11以及雷射掃描器12的基底的製造精度,可以用簡易的方法確認。
即,固定至基底10的攝影機11以及雷射掃描器12的安裝姿勢的精度,可以用簡易的方法確認。
以上說明的重疊顯示系統100中,說明求出△Φ、△θ以及△ψ的方法,與一般的校正參數的推斷方法相同,可以使用在包含攝影機11與雷射掃描器12的姿勢及位置的校正參數的推斷中。在那情況下,包含攝影機11與雷射掃描器12的 姿勢及位置的校正參數的推斷原理,與讓MMS測量車輛行駛的校正相同。
重疊顯示系統100中的校正參數的推斷情況,也在測量圖案41的附近推斷攝影機11與雷射掃描器12的位置,在測量圖案41的遠處推斷姿勢。
以上的說明中,假設試驗裝置30是靜止狀態從正面拍測量圖案41的情況。但是,邊變動攝影機11與雷射掃描器12,決定攝影機11與雷射掃描器12的姿勢或攝影機11與雷射掃描器12的位置是有效的。即,最好操作者移動測量對象物40,或是攝影機11與雷射掃描器12在轉動軸21、傾斜軸22以及偏轉軸23的周圍旋轉。最後從哪個角度、哪個位置拍攝的攝影影像11a,其攝影影像11a上都正確重疊掃描線12a時,校正結束。
想更正確確定姿勢時,攝影機11及雷射掃描器12,與測量圖案41的距離比通常長即可。此理由是因為姿勢的影響越遠方出現越大。因為,例如對於0.1deg(度)的誤差,1m(公尺)的話,是1.7mm(厘米),100m的話,成為17.4cm(公分)。
又,推斷位置(X,Y,Z)時,試驗裝置30在接近測量圖案41的距離進行推斷是有效的。理由是位置的影響因為不依存於攝影機11及雷射掃描器12與測量圖案41的距離,姿勢影響小的近旁出現大的位置誤差。
這些與行駛校正手法相同。
以上,說明關於第一實施形態,但部分實施第一實施所示的構成也沒關係。又,本發明,因為不限定於第一實施形態,根據需要可以有各種變更。

Claims (6)

  1. 一種重疊顯示系統,包括:基底,固定攝影機以及雷射掃描器;姿勢變化機構,將固定上述攝影機和上述雷射掃描器的上述基底固定,使上述基底的轉動角度、傾斜角度、偏轉角度改變;測量對象物,具有上述攝影機拍攝的圖案,且根據上述雷射掃描器產生的掃描出現反射亮度不同的圖案之測量圖案;以及計算機,取得上述攝影機拍攝的上述測量圖案的攝影影像以及根據上述雷射掃描器產生的上述測量圖案的掃描結果之掃描線,重疊上述攝影影像以及上述掃描線,顯示在顯示裝置上。
  2. 如申請專利範圍第1項所述的重疊顯示系統,其中,上述測量對象物,具有可以改變與上述基底的距離的移動機構。
  3. 如申請專利範圍第1或2項所述的重疊顯示系統,其中,上述計算機,利用指示上述攝影機與上述雷射掃描器的姿勢不同之姿勢不同資訊,補正上述顯示裝置上顯示的上述掃描線的位置,將補正位置的上述掃描線與上述測量圖案的攝影影像重疊顯示。
  4. 如申請專利範圍第3項所述的重疊顯示系統,其中,上述計算機,被輸入上述姿勢不同資訊。
  5. 如申請專利範圍第1或2項所述的重疊顯示系統,其中,上述測量圖案,是格子圖案。
  6. 一種重疊顯示系統,包括:基底,固定攝影機以及雷射掃描器;測量對象物,具有上述攝影機拍攝的圖案,且根據上述雷射掃描器產生的掃描出現反射亮度不同的圖案之測量圖案;以及計算機,取得上述攝影機拍攝的上述測量圖案的攝影影像以及根據上述雷射掃描器產生的上述測量圖案的掃描結果之掃描線,重疊上述攝影影像以及上述掃描線,顯示在顯示裝置上的同時,利用指示上述攝影機與上述雷射掃描器的姿勢不同之姿勢不同資訊,補正上述顯示裝置上顯示的上述掃描線的位置,將補正位置的上述掃描線與上述測量圖案的攝影影像重疊顯示。
TW107118478A 2018-03-16 2018-05-30 重疊顯示系統 TWI645160B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2018/010642 2018-03-16
PCT/JP2018/010642 WO2019176118A1 (ja) 2018-03-16 2018-03-16 重畳表示システム

Publications (2)

Publication Number Publication Date
TWI645160B true TWI645160B (zh) 2018-12-21
TW201938988A TW201938988A (zh) 2019-10-01

Family

ID=65432167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118478A TWI645160B (zh) 2018-03-16 2018-05-30 重疊顯示系統

Country Status (3)

Country Link
JP (1) JP7003219B2 (zh)
TW (1) TWI645160B (zh)
WO (1) WO2019176118A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021085679A (ja) * 2019-11-25 2021-06-03 トヨタ自動車株式会社 センサ軸調整用ターゲット装置
DE102022104880B4 (de) 2022-03-02 2023-09-21 Avl Software And Functions Gmbh Verfahren zur Kalibrierung eines portablen Referenzsensorsystems, portables Referenzsensorsystem und Verwendung des portablen Referenzsensorsystems
CN114964183B (zh) * 2022-07-28 2022-10-25 金田产业发展(山东)集团有限公司 一种便携式定位导航工程勘测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2120009A1 (en) * 2007-02-16 2009-11-18 Mitsubishi Electric Corporation Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data
US20100166256A1 (en) * 2006-11-03 2010-07-01 Marcin Michal Kmiecik Method and apparatus for identification and position determination of planar objects in images
US20170176575A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07229961A (ja) * 1994-02-22 1995-08-29 Hitachi Ltd 車両周囲の物体検知装置及び車両周囲の物体検知方法
JPH11326495A (ja) * 1998-05-13 1999-11-26 Hitachi Ltd 車載レーダのアンテナ軸調整装置
NO313113B1 (no) * 1999-07-13 2002-08-12 Metronor Asa System for scanning av store objekters geometri
JP3708510B2 (ja) * 2002-08-26 2005-10-19 本田技研工業株式会社 車載レーダおよび車載カメラの照準調整検査装置
JP4356573B2 (ja) * 2004-09-24 2009-11-04 株式会社日立製作所 レーダの設置情報の確認画面と調整画面の表示方法
JP4533824B2 (ja) * 2005-08-30 2010-09-01 株式会社日立製作所 画像入力装置及び校正方法
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
JP5240527B2 (ja) * 2010-11-25 2013-07-17 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
US9470548B2 (en) * 2011-01-31 2016-10-18 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
DE102011120535A1 (de) * 2011-12-08 2013-06-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren und Vorrichtung zum Einstellen zumindest eines Sensors eines Fahrzeugs
US9134402B2 (en) * 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9875557B2 (en) * 2012-11-05 2018-01-23 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
JP2016017913A (ja) * 2014-07-10 2016-02-01 国立大学法人鳥取大学 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム
JP6442193B2 (ja) * 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP2016057108A (ja) * 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
KR101672732B1 (ko) * 2014-12-24 2016-11-07 한국항공우주연구원 객체 추적 장치 및 방법
DE102015118874A1 (de) * 2015-11-04 2017-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
JP6305501B2 (ja) * 2016-12-13 2018-04-04 三菱電機株式会社 キャリブレーション方法、プログラムおよびコンピュータ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166256A1 (en) * 2006-11-03 2010-07-01 Marcin Michal Kmiecik Method and apparatus for identification and position determination of planar objects in images
EP2120009A1 (en) * 2007-02-16 2009-11-18 Mitsubishi Electric Corporation Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data
US20130011013A1 (en) * 2007-02-16 2013-01-10 Waseda University Measurement apparatus, measurement method, and feature identification apparatus
US20170176575A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects

Also Published As

Publication number Publication date
TW201938988A (zh) 2019-10-01
JP7003219B2 (ja) 2022-01-20
JPWO2019176118A1 (ja) 2020-12-03
WO2019176118A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
US11544874B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
TWI645160B (zh) 重疊顯示系統
US8025414B2 (en) Projector, projected image adjustment method, and program for projecting an image while correcting the shape of the image
US7487491B2 (en) Pattern inspection system using image correction scheme with object-sensitive automatic mode switchability
JP6277652B2 (ja) 車両周辺画像表示装置及びカメラの調整方法
US10877155B2 (en) Survey data processing device, survey data processing method, and survey data processing program
TW201928394A (zh) 調整距離感測器的投影系統以使光束分佈最佳化
JPH02264808A (ja) 3次元曲面形状の測定装置
JP2010175423A (ja) 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2011066788A (ja) 投写型表示装置、キーストン補正方法
JP7287793B2 (ja) ターゲット装置及び測量システム
US20190325593A1 (en) Image processing apparatus, system, method of manufacturing article, image processing method, and non-transitory computer-readable storage medium
CN115797467B (zh) 车辆相机标定结果检测方法、装置、设备及存储介质
JP6582683B2 (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
US20150022726A1 (en) Image processing apparatus and image processing method
JP2009222568A (ja) 3次元形状データの生成方法および装置ならびにコンピュータプログラム
JP2008211355A (ja) プロジェクタ、プログラムおよび情報記憶媒体
CN114051626A (zh) 联合环境重建和相机校准
KR20190130407A (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
JP2021135133A (ja) 電子機器の制御方法および電子機器
CN114463436A (zh) 振镜扫描装置的标定方法、系统、设备及存储介质
JP2016225719A (ja) ステレオカメラ装置、車両、および較正方法
JP5187480B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像生成方法
JP2014137265A (ja) 形状測定方法、構造物製造方法、形状測定プログラム、光学式形状測定装置、構造物製造システム、及び測定条件設定装置
JP5955001B2 (ja) 非球面形状計測方法、形状計測プログラム及び形状計測装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees