KR101033167B1 - 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법 - Google Patents

카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법 Download PDF

Info

Publication number
KR101033167B1
KR101033167B1 KR1020110009778A KR20110009778A KR101033167B1 KR 101033167 B1 KR101033167 B1 KR 101033167B1 KR 1020110009778 A KR1020110009778 A KR 1020110009778A KR 20110009778 A KR20110009778 A KR 20110009778A KR 101033167 B1 KR101033167 B1 KR 101033167B1
Authority
KR
South Korea
Prior art keywords
planar member
camera
image
laser sensor
intersection line
Prior art date
Application number
KR1020110009778A
Other languages
English (en)
Inventor
안성용
최덕선
박용운
이원석
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020110009778A priority Critical patent/KR101033167B1/ko
Application granted granted Critical
Publication of KR101033167B1 publication Critical patent/KR101033167B1/ko
Priority to US13/949,622 priority patent/US9470548B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • G01M11/0242Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0271Testing optical properties by measuring geometrical properties or aberrations by using interferometric methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

본 발명은 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법에 관한 것으로, 상기 캘리브레이션 장치는, 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서, 및 상기 이미지 정보 및 거리 정보의 대응관계를 산출하여 상기 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 모듈을 포함하고, 상기 캘리브레이션 모듈은, 교차선분이 생성되도록 상기 레이저 센서의 주사면과 교차하도록 배치되고 상기 카메라에 의하여 촬영되도록 상기 카메라의 촬영범위내에 배치되는 평면부재, 및 상기 평면부재의 일변과 상기 교차선분의 비율과 상기 이미지 정보 내의 평면부재 이미지를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 제어부를 포함한다. 이에 의하여 본 발명은 이미지 정보 및 거리 정보의 사이에서 직접적인 좌표 변환을 통한 캘리브레이션을 구현한다.

Description

카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법{DEVICE, SYSTEM AND METHOD FOR CALIBRATION OF CAMERA AND LASER RANGE FINDER}
본 발명은 카메라 및 레이저 센서의 사이에서 좌표변환을 수행하는 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법에 관한 것이다.
각도 및 거리 정보를 가지는 레이저 센서(또는 레이저 거리센서)의 사용 범위는 로봇 및 자율이동차량 등의 분야의 발전에 따라 점점 넓어지고 있다. 산업분야 또는 군수분야는 더 많은 정보를 활용하기 위하여 최근에 상기 레이저 센서와 함께 카메라 이미지를 많이 사용한다. 다만, 레이저 센서와 카메라를 함께 사용하기 위해서는 레이저 센서와 카메라 간의 대응 관계를 알아내는 캘리브레이션이 필수적으로 선행되어야 한다.
기존의 캘리브레이션 기법으로 레이저 거리센서 기준의 레이저 포인트를 카메라 기준으로 변환한 후 해당 포인트를 다시 카메라 이미지 상으로 변환하여 카메라 이미지와 레이저 거리센서간의 대응관계를 계산하는 방법(도 10 참조)이 주로 사용된다. 이 때에, 레이저 포인트의 카메라 이미지 상의 위치를 추정하기 위하여 가시 레이저 거리센서를 이용하거나, 격자무늬 평면(checkboard)에 대한 카메라 이미지, 카메라 그리고 레이저 거리센서의 위치적 제한조건을 이용하거나, 격자무늬 평면의 기하학적 특성을 이용하는 방법이 제시되어 있다.
그러나, 상기 방법들은 레이저 포인트를 카메라 이미지로 옮기기 위하여 카메라 내부변수를 선행적으로 계산하고 카메라 좌표계와 카메라 이미지의 회전 및 병진행렬인 외부변수를 계산하여야 한다. 또한, 상기 방법들은 다시 카메라 좌표계와 레이저 거리센서의 좌표계 사이의 회전 및 병진행렬을 계산하여야 하며, 이로 인하여 계산시간 및 복잡성이 증가하는 문제점을 가진다.
본 발명은 종래와 다른 방법으로 보다 신속하게 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법을 제공하기 위한 것이다.
본 발명은 카메라 및 레이저 센서 사이에서 변환행렬을 산출하는 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법을 제공하기 위한 것이다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 캘리브레이션 장치는, 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서, 및 상기 이미지 정보 및 거리 정보의 대응관계를 산출하여 상기 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 모듈을 포함하고, 상기 캘리브레이션 모듈은, 교차선분이 생성되도록 상기 레이저 센서의 주사면과 교차하도록 배치되고 상기 카메라에 의하여 촬영되도록 상기 카메라의 촬영범위내에 배치되는 평면부재, 및 상기 평면부재의 일변과 상기 교차선분의 비율과 상기 이미지 정보 내의 평면부재 이미지를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 제어부를 포함한다.
상기 평면부재의 일변은 상기 주사면과 평행하도록 배치된다. 상기 평면부재는 상기 일변을 밑변으로 하는 삼각형 또는 사다리꼴로 이루어진다.
상기 제어부는, 상기 비율을 이용하여 상기 평면부재 이미지에서 상기 교차선분에 대응하는 교차선분 이미지의 제2 위치 데이터를 산출하고, 상기 제2 위치데이터와 상기 레이저 센서에서 측정되는 상기 교차선분의 제1 위치 데이터를 이용하여 좌표 변환을 수행한다.
상기 제어부는, 상기 제1 및 제2 위치데이터를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 변환행렬을 산출하고, 상기 변환행렬을 이용하여 상기 좌표변환를 수행할 수 있다.
또한 상기한 과제를 실현하기 위하여 본 발명은, 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서와, 상기 카메라의 촬영범위와 상기 레이저 센서의 감지범위내에 각각 배치되는 평면부재를 구비하고 상기 레이저 센서의 주사면과 상기 평면부재의 교차선분을 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 캘리브레이션 장치, 및 상기 평면부재를 롤, 피치, 요 방향 중 적어도 하나의 방향으로 자세 변경시키도록 상기 평면부재와 결합하는 구동장치를 포함하는 캘리브레이션 시스템을 개시한다.
상기 캘리브레이션 시스템은 자세 감지부 및 자세 제어부를 포함한다. 상기 자세 감지부는 상기 평면부재의 자세를 감지하도록 형성된다. 상기 자세 제어부는 상기 자세 감지부 또는 구동장치와 연결되며, 상기 평면부재의 일변이 상기 레이저 센서의 주사면과 평행하도록 상기 구동장치를 제어한다.
상기 캘리브레이션 시스템은 지지부를 포함할 수 있다. 상기 지지부는 상기 구동장치를 지지하도록 형성되며, 상기 평면부재의 높낮이를 조절하도록 길이가 가변되되도록 이루어진다.
또한 상기한 과제를 실현하기 위하여 본 발명은, 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서의 사이에서 좌표변환을 수행하는 캘리브레이션 방법을 제시한다. 상기 캘리브레이션 방법은, 상기 레이저 센서의 감지범위내에 배치된 평면부재와 상기 레이저 센서의 주사면의 교차선분을 검출하는 단계와, 상기 평면부재의 기설정된 일변과 상기 교차선분과 상기 카메라에서 촬영된 평면부재 이미지를 이용하여 상기 카메라에서 촬영된 교차선분 이미지의 위치 데이터를 연산하는 단계, 및 상기 교차선분 이미지의 위치 데이터와 상기 레이저 센서에서 측정되는 상기 교차선분의 위치 데이터를 이용하여 상기 카메라와 상기 레이저 센서의 위치관계를 나타내는 변환행렬을 산출하는 단계를 포함한다.
상기 연산하는 단계는 상기 평면부재의 일변 및 교차선분의 비율과 함께, 상기 평면부재의 일변에 대응하며 상기 카메라에서 촬영된 일변 이미지를 이용하여, 상기 평면부재 이미지 상에서 레이저 포인트들의 위치를 연산하는 단계가 될 수 있다. 상기 레이저 포인트들은 상기 교차선분 이미지에서 상기 교차선분의 양끝점들에 대응하는 픽셀들의 위치가 될 수 있다.
상기 캘리브레이션 방법은 상기 레이저 포인트들의 개수가 상기 변환행렬을 산출할 수 있는 기준값에 해당하는지 여부를 판단하는 단계, 및 상기 개수가 상기 기준값에 모자라면 상기 평면부재의 자세를 변화시키는 단계를 포함한다. 상기 평면부재의 자세는 상기 평면부재의 일변이 상기 주사면과 평행하게 배치되는 조건하에서 변화될 수 있다.
상기와 같이 구성되는 본 발명에 관련된 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법은 평면부재와, 레이저 센서에 의한 교차선분 및 카메라에 의한 평면부재의 이미지를 이용함으로써, 상기 카메라와 상기 레이저 센서의 위치관계를 나타내는 변환행렬을 산출한다.
보다 구체적으로, 상기 변환행렬은 카메라의 내부변수, 외부변수 및 카메라와 레이저 센서간의 좌표변환 행렬을 포함하며, 이를 통하여 이미지 정보 및 거리 정보의 사이에서 직접적인 좌표 변환이 가능하게 된다.
또한, 본 발명의 캘리브레이션 시스템에 따르면, 구동장치 구동으로 인하여 카메라와 레이저 센서의 위치관계의 가변이 가능하게 된다. 이를 통하여, 평면부재 상의 레이저 포인트들과 그에 대응되는 카메라 이미지 상의 픽셀들이 기준값 이상으로 검출될 수 있으며, 이들을 이용하여 변환행렬이 정확하게 도출될 수 있다.
도 1은 본 발명의 일 실시예에 따르는 캘리브레이션 시스템을 나타내는 개념도.
도 2는 본 발명과 관련한 캘리브레이션 방법을 나타내는 흐름도.
도 3은 평면부재와 레이저 센서 간의 기하학적 관계도.
도 4는 도 3의 평면부재와 이미지 상의 평면부재 간의 관계도.
도 5는 삼각형 평면부재를 사용하는 캘리브레이션의 예를 나타내는 개념도.
도 6은 사다리꼴 평면부재를 사용하는 캘리브레이션의 예를 나타내는 개념도.
도 7은 도 2의 캘리브레이션 방법의 상세 흐름도.
도 8은 도 1의 캘리브레이션 장치의 확대도.
도 9는 도 1의 평면부재가 장착된 구동장치 및 지지부의 상세도.
도 10은 종래의 카메라 및 레이저 센서의 캘리브레이션 수행 과정도.
이하, 본 발명에 관련된 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 본 발명의 일 실시예에 따르는 캘리브레이션 시스템을 나타내는 개념도이다.
캘리브레이션 시스템(S)은 레이저 센서(10, 또는 레이저 거리센서), 카메라(20) 및 캘리브레이션 장치(100)를 포함한다.
레이저 센서(10)는 감지 대상체들의 거리 정보를 감지하며, 전방을 향하여 레이저 빔을 주사하여 대상 물체로부터 반사된 레이저를 수광하는 2D 레이저 스캐너의 형태로 구현될 수 있다. 다만, 본 발명은 이에 한정되는 것을 아니며, 레이저 센서(10)는 2D 레이저 스캐너보다 먼 거리에 있는 대상물의 거리 정보를 획득할 수 있는 FMCW(Frequency Modulated Continuous Wave) 레이더 또는 3D 레이저 스캐너 등이 될 수 있다.
카메라(20)는 이미지 정보를 촬영하며, CCD(Charge Coupled-Device) 카메라, 복수의 카메라가 하나의 마운트에 고정되는 스테레오 카메라 등의 형태를 가질 수 있다.
캘리브레이션 장치(100)는 상기 카메라(20)의 촬영범위와 상기 레이저 센서(10)의 감지범위(측정범위)내에 각각 배치되는 평면부재(110)를 구비한다. 평면부재(110)는, 예를 들어 밑변과 이에 맞닿은 빗변들이 예각을 이루는 형태로 이루어질 수 있다.
캘리브레이션 장치(100)는 상기 레이저 센서(10)의 주사면(11)과 상기 평면부재(110)의 교차선분(112, 이상 도 3 참조)을 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환한다. 여기서 레이저 센서(10)의 주사면(11)은 레이저 센서(10)의 센싱 방향과 수직하게 형성되는 면을 의미한다.
상기 캘리브레이션 장치(100)는 상기 평면부재(110)의 일변과 교차선분(112)의 비율과 함께, 상기 이미지 정보 내의 평면부재 이미지(120, 도 4 참조)를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하도록 이루어진다.
상기 평면부재(110)의 일변은, 예를 들어 밑변이 될 수 있으며, 따라서 상기 교차선분(112)은 상기 주사면(11)이 상기 빗변들을 가로지름에 의하여 생성될 수 있다. 즉, 캘리브레이션 장치(100)는 평면부재(110)의 밑변과 교차선분(112)의 비율로부터 평면부재 이미지(120)내의 위치 데이터를 산출하고, 이를 이용하여 이미지 정보 및 거리 정보의 사이에서 직접적인 좌표 변환을 수행한다.
이하, 상기 캘리브레이션 시스템(S)에 적용가능한 캘리브레이션 방법에 대하여 보다 상세히 설명한다. 도 2는 본 발명과 관련한 캘리브레이션 방법을 나타내는 흐름도이다.
도 2를 참조하면, 캘리브레이션 방법은 먼저, 레이저 센서의 감지범위내에 배치된 평면부재와 레이저 센서의 주사면의 교차선분을 검출한다(S100).
교차선분을 검출을 위하여 평면부재는 레이저 센서의 감지범위내에서 일변이 상기 주사면과 평행하도록 배치된다. 상기 주사면과 평행한 일변은, 예를 들어 평면부재의 밑변이 될 수 있다.
평면부재는 교차선분이 평면부재의 밑변에 대하여 일정 비율로 축소되는 길이를 가지도록 이루어진다. 이러한 예로서, 평면부재는 삼각형 또는 사다리꼴의 형태로 형성된다.
다음은, 상기 평면부재의 기설정된 일변과, 상기 교차선분과, 상기 카메라에서 촬영된 평면부재 이미지를 이용하여 상기 카메라에서 촬영된 교차선분 이미지의 위치 데이터를 연산한다(S200).
보다 구체적으로, 상기 연산하는 단계(S200)는 평면부재의 밑변 및 교차선분의 비율과 함께, 상기 평면부재의 밑변에 대응하며 상기 카메라에서 촬영된 밑변 이미지를 이용하여, 상기 평면부재 이미지 상에서 레이저 포인트들의 위치를 연산하는 단계가 될 수 있다. 상기 레이저 포인트는 상기 평면부재(또는 교차선분)에 주사된 레이저 빔의 주사점을 의미한다.
예를 들어, 기설정된 밑변의 길이와 교차선분의 길이간의 비율을 산출하고, 평면부재 이미지의 밑변의 길이와 상기 비율의 대응관계로부터 상기 평면부재 이미지 상의 레이저 포인트들의 위치를 산출한다.
다음은 상기 레이저 포인트들의 개수가 변환행렬을 산출할 수 있는 기준값에 해당하는지 여부를 판단한다(S300).
상기 변환행렬은 레이저 센서의 좌표값을 카메라에 의하여 촬영된 이미지 정보의 좌표값으로 변환하는 행렬을 의미한다. 만약, 변환행렬이 3 X 4 행렬이면, 레이저 포인트들의 개수는 12개 이상이 되어야만 변환행렬의 산출이 가능하게 될 것이다.
다음은, 상기 개수가 상기 기준값에 모자라면, 상기 평면부재의 자세를 변화시킨다(S400). 상기 평면부재의 자세는 상기 평면부재의 일변이 상기 주사면과 평행하게 배치되는 조건하에서 변화된다. 또한, 상기 평면부재의 자세는 상기 카메라의 촬영범위 및 레이저 센서의 감지범위 내에서 변화된다.
상기 평면부재의 자세가 변화되면, 다시 검출 단계(S100), 연산 단계(S200) 및 판단 단계(S300)를 거치게 되며, 레이저 포인트들의 개수가 기준값을 충족하면, 변환행렬을 산출한다(S500).
산출 단계(S500)는 상기 교차선분 이미지의 위치 데이터와, 상기 레이저 센서에서 측정되는 상기 교차선분의 위치 데이터를 이용하여 상기 카메라와 상기 레이저 센서의 위치관계를 나타내는 변환행렬을 산출한다.
이를 통하여, 레이저 센서를 기준으로 한 레이저 포인트를 카메라 기준으로 변환하는 과정이 없이 상기 레이저 포인트가 카메라 이미지 상의 좌표로 직접 변환될 수 있다(S600).
보다 구체적으로, 종래 기술의 캘리브레이션 기법(도 10 참조)은, 레이저 센서의 기준 좌표축을 카메라-레이저 센서 간의 위치 변환를 이용하여 카메라의 기준 좌표축으로 변환한 후 카메라-이미지 간의 위치변환을 수행한다. 본 발명에서는 레이저 센서의 주사면과 평면부재의 밑면을 평행하게 위치시키는 기하학적 제약 조건을 사용하여 레이저 센서 기준의 좌표축을 이미지 기준 좌표축으로 옮기는 하나의 변환행렬을 산출한다. 또한 이를 통하여 종래의 캘리브레이션 방법에서 계산시간 및 복잡성이 증가하는 문제점을 해결한다.
이하, 상기 캘리브레이션 방법에 대하여 도 3 내지 도 7을 참조하여 보다 상세히 설명한다.
도 3은 평면부재와 레이저 센서 간의 기하학적 관계도이고, 도 4는 도 3의 평면부재와 이미지 상의 평면부재 간의 관계도이며, 도 5는 삼각형 평면부재를 사용하는 캘리브레이션의 예를 나타내는 개념도이고, 도 6은 사다리꼴 평면부재를 사용하는 캘리브레이션의 예를 나타내는 개념도이며, 도 7은 도 2의 캘리브레이션 방법의 상세 흐름도이다.
도 3에서는 레이저 센서의 주사면과 평면부재의 밑면을 평행하게 위치시킴으로서 얻을 수 있는 기하학적 조건이 개시된다.
레이저 센서(10)의 중심(12)에서 주사된 레이저 센서(10)의 주사면(11)은, 주사면에 평행한 밑면(111)을 가지는 삼각형의 평면부재(110)와 교차된다. 상기 교차를 통하여 교차선분(112) ab가 생성된다.
주사면(11)과 밑면(111)이 평행하기 때문에 교차선분(112) ab는 평면부재(110)의 밑면(111) AB와 평행하게 된다. 레이저 센서(10)의 감지범위(측정범위) 안에 평면부재(110)가 존재하므로, 평면부재(110)의 양 빗변 ACBC에는 주사면(11)과 교차되는 교점이 반드시 존재하고, 두 교점을 연결한 선분이 상기 교차선분(112)이 된다.
도 4는 상기 기하학적 조건을 이용하여 이미지 상의 비가시 레이저 포인트 위치를 추정할 수 있는 방법을 나타낸다. 평면부재(110)를 카메라(20, 도 1 참조)로 측정하면 이미지 상의 평면부재 이미지(120)로 옮겨지는데, 상기 과정에서 평면부재 이미지(120)는 평면부재(110)에 비해 일정 비율을 가지고 줄어들거나 커지게 된다.
이러한 조건을 이용하여 평면부재(110)의 밑변 AB와 교차선분 ab 간의 비율과 평면부재 이미지(120)의 밑변 이미지(121) A'B'와 교차선분 이미지(122) a'b'의 비율을 비교하여, 평면부재 이미지(120)에서의 레이저 센서의 주사면과 평면부재의 교차 선분의 위치인 a'b' 선분의 위치를 계산한다.
교차선분 ab의 위치와 교차선분 이미지 a'b'의 위치를 통하여 두 선분 간의 위치관계 즉, 레이저 거리센서와 카메라 이미지간의 위치관계를 계산한다. 이 경우에, 삼각형과 사다리꼴의 성질에 따라 밑변에 평행한 선분의 길이는 위치에 따라 달라지게 된다.
도 5는 삼각형을 이용한 캘리브레이션의 수행 예시이다. 삼각형의 평면부재(110)는 카메라 이미지(21) 내에서 평면부재 이미지(120)로 측정되고, 교차선분(112), 평면부재(110)의 밑면(111), 교차선분 이미지(122) 및 밑변 이미지(121)을 이용하여 카메라-레이저 센서의 캘리브레이션이 구현될 수 있다.
도 6은 사다리꼴을 이용한 캘리브레이션 수행 예시로서, 사다리꼴의 평면부재(210)의 밑면(211), 교차선분(212), 교차선분 이미지(222) 및 밑변 이미지(221)을 이용하여 캘리브레이션이 구현될 수 있다.
도 7은 본 발명의 카메라-레이저 센서의 캘리브레이션을 수행하는 전체 과정을 나타낸 순서도이다. 이를 개념적으로 구체화 하면 다음과 같다.
Step 1(S101): 삼각형 혹은 사다리꼴의 평면부재의 밑변의 길이를 측정
Step 2(S102): 카메라와 레이저 센서의 측정범위에 평면부재가 들어가고, 평면부재의 밑변과 레이저 센서의 주사면이 평행하도록 카메라, 레이저 센서 그리고 평면부재를 위치시킴
Step 3-1-1(S103): 카메라로 평면부재를 측정
Step 3-1-2(S104): 카메라로 측정된 평면부재의 밑변의 길이를 픽셀(pixel)단위로 측정
Step 3-2-1(S111): 레이저 센서로 평면부재를 측정
Step 3-2-2(S112): 레이저 센서의 주사면과 평면부재의 교차선분의 길이를 측정
Step 4(S121): 앞선 단계에서 측정된 평면부재의 밑변 및 교차선분의 길이와, 카메라로 측정된 평면부재의 밑변의 길이를 이용하여 카메라로 측정한 평면부재 이미지상의 레이저 포인트의 위치를 계산
Step 5(S131): 레이저 센서와 이미지 간의 위치관계를 나타내는 변환행렬을 계산할 만큼 샘플(레이저 포인트)의 개수가 충분한지 그리고 요구되는 카메라-레이저 센서 캘리브레이션의 정확도에 충분한지 판단
Step 6-1(S141): 샘플의 개수가 충분하지 않은 경우에, 평면부재의 Step 2의 조건을 해치지 않는 범위에서 평면부재의 자세를 변경한 후, Step 3으로 돌아감
Step 6-2(S151): 카메라와 레이저 센서간의 위치관계를 나타내는 변환행렬을 계산
여기서, 상기 레이저 포인트들은 상기 교차선분 이미지에서 상기 교차선분의 양끝점들에 대응하는 픽셀들의 위치가 될 수 있다.
예를 들어 카메라의 내부변수가 3 X 3 이고, 외부변수가 3 X 4 인 경우에, 변환행렬은 3 X 4 가 되며, 측정을 6번 수행하면 3 X 4 의 변환행렬의 연산이 가능하도록 상기 픽셀들의 위치가 12번 검출될 수 있다.
이하, 상기 캘리브레이션 방법이 적용되는 캘리브레이션 장치 및 시스템을 도 8 및 도 9를 참조하여 보다 상세히 설명한다. 도 8은 도 1의 캘리브레이션 장치의 확대도이고, 도 9는 도 1의 평면부재가 장착된 구동장치 및 지지부의 상세도이다.
도 8은 상기 설명된 캘리브레이션을 수행하는 캘리브레이션 장치의 개념도로서 평면부재(110)가 레이저 센서(10) 및 카메라(20)의 측정범위에 들어오도록 위치된다. 이 경우, 삼각형의 평면부재(110)은 사다리꼴로 대체 가능하다.
도시에 의하면, 평면부재(110)와 제어부(130)는 캘리브레이션 모듈로서 구성되며, 캘리브레이션 모듈은 카메라(20)의 이미지 정보 및 레이저 센서(10)의 거리 정보의 대응관계를 산출하여 상기 카메라(20) 및 레이저 센서(10)의 캘리브레이션을 수행한다.
예를 들어, 평면부재(110)는 교차선분이 생성되도록 레이저 센서(10)의 주사면과 교차하도록 배치되고, 카메라(20)에 의하여 촬영되도록 상기 카메라(20)의 촬영범위내에 배치된다.
제어부(130)는 평면부재(110)의 일변(예를 들어, 삼각형의 밑변)과 교차선분의 비율과, 이미지 정보 내의 평면부재 이미지를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환한다. 상기 비율을 산출하기 위하여 평면부재(110)의 일변은 주사면과 평행하도록 배치된다.
보다 구체적으로, 제어부(130)는 상기 비율을 이용하여 평면부재 이미지에서 교차선분에 대응하는 교차선분 이미지의 제2 위치 데이터를 산출한다. 상기 제2 위치 데이터는 상기 교차선분 이미지에서 상기 교차선분의 양끝점들에 대응하는 픽셀들의 위치가 될 수 있다.
또한, 제어부(130)는 상기 제2 위치데이터와, 상기 레이저 센서에서 측정되는 상기 교차선분의 제1 위치 데이터를 이용하여 좌표 변환을 수행한다. 상기 제1 위치 데이터는 교차선분의 양끝점에 주사되는 레이저 포인트가 될 수 있다. 좌표 변환의 수행을 위하여 제어부(130)는 상기 제1 및 제2 위치데이터를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 변환행렬을 산출한다. 즉, 제어부(130)는 상기 변환행렬을 이용하여 좌표변환을 수행하게 된다.
도 9를 참조하면, 캘리브레이션 시스템(S, 도 1 참조)은 구동장치(140), 자세 감지부(150) 및 자세 제어부(160) 중 적어도 하나를 포함한다.
구동장치(140)는 평면부재(110)와 결합하며, 상기 평면부재(110)를 롤(Roll), 피치(Pitch) 및 요(Yaw) 방향 중 적어도 하나의 방향으로 자세 변경시키도록 이루어진다. 예를 들어, 구동장치(140)는 평면부재(110)의 뒤에 장착되어, 롤, 피치 및 요 방향으로 각각 평면부재(110)의 자세를 변경시킨다.
자세 감지부(150)는 평면부재(110)의 자세를 감지하도록 형성되고, 자세 제어부(160)는 상기 자세 감지부(150) 또는 구동장치(140)와 연결되며, 상기 평면부재(110)의 밑변이 레이저 센서의 주사면과 평행하도록 구동장치(140)를 제어한다.
예를 들어, 평면부재(110)의 뒤에 장착된 복수의 자세감지 센서들이 평면부재(110)의 롤, 피치, 요의 자세정보를 제공하며, 감지된 자세정보를 이용하여 자세 제어부(160)가 평면부재(110)를 제어하게 된다.
도시에 의하면, 지지부(170)가 구동장치(140)를 지지하도록 형성된다. 지지부(170)는 평면부재(110)의 높낮이를 조절하도록 길이가 가변되게 이루어진다.
예를 들어, 지지부(170)는 고정축(171) 및 지지대(172)를 포함한다.
고정축(171)은 일단이 구동장치(140)와 연결되고, 이에 의하여 평면부재(110)가 고정된다. 고정축(171)의 타단은 지지대(172)에 연결되며, 평면부재(110)의 상하 높이의 제어가 가능하게 높낮이를 조절할 수 있도록 형성된다. 이러한 구조를 통하여, 평면부재(110)는 레이저 센서(10) 및 카메라(20)의 측정 범위에 위치될 수 있다.
상기와 같은 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법은 위에서 설명된 실시예들의 구성과 방법에 한정되는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (16)

  1. 이미지 정보를 촬영하는 카메라;
    거리 정보를 감지하는 레이저 센서; 및
    상기 이미지 정보 및 거리 정보의 대응관계를 산출하여 상기 카메라 및 레이저 센서의 캘리브레이션을 수행하는 캘리브레이션 모듈을 포함하고,
    상기 캘리브레이션 모듈은,
    교차선분이 생성되도록 상기 레이저 센서의 주사면과 교차하도록 배치되고, 상기 카메라에 의하여 촬영되도록 상기 카메라의 촬영범위내에 배치되는 평면부재; 및
    상기 평면부재의 일변과 상기 교차선분의 비율과, 상기 이미지 정보 내의 평면부재 이미지를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 제어부를 포함하는 캘리브레이션 장치.
  2. 제1항에 있어서,
    상기 평면부재의 일변은 상기 주사면과 평행하도록 배치되는 것을 특징으로 하는 캘리브레이션 장치.
  3. 제2항에 있어서,
    상기 평면부재는 상기 일변을 밑변으로 하는 삼각형 또는 사다리꼴인 것을 특징으로 하는 캘리브레이션 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 비율을 이용하여 상기 평면부재 이미지에서 상기 교차선분에 대응하는 교차선분 이미지의 제2 위치 데이터를 산출하고,
    상기 제2 위치데이터와, 상기 레이저 센서에서 측정되는 상기 교차선분의 제1 위치 데이터를 이용하여 좌표 변환을 수행하는 것을 특징으로 하는 캘리브레이션 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 위치데이터를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 변환행렬을 산출하고, 상기 변환행렬을 이용하여 상기 좌표변환을 수행하는 것을 특징으로 하는 캘리브레이션 장치.
  6. 이미지 정보를 촬영하는 카메라;
    거리 정보를 감지하는 레이저 센서;
    상기 카메라의 촬영범위와 상기 레이저 센서의 감지범위내에 각각 배치되는 평면부재를 구비하고, 상기 레이저 센서의 주사면과 상기 평면부재의 교차선분을 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 캘리브레이션 장치; 및
    상기 평면부재를 롤, 피치, 요 방향 중 적어도 하나의 방향으로 자세 변경시키도록 상기 평면부재와 결합하는 구동장치를 포함하는 캘리브레이션 시스템.
  7. 제6항에 있어서,
    상기 평면부재의 자세를 감지하도록 형성되는 자세 감지부; 및
    상기 자세 감지부 또는 구동장치와 연결되며, 상기 평면부재의 일변이 상기 레이저 센서의 주사면과 평행하도록 상기 구동장치를 제어하는 자세 제어부를 더 포함하는 캘리브레이션 시스템.
  8. 제7항에 있어서,
    상기 평면부재는 상기 일변을 밑변으로 하는 삼각형 또는 사다리꼴인 것을 특징으로 하는 캘리브레이션 시스템.
  9. 제6항에 있어서,
    상기 구동장치를 지지하도록 형성되며, 상기 평면부재의 높낮이를 조절하도록 길이가 가변되는 지지부를 더 포함하는 캘리브레이션 시스템
  10. 제6항에 있어서,
    상기 캘리브레이션 장치는,
    상기 평면부재의 일변과 상기 교차선분의 비율과, 상기 이미지 정보 내의 평면부재 이미지를 이용하여 상기 이미지 정보 및 거리 정보의 사이에서 좌표를 변환하는 제어부를 포함하는 캘리브레이션 시스템.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 비율을 이용하여 상기 평면부재 이미지에서 상기 교차선분에 대응하는 교차선분 이미지의 제2 위치 데이터를 산출하고,
    상기 제2 위치데이터와, 상기 레이저 센서에서 측정되는 상기 교차선분의 제1 위치 데이터를 이용하여 좌표 변환을 수행하는 것을 특징으로 하는 캘리브레이션 시스템.
  12. 이미지 정보를 촬영하는 카메라와, 거리 정보를 감지하는 레이저 센서의 사이에서 좌표변환을 수행하는 캘리브레이션 방법에 있어서,
    상기 레이저 센서의 감지범위내에 배치된 평면부재와 상기 레이저 센서의 주사면의 교차선분을 검출하는 단계;
    상기 평면부재의 기설정된 일변과, 상기 교차선분과, 상기 카메라에서 촬영된 평면부재 이미지를 이용하여 상기 카메라에서 촬영된 교차선분 이미지의 위치 데이터를 연산하는 단계; 및
    상기 교차선분 이미지의 위치 데이터와, 상기 레이저 센서에서 측정되는 상기 교차선분의 위치 데이터를 이용하여 상기 카메라와 상기 레이저 센서의 위치관계를 나타내는 변환행렬을 산출하는 단계를 포함하는 캘리브레이션 방법.
  13. 제12항에 있어서,
    상기 연산하는 단계는,
    상기 평면부재의 일변 및 교차선분의 비율과 함께, 상기 평면부재의 일변에 대응하며 상기 카메라에서 촬영된 일변 이미지를 이용하여, 상기 평면부재 이미지 상에서 레이저 포인트들의 위치를 연산하는 단계인 것을 특징으로 하는 캘리브레이션 방법.
  14. 제13항에 있어서,
    상기 레이저 포인트들은 상기 교차선분 이미지에서 상기 교차선분의 양끝점들에 대응하는 픽셀들의 위치인 것을 특징으로 하는 캘리브레이션 방법.
  15. 제13항에 있어서,
    상기 레이저 포인트들의 개수가 상기 변환행렬을 산출할 수 있는 기준값에 해당하는지 여부를 판단하는 단계; 및
    상기 개수가 상기 기준값에 모자라면, 상기 평면부재의 자세를 변화시키는 단계를 더 포함하는 캘리브레이션 방법.
  16. 제15항에 있어서,
    상기 평면부재의 자세는 상기 평면부재의 일변이 상기 주사면과 평행하게 배치되는 조건하에서 변화되는 것을 특징으로 하는 캘리브레이션 방법.
KR1020110009778A 2011-01-31 2011-01-31 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법 KR101033167B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110009778A KR101033167B1 (ko) 2011-01-31 2011-01-31 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
US13/949,622 US9470548B2 (en) 2011-01-31 2013-07-24 Device, system and method for calibration of camera and laser sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110009778A KR101033167B1 (ko) 2011-01-31 2011-01-31 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Publications (1)

Publication Number Publication Date
KR101033167B1 true KR101033167B1 (ko) 2011-05-11

Family

ID=44365688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110009778A KR101033167B1 (ko) 2011-01-31 2011-01-31 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR101033167B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589426A (zh) * 2012-01-13 2012-07-18 同济大学 自动标定尺寸的地质照相系统及照相方法
RU2469493C1 (ru) * 2011-06-21 2012-12-10 Вячеслав Михайлович Смелков Способ юстировки направления визирной оси двухкамерной телевизионной системы и устройство для его осуществления
KR101316524B1 (ko) 2013-01-03 2013-10-08 충남대학교산학협력단 전방향 비전 센서를 이용한 오브젝트의 위치 추정 방법 및 장치
RU2504915C1 (ru) * 2012-09-03 2014-01-20 Вячеслав Михайлович Смелков Способ юстировки направления визирной оси двухкамерной телевизионной системы и устройство для его осуществления
KR101379787B1 (ko) 2013-05-02 2014-03-31 서울과학기술대학교 산학협력단 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
KR101405317B1 (ko) 2013-01-15 2014-06-11 한국과학기술연구원 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법
KR101473736B1 (ko) 2013-12-20 2014-12-18 국방과학연구소 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법
KR101559458B1 (ko) 2015-01-02 2015-10-13 성균관대학교산학협력단 물체 인식 장치 및 그를 이용한 물체 인식 방법
KR101565900B1 (ko) * 2013-12-16 2015-11-05 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
CN105423960A (zh) * 2015-12-31 2016-03-23 国网辽宁省电力有限公司沈阳供电公司 基于激光定位的导线风偏监测装置
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101616366B1 (ko) * 2014-11-27 2016-04-29 삼성중공업(주) 계측기 보상 장치 및 방법
KR20170005312A (ko) 2015-07-03 2017-01-12 전자부품연구원 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법
KR101820241B1 (ko) * 2016-02-29 2018-01-18 울산대학교 산학협력단 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090049720A (ko) * 2007-11-14 2009-05-19 삼성중공업 주식회사 X―y스테이지를 이용한 엘브이에스 캘리브레이션 자동화방법
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090049720A (ko) * 2007-11-14 2009-05-19 삼성중공업 주식회사 X―y스테이지를 이용한 엘브이에스 캘리브레이션 자동화방법
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2469493C1 (ru) * 2011-06-21 2012-12-10 Вячеслав Михайлович Смелков Способ юстировки направления визирной оси двухкамерной телевизионной системы и устройство для его осуществления
CN102589426A (zh) * 2012-01-13 2012-07-18 同济大学 自动标定尺寸的地质照相系统及照相方法
RU2504915C1 (ru) * 2012-09-03 2014-01-20 Вячеслав Михайлович Смелков Способ юстировки направления визирной оси двухкамерной телевизионной системы и устройство для его осуществления
KR101316524B1 (ko) 2013-01-03 2013-10-08 충남대학교산학협력단 전방향 비전 센서를 이용한 오브젝트의 위치 추정 방법 및 장치
KR101405317B1 (ko) 2013-01-15 2014-06-11 한국과학기술연구원 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법
KR101379787B1 (ko) 2013-05-02 2014-03-31 서울과학기술대학교 산학협력단 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
KR101565900B1 (ko) * 2013-12-16 2015-11-05 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR101473736B1 (ko) 2013-12-20 2014-12-18 국방과학연구소 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101669850B1 (ko) * 2014-09-25 2016-10-28 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101616366B1 (ko) * 2014-11-27 2016-04-29 삼성중공업(주) 계측기 보상 장치 및 방법
KR101559458B1 (ko) 2015-01-02 2015-10-13 성균관대학교산학협력단 물체 인식 장치 및 그를 이용한 물체 인식 방법
KR20170005312A (ko) 2015-07-03 2017-01-12 전자부품연구원 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법
CN105423960A (zh) * 2015-12-31 2016-03-23 国网辽宁省电力有限公司沈阳供电公司 基于激光定位的导线风偏监测装置
KR101820241B1 (ko) * 2016-02-29 2018-01-18 울산대학교 산학협력단 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
US11971961B2 (en) 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors

Similar Documents

Publication Publication Date Title
KR101033167B1 (ko) 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
US9470548B2 (en) Device, system and method for calibration of camera and laser sensor
US10979694B2 (en) Information processing apparatus, method, and storage medium
EP2588836B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
JP4918676B2 (ja) 校正装置および校正方法
EP2887313B1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
KR101565900B1 (ko) 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
CN109343041B (zh) 用于高级智能辅助驾驶的单目测距方法
CN108362205B (zh) 基于条纹投影的空间测距方法
JP5388921B2 (ja) 3次元距離計測装置及びその方法
JP2018155709A (ja) 位置姿勢推定装置および位置姿勢推定方法、運転支援装置
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP6186431B2 (ja) キャリブレーション装置、キャリブレーションシステム、及び撮像装置
JP3666348B2 (ja) 距離認識装置
KR101620580B1 (ko) 달리기 감지 방법 및 시스템
JP2012013592A (ja) 3次元形状測定機の校正方法及び3次元形状測定機
JP2018112476A (ja) 微小変位測定装置および微小変位測定方法
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
JP2008216039A (ja) 形状測定方法および形状測定装置
JP5803534B2 (ja) 光通信装置及びプログラム
JP2004212104A (ja) 物体表面撮像装置、及び物体表面撮像方法
JP4775541B2 (ja) 撮影画像における歪曲収差補正方法
KR20130041440A (ko) 영상 처리 장치 및 방법
KR101436097B1 (ko) 레이저 센서 기반 비접촉식 6-자유도 운동 측정 방법
JP2011227073A (ja) 3次元位置測定装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 8