KR20160036723A - 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치 - Google Patents

센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치 Download PDF

Info

Publication number
KR20160036723A
KR20160036723A KR1020140128289A KR20140128289A KR20160036723A KR 20160036723 A KR20160036723 A KR 20160036723A KR 1020140128289 A KR1020140128289 A KR 1020140128289A KR 20140128289 A KR20140128289 A KR 20140128289A KR 20160036723 A KR20160036723 A KR 20160036723A
Authority
KR
South Korea
Prior art keywords
markers
sensor
marker
board
data
Prior art date
Application number
KR1020140128289A
Other languages
English (en)
Other versions
KR101669850B1 (ko
Inventor
경동욱
선화동
Original Assignee
(주)씨소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨소 filed Critical (주)씨소
Priority to KR1020140128289A priority Critical patent/KR101669850B1/ko
Publication of KR20160036723A publication Critical patent/KR20160036723A/ko
Application granted granted Critical
Publication of KR101669850B1 publication Critical patent/KR101669850B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 복수의 특징점들을 포함하며 서로 구분되는 식별자에 대응하는 이미지를 가지는 복수의 마커들이 배치된 기준 보드, 상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 가드 보드들을 포함하는 것을 특징으로 하는 마커 보드 장치와, 이를 기반으로 하는 센서 켈리브레이션 방법 및 이를 위한 전자 장치를 개시한다.

Description

센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치{Sensor Calibration Method and Electronic Device and Marker Board for the same}
본 발명은 센서 켈리브레이션에 관한 것으로, 더욱 상세하게는 다중 및 이기종 센서들의 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치에 관한 것이다.
카메라가 촬영한 영상에 대한 켈리브레이션을 위해서는 카메라의 위치와 촬영 대상인 보드와의 관계를 알 필요가 있다. 이와 관련하여, 종래에는 체커 보드를 제공하고, 카메라가 획득한 영상에서의 체커 보드에 대한 켈리브레이션이 수행되고 있었다.
한편, 종래 제공되는 체커 보드를 기반으로 하는 켈리브레이션은 체커 보드 전체를 인식하지 못한 경우 적절한 켈리브레이션을 수행할 수 없는 문제점이 있었다. 또한 종래 다중 체커 보드를 사용한 켈리브레이션은 각 체커 보드의 좌표계를 수동으로 설정해야 하는 불편함이 있었다.
본 발명은 상기와 같은 문제 해결을 위해 제안된 것으로, 고유 아이디를 가지는 복수개의 마커를 포함하는 마커 보드를 기반으로 다중 이기종 센서들의 켈리브레이션을 처리할 수 있는 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치를 제공함에 있다.
상술한 목적을 달성하기 위하여, 본 발명의 마커 보드 장치는 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 기준 보드, 상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 적어도 하나의 가드 보드를 포함하는 것을 특징으로 한다.
상기 마커는 4개의 특징점들을 가지며, 세로 및 가로로 균등하게 분할된 블록들이 배치되는 것을 특징으로 한다.
상기 마커는 상기 4개의 특징점들 중 어느 하나의 특징점에 인접되도록 배치된 패리티 블록을 포함하는 것을 특징으로 한다.
상기 가드 보드는 상기 기준 보드의 모서리에서 상기 기준 보드의 전면에 대하여 수직하게 신장 배치되는 것을 특징으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 전자 장치는 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 상기 복수의 마커들을 포함하는 데이터를 수집하는 복수의 영상 센서, 상기 영상 센서들이 수집한 데이터들에 포함된 마커들을 인식하고, 인식된 마커들을 기반으로 상기 영상 센서들의 켈리브레이션을 수행하는 제어 모듈을 포함하는 것을 특징으로 한다.
상기 복수의 영상 센서는 상기 복수의 마커들에 대응하는 카메라 데이터를 수집하는 제1 센서, 상기 피사체에 대한 거리 데이터를 수집하는 제2 센서를 포함하는 것을 특징으로 한다.
상기 제2 센서는 레이저 레인지 파인더인 것을 특징으로 한다.
상기 전자 장치는 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 알고리즘을 저장한 메모리를 더 포함하는 것을 특징으로 한다.
상기 제어 모듈은 상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 켈리브레이션 관련 파라메터들을 검출하는 것을 특징으로 한다.
상기 제어 모듈은 상기 비교 결과를 기반으로 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 것을 특징으로 한다.
상술한 목적을 달성하기 위하여 센서 켈리브레이션 방법은 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 데이터를 수집하는 과정, 상기 수집된 데이터들을 기반으로 마커들을 인식하는 과정, 인식된 상기 마커들을 기반으로 카메라 켈리브레이션 또는 다중 이기종 센서들의 켈리브레이션을 처리하는 과정을 포함하는 것을 특징으로 한다.
상기 수집하는 과정은 적어도 하나의 제1 센서를 기반으로 상기 피사체에 대한 카메라 데이터를 수집하는 과정, 적어도 하나의 제2 센서를 기반으로 상기 피사체에 대한 거리 데이터를 수집하는 과정을 포함하는 것을 특징으로 한다.
상기 마커를 인식하는 과정은 상기 수집된 데이터들에서 지정된 특징점들이 배치된 영역을 검출하는 과정, 상기 영역들 내의 이미지 분포를 분석하여 마커들의 식별자를 검출하는 과정을 포함하는 것을 특징으로 한다.
상기 방법은 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 과정을 더 포함하는 것을 특징으로 한다.
상기 판단하는 과정은 상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 상기 제1 센서의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 과정, 상기 제1 센서를 통해 수집된 카메라 데이터와 상기 제2 센서를 통해 수집된 거리 데이터를 매칭하여 상기 제1 센서와 상기 제2 센서 간의 로테이션 매트릭스 및 이동 벡터 중 하나 이상을 검출하는 과정을 포함하는 것을 특징으로 한다.
이상에서 살펴본 바와 같이 본 발명에서 제시하는 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치에 따르면, 본 발명은 마커 보드 전체를 인식하지 않더라도 센서들의 켈리브레이션을 수행할 수 있다.
또한, 본 발명의 입체 마커 보드 장치를 기반으로 다중 이기종 3차원 켈리브레이션 수행을 지원할 수 있다.
도 1은 본 발명의 실시예에 따른 켈리브레이션 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 마커 보드 장치의 마커의 일예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 센서 켈리브레이션 방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 마커 인식 방법과 관련한 도면이다.
도 6은 본 발명의 실시예에 따른 마커 인식 상태와 관련한 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 켈리브레이션과 관련한 도면이다.
도 8은 본 발명의 실시예에 따른 카메라와 LRF 켈리브레이션 관련 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 상기한 목적을 달성하기 위한 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 켈리브레이션 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 켈리브레이션 시스템은 마커 보드 장치 200 및 전자 장치 100을 포함할 수 있다.
상기 마커 보드 장치 200은 예컨대 기준 보드 210과, 기준 보드 210의 가장자리에서 기준 보드 210과 일정 각도를 가지며 배치되는 적어도 하나의 가드 보드 예컨대, 복수개의 가드 보드들 220, 230, 240, 250을 포함할 수 있다. 기준 보드 210 상에는 개별적으로 식별이 가능한 복수개의 마커 201들이 배치될 수 있다. 기준 보드 210 상에 배치된 마커 201들은 개별 구분이 가능하도록 일정 룰 예컨대 다각형의 형상에서 일부 영역(예: 모서리 일부 영역)의 형태가 모두 동일하되 나머지 영역들의 이미지 형상 또는 이미지 분포가 다르게 구성된 형태일 수 있다. 예를 들어, 기준 보드 210 상에 배치된 마커 201들은 각각의 개별 구분이 가능한 바코드 또는 QR 코드, 2차원 코드 등으로 구성될 수 있다.
상기 가드 보드들 220, 230, 240, 250은 기준 보드 210을 중심으로 기준 보드 210과 일정 각도를 가지며 배치될 수 있다. 이에 따라, 마커 보드 장치 200은 기준 보드 210을 중심으로 입체적으로 형성될 수 있다. 가드 보드들 220, 230, 240, 250은 예컨대 기준 보드 210의 상측 모서리에 배치된 상측 가드 보드 220, 기준 보드 210의 우측면에 배치된 우측 가드 보드 250, 기준 보드 210의 좌측면에 배치된 좌측 가드 보드 230, 기준 보드 210의 하측 모서리에 배치된 하측 가드 보드 240을 포함할 수 있다. 네 개의 가드 보드들 220, 230, 240, 250의 표면에는 복수개의 마커 201들이 배치될 수 있다. 복수개의 마커 201들 또한 다른 마커들과 구별 가능한 형상으로 마련될 수 있다.
상기 전자 장치 100은 마커 보드 장치 200에 표시된 복수개의 마커 201들 중 적어도 하나를 촬영하거나 마커 보드 장치 200의 적어도 일부를 피사체로 하여 촬영할 수 있는 복수개의 영상 센서들 131, 132를 포함할 수 있다. 상기 영상 센서들 131, 132는 예컨대 서로 다른 종류의 데이터를 수집하는 데이터 수집 장치일 수 있다. 예를 들어, 센서 131은 카메라 센서일 수 있다. 센서 132는 LRF(Laser Range Finder)일 수 있다.
상기 전자 장치 100은 영상 센서들 131, 132가 수집한 데이터들로부터 마커 201들을 인식하고, 인식된 마커 201들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 인식된 마커 201 들의 특징점의 좌표를 판단할 수 있다. 이때 전자 장치 100은 메모리에 저장된 알고리즘을 이용해 좌표의 판단 과정을 수행할 수 있다.
그리고 전자 장치 100은 검출 결과를 기반으로 인식된 마커들의 회전 정도, 변형 정도를 확인하고, 이를 기반으로 선형 평가 및 반복 비선형 최적화 방식(예: Levenberg-Marquardt algorithm)을 적용하여 켈리브레이션을 수행할 수 있다. 상술한 전자 장치 100은 영상 센서들 131, 132의 활성화 및 영상 수집, 비활성화 제어와 관련한 입력 신호를 생성하는 입력부 120, 수집된 데이터 및 영상 처리된 데이터를 표시하는 표시부 150, 상기 데이터의 수집과 처리를 제어하는 제어 모듈 160을 포함할 수 있다. 상술한 전자 장치 100의 각 구성들 및 역할에 대하여 도 2를 참조하여 보다 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 전자 장치 100은 인터페이스 110, 입력부 120, 센서 모듈 130, 메모리 140, 표시부 150, 제어 모듈 160을 포함할 수 있다.
상기 인터페이스 110은 입력부 120, 센서 모듈 130, 메모리 140, 표시부 150 및 제어 모듈 160을 연결하여, 데이터의 전달 및 제어 신호의 전달을 지원할 수 있다. 예컨대, 인터페이스 110은 입력부 120에 의해 입력되는 사용자 입력을 수신하여 제어 모듈 160에 전달할 수 있다. 인터페이스 110은 영상 센서들 131, 132를 활성화하기 위한 제어 모듈 160의 제어 신호를 센서 모듈 130에 전달할 수 있다. 인터페이스 110은 영상 센서들 131, 132가 수집한 데이터를 제어 모듈 160에 전달할 수 있다.
상기 입력부 120은 전자 장치 100 제어와 관련한 사용자 입력 신호를 생성할 수 있다. 예컨대, 상기 입력부 120은 키보드, 가상 키패드, 마우스, 물리 버튼 등 다양한 입력 장치를 포함할 수 있다. 상기 입력부 120은 사용자 입력에 대응하는 입력 신호들 예컨대, 영상 센서들 131, 132 활성화 제어와 관련한 입력 신호, 영상 센서들 131, 132의 데이터 수집 제어와 관련한 입력 신호, 수집된 데이터 기반의 켈리브레이션 수행을 요청하는 입력 신호 등을 생성할 수 있다.
상기 센서 모듈 130은 복수개의 영상 센서들을 포함할 수 있다. 예컨대, 센서 모듈 130은 제1 센서 131 및 제2 센서 132를 포함할 수 있다. 제1 센서 131은 카메라 센서일 수 있다. 제2 센서 132는 예컨대, LRF일 수 있다. 제1 센서 131 및 제2 센서 132는 전자 장치 100의 지정된 위치에서 일정 간격 이격된 형태로 배치될 수 있다. 제1 센서 131이 수집한 데이터 및 제2 센서 132가 수집한 데이터는 제어 모듈 160에 제공되어 켈리브레이션 수행에 이용될 수 있다. 예컨대, 제1 센서 131은 마커 보드 장치 200의 기준 보드 210과 상기 기준 보드 210을 중심으로 주변 일정 영역(예: 적어도 일부 가드 보드들)에 대한 이미지를 수집할 수 있다. 제2 센서 132는 마커 보드 장치 200의 기준 보드 210 및 기준 보드 210주변에 배치된 가드 보드들 220, 230, 240, 250의 적어도 일부를 포함하는 거리 정보를 수집할 수 있다.
상기 메모리 140은 전자 장치 100의 운용에 필요한 다양한 정보를 저장할 수 있다. 예컨대, 메모리 140은 전자 장치 100 운용에 필요한 운용체제를 포함할 수 있다. 메모리 140은 전자 장치 100의 영상 센서들 131, 132 제어와 관련한 프로그램 또는 드라이버 등을 저장할 수 있다. 메모리 140은 전자 장치 100의 영상 센서들 131, 132가 수집한 데이터(예: 카메라 데이터 또는 LRF 데이터 등)를 일시적으로 또는 반영구적으로 저장할 수 있다.
상기 메모리 140은 영상 센서들 131, 132를 통해 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 각 마커들에 대한 특징점의 좌표를 판단하는 알고리즘을 저장할 수 있다.
상기 표시부 150은 전자 장치 100 운용과 관련한 다양한 화면을 출력할 수 있다. 예컨대, 표시부 150은 대기 화면을 출력할 수 있다. 대기 화면은 예컨대 켈리브레이션 실행과 관련한 적어도 하나의 아이콘이나 메뉴를 포함할 수 있다. 표시부 150은 센서 모듈 130 활성화가 요청되면, 센서 모듈 130 활성화에 대응하는 화면을 출력할 수 있다. 표시부 150은 센서 모듈 130이 수집한 데이터의 적어도 일부를 표시할 수 있다. 예컨대, 표시부 150은 제1 센서 131이 수집한 카메라 데이터를 출력할 수 있다. 상기 표시부 150은 수집한 카메라 데이터의 이미지 처리된 변환 이미지를 출력할 수 있다. 또한 표시부 150은 제2 센서 132가 수집한 거리 데이터를 일정 그래프 형태로 출력할 수 있다.
상기 제어 모듈 160은 센서 모듈 130의 켈리브레이션 수행과 관련한 데이터의 처리와 제어 신호의 전달 등을 제어할 수 있다. 예컨대, 제어 모듈 160은 마커 보드 장치 200에 대해 제1 센서 131을 이용하여 촬영한 카메라 데이터, 마커 보드 장치 200에 대해 제2 센서 132를 이용하여 감지한 거리 데이터를 기반으로 켈리브레이션을 처리할 수 있다. 이와 관련하여, 제어 모듈 160은 카메라 데이터로부터 구분 가능한 적어도 하나의 마커들을 검출할 수 있다.
상기 제어 모듈 160은 메모리 140에 저장된 알고리즘을 이용해, 센서 모듈 130을 통해 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 각 마커에 대한 특징점의 좌표를 판단한다. 그리고 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 켈리브레이션 관련 파라메터들을 검출한다. 예컨대, 제어 모듈 160은 인식된 마커들의 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스, 렌즈 왜곡 계수 등을 검출할 수 있다. 예를 들어 제1 센서 131를 이용하여 촬영한 카메라 데이터를 이용하여 마커 보드 장치 200와 제1 센서 131 간의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수를 검출할 수 있고, 제2 센서 132를 이용하여 감지한 거리 데이터를 제1 센서 131을 이용하여 감지한 카메라 데이터와 매칭하여 제1 센서 131와 제2 센서 132 간의 로테이션 매트릭스 및 이동 벡터를 검출할 수 있다. 검출된 파라메터들은 이차원 켈리브레이션에 이용될 수 있다. 또한 검출된 파라메터들은 LRF가 수집한 거리 데이터와 함께 삼차원 켈리브레이션에 이용될 수 있다.
상술한 바와 같이, 전자 장치 100은 구별이 가능한 마커들 복수개가 입체적으로 배치된 마커 보드 장치 200의 적어도 일부를 피사체로 하여 적어도 하나의 인식 가능한 마커를 포함한 카메라 데이터와 거리 데이터를 획득하고, 다중 이기종 센서들에 대한 2차원 또는 3차원 켈리브레이션을 수행할 수 있다.
도 3은 본 발명의 실시예에 따른 마커 보드 장치의 마커의 일예를 나타낸 도면이다.
도 3을 참조하면, 마커 201은 예컨대 전체적으로 사각형의 형상으로 마련되며, 16개의 블록들이 배치된 형태일 수 있다. 여기서 16개의 블록들은 운용되는 마커 201들의 개수에 의해 변경될 수 있다. 예컨대, 마커 201은 9개의 블록들 또는 25개의 블록들로 구성될 수 있다. 또는 마커 201이 가로 세로 블록의 개수가 동일한 형태로 예시하였으나 본 발명이 이에 한정되는 것은 아니다. 예컨대, 마커 201은 가로 블록수와 세로 블록수가 다를 수도 있다.
도시된 도면을 기준으로 마커 201은 각각 모서리에 4개의 특징점들이 배치될 수 있다. 예컨대, 마커 201은 제1행에 a, 10, 9, b 블록이 배치될 수 있다. 또한, 마커 201은 제2행에 8, 7, 6, 5 블록이 배치될 수 있다. 마커 201은 제3행에 4, 3, 2, 1 블록이 배치될 수 있다. 마커 201은 제4행에 c, 0, parity, d 블록이 배치될 수 있다. 상술한 마커 201에서 4개의 특징점들 a, b, c, d는 모든 마커들(예: 4개의 가로세로 줄로 이루어진 마커들)이 모두 동일한 형태로 구성될 수 있다. 2진 마커 보드로 마커 201이 구성되는 경우, a블록은 백색, b, c, d 블록은 흑색이 될 수 있다. 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 블록들은 마커 고유 식별자로서 흑색 또는 백색 중 어느 하나의 색을 가질 수 있다. 이에 따라, 마커 201은 전체 2048가지 형태로 구분될 수 있다. parity 블록은 에러 보상을 위해 사용되는 블록으로서, 마커 보드 장치 200을 설계한 설계자의 의도에 따라 특정 색(예: 백색 또는 흑색)을 가질 수 있다.
상술한 사각형 형상의 마커 201들은 마커 보드 장치 200에서 일정 크기로 복수개가 배치될 수 있다. 마커 보드 장치 200에 배치되는 마커 201들은 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 블록들 중 적어도 하나가 서로 다른 색을 가질 수 있다. 마커 201에 대한 카메라 데이터가 수집되면, 전자 장치 100은 마커 201들에 포함된 백색과 흑색의 분포 형태를 분석하여 마커의 식별자를 검출할 수 있다. 전자 장치 100은 검출된 마커의 식별자를 기 정의된 마커의 식별자와 매칭하여, 각 마커에 대응하는 특징점의 좌표를 판단하고, 검출되어 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 틀어진 각도나 변형된 정보를 분석하여 켈리브레이션을 수행에 필요한 파라메터들을 획득할 수 있다. 또한 전자 장치 100의 제어 모듈 160은 제2 센서 132가 획득한 거리 데이터를 기반으로 각 마커 201들에 대한 3차원 매핑을 수행하여 획득된 데이터에 대하 3차원 켈리브레이션을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 센서 켈리브레이션 방법을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 센서 켈리브레이션 방법에 따르면, 고유 식별이 가능한 복수개의 마커 201이 배치된 마커 보드 장치 200이 배치된 환경에 대한 데이터 획득이 과정 401에서 수행될 수 있다. 이와 관련하여, 앞서 설명한 바와 같이 전자 장치 100의 영상 센서들 131, 132는 서로 구분되는 일정 크기의 마커 201들이 복수개가 배치된 가드 보드들 220, 230, 240, 250과 기준 보드 210을 포함하는 적어도 일부 영역에 대한 카메라 데이터 및 거리 데이터를 획득할 수 있다.
과정 403에서 전자 장치 100은 마커 201 인식을 수행할 수 있다. 이와 관련하여, 전자 장치 100은 획득된 카메라 데이터에 대한 이미지 처리를 수행하여, 이미지를 단순화시키고, 단순화된 이미지를 기반으로 지정된 마커 식별자에 대응하는 마커들을 적어도 하나를 검출할 수 있다.
마커 식별자 검출이 완료되면, 과정 405에서 전자 장치 100은 카메라 켈리브레이션을 수행할 수 있다. 예컨대, 전자 장치 100은 검출되어 인식된 적어도 하나의 마커 식별자와 기 정의된 마커들의 식별자를 매칭하여 특징점의 좌표를 판단하고, 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 2차원 켈리브레이션을 수행할 수 있다. 또한 전자 장치 100은 과정 405와 동시에 또는 과정 405와 선 또는 후의 관계를 가지고 카메라와 LRF 켈리브레이션을 수행할 수 있다. 예컨대, 전자 장치 100은 LRF를 통해 획득한 거리 데이터와 카메라 데이터를 이용하여 3차원 켈리브레이션을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 마커 인식 방법과 관련한 도면이다.
도 5를 참조하면, 도 4의 과정 403에서의 상기 마커 인식 방법에 있어서, 과정 501에서와 같이 전자 장치 100의 제어 모듈 160은 획득된 데이터의 이미지 변환을 수행할 수 있다. 예컨대, 제어 모듈 160은 제1 센서 131을 기반으로 획득한 이미지의 색상을 단순화할 수 있다. 예컨대, 제어 모듈 160은 그레이(Gray) 이미지 변환을 수행할 수 있다. 제어 모듈 160은 그레이 이미지 변환된 상태의 데이터를 기반으로 바이너리 이미지 변환을 수행할 수 있다. 예컨대, 제어 모듈 160은 흑 또는 백색 영역 검출이 가능한 바이너리 이미지를 획득할 수 있다.
과정 503에서 전자 장치 100의 제어 모듈 160은 마커 후보군을 검출할 수 있다. 예컨대, 제어 모듈 160은 검출된 카메라 데이터에서 백색의 a블록, 흑색의 b, c, d 블록으로 구성된 일정 영역들을 마커 후보군으로 검출할 수 있다. 이 과정에서 제어 모듈 160은 a, b, c, d 블록으로 인식되지 않는 영역들은 무시(ignore)할 수 있다.
과정 505에서 전자 장치 100의 제어 모듈 160은 마커 식별자 추출을 수행할 수 있다. 제어 모듈 160은 a, b, c, d블록들을 인식한 후, 해당 블록들로 구분된 일정 사각형(마름모나 직사각형, 정사각형 등) 내에 포함된 백색 블록과 흑색 블록들의 분포를 분석할 수 있다. 제어 모듈 160은 해당 분석을 기반으로 지정된 일정 마커 식별자를 유추할 수 있다. 예를 들어, 제어 모듈 160은 0 내지 10 블록들의 흑색 또는 백색 구분에 따라, 지정된 일정 형태의 식별자(예: 마커 ID)를 검출할 수 있다.
과정 507에서 전자 장치 100의 제어 모듈 160은 마커 위치와 자세 검출을 수행할 수 있다. 제어 모듈 160은 인식된 마커들의 식별자와 기 정의된 마커들의 식별자를 매칭하여 특징점의 좌표를 판단하고, 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교할 수 있다. 제어 모듈 160은 비교 결과에 따른 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스, 렌즈 왜곡 계수 등의 파라메터를 검출할 수 있다. 이를 기반으로, 제어 모듈 160은 마커의 위치와 자세 검출을 결정할 수 있다.
도 6은 본 발명의 실시예에 따른 마커 인식 상태와 관련한 도면이다.
도 6을 참조하면, 전자 장치 100은 입체적으로 배치된 마커 보드 장치 200에 배치된 복수개의 마커들 중 적어도 일부 영역에 배치된 마커들에 대한 인식을 수행할 수 있다. 상술한 전자 장치 100은 마커 보드 장치 200에 배치된 마커들을 개별적으로 구분하고 인식하기 때문에, 마커 보드 장치 200 전체에 대응하는 데이터를 요구하지 않고서도 마커 보드 장치 200을 이용한 켈리브레이션을 수행할 수 있다.
도시된 도면에서와 같이 복수개의 마커들은 서로 구분되는 색 배치를 가진다. 이에 따라, 전자 장치 100은 인식된 마커들에 대하여 고유 식별자를 부여할 수 있다. 예컨대, 전자 장치 100은 인식된 특정 마커들에 대하여 [601], [602], [603], [604], [605] 등의 식별자를 부여할 수 있다. 또한 전자 장치 100은 인식된 특정 마커들에 대하여 [413],... [422],... [431], [432], ... 등의 식별자를 할당할 수 있다. 상술한 식별자들은 마커를 인식함에 따라 자동으로 할당될 수 있다.
그리고 할당된 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단한 후, 인식된 마커들의 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 켈리브레이션을 수행할 수 있다.
도 7은 본 발명의 실시예에 따른 카메라 켈리브레이션과 관련한 도면이다.
도 7을 참조하면, 701 과정에서 전자 장치 100은 입체 마커 보드 장치 200을 기반으로 a, b, c, d블록들이 배치된 마커들과 관련한 이미지 데이터를 획득하고, 획득된 이미지 데이터로부터 적어도 하나의 마커 좌표를 획득할 수 있다. 전자 장치 100은 예컨대, 카메라 데이터로부터 3차원 좌표 Pi와 2차원 좌표인 픽셀 좌표 pi를 획득할 수 있다.
전자 장치 100은 703 과정에서 획득된 좌표들에 대한 변환 작업을 수행할 수 있다. 예컨대, 전자 장치 100은 획득된 2차원 좌표에 대하여 다이렉트 리니어 트랜스포메이션(DLT)을 수행할 수 있다. 또한 전자 장치 100은 획득된 3차원 좌표에 대하여 DLT를 수행할 수 있다.
다음으로, 705 과정에서 전자 장치 100은 DLT 변환 값들을 기반으로 반복 비선형 최적화 방법을 기반으로 켈리브레이션을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 카메라와 LRF 켈리브레이션 관련 도면이다.
도 8을 참조하면, 전자 장치 100은 801 과정에서 제1 센서 131을 이용한 카메라 데이터와 제2 센서 132를 이용한 LRF 데이터를 획득할 수 있다. 여기서, 카메라 데이터를 수집하는 제1 센서 131은 복수개가 마련될 수 있다. 이에 따라, 전자 장치 100은 마커 보드 장치 200에 대한 복수의 카메라 데이터를 획득하고, 이를 기반으로 803 과정에서 다중 카메라 켈리브레이션을 수행할 수 있다. 전자 장치 100은 803 과정에서 획득된 데이터들에 대한 다중 카메라 켈리브레이션 수행과 함께 LRF 데이터 세그먼테이션을 처리할 수 있다. 다음으로, 전자 장치 100은 805 과정에서 선형 평가를 수행하고, 807 과정에서 반복 비선형 최적화를 수행하여 다중 카메라 및 LRF 켈리브레이션을 처리할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 전자 장치 110 : 인터페이스
120 : 입력부 130 : 센서 모듈
131 : 제1 센서 132 : 제2 센서
140 : 메모리 150 : 표시부
160 : 제어 모듈 200 : 마커 보드 장치

Claims (15)

  1. 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 기준 보드;
    상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 적어도 하나의 가드 보드;를 포함하는 것을 특징으로 하는 마커 보드 장치.
  2. 제1항에 있어서,
    상기 마커는
    4개의 특징점들을 가지며, 세로 및 가로로 균등하게 분할된 블록들이 배치되는 것을 특징으로 하는 마커 보드 장치.
  3. 제1항에 있어서,
    상기 마커는
    상기 4개의 특징점들 중 적어도 하나의 특징점에 인접되도록 배치된 패리티 블록을 포함하는 것을 특징으로 하는 마커 보드 장치.
  4. 제1항에 있어서,
    상기 가드 보드는
    상기 기준 보드의 모서리에서 상기 기준 보드의 전면에 대하여 수직하게 신장 배치되는 것을 특징으로 하는 마커 보드 장치.
  5. 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 상기 복수의 마커들을 포함하는 데이터를 수집하는 복수의 영상 센서;
    상기 영상 센서들이 수집한 데이터들에 포함된 마커들을 인식하고, 인식된 마커들을 기반으로 상기 영상 센서들의 켈리브레이션을 수행하는 제어 모듈;을 포함하는 것을 특징으로 하는 전자 장치.
  6. 제5항에 있어서,
    상기 복수의 영상 센서는
    상기 복수의 마커들에 대응하는 카메라 데이터를 수집하는 제1 센서;
    상기 피사체의 거리 데이터를 수집하는 제2 센서;를 포함하는 것을 특징으로 하는 전자 장치.
  7. 제5항에 있어서,
    상기 제2 센서는
    레이저 레인지 파인더인 것을 특징으로 하는 전자 장치.
  8. 제5항에 있어서,
    인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 알고리즘을 저장한 메모리;를 더 포함하는 것을 특징으로 하는 전자 장치.
  9. 제8항에 있어서,
    상기 제어 모듈은
    상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의 된 마커들의 절대 좌표를 기반으로 켈리브레이션 관련 파라메터들을 검출하는 것을 특징으로 하는 전자 장치.
  10. 제8항에 있어서,
    상기 제어 모듈은
    상기 비교 결과를 기반으로 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 것을 특징으로 하는 전자 장치.
  11. 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 데이터를 수집하는 과정;
    상기 수집된 데이터들을 기반으로 마커들을 인식하는 과정;
    인식된 상기 마커들을 기반으로 카메라 켈리브레이션 또는 다중 이기종 센서들의 켈리브레이션을 처리하는 과정;을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.
  12. 제11항에 있어서,
    상기 수집하는 과정은
    적어도 하나의 제1 센서를 기반으로 상기 피사체에 대한 카메라 데이터를 수집하는 과정;
    적어도 하나의 제2 센서를 기반으로 상기 피사체에 대한 거리 데이터를 수집하는 과정;을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.
  13. 제11항에 있어서,
    상기 마커를 인식하는 과정은
    상기 수집된 데이터들에서 지정된 특징점들이 배치된 영역을 검출하는 과정;
    상기 영역들 내의 이미지 분포를 분석하여 마커들의 식별자를 검출하는 과정;을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.
  14. 제12항에 있어서,
    인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 과정;을 더 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.
  15. 제14항에 있어서,
    상기 판단하는 과정은
    상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 상기 제1 센서의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 과정;
    상기 제1 센서를 통해 수집된 카메라 데이터와 상기 제2 센서를 통해 수집된 거리 데이터를 매칭하여 상기 제1 센서와 상기 제2 센서 간의 로테이션 매트릭스 및 이동 벡터 중 하나 이상을 검출하는 과정;
    을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.
KR1020140128289A 2014-09-25 2014-09-25 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치 KR101669850B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140128289A KR101669850B1 (ko) 2014-09-25 2014-09-25 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140128289A KR101669850B1 (ko) 2014-09-25 2014-09-25 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치

Publications (2)

Publication Number Publication Date
KR20160036723A true KR20160036723A (ko) 2016-04-05
KR101669850B1 KR101669850B1 (ko) 2016-10-28

Family

ID=55800004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128289A KR101669850B1 (ko) 2014-09-25 2014-09-25 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치

Country Status (1)

Country Link
KR (1) KR101669850B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107348A (ja) * 2008-10-30 2010-05-13 Panasonic Corp キャリブレーションターゲット及びそれを用いた車載用キャリブレーションシステム
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
KR101277737B1 (ko) * 2012-03-22 2013-06-24 한남대학교 산학협력단 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법
KR101405317B1 (ko) * 2013-01-15 2014-06-11 한국과학기술연구원 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107348A (ja) * 2008-10-30 2010-05-13 Panasonic Corp キャリブレーションターゲット及びそれを用いた車載用キャリブレーションシステム
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
KR101277737B1 (ko) * 2012-03-22 2013-06-24 한남대학교 산학협력단 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법
KR101405317B1 (ko) * 2013-01-15 2014-06-11 한국과학기술연구원 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
US11971961B2 (en) 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors

Also Published As

Publication number Publication date
KR101669850B1 (ko) 2016-10-28

Similar Documents

Publication Publication Date Title
US8295588B2 (en) Three-dimensional vision sensor
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US7948479B2 (en) Method and system for distinguishing multiple touch points
CN107687855B (zh) 机器人定位方法、装置及机器人
US11232589B2 (en) Object recognition device and object recognition method
US10310675B2 (en) User interface apparatus and control method
CN102375619B (zh) 光学位置输入系统和方法
KR20160003776A (ko) 자세 추정 방법 및 로봇
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
US20150262002A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20080029548A (ko) 실사기반 이동기기 제어 방법 및 장치
CN104035555A (zh) 系统、信息处理装置和信息处理方法
KR20090050567A (ko) Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
US20160292888A1 (en) Image measurement device, and recording medium
US20240095943A1 (en) Device determination system, device determination method, and device determination program
JP2011048828A (ja) タッチシステムのためのポインタ高さ検出方法およびポインタ座標検出方法ならびにタッチシステム
US9286669B2 (en) Image processing apparatus, image processing method and program
CN110926330A (zh) 图像处理装置和图像处理方法
JP2018151830A (ja) 画像処理装置、画像処理方法及びプログラム
EP2672363A2 (en) Display device and method using a plurality of display panels
US20220215582A1 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
KR101669850B1 (ko) 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
CN111399634A (zh) 一种手势引导物体识别的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190919

Year of fee payment: 4