KR101669850B1 - Sensor Calibration Method and Electronic Device and Marker Board for the same - Google Patents

Sensor Calibration Method and Electronic Device and Marker Board for the same Download PDF

Info

Publication number
KR101669850B1
KR101669850B1 KR1020140128289A KR20140128289A KR101669850B1 KR 101669850 B1 KR101669850 B1 KR 101669850B1 KR 1020140128289 A KR1020140128289 A KR 1020140128289A KR 20140128289 A KR20140128289 A KR 20140128289A KR 101669850 B1 KR101669850 B1 KR 101669850B1
Authority
KR
South Korea
Prior art keywords
markers
sensor
marker
board
data
Prior art date
Application number
KR1020140128289A
Other languages
Korean (ko)
Other versions
KR20160036723A (en
Inventor
경동욱
선화동
Original Assignee
(주)씨소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨소 filed Critical (주)씨소
Priority to KR1020140128289A priority Critical patent/KR101669850B1/en
Publication of KR20160036723A publication Critical patent/KR20160036723A/en
Application granted granted Critical
Publication of KR101669850B1 publication Critical patent/KR101669850B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 복수의 특징점들을 포함하며 서로 구분되는 식별자에 대응하는 이미지를 가지는 복수의 마커들이 배치된 기준 보드, 상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 가드 보드들을 포함하는 것을 특징으로 하는 마커 보드 장치와, 이를 기반으로 하는 센서 켈리브레이션 방법 및 이를 위한 전자 장치를 개시한다.The present invention relates to a reference board including a plurality of markers having a plurality of feature points and having an image corresponding to an identifier distinguished from each other, a plurality of markers arranged at a predetermined angle with the reference board at the corner of the reference board, The present invention also relates to a method of calibrating a sensor based on the same, and an electronic apparatus therefor.

Description

센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치{Sensor Calibration Method and Electronic Device and Marker Board for the same}[0001] The present invention relates to a sensor calibration method and an electronic device and a marker board device for the same,

본 발명은 센서 켈리브레이션에 관한 것으로, 더욱 상세하게는 다중 및 이기종 센서들의 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치에 관한 것이다.The present invention relates to sensor calibration, and more particularly, to a sensor calibration method for multiple and heterogeneous sensors and an electronic apparatus and a marker board apparatus therefor.

카메라가 촬영한 영상에 대한 켈리브레이션을 위해서는 카메라의 위치와 촬영 대상인 보드와의 관계를 알 필요가 있다. 이와 관련하여, 종래에는 체커 보드를 제공하고, 카메라가 획득한 영상에서의 체커 보드에 대한 켈리브레이션이 수행되고 있었다. In order to calibrate the image captured by the camera, it is necessary to know the relationship between the camera position and the board to be imaged. In this regard, conventionally, a checker board has been provided, and a calibration of a checker board in an image acquired by a camera has been performed.

한편, 종래 제공되는 체커 보드를 기반으로 하는 켈리브레이션은 체커 보드 전체를 인식하지 못한 경우 적절한 켈리브레이션을 수행할 수 없는 문제점이 있었다. 또한 종래 다중 체커 보드를 사용한 켈리브레이션은 각 체커 보드의 좌표계를 수동으로 설정해야 하는 불편함이 있었다.On the other hand, conventionally, the calibration based on the checker board can not perform proper calibration when the entire checker board is not recognized. Conventionally, in the calibration using the multi checker board, it is inconvenient to manually set the coordinate system of each checker board.

본 발명은 상기와 같은 문제 해결을 위해 제안된 것으로, 고유 아이디를 가지는 복수개의 마커를 포함하는 마커 보드를 기반으로 다중 이기종 센서들의 켈리브레이션을 처리할 수 있는 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치를 제공함에 있다.The present invention proposes a sensor calibration method capable of processing the calibration of multiple heterogeneous sensors based on a marker board including a plurality of markers having a unique ID, Device.

상술한 목적을 달성하기 위하여, 본 발명의 마커 보드 장치는 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 기준 보드, 상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 적어도 하나의 가드 보드를 포함하는 것을 특징으로 한다.In order to achieve the above-mentioned object, a marker board device of the present invention includes a reference board having a plurality of markers having a plurality of feature points and having an image separated from each other, And at least one guard board in which at least one of the markers is disposed.

상기 마커는 4개의 특징점들을 가지며, 세로 및 가로로 균등하게 분할된 블록들이 배치되는 것을 특징으로 한다.The marker has four minutiae points, and the blocks are equally divided vertically and horizontally.

상기 마커는 상기 4개의 특징점들 중 어느 하나의 특징점에 인접되도록 배치된 패리티 블록을 포함하는 것을 특징으로 한다.And the marker includes a parity block arranged adjacent to one of the four minutiae.

상기 가드 보드는 상기 기준 보드의 모서리에서 상기 기준 보드의 전면에 대하여 수직하게 신장 배치되는 것을 특징으로 한다.And the guard board is vertically extended from a corner of the reference board to a front surface of the reference board.

상술한 목적을 달성하기 위하여, 본 발명의 전자 장치는 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 상기 복수의 마커들을 포함하는 데이터를 수집하는 복수의 영상 센서, 상기 영상 센서들이 수집한 데이터들에 포함된 마커들을 인식하고, 인식된 마커들을 기반으로 상기 영상 센서들의 켈리브레이션을 수행하는 제어 모듈을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an electronic device including a plurality of markers, each of the plurality of markers including a plurality of feature points, And a control module for recognizing the markers included in the data collected by the image sensors and performing the calibration of the image sensors based on the recognized markers.

상기 복수의 영상 센서는 상기 복수의 마커들에 대응하는 카메라 데이터를 수집하는 제1 센서, 상기 피사체에 대한 거리 데이터를 수집하는 제2 센서를 포함하는 것을 특징으로 한다.The plurality of image sensors include a first sensor for collecting camera data corresponding to the plurality of markers, and a second sensor for collecting distance data for the subject.

상기 제2 센서는 레이저 레인지 파인더인 것을 특징으로 한다.And the second sensor is a laser range finder.

상기 전자 장치는 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 알고리즘을 저장한 메모리를 더 포함하는 것을 특징으로 한다.The electronic device further includes a memory storing an algorithm for determining the coordinates of the minutiae by matching the identifiers of the recognized markers with the identifiers of the predefined markers.

상기 제어 모듈은 상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 켈리브레이션 관련 파라메터들을 검출하는 것을 특징으로 한다.The control module detects calibration related parameters based on the image coordinates corresponding to the recognized markers and the absolute coordinates of the predefined markers.

상기 제어 모듈은 상기 비교 결과를 기반으로 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 것을 특징으로 한다.And the control module detects at least one of a rotation matrix, a motion vector, a camera matrix and a lens distortion coefficient based on the comparison result.

상술한 목적을 달성하기 위하여 센서 켈리브레이션 방법은 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 데이터를 수집하는 과정, 상기 수집된 데이터들을 기반으로 마커들을 인식하는 과정, 인식된 상기 마커들을 기반으로 카메라 켈리브레이션 또는 다중 이기종 센서들의 켈리브레이션을 처리하는 과정을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of calibrating a sensor, comprising the steps of: collecting data using at least a part of a marker board device having a plurality of markers, A process of recognizing markers based on the recognized markers, and a process of performing camera calibration or calibration of multiple heterogeneous sensors based on the recognized markers.

상기 수집하는 과정은 적어도 하나의 제1 센서를 기반으로 상기 피사체에 대한 카메라 데이터를 수집하는 과정, 적어도 하나의 제2 센서를 기반으로 상기 피사체에 대한 거리 데이터를 수집하는 과정을 포함하는 것을 특징으로 한다.Wherein the collecting comprises collecting camera data for the subject based on at least one first sensor and collecting distance data for the subject based on the at least one second sensor, do.

상기 마커를 인식하는 과정은 상기 수집된 데이터들에서 지정된 특징점들이 배치된 영역을 검출하는 과정, 상기 영역들 내의 이미지 분포를 분석하여 마커들의 식별자를 검출하는 과정을 포함하는 것을 특징으로 한다.The step of recognizing the marker includes the steps of detecting an area in which the designated feature points are arranged in the collected data, and analyzing the image distribution in the areas to detect the identifiers of the markers.

상기 방법은 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 과정을 더 포함하는 것을 특징으로 한다.The method may further include determining coordinates of the minutiae by matching the identifiers of the recognized markers with identifiers of predefined markers.

상기 판단하는 과정은 상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 상기 제1 센서의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 과정, 상기 제1 센서를 통해 수집된 카메라 데이터와 상기 제2 센서를 통해 수집된 거리 데이터를 매칭하여 상기 제1 센서와 상기 제2 센서 간의 로테이션 매트릭스 및 이동 벡터 중 하나 이상을 검출하는 과정을 포함하는 것을 특징으로 한다.The determining step may include detecting at least one of a rotation matrix, a motion vector, a camera matrix, and a lens distortion coefficient of the first sensor based on the image coordinates corresponding to the recognized markers and the absolute coordinates of predefined markers And detecting at least one of a rotation matrix and a motion vector between the first sensor and the second sensor by matching the camera data collected through the first sensor with the distance data collected through the second sensor .

이상에서 살펴본 바와 같이 본 발명에서 제시하는 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치에 따르면, 본 발명은 마커 보드 전체를 인식하지 않더라도 센서들의 켈리브레이션을 수행할 수 있다.As described above, according to the sensor calibration method, the electronic device and the marker board device of the present invention, the calibration of the sensors can be performed without recognizing the entire marker board.

또한, 본 발명의 입체 마커 보드 장치를 기반으로 다중 이기종 3차원 켈리브레이션 수행을 지원할 수 있다.In addition, it is possible to support multi-heterogeneous three-dimensional calibration based on the stereoscopic marker board device of the present invention.

도 1은 본 발명의 실시예에 따른 켈리브레이션 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 마커 보드 장치의 마커의 일예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 센서 켈리브레이션 방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 마커 인식 방법과 관련한 도면이다.
도 6은 본 발명의 실시예에 따른 마커 인식 상태와 관련한 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 켈리브레이션과 관련한 도면이다.
도 8은 본 발명의 실시예에 따른 카메라와 LRF 켈리브레이션 관련 도면이다.1 is a schematic view of a calibration system according to an embodiment of the present invention.
2 is a block diagram showing a configuration of an electronic device according to an embodiment of the present invention.
3 is a view illustrating an example of a marker of the marker board device according to the embodiment of the present invention.
4 is a view illustrating a sensor calibration method according to an embodiment of the present invention.
5 is a diagram related to a marker recognition method according to an embodiment of the present invention.
6 is a diagram relating to a marker recognition state according to an embodiment of the present invention.
7 is a diagram related to camera calibration according to an embodiment of the present invention.
8 is a diagram related to a camera and LRF calibration according to an embodiment of the present invention.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the embodiments of the present invention will be described, and the description of other parts will be omitted so as not to obscure the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention, so that various equivalents And variations are possible.

이하, 상기한 목적을 달성하기 위한 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 켈리브레이션 시스템을 개략적으로 나타낸 도면이다.1 is a schematic view of a calibration system according to an embodiment of the present invention.

도 1을 참조하면, 켈리브레이션 시스템은 마커 보드 장치 200 및 전자 장치 100을 포함할 수 있다.Referring to FIG. 1, a calibration system may include a marker board device 200 and an electronic device 100.

상기 마커 보드 장치 200은 예컨대 기준 보드 210과, 기준 보드 210의 가장자리에서 기준 보드 210과 일정 각도를 가지며 배치되는 적어도 하나의 가드 보드 예컨대, 복수개의 가드 보드들 220, 230, 240, 250을 포함할 수 있다. 기준 보드 210 상에는 개별적으로 식별이 가능한 복수개의 마커 201들이 배치될 수 있다. 기준 보드 210 상에 배치된 마커 201들은 개별 구분이 가능하도록 일정 룰 예컨대 다각형의 형상에서 일부 영역(예: 모서리 일부 영역)의 형태가 모두 동일하되 나머지 영역들의 이미지 형상 또는 이미지 분포가 다르게 구성된 형태일 수 있다. 예를 들어, 기준 보드 210 상에 배치된 마커 201들은 각각의 개별 구분이 가능한 바코드 또는 QR 코드, 2차원 코드 등으로 구성될 수 있다. The marker board device 200 includes, for example, a reference board 210, and at least one guard board, for example, a plurality of guard boards 220, 230, 240, 250 disposed at an angle with the reference board 210 at an edge of the reference board 210 . A plurality of individually identifiable markers 201 may be disposed on the reference board 210. The markers 201 arranged on the reference board 210 may be formed in a form of a certain rule such as a shape of a polygon such that the shapes of some areas (for example, a part of the edges) are the same but the image shapes or image distributions of the remaining areas are different . For example, the markers 201 disposed on the reference board 210 may be formed of a barcode or a QR code, a two-dimensional code, or the like, each of which can be individually classified.

상기 가드 보드들 220, 230, 240, 250은 기준 보드 210을 중심으로 기준 보드 210과 일정 각도를 가지며 배치될 수 있다. 이에 따라, 마커 보드 장치 200은 기준 보드 210을 중심으로 입체적으로 형성될 수 있다. 가드 보드들 220, 230, 240, 250은 예컨대 기준 보드 210의 상측 모서리에 배치된 상측 가드 보드 220, 기준 보드 210의 우측면에 배치된 우측 가드 보드 250, 기준 보드 210의 좌측면에 배치된 좌측 가드 보드 230, 기준 보드 210의 하측 모서리에 배치된 하측 가드 보드 240을 포함할 수 있다. 네 개의 가드 보드들 220, 230, 240, 250의 표면에는 복수개의 마커 201들이 배치될 수 있다. 복수개의 마커 201들 또한 다른 마커들과 구별 가능한 형상으로 마련될 수 있다. The guard boards 220, 230, 240, and 250 may be disposed at a predetermined angle from the reference board 210 around the reference board 210. Accordingly, the marker board device 200 can be three-dimensionally formed around the reference board 210. The guard boards 220, 230, 240, and 250 may include, for example, an upper guard board 220 disposed at an upper corner of the reference board 210, a right guard board 250 disposed at a right side of the reference board 210, A board 230, and a lower guard board 240 disposed at a lower edge of the reference board 210. A plurality of markers 201 may be disposed on the surfaces of the four guard boards 220, 230, 240 and 250. The plurality of markers 201 may also be provided in a shape that is distinguishable from other markers.

상기 전자 장치 100은 마커 보드 장치 200에 표시된 복수개의 마커 201들 중 적어도 하나를 촬영하거나 마커 보드 장치 200의 적어도 일부를 피사체로 하여 촬영할 수 있는 복수개의 영상 센서들 131, 132를 포함할 수 있다. 상기 영상 센서들 131, 132는 예컨대 서로 다른 종류의 데이터를 수집하는 데이터 수집 장치일 수 있다. 예를 들어, 센서 131은 카메라 센서일 수 있다. 센서 132는 LRF(Laser Range Finder)일 수 있다. The electronic device 100 may include a plurality of image sensors 131 and 132 that can photograph at least one of a plurality of markers 201 displayed on the marker board device 200 or photograph at least a part of the marker board device 200 as a subject. The image sensors 131 and 132 may be, for example, data collection devices for collecting data of different kinds. For example, the sensor 131 may be a camera sensor. The sensor 132 may be an LRF (Laser Range Finder).

상기 전자 장치 100은 영상 센서들 131, 132가 수집한 데이터들로부터 마커 201들을 인식하고, 인식된 마커 201들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 인식된 마커 201 들의 특징점의 좌표를 판단할 수 있다. 이때 전자 장치 100은 메모리에 저장된 알고리즘을 이용해 좌표의 판단 과정을 수행할 수 있다.The electronic device 100 recognizes the markers 201 from the data collected by the image sensors 131 and 132 and matches the identifiers of the recognized markers 201 with the identifiers of predefined markers to determine the coordinates of the feature points of the recognized markers 201 can do. At this time, the electronic device 100 can perform a coordinate determination process using an algorithm stored in the memory.

그리고 전자 장치 100은 검출 결과를 기반으로 인식된 마커들의 회전 정도, 변형 정도를 확인하고, 이를 기반으로 선형 평가 및 반복 비선형 최적화 방식(예: Levenberg-Marquardt algorithm)을 적용하여 켈리브레이션을 수행할 수 있다. 상술한 전자 장치 100은 영상 센서들 131, 132의 활성화 및 영상 수집, 비활성화 제어와 관련한 입력 신호를 생성하는 입력부 120, 수집된 데이터 및 영상 처리된 데이터를 표시하는 표시부 150, 상기 데이터의 수집과 처리를 제어하는 제어 모듈 160을 포함할 수 있다. 상술한 전자 장치 100의 각 구성들 및 역할에 대하여 도 2를 참조하여 보다 상세히 설명하기로 한다.Then, the electronic device 100 can confirm the rotation degree and the degree of deformation of the recognized markers based on the detection result, and perform calibration by applying the linear evaluation and the iterative nonlinear optimization method (for example, the Levenberg-Marquardt algorithm) . The electronic device 100 includes an input unit 120 for generating an input signal related to activation and image acquisition and deactivation of the image sensors 131 and 132, a display unit 150 for displaying collected data and image processed data, And a control module 160 for controlling the control module 160. Each of the configurations and roles of the above-described electronic device 100 will be described in detail with reference to FIG.

도 2는 본 발명의 실시예에 따른 전자 장치의 구성을 나타낸 블록도이다.2 is a block diagram showing a configuration of an electronic device according to an embodiment of the present invention.

도 2를 참조하면, 전자 장치 100은 인터페이스 110, 입력부 120, 센서 모듈 130, 메모리 140, 표시부 150, 제어 모듈 160을 포함할 수 있다.Referring to FIG. 2, the electronic device 100 may include an interface 110, an input unit 120, a sensor module 130, a memory 140, a display unit 150, and a control module 160.

상기 인터페이스 110은 입력부 120, 센서 모듈 130, 메모리 140, 표시부 150 및 제어 모듈 160을 연결하여, 데이터의 전달 및 제어 신호의 전달을 지원할 수 있다. 예컨대, 인터페이스 110은 입력부 120에 의해 입력되는 사용자 입력을 수신하여 제어 모듈 160에 전달할 수 있다. 인터페이스 110은 영상 센서들 131, 132를 활성화하기 위한 제어 모듈 160의 제어 신호를 센서 모듈 130에 전달할 수 있다. 인터페이스 110은 영상 센서들 131, 132가 수집한 데이터를 제어 모듈 160에 전달할 수 있다.The interface 110 can support data transmission and control signal transmission by connecting the input unit 120, the sensor module 130, the memory 140, the display unit 150, and the control module 160. For example, the interface 110 may receive the user input input by the input unit 120 and transmit the received user input to the control module 160. The interface 110 may transmit a control signal of the control module 160 for activating the image sensors 131 and 132 to the sensor module 130. The interface 110 may transmit the data collected by the image sensors 131 and 132 to the control module 160.

상기 입력부 120은 전자 장치 100 제어와 관련한 사용자 입력 신호를 생성할 수 있다. 예컨대, 상기 입력부 120은 키보드, 가상 키패드, 마우스, 물리 버튼 등 다양한 입력 장치를 포함할 수 있다. 상기 입력부 120은 사용자 입력에 대응하는 입력 신호들 예컨대, 영상 센서들 131, 132 활성화 제어와 관련한 입력 신호, 영상 센서들 131, 132의 데이터 수집 제어와 관련한 입력 신호, 수집된 데이터 기반의 켈리브레이션 수행을 요청하는 입력 신호 등을 생성할 수 있다.The input unit 120 may generate a user input signal related to the control of the electronic device 100. For example, the input unit 120 may include various input devices such as a keyboard, a virtual keypad, a mouse, and a physical button. The input unit 120 receives input signals corresponding to the user input, for example, input signals related to the activation control of the image sensors 131 and 132, input signals related to the data acquisition control of the image sensors 131 and 132, A requesting input signal or the like can be generated.

상기 센서 모듈 130은 복수개의 영상 센서들을 포함할 수 있다. 예컨대, 센서 모듈 130은 제1 센서 131 및 제2 센서 132를 포함할 수 있다. 제1 센서 131은 카메라 센서일 수 있다. 제2 센서 132는 예컨대, LRF일 수 있다. 제1 센서 131 및 제2 센서 132는 전자 장치 100의 지정된 위치에서 일정 간격 이격된 형태로 배치될 수 있다. 제1 센서 131이 수집한 데이터 및 제2 센서 132가 수집한 데이터는 제어 모듈 160에 제공되어 켈리브레이션 수행에 이용될 수 있다. 예컨대, 제1 센서 131은 마커 보드 장치 200의 기준 보드 210과 상기 기준 보드 210을 중심으로 주변 일정 영역(예: 적어도 일부 가드 보드들)에 대한 이미지를 수집할 수 있다. 제2 센서 132는 마커 보드 장치 200의 기준 보드 210 및 기준 보드 210주변에 배치된 가드 보드들 220, 230, 240, 250의 적어도 일부를 포함하는 거리 정보를 수집할 수 있다. The sensor module 130 may include a plurality of image sensors. For example, the sensor module 130 may include a first sensor 131 and a second sensor 132. The first sensor 131 may be a camera sensor. The second sensor 132 may be, for example, LRF. The first sensor 131 and the second sensor 132 may be disposed at predetermined positions of the electronic device 100 at regular intervals. The data collected by the first sensor 131 and the data collected by the second sensor 132 may be provided to the control module 160 and used to perform the calibration. For example, the first sensor 131 may collect an image of a predetermined peripheral region (e.g., at least some of the guard boards) around the reference board 210 of the marker board apparatus 200 and the reference board 210. The second sensor 132 may collect distance information including the reference board 210 of the marker board device 200 and at least a part of the guard boards 220, 230, 240 and 250 disposed around the reference board 210.

상기 메모리 140은 전자 장치 100의 운용에 필요한 다양한 정보를 저장할 수 있다. 예컨대, 메모리 140은 전자 장치 100 운용에 필요한 운용체제를 포함할 수 있다. 메모리 140은 전자 장치 100의 영상 센서들 131, 132 제어와 관련한 프로그램 또는 드라이버 등을 저장할 수 있다. 메모리 140은 전자 장치 100의 영상 센서들 131, 132가 수집한 데이터(예: 카메라 데이터 또는 LRF 데이터 등)를 일시적으로 또는 반영구적으로 저장할 수 있다.The memory 140 may store various information necessary for the operation of the electronic device 100. [ For example, the memory 140 may include an operating system required for operation of the electronic device 100. [ The memory 140 may store a program or a driver related to the control of the image sensors 131 and 132 of the electronic device 100, and the like. The memory 140 may temporarily or semi-permanently store data (e.g., camera data or LRF data) collected by the image sensors 131 and 132 of the electronic device 100.

상기 메모리 140은 영상 센서들 131, 132를 통해 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 각 마커들에 대한 특징점의 좌표를 판단하는 알고리즘을 저장할 수 있다.The memory 140 may store an algorithm for matching the identifiers of the recognized markers with the identifiers of the predefined markers through the image sensors 131 and 132 and determining the coordinates of the minutiae for the respective markers.

상기 표시부 150은 전자 장치 100 운용과 관련한 다양한 화면을 출력할 수 있다. 예컨대, 표시부 150은 대기 화면을 출력할 수 있다. 대기 화면은 예컨대 켈리브레이션 실행과 관련한 적어도 하나의 아이콘이나 메뉴를 포함할 수 있다. 표시부 150은 센서 모듈 130 활성화가 요청되면, 센서 모듈 130 활성화에 대응하는 화면을 출력할 수 있다. 표시부 150은 센서 모듈 130이 수집한 데이터의 적어도 일부를 표시할 수 있다. 예컨대, 표시부 150은 제1 센서 131이 수집한 카메라 데이터를 출력할 수 있다. 상기 표시부 150은 수집한 카메라 데이터의 이미지 처리된 변환 이미지를 출력할 수 있다. 또한 표시부 150은 제2 센서 132가 수집한 거리 데이터를 일정 그래프 형태로 출력할 수 있다. The display unit 150 may output various screens related to the operation of the electronic device 100. [ For example, the display unit 150 can output a standby screen. The idle screen may include at least one icon or menu associated with the execution of the calibration, for example. The display unit 150 may output a screen corresponding to the activation of the sensor module 130 when the activation of the sensor module 130 is requested. The display unit 150 may display at least a part of the data collected by the sensor module 130. For example, the display unit 150 may output camera data collected by the first sensor 131. [ The display unit 150 may output an image-processed converted image of the collected camera data. Also, the display unit 150 may output the distance data collected by the second sensor 132 in the form of a predetermined graph.

상기 제어 모듈 160은 센서 모듈 130의 켈리브레이션 수행과 관련한 데이터의 처리와 제어 신호의 전달 등을 제어할 수 있다. 예컨대, 제어 모듈 160은 마커 보드 장치 200에 대해 제1 센서 131을 이용하여 촬영한 카메라 데이터, 마커 보드 장치 200에 대해 제2 센서 132를 이용하여 감지한 거리 데이터를 기반으로 켈리브레이션을 처리할 수 있다. 이와 관련하여, 제어 모듈 160은 카메라 데이터로부터 구분 가능한 적어도 하나의 마커들을 검출할 수 있다. The control module 160 may control data processing and transmission of control signals related to the calibration of the sensor module 130. For example, the control module 160 can process the camera data captured by using the first sensor 131 with respect to the marker board device 200, and the calibration data based on the distance data sensed by the second sensor 132 with respect to the marker board device 200 . In this regard, the control module 160 may detect at least one marker that can be distinguished from the camera data.

상기 제어 모듈 160은 메모리 140에 저장된 알고리즘을 이용해, 센서 모듈 130을 통해 인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여, 각 마커에 대한 특징점의 좌표를 판단한다. 그리고 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 켈리브레이션 관련 파라메터들을 검출한다. 예컨대, 제어 모듈 160은 인식된 마커들의 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스, 렌즈 왜곡 계수 등을 검출할 수 있다. 예를 들어 제1 센서 131를 이용하여 촬영한 카메라 데이터를 이용하여 마커 보드 장치 200와 제1 센서 131 간의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수를 검출할 수 있고, 제2 센서 132를 이용하여 감지한 거리 데이터를 제1 센서 131을 이용하여 감지한 카메라 데이터와 매칭하여 제1 센서 131와 제2 센서 132 간의 로테이션 매트릭스 및 이동 벡터를 검출할 수 있다. 검출된 파라메터들은 이차원 켈리브레이션에 이용될 수 있다. 또한 검출된 파라메터들은 LRF가 수집한 거리 데이터와 함께 삼차원 켈리브레이션에 이용될 수 있다.The control module 160 uses the algorithm stored in the memory 140 to match the identifiers of the markers recognized through the sensor module 130 with the identifiers of predefined markers to determine the coordinates of the minutiae for each marker. Then, the parameters related to the calibration are detected by comparing the image coordinates corresponding to the recognized markers with the absolute coordinates of the predefined markers. For example, the control module 160 may detect the rotation matrix, the motion vector, the camera matrix, the lens distortion coefficient, and the like based on the image coordinates of the recognized markers and the absolute coordinates of the predefined markers. For example, the rotation matrix, the motion vector, the camera matrix and the lens distortion coefficient between the marker board device 200 and the first sensor 131 can be detected using the camera data photographed using the first sensor 131, and the second sensor 132 The rotation matrix and the motion vector between the first sensor 131 and the second sensor 132 can be detected by matching the sensed distance data with the camera data sensed using the first sensor 131. [ The detected parameters can be used for two-dimensional calibration. The detected parameters can also be used for three-dimensional calibration along with the distance data collected by the LRF.

상술한 바와 같이, 전자 장치 100은 구별이 가능한 마커들 복수개가 입체적으로 배치된 마커 보드 장치 200의 적어도 일부를 피사체로 하여 적어도 하나의 인식 가능한 마커를 포함한 카메라 데이터와 거리 데이터를 획득하고, 다중 이기종 센서들에 대한 2차원 또는 3차원 켈리브레이션을 수행할 수 있다.As described above, the electronic device 100 obtains the camera data and the distance data including at least one recognizable marker by using at least a part of the marker board device 200 in which a plurality of distinguishable markers are three-dimensionally arranged as subjects, Dimensional or three-dimensional calibration of the sensors.

도 3은 본 발명의 실시예에 따른 마커 보드 장치의 마커의 일예를 나타낸 도면이다.3 is a view illustrating an example of a marker of the marker board device according to the embodiment of the present invention.

도 3을 참조하면, 마커 201은 예컨대 전체적으로 사각형의 형상으로 마련되며, 16개의 블록들이 배치된 형태일 수 있다. 여기서 16개의 블록들은 운용되는 마커 201들의 개수에 의해 변경될 수 있다. 예컨대, 마커 201은 9개의 블록들 또는 25개의 블록들로 구성될 수 있다. 또는 마커 201이 가로 세로 블록의 개수가 동일한 형태로 예시하였으나 본 발명이 이에 한정되는 것은 아니다. 예컨대, 마커 201은 가로 블록수와 세로 블록수가 다를 수도 있다.Referring to FIG. 3, the marker 201 may have a rectangular shape, for example, and may have 16 blocks. Here, the 16 blocks can be changed by the number of the operated markers 201. For example, the marker 201 may be composed of 9 blocks or 25 blocks. Or the marker 201 has the same number of the horizontal and vertical blocks, the present invention is not limited thereto. For example, the number of horizontal blocks and the number of vertical blocks of the marker 201 may be different.

도시된 도면을 기준으로 마커 201은 각각 모서리에 4개의 특징점들이 배치될 수 있다. 예컨대, 마커 201은 제1행에 a, 10, 9, b 블록이 배치될 수 있다. 또한, 마커 201은 제2행에 8, 7, 6, 5 블록이 배치될 수 있다. 마커 201은 제3행에 4, 3, 2, 1 블록이 배치될 수 있다. 마커 201은 제4행에 c, 0, parity, d 블록이 배치될 수 있다. 상술한 마커 201에서 4개의 특징점들 a, b, c, d는 모든 마커들(예: 4개의 가로세로 줄로 이루어진 마커들)이 모두 동일한 형태로 구성될 수 있다. 2진 마커 보드로 마커 201이 구성되는 경우, a블록은 백색, b, c, d 블록은 흑색이 될 수 있다. 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 블록들은 마커 고유 식별자로서 흑색 또는 백색 중 어느 하나의 색을 가질 수 있다. 이에 따라, 마커 201은 전체 2048가지 형태로 구분될 수 있다. parity 블록은 에러 보상을 위해 사용되는 블록으로서, 마커 보드 장치 200을 설계한 설계자의 의도에 따라 특정 색(예: 백색 또는 흑색)을 가질 수 있다. With reference to the drawing, the markers 201 may have four feature points at their corners. For example, in the marker 201, a, 10, 9, and b blocks may be arranged in the first row. Further, the marker 201 may be arranged in 8th, 7th, 6th, and 5th blocks in the second row. In the marker 201, 4, 3, 2, and 1 blocks may be arranged in the third row. In the marker 201, c, 0, parity, and d blocks may be arranged in the fourth row. The four feature points a, b, c, and d in the above-described marker 201 may be all formed in the same shape as all of the markers (e.g., four horizontal bar markers). When the marker 201 is composed of a binary marker board, a block may be white, and a b, c, d block may be black. 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, and 10 blocks may have either a black or white color as a marker unique identifier. Accordingly, the marker 201 can be divided into 2048 types. The parity block is a block used for error compensation and may have a specific color (e.g., white or black) depending on the intention of the designer who designed the marker board device 200.

상술한 사각형 형상의 마커 201들은 마커 보드 장치 200에서 일정 크기로 복수개가 배치될 수 있다. 마커 보드 장치 200에 배치되는 마커 201들은 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 블록들 중 적어도 하나가 서로 다른 색을 가질 수 있다. 마커 201에 대한 카메라 데이터가 수집되면, 전자 장치 100은 마커 201들에 포함된 백색과 흑색의 분포 형태를 분석하여 마커의 식별자를 검출할 수 있다. 전자 장치 100은 검출된 마커의 식별자를 기 정의된 마커의 식별자와 매칭하여, 각 마커에 대응하는 특징점의 좌표를 판단하고, 검출되어 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 틀어진 각도나 변형된 정보를 분석하여 켈리브레이션을 수행에 필요한 파라메터들을 획득할 수 있다. 또한 전자 장치 100의 제어 모듈 160은 제2 센서 132가 획득한 거리 데이터를 기반으로 각 마커 201들에 대한 3차원 매핑을 수행하여 획득된 데이터에 대하 3차원 켈리브레이션을 수행할 수 있다.A plurality of the rectangular markers 201 may be arranged in a predetermined size in the marker board device 200. The markers 201 disposed in the marker board device 200 may have at least one of 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, When the camera data for the marker 201 is collected, the electronic device 100 can detect the identifier of the marker by analyzing the distribution pattern of white and black included in the markers 201. The electronic device 100 matches the identifier of the detected marker with the identifier of the predefined marker to determine the coordinates of the minutiae corresponding to each marker, and determines the absolute coordinates of the image coordinates corresponding to the detected and recognized markers and the predefined markers By analyzing angles or deformed information based on coordinates, you can acquire the parameters necessary to perform the calibration. In addition, the control module 160 of the electronic device 100 can perform three-dimensional calibration on the acquired data by performing three-dimensional mapping of the respective markers 201 based on the distance data acquired by the second sensor 132.

도 4는 본 발명의 실시예에 따른 센서 켈리브레이션 방법을 나타낸 도면이다.4 is a view illustrating a sensor calibration method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 센서 켈리브레이션 방법에 따르면, 고유 식별이 가능한 복수개의 마커 201이 배치된 마커 보드 장치 200이 배치된 환경에 대한 데이터 획득이 과정 401에서 수행될 수 있다. 이와 관련하여, 앞서 설명한 바와 같이 전자 장치 100의 영상 센서들 131, 132는 서로 구분되는 일정 크기의 마커 201들이 복수개가 배치된 가드 보드들 220, 230, 240, 250과 기준 보드 210을 포함하는 적어도 일부 영역에 대한 카메라 데이터 및 거리 데이터를 획득할 수 있다. Referring to FIG. 4, according to the sensor calibration method of the present invention, data acquisition for an environment in which a marker board device 200 having a plurality of markers 201 capable of unique identification is disposed can be performed in step 401. In this regard, as described above, the image sensors 131 and 132 of the electronic device 100 include at least a plurality of guard boards 220, 230, 240, 250 and a reference board 210 in which a plurality of markers 201, Camera data and distance data for some areas can be obtained.

과정 403에서 전자 장치 100은 마커 201 인식을 수행할 수 있다. 이와 관련하여, 전자 장치 100은 획득된 카메라 데이터에 대한 이미지 처리를 수행하여, 이미지를 단순화시키고, 단순화된 이미지를 기반으로 지정된 마커 식별자에 대응하는 마커들을 적어도 하나를 검출할 수 있다.In step 403, the electronic device 100 can perform the marker 201 recognition. In this regard, the electronic device 100 may perform image processing on the acquired camera data to simplify the image and detect at least one of the markers corresponding to the designated marker identifier based on the simplified image.

마커 식별자 검출이 완료되면, 과정 405에서 전자 장치 100은 카메라 켈리브레이션을 수행할 수 있다. 예컨대, 전자 장치 100은 검출되어 인식된 적어도 하나의 마커 식별자와 기 정의된 마커들의 식별자를 매칭하여 특징점의 좌표를 판단하고, 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 2차원 켈리브레이션을 수행할 수 있다. 또한 전자 장치 100은 과정 405와 동시에 또는 과정 405와 선 또는 후의 관계를 가지고 카메라와 LRF 켈리브레이션을 수행할 수 있다. 예컨대, 전자 장치 100은 LRF를 통해 획득한 거리 데이터와 카메라 데이터를 이용하여 3차원 켈리브레이션을 수행할 수 있다.When the marker identifier detection is completed, the electronic device 100 can perform the camera calibration in step 405. For example, the electronic device 100 determines the coordinates of the minutiae by matching the detected at least one marker identifier with the identifier of the predefined markers, and determines the coordinates of the image corresponding to the recognized markers and the absolute coordinates of the predefined markers The two-dimensional calibration can be performed. Also, the electronic device 100 can perform the LRF calibration with the camera at the same time as the process 405, or with the line before or after the process 405. For example, the electronic device 100 can perform three-dimensional calibration using distance data and camera data acquired through the LRF.

도 5는 본 발명의 실시예에 따른 마커 인식 방법과 관련한 도면이다.5 is a diagram related to a marker recognition method according to an embodiment of the present invention.

도 5를 참조하면, 도 4의 과정 403에서의 상기 마커 인식 방법에 있어서, 과정 501에서와 같이 전자 장치 100의 제어 모듈 160은 획득된 데이터의 이미지 변환을 수행할 수 있다. 예컨대, 제어 모듈 160은 제1 센서 131을 기반으로 획득한 이미지의 색상을 단순화할 수 있다. 예컨대, 제어 모듈 160은 그레이(Gray) 이미지 변환을 수행할 수 있다. 제어 모듈 160은 그레이 이미지 변환된 상태의 데이터를 기반으로 바이너리 이미지 변환을 수행할 수 있다. 예컨대, 제어 모듈 160은 흑 또는 백색 영역 검출이 가능한 바이너리 이미지를 획득할 수 있다.Referring to FIG. 5, in the marker recognition method in the process 403 of FIG. 4, the control module 160 of the electronic device 100 may perform image conversion of the acquired data as in the process 501. FIG. For example, the control module 160 may simplify the color of the image acquired based on the first sensor 131. For example, the control module 160 may perform Gray image conversion. The control module 160 can perform the binary image conversion based on the gray image-converted data. For example, the control module 160 may obtain a binary image capable of black or white area detection.

과정 503에서 전자 장치 100의 제어 모듈 160은 마커 후보군을 검출할 수 있다. 예컨대, 제어 모듈 160은 검출된 카메라 데이터에서 백색의 a블록, 흑색의 b, c, d 블록으로 구성된 일정 영역들을 마커 후보군으로 검출할 수 있다. 이 과정에서 제어 모듈 160은 a, b, c, d 블록으로 인식되지 않는 영역들은 무시(ignore)할 수 있다. In step 503, the control module 160 of the electronic device 100 can detect a marker candidate group. For example, the control module 160 can detect, as the marker candidates, certain regions constituted of white block a, black b, c, d blocks in the detected camera data. In this process, the control module 160 may ignore areas not recognized as a, b, c, and d blocks.

과정 505에서 전자 장치 100의 제어 모듈 160은 마커 식별자 추출을 수행할 수 있다. 제어 모듈 160은 a, b, c, d블록들을 인식한 후, 해당 블록들로 구분된 일정 사각형(마름모나 직사각형, 정사각형 등) 내에 포함된 백색 블록과 흑색 블록들의 분포를 분석할 수 있다. 제어 모듈 160은 해당 분석을 기반으로 지정된 일정 마커 식별자를 유추할 수 있다. 예를 들어, 제어 모듈 160은 0 내지 10 블록들의 흑색 또는 백색 구분에 따라, 지정된 일정 형태의 식별자(예: 마커 ID)를 검출할 수 있다.In step 505, the control module 160 of the electronic device 100 may perform marker identifier extraction. The control module 160 can analyze the distribution of white blocks and black blocks included in a predetermined rectangle (rhombus, rectangle, square, etc.) divided into corresponding blocks after recognizing the blocks a, b, c and d. The control module 160 can deduce a predetermined marker identifier based on the analysis. For example, the control module 160 can detect an identifier (e.g., a marker ID) of a predetermined type in accordance with the black or white classification of blocks 0 to 10.

과정 507에서 전자 장치 100의 제어 모듈 160은 마커 위치와 자세 검출을 수행할 수 있다. 제어 모듈 160은 인식된 마커들의 식별자와 기 정의된 마커들의 식별자를 매칭하여 특징점의 좌표를 판단하고, 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교할 수 있다. 제어 모듈 160은 비교 결과에 따른 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스, 렌즈 왜곡 계수 등의 파라메터를 검출할 수 있다. 이를 기반으로, 제어 모듈 160은 마커의 위치와 자세 검출을 결정할 수 있다.In step 507, the control module 160 of the electronic device 100 may perform marker position and orientation detection. The control module 160 may determine the coordinates of the minutiae by matching the identifiers of the recognized markers with the identifiers of the predefined markers and compare the image coordinates corresponding to the recognized markers with the absolute coordinates of the predefined markers. The control module 160 can detect parameters such as a rotation matrix, a motion vector, a camera matrix, and a lens distortion coefficient according to a comparison result. Based on this, the control module 160 can determine the position and orientation of the marker.

도 6은 본 발명의 실시예에 따른 마커 인식 상태와 관련한 도면이다.6 is a diagram relating to a marker recognition state according to an embodiment of the present invention.

도 6을 참조하면, 전자 장치 100은 입체적으로 배치된 마커 보드 장치 200에 배치된 복수개의 마커들 중 적어도 일부 영역에 배치된 마커들에 대한 인식을 수행할 수 있다. 상술한 전자 장치 100은 마커 보드 장치 200에 배치된 마커들을 개별적으로 구분하고 인식하기 때문에, 마커 보드 장치 200 전체에 대응하는 데이터를 요구하지 않고서도 마커 보드 장치 200을 이용한 켈리브레이션을 수행할 수 있다. Referring to FIG. 6, the electronic device 100 may perform recognition of markers disposed in at least a part of a plurality of markers disposed in the three-dimensionally arranged marker board device 200. Since the electronic device 100 separately identifies and recognizes the markers disposed in the marker board device 200, it is possible to perform the calibration using the marker board device 200 without requiring data corresponding to the entire marker board device 200.

도시된 도면에서와 같이 복수개의 마커들은 서로 구분되는 색 배치를 가진다. 이에 따라, 전자 장치 100은 인식된 마커들에 대하여 고유 식별자를 부여할 수 있다. 예컨대, 전자 장치 100은 인식된 특정 마커들에 대하여 [601], [602], [603], [604], [605] 등의 식별자를 부여할 수 있다. 또한 전자 장치 100은 인식된 특정 마커들에 대하여 [413],... [422],... [431], [432], ... 등의 식별자를 할당할 수 있다. 상술한 식별자들은 마커를 인식함에 따라 자동으로 할당될 수 있다.As shown in the drawing, the plurality of markers have color arrangements that are distinguished from each other. Accordingly, the electronic device 100 can assign a unique identifier to the recognized markers. For example, the electronic device 100 may assign identifiers such as [601], [602], [603], [604], and [605] to recognized specific markers. Also, the electronic device 100 can assign identifiers such as [413], ... [422], ... [431], [432], ... to specific recognized markers. The above-mentioned identifiers can be automatically assigned as recognizing the marker.

그리고 할당된 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단한 후, 인식된 마커들의 이미지 좌표와 기 정의된 마커들의 절대 좌표를 비교하여 켈리브레이션을 수행할 수 있다.Then, the coordinates of the feature points are matched with the identifiers of the predefined markers, and the calibration is performed by comparing the image coordinates of the recognized markers with the absolute coordinates of the predefined markers.

도 7은 본 발명의 실시예에 따른 카메라 켈리브레이션과 관련한 도면이다.7 is a diagram related to camera calibration according to an embodiment of the present invention.

도 7을 참조하면, 701 과정에서 전자 장치 100은 입체 마커 보드 장치 200을 기반으로 a, b, c, d블록들이 배치된 마커들과 관련한 이미지 데이터를 획득하고, 획득된 이미지 데이터로부터 적어도 하나의 마커 좌표를 획득할 수 있다. 전자 장치 100은 예컨대, 카메라 데이터로부터 3차원 좌표 Pi와 2차원 좌표인 픽셀 좌표 pi를 획득할 수 있다. Referring to FIG. 7, in step 701, the electronic device 100 acquires image data related to markers on which a, b, c, and d blocks are arranged based on the stereoscopic marker board device 200, The marker coordinates can be obtained. The electronic device 100 can obtain three-dimensional coordinates P i and pixel coordinates p i , which are two-dimensional coordinates, from camera data, for example.

전자 장치 100은 703 과정에서 획득된 좌표들에 대한 변환 작업을 수행할 수 있다. 예컨대, 전자 장치 100은 획득된 2차원 좌표에 대하여 다이렉트 리니어 트랜스포메이션(DLT)을 수행할 수 있다. 또한 전자 장치 100은 획득된 3차원 좌표에 대하여 DLT를 수행할 수 있다. The electronic device 100 may perform a conversion operation on the coordinates obtained in operation 703. [ For example, the electronic device 100 may perform direct linear transformation (DLT) on the obtained two-dimensional coordinates. The electronic device 100 may also perform DLT on the obtained three-dimensional coordinates.

다음으로, 705 과정에서 전자 장치 100은 DLT 변환 값들을 기반으로 반복 비선형 최적화 방법을 기반으로 켈리브레이션을 수행할 수 있다. Next, in step 705, the electronic device 100 can perform calibration based on the iterative nonlinear optimization method based on the DLT transformed values.

도 8은 본 발명의 실시예에 따른 카메라와 LRF 켈리브레이션 관련 도면이다.8 is a diagram related to a camera and LRF calibration according to an embodiment of the present invention.

도 8을 참조하면, 전자 장치 100은 801 과정에서 제1 센서 131을 이용한 카메라 데이터와 제2 센서 132를 이용한 LRF 데이터를 획득할 수 있다. 여기서, 카메라 데이터를 수집하는 제1 센서 131은 복수개가 마련될 수 있다. 이에 따라, 전자 장치 100은 마커 보드 장치 200에 대한 복수의 카메라 데이터를 획득하고, 이를 기반으로 803 과정에서 다중 카메라 켈리브레이션을 수행할 수 있다. 전자 장치 100은 803 과정에서 획득된 데이터들에 대한 다중 카메라 켈리브레이션 수행과 함께 LRF 데이터 세그먼테이션을 처리할 수 있다. 다음으로, 전자 장치 100은 805 과정에서 선형 평가를 수행하고, 807 과정에서 반복 비선형 최적화를 수행하여 다중 카메라 및 LRF 켈리브레이션을 처리할 수 있다.Referring to FIG. 8, in step 801, the electronic device 100 can acquire camera data using the first sensor 131 and LRF data using the second sensor 132. Here, a plurality of first sensors 131 for collecting camera data may be provided. Accordingly, the electronic device 100 acquires a plurality of camera data for the marker board device 200, and performs the multiple camera calibration in step 803 based on the acquired camera data. The electronic device 100 can process the LRF data segmentation together with performing multiple camera calibration on the data obtained in step 803. [ Next, the electronic device 100 performs linear evaluation in step 805, and iteratively performs nonlinear optimization in step 807 to process multiple cameras and LRF calibration.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.It should be noted that the embodiments of the present invention disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100 : 전자 장치 110 : 인터페이스
120 : 입력부 130 : 센서 모듈
131 : 제1 센서 132 : 제2 센서
140 : 메모리 150 : 표시부
160 : 제어 모듈 200 : 마커 보드 장치100: electronic device 110: interface
120: input unit 130: sensor module
131: first sensor 132: second sensor
140: memory 150:
160: Control module 200: Marker board device

Claims (15)

복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 상기 복수의 마커들을 포함하는 데이터를 수집하는 복수의 영상 센서;
상기 영상 센서들이 수집한 데이터들에 포함된 마커들을 인식하고, 인식된 마커들을 기반으로 상기 영상 센서들의 켈리브레이션을 수행하는 제어 모듈;
인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 알고리즘을 저장한 메모리; 를 포함하고,
상기 복수의 영상 센서는
상기 복수의 마커들에 대응하는 카메라 데이터를 수집하는 제1 센서;
상기 피사체의 거리 데이터를 수집하는 제2 센서;를 포함하고,
상기 제어 모듈은 상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 상기 제1 센서의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하고, 상기 제1 센서를 통해 수집된 카메라 데이터와 상기 제2 센서를 통해 수집된 거리 데이터를 매칭하여 상기 제1 센서와 상기 제2 센서 간의 로테이션 매트릭스 및 이동 벡터 중 하나 이상을 검출하는 것을 특징으로 하는 전자 장치.A plurality of image sensors for collecting data including the plurality of markers using at least a part of a marker board device having a plurality of markers having a plurality of feature points and having images separated from each other as an object;
A control module for recognizing the markers included in the data collected by the image sensors and performing calibration of the image sensors based on the recognized markers;
A memory storing an algorithm for determining the coordinates of the minutiae by matching identifiers of recognized markers with identifiers of predefined markers; Lt; / RTI >
The plurality of image sensors
A first sensor for collecting camera data corresponding to the plurality of markers;
And a second sensor for collecting distance data of the subject,
The control module detects at least one of a rotation matrix, a motion vector, a camera matrix and a lens distortion coefficient of the first sensor based on the image coordinates corresponding to the recognized markers and the absolute coordinates of predefined markers, And detects at least one of a rotation matrix and a motion vector between the first sensor and the second sensor by matching the camera data collected through the first sensor with the distance data collected through the second sensor. . 제1항에 있어서,
상기 마커 보드 장치는,
복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 기준 보드;
상기 기준 보드의 모서리에서 상기 기준 보드와 일정 각도를 가지며 배치되고 상기 마커들이 적어도 하나가 배치되는 적어도 하나의 가드 보드;
를 포함하는 것을 특징으로 하는 전자 장치.The method according to claim 1,
The marker board device comprises:
A reference board on which a plurality of markers having a plurality of feature points and having an image separated from each other are arranged;
At least one guard board disposed at an edge of the reference board at an angle with the reference board and having at least one marker disposed thereon;
≪ / RTI > 제2항에 있어서,
상기 마커는
4개의 특징점들을 가지며, 세로 및 가로로 균등하게 분할된 블록들이 배치되는 것을 특징으로 하는 전자 장치.3. The method of claim 2,
The marker
Wherein the block has four feature points, and the blocks are evenly divided vertically and horizontally. 제3항에 있어서,
상기 마커는
상기 4개의 특징점들 중 적어도 하나의 특징점에 인접되도록 배치된 패리티 블록을 포함하는 것을 특징으로 하는 전자 장치.The method of claim 3,
The marker
And a parity block arranged adjacent to at least one of the four minutiae. 제2항에 있어서,
상기 가드 보드는
상기 기준 보드의 모서리에서 상기 기준 보드의 전면에 대하여 수직하게 신장 배치되는 것을 특징으로 하는 전자 장치.3. The method of claim 2,
The guard board
Wherein the reference board is extended perpendicularly to a front surface of the reference board at an edge of the reference board. 삭제delete 제1항에 있어서,
상기 제2 센서는
레이저 레인지 파인더인 것을 특징으로 하는 전자 장치.The method according to claim 1,
The second sensor
Is a laser range finder. 삭제delete 삭제delete 삭제delete 복수의 특징점들을 포함하며 서로 구분되는 이미지를 가지는 복수의 마커들이 배치된 마커 보드 장치의 적어도 일부를 피사체로 하여 데이터를 수집하는 과정;
상기 수집된 데이터들을 기반으로 마커들을 인식하는 과정;
인식된 상기 마커들을 기반으로 카메라 켈리브레이션 또는 다중 이기종 센서들의 켈리브레이션을 처리하는 과정;
인식된 마커들의 식별자를 기 정의된 마커들의 식별자와 매칭하여 특징점의 좌표를 판단하는 과정; 을 포함하고,
상기 수집하는 과정은
적어도 하나의 제1 센서를 기반으로 상기 피사체에 대한 카메라 데이터를 수집하는 과정;
적어도 하나의 제2 센서를 기반으로 상기 피사체에 대한 거리 데이터를 수집하는 과정; 을 포함하고,
상기 판단하는 과정은
상기 인식된 마커들에 대응하는 이미지 좌표와 기 정의된 마커들의 절대 좌표를 기반으로 상기 제1 센서의 로테이션 매트릭스, 이동 벡터, 카메라 매트릭스 및 렌즈 왜곡 계수 중 하나 이상을 검출하는 과정;
상기 제1 센서를 통해 수집된 카메라 데이터와 상기 제2 센서를 통해 수집된 거리 데이터를 매칭하여 상기 제1 센서와 상기 제2 센서 간의 로테이션 매트릭스 및 이동 벡터 중 하나 이상을 검출하는 과정;
을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.Collecting data using at least a part of a marker board device having a plurality of markers having a plurality of feature points and having an image separated from each other as a subject;
Recognizing markers based on the collected data;
Processing camera calibration or calibration of multiple heterogeneous sensors based on the recognized markers;
Determining coordinates of the minutiae by matching identifiers of recognized markers with identifiers of predefined markers; / RTI >
The collecting process
Collecting camera data for the subject based on at least one first sensor;
Collecting distance data for the subject based on at least one second sensor; / RTI >
The process of determining
Detecting at least one of a rotation matrix, a motion vector, a camera matrix and a lens distortion coefficient of the first sensor based on the image coordinates corresponding to the recognized markers and the absolute coordinates of predefined markers;
Detecting at least one of a rotation matrix and a motion vector between the first sensor and the second sensor by matching the camera data collected through the first sensor with the distance data collected through the second sensor;
The sensor calibration method comprising the steps of: 삭제delete 제11항에 있어서,
상기 마커를 인식하는 과정은
상기 수집된 데이터들에서 지정된 특징점들이 배치된 영역을 검출하는 과정;
상기 영역들 내의 이미지 분포를 분석하여 마커들의 식별자를 검출하는 과정;을 포함하는 것을 특징으로 하는 센서 켈리브레이션 방법.12. The method of claim 11,
The process of recognizing the marker
Detecting an area where the designated feature points are arranged in the collected data;
And detecting the identifiers of the markers by analyzing the image distribution within the regions. 삭제delete 삭제delete
KR1020140128289A 2014-09-25 2014-09-25 Sensor Calibration Method and Electronic Device and Marker Board for the same KR101669850B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140128289A KR101669850B1 (en) 2014-09-25 2014-09-25 Sensor Calibration Method and Electronic Device and Marker Board for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140128289A KR101669850B1 (en) 2014-09-25 2014-09-25 Sensor Calibration Method and Electronic Device and Marker Board for the same

Publications (2)

Publication Number Publication Date
KR20160036723A KR20160036723A (en) 2016-04-05
KR101669850B1 true KR101669850B1 (en) 2016-10-28

Family

ID=55800004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128289A KR101669850B1 (en) 2014-09-25 2014-09-25 Sensor Calibration Method and Electronic Device and Marker Board for the same

Country Status (1)

Country Link
KR (1) KR101669850B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11971961B2 (en) 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors
KR102054455B1 (en) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 Apparatus and method for calibrating between heterogeneous sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107348A (en) * 2008-10-30 2010-05-13 Panasonic Corp Calibration target and in-vehicle calibration system using it
KR101033167B1 (en) * 2011-01-31 2011-05-11 국방과학연구소 Device, system and method for calibration of camera and laser range finder
KR101277737B1 (en) * 2012-03-22 2013-06-24 한남대학교 산학협력단 An augmented reality system using array of multiple marker and a method thereof
KR101405317B1 (en) * 2013-01-15 2014-06-11 한국과학기술연구원 Assist Apparatus for calibarating Camera Sensor and Laser Sensor, and Sensor Calibration System and Method using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010107348A (en) * 2008-10-30 2010-05-13 Panasonic Corp Calibration target and in-vehicle calibration system using it
KR101033167B1 (en) * 2011-01-31 2011-05-11 국방과학연구소 Device, system and method for calibration of camera and laser range finder
KR101277737B1 (en) * 2012-03-22 2013-06-24 한남대학교 산학협력단 An augmented reality system using array of multiple marker and a method thereof
KR101405317B1 (en) * 2013-01-15 2014-06-11 한국과학기술연구원 Assist Apparatus for calibarating Camera Sensor and Laser Sensor, and Sensor Calibration System and Method using the same

Also Published As

Publication number Publication date
KR20160036723A (en) 2016-04-05

Similar Documents

Publication Publication Date Title
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US8295588B2 (en) Three-dimensional vision sensor
WO2018133130A1 (en) 3d marker model construction and real-time tracking using monocular camera
US7948479B2 (en) Method and system for distinguishing multiple touch points
KR100920931B1 (en) Method for object pose recognition of robot by using TOF camera
JP6700752B2 (en) Position detecting device, position detecting method and program
CN107687855B (en) Robot positioning method and device and robot
JP6176388B2 (en) Image identification device, image sensor, and image identification method
US11232589B2 (en) Object recognition device and object recognition method
US10310675B2 (en) User interface apparatus and control method
KR20160003776A (en) Posture estimation method and robot
CN108562250B (en) Keyboard keycap flatness rapid measurement method and device based on structured light imaging
JP6557943B2 (en) Image collation device, image sensor, processing system, and image collation method
CN102375619B (en) optical position input system and method
KR20080029548A (en) System and method of moving device control based on real environment image
CN104035555A (en) System, Information Processing Apparatus, And Information Processing Method
KR102073468B1 (en) System and method for scoring color candidate poses against a color image in a vision system
US20160292888A1 (en) Image measurement device, and recording medium
JP2016091457A (en) Input device, fingertip-position detection method, and computer program for fingertip-position detection
CN110926330A (en) Image processing apparatus, image processing method, and program
US9286669B2 (en) Image processing apparatus, image processing method and program
JP2018151830A (en) Image processing device, image processing method and program
JP2018026724A (en) Image processing device, image processing method, and program
US20220215582A1 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
KR101669850B1 (en) Sensor Calibration Method and Electronic Device and Marker Board for the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190919

Year of fee payment: 4