KR20200005332A

KR20200005332A - 캘리브레이션 장치 및 그것의 동작 방법

Info

Publication number: KR20200005332A
Application number: KR1020180078930A
Authority: KR
Inventors: 페트로 키츠운; 르골 브도비첸코; 올렉시 판필로브; 나탈리야 사크넨코; 알로나 비티욱
Original assignee: 삼성전자주식회사
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2020-01-15
Also published as: US10841570B2; US20200014912A1

Abstract

본 개시의 일 실시 예에 따르면, 타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 적어도 하나의 카메라 및 캘리브레이션 대상 기기(calibration target device)의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향에 기초하여 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 적어도 하나의 측정부를 포함하는 상기 캘리브레이션 대상 기기를 회전 또는 이동시킬 수 있는 제1 캘리브레이션부; 및 상기 카메라에 상응하는 제1 좌표계와 상기 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는, 캘리브레이션 장치가 개시된다.

Description

캘리브레이션 장치 및 그것의 동작 방법{Calibration device and method of operation thereof}

본 개시는 캘리브레이션 장치 및 그것의 동작 방법에 관한 것이다.

IT 기술의 고도화에 수반하여,　카메라는 전통적인 필름　카메라에서 디지털　카메라로 진화하였고, 최근에는 3차원적 거리 또는 깊이(depth)를 검출할 수 있는 스테레오　카메라(stereo　camera)가 개발되기에 이르렀다.

본 개시의 실시 예들은 동작범위 및 동작속도가 향상된 캘리브레이션 장치 및 그것의 동작 방법을 제시한다.

본 개시의 일 실시 예에 따르면, 타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 단계; 캘리브레이션 대상 기기의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향을 측정하여, 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 단계; 및 상기 타겟을 촬상하는 카메라에 상응하는 제1 좌표계와 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 캘리브레이션 방법이 개시된다.

본 개시의 일 실시 예에 따르면, 타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 동작; 캘리브레이션 대상 기기의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향을 측정하여, 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 동작; 및 상기 타겟을 촬상하는 카메라에 상응하는 제1 좌표계와 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 동작을 수행하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품이 개시된다.

도 1a는 본 개시의 일 실시 예에 따른 제1 캘리브레이션부를 도시한 것이다.
도 1b는 본 개시의 일 실시 예에 따른 캘리브레이션 장치를 도시한 것이다.
도 2는 본 개시의 일 실시 예에 따른 컴퓨터 장치의 구성을 도시한 것이다.
도 3a는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기의 정면도를 도시한 것이다.
도 3b는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기의 평면도를 도시한 것이다.
도 4는 본 개시의 일 실시 예에 따른 타겟의 예시들을 도시한 것이다.
도 5a는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기를 회전시키는 방법의 일 실시 예를 도시한 것이다.
도 5b는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기를 회전시키는 방법의 또 다른 일 실시 예를 도시한 것이다.
도 6은 본 개시의 일 실시 예에 따른 캘리브레이션 동작의 결과를 도시한 것이다.
도 7은 본 개시의 일 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.
도 8은 본 개시의 일 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.
도 9는 본 개시의 일 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.

또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본 명세서 전반에 걸쳐 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.

본 개시의 일 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

스테레오　카메라는, 복수의　카메라　모듈을 구비하고, 이들로부터 촬상되는 이미지 데이터를 합성하여 깊이감 있는 이미지를 사용자에게 제공할 수 있다. IMU(Inertial Mesurment Unit, 관성측정유닛)은 무인비행체(드론), 비행기, 인공위성 등의 기기의 내부에 들어가는 부품으로, 가속도 센서 및 자이로스코프 센서 등을 이용하여 가속도와 회전율, 즉 관성을 측정하고, 3차원 공간에서의 움직임을 측정할 수 있게 해주는 통합된 유닛을 말한다. IMU는 방위각을 위해 자기장을 추가로 측정하기도 한다. 최근, 터널이나 실내 혹은 전자기 간섭이 있는 공간에서 GPS 신호의 수신에 문제가 있을 때 IMU 에서의 정보를 바탕으로 위치를 추측하는 기술이 네비게이션(GPS)과 같은 곳에서 유용하게 쓰이고 있다. 현대시대의 전자장치는 카메라를 비롯하여, 관성측정유닛을 기본적으로 탑재하고 있다. 이러한 카메라 및 관성측정유닛을 동작시키기 위해서는, 각각을 캘리브레이션(calibration)하는 동작이 필요하다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1a는 본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)를 도시한 것이다.

본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)는 캘리브레이션 대상 기기(calibration target device, 111), 제1 지지부(112), 제1 회전부(113)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)는 타겟(도시되지 않음)을 촬상하여 타겟의 이미지 정보를 획득하는 적어도 하나의 카메라(도시되지 않음)를 포함할 수 있다. 또한, 캘리브레이션 대상 기기(111)는 가속도 센서(도시되지 않음) 및 자이로스코프 센서(도시되지 않음) 중 적어도 하나의 센서를 기초로, 캘리브레이션 대상 기기(111)의 움직임 정보를 획득하는 적어도 하나의 측정부(도시되지 않음)를 포함할 수 있다. 캘리브레이션 대상 기기(111)는 카메라 및 관성측정유닛 중 적어도 하나를 포함할 수 있다.

본 개시의 일 실시 예에 따른 측정부는 관성측정유닛(Inertial Measurement Unit, IMU)(도시되지 않음)를 의미할 수 있다. 즉, 본 개시의 일 실시 예에 따르면, 캘리브레이션 대상 기기(111)는 적어도 하나의 관성측정유닛(Inertial Measurement Unit, IMU)을 포함할 수 있다.

가속도 센서는 이동하는 물체의 가속도나 충격의 세기를 측정하는 센서로, 본 개시의 일 실시 예에 따른 가속도 센서는 캘리브레이션 대상 기기의 가속도를 측정할 수 있다. 자이로스코프 센서는 물체가 회전운동을 하면 생기는 회전 반발력을 측정하여 이를 전기신호로 바꾸는 장치로, 본 개시의 일 실시 예에 따른 자이로스코프 센서는 캘리브레이션 대상 기기의 회전 방향을 측정할 수 있다.

또한, 캘리브레이션 대상 기기(111)는 가속도 센서 및 자이로스코프 센서 등을 포함하여, 속도, 가속도, 방위, 기울기, 중력, 회전, 지자계 및 자기장 등을 측정할 수 있는 센서를 포함할 수 있다. 즉, 본 개시의 일 실시 예에서 설명하는 움직임 정보는 속도, 가속도, 방위, 기울기, 중력, 회전, 지자계 및 자기장에 대한 정보를 의미할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)는 모바일폰, 태블릿, 스마트 워치, 서라운드 뷰 장치, TV, 컴퓨터, 노트북, 가상현실 장치, 증강현실 장치, 혼합현실 장치, 비디오 보안 장치 및 네비게이션 등을 포함할 수 있다. 다만, 캘리브레이션 대상 기기(111)의 종류에 따라서 특정 종류의 캘리브레이션 대상 기기(111)는 관성측정유닛을 포함하지 않을 수도 있음은 자명하다.

캘리브레이션이 수행되기 전, 캘리브레이션 대상 기기(111)에 포함된 카메라가 타겟을 촬상하면 촬상된 이미지에는 기본적으로 왜곡된 정보가 포함되어 있을 수 있다. 따라서, 본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)는 캘리브레이션 대상 기기(111)에 포함된 카메라가 촬상한 이미지의 왜곡 정보를 캘리브레이션할 수 있다. 캘리브레이션이 수행된 캘리브레이션 대상 기기(111)는, 캘리브레이션이 수행되기 전보다 촬상 타겟의 실제 이미지와 더 유사한 이미지 정보를 얻을 수 있다.

유사한 원리로, 관성측정유닛에 대한 캘리브레이션이 수행되기 전, 캘리브레이션 대상 기기(111)에 움직임이 발생하면, 관성측정유닛이 생성한 움직임 정보에는 기본적으로 왜곡된 정보가 포함되어 있을 수 있다. 따라서, 본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)는, 캘리브레이션 대상 기기(111)에 포함된 관성측정유닛이 생성한 움직인 정보를 캘리브레이션할 수 있다. 캘리브레이션이 수행된 캘리브레이션 대상 기기(111)는, 캘리브레이션이 수행되기 전 보다 더 정확한 움직임 정보를 얻을 수 있다.

본 개시의 일 실시 예에 따른 제1 지지부(112)는 캘리브레이션 대상 기기(111)를 지지하여, 캘리브레이션 장치(100) 내에 위치시킬 수 있다. 도 1a에 도시된 바와 같이, 제1 지지부(112)는 적어도 하나 이상의 캘리브레이션 대상 기기(111)를 지지할 수 있다. 예를 들어, 도 1a에 도시된 바와 같이, 제1 지지부(112)는 12개의 캘리브레이션 대상 기기(111)들을 동시에 지지할 수 있다. 복수의 캘리브레이션 대상 기기(111)들을 동시에 지지함으로써, 본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)는 캘리브레이션 동작을 복수의 캘리브레이션 대상 기기(111)들에 대해 동시에 수행할 수 있다. 이를 통해, 캘리브레이션이 수행될 캘리브레이션 대상 기기(111)가 다수 존재할 때, 캘리브레이션 동작을 동시에 수행함으로써, 전체적인 캘리브레이션 동작 수행시간을 감소시킬 수 있다.

본 개시의 일 실시 예에 따르면, 제1 캘리브레이션부(110)는 캘리브레이션 대상 기기(111)가 움직임 정보를 생성할 수 있도록 하는 제1 회전부(113)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 제1 회전부(113)(또는, 회전이동부)는, 캘리브레이션 대상 기기(111)가 움직임 정보를 생성할 수 있도록, 이동 또는 회전하는 동작을 수행할 수 있다. 본 개시의 일 실시 예에 따르면, 제1 회전부(113)는 360도 방향으로 회전하며 캘리브레이션 대상 기기(111)를 움직일 수 있다. 본 개시의 일 실시 예에 따르면, 제1 회전부(113)는 미리 정해진 각도로 캘리브레이션 대상 기기(111)를 반복적으로 움직일 수 있다. 본 개시의 일 실시 예에 따른 제1 회전부(113)는 가속도 센서 및 자이로스코프 센서 등이 속도, 방위, 기울기 및 자기장 등에 대한 정보를 측정할 수 있도록 캘리브레이션 대상 기기(111)를 움직일 수 있다. 본 개시의 일 실시 예에 따른 제1 회전부(113)의 이동 또는 회전 동작에 상응하여, 관성측정유닛이 캘리브레이션 대상 기기(111)의 움직임 정보를 획득할 수 있다. 본 개시의 일 실시 예에 따른 제1 회전부(113)는 캘리브레이션 대상 기기(111)를 움직일 수 있는 모든 물리적인 장치들이 결합된 장치를 의미할 수 있다.

본 개시의 일 실시 예에 따르면, 제1 캘리브레이션부(110)는 프로세서(미도시)를 포함할 수 있다. 본 개시의 일 실시 예에 따른 프로세서는, 카메라에 상응하는 제1 좌표계와 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 제3 좌표계에 기초하여, 이미지 정보에 대한 이미지 캘리브레이션 동작 및 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성할 수 있다. 프로세서의 동작은, 후술하는 바와 같이, 도 2를 참조하여 보다 구체적으로 설명하기로 한다.

도 1b는 본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)를 도시한 것이다.

본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)는, 도 1a를 참고하여 설명된 제1 캘리브레이션부(110)를 포함할 수 있고, 제2 캘리브레이션부(130) 및 컴퓨터 장치(200)를 더 포함할 수 있다. 즉, 본 개시의 일 실시 예에 따른 캘리브레이션 장치(100)는, 제1 캘리브레이션부(110), 제2 캘리브레이션부(130) 및 컴퓨터 장치(200)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)는 제1 회전부(113), 제1 이동부(115) 및 제2 이동부(117)를 더 포함할 수 있다. 즉, 본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)는 캘리브레이션 대상 기기(calibration target device, 111), 제1 지지부(112), 제1 회전부(113), 제1 이동부(115) 및 제2 이동부(117)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)는, 캘리브레이션 대상 기기(111)를 Z축 방향으로 이동시킬 수 있는 제1 이동부(115)를 포함할 수 있다. 제1 이동부(115)는 캘리브레이션 대상 기기(111)를 Z축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 거리로 캘리브레이션 대상 기기(111)를 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제1 캘리브레이션부(110)는, 캘리브레이션 대상 기기(111)를 Y축 방향으로 이동시킬 수 있는 제2 이동부(117)를 포함할 수 있다. 제2 이동부(117)는 캘리브레이션 대상 기기(111)를 Y축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)와 타겟(131) 간의 거리를 조정할 수 있다.

본 개시의 일 실시 예에 따른 제2 캘리브레이션부(130)는 타겟(131), 제2 지지부(132), 제2 회전부(133), 제3 이동부(135), 제4 이동부(137), 제5 이동부(138) 및 제6 이동부(139)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 타겟(131)은 캘리브레이션 대상 기기(111)에 포함된 카메라를 캘리브레이션하기 위한 디스플레이 장치일 수 있다. 타겟(131)은 전자 디스플레이 장치일 수도 있고, 사용자가 직접 교체 가능한 플레이트(plate)일 수도 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)는 타겟(131)을 촬상하여 타겟(131)의 이미지 정보를 획득할 수 있다.

본 개시의 일 실시 예에 따른 제2 지지부(132)는 타겟(131)을 지지할 수 있다. 도 1b에서는 단일의 제2 지지부(132)가 단일의 타겟(131)을 지지하는 것으로 도시되었지만, 본 개시의 다른 실시 예에 따르면 복수의 제2 지지부(132)가 각각 복수의 타겟(131)을 지지할 수도 있다.

본 개시의 일 실시 예에 따른 제2 회전부(133)는 제2 지지부(132)와 연결되어, 제2 지지부(132)를 회전시킴으로써 타겟(131)을 회전시킬 수 있다. 제2 회전부(133)는 타겟(131)을 회전시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 위치로 타겟(131)을 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제3 이동부(135)는 제2 회전부(133) 또는 제2 지지부(132)와 연결되어 있을 수 있다. 제3 이동부(135)는 Z축 방향으로 이동할 수 있고, 이를 통해 타겟(131)을 Z축 방향으로 이동시킬 수 있다. 제3 이동부(135)는 타겟(131)을 Z축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 위치로 타겟(131)을 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제4 이동부(137)는 제3 이동부(135)와 연결되어 있을 수 있다. 제4 이동부(137)는 제3 이동부(135)를 Y축 방향으로 이동시킬 수 있고, 이를 통해 타겟(131)을 Y축 방향으로 이동시킬 수 있다. 제4 이동부(137)는 타겟(131)을 Y축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 위치로 타겟(131)을 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제5 이동부(138)는 제4 이동부(137)와 연결되어 있을 수 있다. 제5 이동부(138)는 제4 이동부(137)를 X축 방향으로 이동시킬 수 있고, 이를 통해 타겟(131)을 X축 방향으로 이동시킬 수 있다. 제5 이동부(138)는 타겟(131)을 X축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 위치로 타겟(131)을 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제6 이동부(139)는 제5 이동부(138)와 연결되어 있을 수 있다. 제6 이동부(139)는 제5 이동부(138)를 Y축 방향으로 이동시킬 수 있고, 이를 통해 타겟(131)을 Y축 방향으로 이동시킬 수 있다. 제6 이동부(139)는 타겟(131)을 Y축 방향으로 이동시켜, 캘리브레이션 대상 기기(111)의 카메라가 타겟(131)을 촬상하기에 적절한 위치로 타겟(131)을 위치시킬 수 있다.

본 개시의 일 실시 예에 따른 제3 이동부(135), 제4 이동부(137), 제5 이동부(138) 및 제6 이동부(139)의 결합관계는 하나의 일 실시 예에 불과하며, 도 1b에 도시된 결합 관계에만 한정되지 않음은 자명하다. 예를 들어, 도 1b에는 제3 이동부(135)가 제4 이동부(137)와 직접 결합되어 있지만, 또 다른 본 개시의 실시 예에서는 제3 이동부(135)가 제5 이동부(138)와 직접 결합되어 있을 수도 있을 것이다. 또 다른 본 개시의 실시 예에서는, 제3 이동부(135), 제4 이동부(137), 제5 이동부(138) 및 제6 이동부(139)가 통합된 하나의 장치로서, X축, Y축 및 Z축을 이동할 수도 있을 것이다.

본 개시의 일 실시 예에 따른 컴퓨터 장치(200)는 제1 캘리브레이션부(110) 및 제2 캘리브레이션부(130)와 통신경로를 통해 연결되어 있을 수 있다.

통신경로는 다양한 종류의 네트워크일 수 있다. 예를 들어 통신경로는 무선 통신, 유선 통신, 광통신, 초음파 통신 또는 이들의 조합을 포함할 수 있다. 또한 통신 경로(104)에 위성 통신, 이동 통신, 블루투스, 와이파이(WiFi), 적외선 데이터 협회 표준(IrDA), WiMAX 등 역시 포함될 수 있다. 이더넷(Ethernet), DSL(digital subscriber line), FTTH(fiber to the home) 및 기존의 일반 전화 서비스 또한 통신 경로에 포함될 수 있는 유선 통신의 예들이다.

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(200)는 제1 캘리브레이션부(110)와 일체를 이루어 제1 캘리브레이션부(110)에 포함되거나 제2 캘리브레이션부(130)와 일체를 이루어 제2 캘리브레이션부(130)에 포함될 수 있다. 본 개시의 일 실시 예에 따르면, 제1 캘리브레이션부(110)는 컴퓨팅 장치(200)를 포함할 수 있고, 제1 캘리브레이션부(110)는 프로세서를 포함할 수 있다.

도 2는 본 개시의 일 실시 예에 따른 컴퓨터 장치의 구성을 도시한 것이다. 본 개시의 일 실시 예에 따른 컴퓨터 장치(200)는 프로세서(210), 캘리브레이션 수행부(215), 제1 캘리브레이션부 제어부(220), 제2 캘리브레이션 장치 제어부(230), 캘리브레이션 대상 기기 제어부(235), 디스플레이(240), 메모리(250), 입력/출력 장치 제어부(260) 및 전원공급부(270)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 프로세서(210)는, 캘리브레이션 수행부(215), 제1 캘리브레이션부 제어부(220), 제2 캘리브레이션 장치 제어부(230), 캘리브레이션 대상 기기 제어부(235), 디스플레이(240), 메모리(250), 입력/출력 장치 제어부(260) 및 전원공급부(270)를 각각 제어할 수 있다. 프로세서(210)는, 중앙처리장치, 어플리케이션　프로세서, 또는 커뮤니케이션　프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.　프로세서(120)는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

본 개시의 일 실시 예에 따른 프로세서(210)는 캘리브레이션 수행부(215), 제1 캘리브레이션부 제어부(220), 제2 캘리브레이션 장치 제어부(230) 및 캘리브레이션 대상 기기 제어부(235) 중 적어도 하나를 포함할 수 있다. 즉, 프로세서(210)는 캘리브레이션 수행부(215), 제1 캘리브레이션부 제어부(220), 제2 캘리브레이션 장치 제어부(230) 및 캘리브레이션 대상 기기 제어부(235) 중 적어도 하나의 장치의 동작을 수행할 수 있다.

본 개시의 일 실시 예에 따른 적어도 하나의 프로세서(210)는 제1 캘리브레이션부를 기초로 캘리브레이션 움직임 정보를 생성하고, 제2 캘리브레이션 장치를 기초로 캘리브레이션 이미지 정보를 생성할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 제1 캘리브레이션부(110) 또는 제1 캘리브레이션부 제어부(220)로부터 수신한 타겟(131)의 이미지 정보 및 캘리브레이션 대상 기기의 움직임 정보 중 적어도 하나의 정보를 기초로, 캘리브레이션 이미지 정보 및 캘리브레이션 움직임 정보 중 적어도 하나의 정보를 생성할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 카메라에 상응하는 제1 좌표계와 관성측정유닛에 상응하는 제2 좌표계를, 표준좌표계인 제3 좌표계로 일치시킬 수 있다.

카메라에 상응하는 제1 좌표계란, 카메라를 기준으로 설정된 좌표계를 의미할 수 있다. 본 개시의 일 실시 예로서, 카메라에 포함된 렌즈의 중심을 원점이라고 할 때, 카메라의 정면 광학 축 방향을 Z축, 카메라의 아래 방향을 Y축, 카메라의 오른쪽 방향을 X축으로 하여 좌표계를 설정할 수 있다.

관성측정유닛에 상응하는 제2 좌표계란, 관성측정유닛을 기준으로 설정된 좌표계를 의미할 수 있다. 본 개시의 일 실시 예로서, 관성측정유닛의 중심부를 원점이라고 할 때, 관성측정유닛의 중심부의 정면 방향을 Z축, 관성측정유닛의 중심부의 아래 방향을 Y축, 관성측정유닛의 중심부의 아래 방향을 Z축으로 하여 좌표계를 설정할 수 있다.

표준좌표계인 제3 좌표계란, 서로 다른 제1 좌표계와 제2 좌표계를 통일하여 나타낸 좌표계일 수 있다. 서로 다른 제1 좌표계와 제2 좌표계를 제3 좌표계로 통일함으로써, 본 개시의 일 실시 예에 캘리브레이션 수행부(215)는 따른 이미지 캘리브레이션 동작과 움직임 캘리브레이션 동작을 동시에 수행할 수 있다. 다시 말해, 제1 좌표계에 대한 이미지 캘리브레이션 동작과 제2 좌표계에 대한 움직임 캘리브레이션 동작을 개별적으로 수행하지 않고, 제1 좌표계와 제2 좌표계를 제3 좌표계로 일치시킨 후 제3 좌표계에 대해 이미지 캘리브레이션 동작과 움직임 캘리브레이션 동작을 동시에 수행할 수 있다. 이를 통해, 본 개시의 일 실시 예에 캘리브레이션 수행부(215)는 캘리브레이션 동작을 빠르게 수행할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 계산한, 카메라에 상응하는 제1 좌표계와 관성측정유닛에 상응하는 제2 좌표계를, 표준좌표계인 제3 좌표계로 일치시킬 수 있다.

SLAM(Simultaneous Localization and Mapping) 알고리즘은 위치 측정과 맵핑을 동시에 수행하는 알고리즘을 의미할 수 있다. SLAM 알고리즘은 자기의 위치를 찾는 위치 인식(Localization) 과정과 이미지를 등록하는 지도 작성(Mapping) 과정으로 구성될 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 SLAM 알고리즘을 통해 제1 구간의 카메라의 위치를 계산할 수 있다. 이를 통해, 캘리브레이션 수행부(215)는 캘리브레이션 동작 중의 카메라 움직임의 궤적을 계산할 수 있다. 카메라에 상응하는 제1 좌표계란, 제1 구간의 카메라의 위치에 대한 좌표계를 의미할 수 있다.

또한, 본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 SLAM 알고리즘을 통해 제1 구간의 관성측정유닛의 위치를 계산할 수 있다. 이를 통해, 캘리브레이션 수행부(215)는 캘리브레이션 동작 중의 관성측정유닛의 움직임의 궤적을 계산할 수 있다. 관성측정유닛에 상응하는 제2 좌표계란, 제1 구간의 관성측정유닛의 위치에 대한 좌표계를 의미할 수 있다.

제1 구간이란, 두 시점인 제1 시점 및 제2 시점의 시간 간격을 의미할 수 있다. 제1 시점 및 제2 시점 각각은 캘리브레이션 동작을 수행하는데 필요한 소정의 시점일 수 있다. 예를 들어, 카메라가 타겟(131)을 촬상한 시점이 제1 시점이고, 제1 회전부(113)를 통해 캘리브레이션 대상 기기에 움직임이 발생한 후의 시점이 제2 시점일 수 있다. 다만, 상술한 제1 시점 및 제2 시점은 하나의 예시에 불과하고, 제1 시점 및 제2 시점 각각은 캘리브레이션 동작을 수행하는 시간들 중 지정된 임의의 시점일 수 있다. 제1 시점 및 제2 시점 각각은 사용자가 지정한 시점일 수도 있고, 미리 정해진 시점일 수도 있다.

카메라 움직임의 궤적은, 각 고정된 시점 사이에서의 카메라의 위치와 방위(orientation) 정보를 포함할 수 있다. 캘리브레이션 수행부(215)는 제1 시점 및 제2 시점 각각에 대한 카메라의 방향으로부터, 카메라 좌표계에서 이 기간 동안 발생한 움직임에 대한 정보를 계산할 수 있다. 관성측정유닛의 궤적은, 각 고정된 시점에서의 관성측정유닛의 위치와 방위(orientation) 정보를 포함할 수 있다. 캘리브레이션 수행부(215)는 어느 두 시점에 대한 관성측정유닛의 방향으로부터, 관성측정유닛 좌표계에서 이 기간 동안 발생한 움직임에 대한 정보를 계산할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 카메라 및 관성측정유닛을 캘리브레이션하기 위해, 제1 좌표계 및 제2 좌표계를 최소의 오차로 제3 좌표계로 변환하기 위한 변환 행렬(transformation matrix)을 계산할 수 있다. 변환 행렬이란, 한 좌표계의 좌표를 다른 좌표계의 좌표로 바꾸는 동작인 좌표 변환을 수행하는데 있어 사용되는 소정의 행렬 값일 수 있다.

변환 행렬을 계산하는데 있어서, 비선형 최소 제곱 문제를 풀기 위한 가우스-뉴턴(Gauss-Newton) 방법이 사용될 수 있다. 가우스-뉴턴(Gauss-Newton) 방법이란, 방정식의 해를 근사적으로 찾을 때 사용하는 방법인 뉴턴법(Newton's method)을 연립방정식 형태로 확장시킨 것을 의미할 수 있다.

본 개시의 일 실시 예에 따른 제1 캘리브레이션부 제어부(220)는, 제1 캘리브레이션부(110)에 포함된 캘리브레이션 대상 기기(111), 제1 지지부(112), 제1 회전부(113), 제1 이동부(115) 및 제2 이동부(117)를 각각 제어할 수 있다.

제1 캘리브레이션부 제어부(220)는 캘리브레이션 대상 기기(111)를 제어하여, 캘리브레이션 대상 기기(111)에 포함된 카메라 및 관성측정유닛을 제어할 수 있다. 제1 캘리브레이션부 제어부(220)는 카메라를 제어하여 타겟(131)을 촬상하여 타겟(131)의 이미지 정보를 획득할 수 있다.

제1 캘리브레이션부 제어부(220)는 제1 지지부(112)가 캘리브레이션 대상 기기(111)를 지지하도록 제1 지지부(112)를 제어할 수 있다. 제1 캘리브레이션부 제어부(220)는 캘리브레이션 대상 기기(111)가 움직임 정보를 생성할 수 있도록 제1 회전부(113)를 제어할 수 있다. 제1 캘리브레이션부 제어부(220)는 캘리브레이션 대상 기기(111)를 Z축 방향으로 이동시키기 위해 제1 이동부(115)를 제어할 수 있다. 제1 캘리브레이션부 제어부(220)는 캘리브레이션 대상 기기(111)를 Y축 방향으로 이동시키기 위해 제2 이동부(117)를 제어할 수 있다.

본 개시의 일 실시 예에 따른 제2 캘리브레이션 장치 제어부(230)는, 제2 캘리브레이션부(130)에 포함된 타겟(131), 제2 지지부(132), 제2 회전부(133), 제3 이동부(135), 제4 이동부(137), 제5 이동부(138) 및 제6 이동부(139)를 각각 제어할 수 있다.

제2 캘리브레이션 장치 제어부(230)는, 캘리브레이션 대상 기기(111)가 타겟(131)의 이미지 정보를 획득하기에 적합한 이미지를 타겟(131)에 디스플레이할 수 있다. 다만, 이는 본 개시의 일 실시 예에 불과하고, 상술한 바와 같이 타겟(131)은 사용자가 직접 교체 가능한 플레이트(plate)일 수도 있다.

제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 고정하도록 제2 지지부(132)를 제어할 수 있다. 제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 회전시키도록 제2 회전부(133)를 제어할 수 있다. 제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 Z축 방향으로 이동시키도록 제3 이동부(135)를 제어할 수 있다. 제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 Y축 방향으로 이동시키도록 제4 이동부(137)를 제어할 수 있다. 제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 X축 방향으로 이동시키도록 제5 이동부(138)를 제어할 수 있다. 제2 캘리브레이션 장치 제어부(230)는 타겟(131)을 Y축 방향으로 이동시키도록 제6 이동부(139)를 제어할 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기 제어부(235)는, 제1 캘리브레이션부(110)의 제1 지지부(112)에 지지되어 있는 캘리브레이션 대상 기기(111)를 제어할 수 있다. 본 개시의 일 실시 예에 따르면, 캘리브레이션 대상 기기 제어부(235)는 캘리브레이션 대상 기기(111)를 캘리브레이션 동작 상태로 설정할 수 있다. 캘리브레이션 동작 상태란, 이미지 캘리브레이션 동작 및 움직임 캘리브레이션 동작 중 적어도 하나의 캘리브레이션 동작을 수행하기 위한 캘리브레이션 대상 기기(111)의 하드웨어 및 소프트웨어 중 적어도 하나의 형태의 준비 상태를 의미할 수 있다. 본 개시의 일 실시 예로서, 캘리브레이션 동작 상태는 캘리브레이션 동작을 위한 소프트웨어를 실행한 상태를 의미할 수 있다.

본 개시의 일 실시 예에 따른 디스플레이(240)는 컴퓨터 장치(200)의 상태를 디스플레이하기 위한 일련의 장치들을 포함할 수 있다. 디스플레이(240)는 컴퓨터 장치(200)에 부착된 장치일 수도 있고, 컴퓨터 장치(200) 외부에 존재하는 장치일 수도 있다. 프로세서(210)는 디스플레이(240)를 제어하여, 컴퓨터 장치(200)의 동작 상태를 디스플레이할 수 있다.

본 개시의 일 실시 예에 따른 메모리(250)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(250)는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 본 개시의 일 실시 예에 따르면, 메모리(250)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 본 개시의 일 실시 예에 따르면, 메모리는 캘리브레이션 이미지 정보 및 캘리브레이션 움직임 정보를 저장할 수 있다.

메모리(250)는, 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 또는 물리적으로 연결될 수 있다.

본 개시의 일 실시 예에 따른 입력/출력 장치 제어부(260)는 사용자가 컴퓨터 장치(200)와 상호작용하기 위한 장치들을 포괄하는 장치일 수 있다. 예를 들어, 입력/출력 장치 제어부(260)는 마우스, 키보드 및 모니터 등과 같은 입력/출력 장치를 제어하는 장치일 수 있다. 프로세서(210)는 컴퓨터 장치(200)와 사용자가 상호작용할 수 있도록 입력/출력 장치 제어부(260)를 제어할 수 있다.

본 개시의 일 실시 예에 따른 전원공급부(270)는, 컴퓨터 장치(200)의 동작에 필요한 전력을 공급할 수 있다. 프로세서(210)는 전원공급부(270)가 공급하는 전력을 제어할 수 있다.

다만, 상술한 본 개시의 실시 예에서는 컴퓨터 장치(200)가 제1 캘리브레이션부(110) 및 제2 캘리브레이션부(130)와는 별개의 장치로 존재하는 것을 가정하여 설명하였으나, 본 개시의 다른 실시 예에서는, 컴퓨터 장치(200)가 제1 캘리브레이션부(110) 및 제2 캘리브레이션부(130) 중 적어도 어느 하나의 장치에 포함되어 있을 수 있다. 예를 들어, 제1 캘리브레이션부(110)는 컴퓨터 장치(200)를 포함할 수 있다. 즉, 제1 캘리브레이션부(110)는 컴퓨터 장치(200)에 포함된 프로세서(210)를 포함할 수 있다. 따라서, 제1 캘리브레이션부(110)에 포함된 프로세서(210)가 카메라에 상응하는 제1 좌표계와 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 제3 좌표계에 기초하여, 이미지 정보에 대한 이미지 캘리브레이션 동작 및 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성할 수 있다.

도 3a는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)의 정면도를 도시한 것이다.

본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)는 복수의 카메라(311, 313) 및 단일의 관성측정유닛(315)을 포함할 수 있다. 다만, 카메라 및 관성측정유닛 각각의 개수, 크기 및 위치는 캘리브레이션 대상 기기(111)의 종류에 따라 다양할 수 있다. 예를 들어, 캘리브레이션 대상 기기(111)가 모바일폰 또는 태블릿인 경우, 캘리브레이션 대상 기기(111)는 단일의 카메라 및 단일의 관성측정유닛을 포함할 수 있다. 캘리브레이션 대상 기기(111)가 스마트 워치 또는 네비게이션인 경우, 캘리브레이션 대상 기기(111)는 센서의 크기가 상대적으로 큰 복수의 관성측정유닛을 포함할 수 있다.

도 3a에 도시된 바와 같이, 복수의 카메라(311, 313) 및 단일의 관성측정유닛(315)은 크기와 위치가 서로 상이할 수 있다. 예를 들어, 단일의 관성측정유닛(315)은 복수의 카메라(311, 313)에 비해 크기가 더 클 수 있다. 이는, 단일의 관성측정유닛(315)의 중심부와 복수의 카메라(311, 313)의 중심부에는 차이가 존재한다는 것을 의미할 수 있다.

따라서, 본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해, 카메라에 상응하는 제1 좌표계와 관성측정유닛에 상응하는 제2 좌표계를, 표준좌표계인 제3 좌표계로 일치시킬 수 있다.

본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 제3 좌표계를 기초로 캘리브레이션 동작을 수행하여, 이미지 캘리브레이션 및 움직임 캘리브레이션을 빠르게 수행할 수 있다.

도 3b는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)의 평면도를 도시한 것이다.

도 3b에 도시된 바와 같이, 복수의 카메라(321, 323) 및 단일의 관성측정유닛(325)은 크기와 위치가 서로 상이할 수 있다. 예를 들어, 단일의 관성측정유닛(325)은 복수의 카메라(321, 323)에 비해 평면도 상에서 다소 높은 위치에 존재할 수 있다. 이는, 단일의 관성측정유닛(325)의 중심부가 복수의 카메라(321, 323)의 중심부보다 높은 위치에 존재함을 의미할 수 있다.

도 4는 본 개시의 일 실시 예에 따른 타겟(131)의 예시들을 도시한 것이다.

본 개시의 일 실시 예에 따른 타겟(131)은 일정한 패턴이 반복되는 이미지 또는 카메라의 왜곡 상태를 측정하기에 용이한 이미지일 수 있다.

예를 들어, 도 4에 도시된 바와 같이, 제1 패턴(401)은 소정 크기의 원 모양이 일정한 간격을 통해 규칙적으로 배치된 것을 도시한 것이고, 제2 패턴(403)은 작은 크기의 원 모양이 비규칙적으로 배치된 것을 도시한 것이고, 제3 패턴(405)은 특정한 도형이 없이 흰색과 검정색의 형태가 비규칙적으로 뒤섞인 것을 도시한 것이다.

캘리브레이션 대상 기기(111)의 이미지 캘리브레이션 동작을 위해 제1 패턴(401), 제2 패턴(403) 및 제3 패턴(405)은 각각 단독으로 사용될 수도 있고, 혼합되어 사용될 수도 있다.

도 5a는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)를 회전시키는 방법의 일 실시 예를 도시한 것이다.

본 개시의 일 실시 예에 따르면, 캘리브레이션 대상 기기(111)는 가속도 센서 및 자이로스코프 센서 중 적어도 하나의 센서를 기초로, 캘리브레이션 대상 기기의 움직임 정보를 획득하는 적어도 하나의 관성측정유닛(Inertial Measurement Unit, IMU)를 포함할 수 있다.

본 개시의 일 실시 예에 따른 제1 회전부(113)는, 캘리브레이션 대상 기기(111)가 움직임 정보를 생성할 수 있도록, 이동 및 회전하는 동작을 수행할 수 있다. 본 개시의 일 실시 예에 따르면, 제1 회전부(113)는 미리 정해진 각도로 캘리브레이션 대상 기기(111)를 반복적으로 움직일 수 있다. 도 5a에 도시된 바와 같이, 제1 회전부(113)는 180도 방향으로 회전하며 캘리브레이션 대상 기기(111)를 움직일 수 있다. 제1 회전부(113)는 회전 횟수 1(501) 내지 회전 횟수 6(506)까지 캘리브레이션 대상 기기(111)를 180도 방향으로 6번 회전시킬 수 있다.

본 개시의 일 실시 예에 따른 제1 회전부(113)는 가속도 센서 및 자이로스코프 센서 등이 속도, 방위, 기울기 및 자기장 등에 대한 정보를 측정할 수 있도록 캘리브레이션 대상 기기(111)를 움직일 수 있다.

도 5b는 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기(111)를 회전시키는 방법의 또 다른 일 실시 예를 도시한 것이다.

본 개시의 일 실시 예에 따르면, 제1 회전부(113)는 미리 정해진 각도로 캘리브레이션 대상 기기(111)를 반복적으로 움직일 수 있다. 도 5b에 도시된 바와 같이, 제1 회전부(113)는 90도 또는 180도 방향으로 캘리브레이션 대상 기기(111)를 움직일 수 있다.

도 6은 본 개시의 일 실시 예에 따른 캘리브레이션 동작의 결과를 도시한 것이다.

캘리브레이션 적용 전(601)의 경우, 캘리브레이션 대상 기기(111)가 촬상한 타겟(131)의 이미지는 다소 왜곡되어 있다. 구체적으로, 타겟(131)은 실제로는 평평한 형태를 가지고 있는 것에 비해, 타겟(131)의 왜곡된 이미지는 상단부가 휘어진 상태이다.

본 개시의 일 실시 예에 따라 캘리브레이션 대상 기기(111)에 캘리브레이션 캘리브레이션이 적용된 후(603)에는, 캘리브레이션 대상 기기(111)가 촬상한 타겟(131)의 이미지는 실제의 타겟(131)의 형태와 유사한 이미지를 가질 수 있다.

도 7은 본 개시의 일 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.

단계 S701에서, 본 개시의 일 실시 예에 따른 카메라는 타겟(131)을 촬상하여 타겟(131)의 이미지 정보를 획득할 수 있다.

단계 S703에서, 본 개시의 일 실시 예에 따른 프로세서(210)는, 측정부를 통해 캘리브레이션 대상 기기(111)의 가속도와 캘리브레이션 대상 기기(111)의 회전 방향을 측정하여, 캘리브레이션 대상 기기(111)의 움직임 정보를 획득할 수 있다.

단계 S705에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 카메라에 상응하는 제1 좌표계와 측정부에 상응하는 제2 좌표계를 제3 좌표계로 일치시킬 수 있다.

단계 S707에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 제3 좌표계에 기초하여, 이미지 캘리브레이션 동작 및 움직임 캘리브레이션 동작을 동시에 수행할 수 있다.

단계 S709에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성할 수 있다.

도 8은 본 개시의 일 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.

단계 S801에서, 본 개시의 일 실시 예에 따른 카메라는 타겟(131)을 촬상하여 타겟(131)의 이미지 정보를 획득할 수 있다.

단계 S803에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 제1 캘리브레이션부(110)를 통해 캘리브레이션 대상 기기(111)를 회전 또는 이동시킬 수 있다.

단계 S805에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 측정부를 통해 캘리브레이션 대상 기기(111)의 가속도와 캘리브레이션 대상 기기(111)의 회전 방향을 측정하여, 캘리브레이션 대상 기기(111)의 움직임 정보를 획득할 수 있다.

단계 S809에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 카메라에 상응하는 제1 좌표계와 측정부에 상응하는 제2 좌표계를 제3 좌표계로 일치시킬 수 있다.

단계 S811에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 제3 좌표계에 기초하여, 이미지 캘리브레이션 동작 및 움직임 캘리브레이션 동작을 동시에 수행할 수 있다.

단계 S813에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성할 수 있다.

단계 S815에서, 본 개시의 일 실시 예에 따른 프로세서(210)는 캘리브레이션 이미지 정보 및 캘리브레이션 움직임 정보를 메모리(250)에 저장할 수 있다.

도 9는 본 개시의 또 다른 실시 예에 따른 캘리브레이션 동작 방법을 나타낸 순서도이다.

단계 S901에서, 본 개시의 일 실시 예에 따른 사용자는 캘리브레이션 대상 기기(111)를 제1 캘리브레이션부(110)에 장착할 수 있다. 구체적으로, 본 개시의 일 실시 예에 따른 제1 지지부(112)는 캘리브레이션 대상 기기(111)를 지지하여, 캘리브레이션 장치(100) 내에 위치시킬 수 있다. 따라서, 사용자는 캘리브레이션 대상 기기(111)를 1 지지부(112)를 통해 제1 캘리브레이션부(110)에 장착할 수 있다.

단계 S903에서, 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기 제어부(235)는 캘리브레이션 대상 기기(111)를 캘리브레이션 동작 상태로 설정할 수 있다. 캘리브레이션 동작 상태란, 이미지 캘리브레이션 동작 및 움직임 캘리브레이션 동작 중 적어도 하나의 캘리브레이션 동작을 수행하기 위한 캘리브레이션 대상 기기(111)의 하드웨어/소프트웨어적 준비 상태를 의미할 수 있다. 본 개시의 일 실시 예로서, 캘리브레이션 동작 상태는 캘리브레이션 동작을 위한 소프트웨어를 실행한 상태를 의미할 수 있다.

단계 S905에서, 본 개시의 일 실시 예에 따른 제1 캘리브레이션부 제어부(220)는 캘리브레이션 대상 기기(111)를 회전시켜 움직임 정보를 생성할 수 있다. 본 개시의 일 실시 예에 따른 제1 회전부(113)는, 캘리브레이션 대상 기기(111)가 움직임 정보를 생성할 수 있도록, 이동 및 회전하는 동작을 수행할 수 있다.

단계 S907에서, 본 개시의 일 실시 예에 따른 캘리브레이션 대상 기기 제어부(235)는 캘리브레이션 대상 기기(111)가 타겟(131)을 촬상하도록 캘리브레이션 대상 기기(111)를 제어할 수 있다.

단계 S909에서, 본 개시의 일 실시 예에 따른 캘리브레이션 수행부(215)는 제1 캘리브레이션부로부터 수신한 움직임 정보 및 이미지 정보 중 적어도 하나를 기초로, 캘리브레이션 대상 기기(111)에 대해 캘리브레이션 동작을 수행할 수 있다.

한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

본 개시에서 개시된 블록도들은 본 개시의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.

본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.

본 명세서에서 본 개시의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 개시의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.

본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.

이제까지 본 개시에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 개시의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 개시의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 개시가 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 개시에 포함된 것으로 해석되어야 할 것이다.

Claims

타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 적어도 하나의 카메라 및 캘리브레이션 대상 기기(calibration target device)의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향에 기초하여 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 적어도 하나의 측정부를 포함하는 상기 캘리브레이션 대상 기기를 회전 또는 이동시킬 수 있는 제1 캘리브레이션부; 및
상기 카메라에 상응하는 제1 좌표계와 상기 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는,
캘리브레이션 장치.
제1항에 있어서,
상기 제1 좌표계와 상기 제2 좌표계를 상기 제3 좌표계로 일치시키는 것은,
SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 계산한, 제1 구간의 상기 카메라의 위치에 대한 제1 좌표계와 상기 제1 구간의 상기 측정부의 위치에 대한 제2 좌표계에 대해 좌표 변환을 수행하여, 상기 제1 좌표계 및 상기 제2 좌표계를 상기 제3 좌표계로 일치시키는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 측정부는
상기 제1 캘리브레이션부의 회전 또는 이동 동작에 상응하여, 상기 움직임 정보를 획득하는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 제1 캘리브레이션부는
상기 제1 캘리브레이션부를 X축, Y축 및 Z축 중 적어도 하나의 방향으로 가변시킬 수 있는 이동부를 포함하는 것을 특징으로 하는
캘리브레이션 장치.
제4항에 있어서,
상기 이동부는
상기 제1 캘리브레이션부를 Z축 방향으로 가변시킬 수 있는 제1 이동부 및 X축과 Y축 중 적어도 하나의 방향으로 가변시킬 수 있는 제2 이동부를 포함하는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 타겟을 포함하는 제2 캘리브레이션부를 더 포함하고,
상기 제2 캘리브레이션부는 X축, Y축 및 Z축 중 적어도 하나의 방향으로 가변되는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 타겟은
반복되는 패턴의 이미지를 갖는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 캘리브레이션 이미지 정보 및 상기 캘리브레이션 움직임 정보를 저장하는 메모리를 더 포함하는 것을 특징으로 하는
캘리브레이션 장치.
제1항에 있어서,
상기 제1 캘리브레이션부는 복수의 캘리브레이션 대상 기기들을 회전 또는 이동시킬 수 있고,
상기 캘리브레이션 이미지 정보와 상기 캘리브레이션 움직임 정보를 생성하는 동작은
상기 복수의 캘리브레이션 대상 기기들에 대해 동시에 상기 캘리브레이션 이미지 정보와 상기 캘리브레이션 움직임 정보를 생성하는 동작인 것을 특징으로 하는
캘리브레이션 장치.
타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 단계;
캘리브레이션 대상 기기의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향을 측정하여, 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 단계; 및
상기 타겟을 촬상하는 카메라에 상응하는 제1 좌표계와 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 단계를 포함하는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
상기 제1 좌표계와 상기 제2 좌표계를 상기 제3 좌표계로 일치시키는 것은,
SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 계산한, 제1 구간의 상기 카메라의 위치에 대한 제1 좌표계와 상기 제1 구간의 상기 측정부의 위치에 대한 제2 좌표계에 대해 좌표 변환을 수행하여, 상기 제1 좌표계 및 상기 제2 좌표계를 상기 제3 좌표계로 일치시키는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
제1 캘리브레이션부를 통해 상기 캘리브레이션 대상 기기를 회전 또는 이동시키는 단계를 더 포함하고,
상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 단계는,
상기 제1 캘리브레이션부의 회전 또는 이동 동작에 상응하여, 상기 측정부가 상기 움직임 정보를 획득하는 것을 특징으로 하는
캘리브레이션 방법.
제12항에 있어서,
상기 제1 캘리브레이션부를 X축, Y축 및 Z축 중 적어도 하나의 방향으로 가변시키는 단계를 더 포함하는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
상기 타겟은 X축, Y축 및 Z축 중 적어도 하나의 방향으로 가변되는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
상기 타겟은
반복되는 패턴의 이미지를 가지는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
상기 캘리브레이션 이미지 정보 및 상기 캘리브레이션 움직임 정보를 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는
캘리브레이션 방법.
제10항에 있어서,
상기 캘리브레이션 이미지 정보와 상기 캘리브레이션 움직임 정보를 생성하는 단계는
복수의 캘리브레이션 대상 기기들에 대해 동시에 상기 캘리브레이션 이미지 정보와 상기 캘리브레이션 움직임 정보를 생성하는 동작인 것을 특징으로 하는
캘리브레이션 방법.
타겟을 촬상하여 상기 타겟의 이미지 정보를 획득하는 동작;
캘리브레이션 대상 기기의 가속도와 상기 캘리브레이션 대상 기기의 회전 방향을 측정하여, 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 동작; 및
상기 타겟을 촬상하는 카메라에 상응하는 제1 좌표계와 상기 캘리브레이션 대상 기기의 움직임 정보를 획득하는 측정부에 상응하는 제2 좌표계를, 제3 좌표계로 일치시키고, 상기 제3 좌표계에 기초하여, 상기 이미지 정보에 대한 이미지 캘리브레이션 동작 및 상기 움직임 정보에 대한 움직임 캘리브레이션 동작을 동시에 수행하여, 상기 이미지 정보를 캘리브레이션한 결과인 캘리브레이션 이미지 정보와 상기 움직임 정보를 캘리브레이션한 결과인 캘리브레이션 움직임 정보를 생성하는 동작을 수행하는
프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품.