KR102546346B1 - 전방위 카메라의 캘리브레이션을 위한 장치 및 방법 - Google Patents

Abstract

전방위 카메라의 캘리브레이션을 위한 장치 및 방법이 제공된다. 본 개시의 전방위 카메라 캘리브레이션 방법은 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및 획득된 영상을 이용하여 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 포함한다.

Description

전방위 카메라의 캘리브레이션을 위한 장치 및 방법{APPARATUS AND METHOD FOR OMNI-DIRECTIONAL CAMERA CALIBRATION}

본 개시는 전방위 카메라의 캘리브레이션을 위한 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 캘리브레이션을 수행하는 장치 및 방법에 관한 것이다.

최근 가상현실(virtual reality, VR) 산업이 증대됨에 따라, 360도 전방위 카메라 관련 기술이 대두되고 있다. 전방위 카메라 장치에 관한 하드웨어 기술뿐만 아니라, 광각 렌즈 사용으로 인한 왜곡 보정 및 촬영된 이미지 합성에 관한 영상처리 기술에 대한 필요성도 증가하고 있다. 특히, 영상 처리 기술의 정확도 향상을 위해, 360도 전방위 촬영을 위한 다수의 카메라에 대한 특성 차이를 계측하는 내부 캘리브레이션(calibration) 방법 및 상대적인 3차원 위치 차이를 계측하는 외부 캘리브레이션 방법이 필수적이다.

단일 카메라 캘리브레이션과 달리 다중 카메라 캘리브레이션에서는 2대 이상의 다수의 카메라가 서로의 좌표공간을 공유할 수 있어야 한다. 따라서 종래의 기술들은 동일 시간에 찍힌 서로 다른 카메라간의 영상에 공유되는 물체를 이용하여 카메라 좌표계 간의 관계를 유추할 수 있다

도 1은 본 개시의 일 실시 예에 따른 스테레오 카메라간의 영상 좌표계를 설명하기 위한 도면이다. 도 1을 참조하면, 특정 월드 좌표계의 한 점을 X, 해당 점에 대한 두 카메라의 영상 평면에 투사된 점을 각각 x, x’라고 할 때, 이들 간의 관계를 나타내는 행렬인 기초행렬(fundamental matrix) F를 이용하면, x’F x = 0의 관계로 표현될 수 있다. 즉, 동일한 물체를 공유하는 카메라간의 캘리브레이션은 에피폴라(epipolar) 기하학을 이용하여 두 영상 좌표간의 관계를 유추할 수 있다. 한편, 기초행렬 F는 스케일의 모호성과 행렬식이 0이 되어야 한다는 제약조건으로 인해, 7자유도를 갖는 행렬로서 최소 8쌍을 갖는 매핑관계가 필요하다. 그러나, 전방위 입체 영상을 촬영하기 위한 polydioptric 카메라 구조 등의 경우에는, 시야각이 제한되고 또한 서로 반대 방향을 촬영하는 카메라 쌍이 존재하기 때문에 외부 캘리브레이션 시 카메라간 패턴이 동시간에 공유되지 않아 3차원 좌표 정보 획득에 한계가 발생할 수 있다.

이를 극복하기 위해 기존의 방법을 응용한 방법들이 제안되었는데, 단일 평면 체스보드(chess board) 패턴과 회전 모듈이 결합된 캘리브레이션 방법의 경우, 체스보드가 전방위 카메라를 구성하는 단일 카메라 영상 내에 모두 잡혀야 하기 때문에 카메라와 패턴 사이의 거리가 충분히 확보되어야 하는 문제가 있으며, 회전 모듈의 회전 평면이 지면과 정확하게 평행해야 한다는 가정이 요구되는데, 실질적으로 이러한 가정을 만족시키기는 매우 어렵다. 또한, 거울과 반사되는 상을 이용한 방법의 경우에도 체스보드가 전방위 카메라를 구성하는 단일 카메라 영상 내에 모두 잡혀야 하기 때문에 거울의 크기와 카메라와의 거리가 보장되어야 하고, 거울이 정확하게 마주 보아야 하고, 각도 계산이 복잡하다는 문제가 있다. 또한, 전방위 카메라를 구성하는 카메라 수가 증가할수록 각각의 카메라에 패턴 정보를 제공해주기 어렵다는 문제가 있다. 따라서, 전방위 카메라 시스템에 있어 보다 정확도가 향상된 캘리브레이션 결과를 제공할 수 있는 방법에 대한 연구가 요구된다.

본 개시의 기술적 과제는, 전방위 카메라의 캘리브레이션을 위한 장치 및 방법을 제공하는 것이다.

본 개시의 다른 기술적 과제는, 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 내부/외부 캘리브레이션을 위한 장치 및 방법을 제공하는 것이다.

본 개시의 다른 기술적 과제는, 전방위 카메라의 캘리브레이션을 수행하기 위한 소정의 패턴을 포함하는 구조물을 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및 상기 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 포함하는 전방위 카메라 캘리브레이션 방법이 제공될 수 있다.

본 개시의 다른 양상에 따르면, 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 입력부; 저장부; 및 상기 입력부에 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 제어부를 포함하는, 전방위 카메라 캘리브레이션 장치가 제공될 수 있다.

본 개시의 다른 양상에 따르면, 전방위 카메라의 캘리브레이션을 수행하기 위한 구조물로서, 상기 구조물은 다면체 형태이고, 각 면은 소정의 패턴을 포함하고, 상기 소정의 패턴은 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고, 상기 소정의 마커는 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 구조물이 제공될 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 전방위 카메라의 캘리브레이션을 위한 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 내부/외부 캘리브레이션을 위한 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 전방위 카메라의 캘리브레이션을 수행하기 위한 소정의 패턴을 포함하는 구조물이 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 스테레오 카메라간의 영상 좌표계를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전방위 카메라의 캘리브레이션에 이용되는 다면체 형태의 구조물을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 시스템의 동작방법을 설명하기 위한 도면이다.도 4는 본 개시의 일 실시 예에 따른 ID가 i인 마커의 각 코너점을 설명하기 위한 도면이다.
도 5는 도 4의 전방위 카메라 캘리브레이션 장치의 동작방법을 코드로 나타낸 일 실시 예이다.
도 6은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 수행을 위한 배치형태를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 영상 스티칭시 전방위 카메라 캘리브레이션 방법이 적용된 결과를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 2는 본 개시의 일 실시 예에 따른 전방위 카메라의 캘리브레이션에 이용되는 다면체 형태의 구조물을 설명하기 위한 도면이다.

본 개시의 전방위 카메라 켈리브레이션 시스템은 복수의 단일 카메라(또는 개별 카메라)로 구성된 전방위 카메라(또는 카메라 리그(rig))를 포함할 수 있다.

본 개시의 전방위 카메라 캘리브레이션 시스템은 전방위 카메라의 내부 또는 외부 캘리브레이션을 수행하기 위한 다면체 형태의 구조물을 제공할 수 있다. 상기 구조물은 소정의 패턴을 포함할 수 있다. 예컨대, 본 개시의 패턴은 체스보드 패턴을 포함할 수 있으며, 또한 소정의 마커(marker)와 체스보드 패턴이 결합된 형태일 수 있다. 따라서, 상기 구조물은 소정의 마커와 체스보드 패턴이 결합된 패턴을 n(n은 1 이상의 정수)개의 평면상에 위치시킨 n면체 형태일 수 있다. 구체적으로, 본 개시의 구조물은 n면체 내부에 패턴을 위치시킴으로써 해당 패턴 면의 3차원 좌표 정보를 제공하는 것을 특징으로 할 수 있다. 한편, 본 개시의 패턴은 기존 체스보드에 소정의 마커가 결합된 형태일 수 있다. 상기 패턴은 Charuco 보드일 수 있다.

상기 마커는 체스보드 패턴의 일 영역에 표시될 수 있으며, 규칙적인 형태로 체스보드 패턴 상에 표시될 수 있다. 또한, 상기 마커는 Aruco 마커, QR 코드, April tag 등일 수 있으나, 이에 제한되지 않으며 소정의 정보를 제공할 수 있는 특정 패턴일 수 있다. 또한, 상기 마커는 3차원 좌표 정보를 포함할 수 있다. 예컨대, 상기 마커는 ID 정보를 제공함으로써 체스보드 패턴의 코너점(corner point) 좌표(또는, 모서리 좌표, 교차점 좌표 등)를 부여할 수 있다. 따라서, 코너점 좌표에 실제 3차원 좌표 정보를 부여할 수 있기 때문에, 추가적인 구조 없이 전방위 카메라를 구성하는 각 카메라의 내부 캘리브레이션을 수행할 수 있으며, 또한 상기 수행 결과에 기초하여 각 카메라간의 상대적 3차원 위치 정보를 계측하는 외부 캘리브레이션을 수행할 수 있다. 한편, 상기 마커는 체스보드 패턴의 코너점 좌표에 제한되지 않으며, 구조물 상의 소정의 위치에 대한 좌표를 제공할 수 있다.

도 2를 참조하면, 전방위 카메라의 캘리브레이션에 이용되는 직육면체 형태의 구조물(210)이 도시되어 있다. 도 2의 구조물(210)의 경우 전방위 카메라를 구조물(210) 내부에 위치시키기거나 통과시키기 위해 직육면체의 마주보는 두 면이 막혀있지 않으나, 이에 제한되지 않으며, 전방위 카메라를 구성하는 각 카메라가 구조물 내부에 표시되어 있는 소정의 패턴 영상을 획득할 수 있는 임의의 구조를 포함할 수 있다. 예컨대, 구조물(210)은 전면이 모두 막혀있을 수 있고, 한 면만 막혀있지 않을 수 있고 또는 전방위 카메라가 통과될 수 있을 정도의 영역만 일부 뚫려있을 수 있다. 구조물(210)의 각 일 면은 소정의 패턴을 포함할 수 있다. 각 일 면에 표시되는 패턴(220)은 체스보드 패턴과 소정의 마커(212)가 결합된 형태로서, 각 마커(212)마다 특정 ID가 부여될 수 있다. 도 2를 참조하면, 왼쪽 상단부터 오른쪽 하단 방향으로 순서대로 ID가 마커(212)에 부여된 것을 확인할 수 있으나, 각 마커(212)마다 서로 구별되는 특정 정보를 포함할 수 있으면 ID 부여 순서는 제한되지 않는다. 예컨대, 각 마커(212)는 체스보드 패턴의 코너점 좌표를 포함할 수 있다. 도 2를 참조하면, ID가 1인 마커(214) 또는 ID가 5인 마커(216)는 각각 해당 마커의 일 코너점(218)의 좌표 정보를 포함할 수 있다. 도 2의 구조물(210)을 어느 한 면에서 바라보면, 구조물(210)을 구성하는 각각의 면이 상기 패턴(220)을 표시하고 있음을 확인할 수 있다(230).

도 3은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 시스템의 동작방법을 설명하기 위한 도면이다. 본 개시의 전방위 카메라 캘리브레이션 장치는 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하고, 획득된 영상을 이용하여 단일 카메라에 대한 캘리브레이션을 수행할 수 있다. 예컨대, 본 개시의 전방위 카메라 캘리브레이션 장치는 획득된 영상을 이용하여 단일 카메라의 내부 파라미터를 결정하는 제1 캘리브레이션을 수행하고, 획득된 영상 및 내부 파라미터를 이용하여 단일 카메라의 외부 파라미터를 결정하는 제2 캘리브레이션을 수행할 수 있다. 도 3의 단일 카메라 캘리브레이션(single camera calibration, S310) 및 360도 전방위 카메라 캘리브레이션(polydioptric camera calibration, S320)은 각각 제1 캘리브레이션 및 제2 캘리브레이션의 실시예이다. 또한, 본 개시의 전방위 카메라 캘리브레이션 장치는 획득된 카메라의 내부 파라미터 및 외부 파라미터 정보를 이용하여 카메라의 자세 정보를 추정할 수 있다.

도 3을 참조하면, 단계 S310에서 360도 전방위 카메라 구조를 구성하는 단일 카메라의 내부 파라미터를 추정할 수 있다. 또한, 단계 S320에서 카메라 캘리브레이션 구조와 내부 파라미터를 이용하여 카메라의 자세를 추정할 수 있다. 또한 단계 S330에서 추정된 카메라 파라미터를 기반으로 왜곡된 영상을 보정하고 3차원 공간상에서 카메라 구조의 자세를 시각화할 수 있다.

단계 S310에서 단일 카메라의 내부 파라미터를 추정하기 위해, 특정 마커가 보유한 물리적 위치 정보를 활용하여, 소정의 패턴의 각 코너점에 정규 영상 좌표계에서의 좌표를 부여할 수 있다. 예컨대, 소정의 패턴은 체스보드 패턴일 수 있다. 카메라 리그(312)는 도 2에서 살펴보았던 구조물(314)의 주변에 위치할 수 있다. 예컨대, 구조물(314)이 카메라 리그(312)를 구성하는 각 카메라를 둘러쌓을 수 있도록 카메라 리그(312)를 위치시킬 수 있다. 상기와 같이 카메라 리그(312)를 위치시킴으로써 카메라 리그(312)를 구성하는 각 개별 카메라는 상기 구조물(314)에 포함된 소정의 패턴 영상을 획득할 수 있게 된다. 또한, 예컨대, 카메라 리그(312)를 삼각대를 중심으로 회전시킴으로써(316) 각 개별 카메라는 구조물(314)에 포함된 소정의 패턴 영상을 획득할 수 있게 된다. 내부 파라미터를 추정하는데 보다 정확성을 높이기 위해 각 개별 카메라마다 적어도 하나 이상의 영상을 획득할 수 있다. 전방위 카메라 캘리브레이션 장치는 획득된 영상으로부터 특징점을 검출할 수 있다. 예컨대, 특징점은 각 패턴의 코너점, 모서리 또는 교차점이 될 수 있다. 전방위 카메라 캘리브레이션 장치는 각 패턴의 코너점, 모서리 또는 교차점이 위치한 픽셀을 이용하여 카메라 내부 파라미터를 추정할 수 있다. 예컨대, 캘리브레이션을 하고자 하는 카메라를 CAMi라 하고, CAMi에서 획득된 영상이 총 N개라고, 각 영상을 Ij, j=1,…, N이라고 하면, Ij에 포함된 특정 마커에 대한 검출 과정을 진행할 수 있다. 도 4는 본 개시의 일 실시 예에 따른 ID가 i인 마커의 각 코너점을 설명하기 위한 도면으로서, 예컨대, ID가 i인 마커는 4개의 코너점, 즉 제1 코너점(420), 제2 코너점(422), 제3 코너점(424) 및 제4 코너점(426)에 대한 좌표 정보를 포함할 수 있다. 코너점 Pm의 영상좌표를 (x,y), 정규영상좌표를 (x',y')라고 하면, 핀홀카메라 모델과 렌즈 왜곡 모델을 이용하여 두 좌표간의 관계를 수학식 1과 같이 나타낼 수 있다. 여기서, 영상좌표는 획득된 영상에 표시된 픽셀 좌표를 의미할 수 있고, 또한, 정규영상좌표는 ID가 i인 마커를 포함하고 있는 실제 물리 세계의 좌표를 의미할 수 있다.

수학식 1에서, fx, fy, cx, cy 및 skew_cfx는 카메라의 내부 파라미터이다. 구체적으로, fx 및 fy는 초점거리로서 렌즈 중심과 이미지센서(CCD, CMOS 등)와의 거리를 의미하고, cx 및 cy는 주점으로서 카메라 렌즈의 중심에서 이미지센서에 내린 수선의 발의 영상좌표를 의미하고, 또한 skew_cfx는 비대칭계수로서 이미지센서의 y축이 기울어진 정도를 의미할 수 있다. 한편, 최근 사용되는 카메라들은 skew 에러가 없기 때문에 계산 과정에서 고려하지 않을 수 있다.

영상 Ij에서 총 M개의 코너점이 검출되고, 각각의 코너점 Pm(m=1,…,M)의 영상좌표와 정규영상좌표를 각각 (xm,ym)과 (xm',ym')라 하면, 두 좌표간의 관계는 수학식 1과 같이 나타낼 수 있다. 또한, 총 M개의 코너점에 대해 총 M개 쌍의 영상좌표와 정규영상좌표간의 관계식들을 획득될 수 있으며, 획득된 관계식들을 이용하여 각 개별 카메라의 내부 파라미터의 값을 추정할 수 있다. 예컨대, 획득된 관계식에서 발생되는 오차를 최소화할 수 있는 값을 해당 카메라의 내부 파라미터의 값으로 설정할 수 있다. 한편, 상기 과정은 카메라 리그(312)를 구성하는 각 개별 카메라에 대해서 수행될 수 있다.

단계 S320에서 전방위 카메라 캘리브레이션을 위해, 즉 단일 카메라의 외부 파라미터를 추정하기 위해 카메라 리그(322)를 구성하는 각 개별 카메라는 도 2에서 살펴보았던 구조물(328)에 포함된 소정의 패턴 영상을 획득할 수 있다. 패턴 영상은 카메라 리그(322)와 구조물을 원하는 위치로 고정시키고 각 개별 카메라 별로 소정의 패턴 영상을 획득할 수 있다. 또한, 단계 S310에서 내부 파라미터를 추정하기 위해 획득된 영상을 이용할 수 있다. 전방위 카메라 캘리브레이션 장치는 획득된 영상으로부터 소정의 패턴을 검출하고, 검출된 패턴으로부터 특징점을 이용하여 외부 파라미터를 추정할 수 있다. 예컨대, 특징점은 각 패턴의 코너점, 모서리 또는 교차점이 될 수 있다. 전방위 카메라 캘리브레이션 장치는 코너점의 픽셀 정보와 미리 부여한 구조물에서의 3차 좌표간의 매핑 관계를 찾는 과정을 수행한다. 예컨대, 제1 카메라(324), 제2 카메라(325) 및 제3 카메라(326)는 각각의 ID를 인식할 수 있고, ID를 인식한 해당 면의 축(axis)을 기준으로 외부 파라미터를 추정할 수 있다. 구체적으로, 카메라 CAMi에 대해 ID가 j인 마커의 코너점 영상좌표를 (x,y), 이와 관련된 실제 물리세계의 3차원 좌표를 (X,Y,Z)라고 하면, 이들 간의 관계는 수학식 2와 같이 나타낼 수 있다.

수학식 2에서, Ri는 회전(rotation) 정보, ti는 전이(transition) 정보를 의미할 수 있다. 전방위 카메라 캘리브레이션 장치는 카메라 내부 파라미터의 값을 수학식 1에서 추정된 값으로 고정시키고, 외부 파라미터 Ri, ti의 값을 추정할 수 있다. 예컨대, 수학식 2를 이용하여 영상 내 좌표와 3D 좌표 쌍들을 매핑시키는 최적해 Ri, ti를 찾을 수 있다. 이러한 과정에 의해 각 카메라에 대한 회전 정보 또는 위치 정보를 추정할 수 있다.

단계 S330에서 단계 S310 및 S320에서 각각 획득된 카메라의 내부 파라미터 및 외부 파라미터 정보를 이용하여 카메라의 자세 정보를 추정할 수 있다. 예컨대, 임의의 특정 패턴의 3차원 좌표를 원점으로 정의하고, 상기 원점을 기준으로 각 개별 카메라의 외부 파라미터를 이용함으로써 카메라의 자세정보를 추정할 수 있다. 또한, 전방위 카메라 캘리브레이션 장치는 카메라의 자세 정보를 3차원으로 도시화 할 수 있다. 따라서, 사용자는 손쉽게 다수의 카메라의 캘리브레이션이 성공적이었는지 확인할 수 있다.

한편, 도 5는 도 4의 전방위 카메라 캘리브레이션 장치의 동작방법을 코드로 나타낸 일 실시 예이다. 도 5를 참조하면, 전방위 카메라 캘리브레이션 장치는 카메라 리그를 구성하는 각 개별 카메라의 내부 파라미터를 추정하고, 추정된 내부 파라미터를 이용함으로써 각 개별 카메라의 외부 파라미터를 획득할 수 있다. 또한, 전방위 카메라 캘리브레이션 장치는 획득된 내부 파라미터 및 외부 파라미터를 이용하여 각 개별 카메라 또는 카메라 리그의 3차원 위치공간에서의 자세 정보를 획득할 수 있다.

도 6은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 수행을 위한 배치형태를 설명하기 위한 도면이다.

본 개시의 전방위 카메라 캘리브레이션 방법은 카메라 리그의 종류에 관계 없이 각 개별 카메라에 대해 독립적으로 캘리브레이션을 수행할 수 있다. 따라서, 카메라 리그 정보가 없어도 캘리브레이션을 수행할 수 있다. 예컨대, 도 6을 참조하면, 360RIZE를 이용한 캘리브레이션(610) 및 2 fish-eye RICOH THETA를 이용한 캘리브레이션(620) 모두 각 카메라 리그를 구성하는 개별 카메라에 대해 독립적으로 캘리브레이션을 수행할 수 있다.

도 7은 본 개시의 일 실시 예에 따른 영상 스티칭시 전방위 카메라 캘리브레이션 방법이 적용된 결과를 설명하기 위한 도면이다.

본 개시의 전방위 카메라 캘리브레이션 장치는 영상 획득시의 다중 카메라들에 대한 자세 위치정보를 추론할 수 있으므로, 이에 기초하여 3차원 영상 재구축, 깊이 정보 복원, 영상 스티칭 등의 영상 처리 과정에 보다 신뢰성 높은 카메라 파라미터 정보를 전달할 수 있다.

도 7을 참조하면, 본 개시의 방법을 이용하여 스티칭을 수행한 제2 영상(720)이 단순히 카메라 정보에 기초하여 스티칭을 수행한 제1 영상(710)에 비해 계단과 그림자가 보다 자연스럽게 표현됨을 알 수 있다. 또한, 본 개시의 방법을 이용하여 스티칭을 수행한 제4 영상(740)이 단순히 카메라 정보에 기초하여 스티칭을 수행한 제3 영상(730)에 비해 건물이 끊어지지 않고 보다 잘 자연스럽게 표현됨을 알 수 있다

본 개시에 따른 전방위 카메라 캘리브레이션 방법은 특정 패턴을 가지는 기구의 일부만이라도 카메라 영상 내에 들어오는 경우, 기구의 물리적 특성을 이용하여 해당 패턴의 물리적 위치를 손쉽게 알아낼 수 있도록 함으로써 360도 전방위 카메라 구조에서 카메라 간의 좌표계 관계를 유추할 수 있다.

본 개시에 따른 전방위 카메라 캘리브레이션 방법은 기존의 캘리브레이션 방법에 비해 보다 정확도가 향상된 캘리브레이션 결과를 제공하고 또한 보다 단순한 절차를 통해 캘리브레이션을 수행하는 방법을 제공할 수 있다.

또한, 본 개시에 따른 전방위 카메라 캘리브레이션 방법은 전방위 영상 처리 기술의 정확도 향상을 위해 단일 기구물과 특정 패턴을 이용하여, 해당 기구의 일부만 카메라 영상에 포함되면 영상 내의 단일 마커만으로 검출이 가능하며 기구의 패턴 특성으로 해당 패턴의 물리적 위치를 손쉽게 알아낼 수 있다.

또한, 본 개시에 따른 전방위 카메라 캘리브레이션 방법은 전방위 카메라를 구성하는 다수의 카메라 각각의 내부 캘리브레이션은 물론 카메라간의 외부 캘리브레이션도 수행할 수 있는 패턴 기구물 구조 및 그 방법을 제공할 수 있다.

본 개시에 따를 때, 거울의 각도를 조정하거나 회전 모듈의 평행을 유지시키는 등의 기구의 추가적인 조정이 필요한 기존의 캘리브레이션 방법에 비해 보다 정확성, 신뢰성이 향상된 캘리브레이션 결과가 제공될 수 있다.

또한, 본 개시에 따를 때, 패턴이 표시된 구조물 전체가 아니라 패턴의 일부만 획득하여도 본 개시의 캘리브레이션 방법을 수행할 수 있으므로, 카메라와 패턴 사이의 거리가 가까워도 캘리브레이션이 수행될 수 있으며, 전방위 카메라를 구성하는 단일 카메라의 수와 리그 구조에 상관없이 독립적으로 캘리브레이션이 수행될 수 있다.

또한, 본 개시에 따를 때, 3차원 좌표를 손쉽게 얻도록 다면체 형태의 구조물을 이용함으로서, 구조물 좌표계와 카메라 좌표계간의 회전, 병진 운동 관계를 계산할 때도 기존 방법들에 비해 상대적으로 복잡하지 않다.

또한, 본 개시에 따를 때, 단순히 단일 마커나 평면 패턴의 특징점이 아닌 3차원 구조물의 3차원 특징점을 활용하기 때문에 보다 정확성을 향상시킬 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

1. 전방위 카메라 캘리브레이션 장치에 의해 수행되는 전방위 카메라 캘리브레이션 방법에 있어서,
   전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및
   상기 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 포함하되,
   상기 캘리브레이션을 수행하는 단계는,
   상기 획득된 영상을 이용하여 상기 단일 카메라의 내부 파라미터를 결정하는 제1 캘리브레이션을 수행하는 단계; 및
   상기 획득된 영상 및 상기 내부 파라미터를 이용하여 상기 단일 카메라의 외부 파라미터를 결정하는 제2 캘리브레이션을 수행하는 단계;를 포함하는, 전방위 카메라 캘리브레이션 방법.
2. 제1항에 있어서,
   상기 구조물은 다면체 형태이고, 각 면은 상기 소정의 패턴을 포함하는 것인, 전방위 카메라 캘리브레이션 방법.
3. 제2항에 있어서,
   상기 소정의 패턴은, 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고,
   상기 소정의 마커는, 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 전방위 카메라 캘리브레이션 방법.
4. 제3항에 있어서,
   상기 특정 위치는, 상기 체스보드 패턴의 코너점(corner point) 좌표인 것인, 전방위 카메라 캘리브레이션 방법.
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 방법은,
   상기 수행 결과 획득된 카메라의 내부 파라미터 및 외부 파라미터를 이용하여 상기 단일 카메라의 자세 정보를 추정하는 단계를 더 포함하는, 전방위 카메라 캘리브레이션 방법.
8. 제3항에 있어서,
   상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계는,
   상기 획득된 영상에 표시되는 상기 특정 위치에 대한 좌표 정보 및 상기 소정의 마커에 포함된 상기 특정 위치에 대한 좌표 정보에 기초하여 상기 단일 카메라의 내부 파라미터를 결정하는 단계를 포함하는, 전방위 카메라 캘리브레이션 방법.
9. 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 입력부;
   저장부; 및
   상기 입력부에 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 제어부를 포함하되,
   상기 캘리브레이션은,
   상기 획득된 영상을 이용하여 상기 단일 카메라의 내부 파라미터를 결정하는 제1 캘리브레이션을 수행하는 단계; 및
   상기 획득된 영상 및 상기 내부 파라미터를 이용하여 상기 단일 카메라의 외부 파라미터를 결정하는 제2 캘리브레이션을 수행하는 단계;를 포함하되,
   상기 내부 파라미터 및 상기 외부 파라미터는 상기 단일 카메라의 자세를 추정하는데 이용되는, 전방위 카메라 캘리브레이션 장치.
10. 비 일시적 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 상기 컴퓨터에서,
    전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및
    상기 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 수행하게 하되,
    상기 캘리브레이션을 수행하는 단계는,
    상기 획득된 영상을 이용하여 상기 단일 카메라의 내부 파라미터를 결정하는 제1 캘리브레이션을 수행하는 단계; 및
    상기 획득된 영상 및 상기 내부 파라미터를 이용하여 상기 단일 카메라의 외부 파라미터를 결정하는 제2 캘리브레이션을 수행하는 단계;를 포함하는, 매체에 저장된 프로그램.
    
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images