KR20160042694A - 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법 - Google Patents

Abstract

본 명세서는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 관한 것으로, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 하는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법을 제공한다.
이를 위하여, 일 실시예에 따른 스테레오 카메라의 정렬장치는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치로서, 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치 및 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절할 수 있는 위치 보정부; 및 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 상기 위치 보정부를 제어함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 제어부를 포함할 수 있다.

Description

스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법{ALIGNMENT DEVICE FOR STEREOSCOPIC CAMERA AND METHOD THEREOF}

본 발명은 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 관한 것으로서, 더욱 자세하게는 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 왼쪽 카메라 및 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 관한 것이다.

정보통신 기술의 발전은 문자, 음성 및 영상을 고속 처리하는 디지털 단말기에 2차원 영상과 음성을 지원하는 멀티미디어 서비스를 가능하게 하였으며, 현재 입체적으로 실감나는 멀티미디어 서비스를 제공하는 3차원 입체 정보통신 서비스에 대한 연구가 시행되고 있다.

스테레오 카메라(stereoscopic camera)는 입체 사진을 촬영하기 위한 카메라이다.

일반적으로 3차원 영상을 표현하는 입체 화상은 두 눈을 통한 스테레오 시각의 [0003] 원리에 의하여 이루어지게 된다.

입체감의 중요한 요인은 사람의 두 눈이 약 65mm 정도 떨어져 있기 때문에 나타나게 되는 두 눈의 시차, 즉 양안시차라 할 수 있다. 따라서, 좌우의 눈이 각각 서로 다른 2 차원 화상을 보게 되고, 이 두화상이 망막을 통해 뇌로 전달되면 뇌는 이를 서로 융합하여 본래의 3차원 영상의 깊이감과 실제감을 재생하게 되는데 이를 통상적으로 스테레오그라피(stereography)라 한다.

스테레오 카메라의 경우 두개의 Imager Module을 얼만큼 정밀하고 같은 Target을 볼수 있게끔 하는게 중요할 수 있다.

즉, 두개의 Camera의 Alignment를 맞춰야만 정확한 이미지를 추출해 낼 수 있고 Depth 영상을 추출 할 때의 노이즈가 최소화될 수 있다.

종래에는 두개의 카메라를 Alignment를 맞출 때 SMT(Surface Mounter Technology) 후 Lens/Holder를 조립해 버림으로서 SMT 공차 및 Len/Holder 조립 공차로 인하여 정확한 3D Depth 이미지를 추출해 낼수 없는 문제점이 있었다.

본 명세서는 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 왼쪽 카메라 및 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 관한 것으로, 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 오른쪽 렌즈의 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 제 1 위치 및 제 2 위치가 서로 정렬되도록 하는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법을 제공하는데 그 목적이 있다.

전?나 목적들을 달성하기 위한 본 명세서에 따른 스테레오 카메라의 정렬장치는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치로서, 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치 및 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절할 수 있는 위치 보정부; 및 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 상기 위치 보정부를 제어함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 제어부를 포함할 수 있다.

본 명세서와 관련된 일 예로서, 상기 스테레오 카메라의 정렬장치는, 상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트; 및 상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 대응되고, 제 2 그래픽 오브젝트를 포함하는 오른쪽 차트를 더 포함하고, 상기 제 1 위치에 대한 위치 정보는, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표이고, 상기 제어부는, 상기 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하고, 상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절하도록 상기 위치 보정부를 제어하는 것일 수 있다.

상기 목적들을 달성하기 위한 본 명세서에 따른 스테레오 카메라의 정렬방법은, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬방법으로서, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절하는 단계: 및 상기 제 1 위치에 대한 위치 정보를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 단계를 포함할 수 있다.

본 명세서와 관련된 일 예로서, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 제 1 위치를 조절하는 단계는, 상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하는 단계를 포함할 수 있다.

본 명세서와 관련된 일 예로서, 상기 제 1 위치에 대한 위치 정보는, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표인 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 왼쪽 카메라 및 상기 오른쪽 카메라에 대한 정렬은, 상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절함에 의해 이루어지는 것일 수 있다.

상기 목적들을 달성하기 위한 본 명세서에 따른 스테레오 카메라의 정렬장치는, 제 1 그래픽 오브젝트를 포함하는 왼쪽 기준 차트의 중심, 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지의 중심을 일치시킨 상태에서 상기 왼쪽 기준 차트를 포함하여 촬영하여 왼쪽 이미지를 생성하도록 상기 왼쪽 카메라를 제어하고, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 제 1 픽셀 좌표를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치를 조절함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 것일 수 있다.

본 명세서와 관련된 일 예로서, 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치는, 제 2 그래픽 오브젝트를 포함하는 오른쪽 기준 차트를 포함하여 상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 상의 상기 제 2 그래픽 오브젝트의 제 2 픽셀 좌표가 상기 제 1 픽셀 좌표와 일치하도록 조절되는 것일 수 있다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 따르면, 좌측 렌즈(또는 왼쪽 렌즈)에 대한 좌측 이미지 센서(또는 왼쪽 이미지 센서) 상의 위치를 근거로 우측 렌즈(또는 오른쪽 렌즈)의 우측 이미지 센서(또는 오른쪽 이미지 센서) 상의 위치를 조절하여 좌측 카메라 및 우측 카메라간의 정렬(얼라이먼트)을 보다 정밀하고, 정확하게 맞출 수 있는 이점이 있다.

도 1은 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라를 나타내는 예시도이다.
도 2는 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치를 나타내는 구성도이다.
도 3은 본 명세서에 개시된 Active Alignment 방식을 나타내는 예시도이다.
도 4는 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 기능을 나타내는 예시도이다.
도 5는 본 명세서에 개시된 구체적인 일 실시예에 따른 스테레오 카메라의 정렬 기능을 나타내는 순서도이다.
도 6은 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬방법을 나타내는 순서도이다.

본 명세서에 개시된 기술은 Stereo 카메라의 얼라이먼트(Alignment, 정렬)를 맞추는 장치 및 방법에 적용될 수 있다.

그러나, 본 명세서에 개시된 기술은, Stereo 카메라의 Alignment를 맞추는 장치 및 방법에 한정되지 않고, 복수의 카메라에 대한 얼라이먼트를 맞출 수 있는 카메라의 정렬 장치 및 정렬 방법에도 모두 적용될 수 있다.

또한, 본 명세서에 개시된 기술은, Stereo 카메라의 얼라이먼트(Alignment, 정렬) 기능이 탑재된 스테레오 카메라에 적용될 수 있다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라에 대한 설명.

이하에서는 도 1을 참조하여 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라에 대해 설명한다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라는, 차량에 설치, 구비 또는 장착되는 것일 수 있다.

도 1은 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라를 나타내는 예시도이다.

도 1을 참조하면, 본 명세서에 일 실시예에 따른 스테레오 카메라(10)는 좌측 카메라(또는 왼쪽 카메라, LC10), 우측 카메라(또는 오른쪽 카메라, RC10), 좌측 홀더(또는 왼쪽 홀더, LH10) 및 우측 홀더(또는 오른쪽 홀더,RH10)를 포함할 수있다.

여기서, 좌측 또는 우측의 의미는 보는 방향에 따라 바뀔 수 있다.

상기 왼쪽 카메라(LC10)는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비할 수 있다.

또한, 상기 오른쪽 카메라(RC10)는, 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비할 수 있다.

상기 좌측 홀더(LH10)에는, 상기 좌측 렌즈가 고정되어 지지될 수 있다.

또한, 상기 좌측 홀더(LH10)의 일면에는, 상기 좌측 이미지 센서가 상기 좌측 렌즈에 대응되도록 구비될 수 있다.

마찬가지로, 상기 우측 홀더(RH10)에는, 상기 우측 렌즈가 고정되어 지지될 수 있다.

또한, 상기 우측 홀더(RH10)의 일면에는, 상기 우측 이미지 센서가 상기 우측 렌즈에 대응되도록 구비될 수 있다.

일 실시예에 따르면, 상기 스테리오 카메라(10)는, CMOS 카메라일 수 있다.

여기서, CMOS 카메라는 광학 렌즈에 투사되어 이미지센서(CMOS Image Sensor)에 맺힌 피사체의 상이 광학적 원리에 의해 가공 또는 변형(transform)되는 과정으로 영상을 취득하게 된다.

입체 영상에 대해 설명하면, 대부분의 입체 영상물과 영상 디스플레이 도구는 양안 시차의 특성을 활용한 것이다. 그리고 입체 영상을 획득하는 방법 중 실사영상은 주로 두 개의 입사 렌즈를 가진 스테레오-카메라로 구현되며, 3D 컴퓨터 그래픽(CG)의 경우도 실사 카메라를 사용하는 것과 같은 원리로, 기존 2D-디스플레이에 사용되는 3D CG가 하나의 가상의 카메라를 사용하여 작업을 하는 반면, 입체영상의 경우 2대 이상의 가상의 카메라를 사용하여 영상을 구성하고, 각각의 카메라에서 출력되는 영상을 디스플레이 구조에 적합하게 합성하여 3D 영상물을 구성할 수 있다. 또는 기존에 존재하는 2개 이상의 영상(또는 이미지)를 합성하여 3D 영상(또는 이미지) 내지 그래픽 오브젝트(또는 3D 객체)를 생성할 수 있다.

디스플레이 화면상에 표시된 좌안과 우안 영상이 각각 인간의 좌측 눈과 우측 눈으로 분리 되어 입력되었을 때, 인간 지각에서는 인지된 3D 영상(Perceived 3D Image)의 위치에 사물이 떠 있는 것 같이 인지하게 될 수 있다.

이때 사람의 양안과 인지 3D영상과의 거리를 주시거리라고 하는데, 이때, 주시 거리는 디스플레이 화면상의 좌안과 우안 영상간의 이격 거리(Disparity)에 반비례하게 된다. 결국 3D 입체영상 (특히, 스테레오 3D영상)의 경우 좌안과 우안에 해당하는 영상 내의 물체들의 디스패리티(disparity)를 조정하므로써, 물체의 깊이 감을 조정할 수 있다.

구체적으로 3차원(3D) 입체 영상에 대해 상술하면, 일반적으로 3차원 입체 영상(3-dimensional stereoscopic image, 이하 3D 영상으로 약칭 함)은 모니터 또는 스크린 상에서 사물이 위치하는 깊이(depth)와 실제감(reality)을 현실 공간과 동일하게 느낄 수 있도록 한 영상(또는 이미지)일 수 있다.

3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현될 수 있다. 상기 양안시차란 서로 떨어져 있는 두 눈에 의해 형성되는 시차(視差)를 말한다. 따라서, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 사용자는 입체 영상의 깊이 및 실제감을 느낄 수 있게 된다.

상기 3D 영상은 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식) 및 프로젝션 방식(홀로그래픽 방식) 등의 디스플레이 방식에 의해 표시될 수 있다. 상기 스테레오스코픽 방식은 보통 가정용 텔레비전 수신기 등에 많이 이용되며 휘스톤 스테레오스코프 방식 등이 포함된다. 상기 오토 스테레오스코픽 방식은 이동 단말기 등에 많이 이용되는 디스플레이 방식으로, 오토 스테레오스코픽 방식에는 패럴렉스 배리어(parallex barrier) 방식 및 렌티큘러 (lenticular) 방식을 포함한다. 또한, 프로젝션 방식에는 반사형 홀로그래픽 방식, 투과형 홀로그래픽 방식 등이 있다.

구체적으로 3D 영상의 생성 및 디스플레이에 대해 상술하면, 일반적으로 3D 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 상기 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 상기 좌 우 영상을 한 프레임내에서 상하로 배치하는 탑-다운(top-down) 방식, 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 상기 좌우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.

상기 3D 이미지(또는 영상) 또는 3D 객체에 대한 3D 효과가 발생되는 원인은 상기 상기 3D 이미지 또는 3D 객체의 깊이(depth, 또는 깊이감)가 존재하기 때문일 수 있다.

상기 깊이(depth)는 디스패러티(disparity)라고도 불릴 수 있다.

구체적으로 상기 3D 영상의 깊이감(Depth, 또는 깊이)에 대해 상술하면, 3D 영상에서 깊이감(depth)(또는 depth value)은 영상내의 사물들 간의 3차원 거리 차이를 나타내는 지표를 의미한다. 상기 깊이감(depth)은 256 레벨(최대값이 255~최소값)로 정의되며 높은 값을 가질수록 시청자 또는 사용자와 가까운 곳을 나타낸다. 따라서, 3D 영상에서 깊이감을 조정한다는 의미는 3D 영상이 원래의 크기로 표시되는 경우에는 원래의 깊이감으로 표시되고, 그 컨텐츠가 작은 이미지로 표시되는 경우에는 원래보다 낮은 깊이감으로 조정하는 것을 의미한다.

예를 들어, 깊이감(depth)이 256 레벨로 정의되어 최대값이 255, 최소값이 0인 경우, 3D 영상을 원래 크기대로 표시하는 경우에는 깊이감을 255로 조절하고, 원래 보다 작은 크기로 표시하는 경우에는 255보다 작은 값으로 조절한다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 장치

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 장치는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치로서, 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치 및 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절할 수 있는 위치 보정부 및 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 상기 위치 보정부를 제어함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 제어부를 포함할 수 있다.

일 실시예에 따른 스테레오 카메라의 정렬 장치는, 상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트 및 상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 대응되고, 제 2 그래픽 오브젝트를 포함하는 오른쪽 차트를 더 포함하고, 상기 제 1 위치에 대한 위치 정보는, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표일 수 있다.

이 경우, 상기 제어부는, 상기 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하고, 상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절하도록 상기 위치 보정부를 제어하는 것일 수 있다.

또한, 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 장치는, 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치로서, 제 1 그래픽 오브젝트를 포함하는 왼쪽 기준 차트의 중심, 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지의 중심을 일치시킨 상태에서 상기 왼쪽 기준 차트를 포함하여 촬영하여 왼쪽 이미지를 생성하도록 상기 왼쪽 카메라를 제어하고, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 제 1 픽셀 좌표를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치를 조절함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시킬 수 있다.

일 실시예에 따르면, 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치는, 제 2 그래픽 오브젝트를 포함하는 오른쪽 기준 차트를 포함하여 상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 상의 상기 제 2 그래픽 오브젝트의 제 2 픽셀 좌표가 상기 제 1 픽셀 좌표와 일치하도록 조절되는 것일 수 있다.

이하에서는 도 2를 참조하여 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치에 대해 자세히 설명한다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치는, 차량에 설치, 구비 또는 장착되는 것일 수 있다.

도 2는 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치(100)를 나타내는 구성도이다.

도 2를 참조하면, 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치(100)는, 위치 보정부(110) 및 제어부(120)를 포함할 수 있다.

이외에도 상기 스테레오 카메라의 정렬장치(100)는 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 기능을 수행하기 위한 다양한 구성요소를 더 포함할 수 있다.

일 실시예에 따르면, 스테레오 카메라의 정렬 장치(100)는, 스테레오 카메라의 정렬 기능을 구비한 스테레오 카메라로 구현될 수 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

상기 위치 보정부(110)는, 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치 및 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하는 역할을 할 수 있다.

상기 위치 보정부(110)는, 상기 제어부(120)에서 생성되는 제어 신호를 통해 상기 제 1 위치 및 상기 제 2 위치를 조절할 수 있다.

상기 제어부(120)는, 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 기능을 제공하기 위해 상기 스테레오 카메라의 정렬장치(100)에 포함된 적어도 하나의 구성요소를 제어하는 역할을 할 수 있다.

상기 제어부(120)는, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 제 1 위치를 조절할 수 있다.

일 실시예에 따르면, 상기 제어부(120)는, Active Alignment를 이용하여 왼쪽 렌즈의 중심과 상기 이미지 센서의 중심을 일치시킬 수 있다.

즉, 상기 제어부(120)는, Active Alignment를 이용하여 왼쪽 렌즈의 중심과 상기 이미지 센서의 중심을 일치시키도록 상기 제 1 위치를 조절할 수 있다.

여기서, Active Alignment의 방식은 렌즈의 이미지 센서 상의 위치를 조절 또는 보정하여 렌즈(또는 광축) 및 이미지 센서의 중심(또는 광축)을 일치시켜 상기 렌즈 및 이미지 센서를 조립하는 방식을 의미할 수 있다.

일 실시예에 따르면, 상기 이미지 센서가 홀더의 일면에 구비되어 있는바, Active Alignment의 방식은 렌즈, 이미지 센서 및 홀더를 조립 또는 결합하는 방법에 적용될 수 있다.

본 명세서에 개시된 기술에 본 기술분야에 알려진 다양한 Active Alignment 방식이 적용될 수 있음이 본 기술분야의 당업자에게 자명하다.

이하에서는, 일 실시예에 따른 Active Alignment 방식에 대해 도 2를 참조하여 설명하다.

도 3은 본 명세서에 개시된 Active Alignment 방식을 나타내는 예시도이다.

도 3을 참조하면, 본 명세서에 개시된 Active Alignment 방식은 정렬을 위한 기준 차트(또는 기준 도면 내지 기준 그림)인 왼쪽 차트(LD10) 및 오른쪽 차트(RD10)를 참조를 필요로 할 수 있다.

즉, 상기 스테레오 카메라의 정렬 장치(100)는, 상기 왼쪽 카메라(LC10)에 의해 촬영된 왼쪽 이미지(LI10) 대응되고, 제 1 그래픽 오브젝트(GO10)를 포함하는 왼쪽 차트(LD10) 및 상기 오른쪽 카메라(RC10)에 의해 촬영된 오른쪽 이미지(RI10) 대응되고, 제 2 그래픽 오브젝트(GO20)를 포함하는 오른쪽 차트(RD10)를 포함할 수 있다(도 3(a) 및 3(b) 참조).

상기 스테레오 카메라(10)는 상기 왼쪽 렌즈 및 왼쪽 이미지 센서를 통하여 왼쪽 이미지(LI10)를 생성할 수 있다.

또한, 상기 스테레오 카메라(10)는 상기 오른쪽 렌즈 및 오른쪽 이미지 센서를 통하여 오른쪽 이미지(RI10)를 생성할 수 있다.

이때, 상기 왼쪽 이미지(LI10) 및 오른쪽 이미지(RI10)는 각각 상기 왼쪽 차트(LD10) 및 오른쪽 차트(RD10)를 포함하여 촬영된 이미지일 수 있다.

일 실시예에 따르면, 상기 제어부(120)는, 상기 제 1 그래픽 오브젝트(GO10)를 포함하는 왼쪽 기준 차트(LD10)의 중심, 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지의 중심을 일치시킨 상태에서 상기 왼쪽 기준 차트(LD10)를 포함하여 촬영하여 왼쪽 이미지를 생성하도록 상기 왼쪽 카메라(LC10)를 제어할 수 있다.

따라서, 상기 제어부(120)는, Active Alignment 방식을 이용하여 상기 왼쪽 차트(LD10)의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트(LD10)의 상기 왼쪽 이미지 센서 상의 위치를 조절할 수 있다.

상기 제어부(120)는, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 상기 위치 보정부(110)를 제어함에 의해 상기 왼쪽 카메라(LC10) 및 상기 오른쪽 카메라(RC10)를 서로 정렬시킬 수 있다.

일 실시예에 따르면, 상기 제 1 위치에 대한 위치 정보는, 상기 제 1 그래픽 오브젝트(GO10)에 대한 상기 왼쪽 이미지(LI10) 상의 픽셀 좌표일 수 있다.

이 경우, 상기 제어부(120)는, 상기 제 2 그래픽 오브젝트(GO20)에 대한 상기 오른쪽 이미지(RI10) 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트(GO10)에 대한 상기 왼쪽 이미지(LI10) 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절하도록 상기 위치 보정부(110)를 제어함에 의해 얼라이먼트 기능을 수행할 수 있다.

구체적으로, 상기 제 1 그래픽 오브젝트(GO10)에 대한 상기 왼쪽 이미지(LI10) 상의 픽셀 좌표는, 상기 왼쪽 기준 차트(LD10)의 에지(GE10)에 대한 픽셀 좌표를 의미할 수 있다.

또한, 상기 제 2 그래픽 오브젝트(GO20)에 대한 상기 오른쪽 이미지(RI10) 상의 픽셀 좌표는, 상기 오른쪽 기준 차트(RD10)의 에지(GE20)에 대한 픽셀 좌표를 의미할 수 있다.

따라서, 상기 제어부(120)는, 상기 오른쪽 기준 차트(RD10)의 에지(GE20)에 대한 픽셀 좌표가 상기 왼쪽 기준 차트(LD10)의 에지(GE10)에 대한 픽셀 좌표와 일치하도록 상기 제 2 위치를 조절 또는 보정함에 의해 얼라이먼트 기능을 수행할 수 있다.

도 4는 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 기능을 나타내는 예시도이다.

도 4를 참조하면, 상기 스테레오 카메라의 정렬 장치(100) 또는 상기 제어부(120)는, 상기 제 1 그래픽 오브젝트(DO10)에 대한 상기 왼쪽 이미지(LI10) 상의 제 1 픽셀 좌표를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치를 조절함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시킬 수 있다.

구체적으로, 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치는, 상기 제 2 그래픽 오브젝트(GO20)를 포함하는 오른쪽 기준 차트(RD10)를 포함하여 상기 오른쪽 카메라(RC10)에 의해 촬영된 오른쪽 이미지(RI10) 상의 상기 제 2 그래픽 오브젝트(GO20)의 제 2 픽셀 좌표가 상기 제 1 픽셀 좌표와 일치하도록 조절되는 것일 수 있다.

구체적으로, 상기 제 1 픽셀 좌표는, 상기 왼쪽 기준 차트(LD10)의 에지(GE10)에 해당하는 픽셀 좌표일 수 있다.

또한, 상기 제 2 픽셀 좌표는, 상기 오른쪽 기준 차트(RD10)의 에지(GE20)에 해당하는 픽셀 좌표일 수 있다.

예를 들어, 렌즈, 이미지 센서 및 기준 차트의 중심이 맞춰진 상태에서의 왼쪽 이미지(LI10) 상의 상기 제 1 픽셀 좌표가 '(x,y) = (10, 10)'이고, 상기 제 2 픽셀 좌표가 '(x,y) = (5, 5)'인 경우, 상기 스테레오 카메라의 정렬 장치(100)는, 오른쪽으로 5 pixel만큼 오른쪽 렌즈를 움직이고, 같은 방법으로 y축으로 5pixel만큼 위로 올리게되면 두개의 카메라를 정확하게 일치 시킬수가 있다.

본 명세서에 개시된 스테레오 카메라의 정렬 기능에 대한 구체적인 일 실시예

이하에서는 도 5를 참조하여 본 명세서에 개시된 스테레오 카메라의 정렬 기능에 대한 구체적인 일 실시예에 대해 상술한다.

본 명세서에 개시된 스테레오 카메라의 정렬 기능에 대한 구체적인 일 실시예는, 전술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 터널 높이 추정 기능에 대한 구체적인 일 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.

본 명세서에 개시된 스테레오 카메라의 정렬 기능에 대한 구체적인 일 실시예는 전술된 스테레오 카메라의 정렬 장치(100)에 의해 수행되는 것일 수 있다.

도 5는 본 명세서에 개시된 구체적인 일 실시예에 따른 스테레오 카메라의 정렬 기능을 나타내는 순서도이다.

본 명세서에 개시된 스테레오 카메라의 정렬 장치는, 영상을 촬영하는 촬영부, Lens/Holder를 구동시키는 제어부, 제어부에서 나오는 Control 신호를 통해 보정하는 위치 보정부로 나누어 질 수 있다.

스테레오 카메라에서 가장 중요한 부분은 두 카메라의 정렬, 즉 얼만큼 오차 없이 두개의 카메라를 같은 위치에 놓아 정렬 시키는가가 가장 중요한 요소일 수 있다.

대략적인 구성은 Image를 촬영할수 있는 Stereo Camera부(좌측 카메라 및 우측 카메라가 포함됨), Lens/Holder를 조립할수 있는 제어부(120) 그리고 영상정보를 이용하여 움직임을 보정하는 위치 보정부(110)로 나뉠 수 있다.

스테레오 카메라의 정렬 장치는 왼쪽에 있는 Image Sensor위에 Lens및 Holder를 조립할 수 있다.

Lens 및 holder를 조립은 전술된 Active Alignment를 이용하여 lens의 Center와 Image Sensor의 센터가 일치되도록 이루어질 수 있다(S10).

이미지 촬영부(또는 Stereo Camera부)에는 lens 조립후 기준이 될수 있는 기준 Chart 또는 기준 그림이 필요할 수 있다.

2장의 차트는 각각 Left, Right 센서와 일치되록 구성될 수 있다.

상기 스테레오 카메라의 정렬 장치는 왼쪽에 Image Sensor를 조립후 오른쪽에 있는 카메라를 조립할 때는 왼쪽 이미지의 데이터를 이용하게 된다.

따라서, 상기 스테레오 카메라의 정렬 장치는 왼쪽 차트 이미지를 촬영하고, 상기 왼쪽 이미지 차트의 에지(Edge) 정보를 추출하고 저장할 수 있다(S11).

또한, 상기 스테레오 카메라의 정렬 장치는 왼쪽 촬영 이미지 및 에지(edge) 정보(X축 및 Y축에 대한 픽셀 좌표)를 저장할 수 있다(S12).

왼쪽 Image sensor는 Lens의 광축과 Image Sensor의 광축이 정확하게 일치하도록 만들어 질 수 있다.

오른쪽 이미지 센서의 조립 기준은 왼쪽에 만들어진 이미지가 기준이 된다.

왼쪽의 이미지는 Lens의 중심과 Image Sensor의 중심이 정확하게 일치하지만 오른쪽의 Sensor의 이미지는 Alignment가 맞지 않은 상태일 수 있다.

위치 보정부(120)에서는 왼쪽 image sensor에 대한 왼쪽 이미지의 상기 에지에 대한 픽셀 위치 정보를 이용할 수 있다.

상기 스테레오 카메라의 정렬 장치는 오른쪽 이미지 센서에 대한 렌즈 및 홀더를 조립할 준비를 하고(S13), 상기 왼쪽 이미저(imager, 왼쪽 이미지 센서)에서 촬영된 왼쪽 기준 차트의 에지 정보를 추출할 수 있다(S14).

다음으로, 상기 스테레오 카메라의 정렬 장치는 오른쪽 렌즈에 대해 위치 보정(X축 및 Y축 보정)을 진행하게 된다(S15).

이 과정에서 상기 스테레오 카메라의 정렬 장치는 왼쪽 및 오른쪽 이미지 데이터(왼쪽 에지 및 오른쪽 에지 정보)를 비교(S16)하여 위치 보정 단계(S15)를 정렬이 완료될 때까지 계속적으로 수행할 수 있다.

예를 들어, 상기 스테레오 카메라의 정렬 장치는 도 4에서와 같이 중심을 맞춘 왼쪽 영상의 Chart Edge 위치를 x=10pixel, y=10pixel 이라고 하면 오른쪽에 있는 카메라를 Align 시킬 때는 왼쪽 Chart의 Edge정보를 이용하여, 둘사이의 차이를 보정할 수 이TEk.

즉, 상기 스테레오 카메라의 정렬 장치는 x축으로 5pixel이 어긋나 있으므로, 제어부(120)에 의해 오른쪽으로 5 pixel만큼 렌즈를 움직이고, 같은 방법으로 y축을 5 pixel만큼 위로 올리게되면 두개의 카메라를 정확하게 일치 시킬수가 있다.

최종적으로, 상기 스테레오 카메라의 정렬 장치는 정렬이 완료되면, 카메라 조립을 수행하여 스테레오 카메라의 조립을 완료하게 된다(S17).

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬 방법

이하에서 개시되는 일 실시예에 따른 스테레오 카메라의 정렬방법은, 전술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 일 실시예에 따른 스테레오 카메라의 정렬방법의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.

도 6은 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬방법을 나타내는 순서도이다.

도 6을 참조하면, 본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬방법은 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬방법으로서, 다음과 같은 단계로 이루어질 수 있다.

먼저, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절할 수 있다(S110).

다음으로, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬할 수 있다(S120).

일 실시예에 따르면, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 제 1 위치를 조절하는 단계는, 상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하는 단계를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제 1 위치에 대한 위치 정보는, 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표인 것일 수 있다.

또한, 일 실시예에 따르면, 상기 왼쪽 카메라 및 상기 오른쪽 카메라에 대한 정렬은, 상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절함에 의해 이루어지는 것일 수 있다.

전술된 본 명세서에 개시된 기술에 대해 간략히 정리하면, 종래에는 두개의 카메라를 Alignment를 맞출 때 SMT 후 Lens/Holder를 조립해 버림으로서 SMT 공차 및 Len/Holder 조립 공차로 인하여 정확한 3D Depth 이미지를 추출해 낼수 없었다.

본 명세서에 개시된 기술은, Stereo 카메라의 Alignment를 맞추는 방법에 관한 것으로, Stereo Camera의 경우 두 Imager Module을 얼만큼 정밀하고 같은 Target을 볼수 있게끔 하는게 중요하고 두개의 Camera의 Alignment를 맞춰야만 정확한 이미지를 추출해 낼 수 있기 때문에 정확하고, 정밀하게 Alignment를 맞추는 방법을 제공함으로써 Depth 영상을 추출 할 때의 노이즈를 최소화하는데 그 목적이 있다.

본 명세서는 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 관한 것으로, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절하고, 상기 제 1 위치에 대한 위치 정보를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 하는 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법을 제공하는데 그 목적이 있다.

본 명세서에 개시된 일 실시예에 따른 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법에 따르면, 좌측 렌즈(또는 왼쪽 렌즈)에 대한 좌측 이미지 센서(또는 왼쪽 이미지 센서) 상의 위치를 근거로 우측 렌즈(또는 오른쪽 렌즈)의 우측 이미지 센서(또는 오른쪽 이미지 센서) 상의 위치를 조절하여 좌측 카메라 및 우측 카메라간의 정렬(얼라이먼트)을 보다 정밀하고, 정확하게 맞출 수 있는 이점이 있다.

본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.

10: 스테레오 카메라 100: 스테레오 카메라의 정렬 장치
110: 위치 보정부 120: 제어부

Claims (8)

1. 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치에 있어서,
   상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치 및 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절할 수 있는 위치 보정부; 및
   상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기제 1 위치를 조절하고,
   상기 제 1 위치에 대한 위치 정보를 근거로 상기 제 2 위치를 조절하여 상기 제 1 위치 및 상기 제 2 위치가 서로 정렬되도록 상기 위치 보정부를 제어함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 제어부를 포함하는 것을 특징으로 하는 스테레오 카메라의 정렬장치.
2. 제1항에 있어서,
   상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트; 및
   상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 대응되고, 제 2 그래픽 오브젝트를 포함하는 오른쪽 차트를 더 포함하고,
   상기 제 1 위치에 대한 위치 정보는,
   상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표이고,
   상기 제어부는,
   상기 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하고,
   상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절하도록 상기 위치 보정부를 제어하는 것인 스테레오 카메라의 정렬장치.
3. 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬방법에 있어서,
   상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 렌즈의 상기 왼쪽 이미지 센서 상의 제 1 위치를 조절하는 단계: 및
   상기 제 1 위치에 대한 위치 정보를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 제 2 위치를 조절하여 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 정렬방법.
4. 제3항에 있어서, 상기 왼쪽 렌즈의 중심이 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 제 1 위치를 조절하는 단계는,
   상기 왼쪽 카메라에 의해 촬영된 왼쪽 이미지 대응되고, 제 1 그래픽 오브젝트를 포함하는 왼쪽 차트의 중심이 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지 센서의 중심과 일치하도록 상기 왼쪽 차트의 상기 왼쪽 이미지 센서 상의 위치를 조절하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 정렬방법.
5. 제4항에 있어서,
   상기 제 1 위치에 대한 위치 정보는,
   상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표인 것인 스테레오 카메라의 정렬방법.
6. 제3항에 있어서, 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 것은,
   상기 제 2 그래픽 오브젝트에 대한 상기 오른쪽 이미지 상의 픽셀 좌표가 상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 픽셀 좌표와 일치되도록 상기 제 2 위치를 조절함에 의해 이루어지는 것인 스테레오 카메라의 정렬방법.
7. 왼쪽 이미지 센서 및 상기 왼쪽 이미지 센서에 광을 공급하는 왼쪽 렌즈를 구비하는 왼쪽 카메라 및 오른쪽 이미지 센서 및 상기 오른쪽 이미지 센서에 광을 공급하는 오른쪽 렌즈를 구비하는 오른쪽 카메라를 포함하여 스테레오 이미지를 촬영할 수 있는 스테레오 카메라의 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 스테레오 카메라의 정렬장치에 있어서,
   제 1 그래픽 오브젝트를 포함하는 왼쪽 기준 차트의 중심, 상기 왼쪽 렌즈의 중심 및 상기 왼쪽 이미지의 중심을 일치시킨 상태에서 상기 왼쪽 기준 차트를 포함하여 촬영하여 왼쪽 이미지를 생성하도록 상기 왼쪽 카메라를 제어하고,
   상기 제 1 그래픽 오브젝트에 대한 상기 왼쪽 이미지 상의 제 1 픽셀 좌표를 근거로 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치를 조절함에 의해 상기 왼쪽 카메라 및 상기 오른쪽 카메라를 서로 정렬시키는 것을 특징으로 하는 스테레오 카메라의 정렬장치.
8. 제7항에 있어서, 상기 오른쪽 렌즈의 상기 오른쪽 이미지 센서 상의 위치는,
   제 2 그래픽 오브젝트를 포함하는 오른쪽 기준 차트를 포함하여 상기 오른쪽 카메라에 의해 촬영된 오른쪽 이미지 상의 상기 제 2 그래픽 오브젝트의 제 2 픽셀 좌표가 상기 제 1 픽셀 좌표와 일치하도록 조절되는 것인 스테레오 카메라의 정렬장치.

Images