KR20130046857A - 스테레오 카메라 모듈 및 스테레오 카메라 - Google Patents

스테레오 카메라 모듈 및 스테레오 카메라 Download PDF

Info

Publication number
KR20130046857A
KR20130046857A KR1020110111498A KR20110111498A KR20130046857A KR 20130046857 A KR20130046857 A KR 20130046857A KR 1020110111498 A KR1020110111498 A KR 1020110111498A KR 20110111498 A KR20110111498 A KR 20110111498A KR 20130046857 A KR20130046857 A KR 20130046857A
Authority
KR
South Korea
Prior art keywords
image
stereo camera
unit
camera module
correction coefficient
Prior art date
Application number
KR1020110111498A
Other languages
English (en)
Inventor
김강주
강순석
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110111498A priority Critical patent/KR20130046857A/ko
Priority to US13/357,047 priority patent/US20130107011A1/en
Publication of KR20130046857A publication Critical patent/KR20130046857A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Abstract

본 발명은 스테레오 카메라 모듈에 관한 것으로, 사전에 정해진 간격만큼 이격 배치되어 각각 좌측 영상과 우측 영상을 입력받는 제1 카메라 및 제2 카메라를 포함하는 카메라부; 및 상기 제1 카메라 및 상기 제2 카메라가 사전 설정된 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부;를 포함한다.

Description

스테레오 카메라 모듈 및 스테레오 카메라 {REMOTE CONTROL APPARATUS AND GESTURE RECOGNIZING METHOD OF REMOTE CONTROL APPARATUS}
본 발명은 카메라부가 정렬 상태로부터 이탈된 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부를 포함하는 스테레오 카메라 모듈 및 스테레오 카메라에 관한 것이다.
3D 관련기술의 도약기를 맞아 3D 디스플레이 기술을 필두로 3D 게임, 3D 카메라 등의 기술이 날로 발전하고 있다. 이와 함께 모바일 스마트폰에서도 3D 기술이 보편화되기 시작하여 스테레오 카메라 모듈의 제작과 보정 기술이 필요하게 되었고, 또한 스테레오 카메라 모듈 제작이 큰 시장으로 부각되고 있다. 최근 스테레오 카메라 모듈을 채용하여 3D 영상물을 촬영하고 3D 디스플레이 장치로 3D 촬영물을 감상하는 것이 보편화되고 있다.
일반적으로 입체감을 느끼는 가장 큰 요인은 하나의 물체에 좌우의 눈이 서로 다른 방향에서 물체를 봄으로써 생기는 좌우 망막상의 공간적 차이의 효과 때문이다. 이러한 효과를 이용한 3D 영상을 획득하기 위한 한가지 방법으로는 영상 촬영시 한 쌍의 좌우 카메라를 포함하는 스테레오 카메라 모듈을 사용하는 방법이 있다. 이 방법에 의하면, 좌측 카메라와 우측 카메라가 실제 관찰자의 두 눈과 같은 위치에서 피사체를 촬영하기 때문에 자연스러운 3D 영상을 얻을 수 있다.
그러나, 카메라 모듈 제작시 단일 센서 자체에서 발생하는 문제뿐 아니라 스테레오 카메라 모듈 내부의 2개의 카메라의 센서 간 정렬이 이루어지지 않는 경우, 좌측 카메라로 얻은 영상과 우측 카메라로 얻은 영상 간의 시차로 인해 실제 눈으로 보는 것과 같은 자연스러운 3D 영상을 얻지 못하게 되는 문제가 있고, 이는 스테레오 카메라 모듈을 불량으로 만드는 주요한 요인으로 매우 고비용의 손해가 발생한다. 이에 많은 제작사들이 이 문제를 해결하기 위해 스테레오 카메라의 영상 왜곡을 보정하는 방법 및 장치를 개발하고 있다.
본 발명의 일 실시예의 목적은 보정 IC를 제거하여 제작 비용을 절감하고 스테레오 카메라 모듈의 후단에서의 영상 보정이 보다 용이한 스테레오 카메라 모듈 및 스테레오 카메라를 제공하는 것이다.
본 발명의 하나의 실시예에 따르면, 사전에 정해진 간격만큼 이격 배치되어 각각 좌측 영상과 우측 영상을 입력받는 제1 카메라 및 제2 카메라를 포함하는 카메라부; 및 상기 제1 카메라 및 상기 제2 카메라가 사전 설정된 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부;를 포함하는 스테레오 카메라 모듈을 제안한다.
또한, 상기 보정계수는 상기 스테레오 카메라 모듈의 제작시 추출되어 저장되는 스테레오 카메라 모듈을 제안한다.
또한, 상기 보정계수는 상기 스테레오 카메라 모듈의 제작시 촬영된 기준 영상으로부터 추출되는 스테레오 카메라 모듈을 제안한다.
또한, 상기 제1 카메라 및 상기 제2 카메라는 사람의 양안거리만큼 이격되어 배치된 스테레오 카메라 모듈을 제안한다.
본 발명의 다른 하나의 실시예에 따르면, 좌측 영상과 우측 영상을 입력받는 카메라부, 상기 카메라부가 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부를 포함하는 스테레오 카메라 모듈; 및 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 제어부;를 포함하는 스테레오 카메라를 제안한다.
또한, 상기 입체 영상을 디스플레이하는 디스플레이부;를 더 포함하는 스테레오 카메라를 제안한다.
또한, 상기 제어부는 상기 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부를 포함하는 스테레오 카메라를 제안한다.
또한, 상기 프로세서부는, 상기 스테레오 카메라 모듈로부터 상기 좌측 영상 및 상기 우측 영상을 받아들이는 인터페이스부; 상기 좌측 영상 및 상기 우측 영상을 상기 보정계수에 따라 보정하는 영상보정부; 보정된 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 영상정합부;를 포함하는 스테레오 카메라를 제안한다.
또한, 상기 프로세서부는 상기 스테레오 카메라 모듈로부터 받아들인 상기 좌측 영상 및 상기 우측 영상을 저장하는 영상저장부를 더 포함하는 스테레오 카메라를 제안한다.
또한, 상기 좌측 영상 및 상기 우측 영상은 상기 인터페이스부로부터 상기 영상저장부로 직접 전송되는 스테레오 카메라를 제안한다.
또한, 상기 인터페이스부는 MIPI인 스테레오 카메라를 제안한다.
또한, 상기 영상 보정부는 3D 엔진을 사용하여 상기 좌측 영상 및 상기 우측 영상을 보정하는 스테레오 카메라를 제안한다.
또한, 상기 3D 엔진은 OpenGL 또는 DirectX인 스테레오 카메라를 제안한다.
또한, 상기 영상 정합부는 상기 프로세서부의 하드웨어 가속기를 사용하여 입체 영상을 만드는 스테레오 카메라를 제안한다.
또한, 상기 영상 정합부는 사이드-바이-사이드 방식으로 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 스테레오 카메라를 제안한다.
또한, 상기 제어부는, 상기 스테레오 카메라 모듈로부터 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상을 받아들여 소정의 영상 처리를 수행하여 입체 영상을 만드는 보정 IC;및 상기 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부;를 포함하는 스테레오 카메라를 제안한다.
본 발명에 따르면, 보정 IC를 제거하여 제작 비용을 절감하고 스테레오 카메라 모듈의 후단에서의 영상 보정을 보다 용이하게 하는 것이 가능하다.
도 1은 본 발명의 하나의 실시예에 따른 스테레오 카메라 모듈의 블록 구성도이다.
도 2는 본 발명의 하나의 실시예에 따른 스테레오 카메라의 블록 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 스테레오 카메라의 블록 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명의 하나의 실시예에 따른 스테레오 카메라 모듈의 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 하나의 실시예에 따른 스테레오 카메라 모듈(100)은 카메라부(110), 보정계수 저장부(120)를 포함할 수 있다.
본 발명의 하나의 실시예에 따른 상기 카메라부(110)는 사전에 정해진 간격만큼 이격되어 배치되어 각각 좌측 영상과 우측 영상을 입력받는 제1 카메라(111) 및 제2 카메라(112)를 포함할 수 있다. 즉, 본 발명의 일 실시예에 따른 입체 영상은 하나의 2차원 영상에 대해 영상 신호 처리를 수행하여 한 쌍의 좌영상과 우영상을 생성하는 방식 대신, 제1 카메라(111)가 좌측 영상을 입력받고, 제2 카메라(112)가 우측 영상을 입력받아 이를 바탕으로 입체 영상을 생성하는 방식을 통해 생성되므로, 좀더 자연스럽고 안정된 입체감을 갖는 입체 영상을 생성할 수 있다.
본 발명의 하나의 실시예에 따른 상기 보정계수 저장부(120)는 상기 카메라부(110)의 상기 제1 카메라 및 상기 제2 카메라가 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있을 수 있다. 그리고 이때 보정계수 저장부(120)는 별도로 구비된 추가 메모리일 수 있다. 이때, 정렬 상태라 함은 제1 카메라(111)가 입력받은 좌측 영상 및 제2 카메라(112)가 입력받은 우측 영상으로부터 보정없이 입체 영상을 생성했을 때,자연스럽고 안정감 있는 입체 영상을 얻을 수 있는 제1 카메라(111) 및 제2 카메라(112)의 위치 상태를 의미한다. 정렬 상태를 벗어난 경우 보정 없이 생성된 입체 영상을 볼 경우 관찰자는 두통, 어지러움 등과 같은 심각한 거부반응을 일으킬 수 있고 이에 따라 장시간 영상 감상이 어려운 문제가 발생한다. 현실적인 제조 공정상의 한계에 의해 제1 카메라(111)와 제2 카메라(112)는 정렬 상태로부터 어느 정도는 벗어나 있을 수밖에 없고, 이 벗어난 상태를 보정하기 위한 보정계수를 추출하는 것이 중요한 문제가 된다.
이와 같이, 본 발명의 일 실시예에 따른 스테레오 카메라 모듈(100)은 카메라 모듈 내에 좌측 카메라 및 우측 카메라만 구비되어 있고, 카메라 모듈 후단에 위치한 보정 IC가 보정계수를 추출하여 저장해두는 구성과는 달리, 카메라 모듈 내에 카메라부(110)와 더불어 보정계수를 저장해둔다. 본 발명의 일 실시예에 의할 경우, 카메라 모듈 내에 위치하는 보정계수 저장부(120)에 보정계수가 저장되어 있으므로 카메라 모듈 후단에서는 따로 보정계수를 추출하여 저장하는 구성이 필요하지 않게 된다.
또한, 본 발명의 하나의 실시예에 의할 경우 이때 보정계수 저장부(120)에 저장되는 보정계수는 상기 스테레오 카메라 모듈(100)의 제작시 추출되어 저장될 수 있다. 스테레오 카메라 모듈이 이를테면 스마트폰에 탑재된다고 했을 때, 비교예에 의할 경우, 보정계수는 스마트폰 단말기를 제작할 때 영상 보정을 위한 이미지를 촬영하여 그로부터 보정계수를 추출하여 카메라 모듈 후단에 위치한 보정 IC에 저장된다. 즉, 비교예는 카메라 모듈 구성을 매우 단순하게 하는 대신 보정계수는 카메라 모듈 후단에 위치한 보정 IC에서 추출하게 하는 구조이다. 그러나, 본 발명의 일 실시예에 의한 스테레오 카메라 모듈(100)은 카메라 모듈이 탑재되는 단말기의 제작시가 아닌, 카메라 모듈 제작시에 보정계수를 추출하여 저장해둠으로써 스테레오 카메라 모듈 단품만으로 보정문제에 대응할 수 있다는 장점이 있다.
본 발명의 하나의 실시예에 의할 경우 보정계수는 스테레오 카메라 모듈의 제작시 촬영된 기준 영상으로부터 추출될 수 있다. 보정계수는 카메라 모듈 제작 단계에서 기준 영상을 촬영한 후, 카메라 모듈 내의 카메라부(110)의 제1 카메라(111)와 제2 카메라(112)의 센서가 올바르게 정렬되어 있는 경우 기준 영상을 촬영한 결과와 비교하여 추출할 수 있다.
보다 구체적으로는, 핀홀 카메라 모델(pinhole camera model)을 이용하여 보정계수를 구할 수 있다. 즉, 좌측 영상 및 우측 영상에 대해 각각 투영 평면에 상(image)을 투영시켜 보정계수를 추출할 수 있다. 그러나, 이 방법 이외에도 당업자는 스테레오 카메라 모듈 제작시 주지하고 있는 기술 범위 내에서 기타 다양한 방법으로 보정계수를 추출할 수 있다. 보정계수는 카메라 모듈의 제작 공정에서 발생하는 정렬 상태로부터의 이탈에 기인하는 값이므로 각각의 카메라 모듈 별로 보정계수를 추출하는 작업이 필요하다.
추출된 보정계수를 후술할 프로세서부(310)에서 입력받아 그로부터 카메라 모듈 내의 카메라부(110)의 제1 카메라(111)와 제2 카메라(112)가 정렬 상태로부터 얼마나 벗어나 있는지를 알 수 있고, 이를 바탕으로 정렬 상태로 보정하는 것이 가능하다.
또한, 본 발명의 일 실시예에 의하면, 상기 제1 카메라(111) 및 상기 제2 카메라(112)는 사람의 양안거리만큼 이격되어 배치될 수 있다. 영상 정보를 받아들이는 카메라가 사람의 두 눈 사이의 거리를 두고 배치됨으로써, 실제 두 눈으로 보는 것과 같은 자연스러운 입체감을 갖는 영상을 얻을 수 있다.
도 2는 본 발명의 하나의 실시예에 따른 스테레오 카메라(200)의 블록 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 하나의 실시예에 따른 스테레오 카메라(200)는 스테레오 카메라 모듈(100), 제어부(210), 디스플레이부(220)를 포함할 수 있다.
본 발명의 일 실시예에 따른 스테레오 카메라 모듈(100)은 상술한 바와 같다.
본 발명의 일 실시예에 따른 제어부(210)는 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만들 수 있다. 특히, 본 발명의 일 실시예에 따른 제어부(210)는 보정 IC없이 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부(310)를 포함할 수 있고, 또는 스테레오 카메라 모듈로부터 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상을 받아들여 소정의 영상 처리를 수행하여 입체 영상을 만드는 보정 IC(도시하지 않음) 및 상기 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부(도시하지 않음)를 포함할 수도 있다.
본 발명의 일 실시예에 따른 디스플레이부(220)는 상기 입체 영상을 디스플레이할 수 있고, 3D LCD로 구성될 수 있다.
도 3은 본 발명의 하나의 실시예에 따른 스테레오 카메라(300)의 블록 구성도이다.
본 발명의 하나의 실시예에 따른 스테레오 카메라(300)는 스테레오 카메라 모듈(100), 프로세서부(310), 디스플레이부(320)를 포함할 수 있다.
본 발명의 일 실시예에 따른 스테레오 카메라 모듈(100)은 상술한 바와 같다.
본 발명의 일 실시예에 따른 프로세서부(310)는 상기 스테레오 카메라 모듈(100)로부터 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상을 받아들여 입체 영상을 만들 수 있고, 인터페이스부(311), 영상 보정부(312), 영상 정합부(313), 영상 저장부(도시하지 않음)를 포함할 수 있다.
본 발명의 일 실시예에 따른 인터페이스부(311)는 상기 스테레오 카메라 모듈(100)로부터 좌측 영상 및 우측 영상을 받아들일 수 있다. 또한, 본 발명의 일 실시예에 따른 인터페이스부(311)는 상기 스테레오 카메라 모듈(100)로부터 좌측 영상 및 우측 영상을 받아들일 수 있고, 상기 인터페이스부(311)는 MIPI(Mobile Industry Processor Interface)일 수 있다. 여기서, MIPI는 프로세서와 주변 장치들 사이의 하드웨어와 소프트웨어를 연결하는 시리얼 인터페이스의 새로운 규격을 뜻하는 것으로, 본 발명의 일 실시예에서 프로세서부(310)와 스테레오 카메라 모듈(100)을 연결하여 스테레오 카메라 모듈(100)로부터 좌측 영상 및 우측 영상을 받아들일 수 있다.
또한, 본 발명의 일 실시예에 따른 프로세서부(310)는 상기 스테레오 카메라 모듈(100)로부터 받아들인 상기 좌측 영상 및 상기 우측 영상을 저장하는 영상 저장부(도시하지 않음)를 더 포함할 수 있다. 이때, 영상 저장부는 별도의 메모리일 필요는 없으며, 프로세서부의 시스템 메모리 내에 사전 정의된 영역을 이용할 수 있다.
나아가, 본 발명의 일 실시예에 따른 상기 좌측 영상 및 상기 우측 영상은 상기 인터페이스부(311)로부터 상기 영상 저장부로 직접 전송될 수 있다. 즉, 인터페이스부(311)로부터 좌측 영상 및 우측 영상이 입력되면 DMA(Direct Memory Access)에 의해 영상 저장부로 전송될 수 있다. 이와 같이 DMA에 의해 영상이 전송됨으로써 프로세서부의 CPU의 관여 없이 프로세서부(310)의 시스템 메모리 내에 영상을 저장할 수 있고, 프로세서부(310)의 전체 성능에 지장을 주지 않게 된다.
본 발명의 일 실시예 따른 영상 보정부(312)는 상기 좌측 영상 및 상기 우측 영상을 상기 보정계수에 따라 보정할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 영상 보정부(312)는 3D 엔진을 사용하여 상기 좌측 영상 및 우측 영상을 보정할 수 있다. 이때, 좌측 영상 및 우측 영상은 상술한바와 같이, 영상 저장부에 적재되어 있으며, 보정 계수는 영상 보정부(312)가 직접 스테레오 카메라 모듈(100)의 보정계수 저장부(120)로부터 읽어들일 수 있다. 영상 보정부(312)는 상기 제1 카메라(111) 및 상기 제2 카메라(112)가 틀어진 정도, 즉 정렬 상태로부터 벗어난 정도를 나타내는 보정계수로부터 상기 제1 카메라(111) 및 상기 제2 카메라(112)가 정렬 상태가 되도록 보정할 수 있다. 이때 영상 보정부(312)에서 사용되는 3D 엔진은 OpenGL 또는 DirectX와 같은 프로세서부(310) 내의 그래픽 하드웨어 가속기능을 이용하는 3D 엔진일 수 있다. 영상 보정부(312)는 프로세서부 내에 원래부터 존재하던 그래픽 하드웨어 가속기능을 이용하여 보정을 수행하므로 별도의 하드웨어를 구비할 필요가 없고, 또한 프로세서부(310)에 부담을 주지도 않는다.
본 발명의 일 실시예에 따른 영상 정합부(313)는 보정된 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만들 수 있다. 보다 구체적으로, 상기 영상 정합부(313)는 상기 프로세서부(310)의 하드웨어 가속기를 사용하여 입체 영상을 생성할 수 있다. 하드웨어 가속기 역시 프로세서부(310)가 원래 구비하는 것이므로 하드웨어 가속기를 이용하여 영상 정합을 수행할 경우 별도의 하드웨어를 구비하지 않으면서, 프로세서부(310)의 동작을 저하시킬 염려가 없다.
본 발명의 일 실시예에 따른 영상 정합부(313)는 사이드-바이-사이드(side-by-side) 방식에 의해 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 생성할 수 있다.
입체 영상을 구성하는 방법은 좌측 영상 및 우측 영상을 하나의 스트림으로 구성하는 방식인 side-by-side 방식, top-bottom 방식, line interleave, column interleave, checker board 방식이 있으며, 좌측 영상 및 우측 영상을 두 개의 스트림으로 구성하는 방식인 dual stream 방식, tile format 방식이 있다. 이 중, side-by-side 방식은 좌측 영상 및 우측 영상을 수평으로 나란히 붙여 하나의 프레임 영상을 구성하여 입체 영상을 생성하는 방법이다. 그러나, 이 방법 이외에도 당업자는 언급된 여러 방식과 같이 주지하고 있는 기술 범위 내에서 기타 다양한 방법으로 보정된 좌측 영상 및 우측 영상으로부터 입체 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 디스플레이부(320)는 상기 영상 정합부(313)에서 생성된 입체 영상을 디스플레이하여 실제로 관찰자가 입체 영상을 볼 수 있게 할 수 있다. 이때의 디스플레이부(320)는 3D LCD 모니터일 수 있다.
상술한대로, 본 발명의 일 실시예에 따른 스테레오 카메라(300)는 비교예에 의할 경우 스테레오 카메라 모듈의 후단에 보정 IC를 별도로 구비하여 보정계수를 추출하여 저장하고, 그로부터 카메라 모듈로부터 전달받은 좌측 영상 및 우측 영상을 보정하고, 보정된 좌측 영상 및 우측 영상을 정합하여 입체 영상을 생성하는 구성과는 달리, 보정계수의 추출은 스테레오 카메라 모듈(100)의 생산단계에서 이루어져 스테레오 카메라 모듈(100) 내부에 저장되므로 스테레오 카메라 모듈이 포함되는 단말기 제작시 후단에서 따로 보정 계수를 추출하지 않아도 된다.
또한, 비교예에 의할 경우 보정 IC에서 영상 보정 및 영상 정합을 행하는 것에 비해, 본 발명의 일 실시예에 따른 스테레오 카메라(300)는 프로세서부(310)가 구비하는 시스템 메모리, 하드웨어 가속기 기능을 사용하므로 프로세서부(310)의 원래 기능인 소정의 영상 처리 기능에 영향을 줄 정도로 프로세서부(310)에 부하를 주지 않는다. 즉, 본 발명의 일 실시예에 의한 스테레오 카메라(300)는 영상 보정 및 영상 정합을 프로세서부(310)를 이용하여 수행하므로 비교예가 구비하는 보정 IC를 구비하지 않아도 된다. 이에 따라, 본 발명의 일 실시예에 따른 스테레오 카메라(300)는 그 크기를 작게 할 수 있고, 생산 비용을 절감할 수 있으며, 소비 전력도 줄일 수 있다.
스테레오 카메라 모듈 내에 좌측 카메라 및 우측 카메라만 구비하는 비교예와 달리 본 발명의 일 실시예에 따른 스테레오 카메라 모듈(100)에는 상술한대로 보정 계수 저장부(120)가 추가된다. 그러나, 저장되는 보정 계수는 스테레오 카메라 모듈의 제작 공정에서 모듈마다 추출되므로 보정 계수를 추출하기 위해 별도의 프로세서가 스테레오 카메라 모듈 내부에 들어갈 필요는 없으며, 보정 계수 저장부(120)는 간단한 데이터인 추출된 보정 계수를 저장할 수 있는 수단이면 되므로 스테레오 카메라 모듈 내부의 공간을 많이 차지할 염려도 없다. 즉, 본 발명의 일 실시예에 따른 스테레오 카메라 모듈(100)을 구현하는 데에 있어 추가적인 복잡한 하드웨어는 필요치 않다.
본 발명의 또다른 한 실시예에 따른 스테레오 카메라(도시하지 않음)는 좌측 영상과 우측 영상을 입력받는 카메라부(110), 상기 카메라부가 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부(120)를 포함하는 스테레오 카메라 모듈(100), 및 상기 스테레오 카메라 모듈(100)로부터 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상을 받아들여 소정의 영상 처리를 수행하여 입체 영상을 만드는 보정 IC(도시하지 않음), 상기 입체 영상을 디스플레이하는 디스플레이부(320)를 포함할 수 있다. 그리고 이때, 상기 보정 IC로부터 입체 영상을 받아들여 소정의 영상 처리를 수행하여 상기 디스플레이부에 전달하는 프로세서부(도시하지 않음)를 더 포함할 수 있다.
본 발명의 또다른 한 실시예에 따른 스테레오 카메라는 제작 공정 단계에서 정렬 상태로부터 어긋난 정도를 나타내는 보정 계수를 보정계수 저장부(120)에 저장해둔 스테레오 카메라 모듈(100)을 사용한다는 점에 있어서는 도 3에 도시한 본 발명의 한 실시예에 따른 스테레오 카메라(300)와 동일하다.
그러나, 본 발명의 또다른 한 실시예에 따른 스테레오 카메라는 보정 계수가 추출되어 저장되어 있는 스테레오 카메라 모듈의 보정계수 저장부(120)로부터 보정 계수만 입력받아 영상 보정 및 영상 정합을 담당하는 보정 IC를 포함할 수 있다. 즉, 본 발명의 또다른 한 실시예에 따른 스테레오 카메라는 보정 IC를 완전히 없앤 것이 아니라, 비교예의 보정 IC가 스테레오 카메라 모듈이 포함된 단말기 제작 단계에서 보정계수를 추출하여 저장하고, 그 보정계수로부터 영상을 보정하고, 영상을 정합하는 것과 달리, 영상의 보정 및 영상의 정합만 담당하는 보정 IC를 사용할 수 있다.
이와 같이, 보정 IC를 전혀 사용하지 않고, 상술한 바와 같이 프로세서부의 하드웨어 및 기능을 사용하여 영상 정합 및 영상 보정을 수행하는 것 뿐만 아니라, 보정 IC를 사용하면서, 상기 보정 IC가 영상 보정 및 영상 정합이라는 단순한 기능만 담당하게 할 수도 있다.
본 발명의 또다른 한 실시예에 따른 스테레오 카메라는 본 발명의 한 실시예에 따른 스테레오 카메라(300)와 달리 프로세서부의 하드웨어 및 기능을 사용하지 않으므로 프로세서부의 영상 처리 기능에 전혀 영향을 끼치지 않으면서 입체 영상을 생성할 수 있다. 또한, 보정 IC는 미리 저장되어 있는 보정계수를 읽어들여 영상 보정 작업을 수행하므로 직접 보정 계수를 추출하여 저장하는 구성을 가질 필요가 없다. 따라서, 본 발명의 또다른 한 실시예에 따른 스테레오 카메라의 보정 IC는 그 크기를 줄이고, 구조를 단순화하는 것이 가능하다.
본 발명의 일 실시예에 따른 스테레오 카메라(300)는 스테레오 카메라 모듈(100) 생산 단계에서부터 보정 계수를 추출하여 보정계수 저장부(120)에 저장해 둠으로써 카메라 모듈을 이용하여 단말기를 제작할 경우 단말기 제작자에게 스테레오 카메라 모듈(100)의 카메라 센서의 특성을 정확하게 전달해 줄 수 있다는 장점이 있다. 또한, 보정 계수를 새로 추출하지 않아도 되므로 스테레오 카메라 모듈 단품만으로도 보정 문제에 대응할 수 있다. 그리고 보정 IC를 사용하지 않거나 간소화된 보정 IC를 사용할 수 있으므로 스테레오 카메라의 생산 비용도 절감되는 효과가 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 스테레오 카메라(300)는 그 크기를 작게 할 수 있고, 생산 비용을 절감할 수 있으며, 소비 전력도 줄일 수 있으므로 스테레오 카메라가 적용되는 휴대 전화 단말기, 스테레오 카메라가 적용되는 TV 세트, 스테레오 카메라가 적용되는 영상 보안 솔루션, 스테레오 카메라가 적용되는 비디오 컨퍼런스 솔루션 등에 활용될 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 본 발명의 하나의 실시예에 따른 스테레오 카메라 모듈
110: 카메라부 111: 제1 카메라
112: 제2 카메라 120: 보정계수 저장부
200: 본 발명의 하나의 실시예에 따른 스테레오 카메라
210: 제어부 220: 디스플레이부
300: 본 발명의 하나의 실시예에 따른 스테레오 카메라
310: 프로세서부 311: 인터페이스부
312: 영상보정부 313: 영상정합부
320: 디스플레이부

Claims (16)

  1. 사전에 정해진 간격만큼 이격 배치되어 각각 좌측 영상과 우측 영상을 입력받는 제1 카메라 및 제2 카메라를 포함하는 카메라부; 및
    상기 제1 카메라 및 상기 제2 카메라가 사전 설정된 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부;
    를 포함하는 스테레오 카메라 모듈.
  2. 제1항에 있어서,
    상기 보정계수는 상기 스테레오 카메라 모듈의 제작시 추출되어 저장되는 스테레오 카메라 모듈.
  3. 제1항에 있어서,
    상기 보정계수는 상기 스테레오 카메라 모듈의 제작시 촬영된 기준 영상으로부터 추출되는 스테레오 카메라 모듈.
  4. 제1항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는 사람의 양안거리만큼 이격되어 배치된 스테레오 카메라 모듈.
  5. 좌측 영상과 우측 영상을 입력받는 카메라부, 상기 카메라부가 정렬 상태로부터 벗어난 정도를 나타내는 보정계수가 저장되어 있는 보정계수 저장부를 포함하는 스테레오 카메라 모듈; 및
    상기 보정계수, 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 제어부;
    를 포함하는 스테레오 카메라.
  6. 제5항에 있어서,
    상기 입체 영상을 디스플레이하는 디스플레이부;
    를 더 포함하는 스테레오 카메라.
  7. 제5항에 있어서,
    상기 제어부는 상기 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부를 포함하는 스테레오 카메라.
  8. 제7항에 있어서,
    상기 프로세서부는,
    상기 스테레오 카메라 모듈로부터 상기 좌측 영상 및 상기 우측 영상을 받아들이는 인터페이스부;
    상기 좌측 영상 및 상기 우측 영상을 상기 보정계수에 따라 보정하는 영상보정부;
    보정된 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 영상정합부;
    를 포함하는 스테레오 카메라.
  9. 제8항에 있어서,
    상기 프로세서부는 상기 스테레오 카메라 모듈로부터 받아들인 상기 좌측 영상 및 상기 우측 영상을 저장하는 영상저장부를 더 포함하는 스테레오 카메라.
  10. 제9항에 있어서,
    상기 좌측 영상 및 상기 우측 영상은 상기 인터페이스부로부터 상기 영상저장부로 직접 전송되는 스테레오 카메라.
  11. 제8항에 있어서,
    상기 인터페이스부는 MIPI인 스테레오 카메라.
  12. 제8항에 있어서,
    상기 영상 보정부는 3D 엔진을 사용하여 상기 좌측 영상 및 상기 우측 영상을 보정하는 스테레오 카메라.
  13. 제12항에 있어서,
    상기 3D 엔진은 OpenGL 또는 DirectX인 스테레오 카메라.
  14. 제8항에 있어서,
    상기 영상 정합부는 상기 프로세서부의 하드웨어 가속기를 사용하여 입체 영상을 만드는 스테레오 카메라.
  15. 제8항에 있어서,
    상기 영상 정합부는 사이드-바이-사이드 방식으로 상기 좌측 영상 및 상기 우측 영상으로부터 입체 영상을 만드는 스테레오 카메라.
  16. 제5항에 있어서,
    상기 제어부는,
    상기 스테레오 카메라 모듈로부터 상기 보정계수, 상기 좌측 영상 및 상기 우측 영상을 받아들여 소정의 영상 처리를 수행하여 입체 영상을 만드는 보정 IC;및
    상기 입체 영상에 대해 사전 설정된 영상 처리 작업을 하는 프로세서부;
    를 포함하는 스테레오 카메라.
KR1020110111498A 2011-10-28 2011-10-28 스테레오 카메라 모듈 및 스테레오 카메라 KR20130046857A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110111498A KR20130046857A (ko) 2011-10-28 2011-10-28 스테레오 카메라 모듈 및 스테레오 카메라
US13/357,047 US20130107011A1 (en) 2011-10-28 2012-01-24 Stereo camera module and stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110111498A KR20130046857A (ko) 2011-10-28 2011-10-28 스테레오 카메라 모듈 및 스테레오 카메라

Publications (1)

Publication Number Publication Date
KR20130046857A true KR20130046857A (ko) 2013-05-08

Family

ID=48172017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110111498A KR20130046857A (ko) 2011-10-28 2011-10-28 스테레오 카메라 모듈 및 스테레오 카메라

Country Status (2)

Country Link
US (1) US20130107011A1 (ko)
KR (1) KR20130046857A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482627B2 (en) 2016-09-22 2019-11-19 Samsung Electronics Co., Ltd Method and electronic device for calibration of stereo camera

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965856B2 (en) 2013-10-22 2018-05-08 Seegrid Corporation Ranging cameras using a common substrate
WO2016025962A1 (en) * 2014-08-15 2016-02-18 The University Of Akron Device and method for three-dimensional video communication
US11474254B2 (en) 2017-11-07 2022-10-18 Piaggio Fast Forward Inc. Multi-axes scanning system from single-axis scanner
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
NZ567986A (en) * 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
KR100991804B1 (ko) * 2008-06-10 2010-11-04 유한회사 마스터이미지쓰리디아시아 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법
DE102010027400B4 (de) * 2010-07-15 2020-06-25 Karl Storz Se & Co. Kg Endoskopisches Instrument und Verwendung eines Sternviererkabels

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482627B2 (en) 2016-09-22 2019-11-19 Samsung Electronics Co., Ltd Method and electronic device for calibration of stereo camera

Also Published As

Publication number Publication date
US20130107011A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
US10051258B2 (en) Image processing device, image processing method and image processing computer program product
US9973672B2 (en) Photographing for dual-lens device using photographing environment determined using depth estimation
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
CN103533340B (zh) 移动终端的裸眼3d播放方法和移动终端
CN102917236B (zh) 一种基于单摄像头的立体拍照方法及数码摄像装置
US20120236128A1 (en) Camera body, method for controlling camera body, program, and storage recording medium to store program
JP2010278878A (ja) 立体画像表示装置及びその表示画像切替方法
KR20130046857A (ko) 스테레오 카메라 모듈 및 스테레오 카메라
US20110090318A1 (en) Method for generating 3D image
US9277201B2 (en) Image processing device and method, and imaging device
TW201351959A (zh) 立體全景影像合成方法及其相關之立體攝影機
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
US10250802B2 (en) Apparatus and method for processing wide viewing angle image
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN107077723A (zh) 图像生成装置、图像提取装置、图像生成方法和图像提取方法
US20130050427A1 (en) Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
WO2014119965A1 (ko) 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
TWI524735B (zh) 三維影像產生方法及裝置
US20170061695A1 (en) Wearable display apparatus, information processing apparatus, and control method therefor
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
KR20190032101A (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
US20130088580A1 (en) Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, program, and recording medium on which program is recorded
CN106680996A (zh) 头戴式虚拟现实显示器的显示方法及显示控制系统
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid