KR100974351B1

KR100974351B1 - 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법

Info

Publication number: KR100974351B1
Application number: KR1020090016886A
Authority: KR
Inventors: 하종호; 김종대; 천승문; 정태섭
Original assignee: 주식회사 이시티
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2010-08-06

Abstract

스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법이 개시된다. 스테레오스코픽 카메라 모듈은 각각 좌영상과 우영상을 수신하기 위한 한 쌍의 카메라 센서(camera sensor)와, 한 쌍의 카메라 센서 각각으로부터 입력되는 좌영상 신호와 우영상 신호를 이용하여 스테레오스코픽 영상을 생성하기 위한 입체 프로세서(stereoscopic processor)와, 입체 프로세서로부터 입력되는 스테레오스코픽 영상 신호에 대하여 소정의 영상 처리를 수행하기 위한 영상 신호 프로세서(image signal processor)를 포함한다. 그리고 영상 신호 프로세서는 상기 한 쌍의 카메라 센서를 공동으로 제어할 수 있는데, 적어도 좌영상과 우영상이 시간 동기를 이루도록 한 쌍의 카메라 센서를 제어할 수 있다.

스테레오스코픽 영상, 영상 처리, 영상 신호 프로세서(ISP), 시간 동기

Description

스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법{Stereoscopic camera modules and processing method of stereoscopic image signals therefor}

본 발명은 영상 신호를 수신하여 처리하는 카메라 모듈에 관한 것으로서, 보다 구체적으로 스테레오스코픽 영상 신호를 수신하여 처리하는 스테레오스코픽 카메라 모듈과 이 스테레오스코픽 카메라 모듈에서 스테레오스코픽 영상 신호를 처리하는 방법에 관한 것이다.

최근 3차원 입체 영상에 대한 관심이 높아지면서 다양한 종류의 스테레오스코픽 영상 획득장치와 디스플레이 장치들이 개발되고 있다. 비록 2차원 평면 디스플레이 장치에서 디스플레이되는 영상이라고 하더라도, 실제 피사체를 보는 것과 같이 두 눈에서 다른 영상이 보이도록 한다면 관찰자는 입체감을 느낄 수가 있다. 스테레오스코픽 영상 디스플레이 장치는 이와 같이 2차원 평면 디스플레이 장치를 이용하여 입체 영상을 시청할 수 있도록 하기 위한 것으로서, 관찰자가 특수한 안 경을 착용해야 입체 영상을 볼 수 있는 방식과 안경이 없이도 입체 영상을 볼 수 있는 방식이 있다.

스테레오스코픽 영상 디스플레이 장치에 입체 영상을 디스플레이하기 위해서는 먼저 스테레오스코픽 영상 신호를 획득해야 한다. 스테레오스코픽 영상 신호를 획득하기 위한 한 가지 방법은 하나의 카메라로 획득한 2차원 영상 신호를 3차원 영상 신호로 변환하는 것이다. 이 방법에 의하면, 획득한 2차원 영상에 대하여 소정의 신호 처리를 수행함으로써 스테레오스코픽 영상, 즉 한 쌍의 좌영상과 우영상을 생성한다. 이 방법에 의하면, 하나의 영상에서 좌영상과 우영상을 얻기 때문에, 좌영상과 우영상 사이에 시차(時差)가 발생하지 않는다. 다만, 좌영상과 우영상은 소정의 이미지 신호 프로세싱을 통하여 생성되기 때문에, 실제 눈으로 보는 것과 같은 자연스럽고 안정된 입체감을 갖는 입체 영상을 얻기가 어렵다.

스테레오스코픽 영상을 획득하기 위한 다른 한 가지 방법으로 영상의 획득시에 1쌍의 좌우 카메라를 이용하는 방법이 있다. 이 방법에 의하면, 좌측 카메라와 우측 카메라가 실제 관찰자의 두 눈과 같은 위치에서 피사체를 촬영하기 때문에, 자연스러운 스테레오스코픽 영상을 얻을 수가 있다. 다만, 이 방법은 스테레오스코픽 영상 획득을 위하여 2대의 카메라가 필요할 뿐만 아니라 좌영상과 우영상의 프레임율의 차이 등으로 인하여 좌영상과 우영상 사이에 시차(時差)가 발생할 수 있는 단점이 있다.

도 1은 모노스코픽 카메라 모듈의 구성을 보여 주는 블록도이다. 모노스코픽 카메라 모듈은, 스테레오스코픽 카메라 모듈에 대비되는 것으로, 하나의 렌즈와 하 나의 카메라 센서를 갖는 일반 디지털 카메라 등에 구비되어 있는 영상 신호 획득 장치이다.

도 1을 참조하면, 모노스코픽 카메라 모듈(monoscopic camera module, 100)은 카메라 센서(camera sensor, 110)와 영상 신호 프로세서(Image Signal Processor, ISP, 120)를 포함한다. 카메라 센서(110)는 외부로부터 영상을 입력받는 장치이다. 그리고 영상 신호 프로세서(120)는 카메라 센서(110)에서 획득한 영상 신호에 대하여 소정의 보정을 수행하며, 보정 결과를 토대로 제어 신호를 카메라 센서(110)로 보내서 카메라 센서(110)를 제어한다.

도 2는 기존의 스테레오스코픽 카메라 모듈의 구성을 보여 주는 블록도이다. 기존의 스테레오스코픽 카메라 모듈은 도 1에 도시된 모노스코픽 카메라 모듈 2개를 단순히 결합시킨 것이다.

도 2를 참조하면, 기존의 스테레오스코픽 카메라 모듈(stereoscopic camera module, 200)은 제1 카메라 센서(210a)와 제1 영상 신호 프로세서(ISP1, 220a)를 포함하는 제1 카메라 모듈, 제2 카메라 센서(210b)와 제2 영상 신호 프로세서(ISP2, 220b)를 포함하는 제2 카메라 모듈, 및 입체 프로세서(stereoscopic processor, 230)를 포함한다. 입체 프로세서(230)는 제1 영상 신호 프로세서(220a)와 제2 영상 신호 프로세서(220b)로부터 각각 출력되는 영상 신호를 합성하여, 원하는 포맷의 스테레오스코픽 영상 신호를 생성한다. 예를 들어, 스테레오스코픽 영상 신호는 좌영상 전체와 우영상 전체가 좌우로 나란히 배열되는 포맷이거나 또는 좌영상의 수직 라인과 우영상의 수직 라인이 교대로 배열되는 포맷일 수 있다.

그런데, 도 2에 도시된 것과 같은 기존의 스테레오스코픽 카메라 모듈(200)에서는, 제1 카메라 센서(210a)는 제1 ISP(220a)가 제어하며, 제2 카메라 센서(210b)는 제2 ISP(220b)가 제어한다. 그리고 제1 ISP(220a)와 제2 ISP(220b)는 각각 독립적으로 제1 카메라 센서(210a)와 제2 카메라 센서(210b)를 제어한다. 제1 카메라 센서(210a)와 제2 카메라 센서(210b)가 각각 피사체를 대향하는 방향은 차이가 있으며, 이로 인하여 피사체의 휘도 등과 같은 이미지 정보에 차이가 생기기 때문에, 제1 카메라 센서(210a)와 제2 카메라 센서(210b)는 독립적으로 영상을 수신한다.

그리고 제1 카메라 센서(210a)와 제2 카메라 센서(210b)에서 획득하는 이미지 정보에 차이가 생기면, 제1 ISP(220a)와 제2 ISP(220b)에서 서로 다른 영상 보정을 할 뿐만 아니라 제1 카메라 센서(210a)와 제2 카메라 센서(210b)로 전송하는 제어 신호도 차이가 생긴다. 예컨대, 센서의 감도, 조리개가 열리는 시간 등에 차이가 생기고 프레임율 등에 있어서도 차이가 생긴다. 심한 경우에는, 도 3에 도시된 바와 같이, 좌영상(제1 카메라 센서(210a)를 통해 캡쳐되는 영상)과 우영상(제2 카메라 센서(210b)를 통해 캡쳐되는 영상) 사이에는 시차(時差)가 반복적으로 발생하게 된다.

이와 같이, 좌영상과 우영상을 촬영하는 시간에 차이가 발생하게 되면, 좌영상과 우영상 사이의 불일치는 증가할 수 있다. 왜냐하면, 빛의 유동이 심한 경우에는, 카메라 모듈로 들어오는 빛의 양은 약간의 시간 차이에도 불구하고 상당한 차이를 보일 수가 있기 때문이다. 따라서 좌영상과 우영상 사이에 존재하는 이러한 시차(時差)는 입체 프로세서(230)에서 좌영상과 우영상으로부터 스테레오스코픽 영상을 생성하는데 어려움으로 작용할 수가 있다.

특히, 피사체가 움직일 경우에는 좌영상과 우영상을 촬영하는 시간 차이로 인하여 좌영상과 우영상 사이의 불일치는 더욱 증가할 수가 있다. 도 4는 움직이는 피사체에 대하여 시차를 가지고 촬영된 영상 사이의 불일치 현상을 설명하기 위한 도면으로서, 도 4의 (a)는 공을 들고 있는 피사체의 한 쪽 손이 상하로 움직이는 것을 보여 주는 도면이고, 도 4의 (b)와 (c)는 각각 서로 다른 시간에 제1 카메라 센서(210a)와 제2 카메라 센서(210b)에 촬영된 영상을 보여 주는 도면이며, 도 4의 (d)는 도 4의 (b)와 (c) 영상을 입체 프로세서(230)에서 합성한 영상이다.

도 4의 (b)와 (c)를 참조하면 알 수 있는 바와 같이, 제1 카메라 센서(210a)에 촬영된 좌영상과 제2 카메라 센서(210b)에 촬영된 우영상에는 상당한 차이가 발생할 수 밖에 없다. 그리고 도 4의 (b)와 (c)에 도시된 것과 같은 시차가 존재하는 좌영상과 우영상을 합성하여 입체 영상으로 만들 경우에는, 피사체의 불일치로 인하여 자연스럽고 안정된 입체감을 갖는 영상을 만들기가 어렵다. 그리고 좌우 영상을 분석하여 영상의 특정 부분에 두 카메라의 시점(視點)을 일치시켜주는 자동 컨버젼서(Auto Convergence) 동작에 오차를 발생시켜서 정확한 입체 영상을 생성하기가 어려워서, 도 4의 (d)에 도시된 것과 같은 컨버젼서가 맞지 않는 영상이 만들어 진다. 관찰자가 이러한 컨버젼서가 맞지 않은 합성 영상을 장시간 볼 경우에는 두통, 어지러움 등과 같은 매우 심각한 거부 반응을 일으키게 되어 장시간 감상이 어려운 문제가 발생한다. 따라서 스테레오스코픽 카메라 모듈의 좌측 카메라 센서와 우측 카메라 센서에서 각각 획득되는 좌영상과 우영상의 시간 차이에 따른 문제를 해결할 필요가 있다.

입체 카메라 모듈에 포함되는 좌측 카메라 센서와 우측 카메라 센서에서 각각 영상을 촬영하는 시간차 문제를 해결하기 위한 한 가지 방법으로 내부 메모리를 통한 버퍼링(Buffering)을 고려해볼 수 있다. 이에 의하면, 각 카메라 센서를 통해 획득한 영상을 내부 메모리에 우선 저장한 다음, 입체 프로세서에 입력되는 좌영상과 우영상은 시간차가 최소한이 되도록 한다. 이에 의하면, 특정한 상황에서 좌영상과 우영상 사이의 오차를 축소할 수는 있으나 좌우 영상의 시간 불일치 문제를 근본적으로 해결할 수는 없다. 또한, 최근 카메라의 고해상도 추세에 비추어볼 때, 버퍼링을 위하여 추가로 메모리를 사용하게 되면, 내부 메모리의 용량을 증가시켜야 하기 때문에 제품의 비용을 상승시키는 요인이 된다.

따라서 본 발명이 해결하고자 하는 하나의 과제는 좌측 카메라 센서와 우측 카메라 센서를 각각 구비하는 스테레오스코픽 카메라 모듈에서, 상기 좌측 카메라 센서와 우측 카메라 센서 각각을 통해 획득되는 좌영상과 우영상 사이의 시간 불일치 문제를 해결할 수 있는 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 하나의 과제는 좌측 카메라 센서와 우측 카 메라 센서를 각각 구비하는 스테레오스코픽 카메라 모듈에서, 내부 메모리의 크기를 증가시키지 않으면서도 상기 좌측 카메라 센서와 우측 카메라 센서 각각을 통해 획득되는 좌영상과 우영상 사이의 시간 불일치 문제를 효율적으로 해결할 수 있는 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법을 제공하는 것이다.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오스코픽 카메라 모듈은 각각 좌영상과 우영상을 수신하기 위한 한 쌍의 카메라 센서(camera sensor), 상기 한 쌍의 카메라 센서 각각으로부터 입력되는 좌영상 신호와 우영상 신호를 이용하여 스테레오스코픽 영상을 생성하기 위한 입체 프로세서(stereoscopic processor), 및 상기 입체 프로세서로부터 입력되는 스테레오스코픽 영상 신호에 대하여 소정의 영상 처리를 수행하기 위한 영상 신호 프로세서(image signal processor)를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 영상 신호 프로세서는 상기 한 쌍의 카메라 센서를 공동으로 제어할 수 있다. 이 경우에, 상기 영상 신호 프로세서는 상기 한 쌍의 카메라 센서를 통해 수신한 좌영상과 우영상이 시간 동기를 이루도록 상기 한 쌍의 카메라 센서를 제어할 수 있다. 그리고 상기 영상 신호 프로세서는 상기 스테레오스코픽 영상을 구성하는 상기 좌영상과 상기 우영상에 대하여 독립적으로 영상 처리를 수행할 수도 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 스테레오스코픽 카메라 모듈을 위한 영상신호의 처리방법은 한 쌍의 카메라 센서에서 각각 좌영상과 우영상을 수신하는 수신 단계, 상기 좌영상과 우영상을 이용하여 스테레오스코픽 영상을 생성하는 합성 단계, 상기 스테레오스코픽 영상에 대하여 소정의 신호 처리를 수행하는 신호처리 단계, 및 상기 신호 처리된 스테레오스코픽 영상을 출력하는 출력 단계를 포함한다.

본 발명의 실시예에 의하면, 서로 다른 카메라 센서를 통하여 완벽한 시간 동기가 이루어진 스테레오스코픽 영상을 획득할 수 있기 때문에, 스테레오스코픽 영상의 합성 시에 좌영상과 우영상의 시차(時差)에 따른 문제를 방지할 수가 있다. 특히, 좌영상과 우영상에 시차가 없기 때문에, 컨버젼서 동작의 수행 시간 및 정확도를 향상시켜서, 스테레오 영상의 화질을 향상시킬 수가 있다. 그리고 본 발명의 실시예에 의하면, 동기화를 이루기 위하여 프레임 버퍼를 추가로 사용할 필요가 없으며, 하나의 영상 신호 프로세서만을 사용하면 되기 때문에, 모듈의 구성이 쉽고 신호선의 수를 줄일 수가 있으며 제조 원가를 낮출 수가 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 5는 본 발명의 일 실시예에 따른 스테레오스코픽 카메라 모듈의 구성을 보여 주는 블록도이다. 도 5를 참조하면, 스테레오스코픽 카메라 모듈(300)은 한 쌍의 카메라 센서(310a, 310b), 입체 프로세서(330), 및 영상 신호 프로세서(320)를 포함한다.

한 쌍의 카메라 센서(310a, 310b)는 좌영상(left image)을 촬영하기 위한 제1 카메라 센서(310a)와 우영상(right image)을 촬영하기 위한 제2 카메라 센서(310b)를 포함한다. 한 쌍의 카메라 센서(310a, 310b)는 사람의 두 눈이 피사체를 보듯이 소정의 간격으로 이격되어서 피사체를 촬영하는데, 각각 관찰자의 왼쪽 눈과 오른쪽 눈에 대응한다. 따라서 광원의 방향이나 종류, 피사체의 형상, 피사체의 표면 모양 등에 따라서, 제1 카메라 센서(310a)와 제2 카메라 센서(310b)에서 촬영되는 피사체의 밝기나 색감, 명암 대비 등은 차이가 있을 수가 있다.

일반적으로 스테레오스코픽 카메라 모듈에서 한 쌍의 카메라 센서는 별개의 영상 신호 프로세서에 의하여 독립적으로 제어된다. 예를 들어, 피사체가 상대적으로 어둡게 촬영되는 카메라 센서에서는, 프레임율을 떨어뜨려서 한 프레임당 광을 받아들이는 시간을 증가시키도록 영상 신호 프로세서가 해당 카메라 센서를 제어한다. 반면, 피사체가 상대적으로 밝게 촬영되는 카메라 센서에서는, 프레임율을 증가시켜서 한 프레임당 광을 받아들이는 시간을 증가시키도록 영상 신호 프로세서가 해당 카메라 센서를 제어한다.

하지만, 본 발명의 실시예에 의하면, 제1 카메라 센서(310a)와 제2 카메라 센서(310b)는 하나의 영상 신호 프로세서(320)로부터 출력되는 1개의 제어 신호(control signal)에 의하여 제어될 수 있다. 상기 제어 신호는 적어도 제1 카메라 센서(310a)와 제2 카메라 센서(310b)에서 각각 영상을 촬영하는 시간을 일치시키기 위한 동기화 신호(synchronization signal)를 포함한다. 이와 같이, 본 발명의 실시예에 따른 스테레오스코픽 카메라 모듈에서는, 1개의 동기화 신호를 이용하여 제1 및 제2 카메라 센서(310a, 310b)를 공동으로 제어하기 때문에, 좌영상과 우영상의 동기화를 위하여 촬영된 영상을 버퍼링하기 위한 별도의 내부 메모리를 이용할 필요가 없다.

도 6은 본 발명의 실시예에 따라서, 하나의 동기화 신호로 제1 카메라 센서(310a)와 제2 카메라 센서(310b)를 제어한 경우의 좌영상과 우영상 사이의 시차(時差)를 도식적으로 보여 주는 다이어그램이다. 도 6을 참조하면, 본 발명의 실시예에 의하면, 제1 카메라 센서(310a)와 제2 카메라 센서(310b) 사이에서 동기화가 이루어져서, 좌영상과 우영상 사이에는 시차(時差)가 없다는 것을 알 수 있다.

그리고 영상 신호 프로세서(320)로부터 출력되어 제1 및 제2 카메라 센서(310a, 310b)로 입력되는 상기 1개의 제어 신호는, 제1 카메라 센서(310a)와 제2 카메라 센서(310b)의 동작, 예컨대 센서의 수신 감도나 조리개가 열리는 크기와 시간, 그리고 프레임율 등도 공동으로 제어하기 위한 것일 수 있다. 하지만, 본 실시예가 여기에만 한정되는 것은 아니며, 센서의 수신 감도나 조리개가 열리는 크기나 열리는 시간 등에 대해서는, 각각의 카메라 센서(310a, 310b)에 대하여 독립적으로 제어가 이루어지도록, 영상 신호 프로세서(320)로부터 출력되는 제어 신호가 각 카메라 센서에 대하여 구분될 수도 있다. 하지만, 이 경우에도 제어 신호 중에서 동기화 신호는 양쪽 카메라 센서에 대하여 공동으로 사용된다.

계속해서 도 5를 참조하면, 제1 카메라 센서(310a)와 제2 카메라 센서(310b)에서 촬영된 좌영상과 우영상은 영상 신호 프로세서(ISP)를 거치지 않고 먼저 입체 프로세서(330)로 입력된다. 본 발명의 실시예에 의하면, 입체 프로세서(330)로 입력되는 좌영상과 우영상은 촬영 시간에 있어서 차이가 없는 동기화된 영상이며, 입체 프로세서(330)는 이러한 동기화된 좌영상과 우영상을 가지고 스테레오스코픽 영상을 생성한다. 따라서 본 발명의 실시예에 따라서 생성된 스테레오스코픽 영상은, 좌영상과 우영상의 시차(時差)에 따른 부자연스러움이나 불일치 문제를 해결할 수가 있으며 특히 움직이는 피사체라고 하더라도 오차가 생기지 않는다. 그리고 좌영상과 우영상에 시간 차이가 없으므로, 자동 컨버젼서 동작의 수행 시간 및 정확도가 향상되어 스테레오스코픽 영상의 품질을 향상시킬 수가 있다.

입체 프로세서(330)에서는 기존의 입체 프로세서(도 2의 참조 번호 230 참고)와 마찬가지로 좌영상과 우영상을 이용하여 스테레오스코픽 영상을 생성한다. 본 발명의 실시예에 의하면, 입체 프로세서(330)에서 스테레오스코픽 영상을 생성 하는 절차나 알고리즘에 대해서는 아무런 제한이 없으며, 기존의 알고리즘이 사용되거나 또는 이후에 새롭게 개발될 알고리즘이 모두 사용될 수 있다.

입체 프로세서(330)에서 생성되어 영상 신호 프로세서(320)로 출력되는 스테레오 스코픽 영상 신호는, 좌영상과 우영상이 각각 좌측과 우측에 위치한 분리 합성 영상이거나 또는 좌영상의 수직 라인과 우영상의 수직 라인이 교대로 배열된 통합 합성 영상일 수 있다. 전자의 경우에, 영상 신호 프로세서(320)는 분리 합성 영상을 구성하는 좌영상과 우영상을 각각 독립적으로 소정의 영상 처리를 수행한 다음, 저장 수단이나 디스플레이 장치로 출력하기 전에 통합 합성 영상으로 변형할 수 있다. 다만, 본 발명의 실시예가 여기에만 한정되는 것은 아니며, 영상 신호 프로세서(320)는 분리 합성 영상을 구성하는 좌영상과 우영상에 대하여 공동으로 소정의 영상 처리를 수행할 수도 있다. 반면, 후자의 경우에 영상 신호 프로세서(320)는 통합 합성 영상을 하나의 영상으로 간주하고 소정의 영상 처리를 수행할 수 있다.

영상 신호 프로세서(320)에서 수행하는 영상 처리의 내용이나 방법은 특별한 제한이 없으며, 기존의 영상 신호 프로세서(예컨대, 도 1이나 도 2의 영상 신호 프로세서)에서의 영상 처리 내용이나 방법과 동일할 수 있다. 그리고 영상 신호 프로세서(320)에서의 처리 내용에 기초하여 생성된 제어 신호는 제1 및 제2 카메라 센서(310a, 310b)를 제어하도록 출력된다. 그리고 영상 처리된 스테레오스코픽 영상은 출력되어 스테레오스코픽 카메라 모듈의 저장 장치(도시하지 않음)에 저장되거나 및/또는 디스플레이 장치(도시하지 않음)를 통해 출력된다.

이와 같이, 본 발명의 실시예에 따른 스테레오스코픽 카메라 모듈에서는, 하나의 영상 신호 프로세서(320)를 이용하여 한 쌍의 카메라 센서(310a, 310b)를 모두 제어한다. 즉, 한 쌍의 카메라 센서(310a, 310b)는 하나의 영상 신호 프로세서(320)에서 출력되는 제어 신호를 공동으로 사용할 수 있다. 따라서 본 발명의 실시예에 의하면, 프레임 버퍼 등과 같은 추가의 내부 메모리를 사용하지 않고서도 좌영상과 우영상 사이에 완벽한 시간 동기화가 이루어져서, 스테레오스코픽 영상을 합성할 경우에 좌우 영상의 시차(時差)에 따른 영상 불일치로 인하여 발생하는 문제점을 해결할 수가 있다. 그리고 컨버젼스 동작의 수행 시간 및 정확도가 향상되어 스테레오스코픽 영상의 품질도 개선할 수가 있다.

그리고 본 발명의 실시예에 의하면, 하나의 영상 신호 프로세서만 사용되기 때문에, 각각의 카메라 센서마다 영상 신호 프로세서가 구비되는 기존의 스테레오스코픽 카메라 모듈에 비하여, 모듈의 구성의 간단할 뿐만 아니라 제조 단가를 낮출 수가 있다. 그리고 카메라 모듈을 외부와 연결할 때 사용되는 신호선의 수도 절반으로 감소시킬 수가 있다. 뿐만 아니라, 본 발명의 실시예에 따른 스테레오스코픽 카메라 모듈에서는 영상 신호 프로세서뿐만 아니라 자동 초점(auto focus) 기능을 가진 센서 콘트롤러 등도 한 쌍의 카메라 센서(310a, 310b)에 공용으로 사용할 수가 있으며, 입체 프로세서(330)가 영상 신호 프로세서(320)에 내장되게 카메라 모듈을 구성할 수도 있다.

도 7은 본 발명의 실시예에 따른 스테레오스코픽 카메라 모듈을 위한 영상 신호의 처리방법을 보여 주는 흐름도이다. 도 7에 도시된 흐름도는 도 5에 도시된 스테레오스코픽 카메라 모듈에서의 영상 신호의 처리방법일 수 있다. 이하에서는, 불필요한 중복 설명을 피하기 위하여, 영상신호의 처리방법에 대해서는 간략히 설명하기로 한다.

도 7을 참조하면, 우선 한 쌍의 카메라 센서에서 각각 좌영상과 우영상을 수신한다(S10). 상기 한 쌍의 카메라 센서는 공동의 제어 신호에 의하여 제어될 수 있는데, 특히 동기화 신호는 공동으로 사용된다. 따라서 단계 S10에서 획득한 좌영상과 우영상은 적어도 동기화가 이루어진 영상 신호이다.

그리고 수신된 좌영상과 우영상을 합성하여 스테레오스코픽 영상을 생성한다(S20). 즉, 본 발명의 실시예에서는 ISP에서 영상 신호를 처리하기 이전에 먼저 스테레오스코픽 영상을 생성한다. 생성된 스테레오스코픽 영상은 분리 합성 영상이거나 또는 통합합성영상일 수 있다.

그리고 생성된 스테레오스코픽 영상에 대하여 소정의 영상 처리를 수행한다(S30). 영상 처리는 외부에서 미리 설정된 영상 특성(예컨대, 사용자가 설정한 촬영 모드)에 맞도록 영상을 보정하거나 또는 스테레오스코픽 영상의 화질을 개선하기 위한 임의의 처리 과정이 될 수 있다. 이러한 영상 처리의 도중이나 또는 영상 처리 후에, 한 쌍의 카메라 센서를 공동으로 제어하는 제어 신호를 생성하여 출력할 수 있다. 이 제어 신호는 단계 S10에서 한 쌍의 카메라 센서가 좌우 영상을 획득하는데 있어서 필요한 신호로 사용된다.

계속해서, 영상 처리된 스테레오스코픽 영상은 카메라 모듈의 외부로 출력된다(S40). 출력되는 스테레오스코픽 영상 신호는 내부의 메모리에 저장되거나 및/또 는 소정의 디스플레이 장치를 통해 외부로 디스플레이될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

도 1은 모노스코픽 카메라 모듈의 구성을 보여 주는 블록도이다.

도 2는 기존의 스테레오스코픽 카메라 모듈의 구성을 보여 주는 블록도이다.

도 3은 도 2의 스테레오스코픽 카메라 모듈을 사용할 경우에 좌영상과 우영상 사이에는 발생할 수 있는 시차(時差)를 보여 주는 그래프이다.

도 4는 움직이는 피사체에 대하여 시차를 가지고 촬영된 영상 사이의 불일치 현상을 설명하기 위한 도면이다.

도 5는 본 발명의 일 실시예에 따른 스테레오스코픽 카메라 모듈의 구성을 보여 주는 블록도이다.

도 6은 도 5의 스테레오스코픽 카메라 모듈을 사용할 경우에 좌영상과 우영상 사이에서 시차(時差)가 없어지는 것을 도식적으로 보여 주는 그래프이다.

도 7은 본 발명의 실시예에 따른 스테레오스코픽 카메라 모듈을 위한 영상 신호의 처리방법을 보여 주는 흐름도이다.

Claims

각각 좌영상과 우영상을 수신하기 위한 한 쌍의 카메라 센서(camera sensor);

상기 한 쌍의 카메라 센서 각각으로부터 입력되는 좌영상 신호와 우영상 신호를 이용하여 스테레오스코픽 영상을 생성하기 위한 입체 프로세서(stereoscopic processor); 및

상기 입체 프로세서로부터 입력되는 스테레오스코픽 영상 신호에 대하여 소정의 영상 처리를 수행하기 위한 영상 신호 프로세서(image signal processor)를 포함하고,

상기 영상 신호 프로세서는 상기 스테레오스코픽 영상을 구성하는 상기 좌영상과 상기 우영상에 대하여 독립적으로 영상 처리를 수행하는 것을 특징으로 하는 스테레오스코픽 카메라 모듈.
제1항에 있어서,

상기 영상 신호 프로세서는 상기 한 쌍의 카메라 센서를 공동으로 제어하는 것을 특징으로 하는 스테레오스코픽 카메라 모듈.
제2항에 있어서,

상기 영상 신호 프로세서는 상기 한 쌍의 카메라 센서를 통해 수신한 좌영상과 우영상이 시간 동기를 이루도록 상기 한 쌍의 카메라 센서를 제어하는 것을 특징으로 하는 스테레오스코픽 카메라 모듈.
삭제
제1항에 있어서,

상기 입체 프로세서는 상기 영상 신호 프로세서에 내장되는 것을 특징으로 하는 스테레오스코픽 카메라 모듈.
한 쌍의 카메라 센서에서 각각 좌영상과 우영상을 수신하는 수신 단계;

상기 좌영상과 우영상을 이용하여 스테레오스코픽 영상을 생성하는 합성 단계;

상기 스테레오스코픽 영상에 대하여 소정의 신호 처리를 수행하는 신호처리 단계; 및

상기 신호 처리된 스테레오스코픽 영상을 출력하는 출력 단계를 포함하고,

상기 신호처리 단계는 상기 스테레오스코픽 영상을 구성하는 상기 좌영상과 상기 우영상에 대하여 독립적으로 영상 처리를 수행하는 것을 특징으로 하는 스테레오스코픽 카메라 모듈을 위한 영상신호의 처리방법.
제6항에 있어서,

상기 신호처리 단계는 상기 한 쌍의 카메라 센서를 공동으로 제어하기 위한 제어 신호를 상기 한 쌍의 카메라 센서로 전송하는 것을 포함하는 스테레오스코픽 카메라 모듈을 위한 영상신호의 처리방법.
제7항에 있어서,

상기 제어 신호는 상기 한 쌍의 카메라 센서를 통해 수신한 좌영상과 우영상이 시간 동기를 이루도록 상기 한 쌍의 카메라 센서를 제어하기 위한 신호인 것을 특징으로 하는 스테레오스코픽 카메라 모듈을 위한 영상신호의 처리방법.
삭제