KR100755020B1

KR100755020B1 - 와이유브이 컬러 시스템의 양안 입체 카메라 및 그카메라를 이용한 입체영상 디스플레이 방법과 입체영상처리방법

Info

Publication number: KR100755020B1
Application number: KR1020050086817A
Authority: KR
Inventors: 양필수; 장상만; 페트로브 드미트리
Original assignee: 주식회사 후후
Priority date: 2005-09-16
Filing date: 2005-09-16
Publication date: 2007-09-06
Also published as: KR20070032515A

Abstract

본 발명은 와유브이(YUV) 컬러 시스템을 사용하는 양안식 입체 카메라와 그 카메라에서 촬영된 영상을 이용하여 합성되는 입체 영상의 디스플레이 및 처리방법에 관한 것으로, 특히 좌, 우 이미지 센서를 90도 회전시켜 수직으로 평행하게 배열하고, 상기 이미지 센서로부터 얻어진 영상을 라인 바이 라인(Line by Line) 입체영상 포맷으로 합성하여 다시 90도 회전시켜 디스플레이 함으로써 입체 영상 디스플레이시 영상의 컬러 손실을 막을 수 있는 디스플레이 수단을 갖는 양안 입체 카메라와; 그 양안식 입체 카메라의 디스플레이 수단을 이용하여 2 라인 바이 2 라인(2 line by 2 line) 방식에 의해 입체영상을 합성하여 그 입체영상을 저장하고 1/2의 크기로 스케일링하여 입체영상을 제공함으로써 입체영상 저장 시의 컬러손실을 최소화할 수 있는 입체영상 디스플레이 방법과; 이미 합성된 입체영상을 좌,우 이미지로 분리한 후 각각을 재결합하여 사이드 바이 사이드(Side by Side) 방식 또는 톱 앤 버텀(Top and bottom) 방식의 입체영상 포맷으로 구현함으로써 입체영상의 확대, 축소 등의 이미지 스케일링(Scaling) 작업시의 컬러 손실을 최소화하는 입체영상 처리방법을 제공한다.

와이유브이 컬러 시스템, 입체영상, 디스플레이 방법, 영상처리 방법

Description

와이유브이 컬러 시스템의 양안 입체 카메라 및 그 카메라를 이용한 입체영상 디스플레이 방법과 입체영상 처리방법{Both Eyes 3D Camera of YUV Colour System and 3D Image Display and Processing Method Using The Same}

도1a 내지 도1c는 양안 입체 카메라인 평행축 방식, 교차축 방식, 그리고 수평이동축 방식 입체 카메라의 원리를 순차적으로 나타낸 도면.

도2는 종래의 입체영상 합성방법의 실시예들을 나타낸 도면.

도3은 종래의 무안경식 렌티큘러 입체 디스플레이 방식의 원리를 나타낸 도면.

도4는 종래의 무안경식 패럴랙스 배리어 입체 디스플레이 방식의 원리를 나타낸 도면.

도5a 및 도5b는 종래의 입체영상 획득 및 입체영상 디스플레이 방법에 관한 실시예들을 영상을 기준으로 순차적으로 나타낸 도면.

도6은 종래의 입체영상의 확대 및 축소에 대한 일반적인 방법을 나타낸 도면.

도7은 본 발명에 따른 YUV 컬러 시스템에 사용되는 양안 입체 카메라의 실시예를 나타낸 도면.

도8a 및 도8b는 본 발명에 따른 입체영상 디스플레이 방법의 실시예들을 영상을 기준으로 순차적으로 나타낸 도면.

도9는 본 발명에 따른 영상장치의 정상상태, 저장, L/L 합성, 디스플레이 시의 영상정보에 대한 실시예들을 픽셀에 포함된 컬러신호를 기준으로 구분하여 나타낸 도면.

도10은 본 발명에 따른 입체영상 스케일링 방법의 실시예를 나타낸 도면.

<도면의 주요부분에 대한 부호의 설명>

10,10',20,20',30,30',40,40': 카메라

11,11',21,21',32,32': 이미지 센서

31,31': 렌즈 41 : 입체영상 합성부

42 : 이미지 저장부 43 : 이미지 프로세서

44 : LCD

본 발명은 와유브이(YUV) 컬러 시스템을 사용하는 양안식 입체 카메라와 그 카메라에서 촬영된 영상을 이용하여 합성되는 입체 영상의 디스플레이 및 처리방법에 관한 것으로, 특히 좌, 우 이미지 센서를 90도 회전시켜 수직으로 평행하게 배열하고, 상기 이미지 센서로부터 얻어진 영상을 라인 바이 라인(Line by Line) 입 체영상 포맷으로 합성하여 다시 90도 회전시켜 디스플레이함으로써 입체 영상 디스플레이시 영상의 컬러 손실을 막을 수 있는 디스플레이 수단을 갖는 양안 입체 카메라와; 그 양안식 입체 카메라의 디스플레이 수단을 이용하여 2 라인 바이 2라인(2 line by 2 line) 방식에 의해 입체영상을 합성하여 그 입체영상을 저장하고 1/2의 크기로 스케일링하여 입체영상을 제공함으로써 입체영상 저장 시의 컬러손실을 최소화할 수 있는 입체영상 디스플레이 방법과; 이미 합성된 입체영상을 좌,우 이미지로 분리한 후 각각을 재결합하여 사이드 바이 사이드(Side by Side) 방식 또는 톱 앤 버텀(Top and bottom) 방식의 입체영상 포맷으로 구현함으로써 입체영상의 확대, 축소 등의 이미지 스케일링(Scaling) 작업시의 컬러 손실을 최소화하는 입체영상 처리방법을 제공한다.

일반적으로 입체영상 시스템은 관찰자에게 입체감을 느끼게 하기 위해 양안 시차(binocular parallax)를 갖는 입체 카메라를 사용하여 영상을 획득한다. 이러한 입체 카메라로 지금까지 사용되어온 가장 일반적인 것이 양안 입체 카메라이다.

상기 양안 입체 카메라는 기본적으로 양안 시차 기능을 만족하고, 좌우 2차원 영상을 촬영할 수 있도록 구성되며, 도1a 내지 도1c에 도시된 바와 같이 영상 센서의 배열 방법에 따라 다양한 양안 입체 카메라의 구성이 가능하다.

도1a는 평행축(Parallel Axis) 방식 입체 카메라의 구현원리를 나타낸 것으로, 광축이 고정된 렌즈를 갖는 좌우 카메라(10,10')와 상기 좌우 카메라 내부에 각각 설치된 영상센서(11,11')로 구성된다. 또한, 도1b는 교차축(Cross Axis) 방식 입체 카메라의 구현원리를 나타낸 것으로, 일정한 간격으로 설치된 좌우측 카메라(20,20')를 물체가 위치한 방향으로 회전시켜 물체의 영상이 좌우 영상센서(21,21')의 중심에 오도록 물체의 주시각을 렌즈의 광축과 일치하도록 구성된다. 또한, 도1c는 수평 이동축(Parallel Moving Asix) 방식의 입체 카메라의 구현원리를 나타낸 것으로, 일정한 간격으로 설치된 좌우측 카메라(30,30')와 좌우측 렌즈들(31,31')을 서로 분리하여 촬영할 물체의 거리에 따라 렌즈 또는 카메라를 좌우측으로 일정 거리만큼 수평하게 이동시켜 카메라 내부의 영상센서(32,32')의 중심에 주시각에 매칭이 되도록 조정해 줌으로써 주시각을 제어한다.

상기 양안 입체 카메라의 좌우센서로부터 촬영된 2장의 2D 영상은 입체영상 합성방법(Muxing)을 통해 1장의 3D 영상으로 합성된다. 현재 사용되고 있는 대표적인 입체영상 합성방법에는 L/L(Line by Line) 방식, P/P(Pixel by Pixel) 방식, C/C(Column by Column) 방식, 사이드 바이 사이드 방식(side by side), 톱 앤 버텀(top and bottom) 방식, 그리고 2색 입체사진(anaglyph) 방식 등이 있다. 그러나 상기 각각의 방법은 용도에 따라 특성이 달라질 수 있기 때문에 선택적으로 사용하는 것이 바람직하다.

도2는 상기 입체영상 합성방법 중 L/L방식(a), C/C 방식(b), 그리고 P/P 방식(c), 사이드 바이 사이드 방식(d), 톱 앤 버텀 방식(e), 그리고 2색 입체사진 방식(f)을 나타낸 것으로, 상기 방법들 중 L/L 방식, P/P 방식, 그리고 C/C 방식은 주로 이미지 디스플레이를 위해 사용된다. 또한, 사이드 바이 사이드 방식과 톱 앤 버텀 방식은 주로 촬영된 영상을 육안으로 확인하기 위해 사용되고, 경우에 따라서는 저장을 목적으로 사용되기도 한다. 또한, 입체영상을 저장하기 위해 사용되는 다른 방법으로는 프레임 바이 프레임(frame by frame)방식이 있으며, 이 방식은 좌우 영상을 프레임 별로 따로 압축하여 저장하는 방식이다. 또한, 상기 2색 입체사진 방식은 RGB(Red Green Blue) 값의 원본 2D 이미지에서 좌(적색), 우(청색, 녹색) 서로 다른 색상의 이미지를 추출하여 합성하고, 상기 추출된 영상은 적·청(red : blue or cyan) 또는 녹·자(green : magenta) 필터로 제작된 안경을 통해 시차를 갖는 입체 영상으로 투시된다.

상술한 바와 같이, 현재까지 실시되고 있는 입체영상 구현방법은 주로 안경에 의존하는 방법과 안경을 쓰지 않고 입체영상을 관찰할 수 있는 무안경식 방법이 있으며, 두 개 이상의 영상을 다양한 방법으로 합성하여 입체를 구현하는 방법을 사용하고 있다. 상기 무안경식 입체 디스플레이 방법은 주로 빛의 회절(diffraction), 굴절(refraction), 반사(reflection), 차단(occlusion)에 의한 방법이 사용되고 있으며, 이중 가장 대표적인 방법으로 굴절에 의한 렌티큘러(lenticular) 방식과 차단에 의한 패럴랙스 배리어(Parallax barrier) 방식이 있고, 현재까지는 렌티큘러 방식보다 페렐랙스 배리어 방식이 우수한 것으로 평가되고 있다.

상기 렌티큘러 방식과 페럴랙스 배리어 방식 모두 양안시차를 얻기 위해 수직으로 나란히 배치된 구조를 갖고 있으나, 페럴랙스 배리어 방식은 배리어를 통해 빛을 차단함으로서 좌우 양안시차를 갖도록 하는 방식이기 때문에 일반 LCD와 비교 하여 40% 정도의 밝기밖에 갖지 못한다는 단점이 있다. 그렇기 때문에 충분한 광량을 지원할 수 있는 백라이트(LED 등)가 지원되어야 한다는 문제점이 있다. 렌티큘러 방식의 경우는 양안시차를 갖기 위해 정밀한 렌즈의 제작이 필요하다는 문제점이 있었다. 도3은 상기 렌티큘러 방식의 입체 디스플레이 원리를 적용한 실시예를 나타낸 것이며, 도4는 상기 페럴랙스 배리어 방식의 입체 디스플레이 원리를 적용한 실시예를 나타낸 것이다.

본 발명의 입체영상 디스플레이 및 영상처리 방법을 적용하기 위한 와유브이(YUV) 컬러 인코딩 시스템은 유럽 등에서 사용되는 PAL(Phase Alternation Line) 방식의 아날로그 TV 디스플레이 표준에 사용되는 컬러 표현 방식이다. 또한, 미국, 일본, 한국 등에서 사용되는 NTSC(National Television Standards Committee) 시스템에서는 와이아이큐(YIQ) 컬러 인코딩 시스템이 사용된다. 또한 통상적인 방송용 컬러 시스템과 컴퓨터 시스템에서 사용되는 컬러 시스템은 약간의 차이가 있으며, YUV 컬러 시스템으로부터 발생된 YCbCr(디지털), YPbPr(아날로그)이 컴퓨터 시스템용 컬러 시스템으로 사용되고 있다. 상기 YUV 컬러 시스템의 Y는 통상 밝기(luminance) 정보를 나타내며, U와 V는 색신호(chrominance)를 나타낸다. 즉 Y는 RGB 값을 포함하는 원본 영상의 밝기(brightness)에 대한 정보를 10단계로 구분된 무채색정보(gray scale)로 나타낸 것이고, U는 청색(Blue) 신호에서 밝기(Y)를 뺀 값이며, V는 적색(Red) 신호에서 밝기를 뺀 값이다.

상기 패럴랙스 배리어 방식과 렌티큘러 방식을 적용한 대표적인 입체영상 장치가 이동통신 단말기용 입체 카메라이다. 그리고 현재 사용되고 있는 대부분의 이 동통신 단말기용 카메라 시스템은 YUV 컬러 시스템을 사용하고 있다.

또한 지금까지 개발되어온 이동통신 단말기용 입체영상 시스템들 역시 YUV 컬러 시스템 상에서 입체영상을 합성하고 페럴랙스 배리어 LCD 디스플레이를 통해 입체영상을 디스플레이하는 방식으로 연구가 진행되고 있다.

도5a 내지 도5b는 종래의 입체 영상 합성방법을 사용한 입체영상 디스플레이 방법을 나타낸 것이다.

먼저, 도5a는 종래 사용되고 있는 P/P 또는 C/C 포맷 방식의 입체 이미지 합성방법을 사용한 입체영상 시스템의 디스플레이 방법을 나타낸 것으로, 통상의 이동통신 단말기들은 YUV 4:2:2 컬러 시스템을 사용하기 때문에 이미지 센서로부터 얻어진 비디오 신호는, YUV 4:2:2 비디오 스트림 데이터 : U₁₁Y₁₁V₁₁-Y₁₂-U₁₃Y₁₃V₁₃-Y14-U₁₅Y₁₅V₁₅-Y₁₆-…과 같이 1픽셀에 걸쳐 한 번씩 컬러정보(U, V 값)를 갖게 된다. 그리고 LCD에 디스플레이를 위해 사용될 좌우 채널의 영상데이터 값은,

Left Channel : U₁₁Y₁₁V₁₁-U₂₁Y₂₁V₂₁-U₃₁Y₃₁V₃₁-…,

Right Channel : Y₁₂-Y₂₂-Y₃₂-… 이 되며, 이 경우 오른쪽 카메라(Right channel)로부터 얻어진 영상은 컬러정보를 포함하지 않게 된다.

따라서, P/P 또는 C/C 방식으로 입체영상을 합성하게 되면 LCD에 컬러 정보 구현 시에 한 채널 또는 두 채널 모두에서 컬러 정보가 손실되어 영상이 부정확해지는 현상이 나타나게 된다는 문제점이 있었다.

또한, 도5b는 YUV 4:2:2 컬러 시스템에서 L/L 포맷으로 입체영상을 합성하여 디스플레이하는 경우를 나타낸 것으로, 이 경우에 LCD에 디스플레이를 위해 사용될 좌우 영상채널 값은,

Left Channel :U₁₁Y₁₁V₁₁-Y₁₂-U₁₃Y₁₃V₁₃-Y₁₄-U₁₅Y₁₅V₁₅-Y₁₆-…

Right Channel : U₂₁Y₂₁V₂₁-Y₂₂-U₂₃Y₂₃V₂₃-Y₂₄-U₂₅Y₂₅V₂₅-Y₂₆-…이다

즉, 컬러정보를 포함하지 않는 픽셀은 주변 픽셀의 컬러 정보를 토대로 근사한 컬러 값을 추정할 수 있게 된다. 하지만 이처럼 L/L 포맷으로 입체영상을 합성할 경우 컬러 정보는 획득할 수 있게 되지만 LCD에 디스플레이 시에 전체 이미지가 90도 회전된 영상이 나타나게 된다는 문제점이 있으며, LCD 액정을 반대로 90도 회전시킨다 하더라도 양안시차를 얻을 수 없는 배치가 되기 때문에 입체영상을 관측할 수 없게 되는 결과가 초래된다는 문제점이 있었다.

다음에 도6은 종래에 일반적으로 사용되는 이미지 스케일링(확대 및 축소) 방법을 나타낸 것으로, 이 방법은 픽셀들간의 평균값을 사용하여 영상을 확대하거나 픽셀값을 삭제하여 영상을 축소하게 된다. 하지만 이 방법을 입체영상 스케일링에 사용할 경우 비교 값으로 사용될 두 픽셀은 서로 다른 채널의 영상이기 때문에 정확한 평균값을 추정한다거나 어느 픽셀 하나를 제거하는 방법을 사용할 수 없고, 상기 YUV 컬러 시스템에서 L/L 또는 C/C, P/P 방식으로 합성된 입체영상을 확대하거나 축소하는 과정에서 역시 동일한 컬러 손실 및 부정확한 컬러가 발생한다는 문제점이 있었다.

또한 일반적으로 YUV 컬러 시스템에서 이미지 저장을 위해서 JPEG 압축엔진 을 사용하고 있는데, 통상 JPEG 압축엔진을 거쳐 이미지가 압축이 되면 YUV 4:2:0 의 컬러 포맷을 갖게 되며, 도9의 세 번째 이미지(90c)와 같이 4개의 픽셀 중 하나의 픽셀만이 컬러 정보를 포함하게 된다. 이 경우 통상적인 1 Line by 1 Line 포맷으로 입체영상을 합성하면 좌 또는 우 채널 중 한 채널의 컬러 정보가 손실 될 수 있는 문제점이 있었다.

따라서 본 발명은 상술한 YUV 컬러 시스템을 사용하는 입체영상 장치에서, 양안 입체 카메라를 통해 촬영된 영상을 입체 영상으로 합성하고 이를 수직구조 패턴을 갖는 패럴랙스 배리어 LCD(또는 수직구조 렌티큘러 LCD)에 디스플레이 할 때 발생하는 컬러 손실 문제를 해결하기 위한 방법을 제공하는 것을 목적으로 한다.

또한, YUV 컬러 시스템에서 L/L 방식의 입체영상의 저장 시에 발생하는 컬러손실 문제 및 L/L 방식의 입체영상 스케일링(확대, 축소) 시에 발생하는 컬러 손실 문제를 최소화하는 방법을 제공하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은 좌우 카메라 각각에 이미지 센서가 내장된 양안식 입체 카메라에 있어서, 좌측 또는 우측의 동일한 방향으로 90도 회전하여 수직하게 배열된 좌우 이미지 센서와; 상기 센서에 촬상된 이미지를 이용하여 입체영상을 합성하는 입체영상 합성부와, 상기 합성된 입체영상을 저장하는 메모리와, 상기 합성된 이미지를 JPEG 압축 및 이미지 프로세싱을 하기 위한 JPEG 압축 엔진과 이미지 프로세싱 기능을 내장한 이미지 프로세서와; 상기 JPEG 압축 및 이미지 프로세싱된 입체영상을 표시하기 위한 디스플레이수단을 포함하는 것을 특 징으로 하는 YUV 컬러 시스템의 양안 입체 카메라를 제공한다.

또한, 본 발명은 양안 입체 카메라를 통해 촬영한 2D 이미지를 이용하여 합성된 입체영상을 디스플레이하는 방법에 있어서, 상기 양안식 입체 카메라의 좌우 이미지 센서를 동일한 방향으로 90도 회전시켜 수직하게 배열하는 단계와; 상기 이미지 센서에 촬영된 2D 이미지를 L/L 방식으로 포맷시켜 합성하는 단계와; 상기 합성된 영상을 상기 이미지 센서가 회전한 방향과 같은 방향으로 90도 회전시켜 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 입체영상 디스플레이 방법을 제공한다.

또한, 상기 양안 입체 카메라를 통해 촬영한 2D 이미지를 이용하여 합성된 입체영상을 확대 또는 축소하기 위한 영상처리 방법에 있어서, 합성된 입체영상을 좌우 채널로 분리하는 단계와; 상기 분리된 영상 각각을 재결합하여 사이드 바이 사이드 방식의 입체영상 포맷으로 재구현하는 단계와; 상기 재구현된 입체영상의 스케일링(확대 또는 축소)을 수행하는 단계와; 상기 스케일링된 입체영상을 다시 L/L 입체영상 포맷으로 합성하여 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 입체영상 처리방법을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

도7은 본 발명에 따른 YUV 컬러 시스템에 사용되는 양안 입체 카메라의 한 실시예를 개략적으로 나타낸 것으로, 좌측 또는 우측으로 90도 회전하여 수직으로 배열된 이미지 센서를 갖는 좌우측 카메라(40,40')와; 상기 좌우측 카메라(40,40')의 90도 회전된 이미지 센서에 촬상된 이미지를 입체영상으로 합성하여 디스플레이하는 디스플레이 수단(D)으로 구성된다.

상기 이미지 센서는 도5a 및 도5b에서 설명한 바와 같은 종래의 배열과는 다르게 좌측 또는 우측 어느 일방향으로 90도 회전하여 수직하게 배열하게 된다.

또한, 상기 디스플레이 수단(D)은 이미지 센서에 촬상된 2D 이미지를 이용하여 입체영상을 합성하는 입체영상 합성부(MUX, 41)와, 상기 합성된 입체영상을 저장하는 이미지 저장부(Memory, 42)와, 상기 이미지 저장부에 저장된 입체영상을 JPEG 압축 및 이미지 프로세싱을 하기 위한 JPEG 압축 엔진 및 상기 저장된 입체영상을 확대 또는 축소하는 이미지 프로세싱 프로그램이 내장된 이미지 프로세서(Image Processor, 43)와, 상기 JPEG 압축 및 이미지 프로세싱된 입체영상을 디스플레이하기 위한 LCD(44)로 구성된다. 이때, 사용되는 이미지 센서는 CCD 또는 CMOS 타입의 이미지 센서를 사용한다.

상기와 같이 구성된 YUV 시스템에 사용되는 양안 입체 카메라를 이용하여 촬영된 2D 이미지를 입체영상으로 합성하여 디스플레이 하는 방법은 도8a 및 도8b에 도시된 바와 같이 나타낼 수 있다, 상기 도8a는 종래의 이미지 센서와 비교하여 우측 방향으로 90도 회전시켜 부착한 경우의 디스플레이 방법을 나타낸 것이고, 도8b는 종래의 이미지 센서와 비교하여 좌측방향으로 90도 회전시켜 부착한 경우의 디스플레이 방법을 나타낸 것이다.

즉, 도5a 내지 도5b에서 설명한 바와 같은 양안 입체 카메라의 길이 방향으 로 수평하게 배열된 이미지 센서는 본 발명에서는 상술한 바와 같이 각각 좌 또는 우로 90도 수직하게 회전시킨 후 평행하게 배열하여 배치된다. 이때 좌 또는 우 카메라의 이미지 센서는 모두 같은 방향으로 회전시켜 부착한다. 상기 두 경우 모두 카메라로부터 얻어진 초기 2D 이미지는 이미지 센서를 회전한 방향과 반대 방향으로 90도 회전된 이미지가 된다. 다음으로 상기 얻어진 좌측과 우측 카메라의 2D 이미지를 L/L 방식의 입체영상 포맷으로 합성한다. 다음에, 상기 합성된 입체영상을 상기 센서가 회전한 방향과 같은 방향으로 회전시켜 수직구조 패럴랙스 배리어 LCD(또는 수직구조 렌티큘러 LCD)를 통해 디스플레이 한다.

상기와 같이 센서를 좌 또는 우로 90도 회전하여 부착함으로써 종래의 L/L 포맷의 입체영상을 수직구조 LCD에 디스플레이시 나타나던 영상회전 문제를 해결할 수 있으며, 또한 수직구조 LCD에 입체영상 디스플레이시 종래의 C/C 또는 P/P 포맷의 입체영상 합성방법을 대신하여 표준의 L/L 포맷 입체영상 합성방법을 사용함으로써, YUV 컬러 시스템에서 C/C 또는 P/P 포맷 방식의 입체영상 디스플레이 과정에서 발생하던 컬러 손실 문제를 최소화할 수 있다.

상기와 같은 본 발명의 입체 카메라에 부착되는 이미지 센서는 좌측 또는 우측 어느 방향으로 회전시키는 지에 관계없이 두 센서를 동일한 방향으로 회전하여 부착게 되면 동일한 결과를 얻을 수 있다.

상기와 같이 디스플레이된 입체영상은 컬러정보 손실이 없으며, 영상의 기울기도 정상인 화면을 얻을 수 있게 되고, 카메라 센서를 좌측 또는 우측 어느 방향 으로 회전하는지에 관계없이 두 센서를 동일한 방향으로 회전하여 부착하여 준다면 동일한 결과를 얻을 수 있게 된다.

다음에, 본 발명에 따른 YUV 컬러 시스템의 양안 입체 카메라로부터 촬영된 2D 이미지를 이용하여 입체영상을 합성하고 저장하는 방법은, 도7에 도시된 바와 같이 양안 입체 카메라의 좌우 카메라(40,40')로부터 좌측 또는 우측으로 90도 회전된 2D 이미지(100,100')를 획득하고, 상기 획득한 이미지를 입체영상 합성부(41)를 통해 2 line by 2 line으로 합성한다. 다음에, 상기 합성된 영상을 JPEG 등의 이미지 압축 엔진을 거쳐 이미지 저장부(42)에 저장하고, 상기 저장된 영상에서 4픽셀마다 중간값 연산을 통해 1픽셀의 값을 찾아내는 축소 스케일링을 통해 이미지 크기를 1/2 크기로 축소시켜 LCD에 디스플레이 한다.

상기 본 발명에 따른 양안 입체 카메라에서 2 line by 2 line 방식의 입체영상 합성방법을 사용하는 이유는 입체영상 저장 시 좌측 또는 우측 채널의 컬러 영상이 손실되는 것을 방지하기 위해서 이다.

또한, 상기 양안 입체 카메라에서 저장된 영상을 1/2로 축소시키는 이유는 패럴랙스 배리어 등에 RGB 값으로 디스플레이 시 Pixel by Pixel 형식으로 대칭되는 좌우 채널 값을 대응시켜주기 위해서 이다.

다음에, 도9는 본 발명에 따른 영상이 YUV 컬러 시스템의 양안 입체 카메라에서 이미지 센서에 얻어진 이미지(90a), 상기 얻어진 이미지를 L/L 합성한 이미지(90b), 메모리에 압축 저장된 이미지(90c), LCD에 표시되기 위해 이미지 정보가 1/2의 크기로 축소된 디스플레이 이미지(90d) 정보를 순차적으로 나타낸 것으로, 도시된 실시예들은 픽셀에 포함된 컬러신호를 기준으로 구분한 것이다. 도9에서 A는 컬러 정보를 포함하는 픽셀을 나타내고, B는 밝기정보만 포함된 픽셀을 나타낸다.

또한, 상기 도면에서 이미지 90a는 좌 또는 우 카메라로부터 얻어진 원본 2D 영상을 나타내며, 도7의 이미지 센서로부터 얻어진 2D 이미지(100,100')가 이에 해당된다. 그리고 이미지 90b는 입체영상 합성부(41)를 통해 2 line by 2 line으로 합성된 영상을 나타내며, 도 7의 첫 번째 합성이미지(101)가 이에 해당된다.

그리고 이미지 90c는 합성된 영상이 입체영상 합성부(41)에 내장된 JPEG 등의 이미지 압축 엔진을 거쳐 처리되어 이미지 저장부(42)에 저장된 영상을 나타내며, 도 7의 두 번째 합성이미지(102)가 이에 해당된다. 마지막으로 이미지 90d는 LCD에 디스플레이된 경우의 영상을 나타내며, 도 7의 세 번째 합성이미지(103)가 이에 해당된다.

상기와 같이 본 발명에 의해 입체영상으로 합성되어 디스플레이되는 입체영상은 그 영상을 보는 사람의 요청 또는 선택에 의해 확대 또는 축소되어 LCD에 표시된다. 그러나 이 과정에서 도6a 또는 도6b와 같이 종래의 2D 이미지에서 사용되던 중간 값 산출 방식의 이미지 프로세싱 기법을 사용하게 되면 입체영상의 확대 또는 축소 과정에서 산출된 정보가 좌우 어느 채널의 정보인지를 판별할 수 없기 때문에 정확한 컬러정보를 찾을 수 없다는 문제점이 발생하므로 본 발명에서는 도10과 같은 입체영상 스케일링 방법을 사용한다.

즉, 도10은 본 발명에 따른 입체영상 스케일링 방법의 한 실시예로서 L/L 포맷의 입체영상에 대한 입체영상 스케일링 과정을 나타낸 것이다. 즉, 확대 또는 축소하고자 하는 입체영상(50a)을 좌우 채널별로 분리하고(50b,50c), 상기 분리된 입체영상 (50c)각각을 재결합하여 톱 앤 버텀(50d, top and bottom) 또는 사이드 바이 사이드(side by side) 방식의 입체영상 포맷으로 재구현한다. 상기와 같이 사이드바이 사이드 방식 또는 톱 앤 버텀 방식으로 합성된 입체영상은 종래 2D 이미지의 이미지 스케일링 방법을 거치게 되더라도 영상의 컬러 손실이 발생하지 않게 된다. 그러므로 상기 재구현된 영상을 확대(52a) 또는 축소(51a)시킨 후 앞 과정의 역순을 거쳐 원래의 입체영상 포맷으로 합성하여 확대 또는 축소 등의 스케일링된 입체영상을 얻는다.

상기 과정을 거쳐 입체영상을 디스플레이 하게 되면, 확대 또는 축소 등의 영상처리과정에서 오는 입체영상의 컬러손실 및 부정확한 컬러문제를 해결할 수 있다.

상술한 바와 같은 본 발명에 따른 양안 입체 카메라와 그 카메라를 이용한 입체영상 디스플레이 방법 및 입체영상 처리방법은 YUV 컬러 시스템을 사용하는 이동통신 단말기의 입체영상 시스템에 적합하다.

또한, 본 발명에 따른 디스플레이 방법은 수직구조의 패럴랙스 배리어 LCD 또는 수직구조 렌티큘러 LCD에 적용된다.

이상과 같이 본 발명은 도면에 도시한 실시 예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 고안의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리 범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.

상술한 바와 같이 본 발명에 따른 YUV 시스템의 양안 입체 카메라 및 입체 영상 디스플레이 방법은 상기 양안 입체 카메라에 설치되는 이미지 센서를 90도 회전시켜 수직으로 평행하게 배열시켜 상기 이미지 센서의 회전방향과 반대되는 방향으로 90도 회전한 2D 이미지를 획득하고, 이 2D 이미지를 합성하여 입체영상으로 합성한 후, 이를 다시 상기 이미지 센서와 같은 방향으로 90도 회전시켜 디스플레이함으로써 이동통신 단말기 등과 같이 YUV 4:2:2 컬러 포맷과 수직구조 패럴렉스 배리어 및 수직구조 랜티큘러 입체 LCD를 사용하는 입체영상 장치들이 갖고 있던 컬러 손실 문제점을 해결할 수 있다.

또한, 본 발명에 의한 2line by 2line 방식의 입체영상 합성 및 저장 그리고 1/2 스케일링에 의한 디스플레이 방법은 기존 YUV 컬러 시스템을 사용하는 입체영상 장비가 갖고 있던 L/L 입체영상 저장 시의 컬러손실 문제를 해결하기 위한 방법뿐만 아니라 입체영상의 크기를 축소시켜 저장함으로서 메모리의 효율성을 높이기 위한 방법을 제공할 수 있다.

또한, 본 발명에 의해 합성된 입체영상을 좌우 채널별로 분리하고, 상기 분리된 입체영상 각각을 재결합하여 입체영상 포맷으로 재구현한 후, 그 재구현된 입체영상의 확대 또는 축소를 수행함으로써 종래의 입체영상 확대, 축소 시 문제가 되었던 컬러정보 손실 문제 역시 해결할 수 있다.

또한, 상기와 같이 본 발명은 입체영상의 디스플레이 및 영상 처리과정에서 발생하는 컬러손실의 문제점들을 해결함으로써 향후 입체영상 장치의 발전에 기여할 수 있게 될 것이다.

Claims

좌우 카메라 각각에 이미지 센서가 내장된 양안식 입체 카메라에 있어서,

상기 좌우 카메라의 이미지 센서는 좌측 또는 우측의 동일한 방향으로 90도 회전하여 수직으로 평행하게 배열된 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라.
제 1 항에 있어서,

상기 양안 입체 카메라는,

상기 센서에 촬상된 이미지를 이용하여 입체영상을 합성하는 입체영상 합성부와, 상기 합성된 입체영상을 저장하는 이미지 저장부와, 상기 이미지 저장부에 저장된 입체영상을 JPEG 압축하기 위한 JPEG 압축 엔진 및 상기 저장된 입체영상을 확대 또는 축소하는 이미지 프로세싱 프로그램이 내장된 이미지 프로세서와, 상기 JPEG 압축 및 이미지 프로세싱된 입체영상을 표시하기 위한 LCD를 구비한 디스플레이수단을 더 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라.
양안식 입체 카메라를 이용하여 촬영된 2D 이미지를 입체영상으로 합성하고 디스플레이하는 방법에 있어서,

상기 양안식 입체 카메라의 좌우 이미지 센서를 좌측 또는 우측으로 90도 회전시켜 수직으로 평행하게 배열하는 단계와;

상기 이미지 센서에 촬영된 2D 이미지를 라인 바이 라인 입체영상 포맷으로 합성하는 단계와;

상기 합성된 영상을 상기 이미지 센서가 회전한 방향으로 90도 회전시켜 디스플레이 수단에 표시하는 단계를 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라의 입체영상 디스플레이 방법.
제 3 항에 있어서,

상기 2D 이미지를 라인 바이 라인 입체영상 포맷으로 합성하는 단계에서,

상기 라인 바이 라인 입체영상 포맷은 1 라인 바이 1 라인 또는 2 라인 바이 2 라인 중 어느 하나이고,

2 라인 바이 2 라인의 입체영상 합성방법을 사용할 경우 상기 디스플레이 수단에 표시하기 전에 1/2의 크기로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라의 입체영상 디스플레이 방법.
제 3 항 또는 제 4 항에 있어서,

상기 2 라인 바이 2 라인 방식으로 합성된 입체영상을 JPEG 압축을 거쳐 YUV 4:2:0 포맷으로 저장하는 단계를 더 포함하는 것을 특징으로 YUV 컬러 시스템의 양안 입체 카메라의 입체영상 디스플레이 방법.
제 5 항에 있어서,

상기 저장된 영상을 디스플레이 수단에 표시하는 단계에서,

상기 저장된 영상을 RGB 포맷의 패럴랙스 배리어 LCD에 표시하기 위해 4픽셀마다 중간값 연산을 통해 1픽셀의 값을 찾아내는 축소 스케일링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라의 입체영상 디스플레이 방법.
YUV 컬러 시스템의 양안 입체 카메라에서 합성된 입체영상을 확대 또는 축소하기 위한 영상처리 방법에 있어서,

합성된 입체영상을 좌우 채널별로 분리하는 단계와;

상기 분리된 영상 각각을 재결합하여 톱 앤 버텀 또는 사이드 바이 사이드 방식의 입체영상 포맷으로 재구현하는 단계와;

상기 재구현된 입체영상의 확대 또는 축소를 수행하는 단계와;

상기 확대 또는 축소된 입체영상을 다시 원래의 입체영상 포맷으로 합성하는 단계와;

상기 과정을 통해 스케일링된 입체영상을 LCD에 표시하는 단계를 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라를 이용한 입체영상 처리방법.
제 7 항에 있어서,

상기 입체영상 포맷으로 재구현하는 단계에서,

라인 바이 라인 포맷으로 합성된 입체영상인 경우에는 좌우 채널별로 영상을 분리한 후 톱 앤 버텀 포맷으로 합성하는 단계와;

픽셀 바이 픽셀 또는 컬럼 바이 컬럼 포맷으로 합성된 입체영상인 경우에는 좌우 채널별로 영상을 분리한 후 사이드 바이 사이드 포맷으로 합성하는 단계를 포함하는 것을 특징으로 하는 YUV 컬러 시스템의 양안 입체 카메라를 이용한 입체영상 처리방법.