KR100744800B1

KR100744800B1 - 휴대용 단말기의 3차원 입체영상 처리 장치

Info

Publication number: KR100744800B1
Application number: KR1020050061367A
Authority: KR
Inventors: 심재용
Original assignee: 심재용
Priority date: 2005-07-07
Filing date: 2005-07-07
Publication date: 2007-08-01
Also published as: KR20070006228A

Abstract

본 발명은 2개의 카메라가 장착된 휴대용 단말기의 입체영상 촬영 유효거리를 확장시킬 수 있는 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

이러한 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치는 제1카메라와 제2카메라로부터 입력되는 영상 데이터를 변환하여 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서, 상기 제1 및 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부와 ; 상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부와 ; 상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부와 ; 상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부 및 ; 각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상포멧변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부(500)를 포함하여 구성된다.

영상획득부, 영상처리부, 제어부, 영상표시부

Description

휴대용 단말기의 3차원 입체영상 처리 장치{A 3D stereoscopic image processing device of portable telephone}

도 1은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치의 구성를 도시한 구성도이고,

도 3는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득된 영상을 도시한 것이고,

도 3은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득하는 영상의 상태를 도식화한 것이고,

도 4는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득된 영상을 결합하여 입체영상을 형성하는 과정을 도시한 것이고,

도 5는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 좌측카메라에서 취득된 영상을 처리하는 과정을 도시한 것이고,

도 6은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 우측카메라에서 취득된 영상을 처리하는 과정을 도시한 것이고,

도 7은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 우측카메라에서 취득된 영상을 쉬프트시켜 입체 영상을 취득하는 과정을 도시한 것이다.

*도면의 주요 부분에 대한 부호 설명*

100 : 영상획득부 110 : 제1카메라 111 : 제1영상버퍼

120 : 제2카메라 121 : 제2영상버퍼 200 : 영상처리부

210 : 제1영상처리부 220 : 제2영상처리부

300 : 영상부호/복호화부 310 : 손실 부호화기 320 : 복호화기

330 : 저장장치 400 : 제어부

500 : 영상표시부 510 : 영상포멧변환기

520 : 3차원영상표시기 530 : 2차원영상표시기

본 발명은 3차원 입체영상 처리 장치에 관한 것으로서 보다 상세하게는 2개의 카메라가 장착된 휴대용 단말기의 각각의 카메라로부터 입력되는 영상의 디스플레이영역을 옮겨 일치시킴으로서 보다 선명한 3차원 입체 영상을 얻을 수 있게 한 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

특히, 본 발명은 디스플레이 영역을 이동시킴으로서 입체 영상 촬영 유효거리를 보다 짧은 거리까지 촬영할 수 있도록 한 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

오늘날 정보통신 산업의 발달로 다양한 기능과 형태를 갖는 휴대용 단말기들 이 출시되고 있다. 이러한 휴대용 단말기의 형태로는 일반 바 타입, 플립 타입, 폴더 타입, 슬라이드 타입의 단말기가 대표적이며, 이들 단말기는 상대방과 음성으로 통화하는 기능 이외에도 다양한 부가 기능들이 추가되고 있다.

최근의 휴대용 단말기는 음성뿐만이 아니라 영상도 함께 송수신할 수 있도록 하거나, 피사체를 촬영할 수 있도록 카메라를 구비한 화상통화용 휴대용 단말기도 널리 소개되고 있다.

특히, 듀얼 카메라를 이용한 입체영상의 구현을 할 때는 다음과 같은 문제점이 발생한다.

일반적으로 2개의 카메라를 이용한 입체 영상을 촬영 및 디스플레이함에 있어서 카메라와 피사체와의 거리가 매우 가까울 경우 입체영상 구현에 어려움이 있다.

즉, 2개의 카메라로 들어오는 각각의 영상들의 차이가 너무 크게 되면 입체영상으로 보이는 것이 아니라, 2개의 영상이 겹쳐지는 고스트(Ghost) 영상이 발생하게 된다.

이 문제는 입체영상이 가능한 카메라와 피사체 사이의 거리에 제약을 가지고 오는 문제점이 있었다.

본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 안출된 것으로 2개의 카메라로부터 입력되는 영상의 디스플레이영역을 옮겨 일치시킴으로서 보다 선명한 3차원 입체 영상을 얻을 수 있게 한 휴대용 단말기의 3차원 입체 영상 처리 장치를 제공함을 목적으로 한다.

더욱이, 디스플레이 영역을 이동시킴으로서 입체 영상 촬영 유효거리를 보다 짧은 거리까지 촬영할 수 있도록 한 휴대용 단말기의 3차원 입체 영상 처리 장치를 제공함을 목적으로 한다.

이러한 본 발명의 목적은 제1카메라와 제2카메라로부터 입력되는 영상 데이터를 변환하여 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서, 상기 제1 및 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부와 ; 상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부와 ; 상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부와 ; 상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부 및 ; 각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상포멧변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부(500)를 포함하는 휴대용 단말기의 3차원 영상 처리 장치에 의해 이루어진다.

더욱이 본 발명의 목적은 상기 영상처리부에 디스플레이 영역 쉬프트 알고리 즘을 사용하되 상기 디스플레이 영역 쉬프트 프로그램은 각 카메라들로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라와 제2카메라로부터 입력된 영상의 디스플레이 영역 중 어느 하나 또는 모두의 디스플레이 영역을 옮겨(Shift) 두 영상의 디스플레이 영역이 일치되게 함에 의해 이루어진다.

이하, 상기와 같이 구성된 본 발명에 따른 휴대용 단말기의 3차원 입체 영상 처리 장치의 일예를 첨부된 도면을 참조하여 상세하게 설명한다.

도시한 바와 같이 본 발명에 따른 3차원 입체 영상 처리 장치는 2개의 카메라(110, 120)와, 상기 카메라들에 의해 촬영된 영상의 해상도와 데이터의 크기 등을 조정하는 영상처리부(200)와 상기 영상처리부에 의해 3차원 입체 연상으로 변형된 영상을 디스플레이하는 영상표시부(500) 및 상기 각각의 구성 부분을 제어하는 제어부(400)를 포함하여 구성된다.

상기 카메라들(110, 120)은 서로 소정의 간격을 갖도록 휴대용 단말기의 양측에 각각 설치된 카메라로 이들로부터 입력된 영상 데이터를 조합하여 하나의 3차원 영상이 구현된다.

상기 제1카메라(110)와 제2카메라(120)로부터 입력된 영상신호는 제1 및 제2영상버퍼(111, 121)에 임시 저장되고, 카메라들(110, 120)과 버퍼들(111, 121)을 포한하여 하나의 영상취득부(100)를 이룬다.

상기 영상취득부(100)의 버퍼들(111, 121)에 임시 저장된 영상 데이터는 영상처리부(200)에 전송되어 소정의 크기와 해상도로 조정된다.

상기 영상처리부(200)는 도 1에 도시한 바와 같이 각각의 카메라들(110, 120)로부터 입력된 영상 신호를 각각 처리 할 수 있도록 제1카메라와 연결된 제1영상처리부(210)와 제2카메라(120)와 연결된 제2영상처리부(220)로 구성된다.

상기 영상처리부(200)에서 처리되는 영상 데이터는 상기 영상표시부(500)를 구성하는 LCD의 규격 및 해상도에 맞도록 영상 데이터의 크기나 해상도를 조정한다.

또한, 상기 영상처리부(200)는 제1카메라(110)와 제2카메라(120)에서 입력된 영상 데이터의 디스플레이 영역을 이동시켜 서로 다른 카메라에서 취득된 영상의 디스플레이 영역과 정렬하여 서로 같은 디스플레이 영역을 영상표시부(500)에 전송하도록 하는 디스플레이 영역 쉬프팅 알고리즘을 사용하여 각 카메라로부터 취득된 영상 데이터의 디스플레이 영역을 변환하여 서로 정렬시킨다.

상기 제1카메라(110)와 제2카메라(120)로부터 취득된 영상 데이터의 디스플레이 영역의 이동은 제1카메라 또는 제2카메라 중 어느 하나의 카메라로부터 입력된 영상신호의 디스플레이 영역 만을 이동시키거나 두 카메라 모두의 디스플레이 영역을 이동시키는 방법이 사용될 수 있다.

상기 영상처리부(200)에서 LCD에 디스플레이 하기에 적당한 크기와 해상도 또는 영상의 종류로 변형된 영상데이터는 상기 영상표시부(500)로 전송되어 표시 수단으로 디스플레이 되어 사용자가 육안으로 확인할 수 있게 된다.

상기 영상표시부(500)는 2차원 영상을 표시하는 2차원영상표시기(530)와 3차원 영상을 표시하는 3차원영상표시기(520)를 포함하여 구성되며, 상기 3차원영상표 시기(520)에는 영상포멧변환기(510)가 구비되어 각 카메라로부터 입력된 영상 데이터를 조합하여 3차원 입체 영상이 상기 3차원영상표시기(520)에 디스플레이 되게 한다.

또한, 상기와 같이 구성된 영상 처리 장치에는 영상부호/복호화기(300)를 더 구비하고 있다.

상기 영상부호/복호화기(300)는 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기(310)와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기(320)를 포함하여 구성되어 전달되는 영상을 압축 또는 복호화함으로서 데이터의 크기를 줄여 저장되는 저장장치(330)의 용량을 줄일 수 있게 하였다.

상기 영상부호/복호화부(300)는 제1카메라 또는 제2카메라 중 어느 하나의 카메라측에만 설치한다.

이하, 상기와 같이 구성된 3차원 영상 처리 장치의 각 구성부분에서의 영상 처리 과정을 설명한다.

상기 영상획득부(100)의 제1카메라(110)와 제2카메라(120)가 동시에 한 피사체를 찍어 영상 데이터를 제1 및 제2버퍼(111, 121)에 저장하게 되며, 디스플레이 되는 과정을 상세히 설명하면 다음과 같다.

도 1에 도시한 바와 같이, 각 카메라들(110, 120)에서 촬영한 영상은 양안 시차에 의해 서로 다른 면을 보게 된다.

따라서, 이런 양안의 시차를 이용한 3차원 입체 디스플레이가 가능하기 위해서는 적어도 2개의 카메라가 필요하며, 도 3에 도시한 바와 같이 빨간색 점으로 표시된 제1카메라(51) 촬영 이미지와 파란색 점으로 표시된 제 2카메라(52) 촬영 이미지로 나타난다.

상기와 같이 양안 시차를 갖는 두 개의 영상의 처리 과정은 좌측 이미지의 짝수 열 들을 선택하고, 우측 이미지의 홀수 열 들을 선택하여 새로운 이미지를 만들게 된다.

이 때 카메라와 이미지 사이의 구멍이 있는 장벽(Barrier)을 두어 빨간색 점들은 좌측 카메라에 들어오게 만들고, 파란색 점들은 우측 카메라에 들어오게 만든다.

이렇게 되면 빨간색 점들 즉, 도 4 (a)와 같이 제1카메라(110)의 영상이미지는 우측 눈에는 들어오지 못하고, 파란색 점들 즉, 도 6 (b)와 같이 제2카메라(120)의 영상이미지는 좌측 눈에 들어오지 못하게 된다.

이것은 인간의 눈이 카메라로 들어온 영상을 서로 선택적으로 보게 만들기 때문에 인간의 두 눈으로 입체감을 느낄 수 있는 것과 마찬가지 원리이다.

상기와 같이 영상 처리된 이미지를 배리어를 통해서 보게 되면 입체감을 느낄 수 있는 첨부된 도면 4 (c)와 같이 3차원 입체영상으로 디스플레이 되는 것이다.

상기 두 제1카메라(110, 120)와 피사체가 가까울 경우에는 각각의 버퍼들 (111, 121)에는 도 5 (a)의 영상과 도 6 (a) 영상이 들어오게 된다.

이 두 영상 간의 피사체는 휴대용 단말기에서 너무 큰 차이를 가지므로 입체영상으로 보이지 않고, 2개의 고스트(Ghost) 영상으로 보이게 된다.

따라서, 배리어가 2개의 영상 차이를 10 화소까지 가능하다고 했을 경우, 2개의 영상 중 어느 하나 또는 모두를 옮겨서(Shift) 영상 차이를 최대 10 화소까지 줄여야 한다.

이러한 휴대용 단말기에 있어서 실제로 카메라로 입력되는 영상과 휴대용 단말장치에서 영상표시부에 디스플레이되는 영상은 서로 다르다.

예를 들어, VGA급(640*480) 30만 화소의 카메라 센서와 QCIF(176*220)로 디스플레이 되는 휴대용 단말장치의 LCD에서, 실제로 카메라에 들어오는 영상은 도 5 (a)와 같으나, 디스플레이되는 영상은 도 5 (c)와 같다.

그런데, 피사체와 제1, 2카메라(110, 120) 사이가 너무 가깝거나 멀 경우, 제1카메라(110)의 영상은 도 5 (a)와 같고, 제2카메라(120)의 영상은 도 6 (a)와 같이 많은 차이가 있다.

또한, 실제 영상표시부에 디스플레이되는 제1카메라의 영상은 도 5 (c)와 같고, 제2카메라의 영상은 도 6 (c)와 같이 많은 차이가 있다.

그러므로, 2개의 영상을 영상처리부(200)에서 처리하여 입체영상을 얻게 된다.

상기 영상처리부(200)에서는 제1카메라(110)의 영상이나 제2카메라(120)의 영상 중 어느 한 영상이나 또는 2개의 영상의 디스플레이 영역을 옮긴다(Shift).

제2카메라(120)의 영상은 도 5 (b)의 디스플레이 영역을 옮긴 형태가 도 7 (a)이고, 최종 디스플레이 되는 영상은 도 7 (b)이다.

따라서, 영상표시부에서 디스플레이 되는 제1카메라 영상인 도 5 (c)와 제2카메라 영상인 7 (b)는 큰 차이를 갖지 않는 2개의 영상이 되고, 이 영상을 영상 처리부에서 처리하면 입체영상이 된다.

상기와 같은 방법으로 디스플레이 영역을 옮기게 되면, 제1 및 2카메라(110, 120)와 피사체 사이의 거리에 관계없이 피사체의 차이를 배리어에 맞도록 조절할 수 있다.

상기와 같이 구성된 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치는 두 개의 카메라를 이용하여 3차원 입체영상을 획득하되, 디스플레이 영역을 이동시켜 서로 다른 카메라로부터 입력되는 영상의 디스플레이 영역을 서로 같게 함으로서 보다 선명한 3차원 입체 영상을 디스플레이 할 수 있게 한다.

Claims

제1카메라와 제2카메라로부터 입력되는 영상 데이터를 변환하여 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서,

상기 제1 및 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부(100)와 ;

상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부(200)와 ;

상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부(400)와 ;

상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부(300) 및 ;

각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상포멧변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부(500)를 포함하는 휴대용 단말기의 3차원 영상 처리 장치.
제 1 항에 있어서, 상기 영상처리부는 각 카메라들로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라 또는 제2카메라로부터 입 력된 영상의 디스플레이 영역 중 어느 하나 디스플레이 영역을 옮겨(Shift) 두 영상의 디스플레이 영역이 일치되게 하는 디스플레이 영역 쉬프팅 알고리즘을 사용함을 특징으로 하는 휴대용 단말기의 3차원 영상 처리 장치.
제 1 항에 있어서, 상기 영상처리부(200)는 각 카메라로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라와 제2카메라들로부터 입력된 각 영상의 디스플레이 영역을 모두 옮겨(Shift) 두 영상의 디스플레이 영역이 일치되게 하는 디스플레이 영역 쉬프팅 알고리즘을 사용함을 특징으로 하는 휴대용 단말기의 3차원 영상 처리 장치.