KR100653965B1

KR100653965B1 - 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치

Info

Publication number: KR100653965B1
Application number: KR1020050070448A
Authority: KR
Inventors: 심재용
Original assignee: 심재용
Priority date: 2005-08-01
Filing date: 2005-08-01
Publication date: 2006-12-05

Abstract

본 발명은 2개의 서로 다른 성능을 갖는 2개의 카메라가 장착된 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

이러한 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치는 제1 및 제2카메라와, 상기 제1카메라와 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부와, 상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부와, 상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부와, 상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부 및, 각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상 포맷변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부를 포함하여 구성된 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서, 상기 제1카메라와 제2카메라는 서로 다른 성능을 갖으며, 상기 영상처리부는 각 카메라들로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라 또는 제2카메라로부터 입력된 영상 중 화각(FOV)이 큰 카메라 영상을 화각이 작은 카메라 영상에 알맞도록 영상 처리작업을 함으로써, 최적의 3차원 입체영상을 구현하는 프로그램을 구비하여 구성된다.

영상처리부, 제어부, 영상표시부, 쉬프팅 프로그램, 보간 프로그램

Description

휴대용 단말기의 서로 다른 카메라를 이용한 3차원 입체영상 처리 장치{A 3D stereoscopic image processing device of portable telephone using the different camera sensor}

도 1은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치의 구성을 도시한 구성도이고,

도 2는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득된 영상을 도시한 것이고,

도 3은 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득하는 영상의 상태를 도식화한 것이고,

도 4는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 각각의 카메라에서 취득된 영상을 결합하여 입체영상을 형성하는 과정을 도시한 것이고,

도 5는 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치에서 서로 다른 성능을 갖는 2개의 카메라에 의해 획득한 서로 다른 크기와 해상도를 갖는 영상을 비교한 것을 도시한 것이고,

도 6 a는 제1카메라로 입력된 원래의 영상이고,

도 6 b는 도 6a의 영상을 VGA 해상도로 조정한 것이고,

도 7a는 제2카메라로 입력된 원래 영상이고,

도 7b는 도 7a의 영상으로부터 제1카메라의 피사체와 같은 부분을 선택한 것이며,

도 7c는 도 7b의 영상을 VGA 해상도로 조정한 것이다.

*도면의 주요 부분에 대한 부호 설명*

100 : 영상획득부 110 : 제1카메라 111 : 제1영상버퍼

120 : 제2카메라 121 : 제2영상버퍼 200 : 영상처리부

210 : 제1영상처리부 220 : 제2영상처리부

300 : 영상부호/복호화부 310 : 손실 부호화기 320 : 복호화기

330 : 저장장치 400 : 제어부

500 : 영상표시부 510 : 영상포맷변환기

520 : 3차원영상표시기 530 : 2차원영상표시기

본 발명은 3차원 입체영상 처리 장치에 관한 것으로서 보다 상세하게는 서로 다른 성능을 갖는 2개의 카메라가 장착된 휴대용 단말기의 각각의 카메라로부터 입력되는 서로 다른 특성의 영상을 이용하여 3차원 입체 영상을 얻을 수 있게 한 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

특히, 본 발명은 기존의 같은 성능을 갖는 카메라를 이용하여 3D 입체영상을 구현한 방법에 비해 이종의 카메라 즉, 고성능의 고가 카메라와 저 성능의 저가 카메라를 사용하여 그 사용 범위를 넓힐 수 있도록 한 휴대용 단말기의 3차원 입체 영상 처리 장치에 관한 것이다.

오늘날 정보통신 산업의 발달로 다양한 기능과 형태를 갖는 휴대용 단말기들이 출시되고 있다. 이러한 휴대용 단말기의 형태로는 일반 바 타입, 플립 타입, 폴더 타입, 슬라이드 타입의 단말기가 대표적이며, 이들 단말기는 상대방과 음성으로 통화하는 기능 이외에도 다양한 부가 기능들이 추가되고 있다.

최근의 휴대용 단말기는 음성뿐만이 아니라 영상도 함께 송수신할 수 있도록 하거나, 피사체를 촬영할 수 있도록 카메라를 구비한 화상통화용 휴대용 단말기도 널리 소개되고 있다.

특히, 듀얼 카메라를 이용한 입체영상의 구현을 할 때는 다음과 같은 문제점이 발생한다.

일반적으로 동종의 2개의 카메라를 이용한 입체 영상을 촬영 및 디스플레이함에 있어서 제품화 단계에서 고가의 카메라 2대를 휴대용 단말기에 탑재하는 데는 가격적 측면에서 불리할 수밖에 없는 어려움이 있다.

즉, 2개의 카메라를 고가로 사용하게 되면 저가를 사용하는 휴대용 단말기에 비해 가격 경쟁력이 떨어지는 문제점이 있었다.

본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 발명된 것으로 서로 다른 성능을 갖는 이종의 2개의 카메라를 사용해서 3D 입체 영상을 얻을 수 있게 한 휴대용 단말기의 3차원 입체 영상 처리 장치를 제공함을 목적으로 한다.

특히, 고가의 고성능의 카메라와 저가의 성능이 낮은 카메라를 탑재하고 저 성능 카메라로부터 입력된 화상데이터의 해상도 및 화각을 조절하여 서로 일치시킴에 의해 3차원 입체 연상을 얻을 수 있도록 한 휴대용 단말기의 3차원 입체 영상 처리 장치를 제공함을 목적으로 한다.

이러한 본 발명의 목적은 제1 및 제2카메라와, 상기 제1카메라와 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부와, 상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부와, 상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부와, 상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부 및, 각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상포맷변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부를 포함하여 구성된 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서, 상기 제1카메라와 제2카메라는 서로 다른 성능을 갖으며, 상기 영상처리부는 각 카메라들로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라 또는 제2카메라로부터 입력된 영상 중 화각(FOV)이 큰 카메라 영상을 화각이 작은 카메라 영상에 알맞도록 영상 처리작업을 함으로써, 최적의 3차원 입체영상을 구현하는 프로그램을 구비함을 특징으로 하는 휴대용 단말기의 3차원 영상 처리 장치에 의해 이루어진다.

이하, 상기와 같이 구성된 본 발명에 따른 휴대용 단말기의 3차원 입체 영상 처리 장치의 일예를 첨부된 도면을 참조하여 상세하게 설명한다.

도시한 바와 같이 본 발명에 따른 3차원 입체 영상 처리 장치는 이종의 2개의 카메라(110, 120)와, 상기 카메라들에 의해 촬영된 영상의 해상도와 데이터의 크기 등을 조정하는 영상처리부(200)와 상기 영상처리부에 의해 3차원 입체 연상으로 변형된 영상을 디스플레이하는 영상표시부(500) 및 상기 각각의 구성 부분을 제어하는 제어부(400)를 포함하여 구성된다.

상기 카메라들(110, 120)은 서로 소정의 간격을 갖도록 휴대용 단말기의 양측에 각각 설치된 카메라로 이들로부터 입력된 영상 데이터를 조합하여 하나의 3차원 영상이 구현된다.

상기 제1카메라(110)와 제2카메라(120)로부터 입력된 영상신호는 제1 및 제2영상버퍼(111, 121)에 임시 저장되고, 카메라들(110, 120)과 버퍼들(111, 121)을 포함하여 하나의 영상획득부(100)를 이룬다.

상기 영상획득부(100)의 버퍼들(111, 121)에 임시 저장된 영상 데이터는 영상처리부(200)에 전송되어 소정의 크기와 해상도로 조정된다.

상기 영상처리부(200)는 도 1에 도시한 바와 같이 각각의 카메라들(110, 120)로부터 입력된 영상 신호를 각각 처리 할 수 있도록 제1카메라와 연결된 제1영상처리부(210)와 제2카메라(120)와 연결된 제2영상처리부(220)로 구성된다.

상기 영상처리부(200)에서 처리되는 영상 데이터는 상기 영상표시부(500)를 구성하는 LCD의 규격 및 해상도에 맞도록 영상 데이터의 크기나 해상도를 조정한다.

또한, 상기 영상처리부(200)는 제1카메라(110)와 제2카메라(120)에서 입력된 영상 데이터의 디스플레이 영역을 이동시켜 서로 다른 카메라에서 취득된 영상을 각각 보정할 뿐만 아니라 저 성능의 카메라로부터 입력된 영상과 고성능 카메라로부터 입력된 영상을 동일한 해상도 및 화각으로 변환하는 프로그램을 더 구비하고 있다.

상기 제1카메라(110)와 제2카메라(120)로부터 획득된 영상 데이터를 각각 보정하는 방법이 사용될 수 있다.

상기 영상처리부(200)에서 LCD에 디스플레이 하기에 맞는 크기와 해상도 또는 영상의 종류로 변형된 영상데이터는 상기 영상표시부(500)로 전송되어 표시 수단으로 디스플레이 되어 사용자가 육안으로 확인할 수 있게 된다.

상기 영상표시부(500)는 2차원 영상을 표시하는 2차원영상표시기(530)와 3차 원 영상을 표시하는 3차원영상표시기(520)를 포함하여 구성되며, 상기 3차원영상표시기(520)에는 영상포맷변환기(510)가 구비되어 각 카메라로부터 입력된 영상 데이터를 조합하여 3차원 입체 영상이 상기 3차원영상표시기(520)에 디스플레이 되게 한다.

또한, 상기와 같이 구성된 영상 처리 장치에는 영상부호/복호화기(300)를 더 구비하고 있다.

상기 영상부호/복호화기(300)는 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기(310)와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기(320)를 포함하여 구성되어 전달되는 영상을 압축 또는 복호화 함으로써 데이터의 크기를 줄여 저장되는 저장장치(330)의 용량을 줄일 수 있게 하였다.

상기 영상부호/복호화부(300)는 제1카메라 또는 제2카메라 중 어느 하나의 카메라에만 설치한다.

이하, 상기와 같이 구성된 3차원 영상 처리 장치의 각 구성부분에서의 영상 처리 과정을 설명한다.

상기 영상획득부(100)의 제1카메라(110)와 제2카메라(120)가 동시에 한 피사체를 찍어 영상 데이터를 제1 및 제2버퍼(111, 121)에 저장하게 되며, 디스플레이 되는 과정을 상세히 설명하면 다음과 같다.

각 카메라들(110, 120)에서 촬영한 영상은 양안 시차에 의해 서로 다른 면을 보게 된다.

따라서, 이런 양안의 시차를 이용한 3차원 입체 디스플레이가 가능하기 위해서는 적어도 2개의 카메라가 필요하며, 도 3에 도시한 바와 같이 빨간색 점으로 표시된 제1카메라(51) 촬영 이미지와 파란색 점으로 표시된 제 2카메라(52) 촬영 이미지로 나타난다.

상기와 같이 양안 시차를 갖는 두 개의 영상의 처리 과정은 좌측 이미지의 짝수 열 들을 선택하고, 우측 이미지의 홀수 열 들을 선택하여 새로운 이미지를 만들게 된다.

이 때 카메라와 이미지 사이의 구멍이 있는 장벽(Barrier)을 두어 빨간색 점들은 좌측 카메라에 들어오게 만들고, 파란색 점들은 우측 카메라에 들어오게 만든다.

이렇게 되면 빨간색 점들 즉, 도 4 (a)와 같이 제1카메라(110)의 영상이미지는 우측 눈에는 들어오지 못하고, 파란색 점들 즉, 도 6 (b)와 같이 제2카메라(120)의 영상이미지는 좌측 눈에 들어오지 못하게 된다.

이것은 인간의 눈이 카메라로 들어온 영상을 서로 선택적으로 보게 만들기 때문에 인간의 두 눈으로 입체감을 느낄 수 있는 것과 마찬가지 원리이다.

상기와 같이 영상 처리된 이미지를 배리어를 통해서 보게 되면 입체감을 느낄 수 있도록 도 4 (c)와 같이 3차원 입체영상으로 디스플레이 되는 것이다.

그러나, 상기 제1카메라와 제2카메라가 다른 종류를 사용하고 있으므로 도 5에 도시한 바와 같이 두 카메라의 특성인 해상도와 화각도 틀려지게 된다.

화각(FOV : Field Of View)이라 함은 카메라의 센서가 피사체를 볼 수 있는 전체 각을 말하는 것이다.

상기 제1카메라(110)가 200만 화소의 카메라로 1280*1024의 해상도이고, 화각(FOV)이 62.38도이고, 상기 제2카메라(120)가 30만 화소의 카메라로 640*480의 해상도이고, 화각이 66.84도라고 하면, 두 개의 카메라로 들어오는 영상의 해상도와 화각이 서로 틀려 결과적으로 서로 다른 영상이 되는 것이다.

상기 제2카메라(120)의 화각이 더 크므로 제1카메라에 나타나지 않는 피사체도 제2카메라에 나타나게 된다.

상기와 같은 서로 다른 2개의 영상의 차이점은 도 5(a)와 도 5(b)에서 볼 수 있다.

이처럼 다른 두 영상 같은 화각과 같은 해상도로 조정해야 3차원 입체영상으로의 처리가 가능하다.

우선 각각의 카메라에서 처리해야 하는 과정은 두 카메라의 영상을 같은 해상도로 조정해야 한다.

도 6 (a)는 제1카메라로 입력된 원래의 영상이고, 도 6 (b)는 입력된 원래의 영상을 VGA 해상도로 조정한 것이다.

화각이 더 큰 제2카메라에서 입력된 영상은 제1카메라에 나타나지 않는 피사체도 입력되므로 제2카메라에 더 나타난 피사체 부분은 버려야 한다.

그 후에 제1카메라에서와 마찬가지로 영상을 VGA 해상도로 조정하면 된다.

도 7(a)는 제2카메라로 입력된 원래 영상이고, 도 7(b)는 제1카메라에 나타 나지 않은 부분을 버리고, 제1카메라의 피사체와 같은 부분을 선택한 것이며, 도 7(c)는 영상을 VGA 해상도로 조정한 것이다.

상기 VGA 해상도로 조절하는 방법은 보간법(Interpolation)을 사용한다.

상기 보간법은 이미지를 확대하기 위한 방법으로 통상적으로 사용되는 것으로서 확대 영상에서 주변 픽셀들의 평균값을 계산하여 할당받지 못한 빈 픽셀에 대입시키는 쌍일차 보간법(Bilinear interpolation)이나, 원하는 픽셀의 위치와 가까운 픽셀과 동일한 특성의 픽셀을 대입시키는 최근접 이웃 보간법을 사용할 수 있다.

상기와 같은 이미지 변형 알고리즘을 이용하여 변형된 각각의 카메라로부터 입력된 영상은 도 6(b)의 영상과 도7(c)의 영상으로 변형되고 변형된 영상을 결합함으로서 3차원 입체영상 구현이 가능하다.

상기와 같이 구성된 본 발명에 따른 휴대용 단말기의 3차원 영상 처리 장치는 두 개의 카메라를 이용하여 3차원 입체영상을 획득하되, 서로 다른 카메라를 사용함으로써 발생하는 3차원 입체영상에 대한 문제점을 화각이 큰 영상을 화각이 작은 영상에 알맞도록 하고, 해상도 영상처리를 하여 보다 선명한 3차원 입체 영상을 디스플레이 할 수 있게 한다.

Claims

제1 및 제2카메라와, 상기 제1카메라와 제2카메라로부터 입력된 영상데이터를 임시 저장하는 제1 및 제2영상버퍼를 구비한 영상획득부와, 상기 영상획득부에 저장된 각각의 영상 데이터의 크기나 해상도를 조정하여 LCD에 맞도록 조정 및 처리하는 영상처리부와, 상기 영상처리부를 통해 처리된 영상 이미지의 출력을 제어하는 제어부와, 상기 영상처리부의 제1 또는 제2카메라에서 입력된 영상 중 어느 하나 또는 모두를 손실이 있는 상태로 압축을 하는 손실부호화기와 압축된 영상 데이터를 압축 전의 상태로 변환시키는 복호화기를 구비를 구비한 영상부호/복호화부 및, 각각의 카메라에서 들어온 영상 데이터를 3D 입체 영상으로 변환시키는 영상포멧변환기와, 2차원 및 3차원영상을 디스플레이하는 2차원 및 3차원영상표시기를 구비한 영상표시부를 포함하여 구성된 3차원 입체 영상을 디스플레이하는 휴대용 단말기의 3차원 영상 처리 장치에 있어서,

상기 제1카메라와 제2카메라는 서로 다른 성능을 갖으며,

상기 영상처리부는 각 카메라들로부터 입력된 영상 중 LCD에 디스플레이 되는 영역을 정렬하기 위해 제1카메라 또는 제2카메라로부터 입력된 영상 중 화각(FOV)이 큰 카메라 영상을 화각이 작은 카메라 영상에 알맞도록 영상 처리작업을 함으로써, 최적의 3차원 입체영상을 구현하는 프로그램을 구비함을 특징으로 하는 휴대용 단말기의 3차원 영상 처리 장치.