KR100947265B1

KR100947265B1 - Ｐｍｐ용 3ｄ 영상 디스플레이 모듈

Info

Publication number: KR100947265B1
Application number: KR1020080099402A
Authority: KR
Inventors: 권병헌; 서범석; 허영수
Original assignee: (주)플렛디스
Priority date: 2008-10-10
Filing date: 2008-10-10
Publication date: 2010-03-12

Abstract

본 발명은 휴대용 디스플레이장치(PMP)에 장착되어 3차원 입체영상(3D 영상)이 모니터에 디스플레이 되도록 지원하는 모듈에 관한 것으로서, 보다 상세하게는 2D의 정지영상 및 동영상을 실시간으로 3D 입체영상으로 변환하여 모니터에 디스플레이 되도록 하여 현장감, 실재감, 자연감이 뛰어난 영상을 시청할 수 있도록 하고, 다양한 출력 해상도를 지원하고, 히스토그램 분포 확장을 통한 높은 명암비(contrast)의 고품질 영상을 제공하는 PMP용 3D 영상 디스플레이 모듈에 관한 것이다.

본 발명의 PMP용 3D 영상 디스플레이 모듈은 영상 데이터를 입력받는 이미지인터페이스부; 상기 이미지인터페이스부에서 입력되는 2D 영상 데이터를 3D 영상 데이터로 변환시키는 입체영상변환부; 상기 입체영상변환부에서 변환된 3D 영상 데이터가 저장되는 메모리에 연결되는 메모리인터페이스부; 상기 입체영상변환부에서 입력되는 3D 영상데이터의 해상도를 조절하여 디스플레이부로 출력하고, 디스플레이부에서 3D 영상이 디스플레이 되도록 입체필터를 제어하는 출력인터페이스부; 상기 입체영상변환부에 연결되고, 외부로부터 영상 데이터의 변환방법 및 해상도에 관한 파라미터를 입력받는 파라미터인터페이스부;를 포함하여 이루어진다.

PMP, 3D 입체영상, 디스플레이, 해상도, 입체필터, 히스토그램

Description

ＰＭＰ용 3Ｄ 영상 디스플레이 모듈{Module displaying 3D image for PMP}

차세대 3D 정보단말 기술의 총아로 불리는 3D 입체영상 기술은 방송뿐만 아니라, 오락, 우주항공, 군사, 의료, 영화 등 거의 모든 산업 분야에 광범위한 영향을 미칠 것으로 예상되는 만큼 그 부가가치 또한 매우 클 것으로 예상되는 분야이다.

3D 입체영상 기술은 1838년 영국의 찰스 위트스톤(Charles Wheatstone)이 스 테레오스코프(Stereoscoph)를 발표한 이후 국내외 연구소 및 교육기관 등에서 활발히 연구작업을 진행하고 있다.

우리나라에서는 정보통신부가 앞으로 수요가 급증할 것으로 예상되는 3D 입체영상 서비스를 위해 적극적인 투자를 하고 있으며, 대기업과 연구소에서는 멀티미디어 산업의 급속한 발전에 따라 LCD 산업 이후의 차세대 첨단 기술분야로서 3D 입체영상 장치 개발작업을 진행하고 있다. 또 방송국들은 차세대 멀티미디어 정보산업 분야의 핵심기술로 대두되고 있는 3D 입체방송 서비스의 상용화를 단계적으로 준비하고 있다.

3D 입체영상은 현실 세계인 3차원 세계의 리얼리티(reality)를 전달할 수 있는 영상매체이며, 임장감(Presence feeling), 실재감, 자연감, 선명성 등의 장점을 갖고 있다.

이와 같이 3D 입체영상에 관한 기술의 개발이 활발히 진행되고 있는데, 휴대폰(Cellular phone), DMB, PMP 등과 같은 휴대용 디스플레이장치(이하 이들을 'PMP'로 통칭한다.)에는 아직까지 2D 영상을 지원하는 것이 대부분이고 3D 영상 지원에 관한 기술의 개발이 더디게 진행되고 있다.

현재 3D 영상을 지원하는 PMP는 단순히 외부로부터 3D 영상을 입력받아 이를 모니터에 출력하는 정도에 지나지 않고, 이마저도 입력되는 3D 영상의 형태(예; Frame by Frame, Line by Line, Pixel by Pixel)가 PMP가 지원할 수 있는 영상의 형태에 부합하여야 한다.

본 발명은 휴대용 디스플레이장치(PMP)에 장착되어 외부에서 입력되거나 메모리에 저장되어 있는 정지영상 및 동영상을 실시간으로 3D 입체영상으로 변환하여 모니터(디스플레이부)에 디스플레이 되도록 함으로서 현장감, 실재감 있는 영상을 시청할 수 있도록 지원하고, 모니터에 디스플레이되는 영상의 해상도를 다양하게 지원하고, 모니터에 디스플레이되는 영상의 명암비를 높여 고품질의 3D 영상을 지원하는 PMP용 3D 영상 디스플레이 모듈을 제공함을 목적으로 한다.

이와 같은 목적을 달성하기 위한 본 발명의 PMP용 3D 영상 디스플레이 모듈은

영상 데이터를 입력받는 이미지인터페이스부;

상기 이미지인터페이스부에서 입력되는 2D 영상 데이터를 3D 영상 데이터로 변환시키는 입체영상변환부;

상기 입체영상변환부에서 변환된 3D 영상 데이터가 저장되는 메모리에 연결되는 메모리인터페이스부;

상기 입체영상변환부에서 입력되는 3D 영상데이터의 해상도를 조절하여 디스플레이부로 출력하고, 디스플레이부에서 3D 영상이 디스플레이 되도록 입체필터를 제어하는 출력인터페이스부;

상기 입체영상변환부에 연결되고, 외부로부터 영상 데이터의 변환방법 및 해상도에 관한 파라미터를 입력받는 파라미터인터페이스부;를 포함하여 이루어진다.

그리고 상기 출력인터페이스부는

3D 영상데이터를 디스플레이부로 출력하는 영상출력부와,

상기 영상출력부에서 출력되는 영상의 형태에 따라 상기 디스플레이부의 입체필터 구동을 제어하는 입체필터제어부를 포함하여 이루어진 것을 특징으로 하고,

상기 영상출력부는

해상도에 관련된 파라미터를 입력받아 해상도의 SYNK 신호를 생성하는 타이밍컨트롤러와,

상기 타이밍컨트롤러에서 생성된 SYNK 신호를 입력받아 상기 입체영상변환부에서 전송되는 영상 데이터를 스케일링(scaling)하여 읽어 들이고, 이를 상기 디스플레이부로 출력하는 스케일링부를 포함하여 이루어진 것을 특징으로 하고,

감마 곡선의 지수를 변화시켜 영상의 히스토그램 분포를 확장시킴으로서 상기 스케일링부의 출력 영상 데이터의 명암비(contrast)를 향상시켜 상기 디스플레이부로 출력하는 화질개선부를 더 포함하는 것을 특징으로 한다.

상기한 바와 같은 구성을 갖는 본 발명은 2D의 정지영상 및 동영상을 실시간으로 3D 입체영상으로 변환하여 디스플레이부에 디스플레이 되도록 함으로서 시청자에게 박진감 있고 현장감 있는 영상을 제공하고, 다양한 출력 해상도를 지원하여 시청자의 편의를 높이고, 명암비를 높여 고품질의 영상을 제공한다.

이하에서는 도면을 참조하여 본 발명을 보다 구체적으로 설명한다.

도1은 본 발명에 따른 PMP용 3D 영상 디스플레이 모듈의 개략적인 전체 블록도이고, 도2는 영상출력부의 세부 블록도이다.

도면에서 보는 바와 같이 본 발명의 3D 영상 디스플레이 모듈은 이미지인터페이스부(10), 입체영상변환부(50), 메모리인터페이스부(30), 출력인터페이스부(40), 파라미터인터페이스부(20)를 포함하여 이루어지고,

상기 출력인터페이스부(40)는 영상출력부(43)와 입체필터제어부(41)를 포함하여 이루어지며, 상기 영상출력부(43)는 타이밍컨트롤러(45)와 스케일링부(46)와 화질개선부(47)를 포함하여 이루어진다.

상기 이미지인터페이스부(10)는 외부에서 영상을 입력받고, 입력되는 영상의 동기신호와 영상데이터를 추출한다.

또한, 입력되는 영상이 3D 영상인 경우에는 영상의 형태(예; Frame by Frame, Line by Line, Pixel by Pixel)를 구분하여 그 형태를 입체형상변환부로 알려준다.

상기 파라미터인터페이스부(20)는 외부기기와 통신할 수 있도록 지원하고, 외부 기기(예, PMP의 입력버튼, PC의 키보드 등)에서 2D 영상의 3D 영상 변환방법, 출력 해상도, 명암비 등의 설정에 관련된 파라미터를 입력받고 이를 입체영상변환부(50)로 전송한다.

상기 메모리인터페이스부(30)는 상기 입체영상변환부(50)와 메모리(60)를 연결하여 입체영상변환부(50)에서 변환된 3D 영상데이터를 메모리(60)에 저장시키고, 메모리(60)에 저장되어 있는 각종 영상데이터를 입체영상변환부(50)에 제공한다.

상기 입체영상변환부(50)는 상기 이미지인터페이스부(10)에서 입력되는 2D 영상을 실시간으로 3D 영상으로 변환하여 메모리(60)에 저장하고, 상기 출력인터페이스부(40)로 전송한다. 물론, 시청자가 3D 영상이 아닌 2D 영상으로 시청하고자 할 때는 영상의 변환 없이 그대로 메모리에 저장하고 출력인터페이스부(40)로 전송한다. 상기 입체영상변환부(50)의 3D 영상 변환방법에 관해서는 후술한다.

또한, 3D 입체영상의 좌우 구분 동기신호를 출력인터페이스부(40)로 전송하여 입체필터(81) 제어에 이용되도록 한다.

상기 출력인터페이스부(40)는 상기 입체영상변환부(50)에서 전송되는 3D 영상데이터를 디스플레이부(80)로 출력하고, 디스플레이부(80)에서 3D 입체영상이 디스플레이 되도록 디스플레이부의 입체필터(81)를 제어한다.

상기 출력인터페이스부(40)는 입체영상변환부(50)에서 전송되는 3D 영상데이터의 해상도를 조절하여 디스플레이부(80)로 출력하는 영상출력부(43)와, 디스플레이부로 출력되는 3D 영상데이터가 입체영상으로 디스플레이 되도록 디스플레이부의 입체필터(81)의 구동을 제어하는 입체필터제어부(41)를 포함하여 이루어진다.

상기 입체필터제어부(41)는 상기 영상출력부(43)로부터 영상출력부(43)가 디스플레이부(80)로 출력하는 영상의 형태(포맷)에 대한 정보를 전송받고, 이를 기초로 상기 디스플레이부의 입체필터가 Frame by Frame, Line by Line, Pixel by Pixel 중 어느 한 방식으로 구동되어 디스플레이부(80)에 입체영상이 디스플레이 되도록 한다.

상기 영상출력부(43)는 타이밍컨트롤러(45), 스케일링부(46), 화질개선부(47)를 포함하여 이루어지고, 비디오 인코더(70)를 통해 디스플레이부(80)로 3D 영상데이터를 전송한다.

상기 타이밍컨트롤러(45)는 상기 파라미터인터페이스부(20)를 통해 입력되어 설정된 출력 해상도에 관련된 파라미터 신호를 입력받아 원하는 해상도의 SYNC신호 를 생성한다. 출력해상도에 관련된 파라미터로는 CLK, DE(Data Enable), HSYNC, VSYNC가 있다.

본 발명에서는 176x220(220x176), 320x240(240x320), 640x480, 800x480, 1024x768 크기의 다양한 출력 해상도를 지원한다.

상기 스케일링부(46)는 상기 타이밍컨트롤러(45)로부터 SYNC 신호를 입력받아 상기 메모리에 저장되어 있는 3D 영상데이터를 출력 해상도에 맞게 스케일링(scaling)하여 읽어 들여 출력한다. 스케일링 방식은 종래 일반적으로 사용되는 방식을 이용하였으므로 이에 대한 구체적인 설명은 생략한다.

상기 화질개선부(47)는 영상의 히스토그램(Histrogram) 분포를 확장시켜 상기 스케일링부(46)가 전송하는 영상데이터의 명암비(conrast)를 높여 고화질의 영상을 비디오인코더(70)를 통해 디스프레이부로 출력한다.

상기 화질개선부(47)의 화질개선 방식을 보다 구체적으로 설명하면, 상기 스케일링부(46)에서 입력되는 영상데이터가 전체적으로 어두운 계조에 속하면 감마 곡선의 감마지수를 0.8로 적용하여 밝게 하고, 밝은 계조에 속하면 속할수록 감마 곡선의 감마 지수를 0,25씩 증가시켜 적용하여 차츰 어둡게 한다. 그리하여 영상의 히스토그램 분포가 확장되는 결과를 가져옴으로써 영사의 contrast가 향상된다.

이하에서는 상기 입체영상변환부(50)에서의 입체영상 변환 방법에 대해 도면 을 참조하여 설명한다.

도3에서 보는 바와 같이 상기 입체영상변환부(50)는 2D 영상데이터가 입력되는 입력부(51)와, 3D 영상의 기초가 되는 좌안영상데이터 및 우안영상데이터을 출력하는 출력부(58), 그리고 상기 입력부(51)와 출력부(58) 사이에서 영상데이터를 가공처리하는 휘도변환부(52), 휘도표준화부(53), 수직블록매핑부(54), 깊이지도생성부(55), 노이즈제거부(56), 시차처리부(57)를 포함하여 이루어진다.

상기 휘도변환부(52)는 상기 입력부에서 입력되는 영상데이터 각 픽셀의 휘도 값을 구하여 입력 영상의 RGB데이터를 휘도데이터로 변환하고, 이를 상기 메모리에 임시 저장시킨다. 도4는 RGB 입력 영상을 휘도(Y) 영상으로 변화시킨 도면이다.

여기서, 각 픽셀의 휘도 값 Y는 해당 픽셀의 R, G, B 값을 다음 수식에 적용하여 구한다.

Y = 0.299R + 0.587G + 0.114B

상기 휘도표준화부(53)는 상기 휘도변환부(52)에서 구해진 각 픽셀의 휘도 값을 몇 단계(예; 5단계)로 표준화하여 단순화한다.

영상에서 휘도는 영상의 계조값(Gray level)으로서, 0에서 255까지의 값을 갖는다. 이를 5단계로 표준화하게 되면 약 50레벨 단위로 동일한 휘도 값을 갖는 영상으로 단순화 된다.

이처럼 휘도 값을 단순화함으로써, 영상에서 일정 범위의 휘도 값을 갖는 하나의 동일 객체는 하나의 휘도 값으로 취급되어 영상은 객체별로 영역화되어 식별, 구분되게 된다.

도5는 휘도 영상과(좌측도면), 5단계로 표준화한 표준휘도 영상(우측도면)을 도시한 도면이다.

일반적으로 영상의 구도는 매우 다양하여 정형화하기 용이치 않다. 따라서 통상적으로 영상 내의 수직위치가 낮은 객체는 근거리 객체이고, 수직위치가 높은 객체는 원거리 객체라는 조건하에서, 영상을 수직블록을 매핑한다. 이것이 상기 수직블록매핑부(54)이다.

상기 수직블록매핑부(54)는 상기 휘도표준화부(53)에서 표준화된 휘도 영상을 소정 개수의 영역으로 나누어 각 영역 내에 포함된 픽셀의 휘도 값이 현재 영역과 전,후 영역에 설정된 표준 휘도 값에 부합하면 상기 픽셀의 휘도 값을 그대로 두고, 부합하지 않는다면 해당 영역에 설정된 표준 휘도 값으로 설정하여 수직블록 프레임(영상데이터)을 생성한다.

도6은 휘도 표준화된 영상(좌측)과, 이를 수직 블록으로 매핑한 영상(우측)을 도시한 것이다.

도6에서 보는 바와 같이 수직블록 매핑이 적용되면, 표준화 휘도 영상의 일부 객체가 누락될 수 있다. 따라서 누락된 객체의 형태 정보 복원이 필요하며 이는 상기 깊이지도 생성부에서 구현된다.

상기 깊이지도생성부(55)는 표준화 휘도 영상을 n*m 블록으로 구분하고, 각 블록 내에서 동일한 휘도 값을 갖는 픽셀들이 동일한 깊이(depth) 값을 갖도록 설정하여 깊이지도를 생성한다.

이를 보다 구체적으로 설명하면, 각 블록과 인접한 블록의 경계 픽셀들을 비교하여 동일한 휘도 값을 가지는 픽셀들이 동일한 깊이 값을 갖도록 설정한다. 그리하여 휘도가 높을수록 근거리로 표현되고, 휘도가 낮을수록 원거리로 표현되도록 한다.

도7은 수직 블록으로 매핑한 영상(좌측)과, 이를 깊이지도생성부(55)를 통해 누락 객체의 형태가 복원된 깊이지도맵 영상(우측)을 도시한 것이다.

깊이지도생성부(55)를 통해 생성된 깊이지도(depth map)는 노이즈를 포함할 수 있다. 여기서 상기 노이즈란 깊이지도를 구성하는 픽셀의 깊이 값(휘도 값에 대응)이 그 픽셀의 주면 8개의 픽셀의 깊이 값과 다른 것을 의미한다.

따라서 상기 노이즈제거부(56)는 3*3 마스크로 상기 깊이지도 영상을 스캐닝(scanning)하면서 타겟 픽셀과 그 주면 8 픽셀의 깊이 값이 상이할 경우 이를 노이즈로 가정하여 상기 타켓 픽셀을 주면 픽셀의 깊이 값으로 변경한다.

상기 시차처리부(57)는 상기 깊이지도생성부(55)를 통해 생성된 깊이지도영상의 깊이 값을 참조하여 RGB 영상을 시차 처리(parallax processing)하여 좌안영 상 및 우안영상을 생성한다.

시차(parallax)는 객체가 화면보다 전방으로 돌출되어 보이게 되는 양시차, 객체가 화면 상에 보이게 되는 영시차, 객체가 화면보다 후방으로 들어가 보이게 되는 음시차 이렇게 세 가지로 구분된다.

깊이지도생성부(55)를 통해 생성된 깊이지도영상이 5단계의 깊이를 갖는 경우에, 3단계의 깊이를 영시차로 처리하고, 1,2단계의 깊이를 양시차로 처리하고, 4,5단계의 음시차로 처리한다.

그리고 같은 양시차 또는 음시차를 갖는 1,2단계와 4,5단계는 parallax양을 조절하여 깊이감의 차이를 발생시킨다.

도8에서 보는 바와 같이 좌안영상을 기준으로 도면에서 아래서부터 1단계는 우로 2픽셀, 2단계는 우로 1픽셀, 3단계는 원위치 유지, 4단계는 좌로1 픽셀, 5단계는 좌로 2픽셀 이동시켜 시차처리하게 된다. 우안영상은 좌안영상과 이동방향이 반대가 된다.

도9는 3D 입체영상 변환 개념을 도식화한 것으로서, 원 영상(RGB 영상)으로부터 깊이지도영상을 생성하고, 생성된 깊이지도영상을 기반으로 시차 처리하여 좌안영상 및 우안영상이 생성되어 깊이감이 표현되는 입체영상이 생성된다.

이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 구성으로 이루어진 PMP용 3D 영상 디스플레이 모듈에 대해 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.

도 1 은 본 발명에 딸 3D 입체영상 디스플레이 모듈의 전체적인 개략 블록도.

도 2 는 영상출력부의 세부 블록도.

도 3 은 입체영상변환부의 세부 블록도.

<도면의 주요부분에 대한 부호의 설명>

10 : 이미지인터페이스부 20 : 파라미터인터페이스부

30 : 메모리인터페이스부 40 : 출력인터페이스부

41 : 영상출력부 43 : 입체필터제어부

50 : 입체영상변환부 52 : 휘도변환부

53 : 휘도표준화부 54 : 수직블록매핑부

55 : 깊이지도생성부 56 : 노이즈제거부

57 : 시차처리부

Claims

삭제
영상 데이터를 입력받는 이미지인터페이스부;

상기 이미지인터페이스부에서 입력되는 2D 영상 데이터를 3D 영상 데이터로 변환시키는 입체영상변환부;

상기 입체영상변환부에서 변환된 3D 영상 데이터가 저장되는 메모리에 연결되는 메모리인터페이스부;

상기 입체영상변환부에서 입력되는 3D 영상데이터의 해상도를 조절하여 디스플레이부로 출력하고, 디스플레이부에서 3D 영상이 디스플레이 되도록 입체필터를 제어하는 출력인터페이스부;

상기 입체영상변환부에 연결되고, 외부로부터 영상 데이터의 변환방법 및 해상도에 관한 파라미터를 입력받는 파라미터인터페이스부;를 포함하여 이루어지되,

상기 출력인터페이스부는

3D 영상데이터를 디스플레이부로 출력하는 영상출력부와,

상기 영상출력부에서 출력되는 영상의 형태에 따라 상기 디스플레이부의 입체필터 구동을 제어하는 입체필터제어부를 포함하여 이루어진 것을 특징으로 하는 PMP용 3D 영상 디스플레이 모듈.
제 2 항에 있어서, 상기 영상출력부는

해상도에 관련된 파라미터를 입력받아 해상도의 SYNK 신호를 생성하는 타이밍컨트롤러와,

상기 타이밍컨트롤러에서 생성된 SYNK 신호를 입력받아 상기 입체영상변환부에서 전송되는 영상 데이터를 스케일링(scaling)하여 읽어 들이고, 이를 상기 디스플레이부로 출력하는 스케일링부를 포함하여 이루어진 것을 특징으로 하는 PMP용 3D 영상 디스플레이 모듈.
제 3 항에 있어서, 상기 영상출력부는

감마 곡선의 지수를 변화시켜 영상의 히스토그램 분포를 확장시킴으로서 상기 스케일링부의 출력 영상 데이터의 명암비(contrast)를 향상시켜 상기 디스플레이부로 출력하는 화질개선부를 더 포함하는 것을 특징으로 하는 PMP용 3D 영상 디스플레이 모듈.