KR20140109168A - 영상 처리 장치 및 그 방법 - Google Patents

영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20140109168A
KR20140109168A KR1020130023541A KR20130023541A KR20140109168A KR 20140109168 A KR20140109168 A KR 20140109168A KR 1020130023541 A KR1020130023541 A KR 1020130023541A KR 20130023541 A KR20130023541 A KR 20130023541A KR 20140109168 A KR20140109168 A KR 20140109168A
Authority
KR
South Korea
Prior art keywords
image
eye image
signal
depth
curvature
Prior art date
Application number
KR1020130023541A
Other languages
English (en)
Inventor
이용욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130023541A priority Critical patent/KR20140109168A/ko
Priority to PCT/KR2013/009578 priority patent/WO2014137053A1/ko
Priority to US14/765,540 priority patent/US20150381959A1/en
Publication of KR20140109168A publication Critical patent/KR20140109168A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 명세서는 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있는 영상 처리 장치 및 그 방법에 관한 것으로서, 본 명세서에 개시된 실시예에 따른 영상 처리 방법은, 3D 영상 신호를 수신하는 단계와, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 영상 표시 장치의 화면 곡률에 따라 변경하는 단계와, 상기 3D 영상 신호가 보정되어 출력되도록, 상기 변경된 깊이 값을 근거로 갱신된 좌안 영상 및 우안 영상을 상기 영상 표시 장치의 화면에 표시하는 단계를 포함할 수 있다.

Description

영상 처리 장치 및 그 방법{IMAGE CONTROLLING APPARATUS AND METHOD THEREOF}
본 명세서는 영상 처리 장치 및 그 방법에 관한 것이다.
영상 표시기기는 방송을 수신하여 표시하거나, 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다. 상기 영상 표시기기는 예를 들어, 텔레비전, 컴퓨터 모니터, 프로젝터, 테블릿 등을 포함한다.
이와 같은 영상 표시기기는 기능이 다양화됨에 따라, 방송이나, 음악이나 동영상 파일의 재생 기능 외에도, 사진이나 동영상의 촬영, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가, 최근에는 영상 표시기기가 스마트 기기(예를 들어, 스마트 텔레비전)로서 구현되고 있다. 따라서, 영상 표시기기는 인터넷 등의 실행은 물론 이동 단말기나 컴퓨터와 연동하여 동작한다.
나아가, 최근에는 입체 영상 서비스에 대한 관심이 점점 증대되면서 입체영상을 제공하는 장치들이 계속 개발되고 있다. 일반적으로, 3D(Three Dimensional) 입체 영상 표시 장치는 평판 패널 상에 3D 영상을 표시한다. 예를 들면, 3D 입체 영상 표시 장치는 3D 영상에 포함된 입체 오브젝트의 깊이 정보를 검출하고, 그 검출한 깊이 정보를 근거로 평판 패널 상에 3D 영상을 표시한다. 종래 기술에 따른 곡선 화면을 위한 왜곡 영상 생성장치 및 방법은 한국 특허 출원 번호 10-2009-0048982에 개시되어 있다.
본 명세서는 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있는 영상 처리 장치 및 그 방법을 제공하는 데 그 목적이 있다.
본 명세서에 개시된 실시예에 따른 영상 처리 장치는, 좌안 영상과 우안 영상을 구비하는 3D 영상 신호를 수신하는 수신부와, 상기 좌안 영상과 우안 영상의 깊이 값을 영상 표시 장치의 화면 곡률에 따라 변경하는 제어부와, 상기 3D 영상 신호가 보정되어 출력되도록, 상기 변경된 깊이 값을 근거로 갱신된 좌안 영상 및 우안 영상을 표시하는 곡면형 디스플레이를 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는, 상기 영상 표시 장치의 모드가 깊이 보상 모드일 때, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 화면 곡률에 따라 변경할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는, 사용자 입력에 따라 상기 좌안 영상과 우안 영상의 깊이 값을 제어하거나, 상기 사용자 입력에 따라 상기 변경된 깊이 값을 제어할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는, 상기 영상 표시 장치의 화면 곡률이 변경되면, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 변경된 화면 곡률에 따라 변경할 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 표시 장치의 화면 곡률을 변경하는 구동부를 더 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는, 상기 화면 곡률에 대한 변경 요청이 수신되면 상기 변경 요청에 따라 상기 영상 표시 장치의 화면 곡률을 변경하기 위한 제어 신호를 발생하고, 상기 발생한 제어 신호를 상기 구동부에 출력할 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 표시 장치의 화소 위치에 따른 상기 화면 곡률의 깊이 값을 곡률 테이블에 미리 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 곡률 테이블로부터 상기 좌안 영상과 우안 영상의 표시 위치에 대응하는 곡률 깊이 값을 독출하고, 상기 좌안 영상과 우안 영상의 깊이 값에서 상기 독출한 곡률 깊이 값을 감산함으로써 상기 좌안 영상과 우안 영상의 깊이 값을 변경할 수 있다.
본 명세서에 개시된 실시예에 따른 영상 처리 방법은, 3D 영상 신호를 수신하는 단계와; 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 영상 표시 장치의 화면 곡률에 따라 변경하는 단계와; 상기 3D 영상 신호가 보정되어 출력되도록, 상기 변경된 깊이 값을 근거로 갱신된 좌안 영상 및 우안 영상을 상기 영상 표시 장치의 화면에 표시하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 선택적으로 보상(변경)하거나, 그 보상된 깊이 값을 사용자 입력에 따라 제어(조정)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 효과적으로 보상할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률의 변경(가변)에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률의 변경에 의해 왜곡된 3D 영상을 보상할 수 있다.
도 1은 본 발명과 관련된 영상 표시 장치 및 외부 입력 장치를 보여주는 블록도이다.
도 2는 본 발명의 실시예들에 따른 영상 처리 장치가 적용된 3D 영상 표시 장치의 구성을 나타낸 구성도이다.
도 3a-3b는 평판 패널의 화면상에 표시된 입체 오브젝트(좌안 영상과 우안 영상)를 나타낸 예시도 이다.
도 4는 3D 곡면형 디스플레이에 표시된 입체 오브젝트를 나타낸 예시도 이다.
도 5는 본 발명의 제1 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 6은 본 발명의 제1 실시예에 따른 영상 처리 장치의 제어부를 구체적으로 나타낸 예시도 이다.
도 7은 본 발명의 제1 실시예에 따른 곡률 테이블을 나타낸 예시도이다.
도 8은 본 발명의 제2 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 9는 본 발명의 제2 실시예에 따라 표시된 창을 나타낸 예시도 이다.
도 10은 본 발명의 제2 실시예에 따라 표시된 깊이 제어 바를 나타낸 예시도 이다.
도 11은 본 발명의 제3 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 12는 본 발명의 제3 실시예에 따른 화면 곡률 제어 바를 나타낸 예시도 이다.
도 13은 본 발명의 제3 실시예에 따라 화면 곡률이 변경된 상태를 나타낸 예시 도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서, 영상 표시 장치는 방송을 수신하여 표시하거나, 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다. 이하, 이러한 예로서, 텔레비전을 예를 들어 설명한다.
도 1은 본 발명과 관련된 영상 표시 장치(100) 및 외부 입력 장치(200)를 보여주는 블록도이다. 영상 표시 장치(100)는, 튜너(110), 복조부(120), 신호 입출력부(130), 인터페이스부(140), 제어부(150), 저장부(160), 디스플레이부(170) 및 오디오 출력부(180)를 포함한다. 다만, 외부 입력 장치(200)는 영상 표시 장치(100)와 별도의 장치이나, 영상 표시 장치(100)의 일 구성요소로 포함될 수도 있다.
도 1을 참조하면, 튜너(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 대응하는 RF 방송 신호를 선택하고, RF 방송 신호를 중간 주파수 신호 또는 베이스 밴드 영상/음성 신호로 변환한다. 예를 들어, RF 방송 신호가 디지털 방송 신호이면, 튜너(110)는 RF 방송 신호를 디지털 IF 신호(DIF)로 변환한다. 반면, RF 방송 신호가 아날로그 방송 신호이면, 튜너(110)는 RF 방송 신호를 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환된다. 이와 같이, 튜너(110)는 디지털 방송 신호와 아날로그 방송 신호를 처리할 수 있는 하이브리드 튜너일 수 있다.
튜너(110)에서 출력되는 디지털 IF 신호(DIF)는 복조부(120)로 입력되고, 튜너(110)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 제어부(160)로 입력될 수 있다. 튜너(120)는 ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
비록 도면에는 하나의 튜너(110)가 도시되나, 이에 한정되지 않고, 영상 표시 장치(100)는 다수의 튜너, 예를 들어, 제 1 및 제 2 튜너를 구비할 수 있다. 이런 경우, 제 1 튜너는 사용자가 선택한 방송 채널에 대응하는 제 1 RF 방송 신호를 수신하고, 제 2 튜너는 기저장된 방송 채널에 대응하는 제 2 RF 방송 신호를 순차적으로 또는 주기적으로 수신할 수 있다. 제 2 튜너는 제 1 튜너와 마찬가지 방식으로 RF 방송 신호를 디지털 IF 신호(DIF) 또는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환할 수 있다.
복조부(120)는 튜너(110)에서 변환되는 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식이면, 복조부(120)는 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 이때, 복조부(120)는 트렐리스 복호화, 디인터리빙(de-interleaving), 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 트렐리스 디코더(Trellis decoder), 디인터리버(de-interleaver) 및 리드 솔로몬 디코더(Reed Solomon decoder) 등을 구비할 수 있다.
다른 예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호(DIF)가 DVB 방식이면, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 이때, 복조부(120)는 컨벌루션 복호화, 디인터리빙, 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 컨벌루션 디코더(convolution decoder), 디인터리버 및 리드-솔로몬 디코더 등을 구비할 수 있다.
신호 입출력부(130)는 외부 기기와 연결되어 신호 입력 및 출력 동작을 수행하고, 이를 위해, A/V 입출력부 및 무선 통신부를 포함할 수 있다.
A/V 입출력부는 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(150)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(150)로 전달될 수 있다.
무선 통신부는 무선 인터넷 접속을 수행할 수 있다. 예를 들어, 무선 통신부는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 이용하여 무선 인터넷 접속을 수행할 수 있다. 또한, 무선 통신부는 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 예를 들어, 무선 통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
신호 입출력부(130)는 DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu-ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북), 휴대기기, 스마트 폰 등과 같은 외부 기기로부터 제공되는 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 메모리장치, 하드디스크 등과 같은 외부 저장 장치에 저장된 다양한 미디어 파일의 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 제어부(150)에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 다른 외부 기기로 출력할 수 있다.
신호 입출력부(130)는 상술한 각종 단자 중 적어도 하나를 통해 셋톱 박스, 예를 들어, IPTV(Internet Protocol TV)용 셋톱 박스와 연결되어 신호 입력 및 출력 동작을 수행할 수 있다. 예를 들어, 신호 입출력부(130)는 양방향 통신이 가능하도록 IPTV용 셋톱 박스에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있고, 제어부(150)에 의해 처리된 신호들을 IPTV용 셋톱 박스로 전달할 수도 있다. 여기서, IPTV는 전송 네트워크에 따라 구분되는 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함할 수 있다.
복조부(120) 및 신호 출력부(130)에서 출력되는 디지털 신호는 스트림 신호(TS)를 포함할 수 있다. 스트림 신호(TS)는 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 예를 들어, 스트림 신호(TS)는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transprt Stream)일 수 있다. 여기서, MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
인터페이스부(140)는 외부 입력 장치(200)로부터 전원 제어, 채널 선택, 화면 설정 등을 위한 입력 신호를 수신하거나, 제어부(160)에 의해 처리된 신호를 외부 입력 장치(200)로 전송할 수 있다. 인터페이스부(140)와 외부 입력 장치(200)는 유선 또는 무선으로 연결될 수 있다.
상기 인터페이스부(140)의 일 예로서, 센서부가 구비될 수 있으며, 센서부는 원격조정기, 예를 들어 리모컨으로부터 상기 입력 신호를 감지하도록 이루어진다.
네트워크 인터페이스부(미도시)는, 영상 표시 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(미도시)는, 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 콘텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(미도시)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
제어부(150)는 영상 표시 장치(100)의 전반적인 동작을 제어할 수 있다. 보다 구체적으로, 제어부(150)는 영상의 생성 및 출력을 제어하도록 형성된다. 예를 들어, 제어부(150)는 사용자가 선택한 채널 또는 기저장된 채널에 대응하는 RF 방송 신호를 튜닝(tuning)하도록 튜너(110)를 제어할 수 있다. 비록 도면에는 도시되지 않았으나, 제어부(150)는 역다중화부, 영상 처리부, 음성 처리부, 데이터 처리부, OSD(On Screen Display) 생성부 등을 포함할 수 있다. 또한, 제어부(150)는 하드웨어적으로 CPU 나 주변기기 등을 포함할 수 있다.
제어부(150)는 스트림 신호(TS), 예를 들어, MPEG-2 TS를 역다중화하여 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다.
제어부(150)는 역다중화된 영상 신호에 대한 영상 처리, 예를 들어, 복호화를 수행할 수 있다. 좀더 상세하게, 제어부(150)는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 영상 신호를 복호화하고, H.264 디코더를 이용하여 DMB(Digital Multimedia Broadcasting) 방식 또는 DVB-H에 따른 H.264 규격의 부호화된 영상 신호를 복호화할 수 있다. 또한, 제어부(150)는 영상 신호의 밝기(brightness), 틴트(tint) 및 색조(color) 등이 조절되도록 영상 처리할 수 있다. 제어부(150)에 의해 영상 처리된 영상 신호는 디스플레이부(170)로 전달되거나, 외부 출력 단자를 통해 외부 출력 장치(미도시)로 전달될 수 있다.
제어부(150)는 역다중화된 음성 신호에 대한 음성 처리, 예를 들어, 복호화를 수행할 수 있다. 좀더 상세하게, 제어부(150)는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 음성 신호를 복호화하고, MPEG 4 디코더를 이용하여 DMB 방식에 따른 MPEG 4 BSAC(Bit Sliced Arithmetic Coding) 규격의 부호화된 음성 신호를 복호화하며, AAC 디코더를 이용하여 위성 DMB 방식 또는 DVB-H에 따른 MPEG 2의 AAC(Advanced Audio Codec) 규격의 부호화된 음성 신호를 복호화할 수 있다. 또한, 제어부(150)는 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다. 제어부(150)에서 처리된 음성 신호는 오디오 출력부(180), 예를 들어, 스피커로 전달되거나, 외부 출력 장치로 전달될 수 있다.
제어부(150)는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)에 대한 신호 처리를 수행할 수 있다. 여기서, 제어부(150)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(110) 또는 신호 입출력부(130)에서 출력된 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이부(170)를 통해 표시되고, 신호 처리된 음성 신호는 오디오 출력부(180)를 통해 출력된다.
제어부(150)는 역다중화된 데이터 신호에 대한 데이터 처리, 예를 들어, 복호화를 수행할 수 있다. 여기서, 데이터 신호는 각각의 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Program Guide) 정보를 포함할 수 있다. EPG 정보는, 예를 들어, ATSC 방식에서는 TSC-PSIP(ATSC-Program and System Information Protocol) 정보를 포함하고, DVB 방식에서는 DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는 MPEG-2 TS의 헤더(4 byte)에 포함될 수 있다.
제어부(150)는 OSD 처리를 위한 제어 동작을 수행할 수 있다. 좀더 상세하게, 제어부(150)는 영상 신호 및 데이터 신호 중 적어도 하나 또는 외부 입력 장치(200)로부터 수신되는 입력 신호에 근거하여 각종 정보를 그래픽(Graphic)이나 텍스트(Text) 형태로 표시하기 위한 OSD 신호를 생성할 수 있다. OSD 신호는 영상 표시 장치(100)의 사용자 인터페이스 화면, 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.
저장부(160)는 제어부(150)의 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다. 저장부(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
디스플레이부(170)는 제어부(150)에 의해 처리된 영상 신호, 데이터 신호, OSD 신호 등을 RGB 신호로 변환하여 구동 신호를 생성할 수 있다. 이를 통하여, 디스플레이부(170)는 영상을 출력하게 된다. 디스플레이부(170)는 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT- LCD), 유기 발광 다이오드(Organic Light Emitting Diode: OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 등의 다양한 형태로 구현될 수 있다. 또한, 디스플레이(180)는 터치 스크린으로 구현되어 입력 장치의 기능도 수행할 수 있다.
오디오 출력부(180)는 제어부(150)에 의해 처리된 음성 신호, 예를 들어, 스테레오 신호 또는 5.1 채 신호를 출력한다. 오디오 출력부(180)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자를 촬영하는 촬영부(미도시)를 더 구비할 수 있다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(150)에 입력된다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 영상 표시 장치(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(140)를 통해 제어부(150)로 전달될 수 있다.
제어부(150)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
전원 공급부(미도시)는, 영상 표시 장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 제어부(150)와, 영상 표시를 위한 디스플레이부(170), 및 오디오 출력을 위한 오디오 출력부(180)에 전원을 공급할 수 있다.
이를 위해, 전원 공급부(미도시)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(170)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM 동작이 가능한 인버터(미도시)를 더 구비할 수도 있다.
외부 입력 장치(200)는 유선 또는 무선으로 인터페이스부(140)와 연결되며,사용자 입력에 따라 생성되는 입력 신호를 인터페이스부(140)로 전송한다. 외부 입력 장치(200)는 원격조정기, 마우스, 키보드 등을 포함할 수 있다. 원격조정기는 블루투스(Bluetooth), RF 통신, 적외선 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 통해 입력 신호를 인터페이스부(140)로 전송할 수 있다. 원격조정기는 공간 원격 제어 장치로서 구현될 수 있다. 공간 원격 제어 장치는 공간에서 본체의 동작을 감지하여 입력 신호를 생성할 수 있다.
영상 표시 장치(100)는 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, DVB-C 방식(QAM 방식)의 디지털 방송, DVB-S 방식(QPSK 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 고정형 디지털 방송 수신기로 구현될 수 있다. 또한, 영상 표시 장치(100)는 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 이동형 디지털 방송 수신기로 구현될 수 있다. 또한, 영상 표시 장치(100)는 케이블, 위성통신, IPTV용 디지털 방송 수신기로 구현될 수 있다.
한편, 본 발명의 영상 표시 장치는 입체영상을 제공하도록 이루어진다. 3-D 또는 3D 라는 용어는 깊이의 착시 효과를 갖는 입체영상(이하, '3D 영상'이라 한다)을 재생하려고 하는 시각적 표현 또는 표시 기술을 설명하는데 사용된다. 좌안 영상과 우안 영상에 대해, 관찰자의 시각 피질(visual cortex)은 두 영상을 하나의 3D 영상으로 해석한다.
3차원(3D) 표시기술은 3D 영상 표시가 가능한 장치에 대해 3D 영상 처리 및 표현의 기술을 채용한다. 선택적으로는, 3D 영상 표시가 가능한 장치는 관찰자에게 3차원 영상을 효과적으로 제공하기 위해 특수한 관찰장치를 사용해야 할 수 있다.
3D 영상 처리 및 표현의 예로는 스테레오스코픽 영상/비디오 캡처, 다수의 카메라를 이용한 다시점 영상/비디오 캡처, 이차원 영상과 깊이 정보의 처리 등이 있다. 3D 영상 표시가 가능한 표시 장치의 예로는, 3D 영상 표시기술을 지원하는 적절한 하드웨어 및/또는 소프트웨어를 구비한 LCD(Liquid Crystal Display), 디지털 TV 화면, 컴퓨터 모니터 등이 있다. 특수한 관찰장치의 예로는, 특수화 안경, 고글, 헤드기어, 안경류(eyewear) 등이 있다.
구체적으로, 3D 영상 표시기술은, 애너글리프(anaglyph) 입체영상(통상적으로 수동형 적청 안경을 함께 사용), 편광 입체영상(통상적으로 수동형 편광 안경과 함께 사용), 프레임-교대 시퀀싱(alternate-frame sequencing)(통상적으로 능동형 셔터 안경/헤드기어와 함께 사용), 렌티큘러(lenticular) 또는 배리어(barrier) 스크린을 사용한 오토스테레오스코픽 디스플레이(autostereoscopic display) 등이 있다.
3D 영상 처리를 위하여, 스테레오 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다. 이 경우에, 상기 수신 시스템은 3D 입체 영상 표시 장치의 일 구성으로서 구비될 수 있다.
이하에서는, 3D 입체 영상 표시 장치(200)의 구성을 도 2를 참조하여 설명한다. 도 2는 본 발명의 실시예들에 따른 영상 처리 장치가 적용된 3D 영상 표시 장치의 구성을 나타낸 구성도이다.
도 2에 도시한 바와 같이, 본 발명의 실시예들에 의한 3D 영상 표시 장치(200)는 튜너(210), 복조부(220), 외부장치 인터페이스부(230), 네트워크 인터페이스부(235), 저장부(240), 사용자입력 인터페이스부(250), 제어부(270), 디스플레이(280), 오디오 출력부(285), 및 3D 시청장치(295)를 포함할 수 있다. 이하, 도 1과 동일한 구성에 대하여는 3D 영상의 출력과 관련된 부분을 중점으로 설명하며, 전술한 부분과 중복되는 부분은 생략한다.
튜너(튜너부)(210)는, 방송 신호를 수신하여 해당 신호를 검파하고 오류를 정정하여 좌안 및 우안 영상에 대한, 트랜스포트 스트림(Trasport Stream)을 생성한다.
복조부(220)는 기준시점 비디오를 디코딩하는 제1 디코더이고, 확장시점 비디오를 디코딩하는 제2 디코더로 이루어질 수 있다. 이 경우에, 역다중화부에 의하여, 비디오 스트림은 기준시점 비디오에 해당하면 제1 디코더로 출력되고, 확장시점 비디오에 해당하면 제2 디코더로 출력된다.
외부장치 인터페이스부(230)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(230)는, A/V 입출력부(도시하지 않음) 또는 무선 통신부(도시하지 않음)를 포함할 수 있다.
외부장치 인터페이스부(230)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치(도시하지 않음)와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(230)는 접속된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상표시장치(200)의 제어부(270)로 전달한다. 또한, 제어부(270)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(230)는, A/V 입출력부(도시하지 않음) 또는 무선 통신부(도시하지 않음)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 영상표시장치(200)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시장치(200)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(230)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
한편, 외부장치 인터페이스부(230)는, 3D 시청장치(295)와 데이터를 송수신할 수 있다.
네트워크 인터페이스부(235)는, 영상표시장치(200)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(235)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(235)는, 네트워크를 통해, 인터넷 또는 콘텐츠 제공자 또는 네트워크 운영자가 제공하는 콘텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 인터넷, 콘텐츠 제공자 등으로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 콘텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 콘텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(235)는, 예를 들어, IP(internet Protocol) TV와 접속되어, 양방향 통신이 가능하도록, IPTV용 셋탑 박스에서 처리된 영상, 음성 또는 데이터 신호를 수신하여 제어부(270)로 전달할 수 있으며, 제어부(270)에서 처리된 신호들을 IPTV용 셋탑 박스로 전달할 수 있다.
한편, 상술한 IPTV는, 전송네트워크의 종류에 따라 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함하는 의미일 수 있으며, TV over DSL, Video over DSL, TV overIP(TVIP), Broadband TV(BTV) 등을 포함하는 의미일 수 있다. 또한, IPTV는 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
저장부(240)는, 제어부(270) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(240)는 외부장치 인터페이스부(230)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(240)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시장치(200)는, 저장부(240) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 2는 저장부(240)가 제어부(270)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(240)는 제어부(270) 내에 포함될 수 있다.
사용자입력 인터페이스부(250)에 대한 설명은 도 1을 참조하여, 전술한 인터페이스부(140)의 설명으로 대체한다.
제어부(270)는, 튜너(210) 또는 복조부(220) 또는 외부장치 인터페이스부(230)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(270)에서 영상 처리된 영상 신호는 디스플레이(280)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(270)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(230)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(270)에서 처리된 음성 신호는 오디오 출력부(285)로 음향 출력될 수 있다. 또한, 제어부(270)에서 처리된 음성 신호는 외부장치 인터페이스부(230)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(270)는 역다중화부, 영상처리부 등을 포함할 수 있다. 제어부(270)는, 영상표시장치(200) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(270)는 튜너(210)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(270)는 사용자입력 인터페이스부(250)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(200)를 제어할 수 있다.
예를 들어, 제어부(270)는, 사용자입력 인터페이스부(250)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(210)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(270)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이(280) 또는 오디오 출력부(285)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(270)는, 사용자입력 인터페이스부(250)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(230)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의 영상 신호 또는 음성 신호가 디스플레이(280) 또는 오디오 출력부(285)를 통해 출력될 수 있도록 한다.
제어부(270)는, 영상을 표시하도록 디스플레이(280)를 제어할 수 있다. 예를 들어, 튜너(210)를 통해 입력되는 방송 영상, 외부장치 인터페이스부(230)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부(235)를 통해 입력되는 영상 또는 저장부(240)에 저장된 영상을 디스플레이(280)에 표시하도록 제어할 수 있다. 이때, 디스플레이(280)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
제어부(270)는 디스플레이(280)에 표시되는 영상 중에, 소정 오브젝트에 대해 3D 오브젝트로 생성하여 표시되도록 한다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다. 이러한 3D 오브젝트는, 디스플레이(280)에 표시되는 영상과 다른 깊이를 가지도록 처리될 수 있다. 제어부(270)는 3D 오브젝트가 디스플레이(280)에 표시되는 영상에 비해 돌출되어 보이도록 처리할 수 있다.
제어부(270)는, 촬영부(도시하지 않음)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식한다. 예를 들어, 사용자와 영상표시장치(200)간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이(280) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
한편, 도 2에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다. 채널 브라우징 처리부는, 복조부(220)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(230)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(270)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(270)로 입력되는 것도 가능하다.
제어부(270)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이(280)에 표시할 수 있다. 이때의 썸네일 리스트는, 디스플레이(280)에 소정 영상을 표시한 상태에서 일부 영역에 표시되는 간편 보기 방식으로 표시되거나, 디스플레이(280)의 대부분 영역에 표시되는 전체 보기 방식으로 표시될 수 있다. 이러한 썸네일 리스트 내의 썸네일 영상은 순차적으로 업데이트 될 수 있다.
디스플레이(280)는, 제어부(270)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(230)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.
디스플레이(280)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등이 가능하며, 특히, 본 발명의 실시예에 따라, 3차원 디스플레이(3D display)가 가능할 수 있다.
3차원 영상 시청을 위해 디스플레이(280)는, 추가 디스플레이 방식과 단독 디스플레이 방식으로 나뉠 수 있다. 단독 디스플레이 방식은, 별도의 추가 디스플레이, 예를 들어 안경(glass) 등이 없이, 디스플레이(280) 단독으로 3D 영상을 구현할 수 있는 것으로서, 그 예로, 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등 다양한 방식이 적용될 수 있다. 상기 추가 디스플레이 방식은, 디스플레이(280) 외에 추가 디스플레이를 사용하여 3D 영상을 구현할 수 있는 것으로서, 그 예로, 헤드 마운트 디스플레이(HMD) 타입, 안경 타입 등 다양한 방식이 적용될 수 있다.
상기 안경 타입은, 편광 안경 타입 등의 패시브(passive) 방식과, 셔터 글래스(ShutterGlass) 타입 등의 액티브(active) 방식으로 다시 나뉠 수 있다. 한편, 헤드 마운트 디스플레이 타입에서도 패시브 방식과 액티브 방식으로 나뉠 수 있다.
입체 영상을 시청하기 위한 3D 시청 장치(3D용 글래스)(295)는, 패시브 방식의 편광 글래스 또는 액티브 방식의 셔트 글래스를 포함할 수 있으며, 상술한 헤드 마운트 타입도 포함하는 개념으로 기술된다.
한편, 디스플레이(280)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(285)는, 제어부(270)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(도시하지 않음)가 영상표시장치(200)에 더 구비될 수 있다. 센싱부(도시하지 않음)에서 감지된 신호는 사용자입력 인터페이스부(150)를 통해 제어부(170)로 전달된다.
제어부(270)는, 촬영부(도시하지 않음)로부터 촬영된 영상, 또는 센싱부(도시하지 않음)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수 있다.
원격제어장치(260)는, 사용자 입력을 사용자입력 인터페이스부(250)로 송신한다. 이를 위해, 원격제어장치(260)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(260)는, 사용자입력 인터페이스부(250)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(260)에서 표시하거나 음성 출력할 수 있다.
상술한 영상표시장치(200)는, 고정형으로서 ATSC 방식(7-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.
본 명세서에서 기술되는 영상표시장치는, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 포함될 수 있다.
도 2에 도시된 영상표시장치(200)의 구성도는 본 발명의 실시예들을 위한 구성도이다. 구성도의 각 구성요소는 실제 구현되는 영상표시장치(200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
상기 영상 표시 장치(200)에서 복호화된 영상 신호는, 다양한 포맷의 3D 영상 신호일 수 있다. 예를 들면, 색차 영상(color image) 및 깊이 영상(depth image)으로 이루어진 3D 영상 신호일 수 있으며, 또는 복수 시점 영상 신호로 이루어진 3D 영상 신호 등일 수 있다. 복수 시점 영상 신호는, 예를 들어, 좌안 영상 신호와 우안 영상 신호를 포함할 수 있다. 여기서, 3D 영상 신호의 포맷은, 좌안 영상 신호(L)와 우안 영상 신호(R)를 좌,우로 배치하는 사이드 바이 사이드(Side by Side) 포맷, 상,하로 배치하는 탑 다운(Top / Down) 포맷, 시분할로 배치하는 프레임 시퀀셜(Frame Sequential) 포맷, 좌안 영상 신호와 우안 영상 신호를 라인 별로 혼합하는 인터레이스 (Interlaced) 포맷, 좌안 영상 신호와 우안 영상 신호를 박스 별로 혼합하는 체커 박스(Checker Box) 포맷 등일 수 있다.
또한, 상기에서 설명된 영상 표시 장치는 이동 단말기에도 적용될 수 있다. 상기 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다.
영상 표시 장치가 이동 단말기로서 사용되는 경우에는 무선 통신부가 추가될 수 있다.
무선 통신부는 영상 표시 장치(100)와 무선 통신 시스템 사이 또는 이동 단말기와 이동 단말기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부는 방송 수신 모듈, 이동통신 모듈 무선 인터넷 모듈, 근거리 통신 모듈 및 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리에 저장될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), 와이-파이 다이렉트 등이 이용될 수 있다.
위치정보 모듈은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.
한편, 디스플레이부와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부의 특정 부위에 가해진 압력 또는 디스플레이부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부로 전송한다. 이로써, 제어부는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
한편, 본 발명에서는 3D 입체 표시 장치로서, 실제 영상에 가깝도록 출력되는 화면의 깊이값을 보정하는 방법 및 장치를 제시한다. 이하, 이러한 깊이값의 보정에 대하여 보다 상세히 설명한다.
도 3a-3b는 평판 패널(flat panel)의 화면(screen)상에 표시된 입체 오브젝트(좌안 영상과 우안 영상)를 나타낸 예시도 이다.
도 3a-3b에 도시한 바와 같이, 평판 패널의 화면상에 입체 오브젝트(object)(좌안 영상과 우안 영상)(A)와 입체 오브젝트(object)(B)가 각각 x1과 x2의 디스패리티(disparity)를 가지고 표시될 때, 사용자는 도 3a-3b와 같은 깊이에 따른 입체감 정보를 가지게 된다. 즉, x2<x1 일 때 입체 오브젝트(A)가 입체 오브젝트(B)보다 더 네거티브 깊이(negative depth)(입체의 돌출감)를 가진다. 여기서, 상기 입체 오브젝트(A)의 깊이(depth)(d1)는 수학식 1과 같이 구할 수 있다.
Figure pat00001
상기 x1은 입체 오브젝트(object)(A)의 좌안 영상과 우안 영상간의 거리를 나타내며, z는 상기 평판 패널의 화면으로부터 사용자의 두 눈까지의 거리를 나타내며, e는 사용자의 두 눈 사이의 거리(양안 거리)를 나타낸다.
상기 입체 오브젝트(B)의 깊이(depth)(d2)는 수학식 2와 같이 구할 수 있다.
Figure pat00002
상기 x2는 입체 오브젝트(object)(B)의 좌안 영상과 우안 영상간의 거리를 나타내며, z는 상기 평판 패널의 화면으로부터 사용자의 두 눈까지의 거리를 나타내며, e는 사용자의 두 눈 사이의 거리(양안 거리)를 나타낸다.
반면, FPR(Film-type Patterned Retarder)이나 SG(Active-shutter glasses) 방식을 사용하는 3D 곡면형 디스플레이(3D curved-Surface display)의 곡률에 따라 입체감 왜곡이 도 4와 같이 발생하게 된다.
본 발명의 실시예에 따른 영상 처리 장치 및 그 방법은 3D 곡면형 디스플레이(3D curved-Surface display)에 적용될 수 있으며, 도 1의 디스플레이(151) 및 도 2의 디스플레이(280)는 3D 곡면형 디스플레이일 수 있다. 이하에서는, 상기 영상 표시 장치(200)를 참조하여 본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법을 설명한다.
도 4는 3D 곡면형 디스플레이(또는 플렉시블 디스플레이(flexible display))에 표시된 입체 오브젝트를 나타낸 예시도 이다.
도 4에 도시한 바와 같이, 3D 곡면형 디스플레이(280)는 그 곡률(곡률각)에 따라 입체감 왜곡이 발생하게 된다. 예를 들면, 3D 곡면형 디스플레이(280)는, 2D 영상에 대해서는 평판 디스플레이보다 큰 현장감을 사용자에게 제공할 수 있지만, 3D 영상을 디스플레이할 경우에는 입체감의 왜곡이 발생하게 된다. 즉, 상기 3D 곡면형 디스플레이(280)의 중심축 영역에 위치된 입체 오브젝트(A)(d1)가 상기 3D 곡면형 디스플레이(280)의 좌측면 또는 우측면에 위치된 오브젝트(B)(d2)보다 더 돌출되어야 하지만, 상기 3D 곡면형 디스플레이(280)의 곡률에 의해 입체 오브젝트(B)(d2)가 상기 입체 오브젝트(A)(d1)보다 더 돌출된다.
상기 입체 오브젝트(A)(d1)가 가지는 실제 입체감은 상기 입체 오브젝트(A)(d1)의 표시 위치가 상기 3D 곡면형 디스플레이(280)의 중심축 영역에 있으므로 평판 디스플레이와 동일하게 표시되지만(깊이가 동일함), 상기 3D 곡면형 디스플레이(280)의 중심축 영역으로부터 이격된 위치에 표시된 입체 오브젝트(B)(d2)는 이하의 수학식 3과 같이 왜곡된 입체감(깊이)(P)(4-1)을 나타낸다.
Figure pat00003
여기서, d2는 상기 입체 오브젝트(B)의 깊이(depth)를 나타내며, C(4-2)는 상기 입체 오브젝트(B)의 표시 위치에 대응하는 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)를 나타내며, m은 상기 입체 오브젝트(B)의 표시 위치를 나타내며,
Figure pat00004
는 상기 3D 곡면형 디스플레이(280)의 화면 곡률(곡률각)을 나타낸다. 상기 3D 곡면형 디스플레이(280)의 중심축 위에 위치한 점 P에서 상기 3D 곡면형 디스플레이(280)의 끝단에 대응하는 점 Q까지의 접선의 각을 곡률각이라고 정의한다. 즉, 상기 입체 오브젝트(B)는, 상기 입체 오브젝트(B)의 표시 위치에 대응하는 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(C)(또는 곡면 깊이(Curved-Surface depth) 만큼의 입체감 왜곡이 발생한다.
상기 왜곡된 입체감(깊이)(P)은 이하의 수학식 4와 같이 표현될 수도 있다.
Figure pat00005
따라서, 본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은 상기 입체 오브젝트(B)의 표시 위치에 대응하는 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(C)만큼을 보상함으로써 상기 입체 오브젝트(B)의 깊이 왜곡 현상을 해소할 수 있다.
이하에서는, 3D 영상 신호에 포함된 좌안 영상과 우안 영상(입체 오브젝트)의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있는 영상 처리 장치 및 그 방법을 도 2 내지 도 7을 참조하여 설명한다.
도 5는 본 발명의 제1 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
먼저, 상기 제어부(270)는 3D 영상 신호를 수신한다(S10). 예를 들면, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 3D 영상 신호를 수신한다. 또한, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 수신된 2D 영상 신호를 3D 영상 신호로 변환하거나, 상기 수신된 2D 영상 신호를 3D 영상 신호로 변환하는 변환부를 포함할 수 있다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트(좌안 영상과 우안 영상)의 깊이 맵(depth map)(깊이 값들)을 검출한다(S11). 예를 들면, 상기 제어부(270)는 양안단서(binocular cue)를 이용하거나 스테레오 정합(stereo matching) 방법을 이용하여 3D 영상으로부터 상기 깊이 맵을 검출한다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵(depth map)을 곡률 테이블을 근거로 보상한다(S12). 상기 곡률 테이블이란 상기 3D 곡면형 디스플레이(280)의 수평 방향으로의 화소 위치에 따른 상기 3D 곡면형 디스플레이(280)의 화면 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 근거로 상기 입체 오브젝트들의 깊이 맵(depth map)을 보상하기 위한 테이블로서, 저장부(240)에 미리 저장된다. 예를 들면, 상기 제어부(270)는, 상기 3D 영상 신호에 포함된 특정 입체 오브젝트의 깊이를 보상하기 위해, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산함으로써 상기 특정 입체 오브젝트의 깊이를 보상한다. 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(곡면 깊이)(C)는 상기 3D 곡면형 디스플레이(280)의 화면 곡률에 따라 변경될 수 있다.
상기 제어부(270)는 도 6에 도시한 바와 같이 깊이 맵 검출부(270-1)와, 깊이 보상부(270-2)를 포함할 수 있다.
도 6은 본 발명의 제1 실시예에 따른 영상 처리 장치의 제어부를 구체적으로 나타낸 예시도 이다.
상기 제어부(270)는, 상기 3D 영상 신호에 포함된 입체 오브젝트(좌안 영상과 우안 영상)의 깊이 맵(depth map)을 검출하는 깊이 맵 검출부(270-1)와; 상기 검출한 깊이 맵을 상기 곡률 테이블을 근거로 보상하는 깊이 보상부(270-2)를 포함할 수 있다.
도 7은 본 발명의 제1 실시예에 따른 곡률 테이블을 나타낸 예시도이다.
도 7에 도시한 바와 같이, 상기 3D 곡면형 디스플레이(280)의 수평 방향으로의 화소 위치에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 미리 계산하고, 그 미리 계산된 곡률 깊이(Curved Depth)(C)를 상기 곡률 테이블에 기록한다. 예를 들면, 상기 3D 곡면형 디스플레이(280)가 3840x2160 해상도(resolution)의 곡면형 디스플레이이고, 상기 곡률각이 10도이고, 하나의 화소당 315um 폭(width)을 갖는다고 가정했을 때, 각 수평 화소 위치(horizontal pixel position)에 대응하는 곡률 깊이(curved depth)는 도 6과 같이 상기 곡률 테이블에 기록된다. 상기 3D 곡면형 디스플레이(280)의 곡률각이 10도라고 가정할 때 상기 3D 곡면형 디스플레이(280)의 화면 양끝의 곡률 깊이는 10cm가 될 수 있다.
상기 제어부(270)는 상기 보상된 깊이 맵을 근거로 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다(S13). 예를 들면, 상기 제어부(270)는, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 수학식 5와 같이 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산하고, 상기 감산된 깊이(새롭게 생성한 깊이 맵)를 근거로 상기 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다. 상기 제어부(270)는 상기 감산된 깊이(새롭게 생성한 깊이 맵)를 이용하여 스테레오 3D 영상의 좌안 영상 및 우안 영상을 렌더링(rendering)한다. 상기 제어부(270)는 상기 3D 영상이 다시점(multiview) 3D 영상이면 다시점 영상 합성(Multi-View Synthesis) 방식을 통해 상기 다시점 3D 영상으로부터 좌안 및 우안 영상을 선택하고, 그 선택된 좌안 및 우안 영상을 상기 감산된 깊이 값(새롭게 생성한 깊이 맵)(New Map)을 근거로 렌더링(rendering)한다.
Figure pat00006
여기서, Org Map은 상기 3D 영상에 포함된 원래 입체 오브젝트의 깊이 맵(깊이 값)을 나타내며, i는 상기 3D 곡면형 디스플레이(280)의 수평 라인에 해당하는 화소 위치를 나타낸다.
따라서, 본 발명의 실시예에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있다.
이하에서는, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률에 따라 선택적으로 보상(변경)하거나, 그 보상된 깊이 값을 사용자 입력에 따라 제어(조정)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 효과적으로 보상할 수 있는 영상 처리 장치 및 그 방법을 도 2 내지 도 10을 참조하여 설명한다.
도 8은 본 발명의 제2 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
먼저, 상기 제어부(270)는 3D 영상 신호를 수신한다(S20). 예를 들면, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 3D 영상 신호를 수신한다. 또한, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 수신된 2D 영상 신호를 3D 영상 신호로 변환하거나, 상기 수신된 2D 영상 신호를 3D 영상 신호로 변환하는 변환부를 포함할 수 있다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트(좌안 영상과 우안 영상)의 깊이 맵(깊이 값)을 검출한다(S21). 예를 들면, 상기 제어부(270)는 양안단서(binocular cue)를 이용하거나 스테레오 정합(stereo matching) 방법을 이용하여 3D 영상으로부터 상기 깊이 맵을 검출한다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵을 상기 곡률 테이블을 근거로 보상할 것인지 말것인지를 문의하는 창을 도 9와 같이 상기 3D 곡면형 디스플레이(280)에 표시한다(S22).
도 9는 본 발명의 제2 실시예에 따라 표시된 창을 나타낸 예시도 이다.
도 9에 도시한 바와 같이, 상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵을 상기 곡률 테이블을 근거로 보상할 것인지 말것인지를 문의하는 창(예를 들면, 3D 영상을 보정하시겠습니까?)(9-1)을 상기 3D 곡면형 디스플레이(280)에 표시한다.
상기 제어부(270)는, 상기 표시된 창(9-1)에 응답하여 상기 깊이 맵 보상 요청이 수신되면, 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵을 곡률 테이블을 근거로 보상한다(S23). 예를 들면, 상기 제어부(270)는, 상기 3D 영상 신호에 포함된 특정 입체 오브젝트의 깊이를 보상하기 위해, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산함으로써 상기 특정 입체 오브젝트의 깊이를 보상한다.
상기 제어부(270)는 상기 보상된 깊이 맵을 근거로 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다(S24). 예를 들면, 상기 제어부(270)는, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 수학식 5와 같이 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산하고, 상기 감산된 깊이(새롭게 생성한 깊이 맵)(New depth map)를 근거로 상기 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다.
상기 제어부(270)는 상기 보상된 깊이 맵을 제어하기 위한 사용자 입력이 수신되었는지를 판단한다(S25). 예를 들면, 상기 제어부(270)는 상기 보상된 깊이 맵을 제어하기 위한 아이콘, 버튼 등이 사용자에 의해 입력되었는지를 판단한다.
상기 제어부(270)는 상기 보상된 깊이 맵을 제어하기 위한 사용자 입력이 수신되면, 사용자 입력에 따라 상기 보상된 깊이 맵을 제어하고, 상기 제어된 깊이 맵을 근거로 상기 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다(S26).
상기 제어부(270)는 상기 보상된 깊이 맵을 제어하기 위한 깊이 제어 바를 도 10과 같이 상기 3D 곡면형 디스플레이(280)에 표시할 수도 있다.
도 10은 본 발명의 제2 실시예에 따라 표시된 깊이 제어 바를 나타낸 예시도 이다.
도 10에 도시한 바와 같이, 상기 제어부(270)는 상기 보상된 깊이 맵을 제어하기 위한 사용자 입력이 수신되면, 상기 보상된 깊이 값을 제어하기 위한 깊이 제어 바(10-1)를 상기 3D 곡면형 디스플레이(280)에 표시한다. 예를 들면, 상기 제어부(270)는, 상기 깊이 제어 바(10-1)에 표시된 깊이 제어 값(10-2)이 사용자 요청에 의해 증가할수록 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 증가시키고, 상기 깊이 제어 바(10-1)에 표시된 깊이 제어 값(10-2)이 사용자 요청에 의해 감소할수록 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감소시킴으로써 상기 보상된 깊이 맵을 제어(조정)한다. 상기 제어부(270)는, 상기 깊이 제어 바(10-1)에 표시된 깊이 제어 값(10-2)이 사용자 요청에 의해 증가하면 상기 검출된 깊이 맵에 해당하는 깊이 값을 증가시키고, 상기 깊이 제어 바(10-1)에 표시된 깊이 제어 값(10-2)이 사용자 요청에 의해 감소하면 상기 검출된 깊이 맵에 해당하는 깊이 값을 감소시킬 수도 있다.
따라서, 본 발명의 제2 실시예에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 선택적으로 보상(변경)하거나, 그 보상된 깊이 값을 사용자 입력에 따라 제어(조정)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 효과적으로 보상할 수 있다.
이하에서는, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률의 변경(가변)에 따라 자동으로 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률의 변경에 의해 왜곡된 3D 영상을 보상할 수 있는 영상 처리 장치 및 그 방법을 도 2 내지 도 13을 참조하여 설명한다.
도 11은 본 발명의 제3 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
먼저, 상기 제어부(270)는 3D 영상 신호를 수신한다(S30). 예를 들면, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 3D 영상 신호를 수신한다. 또한, 상기 제어부(270)는 튜너부(210), 외부장치 인터페이스부(230) 또는 네트워크 인터페이스부(235)를 통해 외부 장치로부터 수신된 2D 영상 신호를 3D 영상 신호로 변환하거나, 상기 수신된 2D 영상 신호를 3D 영상 신호로 변환하는 변환부를 포함할 수 있다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트(좌안 영상과 우안 영상)의 깊이 맵을 검출한다(S31). 예를 들면, 상기 제어부(270)는 양안단서(binocular cue)를 이용하거나 스테레오 정합(stereo matching) 방법을 이용하여 3D 영상으로부터 상기 깊이 맵을 검출한다.
상기 제어부(270)는 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵을 상기 3D 곡면형 디스플레이(280)의 현재 화면 곡률(예를 들면, 10도)에 대응하는 제1 곡률 테이블을 근거로 보상한다(S32). 예를 들면, 상기 제어부(270)는, 상기 3D 영상 신호에 포함된 특정 입체 오브젝트의 깊이를 보상하기 위해, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산함으로써 상기 특정 입체 오브젝트의 깊이를 보상한다. 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(곡면 깊이)(C)는 상기 3D 곡면형 디스플레이(280)의 화면 곡률에 따라 변경되며, 상기 3D 곡면형 디스플레이(280)의 화면 곡률에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(곡면 깊이)(C)는 다수의 곡률 테이블에 기록될 수 있다. 예를 들면, 상기 3D 곡면형 디스플레이(280)의 화면 곡률각이 1도, 2도, ...N도일 때 각 곡률각에 대응하는 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(곡면 깊이)(C)는 제1, 제2, ...제N 곡률 테이블에 기록될 수 있다.
상기 제어부(270)는 상기 보상된 깊이 맵을 근거로 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다(S33). 예를 들면, 상기 제어부(270)는, 상기 곡률 테이블로부터 상기 특정 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(Curved Depth)(곡면 깊이)(C)를 독출(read)하고, 수학식 5와 같이 상기 특정 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산하고, 상기 감산된 깊이(새롭게 생성한 깊이 맵)(New depth map)를 근거로 상기 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다.
상기 제어부(270)는 상기 3D 곡면형 디스플레이(280)의 화면 곡률이 사용자 요청에 의해 변경되었는지를 판단한다(S34). 예를 들면, 상기 제어부(270)는 사용자에 의해 화면 곡률 제어 모드가 선택되면 상기 화면 곡률을 제어하기 위한 화면 곡률 제어 바를 도 12와 같이 상기 3D 곡면형 디스플레이(280)에 표시한다.
도 12는 본 발명의 제3 실시예에 따른 화면 곡률 제어 바를 나타낸 예시도 이다.
도 12에 도시한 바와 같이, 상기 제어부(270)는 사용자에 의해 화면 곡률 제어 모드가 선택되면 상기 화면 곡률을 제어하기 위한 화면 곡률 제어 바(12-1)를 상기 3D 곡면형 디스플레이(280)에 표시한다. 예를 들면, 사용자는 상기 곡률 제어 바(12-1)를 통해 0도 내지 N도 중 어느 하나를 선택할 수 있다. 여기서, N은 자연수이다.
본 발명의 제3 실시예에 따른 영상 처리 장치는 상기 곡률 제어 바(12-1)를 통해 선택된 특정 곡률(곡률각)(예를 들면, 10도에서 5도로 변경)로 상기 화면 곡률을 변경하기 위한 구동부를 더 포함할 수 있다. 예를 들면, 상기 제어부(270)는 사용자에 의해 5도의 화면 곡률(12-2)이 선택되면 상기 3D 곡면형 디스플레이(280)의 화면 곡률각을 5도로 변경하기 위한 제어 신호를 발생하고, 그 발생한 제어 신호를 상기 구동부에 출력한다. 상기 구동부는 상기 제어 신호를 근거로 상기 3D 곡면형 디스플레이(280)의 화면 곡률각이 5도가 되도록 상기 3D 곡면형 디스플레이(280)의 화면을 물리적으로 이동시킨다. 상기 화면을 특정 곡률각으로 이동시키기 위한 구조 자체는 본 발명을 근거로 다양하게 구현될 수 있으므로, 이에 대한 상세한 설명은 생략한다.
도 13은 본 발명의 제3 실시예에 따라 화면 곡률이 변경된 상태를 나타낸 예시 도이다.
도 13에 도시한 바와 같이, 상기 제어부(270)는, 상기 3D 곡면형 디스플레이(280)의 화면 곡률각이 10도(
Figure pat00007
)에서 5도(
Figure pat00008
)로 변경되면, 상기 변경된 화면 곡률에 대응하는 제2 곡률 테이블을 근거로 상기 3D 영상 신호에 포함된 입체 오브젝트들의 깊이 맵을 보상한다(S35).
상기 제어부(270)는 상기 제2 곡률 테이블을 근거로 보상된 깊이 맵을 근거로 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다(S36). 예를 들면, 상기 제어부(270)는, 상기 3D 곡면형 디스플레이(280)의 화면 곡률각이 10도(
Figure pat00009
)에서 5도(
Figure pat00010
)로 변경되면, 상기 변경된 화면 곡률에 대응하는 제2 곡률 테이블을 상기 저장부(240)로부터 독출하고, 그 독출한 제2 곡률 테이블로부터 상기 입체 오브젝트의 표시 위치(화소 위치)에 따른 상기 3D 곡면형 디스플레이(280)의 곡률 깊이(곡면 깊이)(C)를 독출(read)하고, 수학식 5와 같이 상기 입체 오브젝트의 깊이 값에서 상기 독출한 곡률 깊이(Curved Depth)(곡면 깊이)(C)값을 감산하고, 상기 감산된 깊이(새롭게 생성한 깊이 맵)(New depth map)를 근거로 상기 3D 영상을 상기 3D 곡면형 디스플레이(280)에 표시한다.
따라서, 본 발명의 제3 실시예에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률의 변경(가변)에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률의 변경에 의해 왜곡된 3D 영상을 보상할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 보상할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이의 화면 곡률에 따라 선택적으로 보상(변경)하거나, 그 보상된 깊이 값을 사용자 입력에 따라 제어(조정)함으로써, 3D 곡면형 디스플레이의 화면 곡률에 의해 왜곡된 3D 영상을 효과적으로 보상할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 시차에 대응하는 깊이(depth) 값을 3D 곡면형 디스플레이(3D curved-Surface display)의 화면 곡률의 변경(가변)에 따라 보상(변경)함으로써, 3D 곡면형 디스플레이의 화면 곡률의 변경에 의해 왜곡된 3D 영상을 보상할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
240: 저장부 270: 제어부
280: 디스플레이

Claims (13)

  1. 3D 영상 신호를 수신하는 단계와;
    상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 영상 표시 장치의 화면 곡률에 따라 변경하는 단계와;
    상기 3D 영상 신호가 보정되어 출력되도록, 상기 변경된 깊이 값을 근거로 갱신된 좌안 영상 및 우안 영상을 상기 영상 표시 장치의 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1항에 있어서, 상기 깊이 값을 변경하는 단계는,
    상기 영상 표시 장치의 모드가 깊이 보상 모드일 때, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 화면 곡률에 따라 변경하는 단계인 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    사용자 입력에 따라 상기 좌안 영상과 우안 영상의 깊이 값을 제어하거나, 상기 사용자 입력에 따라 상기 변경된 깊이 값을 제어하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 영상 표시 장치의 화면 곡률이 변경되면, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 변경된 화면 곡률에 따라 변경하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서, 상기 깊이 값을 변경하는 단계는,
    상기 영상 표시 장치의 화소 위치에 따른 상기 화면 곡률의 깊이 값을 곡률 테이블에 미리 저장하는 단계와;
    상기 곡률 테이블로부터 상기 좌안 영상과 우안 영상의 표시 위치에 대응하는 곡률 깊이 값을 독출하는 단계와;
    상기 좌안 영상과 우안 영상의 깊이 값에서 상기 독출한 곡률 깊이 값을 감산함으로써 상기 좌안 영상과 우안 영상의 깊이 값을 변경하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제1항에 있어서, 상기 변경된 깊이 값(
    Figure pat00011
    )은,
    Figure pat00012
    식을 통해 계산되며,
    여기서, Org Map은 상기 좌안 영상과 우안 영상의 깊이 값을 나타내며, m은 상기 좌안 영상과 우안 영상의 표시 위치를 나타내며,
    Figure pat00013
    는 상기 영상 표시 장치의 화면 곡률각을 나타내며, i는 상기 영상 표시 장치의 수평 라인에 해당하는 화소 위치를 나타내는 것을 특징으로 하는 영상 처리 방법.
  7. 좌안 영상과 우안 영상을 구비하는 3D 영상 신호를 수신하는 수신부와;
    상기 좌안 영상과 우안 영상의 깊이 값을 영상 표시 장치의 화면 곡률에 따라 변경하는 제어부와;
    상기 3D 영상 신호가 보정되어 출력되도록, 상기 변경된 깊이 값을 근거로 갱신된 좌안 영상 및 우안 영상을 표시하는 곡면형 디스플레이를 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 제7항에 있어서, 상기 제어부는,
    상기 영상 표시 장치의 모드가 깊이 보상 모드일 때, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 화면 곡률에 따라 변경하는 것을 특징으로 하는 영상 처리 장치.
  9. 제7항에 있어서, 상기 제어부는,
    사용자 입력에 따라 상기 좌안 영상과 우안 영상의 깊이 값을 제어하거나, 상기 사용자 입력에 따라 상기 변경된 깊이 값을 제어하는 것을 특징으로 하는 영상 처리 장치.
  10. 제7항에 있어서, 상기 제어부는,
    상기 영상 표시 장치의 화면 곡률이 변경되면, 상기 수신된 3D 영상 신호에 포함된 좌안 영상과 우안 영상의 깊이 값을 상기 변경된 화면 곡률에 따라 변경하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 영상 표시 장치의 화면 곡률을 변경하는 구동부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  12. 제11항에 있어서, 상기 제어부는,
    상기 화면 곡률에 대한 변경 요청이 수신되면 상기 변경 요청에 따라 상기 영상 표시 장치의 화면 곡률을 변경하기 위한 제어 신호를 발생하고, 상기 발생한 제어 신호를 상기 구동부에 출력하는 것을 특징으로 하는 영상 처리 장치.
  13. 제 7항에 있어서,
    상기 영상 표시 장치의 화소 위치에 따른 상기 화면 곡률의 깊이 값을 곡률 테이블에 미리 저장하는 저장부를 더 포함하며,
    상기 제어부는,
    상기 곡률 테이블로부터 상기 좌안 영상과 우안 영상의 표시 위치에 대응하는 곡률 깊이 값을 독출하고, 상기 좌안 영상과 우안 영상의 깊이 값에서 상기 독출한 곡률 깊이 값을 감산함으로써 상기 좌안 영상과 우안 영상의 깊이 값을 변경하는 것을 특징으로 하는 영상 처리 장치.
KR1020130023541A 2013-03-05 2013-03-05 영상 처리 장치 및 그 방법 KR20140109168A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130023541A KR20140109168A (ko) 2013-03-05 2013-03-05 영상 처리 장치 및 그 방법
PCT/KR2013/009578 WO2014137053A1 (ko) 2013-03-05 2013-10-25 영상 처리 장치 및 그 방법
US14/765,540 US20150381959A1 (en) 2013-03-05 2013-10-25 Image processing device and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130023541A KR20140109168A (ko) 2013-03-05 2013-03-05 영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140109168A true KR20140109168A (ko) 2014-09-15

Family

ID=51491538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130023541A KR20140109168A (ko) 2013-03-05 2013-03-05 영상 처리 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20150381959A1 (ko)
KR (1) KR20140109168A (ko)
WO (1) WO2014137053A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010234A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Curved multi-view image display apparatus and control method thereof
WO2016056737A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method for controlling the same
US20170094246A1 (en) * 2014-05-23 2017-03-30 Samsung Electronics Co., Ltd. Image display device and image display method
KR20190081902A (ko) * 2017-12-29 2019-07-09 서울시립대학교 산학협력단 원통형 곡면 디스플레이 및 이를 포함하는 로봇
US10552972B2 (en) 2016-10-19 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method with stereo image processing

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015061793A1 (en) * 2013-10-25 2015-04-30 The University Of Akron Multipurpose imaging and display system
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
CN104065944B (zh) * 2014-06-12 2016-08-17 京东方科技集团股份有限公司 一种超高清三维转换装置及三维显示系统
KR20160067518A (ko) * 2014-12-04 2016-06-14 삼성전자주식회사 영상 생성 방법 및 장치
KR20160073787A (ko) * 2014-12-17 2016-06-27 삼성전자주식회사 곡면 디스플레이에서 재생되는 3차원 영상을 생성하는 장치 및 방법
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
KR101007679B1 (ko) * 2009-06-03 2011-01-13 주식회사 아인픽춰스 곡선 화면을 위한 왜곡 영상 생성장치 및 방법
KR101103511B1 (ko) * 2010-03-02 2012-01-19 (주) 스튜디오라온 평면 영상을 입체 영상으로 변환하는 방법
KR20120014411A (ko) * 2010-08-09 2012-02-17 엘지전자 주식회사 입체영상 디스플레이 장치 및 그 제어 방법
KR101233399B1 (ko) * 2010-12-06 2013-02-15 광주과학기술원 다시점 깊이 영상 생성 방법 및 장치
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094246A1 (en) * 2014-05-23 2017-03-30 Samsung Electronics Co., Ltd. Image display device and image display method
US10674133B2 (en) * 2014-05-23 2020-06-02 Samsung Electronics Co., Ltd. Image display device and image display method
WO2016010234A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Curved multi-view image display apparatus and control method thereof
US10136125B2 (en) 2014-07-18 2018-11-20 Samsung Electronics Co., Ltd. Curved multi-view image display apparatus and control method thereof
WO2016056737A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method for controlling the same
US10057504B2 (en) 2014-10-06 2018-08-21 Samsung Electronics Co., Ltd. Display device and method of controlling the same
US10552972B2 (en) 2016-10-19 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method with stereo image processing
KR20190081902A (ko) * 2017-12-29 2019-07-09 서울시립대학교 산학협력단 원통형 곡면 디스플레이 및 이를 포함하는 로봇

Also Published As

Publication number Publication date
WO2014137053A1 (ko) 2014-09-12
US20150381959A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
KR20140109168A (ko) 영상 처리 장치 및 그 방법
KR101788060B1 (ko) 영상표시장치 및 이를 이용한 콘텐츠 관리방법
US20120062551A1 (en) Image display apparatus and method for operating image display apparatus
US20120050267A1 (en) Method for operating image display apparatus
KR20110082380A (ko) 영상표시장치 및 그 동작방법
KR102158210B1 (ko) 음성 인식 장치 및 그 방법
KR20120034996A (ko) 영상표시장치 및 그 동작방법
KR101730424B1 (ko) 영상표시장치 및 그 동작방법
KR20140130904A (ko) 영상 표시 장치 및 그 방법
KR102478460B1 (ko) 표시장치와 그 영상 처리 방법
KR101702967B1 (ko) 영상표시장치 및 그 동작방법
KR20170025562A (ko) 영상표시장치 및 그것의 제어방법
KR20150024198A (ko) 영상 처리 장치 및 그 방법
KR101730323B1 (ko) ３ｄ 시청 장치, 영상표시장치 및 그 동작방법
KR101796044B1 (ko) 영상표시장치
KR101832332B1 (ko) 액정 표시장치 패널
KR20140131797A (ko) 영상 처리 장치 및 그 방법
KR20150031080A (ko) 영상 처리 장치 및 그 방법
KR20160008893A (ko) 영상 표시 기기의 제어 장치 및 그 제어 방법
KR101691801B1 (ko) 멀티비전 시스템
KR20160008892A (ko) 영상 표시 장치 및 그 방법
KR101737367B1 (ko) 영상표시장치 및 그 동작방법
KR20150021399A (ko) 영상 처리 장치 및 그 방법
KR101640403B1 (ko) 영상표시장치 및 그 동작방법
KR20120034836A (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination