KR101717787B1 - 디스플레이장치 및 그의 음성신호 출력 방법 - Google Patents

디스플레이장치 및 그의 음성신호 출력 방법 Download PDF

Info

Publication number
KR101717787B1
KR101717787B1 KR1020110038947A KR20110038947A KR101717787B1 KR 101717787 B1 KR101717787 B1 KR 101717787B1 KR 1020110038947 A KR1020110038947 A KR 1020110038947A KR 20110038947 A KR20110038947 A KR 20110038947A KR 101717787 B1 KR101717787 B1 KR 101717787B1
Authority
KR
South Korea
Prior art keywords
depth
image
parameter
signal
unit
Prior art date
Application number
KR1020110038947A
Other languages
English (en)
Other versions
KR20110120825A (ko
Inventor
이성구
김희진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110120825A publication Critical patent/KR20110120825A/ko
Application granted granted Critical
Publication of KR101717787B1 publication Critical patent/KR101717787B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

본 발명의 실시 예에 따른 디스플레이장치의 음성신호 출력 방법은 방송신호가 수신되는 단계; 상기 방송 신호에 포함된 입체 영상의 깊이를 검출하는 단계; 상기 검출된 깊이에 기초하여, 상기 입체 영상에 대응되게 입력되는 음성신호를 신호처리하는 단계; 및 상기 신호처리된 음성 신호를 출력하는 단계를 포함한다.

Description

디스플레이장치 및 그의 음성신호 출력 방법{Display device and method for outputting of audio signal}
본 발명은 디스플레이장치에 관한 것으로, 특히 입체 영상 데이터(3 dimensions; 3D)에 대응하여 음성신호를 출력할 수 있는 디스플레이장치 및 그의 음성신호 출력 방법에 관한 것이다.
디스플레이장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 디스플레이장치를 통하여 방송을 시청할 수 있다. 디스플레이장치는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 표시한다. 현재 방송은 세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 최근에는 입체 영상에 대한 다양한 연구가 진행되고 있으며, 컴퓨터 그래픽에서뿐만 아니라 다른 다양한 환경 및 기술에서도 입체 영상 기술이 점점 더 보편화되고 실용화되고 있다.
본 발명에 따른 실시 예에서는 입체 영상 데이터의 깊이 정보에 연동하여 음성 신호를 출력할 수 있는 디스플레이장치 및 그의 음성신호 출력 방법을 제공하도록 한다.
또한, 본 발명에 따른 실시 예에서는 입체 영상 데이터의 깊이 정보를 정확히 산출할 수 있는 디스플레이장치 및 그의 음성신호 출력 방법을 제공하도록 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 디스플레이장치의 음성신호 출력 방법은 방송신호가 수신되는 단계; 상기 방송 신호에 포함된 입체 영상의 깊이를 검출하는 단계; 상기 검출된 깊이에 기초하여, 상기 입체 영상에 대응되게 입력되는 음성신호를 신호처리하는 단계; 및 상기 신호처리된 음성 신호를 출력하는 단계를 포함한다.
또한, 본 발명의 실시 예에 따른 디스플레이장치는 수신된 방송신호에 포함된 입체 영상을 디스플레이하는 디스플레이부; 수신된 방송신호에 포함된 음성신호를 출력하는 음성 출력부; 상기 디스플레이되는 입체 영상의 깊이를 검출하는 깊이 검출부; 및 상기 검출된 깊이에 의거하여 상기 음성신호에 대한 적어도 하나의 파라미터 값을 설정하고, 상기 설정된 파라미터 값에 기초하여 신호처리된 음성신호가 상기 음성 출력부를 통해 출력되도록 제어하는 제어부를 포함하여 구성된다.
본 발명에 따른 실시 예에 의하면, 기존의 획일화된 입체 음향 기술과 차별화된 입체음향 기술을 제공할 수 있으며, 입체 영상 데이터의 깊이 정보에 연동하여 음성신호를 출력함으로써 실감나는 입체 음향을 제공할 수 있는 효과가 있다.
도 1 및 2는 입체 영상의 포맷을 설명하기 위한 도면.
도 3은 본 발명의 실시 예에 따른 디스플레이장치의 구성도.
도 4는 도 3에 도시된 깊이 검출부의 상세 구성도.
도 5 내지 11은 입체 영상이 깊이 검출 방법을 설명하기 위한 도면.
도 12 및 13은 본 발명의 실시 예에 따른 디스플레이장치의 동작 방법을 설명하기 위한 순서도.
도 14 및 15는 본 발명의 실시 예에 따라 구현되는 입체음향 효과를 설명하기 위한 도면.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 설명한다. 이때, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
본 발명은, 디스플레이장치 및 그의 음성 신호 출력 방법에 관한 것으로, 더욱 상세하게는 3차원(3 dimensions) 영상 또는 입체 영상(이하 ‘입체 영상’)을 디스플레이할 수 있는 기기(이하 ‘입체 영상 디스플레이 기기’)에서의 음성 신호 출력 방법에 관해 설명한다.
본 발명을 설명하기 위해 우선 입체 영상에 대해 살펴보면, 다음과 같다.
입체 영상에는 두 개의 시점을 고려하는 스테레오(또는 스테레오스코픽) 영상, 세 개의 시점 이상을 고려하는 다시점 영상 등이 있다.
상기 스테레오 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 1쌍의 좌우영상을 말한다. 또한, 상기 다시점 영상은 일정한 거리나 각도를 갖는 3개 이상의 카메라로 동일한 피사체를 촬영하여 획득한 3개 이상의 영상을 말한다.
상기 스테레오 영상의 전송 포맷에는, 싱글 비디오 스트림 포맷(single video stream format)과 멀티 비디오 스트림 포맷(multi video stream format)이 있다.
이때, 싱글 비디오 스트림 포맷에는, 도 1(a)의 사이드 바이 사이드(side by side), 도 1(b)의 탑/다운(top/down), 도 1(c)의 인터레이스드(interlaced), 도 1(d)의 프레임 시퀀셜(frame sequential), 도 1(e)의 체커 보드(checker board), 도 1(f)의 애너그리프(anaglyph) 등이 있다.
도 1(a)의 사이드 바이 사이드 포맷은, 좌영상(L)과 우영상(R)을 각각 수평 방향으로 1/2 서브 샘플링(sub sampling)하고, 샘플링한 좌영상(L)과 우영상(R)을 각각 좌측과 우측에 위치시켜 하나의 스테레오 영상을 만드는 경우이다.
도 1(b)의 탑/다운 포맷은, 좌영상(L)과 우영상(R)을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌영상(L)과 우영상(R)을 각각 상부와 하부에 위치시켜 하나의 스테레오 영상을 만드는 경우이다.
도 1(c)의 인터레이스드 포맷은, 좌영상(L)과 우영상(R)을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌영상(L)의 화소와 우영상(R)의 화소가 라인마다 교대로 위치시켜 스테레오 영상을 만들거나, 또는 좌영상(L)과 우영상(R)을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌영상(L)의 화소와 우영상(R)의 화소가 한 화소씩 교대로 위치시켜 스테레오 영상을 만드는 경우이다.
도 1(d)의 프레임 시퀀셜 포맷은, 좌영상(L)과 우영상(R)을 서브 샘플링하는 것이 아니라 상기 각 영상을 하나의 프레임(frame)으로 하여 순차로 번갈아 위치시켜 스테레오 영상을 만드는 경우이다.
도 1(e)의 체커 보드 포맷은, 좌영상(L)과 우영상(R)을 각각 수직과 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌영상(L)의 화소와 우영상(R)의 화소가 한화소씩 교대로 위치시켜 스테레오 영상을 만드는 경우이다.
또한, 멀티 비디오 스트림 포맷으로는, 도 2(a)의 풀 좌/우(Full left/right), 도 2(b)의 풀 좌/하프 우(Full left/Half right), 도 2(c)의 2차원 비디오/깊이(2Dimensions video/depth) 등이 있다.
도 2(a)의 풀 좌/우 포맷은 좌영상(L)과 우영상(R)을 순차로 각각 전송하는 경우이고, 도 2(b)의 풀 좌/하프 우 포맷은 좌영상(L)은 그대로 우영상(R)은 수직 또는 수평 방향으로 1/2 서브 샘플링하여 전송하는 경우이다. 도 2(c)의 2차원 비디오/깊이 포맷은 좌영상(L)과 우영상(R) 중 하나의 영상과 다른 하나의 영상을 만들어내기 위한 깊이 정보를 함께 전송하는 경우이다.
상술한 스테레오 영상 또는 다시점 영상은 MPEG(moving picture experts group) 또는 여러 가지 방법으로 압축 부호화되어 수신 시스템으로 전송될 수 있다. 예를 들어, 사이드 바이 사이드 포맷, 탑/다운 포맷, 인터레이스드 포맷, 체커 보드 포맷 등과 같은 스테레오 영상은, H.264/AVC(advanced video coding) 방식으로 압축 부호화하여 전송될 수 있다. 따라서, 수신 시스템은 H.264/AVC 코딩 방식의 역으로 상기 스테레오 영상을 복호하여 입체 영상을 얻을 수 있다.
또한, 풀 좌/하프 우 포맷의 좌영상 또는 다시점 영상 중 하나의 영상은 기본 계층(based layer) 영상으로, 나머지 영상은 상위 계층(enhanced layer) 영상으로 할당한 후, 기본 계층의 영상은 모노스코픽(monoscopic) 영상과 동일한 방식으로 부호화하고, 상위 계층의 영상은 기본 계층과 상위 계층의 영상 간의 상관 정보에 대해서만 부호화하여 전송할 수 있다. 여기서, 기본 계층 영상에 대한 압축 부호화 방식의 예로 JPEG(joint photographic experts group), MPEG-1, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있고, 상위 계층의 영상에 대한 압축 부호화 방식의 예로는 H.264/MVC(multi-view video coding) 방식 등이 사용될 수 있다.
또한, 스테레오 영상은 기본 계층의 영상과 하나의 상위 계층 영상으로 할당되나, 다시점 영상은 하나의 기본 계층의 영상과 복수 개의 상위 계층 영상으로 할당된다. 다시점 영상을 기본 계층의 영상과 하나 이상의 상위 계층의 영상으로 구분하는 기준은 카메라의 위치 또는 배열 형태에 따라 결정될 수도 있고, 특별한 기준을 따르지 않고 임의로 결정될 수도 있다.
입체 영상은 일반적으로 두 눈의 스테레오(stereo) 시각 원리에 의한다. 두 눈의 시차 다시 말해, 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)는 입체감을 느끼게 하는 중요한 요인으로 좌우 눈이 각각 연관된 평면 영상을 볼 경우, 뇌는 이들 서로 다른 두 영상을 융합하여 입체영상 본래의 깊이 감과 실재감을 재생할 수 있다.
이러한 입체 영상 표시는 크게 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 및 홀로그래픽(holographic) 방식으로 구분된다. 예를 들어 스테레오스코픽 기술을 적용한 입체 영상 디스플레이 기기는 2차원 영상에 깊이(depth) 정보를 부가하고, 깊이 정보를 이용하여 관찰자가 입체의 생동감과 현실감을 느낄 수 있게 하는 화상 표시 기기이다.
그리고 입체 영상을 보여주는 방식에는 크게 안경(glasses)을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다. 여기서, 안경을 착용하는 방식은 다시 패시브(passive) 방식과 액티브(active) 방식으로 나뉜다. 패시브 방식은, 편광필터(a polarizing filter)를 사용해서 좌영상(L)과 우영상(R)을 구분해서 보여주는 방식으로, 양안에 각각 좌영상(L)과 우영상(R)만을 볼 수 있는 편광 필터를 부착한 편광안경을 쓰고 보는 방식이다. 액티브 방식은, 액정 셔터(liquid crystal display (LCD) shutter)를 이용하여 좌/우안을 구분하는 방식으로, 좌안(왼쪽 눈)과 우안(오른쪽 눈)을 순차적으로 가림으로써 각각 좌영상(L)과 우영상(R)을 구분하는 방식이다. 이러한 액티브 방식은 시간 분할된 화면을 주기적으로 반복시키고, 이 주기에 동기(synchronized)된 전자 셔터(electronic shutter)가 설치된 안경을 쓰고 보는 방식으로, 시분할 방식(time split type) 또는 셔텨드 글래스 방식(shuttered glass type)이라 하기도 한다.
무안경 방식으로서 알려진 대표적인 것으로는 원통형의 렌즈 어레이(lens array)를 수직으로 배열한 렌티큘러(lenticular) 렌즈 판을 영상 패널 전방에 설치하는 렌티큘러 방식과, 영상 패널 상부에 주기적인 슬릿(slit)을 갖는 배리어 층(barrier layer)을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다.
도 3은 본 발명의 실시 예에 따른 디스플레이장치의 구성을 나타낸 도면이다.
도 3을 참조하면, 디스플레이장치는 튜너부(101), 신호 처리부(102), 영상 처리부(103), 포맷터부(104), 디스플레이부(105), 수광부(107)를 포함하는 안경부(106), 음성 처리부(108), 음성 출력부(109), 사용자입력 인터페이스부(110), 네트워크 인터페이스부(111), 외부장치 인터페이스부(112), 저장부(113), 깊이 검출부(114) 및 제어부(115)를 포함한다.
또한, 도 4를 참조하면, 상기 깊이 검출부(114)는 거리맵 생성부(1141), 히스토그램 생성부(1142), 비교부(1143) 및 깊이 결정부(1144)를 포함한다.
이하, 도 3 및 4에 도시된 각 구성블록에 대해 상세하게 설명하면 다음과 같다.
튜너부(101)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(101)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(101)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(115)로 직접 입력될 수 있다.
또한, 튜너부(101)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
한편, 튜너부(101)는, 본 발명에서 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
여기서, 상기 방송신호에 포함된 영상은 입체 영상뿐만 아니라, 2차원 영상도 포함할 수 있다. 따라서, 본 발명에 따른 디스플레이장치는 2차원 영상이 수신되는 경우에는 후술할 포맷터부(104)를 바이패스(bypass)하도록 제어하여 2차원 영상과 입체 영상 사이의 호환성(backward compatibility)을 유지하도록 한다. 상기 입체 영상은 예를 들어, 도 1에 도시된 다양한 포맷 중 어느 하나일 수 있다.
신호 처리부(102)는 상기 튜너부(101)를 통해 수신된 방송신호를 처리한다. 이를 위해, 상기 신호 처리부(102)는 상기 방송신호를 복조하는 복조부(도시하지 않음)와, 상기 복조된 방송신호를 역다중화하는 역다중화부(도시하지 않음)를 포함한다.
상기 신호 처리부(102)를 구성하는 복조부는 튜너부(101)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
예를 들어, 튜너부(101)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부는 8-VSB(7-Vestigal Side Band) 복조를 수행한다. 또한, 복조부는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver) 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 튜너부(101)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부는, 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일 예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
한편, 상술한 복조부는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, 상기 복조부는 ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
상기 복조부에서 출력한 스트림 신호는 역다중화부로 입력된다.
상기 역다중화부는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부에 입력되는 스트림 신호는, 튜너부(101) 또는 복조부 또는 외부장치 인터페이스부(112)에서 출력되는 스트림 신호일 수 있다.
영상 처리부(103)는 상기 역다중화된 영상신호의 영상 처리를 수행한다. 이를 위해, 상기 영상 처리부(103)는 영상 디코더 및 스케일러를 포함할 수 있다.
영상 디코더는, 역다중화된 영상신호를 복호화하며, 스케일러는, 복호화된 영상신호의 해상도를 디스플레이부(105)에서 출력 가능하도록 스케일링(scaling)을 수행한다.
영상 디코더는 다양한 규격의 디코더를 구비하는 것이 가능하다. 예를 들어, 영상 디코더는, MPEG-2 디코더, H.264 디코더, MPEC-C 디코더(MPEC-C part 3), MVC 디코더, FTV 디코더 중 적어도 하나를 구비할 수 있다.
한편, 상기 영상 처리부(103)는 OSD 구현을 위한 처리도 담당한다. 이를 위해 상기 영상 처리부(103)는 OSD 생성부(미도시)를 더 포함할 수 있다. 따라서, 상기 영상 처리부(103)는 디코딩된 입체 영상을 출력함에 있어 외부로부터 OSD 요청이 수신되면, OSD 생성부를 제어하여 OSD 데이터를 생성하도록 제어한다. 그리고 영상 처리부(103)는 상기 생성된 OSD 데이터를 상기 디코딩된 입체 영상 데이터에 포함(또는 삽입)시켜 출력한다.
포맷터부(104)는 영상 처리부(103)로부터 입체 영상 또는 OSD 데이터가 포함된 영상 데이터를 수신하여 디스플레이부(105)의 디스플레이 포맷에 맞게 새롭게 배열한다.
디스플레이부(105)는, 포맷터부(104)로부터 새롭게 배열된 영상 데이터를 수신하여 화면상에 출력한다.
그리고, 사용자는 안경부(106)를 통해 화면상에 출력되는 입체 영상을 시청할 수 있다. 이때, 포맷터부(104)는, 상기 디스플레이부(105)로 출력되는 입체 영상에 관한 동기 신호(Vsync)를 생성한다. 그리고, 포맷터부(104)는 상기 생성된 동기 신호(Vsync)를 IR 에미터부(infrared rays (IR) emitter)를 통해 안경부(106) 내에 구비된 수광부(107)로 출력한다. IR 에미터부는 필요한 경우에 포함되며, 그 경우 시스템 환경에 따라 포맷터부(104)의 내부 구성모듈로 포함되거나, 또는 별개의 외부 구성 모듈로 구성될 수 있다.
상기에서, 도 3에 도시하지는 않았으나 필요한 경우 입체 영상의 처리와 관련하여 FRC(Frame Rate Converter)부를 더 포함할 수 있다. FRC부는 입력되는 영상의 프레임 레이트를 변환한다. 예를 들어, FRC부는 60Hz의 프레임 레이트를 120Hz 또는 240Hz로 변환한다. 이때, 60Hz의 프레임 레이트를 120Hz로 변환하는 경우, 제1 프레임과 제2 프레임 사이에, 동일한 제1 프레임을 삽입하거나, 제1 프레임과 제2 프레임으로부터 예측된 제3 프레임을 삽입하는 것이 가능하다. 60Hz의 프레임 레이트를 240Hz로 변환하는 경우, 동일한 프레임을 3개 더 삽입하거나, 예측된 프레임을 3개 삽입하는 것이 가능하다.
여기서, 상기 영상 처리부(103)와 포맷터부(104)를 각각 별개의 모듈로 구성할 수 있으나 경우에 따라 하나의 통합 모듈로 구성할 수도 있다. 이 경우 FRC부도 상기 통합 모듈 내에 포함될 수 있다.
음성 처리부(108)는 상기 음성 신호를 전달받고, 상기 전달받은 음성에 대해 일련의 신호 처리 과정을 수행한다. 상기 음성 처리부(108)를 통해 처리된 음성 신호는 음성 출력부(109)를 통해 출력된다.
특히, 상기 음성 처리부(108)는 후술할 제어부(115)에 의해 결정되는 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터 중 적어도 하나를 포함하는 제 1 그룹의 파라미터 설정 값과, 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터 중 적어도 하나를 포함하는 제 2 그룹의 파라미터 설정 값에 따라 상기 음성 신호를 신호처리한다.
이를 위해, 상기 음성 처리부(108)는 상기 음성신호를 복호화하는 음성 디코더와, 상기 복호화된 음성신호를 채널별로 분리하는 채널 분리부와, 상기 채널별로 분리된 음성신호에 입체 처리를 수행하는 입체 처리부를 포함할 수 있다.
즉, 상기 채널 분리부는 상기 음성 신호에 포함된 우 음성 신호와 좌 음성 신호로부터 서라운드(surround) 신호를 추출하고 입체 처리부는 상기 추출된 서라운드 신호에 대해 서라운드 효과 처리를 수행할 수 있다. 또한, 상기 채널 분리부는 우 음성 신호와 좌 음성 신호로부터 스테레오 신호를 분리하고, 상기 입체 처리부는 상기 분리된 스테레오 신호에 대해 서라운드 효과를 만들어주기 위한 입체 처리를 수행할 수 있다.
특히, 상기 음성 처리부(108)는 좌 음성 신호와 우 음성 신호에서 상호 상반되는 신호를 제거하는 Crosstalk cancellation 및 시청자의 머리와 귀의 위치를 고려한 HRTF 방식을 이용하여 상기 음성신호를 신호처리할 수 있다.
즉, 상기 음성 처리부(108)는 상기 수신한 음성신호를 가지고 좌 음성 신호 및 우 음성 신호를 포함하는 2 채널의 신호를 추출한다. 그리고, 상기 음성 처리부(108)는 상기 추출한 2 채널의 신호에서 사람의 목소리가 대두분인 모노 신호와 주변 신호가 대부분인 스테레오 신호를 분리한다. 그리고, 음성 처리부(108)는 상기 분리된 스테레오 신호을 가지고 서라운드 알고리즘을 적용하여 입체 처리를 한다. 상기 서라운드 알고리즘은 HRTF를 이용한 3D 포지셔닝(positioning) 기술과 스테레오 스피커 환경에서 서라운드를 구현하기 위한 Crosstalk cancellation을 포함한다. 이때, 음성 처리부(108)는 오디오 신호 중 리어 채널(rear channel)과 프런트 채널(front channel)로 분리할 수 있으며, 이 이외에도 5.1 채널 등으로 분리하거나, 스테레오인 경우 좌측 채널과 우측 채널로 구분할 수도 있다.
여기에서, 두 개의 스피커를 사용하여 스테레오 사운드를 재생하는 경우, 왼쪽 채널의 사운드가 청취자의 오른쪽 귀에, 오른쪽 채널의 사운드가 청취자의 왼쪽 귀에 전달되는 것을 crosstalk이라 한다. 이에 따라, 이 부분을 제거하면 일반적인 스피커 환경에서도 3D 사운드 포지셔닝이 가능하게 된다. 또한, 최근의 서라운드 알고리즘은 스테레오의 보다 넓은 음장을 구현하기 위해서 스테레오 성분에 Reverberation을 추가하기도 한다.
이때, 상기 음성 처리부(108)는 상기 제어부(115)에 의해 결정된 파라미터 설정 값에 따라 상기 음성신호의 신호 처리를 수행하는데, 상기 파라미터에는 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터를 포함하는 제 1 그룹의 파라미터와, 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터를 포함하는 제 2 그룹의 파라미터가 존재한다.
상기 각 파라미터의 설정 값은 상기 입체 영상의 깊이에 따라 결정된다. 이때, 상기 제 1 그룹의 파라미터들의 설정 값은 상기 입체 영상의 깊이가 증가함에 비례하여 증가하며, 상기 제 2 그룹의 파라미터들의 설정 값은 상기 입체 영상의 깊이가 증가함에 반비례하여 감소하게 된다.
즉, 상기 입체 영상의 깊이가 증가하게 되면, 그에 따라 상기 제 1 그룹에 속한 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터의 설정 값은 증가하게 되고, 제 2 그룹에 속한 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터의 설정 값은 감소하게 된다.
이와 반대로, 상기 입체 영상의 깊이가 감소하게 되면, 그에 따라 상기 제 1 그룹에 속한 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터의 설정 값은 감소하게 되고, 제 2 그룹에 속한 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터의 설정 값은 증가하게 된다.
상기 센터(center) 레벨 파라미터는 모노 신호, 다시 말해서 목소리 신호의 크기를 조정하기 위한 파라미터이다. 상기 프런트(front) 레벨 파라미터는 프론트 채널의 좌/우 신호의 크기를 조정하기 위한 파라미터이다. 상기 리어(rear) 레벨 파라미터는 리어 채널의 좌/우 신호의 크기를 조정하기 위한 파라미터이다. 상기 제 1 팽창세기 파라미터는 고주파수 대역의 확장감 크기를 조정하기 위한 파라미터이고, 상기 제 2 팽창세기 파라미터는 저주파수 대역의 확장감 크기를 조정하기 위한 파라미터이다. 또한, LFE(Low Frequency Effects) 레벨 파라미터는 저주파수 효과로 저음 영역의 크기를 조정하기 위한 파라미터이다. 또한, 고주파수 파라미터는 고주파수 효과로 고음 영역의 크기를 조정하기 위한 파라미터이다. 또한, 반향 요소(Reverb part) 파라미터는 Reverbration의 크기를 조정하여 에코 효과를 주기 위한 파라미터이다.
이때, 상기 리어 채널은 디스플레이장치(100)의 후방에서 출력되는 음성신호이며, 프론터 채널은 디스플레이장치(100)의 전방에서 출력되는 음성신호이며, 센터 채널은 디스플레이장치(100)의 중앙에서 출력되는 음성신호라 할 수 있다.
사용자입력 인터페이스부(110)는, 사용자가 입력한 신호를 제어부(115)로 전달하거나, 제어부(115)로부터의 신호를 사용자에게 전달한다.
예를 들어, 사용자입력 인터페이스부(110)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 별도의 원격제어장치로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 수신하거나, 제어부(115)로부터의 신호를 원격제어장치로 송신할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(110)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬 키(미도시)에서 입력되는 사용자 입력 신호를 제어부(115)에 전달할 수 있다.
또한, 사용자입력 인터페이스부(110)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(115)에 전달하거나, 제어부(115)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.
네트워크 인터페이스부(111)는, 디스플레이장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(111)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(111)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 인터넷, 컨텐츠 제공자 등으로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(111)는, 예를 들어, IP(internet Protocol) TV와 접속되어, 양방향 통신이 가능하도록, IPTV용 셋탑 박스에서 처리된 영상, 음성 또는 데이터 신호를 수신하여 제어부(115)로 전달할 수 있으며, 제어부(115)에서 처리된 신호들을 IPTV용 셋탑 박스로 전달할 수 있다.
한편, 상술한 IPTV는, 전송네트워크의 종류에 따라 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함하는 의미일 수 있으며, TV over DSL, Video over DSL, TV overIP(TVIP), Broadband TV(BTV) 등을 포함하는 의미일 수 있다. 또한, IPTV는 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
외부장치 인터페이스부(112)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(112)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(112)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(112)는 접속된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 디스플레이장치(100)의 제어부(115)로 전달한다. 또한, 제어부(115)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(112)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 디스플레이장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 디스플레이장치(100)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(112)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
저장부(113)는, 제어부(115) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(113)는 외부장치 인터페이스부(112)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(113)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(113)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시장치(100)는, 저장부(113) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수 있다.
또한, 상기 저장부(113)는 복수의 음성 출력부(109) 사이의 거리 정보나, 상기 음성 출력부(109)와 청취자 사이의 거리정보 및 각 채널에 대한 게인 정보 등을 저장할 수 있다.
깊이 검출부(114)는 상기 입체 영상의 깊이를 검출한다.
상기 깊이 검출부(114)는 상기 수신되는 방송신호에 포함된 부가정보 데이터를 이용하여 상기 입체 영상의 깊이를 검출할 수 있다.
즉, 상기 수신되는 방송신호는 영상, 음성 및 부가정보 신호로 구성되며, 상기 부가정보 신호에는 상기 수신되는 영상신호(명확하게는 입체 영상)의 깊이 정보를 포함하고 있을 수 있다.
이에 따라, 상기 깊이 검출부(114)는 상기 역다중화부로부터 분리되는 부가정보 데이터를 분석하고, 상기 분석된 부가정보 데이터 안에 상기 입체 영상의 깊이 정보가 존재하면, 상기 깊이 정보를 검출하여 제어부(115)로 전달한다.
또한, 상기 깊이 검출부(114)는 상기 부가정보 데이터 안에 상기 입체 영상의 깊이 정보가 존재하지 않으면, 상기 수신된 영상의 분석을 통해 상기 깊이를 검출한다.
이를 위해, 상기 깊이 검출부(114)는 거리맵 생성부(1141), 히스토그램 생성부(1142), 비교부(1143) 및 깊이 결정부(1144)를 포함한다.
거리맵 생성부(1141)는 상기 입체 영상을 분석하여 거리맵을 생성한다. 즉, 상기 입체 영상은 좌측 영상과 우측 영상을 포함하며, 거리맵 생성부(1141)는 상기 좌측 영상과 우측 영상을 포함하는 입체 영상으로부터 좌측 영상과 우측 영상의 양 안 시차를 이용하여 거리맵을 생성한다.
거리맵은 상기 좌측 영상과 우측 영상의 차이로부터 오브젝트의 거리를 판단하고, 이를 각 오브젝트의 밝기로 표현한 것이다. 입체 영상의 정합 방법은 크게 영역 기반(Region Based)과 특징 기반(Feature Based), 화소 기반 방식(Pixel-Based Method)으로 나누어진다. 영역 기반 방식은 정합을 영역 단위로 대응점을 찾는 것을 말한다. 즉, 특정한 크기의 창을 이용하여 영역 단위로 정합하며, 국소 영역의 크기에 따라 상관 관계를 가진다. 그러므로, 정합의 정확도 및 매칭에 있어서의 계산 속도를 고려하여 적절한 창의 크기를 결정한다.
블록 정합은 도 7에 도시된 바와 같이, 좌/우 영상이 수평이라고 할 때, 정합 윈도우 사이즈만큼의 왼쪽 영상과 오른쪽 영상을 수평으로 이동하며 상관성(Correlation)이 가장 높은 곳에서의 dx를 찾아 이격도(Disparity)를 예측한다. 스테레오 영상에서의 이격도는 카메라에서 멀리 떨어진 오브젝트에서는 작게, 카메라와 가까운 오브젝트에서는 크게 나타나는데, 이 차이를 밝기 레벨로 표현한 것이 거리맵(disparity map, depth map)이다. 즉, 가까운 오브젝트는 밝게 하고, 멀어질수록 어둡게 표시하여 대상체의 거리 정보를 표시하게 된다.
도 8 및 9에는 입체 영상의 좌측 영상 및 우측 영상의 예가 있으며, 도 10은 도 8 및 9의 영상으로부터 추출한 거리맵의 일 예이다. 도 10에서 볼 수 있는 것처럼, 가까이 있는 스탠드 조명은 뒤에 있는 카메라나 책상보다 밝게 표현되어 있다. 스테레오 영상으로부터 거리맵을 생성하는 것에 대해서는 다양한 방법이 제안되고 있으며, 본 발명은 특정 거리맵 생성 방법에 한정되는 것은 아니다.
히스토그램 생성부(1142)는 거리맵 생성부(1141)로부터 생성된 거리맵을 수신하고, 상기 수신된 거리맵으로부터 히스토그램을 생성한다.
도 5에는 카메라를 향해 접근하는 물체에 대한 거리맵이 도시되어 있으며, 도 6에는 도 5에 도시된 거리맵에 대응되는 히스토그램이 도시되어 있다.
도 5의 (a)와 (b)에서 볼 수 있는 것처럼, 구가 카메라를 향해 접근하고 있으며, 그에 따라 (b)에서는 (a)에서보다 구의 크기가 커지고 밝기도 밝아 졌음을 알 수 있다. 이에 따라, 도 6의 (a)와 (b)에서 볼 수 있는 것처럼, 히스토그램에서 피크 부분이 (a)에서는 A위치에 있다가 (b)에서는 좀더 밝은 값인 B위치로 W만큼 이동한 것을 알 수 있다. 즉, 구가 접근함에 따라 구까지의 거리가 짧아지고, 이에 따라 구의 밝기가 밝아져서 도 6의 (b)에서는 히스토그램의 B위치에 해당하는 밝은 값의 픽셀 수가 증가하게 된 것이다.
본 발명에서는 물체가 접근함에 따라 거리맵의 히스토그램 상의 피크 포인트 지점이 이동하는 특성을 이용하여 물체가 다가오고 있는지 또는 멀어지고 있는지를 판단한다. 다시 말해서, 상기 히스토그램 상의 피크 포인트 지점의 이동 특성을 이용하여 입체 영상의 깊이가 증가하는지, 아니면 감소하는지를 판단한다.
이를 위하여, 상기 히스토그램 생성부(1142)는 이전 프레임의 거리맵으로부터 히스토그램을 생성하고, 현재 프레임의 거리맵으로부터 히스토그램을 각각 생성한다.
비교부(1143)는 상기 히스토그램 생성부(1142)로부터 생성된 이전 프레임의 히스토그램과 현재 프레임의 히스토그램을 비교해서, 상기 두 프레임의 히스토그램의 비교 결과를 깊이 결정부(1144)로 전달한다.
즉, 접근하는 또는 멀어지는 오브젝트의 이동거리는 두 프레임의 히스토그램의 피크 포인트 지점의 차이로부터 계산한다. 또한, 비교부(1143)는 현재 프레임의 히스토그램에서 이전 프레임의 히스토그램을 빼서 정지해 있는 부분에 관한 정보를 제거하고 움직이는 부분에 관한 정보만을 추출하여 이로부터 피크 포인트 위치의 이동을 판별할 수도 있다.
깊이 결정부(1144)는 상기 비교부(1143)의 비교결과에 따라 상기 입체 영상의 최종 깊이를 결정한다.
거리맵의 히스토그램에서 각 그레이 값은 카메라로부터의 거리를 나타내므로, 상기 깊이 결정부(1144)는 현재 프레임에 대응되는 히스토그램의 피크 포인트 지점의 그레이 레벨에 따른 거리값과 이전 프레임의 히스토그램의 피크 포인트 지점의 그레이 레벨에 따른 거리값의 차이 값을 상기 입체 영상의 깊이로 계산할 수 있다. 여기에서 상기 입체 영상의 깊이는 상기 이전 프레임의 히스토그램에서의 피크 포인트 지점과 현재 프레임의 히스토그램에서의 피크 포인트 지점의 이동거리이다.
제어부(115)는 디스플레이장치(100)의 전반적인 동작을 제어한다.
예를 들어, 제어부(115)는 튜너부(101)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(115)는 사용자입력 인터페이스부(110)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이장치(100)를 제어할 수 있다.
예를 들어, 제어부(115)는, 사용자입력 인터페이스부(110)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너부(101)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(115)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(105) 또는 음성 출력부(109)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(115)는, 사용자입력 인터페이스부(110)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(112)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의 영상 신호 또는 음성 신호가 디스플레이부(105) 또는 음성 출력부(109)를 통해 출력될 수 있도록 한다.
한편, 제어부(115)는, 영상을 표시하도록 디스플레이부(105)를 제어할 수 있다. 예를 들어, 튜너부(101)를 통해 입력되는 방송 영상, 외부장치 인터페이스부(112)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부(111)를 통해 입력되는 영상 또는 저장부(113)에 저장된 영상을 디스플레이부(115)에 표시하도록 제어할 수 있다.
이때, 디스플레이부(105)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(115)는 디스플레이부(105)에 표시되는 영상 중에, 소정 오브젝트에 대해 3D 오브젝트로 생성하여 표시되도록 한다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
이러한 3D 오브젝트는, 디스플레이부(105)에 표시되는 영상과 다른 깊이를 가지도록 처리될 수 있다. 바람직하게는 3D 오브젝트가 디스플레이부(105)에 표시되는 영상에 비해 돌출되어 보이도록 처리될 수 있다.
특히, 상기 제어부(115)는 상기 깊이 검출부(114)를 통해 검출된 입체 영상의 깊이에 기초하며, 음성 신호의 신호처리를 위한 적어도 하나의 파라미터에 대한 설정 값을 결정하고, 상기 결정된 설정 값에 의거하여 상기 음성신호의 신호처리가 이루어지도록 제어한다.
상기 제어부(115)에 의해 결정되는 파라미터에는 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터 중 적어도 하나를 포함하는 제 1 그룹의 파라미터와, 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터 중 적어도 하나를 포함하는 제 2 그룹의 파라미터가 존재한다.
특히, 상기 제어부(115)는 좌 영상(L)과 우 영상(R) 중 하나의 영상과 다른 하나의 영상을 만들어내기 위한 깊이 정보를 함께 전송하는 경우, 상기 깊이 검출부(114)를 통해 검출되는 상기 깊이 정보에 기초하여 상기 파라미터에 대한 설정 값을 결정한다.
상기 깊이는 입체 영상의 좌 영상을 기준으로 우 영상의 돌출 정도이다. 즉, 상기 전송되는 데이터가 좌 영상 및 깊이 정보일 경우, 상기 깊이가 크면, 오브젝트의 돌출 정도가 크다는 것을 의미하고, 상기 깊이가 작으면, 오브젝트의 돌출 정도가 작다는 것을 의미한다. 또한, 상기 전송되는 데이터가 우 영상일 경우, 사용자는 상기 좌 영상과 반대로 상기 오브젝트의 깊이 정도를 느낄 수 있다.
또한, 상기 오브젝트의 돌출 정도가 크다면 현재 디스플레이되는 입체영상에 두드러지는 부분이 존재함을 의미하고, 상기 오브젝트의 돌출 정도가 작다면, 현재 디스플레이되는 영상에 두드러지는 부분이 존재하지 않음을 의미한다.
이에 따라, 상기 제어부(115)는 상기 깊이에 의거하여, 상기 음성 신호에 대한 서라운드 효과가 구현되도록 한다.
즉, 일반적인 서라운드 효과는 음성신호의 방향성(좌 방향성 및 우 방향성)에 대한 신호의 범위 확장(widening)을 수행하여 공간감 및 스테레오감을 강조하였다. 그러나, 이와 같은 서라운드 효과를 구현하면 음성신호의 전 방향 및 후 방향에 대한 깊이감 및 위치감이 반감되는 문제가 있다.
따라서, 제어부(115)는 상기 입체 영상의 깊이에 의거하여 상기 음성신호에 대해 좌 방향 및 우 방향이 강조되도록 하거나, 전 방향 및 후 방향이 강조되도록 한다.
즉, 제어부(115)는 입체 영상의 깊이가 크다면, 화면에 디스플레이되는 오브젝트의 돌출 정도가 크고, 이는 화면에 두드러지는 오브젝트가 디스플레이됨을 의미하므로, 좌 방향성 및 우 방향성보다는 전 방향성 및 후 방향성이 강조되도록 상기 파라미터의 설정 값을 결정한다. 또한, 제어부(115)는 상기 입체 영상의 깊이가 작다면, 화면에 디스플레이되는 오브젝트의 돌출 정도가 작고, 이는 화면에서 두드러지는 부분이 없음을 의미하므로, 3D 포지셔닝 보다는 좌 방향성 및 우 방향성이 강조되도록 상기 파라미터의 설정 값을 결정하여 넓은 음장 및 웅장해진 서라운드 효과가 구현되도록 한다.
이때, 상기 1 그룹의 파라미터에 포함된 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터의 설정 값이 증가할수록 소리의 전 방향성 및 후 방향성이 강조되고, 상기 제 2 그룹의 파라미터에 포함된 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터의 설정 값이 증가할수록 소리의 좌 방향성 및 우 방향성이 강조된다.
이에 따라, 제어부(115)는 상기 검출된 깊이가 증가할수록 상기 제 1 그룹에 속한 파라미터의 설정 값을 증가시킨다. 또한, 제어부(115)는 상기 제 1 그룹에 속한 파라미터의 설정 값을 증가시키는 경우, 이에 대응되게 상기 제 2 그룹에 속한 파라미터의 설정 값을 감소시킨다.
또한, 제어부(115)는 상기 검출된 깊이가 감소할수록 상기 제 2 그룹에 속한 파라미터의 설정 값을 증가시킨다. 또한, 제어부(115)는 상기 제 2 그룹에 속한 파라미터의 설정 값을 증가시키는 경우, 이에 대응되게 상기 제 1 그룹에 속한 파라미터의 설정 값을 감소시킨다.
도 11을 보면, 도 11(a)의 좌안 영상(201)과 우안 영상(202) 간의 간격(a)이, 도 11(b)에 도시된 좌안 영상(201)과 우안 영상(202) 간의 간격(b)이 더 작은 경우, 도 11(a)의 오브젝트의 깊이(a') 보다, 도 11(b)의 오브젝트의 깊이(b')가 더 작은 것을 알 수 있다.
상기 도 11에서와 같이, 상기 이전 프레임의 깊이가 a'이고, 현재 프레임의 깊이가 b'인 경우, 상기 제어부(115)는 상기 깊이가 a'에서 b'로 증가함에 비례하여 상기 제 1 그룹에 속한 파라미터의 설정 값들을 증가시킨다. 또한, 이 경우 제어부(115)는 제 2 그룹에 속한 파라미터의 설정 값들을 감소시킨다.
이와 반대로, 이전 프레임의 깊이가 b'이고, 현재 프레임의 깊이가 a'인 경우, 상기 제어부(115)는 상기 깊이가 b'에서 a'로 감소함에 따라 상기 제 2 그룹에 속한 파라미터의 설정 값들을 증가시킨다. 또한, 이 경우 제어부(115)는 제 1 그룹에 속한 파라미터의 설정 값들을 감소시킨다.
도 12 및 13은 본 발명의 실시 예에 따른 디스플레이장치의 동작 방법을 보여주는 순서도이며, 도 14 및 15는 도 12 및 13의 디스플레이장치의 동작 방법의 예를 설명하기 위해 참조되는 도면이다.
도 12를 참조하면, 먼저 입체 영상을 수신한다(101단계). 상기 입력되는 입체 영상은 외부장치로부터의 외부입력 영상, 네트워크를 통해 컨텐츠 제공자로부터 입력된 영상, 튜너부(101)에서 수신되는 방송신호로부터의 방송 영상, 또는 저장부(113)에 저장된 영상일 수 있다.
한편, 제어부(115)는 입력된 영상이 입체영상 인지에 대해 판단할 수 있다. 예를 들어, 입력되는 영상 스트림의 헤더 또는 메타 데이터 내에 입체 영상인지 여부를 나타내는 정보를 수신하여 이를 기초로, 상기 수신된 영상이 입체 영상인지 여부를 판단할 수 있다.
다음, 상기 수신된 입체 영상의 깊이를 검출한다(102단계). 깊이 검출부(114)는 입력되는 입체 영상의 깊이를 검출한다.
예를 들어, 깊이 검출부(114)는 상기 수신된 방송신호에 포함된 영상이 입체 영상인경우, 상기 입체 영상에 대한 부가정보를 분석한다. 그리고, 깊이 검출부(114)는 상기 분석한 부가정보 내에 상기 입체 영상의 깊이를 나타내는 정보가 포함되어 있다면, 상기 정보를 추출하여 상기 입체 영상의 깊이를 검출한다.
또한, 깊이 검출부(114)는 상기 부가정보 내에 상기 입체 영상이 깊이를 나타내는 정보가 미포함되어 있다면, 상기 수신된 입체 영상으로부터 거리맵을 생성하고, 상기 생성된 거리맵으로부터 히스토그램을 생성하며, 상기 생성된 히스토그램의 피크 포인트 지점의 값을 이용하여 상기 입체 영상의 깊이를 검출한다.
다음, 검출된 깊이를 이용한 3D 신호 처리가 필요한지 여부를 판단하고, 상기 3D 신호 처리가 필요한 경우, 상기 검출된 깊이에 대응하여 입력 음성신호를 신호처리하기 위한 적어도 하나의 파라미터 값을 설정한다(103단계).
예를 들어, 상기 깊이에 변화가 없는 경우, 다시 말해서 이전 프레임의 깊이와, 현재 프레임이 깊이가 동일한 경우, 제어부(115)는 3D 신호 처리가 불필요하다고 판단하고, 그에 따라 이전에 설정한 파라미터 값들을 그대로 유지시킨다.
또한, 상기 깊이에 변화가 있는 경우, 다시 말해서 이전 프레임의 깊이와, 현재 프레임의 깊이가 상이한 경우, 제어부(115)는 3D 신호 처리가 필요하다고 판단하고, 그에 따라 현재 프레임의 깊이에 의거하여 이전에 설정한 파라미터 값들을 변경한다.
이때, 상기 검출되는 깊이는 특정 상수 값을 가질 수 있으며, 이와 다르게 특정 +/- 값들을 가질 수 있다.
예를 들어, 상기 깊이가 수신된 부가정보를 이용하여 검출된 경우, 상기 깊이는 특정 상수 값을 가질 수 있다. 이때, 상기 상수 값이 작으면, 상기 입체 영상에 포함된 오브젝트의 돌출 정도가 작다는 것을 의미하고, 상기 상수 값이 크다면, 상기 입체 영상에 포함된 오브젝트의 돌출 정도가 크다는 것을 의미한다.
또한, 상기 깊이가 히스토그램의 피크 지점의 값을 이용하여 검출된 경우, 상기 깊이는 특정 +/- 값을 가질 수 있다.
즉, 이전 프레임의 깊이보다 현재 프레임의 깊이가 큰 경우, 상기 깊이는 특정 + 값을 가지게 된다. 이와 반대로 이전 프레임의 깊이보다 현재 프레임의 깊이가 작은 경우, 검출된 깊이는 특정 - 값을 가지게 된다.
제어부(115)는 상기와 같이 검출되는 깊이가 특정 상수 값을 갖는 경우, 상기 상수 값에 대응되게 적어도 하나의 파라미터에 대한 설정 값을 결정한다.
예를 들어, 저장부(113)에는 각각의 깊이에 대응되는 상수 값에 따라 결정될 적어도 하나의 파라미터에 대한 설정 값을 저장할 수 있다. 제어부(115)는 상기 저장부(113) 내에 상기 설정 값들이 저장되어 있는 경우, 상기 검출된 깊이에 대응되는 설정 값을 상기 저장부(113)로부터 추출하고, 상기 추출된 설정 값을 음성 처리부(108)에 적용하여 수신된 음성신호의 신호 처리가 이루어지도록 한다.
이때, 상기 결정된 설정 값은 상기 검출된 깊이에 따라 증가하거나 감소하게 된다.
예를 들어, 상기 깊이가 + 값을 갖는 경우, 이는 입체 영상의 깊이가 증가하였음을 의미하므로 제어부(115)는 제 1 그룹에 속한 파라미터에 대한 설정 값을 증가시키고, 제 2 그룹에 속한 파라미터에 대한 설정 값을 감소시킨다.
이와 반대로, 상기 깊이가 -값을 갖는 경우, 이는 입체 영상의 깊이가 감소하였음을 의미하므로, 제어부(115)는 제 1 그룹에 속한 파라미터에 대한 설정 값을 감소시키고, 제 2 그룹에 속한 파라미터에 대한 설정 값을 증가시킨다.
다음, 음성 처리부(108)는 상기 제어부(115)에 의해 적어도 하나의 파라미터에 대한 설정 값이 결정되면, 상기 결정된 설정 값을 적용하여 수신된 음성신호의 신호 처리를 수행한다(104단계).
상기 음성 신호의 신호 처리는 다음과 같이 수행될 수 있다.
음성 처리부(108)는 수신된 음성신호를 각각의 채널별로 분리한다. 예를 들어, 음성 처리부(108)는 음성 신호 중 중 리어 채널(rear channel)과 프론트 채널(front channel)로 분리할 수 있다. 리어 채널은, 디스플레이장치(100)의 후방에서 출력되는 음성 신호이며, 프론트 채널은 디스플레이장치(100)의 전방에서 출력되는 음성 신호일 수 있다. 그 외 음성 처리부(108)는 음성 신호를 5.1 채널 등으로 분리하거나, 스테레오인 경우 좌측 채널과 우측 채널로 분리할 수도 있다.
다음, 음성 처리부(108)는 상기 음성 신호가 채널별로 분리되면, 상기 분리된 채널별 음성신호에 대해 상기 결정된 파라미터에 대한 설정 값들을 적용하여 신호 처리를 행한다.
예를 들어, 음성 처리부(108)는 상기 깊이가 크면, 상기 음성 신호의 출력시 전 방향성 및 후 방향성에 대한 소리가 강조되도록 신호 처리를 수행할 수 있다. 이와 반대로, 음성 처리부(108)는 상기 깊이가 작으면, 상기 음성 신호의 출력 시 좌 방향성 및 우 방향성에 대한 소리가 강조되도록 신호 처리를 수행할 수 있다.
즉, 도 14에 도시된 바와 같이 상기 음성 처리부(108)에 의해 상기 음성신호의 전 방향성 및 후 방향성에 대한 신호가 강조되면, 청취자(700)(사용자)는 widening을 강조한 효과보다는 깊이감 및 위치감을 강조한 사운드를 청취할 수 있게 된다. 다시 말해서, 상기 제어부(115)에 의해 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터 중 적어도 하나를 포함하는 제 1 그룹의 파라미터에 대한 설정 값이 증가하고, 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터 중 적어도 하나를 포함하는 제 2 그룹의 파라미터에 대한 설정 값이 감소하면, 도 14에 도시된 바와 같은 깊이감 및 위치감이 강조된 사운드가 출력되게 된다.
또한, 도 15에 도시된 바와 같이 상기 음성 처리부(108)에 의해 상기 음성신호의 좌 방향성 및 우 방향성에 대한 신호가 강조되면, 청취자(800)는 깊이감 및 위치감을 강조한 효과보다는 공간감 및 스테레오감을 강조한 사운드를 청취할 수 있게 된다.
다시 말해서, 상기 제어부(115)에 의해 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터 중 적어도 하나를 포함하는 제 1 그룹의 파라미터에 대한 설정 값이 감소하고, 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터 중 적어도 하나를 포함하는 제 2 그룹의 파라미터에 대한 설정 값이 증가하면, 도 15에 도시된 바와 같은 공간감 및 스테레오감이 강조된 사운드가 출력되게 된다.
상기와 같이 음성 처리부(108)를 통해 음성신호의 신호 처리가 수행되면, 상기 신호처리된 음성신호는 음성 출력부(109)를 통해 출력된다(105단계).
본 발명에 따르면 기존의 획일화된 입체 음향 기술과 차별화된 입체음향 기술을 제공할 수 있으며, 입체 영상 디스플레이장치에 맞는 입체 음향 기술을 제공하여 사용자 만족도를 향상시킬 수 있다.
상기 기재된 깊이 검출 방법에서 히스토그램을 이용한 검출 방법에 대해 설명하기로 한다.
도 13을 참조하면, 먼저 거리맵을 생성한다(201단계). 거리맵 생성부(1141)는 입체 영상을 구성하는 좌측 영상과 우측 영상을 포함하는 입체 동영상으로부터 좌측 영상과 우측 영상의 양안 시차를 이용하여 거리맵을 생성한다.
거리맵은 이체 영상의 좌측 영상과 우측 영상의 차이로부터 각 오브젝트의 거리(깊이라 할 수 있음)판단하고, 상기 판단한 거리를 각 오브젝트의 밝기로 표현한 것이다.
즉, 상기 거리맵에 표현된 각 오브젝트의 밝기는 해당 오브젝트의 깊이를 나타낸다. 예를 들어, 상기 거리맵에 표현된 오브젝트가 밝으면 해당 오브젝트의 깊이가 크다는 것을 의미하고, 상기 오브젝트가 어둡다면 해당 오브젝트의 깊이가 작다는 것을 의미한다.
또한, 상기 거리맵 생성부(1141)는 각 프레임별로 거리맵을 생성하고, 상기 생성된 각 프레임별 거리맵을 히스토그램 생성부(1142)로 전달한다.
다음, 상기 생성된 거리맵으로부터 히스토그램을 생성한다(202단계).
히스토그램 생성부(1142)는 도 5에 도시된 바와 같이 생성된 거리맵을 이용하여 도 6에 도시된 바와 같은 히스토그램을 생성한다. 또한, 히스토그램 생성부(1142)는 상기 전달되는 프레임별 거리맵을 이용하여 프레임별 히스토그램을 생성한다.
다음, 상기 생성된 히스토그램을 비교한다(203단계). 즉, 비교부(1143)는 상기 히스토그램 생성부(1142)로부터 생성된 이전 프레임의 히스토그램과 현재 프레임의 히스토그램을 비교하고, 상기 비교 결과에 따른 결과값을 출력한다.
비교부(1143)는 오브젝트가 접근함에 따라 거리맵의 히스토그램상의 피크 포인트 지점이 이동하는 특성을 이용하여 오브젝트가 다가오고 있는지, 아니면 멀어지고 있는지를 판단한다.
다음, 상기 비교결과에 따른 결과 값을 이용하여 두 프레임의 피크 포인트 지점의 차이를 계산한다(204단계). 이를 위해서, 먼저 현재 프레임의 히스토그램에서 이전 프레임의 히스토그램을 빼서 정지해 있는 부분에 관한 정보를 제거하고, 움직이는 부분에 대한 정보만을 추출한다. 이때, 거리맵의 히스토그램에서 각 그레이 값은 카메라로부터 오브젝트의 거리를 나타내므로, 이전 프레임의 히스토그램의 피크 포인트 지점에 대한 그레이 레벨 값과, 현재 프레임의 히스토그램의 피크 포인트 지점에 대한 그레이 레벨값의 차이 값을 계산한다.
상기 차이 값이 계산되면, 상기 계산된 차이 값을 현재 프레임에 대한 깊이로 결정한다(205단계).
이상 본 발명의 일 실시 예에 따른 음성 신호 출력 방법 및 이를 제공하는 디스플레이 장치에 대해 설명하였으나, 본 발명의 핵심적인 내용을 포함하는 음성 신호 출력 서비스를 제공하는 시스템, 그 시스템을 포함한 프로그램을 컴퓨터에서 실행시키는 컴퓨터 판독 가능한 기록 매체에 대해서도 본 발명이 적용될 수 있다.
또한, 본 발명의 실시 예들을 설명하였으나, 이 실시 예들에 의해 본 발명의 범위가 제한되지 않으며, 본 발명의 범위는 특허청구범위의 해석에 의해 정해진다. 전술한 실시 예들에 대해서는 다양한 변형이 가능하고 이들 변형 예들도 본 발명의 범위에 모두 포함된다.
101: 튜너부 102: 신호 처리부
103: 영상 처리부 104: 포맷터부
105: 디스플레이부 106: 안경부
107: 수광부 108: 음성 처리부
109: 음성 출력부 110: 사용자입력 인터페이스부
111: 네트워크 인터페이스부 112: 외부장치 인터페이스부
113: 저장부 114: 깊이 검출부
115: 제어부

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 수신된 방송신호에 포함된 입체 영상을 디스플레이하는 디스플레이부;
    수신된 방송신호에 포함된 음성신호를 출력하는 음성 출력부;
    상기 디스플레이되는 입체 영상의 깊이를 검출하는 깊이 검출부; 및
    상기 검출된 깊이에 의거하여, 상기 음성신호에 대한 제1그룹 파라미터의 값과 제2그룹 파라미터의 값을 설정하고, 상기 설정된 값들에 기초하여 신호처리된 음성신호가 상기 음성 출력부를 통해 출력되도록 제어하는 제어부를 포함하고,
    상기 제1그룹 파라미터는 음성신호의 전 방향성 및 후 방향성과 관련된 파라미터이고, 상기 제2그룹 파라미터는 음성신호의 좌 방향성 및 우 방향성과 관련된 파라미터이고,
    상기 제어부는,
    상기 입체 영상의 이전 프레임의 깊이와 현재 프레임의 깊이 변화를 검출하고,
    검출 결과 상기 현재 프레임의 깊이가 상기 이전 프레임의 깊이보다 큰 경우, 상기 제1그룹 파라미터의 값을 증가시키고, 상기 제2그룹 파라미터의 값을 감소시키고,
    검출 결과 상기 현재 프레임의 깊이가 상기 이전 프레임의 깊이보다 작은 경우, 상기 제1그룹 파라미터의 값을 감소시키고, 상기 제2그룹 파라미터의 값을 증가시키는 디스플레이장치.
  10. 제 9항에 있어서,
    상기 깊이 검출부는
    상기 수신된 방송신호에 포함된 부가정보 데이터에서 상기 입체 영상의 깊이 정보를 검출하는 디스플레이장치.
  11. 제 9항에 있어서,
    상기 깊이 검출부는
    거리맵으로부터 히스토그램을 생성하는 히스토그램부와,
    상기 히스토그램부로부터 생성된 이전 프레임의 제 1 히스토그램과, 현재 프레임의 제 2 히스토그램을 비교하는 비교부와,
    상기 제 1 및 2 히스토그램의 비교결과에 따라 깊이를 결정하는 깊이 결정부를 포함하는 디스플레이장치.
  12. 제 11항에 있어서,
    상기 깊이 검출부는 상기 입체 영상을 구성하는 좌측 영상과 우측 영상의 양안 시차를 이용하여 거리맵을 생성하는 거리맵 생성부를 더 포함하는 디스플레이장치.
  13. 제 11항에 있어서,
    상기 깊이 결정부는 상기 제 1 히스토그램의 피크 포인트 지점과, 제 2 히스토그램의 피크 포인트 지점의 차이를 깊이로 결정하는 디스플레이장치.
  14. 제 9항에 있어서,
    상기 제1그룹 파라미터는 센터(center) 레벨 파라미터, 리어(rear) 레벨 파라미터, 제 1 팽창세기 파라미터 및 고주파수 파라미터 중 적어도 하나를 포함하고,
    상기 제2그룹 파라미터는 프런트(front) 레벨 파라미터, LFE(Low Frequency Effects) 레벨 파라미터, 제 2 팽창세기 파라미터 및 반향 요소(Reverb part) 파라미터 중 적어도 하나를 포함하는 디스플레이장치.
  15. 삭제
KR1020110038947A 2010-04-29 2011-04-26 디스플레이장치 및 그의 음성신호 출력 방법 KR101717787B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100040304 2010-04-29
KR1020100040304 2010-04-29

Publications (2)

Publication Number Publication Date
KR20110120825A KR20110120825A (ko) 2011-11-04
KR101717787B1 true KR101717787B1 (ko) 2017-03-17

Family

ID=44370689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110038947A KR101717787B1 (ko) 2010-04-29 2011-04-26 디스플레이장치 및 그의 음성신호 출력 방법

Country Status (4)

Country Link
US (1) US8964010B2 (ko)
EP (1) EP2384009B1 (ko)
KR (1) KR101717787B1 (ko)
CN (1) CN102300109B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
EP2656613A1 (en) * 2010-12-22 2013-10-30 Thomson Licensing Apparatus and method for determining a disparity estimate
US9414047B2 (en) * 2011-08-12 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Signaling change of camera parameter and/or depth parameter using update message
US9047688B2 (en) * 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
JP5565405B2 (ja) * 2011-12-21 2014-08-06 ヤマハ株式会社 音響処理装置および音響処理方法
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US9253515B2 (en) * 2012-03-11 2016-02-02 Broadcom Corporation Channel bonding synchronization
JP2013243626A (ja) * 2012-05-23 2013-12-05 Sony Corp 信号処理装置、信号処理方法、およびプログラム
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
WO2019136375A1 (en) 2018-01-07 2019-07-11 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
CN110352153A (zh) 2018-02-02 2019-10-18 辉达公司 自主车辆中用于障碍物躲避的安全程序分析
CN111095291B (zh) 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
CN111919225B (zh) 2018-03-27 2024-03-26 辉达公司 使用模拟环境对自主机器进行培训、测试和验证
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
DE112019006484T5 (de) 2018-12-28 2021-10-21 Nvidia Corporation Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
DE112020004139T5 (de) 2019-08-31 2022-05-12 Nvidia Corporation Erstellung von karten und lokalisierung für anwendungen im bereich des autonomen fahrens

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020159629A1 (en) * 2001-04-27 2002-10-31 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
US20060247918A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140200A (ja) * 1994-11-10 1996-05-31 Sanyo Electric Co Ltd 立体音像制御装置
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JPH10211358A (ja) 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
CN103607582A (zh) 2005-07-27 2014-02-26 赛达克雷斯特合伙公司 为多维显示器捕获并放映画面图像的系统、装置和方法
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
JP4989934B2 (ja) * 2006-07-14 2012-08-01 パナソニック株式会社 スピーカシステム
JP5057715B2 (ja) * 2006-07-28 2012-10-24 株式会社ソニー・コンピュータエンタテインメント ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
KR101377736B1 (ko) 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
KR101844511B1 (ko) * 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
JP2012060349A (ja) * 2010-09-08 2012-03-22 Sharp Corp 立体映像表示装置
US9100633B2 (en) * 2010-11-18 2015-08-04 Lg Electronics Inc. Electronic device generating stereo sound synchronized with stereographic moving picture
WO2012128535A2 (en) * 2011-03-21 2012-09-27 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
JP2012213070A (ja) * 2011-03-31 2012-11-01 Toshiba Corp 映像信号生成装置、映像信号生成方法及び制御プログラム
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020159629A1 (en) * 2001-04-27 2002-10-31 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
US20060247918A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing

Also Published As

Publication number Publication date
KR20110120825A (ko) 2011-11-04
US8964010B2 (en) 2015-02-24
EP2384009B1 (en) 2016-11-16
CN102300109B (zh) 2014-05-14
CN102300109A (zh) 2011-12-28
US20110267440A1 (en) 2011-11-03
EP2384009A2 (en) 2011-11-02
EP2384009A3 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
KR101717787B1 (ko) 디스플레이장치 및 그의 음성신호 출력 방법
US8665321B2 (en) Image display apparatus and method for operating the same
US8872900B2 (en) Image display apparatus and method for operating the same
US8958565B2 (en) Apparatus for controlling depth/distance of sound and method thereof
US8988498B2 (en) Method for controlling operations of image display apparatus and shutter glasses used for the image display apparatus
KR20110086415A (ko) 3ｄ 영상의 화질을 설정할 수 있는 영상표시장치 및 그 동작 제어방법
US20130229409A1 (en) Image processing method and image display device according to the method
KR20110082380A (ko) 영상표시장치 및 그 동작방법
JP5390016B2 (ja) 映像処理装置
JPWO2011118216A1 (ja) 映像処理装置
KR20120034996A (ko) 영상표시장치 및 그 동작방법
KR20110090640A (ko) 영상표시장치 및 그 동작방법
KR101679570B1 (ko) 영상표시장치 및 그 동작방법
KR101728724B1 (ko) 영상 표시 방법 및 그에 따른 영상 표시 장치
KR101733488B1 (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
KR20120062428A (ko) 영상표시장치 및 그 동작방법
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
KR101176500B1 (ko) 영상표시장치 및 그 동작방법
KR20120107418A (ko) 음향의 깊이 제어방법 및 제어장치
KR101880479B1 (ko) 영상표시장치, 및 그 동작방법
KR101737367B1 (ko) 영상표시장치 및 그 동작방법
KR20110134087A (ko) 영상표시장치 및 그 동작방법
KR20130076349A (ko) 영상표시장치, 및 그 동작방법
KR20120014485A (ko) ３ｄ 시청 장치, 영상표시장치 및 그 동작방법
KR20120034836A (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 4