KR20170035502A - 디스플레이 장치 및 이의 제어 방법 - Google Patents

디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20170035502A
KR20170035502A KR1020150134401A KR20150134401A KR20170035502A KR 20170035502 A KR20170035502 A KR 20170035502A KR 1020150134401 A KR1020150134401 A KR 1020150134401A KR 20150134401 A KR20150134401 A KR 20150134401A KR 20170035502 A KR20170035502 A KR 20170035502A
Authority
KR
South Korea
Prior art keywords
audio source
audio
image
display
displaying
Prior art date
Application number
KR1020150134401A
Other languages
English (en)
Inventor
유동훈
박상혁
정재욱
조성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150134401A priority Critical patent/KR20170035502A/ko
Priority to EP16188808.6A priority patent/EP3147895A1/en
Priority to US15/268,715 priority patent/US20170083280A1/en
Priority to PCT/KR2016/010454 priority patent/WO2017052149A1/en
Publication of KR20170035502A publication Critical patent/KR20170035502A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Abstract

디스플레이 장치 및 이의 제어 방법이 제공된다. 본 디스플레이 장치는 영상을 디스플레이하는 디스플레이부 및 영상의 오디오 신호를 분석하여 영상에서 발생하는 오디오 소스의 방향을 판단하고, 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 디스플레이부를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 이의 제어 방법{Display apparatus and Method for controlling the display apparatus thereof}
본 개시는 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 영상의 오디오 신호를 분석하여 오디오 소스에 대응되는 UI를 제공하는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
근래에는 디스플레이 장치를 통해 다양한 어플리케이션을 실행할 수 있다. 특히, 디스플레이 장치를 통해 게임 어플리케이션을 수행하는 경우, 사용자는 게임 어플리케이션에서 오디오가 발생하는 위치를 알고자 하는 경우가 발생한다. 예를 들어, FPS(First-Person Shooter) 게임 어플리케이션을 실행하는 경우, 사용자는 주변에서 발생하는 다양한 오디오 소스(예를 들어, 총소리, 발자국 소리 등)의 방향을 알고자 하는 경우가 존재한다.
또한, 게임 어플리케이션 이외에도 청각 장애인이 영상을 시청하는 경우, 영상만으로는 영상 속에 포함된 오디오 소스의 위치를 알 수 없는 문제점이 존재한다.
따라서, 영상 속에 포함된 오디오 소스의 방향에 대해 시각적으로 제공하고자 하는 방안의 모색이 요청된다.
본 개시의 목적은 영상의 오디오 신호를 분석하여 영상 속에 포함된 오디오 소스의 방향을 판단하고, 판단된 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 UI 엘리먼트를 제공함으로써, 영상 속에 포함된 오디오 소스의 방향을 시각적으로 제공할 수 있는 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 디스플레이 장치의 제어 방법은, 영상을 디스플레이하는 단계; 상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 단계; 및 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하는 단계;를 포함한다.
그리고, 상기 영상의 오디오 신호가 복수의 채널을 가지는 오디오 신호인 경우, 상기 판단하는 단계는, 상기 복수의 채널 각각의 오디오 신호의 세기를 비교하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단할 수 있다.
또한, 상기 영상의 오디오 신호의 주파수 성분을 분석하여 상기 오디오 소스의 유형을 판단하는 단계;를 더 포함하며, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이할 수 있다.
그리고, 상기 영상을 디스플레이하는 단계는, 상기 영상 상에 복수의 영역에 복수의 UI 엘리먼트를 디스플레이하며, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 복수의 UI 엘리먼트 중 상기 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 나머지 엘리먼트와 상이하게 디스플레이할 수 있다.
또한, 상기 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하는 단계;를 더 포함하며, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 볼륨 레벨에 따라 상기 UI 엘리먼트의 크기를 조절하여 디스플레이할 수 있다.
그리고, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 오디오 소스에 대응되는 오디오가 출력되는 동안 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이할 수 있다.
또한, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 오디오 소스가 이동하는 경우, 상기 오디오 소스의 이동에 따라 상기 UI 엘리먼트를 이동하여 디스플레이할 수 있다.
그리고, 상기 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득하는 단계를 더 포함하며, 상기 UI 엘리먼트를 디스플레이하는 단계는, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 자막을 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 디스플레이 장치는, 영상을 디스플레이하는 디스플레이부; 및 상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하고, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서;를 포함한다.
그리고, 상기 영상의 오디오 신호가 복수의 채널을 가지는 오디오 신호인 경우, 상기 프로세서는, 상기 복수의 채널 각각의 오디오 신호의 세기를 비교하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단할 수 있다.
또한, 상기 프로세서는, 상기 영상의 오디오 신호의 주파수 성분을 분석하여 상기 오디오 소스의 유형을 판단하며, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 영상 상에 복수의 영역에 복수의 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 복수의 UI 엘리먼트 중 상기 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 나머지 엘리먼트와 상이하게 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하고, 상기 볼륨 레벨에 따라 상기 UI 엘리먼트의 크기를 조절하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 오디오 소스에 대응되는 오디오가 출력되는 동안 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오디오 소스가 이동하는 경우, 상기 오디오 소스의 이동에 따라 상기 UI 엘리먼트를 이동하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득하며, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 자막을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 디스플레이 장치의 제어 방법을 수행하는 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어 방법은, 영상을 디스플레이하는 단계; 상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 단계; 및 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하는 단계;를 포함한다.
상술한 바와 같은 본 개시의 다양한 실시예에 의해, 사용자는 영상 속에 포함된 오디오 소스의 위치를 시각적으로 확인할 수 있게 된다.
도 1은 본 개시의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 개시의 일 실시예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블럭도,
도 3은 본 개시의 일 실시예에 따른, 저장부의 구성을 상세히 도시한 블럭도,
도 4a 내지 도 9는 본 개시의 다양한 실시예에 따른, 오디오 소스의 방향에 대응되는 영역에 UI 엘리먼트를 제공하는 실시예들을 설명하기 위한 도면들, 그리고,
도 10은 본 개시의 일 실시예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 개시의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이부(110) 및 프로세서(120)를 포함한다. 이때, 디스플레이 장치(100)는 스마트 TV로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트 폰, 태블릿 PC, 노트북 PC, 데스크탑 PC 등과 같은 디스플레이를 가지는 다양한 전자 장치로 구현될 수 있다.
디스플레이부(110)는 프로세서(120)의 제어에 따라 영상 데이터 및 다양한 UI를 디스플레이한다. 특히, 디스플레이부(110)는 영상 속 오디오 소스의 방향에 대응되는 영역에 UI 엘리먼트를 디스플레이할 수 있다. 이때, UI 엘리먼트는 오디오 소스의 방향에 대응되는 영역을 다른 영역과 구별되도록 표시하는 것일 수 있으나, 이는 일 실시예에 불과할 뿐, 오디오 소스에 대응되는 이미지로 구현될 수 있다.
프로세서(120)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 영상의 오디오 신호를 분석하여 영상에서 발생하는 오디오 소스의 방향(또는 위치)을 판단하고, 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 프로세서(120)는 영상의 오디오 신호를 분석하여 영상에서 발생하는 오디오 소스의 방향을 판단할 수 있다. 이때, 오디오 신호는 복수의 채널(예를 들어, 5.1 채널, 2.1 채널 등)을 가지는 오디오 신호일 수 있으며, 오디오 소스는 총, 새, 사람들과 같은 영상 속에서 오디오를 발생하는 오브젝트일 수 있다. 특히, 프로세서(120)는 복수의 채널 각각의 오디오 신호의 세기를 비교하여 영상에서 발생하는 오디오 소스의 방향을 판단할 수 있다. 예를 들어, 영상의 오디오 신호가 2.1 채널의 오디오 신호인 경우, 레프트 채널의 오디오 신호의 크기가 라이트 채널의 오디오 신호의 크기보다 크면, 프로세서(120)는 오디오 소스의 방향이 왼쪽에 위치함을 판단할 수 있다.
그리고, 프로세서(120)는 판단된 오디오 소스의 방향에 대응되는 영역에 UI 엘리먼트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 프로세서(120)는 오디오 신호가 입력되기 전에 복수의 UI 엘리먼트를 영상의 복수의 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 오디오 신호가 입력된 후, 오디오 소스의 방향이 판단되면, 프로세서(120)는 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 다른 UI 엘리먼트와 상이하게 표시하도록 디스플레이부(110)를 제어할 수 있다.
특히, 프로세서(120)는 영상의 오디오 신호의 주파수 성분을 분석하여 오디오 소스의 유형을 판단하며, 오디오 소스의 방향에 대응되는 영역에 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 영상의 오디오 신호의 주파수 성분을 분석하여 오디오 소스가 총인 것으로 판단할 경우, 프로세서(120)는 총알 모양의 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 프로세서(120)는 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하고, 볼륨 레벨에 따라 UI 엘리먼트의 크기를 조절하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 프로세서(120)는 오디오 소스에 대응되는 오디오의 볼륨 레벨이 클수록 UI 엘리먼트의 크기를 증가시키도록 디스플레이부(110)를 제어할 수 있다.
또한, 프로세서(120)는 오디오 소스에 대응되는 오디오가 출력되는 동안 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 즉, 오디오 소스에 대응되는 오디오가 사라지는 경우, 프로세서(120)는 오디오 소스에 대응되는 UI 엘리먼트를 제거하도록 디스플레이부(110)를 제어할 수 있다.
또한, 오디오 소스에 대응되는 오디오가 출력되는 동안 오디오 소스가 이동하는 경우, 프로세서(120)는 오디오 소스의 이동에 따라 UI 엘리먼트를 이동하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
한편, 오디오 소스가 사람이고, 오디오 소스에 대응되는 오디오가 사람이 발화하는 음성인 경우, 프로세서(120)는 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득하며, 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 자막을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같은 본 개시의 다양한 실시예에 따라, 사용자는 영상 속에 포함된 오디오 소스의 위치를 시각적으로 확인할 수 있게 된다.
이하에서는 도 2 내지 도 9를 참조하여 본 개시의 디스플레이 장치에 대해 더욱 상세히 설명하기로 한다.
도 2는 본 개시의 일 실시예에 따른, 디스플레이 장치(200)의 구성을 상세히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 디스플레이 장치(200)는 통신부(210), 영상 수신부(220), 영상 처리부(230), 디스플레이부(240), 저장부(250), 오디오 처리부(260), 오디오 출력부(270), 입력부(280) 및 프로세서(290)를 포함한다.
통신부(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(210)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(210)는 외부의 서버로부터 영상 컨텐츠(예를 들어, 게임 컨텐츠)를 획득할 수 있다. 또한, 통신부(210)는 외부의 서버로 오디오 소스의 주파수 성분에 대한 정보를 전송하고, 외부의 서버로부터 주파수 성분에 대응되는 오디오 소스의 유형 정보를 수신할 수 있다.
영상 수신부(220)는 외부의 다양한 소스로부터 영상 컨텐츠를 수신한다. 특히, 영상 수신부(220)는 외부의 방송국으로부터 복수의 방송 컨텐츠를 수신할 수 있다. 또한, 영상 수신부(220)는 외부 기기(예를 들어, 서버, DVD 등)로부터 다양한 영상 컨텐츠를 수신할 수 있다. 이때, 영상 컨텐츠에는 영상 데이터, 오디오 데이터 및 자막 데이터와 같은 다양한 데이터가 포함될 수 있다.
영상 처리부(230)는 영상 수신부(220)에서 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 영상 처리부(230)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(240)는 영상 수신부(220)로부터 수신한 영상 데이터를 영상 처리부(230)에서 처리한 비디오 프레임 및 그래픽 처리부(293)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(240)는 영상의 복수의 영역에 복수의 UI 엘리먼트를 디스플레이하고, 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 나머지 UI 엘리먼트와 상이하게 디스플레이할 수 있다. 또는, 디스플레이부(240)는 오디오 소스의 방향에 대응되는 영역에 UI 엘리먼트를 생성하여 디스플레이할 수 있다. 또한, 디스플레이부(240)는 UI 엘리먼트 내에 오디오 소스의 유형에 대응되는 인디케이터를 디스플레이할 수 있다. 또한, 디스플레이부(240)는 오디오 소스에 대응되는 오디오의 볼륨 레벨에 따라 UI 엘리먼트의 크기를 조절할 수 있다.
저장부(250)는 디스플레이 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(250)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(250)는 프로세서(290)에 의해 액세스되며, 프로세서(290)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 저장부(250), 프로세서(290) 내 ROM(272), RAM(271) 또는 디스플레이 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
또한, 저장부(250)에는 디스플레이부(240)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
이하에서는 도 3을 참조하여 저장부(250)에 저장된 소프트웨어의 구조를 설명한다. 도 3에 따르면, 저장부(250)에는 OS(310), 커널(320), 미들웨어(330), 어플리케이션(340) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 310)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(310)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(320)은 입력부(280)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(330)로 전달하는 통로 역할을 한다.
미들웨어(330)는 디스플레이 장치(200)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 3에 따르면, 미들웨어(330)는 X11 모듈(330-1), APP 매니저(330-2), 연결 매니저(330-3), 보안 모듈(330-4), 시스템 매니저(330-5), 멀티미디어 프레임워크(330-6), 메인 UI 프레임워크(330-7), 윈도우 매니저(330-8), 서브 UI 프레임워크(330-9)를 포함한다.
X11 모듈(330-1)은 디스플레이 장치(200)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스쳐가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(330-2)는 저장부(250)에 설치(install)된 각종 어플리케이션(340)의 실행 상태를 관리하는 모듈이다. APP 매니저(330-2)는 X11 모듈(330-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(330-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(330-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(330-4)은 하드웨어에 대한 인증(Certification), 요청허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(330-5)는 디스플레이 장치(200) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(330-5)는 그 모니터링 결과를 메인 UI 프레임워크(330-7)나 서브 UI 프레임워크(330-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(330-6)는 디스플레이 장치(200)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(330-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(330-7)는 디스플레이부(210)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(330-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(330-7) 및 서브 UI 프레임워크(330-9)는 각종 UI 엘리먼트를 구성하는 이미지 합성기(Image Compositor module), UI 엘리먼트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 UI 엘리먼트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(330-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(330-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(330-7) 또는 서브 UI 프레임워크(330-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 디스플레이 장치(200) 내에 저장될 수도 있다.
어플리케이션 모듈(340)은 다양한 기능을 지원하기 위한 어플리케이션들(340-1~340-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈, 음악 재생 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. UI 엘리먼트가 선택되면, 메인 CPU(294)는 어플리케이션 모듈(340)을 이용하여 선택된 UI 엘리먼트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 3에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 디스플레이 장치(200)의 종류 또는 디스플레이 장치(200)의 목적에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(250)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, 문자 메시지 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
다시, 도 2에 대해 설명하면, 오디오 처리부(260)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(260)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(260)에서 처리된 오디오 데이터는 오디오 출력부(270)로 출력될 수 있다. 또한, 오디오 처리부(260)에서 처리된 오디오 데이터에 대한 정보는 프로세서(290)로 출력될 수 있다.
오디오 출력부(270)는 오디오 처리부(260)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다.
입력부(280)는 디스플레이 장치(200)를 제어하기 위한 다양한 사용자 명령을 입력받는다. 이때, 입력부(280)는 사방향키를 구비하는 리모컨 또는 포인터를 이동하기 위한 모션 센서가 구비된 포인팅 디바이스 등으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 키보드, 마우스, 모션 입력부, 음성 입력부, 터치 센서 등과 같은 다양한 입력 장치로 구현될 수 있다.
프로세서(290)는 저장부(250)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(200)의 전반적인 동작을 제어한다.
프로세서(290)는 도 2에 도시된 바와 같이, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n), 버스(296)를 포함한다. 이때, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n) 등은 버스(296)를 통해 서로 연결될 수 있다.
ROM(292)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(294)는 ROM(292)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(291)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(294)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(291)에 복사하고, RAM(291)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(293)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(240)의 디스플레이 영역 내에 표시된다.
메인 CPU(294)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(294)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(295-1 내지 295-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 프로세서(290)는 영상의 오디오 신호를 분석하여 영상에서 발생하는 오디오 소스의 방향을 판단하고, 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
구체적으로, 프로세서(290)는 영상 수신부(220)를 통해 수신된 영상을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, 영상은 게임 영상일 수 있다. 또한, 영상의 오디오 신호는 복수의 채널을 가질 수 있다.
또한, 오디오 소스의 방향을 안내하는 UI를 제공하는 모드로 진입하면, 프로세서(290)는 도 4b에 도시된 바와 같이, 영상의 복수의 영역에 복수의 UI 엘리먼트(420-1 내지 420-8)을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
한편, 본 개시의 일 실시예에서, 오디오 신호는 도 4a에 도시된 바와 같은 5채널의 오디오 신호를 포함할 수 있다. 구체적으로, 센터 채널의 제1 오디오 신호(410-1), 프론트 레프트 채널의 제2 오디오 신호(410-2), 프론트 라이트 채널의 제3 오디오 신호(410-3), 레어 레프트 채널의 제4 오디오 신호(410-4), 레어 라이트 채널의 제5 오디오 신호(410-5)를 포함할 수 있다.
그리고, 프로세서(290)는 수신된 복수의 채널의 오디오 신호의 크기를 분석하여 영상에 포함된 오디오 소스의 위치를 판단할 수 있다. 구체적으로, 입력된 오디오 신호가 디지털 신호인 경우, 프로세서(290)는 복수의 채널의 오디오 신호의 크기 정보를 파싱하여 연산기를 통해 복수의 채널의 오디오 신호의 크기를 계산할 수 있다. 또한, 입력된 오디오 신호가 아날로그 신호일 경우, 프로세서(290)는 ADC(Analog to Digital) 처리를 통해 복수의 채널의 오디오 신호를 디지털 신호로 변환하고, 복수의 채널의 오디오 신호를 샘플링하며, 복수의 채널의 오디오 신호의 크기 정보를 파싱하여 연산기를 통해 복수의 채널의 오디오 신호의 크기를 계산할 수 있다.
그리고, 프로세서(290)는 산출된 복수의 채널의 오디오 신호의 크기를 바탕으로 영상에 포함된 오디오 소스의 방향(또는 위치)을 판단할 수 있다. 특히, 프로세서(290)는 복수의 채널의 오디오 신호 중 크기가 큰 오디오 신호에 대응되는 위치에 오디오 소스가 위치함을 판단할 수 있다. 예를 들어, 제2 오디오 신호(410-2)의 크기가 제3 내지 제5 오디오 신호(410-3 내지 410-5)의 크기보다 큰 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 북서 방향에 위치함을 판단할 수 있다. 또한, 제 3 오디오 신호(410-3)의 크기가 제2 오디오 신호(410-2), 제4 오디오 신호(410-4), 제5 오디오 신호(410-5)의 크기보다 큰 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 북동 방향에 위치함을 판단할 수 있다. 또한, 제2 오디오 신호(410-2) 및 제4 오디오 신호(410-4)의 크기가 제3 오디오 신호(410-3) 및 제5 오디오 신호(410-5)의 크기보다 큰 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 왼쪽 방향에 위치함을 판단할 수 있다. 또한, 제2 오디오 신호(410-2) 및 제3 오디오 신호(410-3)의 크기가 제4 오디오 신호(410-4) 및 제5 오디오 신호(410-5)의 크기보다 큰 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 앞쪽 방향에 위치함을 판단할 수 있다.
그리고, 프로세서(290)는 복수의 채널의 오디오 신호의 크기를 바탕으로 판단된 오디오 소스의 방향에 대응되는 영역에 UI 엘리먼트를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 점선 형태의 UI 엘리먼트(420-1 내지 420-8)가 디스플레이되는 동안 오디오 소스(예를 들어, 총소리 등)로부터 오디오가 발생한 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 오른쪽에 위치함을 판단할 수 있다. 그리고, 오디오 소스의 방향이 사용자를 기준으로 오른쪽에 위치하는 것으로 판단된 경우, 프로세서(290)는 도 4c에 도시된 바와 같이, 제4 UI 엘리먼트(420-4)를 다른 UI 엘리먼트와 상이하게 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 이때, UI 엘리먼트를 상이하게 디스플레이하는 것은 UI 엘리먼트의 색, 밝기, 채도, 투명도, 깜빡거림 등을 상이하게 디스플레이하는 것일 수 있다.
따라서, 사용자는 도 4c에 도시된 바와 같이, 제4 UI 엘리먼트(420-4)가 다른 UI 엘리먼트와 상이하게 표시됨을 확인함으로써, 오디오 소스의 방향을 시각적으로 확인할 수 있게 된다.
또한, 프로세서(290)는 영상의 오디오 신호의 주파수 성분을 분석하여 오디오 소스의 유형을 판단하며, 오디오 소스의 방향에 대응되는 영역에 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
구체적으로, 도 4b에 도시된 바와 같은 영상이 디스플레이되는 동안 오디오 소스로부터 오디오가 발생된 경우, 프로세서(290)는 오디오 소스에 대응되는 오디오 신호의 주파수를 분석할 수 있다. 그리고, 프로세서(290)는 저장부(250)에 기 저장된 다양한 유형의 오디오 신호의 주파수와 오디오 소스에 대응되는 오디오 신호의 주파수를 비교하여 오디오 소스의 유형을 판단할 수 있다. 예를 들어, 오디오 소스에 대응되는 오디오 신호의 주파수가 제1 주파수인 경우, 프로세서(290)는 기 저장된 제1 주파수와 매칭된 "총"을 오디오 소스의 유형으로 판단할 수 있다. 이때, 다양한 유형의 오디오 신호의 주파수는 저장부(250)에 저장될 수 있으나, 이는 일 실시예에 불과할 뿐, 외부의 서버에 저장될 수 있다.
그리고, 프로세서(290)는 판단된 오디오 소스의 유형에 대응되는 인디케이터를 포함하는 UI 엘리먼트에 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 오디오 소스의 방향이 사용자를 기준으로 오른쪽이라고 판단되며, 오디오 소스의 유형이 총이라고 판단된 경우, 프로세서(290)는 도 5에 도시된 바와 같이, 제4 UI 엘리먼트(510-4)에 총알 모양의 인디케이터(520)를 함께 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
따라서, 사용자는 도 5에 도시된 바와 같이, 총알 모양의 인디케이터(520)가 포함된 UI 엘리먼트(510-4)를 확인함으로써, 사용자는 오디오 소스의 방향 및 유형을 시각적으로 확인할 수 있게 된다.
한편, 상술한 실시예에서는 오디오 소스의 유형이 총인 경우, 인디케이터가 총알이라고 하였으나, 이는 일 실시예에 불과할 뿐, 오디오 소스의 유형에 따라 다른 인디케이터가 지정될 수 있다. 예를 들어, 오디오 소스의 유형이 사람 발자국 소리인 경우, 인디케이터는 사람 발자국 이미지일 수 있으며, 오디오 소스의 유형이 수류탄인 경우, 인디케이터는 수류탄 이미지일 수 있으며, 오디오 소스의 유형이 새인 경우, 인디케이터는 새 이미지일 수 있다.
또한, 프로세서(290)는 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하고, 볼륨 레벨에 따라 UI 엘리먼트의 크기를 조절하여 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
구체적으로, 프로세서(290)는 오디오 소스에 대응되는 오디오 신호의 볼륨 레벨이 클수록 UI 엘리먼트의 크기가 커지도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 오디오 소스에 대응되는 오디오 신호의 볼륨 레벨이 제1 값인 경우, 프로세서(290)는 도 6a에 도시된 바와 같이, 오디오 소스에 대응되는 UI 엘리먼트(610-4)를 디스플레이할 수 있으며, 오디오 소스에 대응되는 오디오 신호의 볼륨 레벨이 제1 값보다 작은 제2 값인 경우, 프로세서(290)는 도 6b에 도시된 바와 같이, 도 6a에 도시된 UI 엘리먼트보다 작게 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 프로세서(290)는 오디오 소스에 대응되는 오디오를 실시간으로 반영하여 오디오 소스에 대응되는 UI 엘리먼트의 위치, 크기, 유형 등을 판단할 수 있다.
구체적으로, 프로세서(290)는 오디오 소스에 대응되는 오디오가 출력되는 동안 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 즉, 프로세서(290)는 오디오 소스에 대응되는 오디오가 출력될 때만 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하고, 오디오 소스에 대응되는 오디오의 출력이 중단되면, 오디오 소스에 대응되는 UI 엘리먼트를 제거하도록 디스플레이부(240)를 제어할 수 있다.
또한, 오디오 소스가 이동하는 경우, 프로세서(290)는 오디오 소스의 이동에 따라 UI 엘리먼트를 이동하여 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 오디오 소스가 사용자를 기준으로 오른쪽에서 왼쪽으로 움직일 경우, 프로세서(290)는 오디오 소스의 움직임에 따라 오른쪽에 UI 엘리먼트를 디스플레이하다가 왼쪽에 UI 엘리먼트를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 프로세서(290)는 오디오 소스의 볼륨 레벨에 따라 UI 엘리먼트의 크기를 실시간으로 조절할 수 있다. 예를 들어, 오디오 소스의 볼륨 레벨이 점점 작아지는 경우, 프로세서(290)는 오디오 소스에 대응되는 UI 엘리먼트의 크기를 점점 작게 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
상술한 바와 같은 다양한 실시예에 의해, 사용자는 영상 속의 오디오 소스의 다양한 정보를 시각적으로 확인할 수 있게 된다.
한편, 상술한 실시예에서는 복수의 영역에 점선 형태의 UI 엘리먼트가 미리 디스플레이되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 도 7에 도시된 바와 같이, 점선 형태의 UI 엘리먼트가 미리 디스플레이되지 않고, 오디오 소스로부터 오디오 소스가 발생된 경우, 프로세서(290)는 오디오 소스의 방향에 대응되는 영역만에 UI 엘리먼트(710)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 상술한 실시예에서는 5.1 채널의 오디오 신호가 입력되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 복수의 채널의 오디오 신호가 입력되는 실시예 역시 본 개시의 기술적 사상이 적용될 수 있다. 예를 들어, 입력되는 오디오 신호는 도 8a에 도시된 바와 같이, 레프트 채널(810-1) 및 라이트 채널(810-2)을 포함하는 2.1 채널의 오디오 신호일 수 있다. 2.1 채널의 오디오 신호가 입력되는 경우, 프로세서(290)는 도 8b에 도시된 바와 같이, 좌우 방향으로 복수의 UI 엘리먼트(820-1 내지 820-4)를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 그리고, 레프트 채널의 오디오 신호(810-1)의 크기가 라이트 채널의 오디오 신호(810-2)의 크기보다 기설정된 값 이상 큰 경우, 프로세서(290)는 오디오 소스의 방향이 사용자를 기준으로 왼쪽에 위치함을 판단하고, 도 8c에 도시된 바와 같이, 사용자를 기준으로 왼쪽에 위치하는 제1 UI 엘리먼트(820-1)를 다른 UI 엘리먼트와 상이하게 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
한편, 상술한 실시예에서는 UI 엘리먼트가 하나의 색 또는 이미지로 표현되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, UI 엘리먼트는 자막 정보를 포함할 수 있다. 예를 들어, 프로세서(290)는 다양한 방법으로 영상에 포함된 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득할 수 있다. 그리고, 프로세서(290)는 복수의 채널의 오디오 신호의 크기를 비교하여 획득된 자막 정보에 대응되는 오디오 소스의 방향을 판단할 수 있다. 그리고, 프로세서(290)는 오디오 소스의 방향에 대응되는 영역에 자막 정보를 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 오디오 소스의 방향이 사용자를 기준으로 왼쪽에 위치하는 것으로 판단된 경우, 프로세서(290)는 도 9에 도시된 바와 같이, 영상의 왼쪽 영역에 자막(910)을 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
이하에서는 도 10을 참조하여 본 개시의 일 실시예에 따른, 디스플레이 장치의 제어 방법을 설명하기로 한다.
우선, 디스플레이 장치(100)는 영상을 디스플레이한다(S1010).
그리고, 디스플레이 장치(100)는 영상의 오디오 신호를 분석하여 영상에서 발생하는 오디오 소스의 방향을 판단한다(S1020). 구체적으로, 복수의 채널을 가지는 오디오 신호가 입력되면, 디스플레이 장치(100)는 복수의 채널의 오디오 신호들의 크기를 비교하여 오디오 소스의 방향을 판단할 수 있다.
그리고, 디스플레이 장치(100)는 오디오 소스의 방향에 대응되는 영역에 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이한다(S1030). 이때, 디스플레이 장치(100)는 상술한 바와 같이, 오디오 소스의 유형, 오디오 소스에 대응되는 오디오의 볼륨 레벨 등과 같은 다양한 정보를 판단하고, 판단된 다양한 정볼르 바탕으로 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이할 수 있다.
상술한 바와 같은 본 개시의 다양한 실시예에 의해, 사용자는 영상 속에 포함된 오디오 소스의 위치를 시각적으로 확인할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110,240: 디스플레이부 120,290: 프로세서
210: 통신부 220: 영상 수신부
230: 영상 처리부 250: 저장부
260: 오디오 처리부 270: 오디오 출력부
280: 입력부

Claims (17)

  1. 디스플레이 장치에 있어서,
    영상을 디스플레이하는 디스플레이부; 및
    상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하고, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 영상의 오디오 신호가 복수의 채널을 가지는 오디오 신호인 경우,
    상기 프로세서는,
    상기 복수의 채널 각각의 오디오 신호의 세기를 비교하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 영상의 오디오 신호의 주파수 성분을 분석하여 상기 오디오 소스의 유형을 판단하며, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 영상 상에 복수의 영역에 복수의 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 복수의 UI 엘리먼트 중 상기 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 나머지 엘리먼트와 상이하게 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하고, 상기 볼륨 레벨에 따라 상기 UI 엘리먼트의 크기를 조절하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 소스에 대응되는 오디오가 출력되는 동안 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 소스가 이동하는 경우, 상기 오디오 소스의 이동에 따라 상기 UI 엘리먼트를 이동하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득하며, 상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 자막을 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치의 제어 방법에 있어서,
    영상을 디스플레이하는 단계;
    상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 단계; 및
    상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하는 단계;를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 영상의 오디오 신호가 복수의 채널을 가지는 오디오 신호인 경우,
    상기 판단하는 단계는,
    상기 복수의 채널 각각의 오디오 신호의 세기를 비교하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 것을 특징으로 하는 제어 방법.
  11. 제9항에 있어서,
    상기 영상의 오디오 신호의 주파수 성분을 분석하여 상기 오디오 소스의 유형을 판단하는 단계;를 더 포함하며,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스의 유형을 나타내는 인디케이터를 포함하는 UI 엘리먼트를 디스플레이하는 것을 특징으로 하는 제어 방법.
  12. 제9항에 있어서,
    상기 영상을 디스플레이하는 단계는,
    상기 영상 상에 복수의 영역에 복수의 UI 엘리먼트를 디스플레이하며,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 복수의 UI 엘리먼트 중 상기 오디오 소스의 방향에 대응되는 영역에 위치하는 UI 엘리먼트를 나머지 엘리먼트와 상이하게 디스플레이하는 것을 특징으로 하는 제어 방법.
  13. 제9항에 있어서,
    상기 오디오 소스에 대응되는 오디오의 볼륨 레벨을 판단하는 단계;를 더 포함하며,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 볼륨 레벨에 따라 상기 UI 엘리먼트의 크기를 조절하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제9항에 있어서,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 오디오 소스에 대응되는 오디오가 출력되는 동안 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하는 것을 특징으로 하는 제어 방법.
  15. 제9항에 있어서,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 오디오 소스가 이동하는 경우, 상기 오디오 소스의 이동에 따라 상기 UI 엘리먼트를 이동하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  16. 제9항에 있어서,
    상기 오디오 소스가 발화하는 음성에 대응되는 자막 정보를 획득하는 단계를 더 포함하며,
    상기 UI 엘리먼트를 디스플레이하는 단계는,
    상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 자막을 디스플레이하는 것을 특징으로 하는 제어 방법.
  17. 디스플레이 장치의 제어 방법을 수행하는 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 제어 방법은,
    영상을 디스플레이하는 단계;
    상기 영상의 오디오 신호를 분석하여 상기 영상에서 발생하는 오디오 소스의 방향을 판단하는 단계; 및
    상기 오디오 소스의 방향에 대응되는 영역에 상기 오디오 소스에 대응되는 UI 엘리먼트를 디스플레이하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.

KR1020150134401A 2015-09-23 2015-09-23 디스플레이 장치 및 이의 제어 방법 KR20170035502A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150134401A KR20170035502A (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 제어 방법
EP16188808.6A EP3147895A1 (en) 2015-09-23 2016-09-14 Display apparatus and method for controlling display apparatus thereof
US15/268,715 US20170083280A1 (en) 2015-09-23 2016-09-19 Display apparatus and method for controlling display apparatus thereof
PCT/KR2016/010454 WO2017052149A1 (en) 2015-09-23 2016-09-20 Display apparatus and method for controlling display apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134401A KR20170035502A (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20170035502A true KR20170035502A (ko) 2017-03-31

Family

ID=56979369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134401A KR20170035502A (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US20170083280A1 (ko)
EP (1) EP3147895A1 (ko)
KR (1) KR20170035502A (ko)
WO (1) WO2017052149A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315458B2 (en) 2019-11-11 2022-04-26 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
US11915641B2 (en) 2021-12-15 2024-02-27 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391000B (zh) * 2017-06-09 2022-08-05 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
EP3935872A1 (en) * 2019-03-04 2022-01-12 Steelseries France Apparatus and method for audio analysis
KR20210009189A (ko) * 2019-07-16 2021-01-26 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11291911B2 (en) 2019-11-15 2022-04-05 Microsoft Technology Licensing, Llc Visualization of sound data extending functionality of applications/services including gaming applications/services
US11893163B2 (en) 2020-12-11 2024-02-06 Dell Products L.P. Information handling system virtual and physical keyboard position coordination
US20220187883A1 (en) * 2020-12-11 2022-06-16 Dell Products L.P. Information handling system visual presentation with audio vector based information

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492915B2 (en) * 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
WO2010075634A1 (en) * 2008-12-30 2010-07-08 Karen Collins Method and system for visual representation of sound
JP5857674B2 (ja) * 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
US9319821B2 (en) * 2012-03-29 2016-04-19 Nokia Technologies Oy Method, an apparatus and a computer program for modification of a composite audio signal
US20150186109A1 (en) * 2012-08-10 2015-07-02 Nokia Corporation Spatial audio user interface apparatus
US9232337B2 (en) * 2012-12-20 2016-01-05 A-Volute Method for visualizing the directional sound activity of a multichannel audio signal
US9338541B2 (en) * 2013-10-09 2016-05-10 Voyetra Turtle Beach, Inc. Method and system for in-game visualization based on audio analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315458B2 (en) 2019-11-11 2022-04-26 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
US11915641B2 (en) 2021-12-15 2024-02-27 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Also Published As

Publication number Publication date
US20170083280A1 (en) 2017-03-23
WO2017052149A1 (en) 2017-03-30
EP3147895A1 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
US10635379B2 (en) Method for sharing screen between devices and device using the same
KR20170035502A (ko) 디스플레이 장치 및 이의 제어 방법
US10168797B2 (en) Terminal apparatus, audio system, and method for controlling sound volume of external speaker thereof
US9851862B2 (en) Display apparatus and displaying method for changing a cursor based on a user change of manipulation mode
US10747416B2 (en) User terminal device and method for displaying thereof
US20170185373A1 (en) User terminal device, and mode conversion method and sound system for controlling volume of speaker thereof
US10067666B2 (en) User terminal device and method for controlling the same
KR20140020568A (ko) 디스플레이 장치 및 이의 제어 방법
EP2995075B1 (en) Display apparatus with a plurality of screens and method of controlling the same
KR20140133363A (ko) 디스플레이 장치 및 이의 제어 방법
EP3215915B1 (en) User terminal device and method for controlling user terminal device thereof
KR102249886B1 (ko) 웹 페이지 전환 방법 및 이를 이용하는 휴대 단말기, 이 방법을 실행하기 위한 프로그램이 기록되어 있는 비휘발성 기록매체
KR20140100306A (ko) 휴대 기기 및 이의 외부 기기 제어 방법
KR20140055486A (ko) 디스플레이 장치 및 이의 제어 방법
KR20160003400A (ko) 디스플레이 장치 및 그 제어 방법
US20140195975A1 (en) Display apparatus and method of controlling a display apparatus
US20140195980A1 (en) Display apparatus and method for providing user interface thereof
KR102351634B1 (ko) 사용자 단말장치, 음향 시스템 및 외부 스피커의 음량 제어 방법
US10775957B2 (en) Method and apparatus for entering text in portable terminal
US10083164B2 (en) Adding rows and columns to a spreadsheet using addition icons
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
KR20180020418A (ko) 디스플레이 장치 및 그 컨텐츠 디스플레이 방법
KR20160144656A (ko) 통신 장치 및 그의 채널 스캔 방법
US20150026571A1 (en) Display apparatus and method for providing a user interface
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법