KR20140047948A - 영상표시장치, 및 그 동작방법 - Google Patents

영상표시장치, 및 그 동작방법 Download PDF

Info

Publication number
KR20140047948A
KR20140047948A KR1020120114337A KR20120114337A KR20140047948A KR 20140047948 A KR20140047948 A KR 20140047948A KR 1020120114337 A KR1020120114337 A KR 1020120114337A KR 20120114337 A KR20120114337 A KR 20120114337A KR 20140047948 A KR20140047948 A KR 20140047948A
Authority
KR
South Korea
Prior art keywords
sound
touch input
output
frequency
screen
Prior art date
Application number
KR1020120114337A
Other languages
English (en)
Inventor
최택성
곽국연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120114337A priority Critical patent/KR20140047948A/ko
Priority to US14/038,330 priority patent/US20140108934A1/en
Priority to EP13004923.2A priority patent/EP2720130A3/en
Priority to CN201310481551.XA priority patent/CN103729121B/zh
Publication of KR20140047948A publication Critical patent/KR20140047948A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

본 발명은 영상표시장치, 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 제1 방향으로의 터치 입력을 수신하는 단계와, 제1 방향에 대응하는 제1 사운드를 출력하는 단계와, 제2 방향으로의 터치 입력을 수신하는 단계와, 제2 방향에 대응하는 제2 사운드를 출력하는 단계를 포함한다. 이에 의해, 사용자의 이용 편의성을 향상시킬 수 있게 수행할 수 있게 된다.

Description

영상표시장치, 및 그 동작방법{Audio processing apparatus, and method for operating the same}
본 발명은 영상표시장치, 및 그 동작방법에 관한 것이며, 더욱 상세하게는 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치, 및 그 동작방법에 관한 것이다.
영상표시장치는, 영상 신호를 처리하여 출력하는 장치이다. 한편, 영상표시장치는, 오디오 신호도 신호 처리하여, 출력한다. 한편, 영상표시장치를 통해 사용자 친화적인 유저 인터페이스를 구축하려는 다양한 노력이 시도되고 있다.
본 발명의 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치, 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 제1 방향으로의 터치 입력을 수신하는 단계와, 제1 방향에 대응하는 제1 사운드를 출력하는 단계와, 제2 방향으로의 터치 입력을 수신하는 단계와, 제2 방향에 대응하는 제2 사운드를 출력하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 잠금 화면을 표시하는 단계와, 제1 방향으로의 터치 입력을 수신하는 단계와, 터치 입력에 기초하여, 홈 화면을 표시하는 단계와, 홈 화면 표시시, 제1 방향에 대응하는 제1 사운드를 출력하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 제1 방향으로의 제스쳐 입력을 수신하는 단계와, 제1 방향에 대응하는 제1 사운드를 출력하는 단계와, 제2 방향으로의 제스쳐 입력을 수신하는 단계와, 제2 방향에 대응하는 제2 사운드를 출력하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 디스플레이와, 터치 입력을 감지하는 터치 감지부와, 감지된 제1 방향으로의 터치 입력에 대응하여 제1 사운드를 생성하고, 감지된 제2 방향으로의 터치 입력에 대응하여 제2 사운드를 생성하는 오디오 처리부와, 제1 사운드 신호 또는 제2 사운드 신호를 출력하는 오디오 출력부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 잠금 화면을 표시하는 디스플레이와, 터치 입력을 감지하는 터치 감지부와, 제1 방향으로의 터치 입력에 기초하여, 홈 화면을 표시하도록 제어하는 제어부와, 홈 화면 표시시, 제1 방향에 대응하는 제1 사운드를 출력하는 오디오 출력부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 카메라와, 디스플레이와, 카메라에 촬영된 영상에 기초하여, 사용자 제스쳐를 감지하는 제어부와, 감지된 제1 방향으로의 터치 입력에 대응하여 제1 사운드를 출력하고, 감지된 제2 방향으로의 터치 입력에 대응하여 제2 사운드를 출력하는 오디오 출력부를 포함한다.
본 발명의 실시예에 따르면, 방향성 있는 터치 입력에 기초하여, 해당하는 사운드를 출력함으로써, 사용자는 직관적으로, 터치 입력에 따른, 방향성을 인지할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.
예를 들어, 제1 방향 터치 입력과, 제2 방향 터치 입력에 대해, 그 사운드의 주파수, 크기, 위상 중 적어도 하나를 달리함으로써, 사용자가 직관적으로 사운드를 통해 방향성을 인식할 수 있게 된다.
한편, 터치 입력의 세기 또는 속도에 따라, 해당하는 사운드의 크기, 주파수 중 적어도 하나를 가변함으로써, 사용자의 이용 편의성을 증대시킬 수 있다.
한편, 제1 방향으로의 터치 입력에 따라, 화면 전환을 수행하면서, 방향성 있는 사운드를 출력함으로써, 사용자의 이용 편의성이 증대될 수 있다.
한편, 사운드의 주파수 별 게인을 조정하거나, 위상을 조정함으로써, 방향성 있는 사운드의 출력ㅎ할 수 있으며, 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.
한편, 잠금 화면 표시 상태에서, 제1 방향으로의 터치 입력이 있는 경우, 잠금 해제하여, 홈 화면을 표시하면서, 제1 방향에 대응하는 사운드를 출력함으로써, 사용자가 직관적으로 터치 방향을 인지할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있다.
한편, 제스쳐 입력이 가능한 영상표시장치에서, 방향성 있는 제스쳐 입력에 기초하여, 해당하는 사운드를 출력함으로써, 사용자는 직관적으로, 제스쳐 입력에 따른, 방향성을 인지할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상표시장치를 도시한 도면이다.
도 2는 도 1의 영상표시장치의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 오디오 처리 장치의 내부 블록도이다.
도 4는 도 3의 오디오 처리부의 내부 블록도이다.
도 5는 본 발명의 일실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이다.
도 6 내지 도 14d는 도 5의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
도 15는 본 발명의 다른 실시예에 따른 영상표시장치를 도시한 도면이다.
도 16은 도 15의 영상표시장치의 내부 블록도이다.
도 17은 도 16의 제어부의 내부 블록도이다.
도 18은 본 발명의 다른 실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이다.
도 19a 내지 도 19d는 도 18의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상표시장치를 도시한 도면이다.
도면을 참조하면, 본 발명의 일 실시예에 따른 영상표시장치(100)는, 터치 입력이 가능한, 이동 단말기일 수 있다. 여기서, 이동 단말기(100)는, 핸드폰, 스마트 폰, 노트북, 디지털 카메라, 캠코더, 태블릿 PC 등일 수 있다.
이하의 도 1 내지 도 14d는 영상표시장치(100)로, 터치 입력이 가능한 이동 단말기를 중심으로 기술한다.
한편, 본 발명의 일 실시예에 따른 영상표시장치(100)는, 사용자의 손가락(50)에 기초한 방향성 있는 터치 입력(다른 용어로, 드래그(drag) 입력)에 기초하여, 방향성 있는 사운드(70)를 출력한다. 이에 따라, 사용자는 직관적으로, 터치 입력에 따른, 방향성을 인지할 수 있으며, 결국, 사용자의 이용 편의성이 증대될 수 있다.
도 2는 도 1의 영상표시장치의 내부 블록도이다.
도 2를 참조하면, 이동 단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다.
한편, 무선 통신부(110)는, 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), NFC 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다.
방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 이동 단말기(100)에 내장되거나 외장될 수 있다. 예를 들어, 무선 인터넷 모듈(115)은, WiFi 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.
NFC 모듈(117)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(117)은, NFC 태그 또는 NFC 모듈이 탑재된 전자 기기와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, 해당 전자 기기로부터 데이터를 수신하거나, 해당 전자 기기로 데이터를 전송할 수 있다.
그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(123) 등이 포함될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(130)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(151)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(140)는, 감지센서(141), 압력센서(143), 및 모션 센서(145) 등을 포함할 수 있다. 모션 센서(145)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(100)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.
출력부(150)는 디스플레이(151), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등을 포함할 수 있다.
디스플레이(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다.
한편, 전술한 바와 같이, 디스플레이(151)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(151)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
이에 따라, 디스플레이(151)는, 디스플레이와 별도로, 터치 감지부(도 2의 210)를 포함할 수 있다.
음향출력 모듈(153)은 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 이동 단말기(100)는, 적어도 하나의 스피커를 포함할 수 있다.
알람부(155)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다.
한편, 본 발명의 실시예에 관련하여, 제어부(180)는, 방향성 있는 터치 입력을 터치 감지부(도 3의 210)으로부터 수신하고, 수신되는 방향성 있는 터치 입력에 기초하여, 방향성 있는 사운드를 생성하여 출력할 수 있다. 이에 대해서는 도 3 이하를 참조하여 후술한다.
전원 공급부(190)는, 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 도 2에 도시된 이동 단말기(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 본 발명의 실시예에 따른 오디오 처리 장치의 내부 블록도이다.
도면을 참조하면, 오디오 처리 장치(200)는, 오디오 처리부(220)와 증폭부(230)를 포함할 수 있다.
도 3을 참조하면, 터치 감지부(210)는, 사용자의 터치 입력을 감지한다. 예를 들어, 정전식 터치 감지, 또는 정압식 터치 감지에 기반하여, 터치 입력을 감지할 수 있다.
터치 감지부(210)는, 도 2의 센싱부(140) 내에 구비되거나, 도 2의 디스플레이부(151) 내에 구비되는 것이 가능하다. 또는, 디스플레이부(151)에 일체형으로서 구비되는 것도 가능하다.
터치 감지부(210)는, 사용자의 손가락 등의 터치 입력을 감지하고, 감지된 신호를 출력한다. 여기서 감지된 터치 신호는, 터치 위치 정보, 터치 방향 정보, 터치 세기 정보, 터치 속도 정보 중 적어도 하나를 포함할 수 있다.
감지된 터치 신호는, 오디오 처리부(220)에 입력될 수 있다.
오디오 처리부(220)는, 터치 감지부(210)에서 수신한 터치 신호에 기초하여, 오디오 신호 처리를 수행한다.
구체적으로, 오디오 처리부(220)는, 입력되는 오디오 신호를 복호화하거나, 입력되는 오디오 신호를 채널 분리하거나, 복호화 또는 채널 분리된 오디오 신호의 주파수 밴드별 계수를 조정하거나, 주파수 밴드별 위상을 조정하거나 할 수 있다. 그 외, 오디오 처리부(220)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
특히, 오디오 처리부(220)는, 본 발명의 실시예와 관련하여, 방향성 있는 터치 입력, 즉 드래그 입력이 있는 경우, 해당 방향에 대응하는 사운드를 생성하고, 출력한다.
한편, 이동 단말기(100)에 스피커가 1개 구비되는 경우, 방향성 있는 출력을 위해, 오디오 처리부(220)는, 출력되는 오디오 신호의, 주파수, 또는 크기 중 적어도 하나를 순차적으로 가변할 수 있다.
예를 들어, 오디오 처리부(220)는, 방향성 있는 터치 입력에 기초하여, 출력되는 오디오 신호의 주파수를 순차적으로 증가시키거나, 감소시킬 수 있다. 이에 따라, 사용자는, 도플러 효과와 같이, 출력되는 소리가 가까워지거나, 멀어지는 것으로 인식할 수 있다. 그리고, 이러한 효과에 따라, 사용자는 방향성을 인식할 수 있게 된다.
다른 예로, 오디오 처리부(220)는, 방향성 있는 터치 입력에 기초하여, 출력되는 오디오 신호의 크기(amplitude)를 순차적으로 증가시키거나, 감소시킬 수 있다. 이에 따라, 사용자는, 출력되는 소리가 가까워지거나, 멀어지는 것으로 인식할 수 있다. 그리고, 이러한 효과에 따라, 사용자는 방향성을 인식할 수 있게 된다.
또는, 오디오 처리부(220)는, 출력되는 오디오 신호의 주파수를 순차적으로 증가시켜면서, 오디오 신호의 크기를 순차적으로 증가시키거나, 출력되는 오디오 신호의 주파수를 순차적으로 감소시켜면서, 오디오 신호의 크기를 순차적으로 감소시킬 수도 있다.
한편, 이동 단말기(100)에 스피커가 2개 구비되는 경우, 방향성 있는 출력을 위해, 오디오 처리부(220)는, 출력되는 2개 채널의 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나를 순차적으로 가변할 수 있다.
예를 들어, 오디오 처리부(220)는, 방향성 있는 터치 입력에 기초하여, 2개 채널 중 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 증가시키거나, 다른 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 감소시켜, 방향성 있는 사운드를 출력할 수 있다. 이에 따라, 사용자는 방향성을 인식할 수 있게 된다.
한편, 증폭부(230)는, 오디오 처리부(220)에서 출력되는 오디오 신호를 증폭한다. 특히, 방향성 있는 오디오 신호를 증폭한다.
증폭부(230)에서 증폭된 오디오 신호는, 스피커(153a,153b)로 출력되며, 스피커(153a,153b)는, 입력되는 오디오 신호에 대응하는 사운드를 출력한다.
한편, 도면에서는 이동 단말기(100)가 2개의 스피커(153a,153b)를 구비하는 것을 예시하나, 이와 달리, 1개의 스피커만 구비되는 것도 가능하다.
도 4는 도 3의 오디오 처리부의 내부 블록도이다.
도 4를 참조하면, 오디오 처리부(220)는, 음상 정위부(335), 이퀄라이제이션부(340), 서브 밴드 분석부(345), 위상 게인 조정부(350), 및 서브 밴드 합성부(355)를 포함할 수 있다.
음상 정위부(335)는, 수신되는 오디오 신호에 기초하여, 음상 정위를 제어한다.
여기서 수신되는 오디오 신호는, 외부로부터 수신된 오디오 신호이거나, 메모리(160)에 기 저장된 오디오 신호일 수 있다.
한편, 음상 정위(Sound image Localization)는, 감각적으로 지각되는 음상의 위치를 의미한다. 예를 들어, 좌, 우 채널의 스테레오 오디오 신호에 대해, 각 채널의 오디오 신호가 동일한 경우, 음상 정위는, 좌측 스피커 및 우측 스피커의 중간일 수 있다.
음상을 정위시키는 방법은, 예를 들어, 청취자의 각 귀에 도달하는 음성 신호의 위상차(시간 차)와 레벨 비율(음압 레벨 비율)에 기초하여, 음장 공간에서의 특정 위치(특정 방향)에 음원을 느끼게 하도록 할 수 있다.
이러한 음상 정위 제어를 위해, 입력되는 오디오 신호에 대해, 머리 전달 함수(Head-Related Transfer Function) 필터링을 사용할 수 있다.
머리 전달 함수(HRTF)는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)를 의미하는 것으로, 실제 청취자의 귀 속 또는 사람의 모양을 한 모형의 귀 속에 마이크를 넣고, 특정 각도에 대해 오디오 신호의 임펄스 응답을 측정함으로써 획득할 수 있다.
이러한 머리 전달 함수(HRTF)는, 음원의 방위와 고도에 따라 그 값이 달라진다. 또한, 청취자의 머리 모양, 머리 크기 또는 귀의 모양 등과 같은 신체 특성에 의해 달라질 수 있다.
다음, 이퀄라이제이션부(equalization unit)(340)는, 음상 정위 제어된 오디오 신호를, 스피커와의 거리 정보 또는 배치 정보에 대응하여, 이퀄라이제이션을 수행한다. 예를 들어, 스피커와 청취자의 거리, 스피커의 배치 등에 따른 이퀄라이져를 적용한다. 이를 위해, 이퀄라이제이션부(340)는, 청취자와 스피커 사이에 대한 세분화된 정보 또는 스피커 배치 정보를 별도로 수신할 수 있다. 그리고, 이퀄라이제이션 이후에, 이러한 정보들을 함께 출력할 수도 있다.
이러한 이퀄라이제이션 수행은, 오디오 신호의 주파수 영역에서 수행되나, 이에 한정되지 않으며, 시간 영역에서 수행되는 것도 가능하다.
다음, 서브 밴드 분석부(345)는, 입력되는 오디오 신호를 서브 밴드 분석 필터링한다. 즉, 서브 밴드(sub-band) 분석 필터 뱅크를 구비하여, 음상 정위 제어된 오디오 신호를 주파수 신호로 변환시킨다. 서브 밴드 분석부(345)에서 필터링된 오디오 신호의 서브 밴드는 32개의 서브 밴드 또는 64개의 서브 밴드 또는 FFT 서브 밴드일 수 있다.
이와 같이 주파수 대역 별로 구분된 오디오 신호는 이하의 위상 게인 조정부(350)에서 주파수 대역 별로, 또는 주파수 대역 그룹별로 위상 조정 또는 게인 조정이 수행될 수 있다.
다음, 위상 게인 조정부(frequency dependent phase/gain controller)(350)는, 오디오 신호를 주파수 밴드별로, 위상 조정 또는 게인 조정 중 적어도 하나를 수행한다.
이를 위해, 위상 게인 조정부(350)는, 서브밴드 분석 신호에 산출된 깊이에 따른 complex value factor를 산출하고 이를 적용하여, 깊이에 최적화된 factor산출 및 재생을 위한 제어를 수행할 수 있다.
즉, 위상 게인 조정부(350)는, 모든 주파수 대역에서 각각 독립적으로 채널간의 부호를 바꾸거나, 특정 주파수 범위에 대해서만 밴드 혹은 대역을 나누어 채널간의 부호를 바꾸거나, 특정 주파수 범위에 대해서 그룹으로 묶어서 채널간의 부호를 바꾸거나, 모든 주파수 대역에서 각각 독립적으로 채널간의 Complex value 를 조절하거나, 특정 주파수 범위에 대해서만 밴드 혹은 대역을 나누어 채널간의 Complex value 를 조절하거나, 특정 주파수 범위에 대해서 그룹으로 묶어서 채널간의 Complex value 를 조절할 수 있다.서브밴드 분석 신호에 산출된 깊이에 따른 complex value factor를 산출하고 이를 적용하여, 깊이에 최적화된 factor 산출 및 재생을 위한 제어를 수행할 수 있다.
구체적으로, 위상 게인 조정부(350)는, 대역별로 분리된 주파수 대역별로 위상(phase)을 조정할 수 있다.
위상 조정 방법은, 다양한 방법으로 수행될 수 있다. 예를 들어, 특정 주파수 범위에 대해서만 밴드 혹은 대역을 나누어 채널간의 부호를 바꾸거나, 특정 주파수 범위에 대해서 그룹으로 묶어서 채널간의 부호를 바꾸거나, 모든 주파수 대역에서 각각 독립적으로 채널간의 위상을 조절하거나, 특정 주파수 범위에 대해서만 밴드 혹은 대역을 나누어 채널간의 위상을 조절하거나, 특정 주파수 범위에 대해서 그룹으로 묶어서 채널간의 위상을 조절할 수 있다.
또한, 구체적으로, 위상 게인 조정부(350)는, 대역별로 분리된 주파수 대역별로 게인(gain)을 조정할 수 있다.
게인 조정 방법은, 다양한 방법으로 수행될 수 있다. 예를 들어, 모든 주파수 대역에서 각각 독립적으로 게인을 조절하거나, 특정 주파수 범위에 대해서만 밴드 혹은 대역을 나누어 게인을 조절하거나, 특정 주파수 범위에 대해서 그룹으로 묶어서 그룹별로 게인을 조절할 수 있다.
특히, 본 발명의 실시예와 관련하여, 위상 게인 조정부(350)는, 방향성 있는 터치 입력 신호(St)를 수신하고, 수신되는 방향성 있는 터치 입력 신호(St)에 기초하여, 방향성 있는 사운드의 오디오 신호가 출력되도록, 신호 처리를 수행할 수 있다.
구체적으로, 위상 게인 조정부(350)는, 출력할 오디오 신호의 주파수 밴드 별 게인(gain) 또는 위상 중 적어도 하나를 조절할 수 있다.
이동 단말기(100)에 스피커가 1개 구비되는 경우, 방향성 있는 출력을 위해, 위상 게인 조정부(350)는, 오디오 신호의, 주파수, 또는 크기 중 적어도 하나를 순차적으로 가변할 수 있다.
예를 들어, 위상 게인 조정부(350)는, 방향성 있는 터치 입력 신호(St)에 기초하여, 오디오 신호의 주파수를 순차적으로 증가시키거나, 감소시킬 수 있다. 이에 따라, 사용자는, 도플러 효과와 같이, 출력되는 소리가 가까워지거나, 멀어지는 것으로 인식할 수 있다. 그리고, 이러한 효과에 따라, 사용자는 방향성을 인식할 수 있게 된다.
다른 예로, 위상 게인 조정부(350)는, 방향성 있는 터치 입력 신호(St)에 기초하여, 오디오 신호의 크기(amplitude)를 순차적으로 증가시키거나, 감소킬 수 있다. 이에 따라, 사용자는, 출력되는 소리가 가까워지거나, 멀어지는 것으로 인식할 수 있다. 그리고, 이러한 효과에 따라, 사용자는 방향성을 인식할 수 있게 된다.
또는, 위상 게인 조정부(350)는, 오디오 신호의 주파수를 순차적으로 증가시켜면서, 오디오 신호의 크기를 순차적으로 증가시키거나, 오디오 신호의 주파수를 순차적으로 감소시켜면서, 오디오 신호의 크기를 순차적으로 감소시킬 수도 있다.
한편, 이동 단말기(100)에 스피커가 2개 구비되는 경우, 방향성 있는 출력을 위해, 위상 게인 조정부(350)는, 출력되는 2개 채널의 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나를 순차적으로 가변할 수 있다.
예를 들어, 위상 게인 조정부(350)는, 방향성 있는 터치 입력에 기초하여, 2개 채널 중 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 증가시키거나, 다른 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 감소시켜, 방향성 있는 사운드를 출력할 수 있다. 이에 따라, 사용자는 방향성을 인식할 수 있게 된다.
다음, 서브 밴드 합성부(subband synthesis unit)(355)는, 주파수 밴드별로 상기 위상 또는 게인 조정된 오디오 신호를 서브 밴드 합성 필터링한다.
서브 밴드 합성부(355)는, 주파수 밴드별로 위상 또는 게인 조정된 오디오 신호를 서브 밴드 합성 필터링한다. 즉, 서브 밴드 합성 필터 뱅크를 구비하여, 개의 서브 밴드 또는 64개의 서브 밴드 등으로 구분된 서브 밴드를 합성한다. 이에 따라, 최종적으로, 깊이에 따라, 음상 정위, 위상 조정, 게인 조정 등이 수행된, 멀티 채널의 오디오 신호(multi-channel audio output)가 출력되게 된다.
한편, 음상 정위부(335)의 동작은, 이동 단말기(100)가 2개의 스피커를 구비하는 경우, 수행될 수 있다. 한편, 이동 단말기(100)가 1개의 스피커를 구비하는 경우, 음상 정위부(335)의 동작은 생략되고, 바로 이퀄라이제이션부(340)가 동작하는 것도 가능하다.
도 5는 본 발명의 일실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이고, 도 6 내지 도 14d는 도 5의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
먼저, 도 5를 참조하면, 본 발명의 실시예에 따른 영상표시장치(100)는, 제1 방향으로의 터치 입력을 수신한다(S510). 다음, 제1 방향에 대응하는 제1 사운드를 출력한다(S520).
도 6(a)를 참조하면, 영상표시장치(100)는, 홈 화면(610)을 표시할 수 있다. 이 상태에서, 사용자의 손가락(50)에 의한 우 방향 터치 입력이 있는 경우, 영상표시장치(100)는, 화면을 전환하여, 영상표시장치(100)에 설치된 애플리케이션 항목들을 포함하는 애플리케이션 화면(620)을 표시할 수 있다.
예를 들어, 영상표시장치(100)가 1개의 스피커를 구비하는 경우, 영상표시장치(100)는, 1개의 스피커를 통해, 우 방향 터치 입력에 대응하는, 우 방향 사운드(625)를 출력할 수 있다.
구체적으로, 영상표시장치(100)의 터치 감지부(210)가 우 방향 터치 입력을 감지하는 경우, 우방향 터치 입력 신호는, 오디오 처리부(220)에 전달된다.
오디오 처리부(220)는, 우 방향 터치 입력에 대응하는 우 방향 사운드를 생성하고 이를 출력할 수 있다.
예를 들어, 오디오 처리부(220)는, 우 방향 터치 입력에 기초하여, 출력되는 오디오 신호의 주파수를 순차적으로 감소시킬 수 있다. 즉, 도플러 효과와 같이, 영상표시장치(100)에서 출력되는 사운드가 멀어지는 것과 같은 효과가 발생하게 된다. 이에 따라, 사용자는, 좌에서 우 방향으로의 터치 입력을 직관적으로 인식할 수 있게 된다.
도 6(b)는, 우 방향 터치 입력에 대응하는 오디오 신호(630)를 예시한다. 도면을 살펴보면, 제1 주파수(f1)의 오디오 신호가 3번 반복되다가, 제1 주파수(f1) 보다 낮은 제2 주파수(f2)의 오디오 신호가 3번 반복되다가, 제2 주파수(f2) 보다 낮은 제3 주파수(f3)의 오디오 신호가 3번 반복되는 것을 알 수 있다. 그 크기는, L1으로 일정한 것으로 예시하나, 일정하지 않을 수도 있으며, 주파수 별로 서로 다른 크기를 가지는 것도 가능하다.
한편, 우 방향 터치 입력에 대응하여, 영상표시장치(100)가 햅틱 모듈(157)을 통해, 진동하는 것도 가능하다.
한편, 영상표시장치(100)는, 제2 방향으로의 터치 입력을 수신한다(S530). 다음, 제2 방향에 대응하는 제2 사운드를 출력한다(S520).
도 7(a)를 참조하면, 영상표시장치(100)는, 애플리케이션 화면(620)이 표시될 수 있다. 이 상태에서, 사용자의 손가락(50)에 의한 좌 방향 터치 입력이 있는 경우, 영상표시장치(100)는, 화면을 전환하여, 영상표시장치(100)의 홈 화면(610)을 표시할 수 있다.
예를 들어, 영상표시장치(100)가 1개의 스피커를 구비하는 경우, 영상표시장치(100)는, 1개의 스피커를 통해, 좌 방향 터치 입력에 대응하는, 좌 방향 사운드(626)를 출력할 수 있다.
구체적으로, 영상표시장치(100)의 터치 감지부(210)가 좌 방향 터치 입력을 감지하는 경우, 좌 방향 터치 입력 신호는, 오디오 처리부(220)에 전달된다.
오디오 처리부(220)는, 좌 방향 터치 입력에 대응하는 좌 방향 사운드를 생성하고 이를 출력할 수 있다.
예를 들어, 오디오 처리부(220)는, 좌 방향 터치 입력에 기초하여, 출력되는 오디오 신호의 주파수를 순차적으로 증가시킬 수 있다. 즉, 도플러 효과와 같이, 영상표시장치(100)에서 출력되는 사운드가 가까워지는 것과 같은 효과가 발생하게 된다. 이에 따라, 사용자는, 우에서 좌 방향으로의 터치 입력을 직관적으로 인식할 수 있게 된다.
도 7(b)는, 좌 방향 터치 입력에 대응하는 오디오 신호(631)를 예시한다. 도면을 살펴보면, 제3 주파수(f3)의 오디오 신호가 3번 반복되다가, 제3 주파수(f3) 보다 높은 제2 주파수(f2)의 오디오 신호가 3번 반복되다가, 제2 주파수(f2) 보다 높은 제1 주파수(f1)의 오디오 신호가 3번 반복되는 것을 알 수 있다. 그 크기는, L1으로 일정한 것으로 예시하나, 일정하지 않을 수도 있으며, 주파수 별로 서로 다른 크기를 가지는 것도 가능하다.
한편, 좌 방향 터치 입력에 대응하여, 영상표시장치(100)가 햅틱 모듈(157)을 통해, 진동하는 것도 가능하다. 이때의 진동은, 우 방향 터치 입력에 의한 진동과 서로 다를 수 있다. 예를 들어, 진동 주파수가 오디오 신호와 같이, 순차적으로 커질 수 있다.
한편, 도 6과 도 7을 비교하면, 좌 방향 터치 입력과 우 방향 터치 입력에 따라, 각각 생성되어 출력되는 오디오 신호(630,631)가 유사하나, 시간에 따라, 주파수가 감소하거나, 증가하는 것에 그 차이가 있다. 이에 의해, 사용자는 직관적으로, 좌방향 터치 입력인지 우방향 터치 입력인 지 여부를 인식할 수 있게 된다.
도 6, 및 도 7 외에, 터치 입력이 하 방향인 경우와 상 방향인 경우, 각각 서로 다른 사운드가 출력되는 것도 가능하다.
도 8(a)는 하 방향 터치 입력에 따라, 홈 화면(610)에서, 단축 설정 화면(640)이 표시되는 것을 예시한다. 영상표시장치(100)가 1개의 스피커를 구비하는 경우, 영상표시장치(100)는, 1개의 스피커를 통해, 하 방향 터치 입력에 대응하는, 하 방향 사운드(627)를 출력할 수 있다.
한편, 단축 설정 화면(640)은, 커튼을 아래로 내리듯이, 표시되므로, 커튼 화면이라 명명할 수도 있다. 또는, 단축 설정 화면(640)은, WiFi 항목, 진동/소리 항목 등의 단축 설정 항목들 외에, 알림 메시지를 더 포함할 수 있으므로, 알림 화면(notification screen)이라 명명할 수도 있다.
도 8(b)는, 하 방향 터치 입력에 대응하는 오디오 신호(632)를 예시한다. 도면을 살펴보면, 제6 주파수(f6)의 오디오 신호가 3번 반복되다가, 제6 주파수(f6) 보다 낮은 제5 주파수(f5)의 오디오 신호가 3번 반복되다가, 제5 주파수(f5) 보다 낮은 제4 주파수(f4)의 오디오 신호가 3번 반복되는 것을 알 수 있다. 그 크기는, L2으로 일정한 것으로 예시하나, 일정하지 않을 수도 있으며, 주파수 별로 서로 다른 크기를 가지는 것도 가능하다.
한편, 도 6(b)와 비교하여, 도 8(b)의 오디오 신호(632)는, 그 크기가 다르며, 주파수가 다른 것을 알 수 있다. 이에 따라, 하 방향 터치 입력에 따른 사운드는, 우 방향 터치 입력에 따른 사운드와 구별될 수 있다. 그 외, 좌 방향 터치 입력에 따른 사운드와도 구별될 수 있다.
도 9(a)는 상 방향 터치 입력에 따라, 단축 설정 화면(640)에서, 홈 화면(610)이 표시되는 것을 예시한다. 영상표시장치(100)가 1개의 스피커를 구비하는 경우, 영상표시장치(100)는, 1개의 스피커를 통해, 상 방향 터치 입력에 대응하는, 하 방향 사운드(628)를 출력할 수 있다.
도 9(b)는, 상 방향 터치 입력에 대응하는 오디오 신호(633)를 예시한다. 도면을 살펴보면, 제4 주파수(f4)의 오디오 신호가 3번 반복되다가, 제4 주파수(f4) 보다 높은 제5 주파수(f5)의 오디오 신호가 3번 반복되다가, 제5 주파수(f5) 보다 높은 제6 주파수(f6)의 오디오 신호가 3번 반복되는 것을 알 수 있다. 그 크기는, L2으로 일정한 것으로 예시하나, 일정하지 않을 수도 있으며, 주파수 별로 서로 다른 크기를 가지는 것도 가능하다.
한편, 도 7(b)와 비교하여, 도 9(b)의 오디오 신호(633)는, 그 크기가 다르며, 주파수가 다른 것을 알 수 있다. 이에 따라, 상 방향 터치 입력에 따른 사운드는, 좌 방향 터치 입력에 따른 사운드와 구별될 수 있다. 그 외, 우 방향 터치 입력에 따른 사운드, 및 상 방향 터치 입력에 따른 사운드와도 구별될 수 있다.
다른 예로, 우 방향 터치 입력에 대응하여, 물방울 사운드가 출력되고, 좌 방향 터치 입력에 대응하여, 비 소리 사운드가 출력되고, 상 방향 터치 입력에 대응하여, 새소리 사운드가 출력되고, 하 방향 터치 입력에 대응하여, 휘파람 소리 사운드가 출력되는 것도 가능하다. 즉, 각 방향 별로, 서로 다른 소스의 사운드가 출력되는 것도 가능하다.
이와 같이, 본 발명의 실시예에 따르면, 사 방향 터치 입력에 대응하여, 각각 방향성 있는 사운드가 출력되도록 한다.
도 6 내지 도 9에서 도시한 것과 달리, 다양한 실시예가 가능하며, 각 방향에 따라, 해당 오디오 신호의 주파수, 크기 중 적어도 하나가 달라질 수 있다.
한편, 터치 입력의 세기 또는 속도에 따라, 출력되는 사운드의 출력 시간, 크기, 또는 주파수 중 적어도 하나가 가변되는 것도 가능하다.
도 10 내지 도 11을 참조하면, 우 방향 터치 입력 시간에 따라, 즉, 우방향 터치 입력 속도에 따라, 출력되는 사운드의 출력 시간이 달라지는 것을 예시한다.
도 10(a)는, 기간 Ta 동안에, 우방향 터치 입력이 있어, 이에 따른 우 방향 사운드(625)가 표시되는 것을 예시한다. 이때의 우방향 사운드(625)에 대응하는 도 10(b)의 오디오 신호(630)는, 제1 주파수(f1) 3번, 제2 주파수(f2) 3번, 제3 주파수(f3) 3번씩, 반복되어, 주파수가 순차적으로 낮아지는 오디오 신호임을 알 수 있다.
도 11(a)는, 기간 Ta 보다 짧은 기간 Tb 동안에, 우방향 터치 입력이 있어, 이에 따른 우 방향 사운드(635)가 표시되는 것을 예시한다. 이때의 우방향 사운드(635)에 대응하는 도 11(b)의 오디오 신호(641)는, 제1 주파수(f1) 2번, 제2 주파수(f2) 2번, 제3 주파수(f3) 2번씩, 반복되어, 주파수가 순차적으로 낮아지는 오디오 신호임을 알 수 있다.
도 11(b)의 오디오 신호(641)는, 도 10(b)의 오디오 신호(630)와 비교하여, 그 크기(L1), 주파수 및 주파수 변화가 동일하나, 출력 시간이 단축되는 것에 그 차이가 있다. 이에 의해, 사용자는, 터치 입력 속도, 및 그 방향을 직관적으로 인식할 수 있게 된다.
도 12 내지 도 13을 참조하면, 우 방향 터치 세기에 따라, 출력되는 사운드의 볼륨, 즉 오디오 신호의 크기가 달라지는 것을 예시한다.
도 12(a)는, 제1 세기(S1)에 의한 우방향 터치 입력이 있어, 이에 따른 우 방향 사운드(625)가 표시되는 것을 예시한다. 이때의 우방향 사운드(625)에 대응하는 도 12(b)의 오디오 신호(630)는, 제1 크기(L)의 오디오 신호가 제1 주파수(f1) 3번, 제2 주파수(f2) 3번, 제3 주파수(f3) 3번씩, 반복되며, 주파수가 순차적으로 낮아지는 오디오 신호임을 알 수 있다.
도 13(a)는, 제1 세기(S1) 보다 센 제2 세기(S2)에 의한 우방향 터치 입력이 있어, 이에 따른 우 방향 사운드(636)가 표시되는 것을 예시한다. 이때의 우방향 사운드(636)에 대응하는 도 11(b)의 오디오 신호(642)는, 제1 크기(L)의 오디오 신호가 제1 주파수(f1) 3번, 제2 주파수(f2) 3번, 제3 주파수(f3) 3번씩, 반복되며, 주파수가 순차적으로 낮아지는 오디오 신호임을 알 수 있다.
도 13(b)의 오디오 신호(642)는, 도 12(b)의 오디오 신호(630)와 비교하여, 주파수 및 주파수 변화가 동일하나, 그 크기(L2와 L1)가 달라지는 것에 그 차이가 있다. 이에 의해, 사용자는, 터치 입력의 세기, 및 그 방향을 직관적으로 인식할 수 있게 된다.
한편, 영상표시장치(100)가 2개의 스피커를 구비하는 경우, 상술한 바와 같이, 오디오 신호의 주파수, 크기 외에, 위상을 조정하는 것도 가능하다.
도 14a는 우방향 터치 입력에 의해, 홈 화면(610)에서, 애플리케이션 화면(620)으로 화면 전환 표시되면서, 좌측 스피커인, 제1 스피커(153a)에서 제1 사운드(1310)가 출력되고, 우측 스피커인 제2 스피커(153b)에서 제2 사운드(1320)가 출력되는 것을 예시한다.
도면에 따르면, 제2 사운드(1320) 성분이 더 강조되는 것을 알 수 있다. 예를 들어, 제2 사운드(1320)의 오디오 신호가, 제1 사운드(1310)의 오디오 신호 보다, 주파수가 더 높거나, 크기(amplitude)가 더 크거나, 위상이 더 빠를 수 있다. 또는 이들의 조합일 수 있다.
이를 위해, 오디오 처리부(220)의 위상 게인 조정부(350)는, 수신하는 터치 입력 신호(St)에 기초하여, 주파수 밴드 별 크기 조정, 위상 조정을 수행할 수 있다.
도 14b는 좌 방향 터치 입력에 의해, 애플리케이션 화면(620)에서, 홈 화면(610)으로 화면 전환 표시되면서, 좌측 스피커인, 제1 스피커(153a)에서 제1 사운드(1315)가 출력되고, 우측 스피커인 제2 스피커(153b)에서 제2 사운드(1325)가 출력되는 것을 예시한다.
도면에 따르면, 제1 사운드(1315) 성분이 더 강조되는 것을 알 수 있다. 예를 들어, 제1 사운드(1315)의 오디오 신호가, 제2 사운드(1325)의 오디오 신호 보다, 주파수가 더 높거나, 크기(amplitude)가 더 크거나, 위상이 더 빠를 수 있다. 또는 이들의 조합일 수 있다.
도 14c는 하방향 터치 입력에 의해, 홈 화면(610)에서, 단축 설정 화면(640)으로 화면 전환 표시되면서, 좌측 스피커인, 제1 스피커(153a)에서 제1 사운드(1330)가 출력되고, 우측 스피커인 제2 스피커(153b)에서 제2 사운드(1345)가 출력되는 것을 예시한다.
도면에 따르면, 제1 사운드(1330) 및 제2 사운드(1345) 모두 하 방향 성분이 강조되는 것을 알 수 있다. 이를 위해, 제1 사운드(1330) 및 제2 사운드(1345)의 오디오 신호가, 순차적으로, 주파수 감소, 크기 감소, 또는 이들의 조합일 수 있다.
이를 위해, 오디오 처리부(220)의 위상 게인 조정부(350)는, 수신하는 터치 입력 신호(St)에 기초하여, 주파수 밴드 별 크기 조정, 위상 조정을 수행할 수 있다.
도 14d는 상 방향 터치 입력에 의해, 단축 설정 화면(640)에서, 홈 화면(610)으로 화면 전환 표시되면서, 좌측 스피커인, 제1 스피커(153a)에서 제1 사운드(1335)가 출력되고, 우측 스피커인 제2 스피커(153b)에서 제2 사운드(1340)가 출력되는 것을 예시한다.
도면에 따르면, 제1 사운드(1335) 및 제2 사운드(1340) 모두 상 방향 성분이 강조되는 것을 알 수 있다. 이를 위해, 제1 사운드(1335) 및 제2 사운드(1340)의 오디오 신호가, 순차적으로, 주파수 증가, 크기 증가, 또는 이들의 조합일 수 있다.
한편, 도 6 내지 도 14d는, 터치 입력에 따라, 홈 화면(610)에서, 애플리케이션 화면(620)으로 전환되거나, 단축 설정 화면(640)으로 전환되는 것을 예시하였으나, 다양한 변형이 가능하다.
예를 들어, 잠금 화면이 표시된 상태에서, 우 방향 터치 입력이 있는 경우, 홈 화면이 표시될 수 있으며, 이때, 우 방향 터치 입력에 따른, 도 6(b)와 같은 오디오 신호(630)가 출력될 수 있다.
다른 예로, 영상표시장치(100)에, 파일 리스트 화면, 또는 웹 페이지 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우, 화면이 스크롤되어, 화면 전환되면서, 도 6(b)와 같은 오디오 신호(630)가 출력될 수 있다.
한편, 동일한 방향의 터치 입력이 있는 경우라도, 표시되고 있던 화면 속성 또는 화면 전환시 표시될 화면 속성에 따라, 출력되는 오디오 신호가 가변되는 것이 가능하다. 구체적으로, 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나가 달라지는 것이 가능하다. 이에 따라, 사용자는 화면 속성도 간단하게 인식할 수 있게 된다.
즉, 잠금 화면이 표시된 상태에서, 우 방향 터치 입력시와, 파일 리스트 화면 표시시의 우 방향 터치 입력시, 서로 다른 오디오 신호가 출력되는 것이 가능하다.
한편, 파일 리스트의 첫 화면, 또는 웹 페이지 첫 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우와, 파일 리스트의 마지막 화면, 또는 웹 페이지 마지막 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우, 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나가 달라지는 것이 가능하다. 이에 따라, 사용자는 첫 화면인지, 마지막 화면인 지 등을 직관적으로 인식할 수 있게 된다.
도 15는 본 발명의 다른 실시예에 따른 영상표시장치를 도시한 도면이다.
도면을 참조하면, 본 발명의 다른 실시예에 따른 영상표시장치(700)는, 제스쳐 입력이 가능한, 영상표시장치일 수 있다. 이때의 영상표시장치(700)는, TV, 모니터, 노트북 등일 수 있다.
이하의 도 16 내지 도 19d는 영상표시장치(700)로, 제스쳐 입력이 가능한, TV를 중심으로 기술한다.
한편, 본 발명의 다른 실시예에 따른 영상표시장치(700)는, 사용자(1400)의 손(60) 동작에 의한 방향성 있는 제스쳐 입력에 기초하여, 음향 출력부(785a,785b)를 통해, 방향성 있는 사운드(70)를 출력한다. 이에 따라, 사용자는 직관적으로, 제스쳐 입력에 따른, 방향성을 인지할 수 있으며, 결국, 사용자의 이용 편의성이 증대될 수 있다.
한편, 제스쳐 입력의 감지를 위해, 영상표시장치(700)는 카메라(790)를 구비할 수 있다.
도 16은 도 15의 영상표시장치의 내부 블록도이다.
도면을 참조하면, 본 발명의 실시예에 따른 영상표시장치(700)는, 방송 수신부(705), 외부장치 인터페이스부(730), 저장부(740), 사용자입력 인터페이스부(750), 센서부(미도시), 제어부(770), 디스플레이(780), 오디오 출력부(785), 및 카메라(790)를 포함할 수 있다.
방송 수신부(705)는, 튜너부(710), 복조부(720), 및 네트워크 인터페이스부(730)를 포함할 수 있다. 물론, 필요에 따라, 튜너부(710)와 복조부(720)를 구비하면서 네트워크 인터페이스부(730)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(730)를 구비하면서 튜너부(710)와 복조부(720)는 포함하지 않도록 설계하는 것도 가능하다.
튜너부(710)는, 안테나(50)를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
복조부(720)는 튜너부(710)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
복조부(720)에서 출력한 스트림 신호는 제어부(770)로 입력될 수 있다. 제어부(770)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(780)에 영상을 출력하고, 오디오 출력부(785)로 음성을 출력한다.
외부장치 인터페이스부(730)는, 접속된 외부 장치(790)와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(735)는, 영상표시장치(700)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다.
저장부(740)는, 제어부(770) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
한편, 본 발명의 실시예에 관련하여, 저장부(740)는, 방향성 제스쳐 입력에 대응하는 오디오 신호를 저장할 수 있다.
도 16의 저장부(740)가 제어부(770)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(740)는 제어부(770) 내에 포함될 수 있다.
사용자입력 인터페이스부(750)는, 사용자가 입력한 신호를 제어부(770)로 전달하거나, 제어부(770)로부터의 신호를 사용자에게 전달한다.
제어부(770)는, 튜너부(710) 또는 복조부(720) 또는 외부장치 인터페이스부(730)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(770)에서 영상 처리된 영상 신호는 디스플레이(780)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(770)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(730)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(770)에서 처리된 음성 신호는 오디오 출력부(785)로 음향 출력될 수 있다. 또한, 제어부(770)에서 처리된 음성 신호는 외부장치 인터페이스부(730)를 통하여 외부 출력장치로 입력될 수 있다.
한편, 제어부(770)는, 본 발명의 실시예와 관련하여, 방향성 있는 제스쳐 입력을 수신하는 경우, 방향성 있는 제스쳐 입력에 대응하여, 방향성 있는 사운드를 생성하여 출력할 수 있다.
예를 들어, 제어부(770)는, 카메라(790)를 통해 입력되는 촬영 영상에 기초하여, 사용자의 제스쳐를 파악할 수 있다. 그리고, 사용자의 제스쳐 중 방향성 있는 제스쳐가 있는 경우, 방향성 있는 제스쳐 입력에 기초하여, 방향성 있는 사운드를 생성하여 출력할 수 있다. 그리고, 제스쳐 방향에 따라, 서로 다른 주파수, 크기, 또는 위상을 가지도록하는 사운드를 생성하여 출력할 수 있다.
도 16에는 도시되어 있지 않으나, 제어부(770)는 역다중화부, 영상처리부, 오디오 처리부 등을 포함할 수 있다. 이에 대해서는 도 17을 참조하여 후술한다.
오디오 출력부(785)는, 제어부(770)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다. 오디오 출력부는 복수개의 스피커를 구비할 수 있다. 예를 들어, 오디오 출력부(785)는, 상술한 도 15와 전면 좌,우 스피커(785a,785b)를 포함할 수 있다. 그 외, 서라운드 좌,우 스피커(미도시), 센터 스피커(미도시), 및 우퍼(미도시)를 포함할 수도 있다.
원격제어장치(300)는, 사용자 입력을 사용자입력 인터페이스부(750)로 송신한다. 또한, 원격제어장치(700)는, 사용자입력 인터페이스부(750)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(700)에서 표시하거나 음성 출력할 수 있다.
한편, 도 16에 도시된 영상표시장치(700)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(700)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 영상표시장치(700)는 도 16에 도시된 바와 달리, 도 16의 도시된 튜너부(710)와 복조부(720)를 구비하지 않고, 네트워크 인터페이스부(730) 또는 외부장치 인터페이스부(735)를 통해서, 영상 컨텐츠를 수신하고, 이를 재생할 수도 있다.
도 17은 도 16의 제어부의 내부 블록도이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 의한 제어부(770)는, 역다중화부(810), 오디오 처리부(815), 영상 처리부(820), 프로세서(830), OSD 생성부(840), 믹서(845), 프레임 레이트 변환부(850), 포맷터(860)를 포함할 수 있다. 그 외 오디오 처리부(미도시), 데이터 처리부(미도시)를 더 포함할 수 있다.
역다중화부(810)는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부(810)에 입력되는 스트림 신호는, 튜너부(710) 또는 복조부(720) 또는 외부장치 인터페이스부(730)에서 출력되는 스트림 신호일 수 있다.
한편, 오디오 처리부(815)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이를 위해 오디오 처리부(815)는 다양한 오디오 디코더를 구비할 수 있다.
또한, 오디오 처리부(815)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
특히, 본 발명의 실시에와 관련하여, 오디오 처리부(815)는, 방향성 있는 제스쳐 입력이 있는 경우, 해당 방향에 대응하는 사운드를 생성하고, 출력한다.
한편, 영상처리장치(700)에 스피커가 2개 구비되는 경우, 방향성 있는 출력을 위해, 오디오 처리부(815)는, 2개의 스피커 각각에 해당하는 채널의 오디오 신호가 출력되도록, 각 채널의 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나를 순차적으로 가변할 수 있다.
예를 들어, 오디오 처리부(815)는, 방향성 있는 제스쳐 입력에 기초하여, 2개 채널 중 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 증가시키거나, 다른 1개 채널의 오디오 신호의 주파수, 크기, 위상 중 적어도 하나를 감소시켜, 방향성 있는 사운드를 출력할 수 있다. 이에 따라, 사용자는 방향성을 인식할 수 있게 된다.
한편, 영상 처리부(820)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, 영상 처리부(820)는, 영상 디코더(825), 및 스케일러(835)를 구비할 수 있다.
영상 디코더(825)는, 역다중화된 영상신호를 복호화하며, 스케일러(835)는, 복호화된 영상신호의 해상도를 디스플레이(780)에서 출력 가능하도록 스케일링(scaling)을 수행한다.
영상 디코더(825)는 다양한 규격의 디코더를 구비하며, 입력되는 영상 신호를 해당 규격의 디코더에 따라 복호화하는 것이 가능하다.
프로세서(830)는, 영상표시장치(700) 내 또는 제어부(770) 내의 전반적인 동작을 제어할 수 있다.
OSD 생성부(840)는, 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성한다. .
믹서(845)는, OSD 생성부(840)에서 생성된 OSD 신호와 영상 처리부(820)에서 영상 처리된 복호화된 영상 신호를 믹싱할 수 있다.
프레임 레이트 변환부(Frame Rate Conveter, FRC)(750)는, 입력되는 영상의 프레임 레이트를 변환할 수 있다. 한편, 프레임 레이트 변환부(850)는, 별도의 프레임 레이트 변환 없이, 그대로 출력하는 것도 가능하다.
포맷터(860)는, 입력되는 영상 신호의 포맷을 가변하거나, 별도의 변환 없이, 바이패스할 수 있다. 예를 들어, 2D 영상 신호를 3D 영상으로 변환하거나, 3D 영상 포맷을 변경하거나 할 수 있다. 또는, 디스플레이(180)에서 표시하기 위한, 영상 신호 포맷으로 변경하는 것도 가능하다.
한편, 도 17에 도시된 제어부(770)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 제어부(770)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
특히, 프레임 레이트 변환부(850), 및 포맷터(860)는 제어부(770) 내에 마련되지 않고, 각각 별도로 구비되거나, 하나의 모듈로서 별도로 구비될 수도 있다.
도 18은 본 발명의 다른 실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이다고, 도 19a 내지 도 19d는 도 18의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
먼저, 도 18을 참조하면, 본 발명의 실시예에 따른 영상표시장치(700)는, 제1 방향으로의 제스쳐 입력을 수신한다(S1710). 다음, 제1 방향에 대응하는 제1 사운드를 출력한다(S1720).
도 19a는, 소정 방송 영상 시청시, 우 방향 제스쳐 입력에 의해, 좌측 스피커인, 제1 스피커(785a)에서 제1 사운드(1810)가 출력되고, 우측 스피커인 제2 스피커(785b)에서 제2 사운드(1820)가 출력되는 것을 예시한다.
카메라(790)는, 사용자를 촬영하며, 촬영된 영상은, 제어부(770)으로 입력될 수 있다.
제어부(770)는, 사용자의 얼굴과 사용자의 손 등을 인식하고, 사용자 손의 움직임에 대응하여, 제스쳐를 인식할 수 있다.
그리고, 도 19a와 같이, 사용자(1400)가 손(60)을 이용하여, 우 방향 제스쳐 입력을 수행하는 경우, 제어부(770) 내의 오디오 처리부(815)는, 우 방향 터치 입력에 대응하는 제1 및 제2 사운드(1810,1820)를 생성하고 이를 출력할 수 있다.
도면에 따르면, 제2 사운드(1820) 성분이 더 강조되는 것을 알 수 있다. 예를 들어, 제2 사운드(1820)의 오디오 신호가, 제1 사운드(1810)의 오디오 신호 보다, 주파수가 더 높거나, 크기(amplitude)가 더 크거나, 위상이 더 빠를 수 있다. 또는 이들의 조합일 수 있다.
이를 위해, 오디오 처리부(815)의 위상 게인 조정부(350)는, 수신하는 터치 입력 신호(St)에 기초하여, 주파수 밴드 별 크기 조정, 위상 조정을 수행할 수 있다.
한편, 우 방향 제스쳐 입력에 의해, 사운드의 전체 볼륨이 증가될 수 있다. 즉, 제1 및 제2 사운드(1810,1820)의 볼륨을 증가시키면서, 제2 사운드(1820) 성분을 더 강조하는 것이 가능하다.
한편, 영상표시장치(700)는, 제2 방향으로의 제스쳐 입력을 수신한다(S1730). 다음, 제2 방향에 대응하는 제2 사운드를 출력한다(S1740).
도 19b는, 소정 방송 영상 시청시, 좌 방향 제스쳐 입력에 의해, 좌측 스피커인, 제1 스피커(785a)에서 제1 사운드(1815)가 출력되고, 우측 스피커인 제2 스피커(785b)에서 제2 사운드(1825)가 출력되는 것을 예시한다.
도 19b와 같이, 사용자(1400)가 손(60)을 이용하여, 좌 방향 제스쳐 입력을 수행하는 경우, 제어부(770) 내의 오디오 처리부(815)는, 좌 방향 터치 입력에 대응하는 제1 및 제2 사운드(1815,1825)를 생성하고 이를 출력할 수 있다.
도면에 따르면, 제1 사운드(1815) 성분이 더 강조되는 것을 알 수 있다. 예를 들어, 제1 사운드(1815)의 오디오 신호가, 제2 사운드(1825)의 오디오 신호 보다, 주파수가 더 높거나, 크기(amplitude)가 더 크거나, 위상이 더 빠를 수 있다. 또는 이들의 조합일 수 있다.
이를 위해, 오디오 처리부(815)의 위상 게인 조정부(350)는, 수신하는 터치 입력 신호(St)에 기초하여, 주파수 밴드 별 크기 조정, 위상 조정을 수행할 수 있다.
한편, 좌 방향 제스쳐 입력에 의해, 사운드의 전체 볼륨이 감소될 수 있다. 즉, 제1 및 제2 사운드(1815,1825)의 볼륨을 감소시키면서, 제1 사운드(1815) 성분을 더 강조하는 것이 가능하다.
도 19c는 소정 방송 영상 시청시, 하 방향 제스쳐 입력에 의해, 좌측 스피커인, 제1 스피커(785a)에서 제1 사운드(1835)가 출력되고, 우측 스피커인 제2 스피커(785b)에서 제2 사운드(1845)가 출력되는 것을 예시한다.
도면에 따르면, 제1 사운드(1835) 및 제2 사운드(1845) 모두 하 방향 성분이 강조되는 것을 알 수 있다. 이를 위해, 제1 사운드(1835) 및 제2 사운드(1845)의 오디오 신호가, 순차적으로, 주파수 감소, 크기 감소, 또는 이들의 조합일 수 있다.
이를 위해, 오디오 처리부(815)의 위상 게인 조정부(350)는, 수신하는 터치 입력 신호(St)에 기초하여, 주파수 밴드 별 크기 조정, 위상 조정을 수행할 수 있다.
한편, 하 방향 제스쳐 입력에 의해, 시청하고 있는 방송 영상의 채널 번호가 감소될 수 있다. 즉, 시청하고 있는 채널이 CH 9에서 CH 8로 변경될 수 있으며, 그에 해당하는 방송 영상이 영상표시장치(700)에 표시될 수 있다.
도 19d는 소정 방송 영상 시청시, 상 방향 제스쳐 입력에 의해, 좌측 스피커인, 제1 스피커(785a)에서 제1 사운드(1830)가 출력되고, 우측 스피커인 제2 스피커(785b)에서 제2 사운드(1840)가 출력되는 것을 예시한다.
도면에 따르면, 제1 사운드(1830) 및 제2 사운드(1840) 모두 상 방향 성분이 강조되는 것을 알 수 있다. 이를 위해, 제1 사운드(1830) 및 제2 사운드(1840)의 오디오 신호가, 순차적으로, 주파수 증가, 크기 증가, 또는 이들의 조합일 수 있다.
한편, 상 방향 제스쳐 입력에 의해, 시청하고 있는 방송 영상의 채널 번호가 증가될 수 있다. 즉, 시청하고 있는 채널이 CH 9에서 CH 10로 변경될 수 있으며, 그에 해당하는 방송 영상이 영상표시장치(700)에 표시될 수 있다.
한편, 영상표시장치(700)에, 파일 리스트 화면, 또는 웹 페이지 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우, 화면이 스크롤되어, 화면 전환되면서, 도 19a와 같은 오디오 신호(630)가 출력될 수 있다.
한편, 동일한 방향의 터치 입력이 있는 경우라도, 표시되고 있던 화면 속성 또는 화면 전환시 표시될 화면 속성에 따라, 출력되는 오디오 신호가 가변되는 것이 가능하다. 구체적으로, 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나가 달라지는 것이 가능하다. 이에 따라, 사용자는 화면 속성도 간단하게 인식할 수 있게 된다.
즉, 방송 영상이 표시된 상태에서, 우 방향 터치 입력시와, 파일 리스트 화면 표시시의 우 방향 터치 입력시, 서로 다른 오디오 신호가 출력되는 것이 가능하다.
한편, 파일 리스트의 첫 화면, 또는 웹 페이지 첫 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우와, 파일 리스트의 마지막 화면, 또는 웹 페이지 마지막 화면 등이 표시된 상태에서, 우 방향 터치 입력이 있는 경우, 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나가 달라지는 것이 가능하다. 이에 따라, 사용자는 첫 화면인지, 마지막 화면인 지 등을 직관적으로 인식할 수 있게 된다.
본 발명에 따른 영상표시장치, 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 제1 방향으로의 터치 입력을 수신하는 단계;
    상기 제1 방향에 대응하는 제1 사운드를 출력하는 단계;
    제2 방향으로의 터치 입력을 수신하는 단계; 및
    상기 제2 방향에 대응하는 제2 사운드를 출력하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  2. 제1항에 있어서,
    상기 제1 사운드는, 상기 제2 사운드와, 주파수, 크기, 위상 중 적어도 하나가 다른 것을 특징으로 하는 영상표시장치의 동작방법.
  3. 제1항에 있어서,
    상기 제1 방향 터치 입력의 세기 또는 속도에 따라, 상기 제1 사운드의 출력 기간, 크기, 또는 주파수 중 적어도 하나가 가변하는 것을 특징으로 하는 영상표시장치의 동작방법.
  4. 제1항에 있어서,
    제1 화면을 표시하는 단계; 및
    상기 제1 방향으로의 터치 입력에 기초하여, 제2 화면을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  5. 제1항에 있어서,
    제1 화면을 표시하는 단계; 및
    상기 제1 방향으로의 터치 입력에 기초하여, 제2 화면을 표시하는 단계;를 더 포함하고,
    상기 제1 화면의 속성에 따라, 상기 제1 방향에 대응하는 제1 사운드의 주파수, 크기, 위상 중 적어도 하나가 가변하는 것을 특징으로 하는 영상표시장치의 동작방법.
  6. 제1항에 있어서,
    잠금 화면을 표시하는 단계; 및
    상기 제1 방향으로의 터치 입력에 기초하여, 홈 화면을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  7. 제1항에 있어서,
    제3 방향으로의 터치 입력을 수신하는 단계;
    상기 제3 방향에 대응하는 제3 사운드를 출력하는 단계;
    제4 방향으로의 터치 입력을 수신하는 단계; 및
    상기 제4 방향에 대응하는 제4 사운드를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  8. 제1항에 있어서,
    상기 제1 사운드 출력 및 상기 제2 사운드 출력 단계, 각각은,
    출력할 오디오 신호의 주파수 밴드 별 게인(gain) 또는 위상 중 적어도 하나를 조절하여, 상기 제1 사운드 및 상기 제2 사운드를 각각 출력하는 것을 특징으로 하는 영상표시장치의 동작방법.
  9. 제1항에 있어서,
    상기 제1 사운드 출력 및 상기 제2 사운드 출력 단계, 각각은,
    수신되는 오디오 신호에 기초하여, 음상 정위를 제어하는 단계;
    음상 정위 제어된 오디오 신호를 이퀄라이제이션을 수행하는 단계;
    이퀄라이제이션된 오디오 신호를 서브 밴드 분석 필터링하는 단계;
    상기 서브 밴드 별로 위상 조정 또는 게인 조정 중 적어도 하나를 수행하는 단계; 및
    상기 서브 밴드 별로 위상 또는 게인 조정된 오디오 신호를 서브 밴드 합성 필터링하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  10. 잠금 화면을 표시하는 단계;
    제1 방향으로의 터치 입력을 수신하는 단계;
    상기 터치 입력에 기초하여, 홈 화면을 표시하는 단계; 및
    상기 홈 화면 표시시, 상기 제1 방향에 대응하는 제1 사운드를 출력하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  11. 제1 방향으로의 제스쳐 입력을 수신하는 단계;
    상기 제1 방향에 대응하는 제1 사운드를 출력하는 단계;
    제2 방향으로의 제스쳐 입력을 수신하는 단계; 및
    상기 제2 방향에 대응하는 제2 사운드를 출력하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  12. 디스플레이;
    터치 입력을 감지하는 터치 감지부;
    감지된 제1 방향으로의 터치 입력에 대응하여 제1 사운드를 생성하고, 감지된 제2 방향으로의 터치 입력에 대응하여 제2 사운드를 생성하는 오디오 처리부; 및
    상기 제1 사운드 신호 또는 상기 제2 사운드 신호를 출력하는 오디오 출력부;를 포함하는 것을 특징으로 하는 영상표시장치.
  13. 제12항에 있어서,
    상기 오디오 처리부는,
    상기 제1 사운드와, 상기 제2 사운드의, 주파수, 크기, 위상 중 적어도 하나를 다르게 설정하는 것을 특징으로 하는 영상표시장치.
  14. 제12항에 있어서,
    상기 오디오 처리부는,
    상기 제1 방향 터치 입력의 세기 또는 속도에 따라, 상기 제1 사운드의 출력 기간, 크기, 또는 주파수 중 적어도 하나를 가변하는 것을 특징으로 하는 영상표시장치.
  15. 제12항에 있어서,
    상기 디스플레이는,
    제1 화면을 표시하고, 상기 제1 방향으로의 터치 입력에 기초하여, 제2 화면을 표시하는 것을 특징으로 하는 영상표시장치.
  16. 제12항에 있어서,
    상기 디스플레이는,
    제1 화면을 표시하고, 상기 제1 방향으로의 터치 입력에 기초하여, 제2 화면을 표시하며,
    상기 오디오 처리부는,
    상기 제1 화면의 속성에 따라, 상기 제1 방향에 대응하는 제1 사운드의 주파수, 크기, 위상 중 적어도 하나가 가변하는 것을 특징으로 하는 영상표시장치.
  17. 제12항에 있어서,
    상기 디스플레이는,
    잠금 화면을 표시하고, 상기 제1 방향으로의 터치 입력에 기초하여, 홈 화면을 표시하는 것을 특징으로 하는 영상표시장치.
  18. 제12항에 있어서,
    상기 오디오 처리부는,
    수신되는 오디오 신호에 기초하여, 음상 정위를 제어하는 음상 정위부;
    음상 정위 제어된 오디오 신호를 이퀄라이제이션을 수행하는 이퀄라이제이션부;
    이퀄라이제이션된 오디오 신호를 서브 밴드 분석 필터링하는 서브밴드 분석부;
    상기 서브 밴드 별로 위상 조정 또는 게인 조정 중 적어도 하나를 수행하는 위상 게인 조정부; 및
    상기 서브 밴드 별로 위상 또는 게인 조정된 오디오 신호를 서브 밴드 합성 필터링하는 서브밴드 분석부;를 포함하는 것을 특징으로 하는 영상표시장치.
  19. 잠금 화면을 표시하는 디스플레이;
    터치 입력을 감지하는 터치 감지부;
    제1 방향으로의 터치 입력에 기초하여, 홈 화면을 표시하도록 제어하는 제어부; 및
    상기 홈 화면 표시시, 상기 제1 방향에 대응하는 제1 사운드를 출력하는 오디오 출력부;를 포함하는 것을 특징으로 하는 영상표시장치.
  20. 카메라;
    디스플레이;
    상기 카메라에 촬영된 영상에 기초하여, 사용자 제스쳐를 감지하는 제어부; 및
    감지된 제1 방향으로의 터치 입력에 대응하여 제1 사운드를 출력하고, 감지된 제2 방향으로의 터치 입력에 대응하여 제2 사운드를 출력하는 오디오 출력부;를 포함하는 것을 특징으로 하는 영상표시장치.
KR1020120114337A 2012-10-15 2012-10-15 영상표시장치, 및 그 동작방법 KR20140047948A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120114337A KR20140047948A (ko) 2012-10-15 2012-10-15 영상표시장치, 및 그 동작방법
US14/038,330 US20140108934A1 (en) 2012-10-15 2013-09-26 Image display apparatus and method for operating the same
EP13004923.2A EP2720130A3 (en) 2012-10-15 2013-10-15 Image display apparatus and method for operating the same
CN201310481551.XA CN103729121B (zh) 2012-10-15 2013-10-15 图像显示设备及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120114337A KR20140047948A (ko) 2012-10-15 2012-10-15 영상표시장치, 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20140047948A true KR20140047948A (ko) 2014-04-23

Family

ID=49447901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120114337A KR20140047948A (ko) 2012-10-15 2012-10-15 영상표시장치, 및 그 동작방법

Country Status (4)

Country Link
US (1) US20140108934A1 (ko)
EP (1) EP2720130A3 (ko)
KR (1) KR20140047948A (ko)
CN (1) CN103729121B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3090321A4 (en) * 2014-01-03 2017-07-05 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
KR102318920B1 (ko) * 2015-02-28 2021-10-29 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN105045840A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种图片展示方法及移动终端
CN106790940B (zh) * 2015-11-25 2020-02-14 华为技术有限公司 录音方法、录音播放方法、装置及终端
JP6897480B2 (ja) * 2017-10-12 2021-06-30 オムロン株式会社 操作スイッチユニット及び遊技機

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297818B1 (en) * 1998-05-08 2001-10-02 Apple Computer, Inc. Graphical user interface having sound effects for operating control elements and dragging objects
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US20090121903A1 (en) * 2007-11-12 2009-05-14 Microsoft Corporation User interface with physics engine for natural gestural control
US8108791B2 (en) * 2009-02-27 2012-01-31 Microsoft Corporation Multi-screen user interface
US20100302175A1 (en) * 2009-05-29 2010-12-02 Agere Systems Inc. User interface apparatus and method for an electronic device touchscreen
US9009612B2 (en) * 2009-06-07 2015-04-14 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
CN101943997A (zh) * 2010-09-13 2011-01-12 中兴通讯股份有限公司 一种实现触摸屏终端发出操作提示音的方法及终端
US20120098639A1 (en) * 2010-10-26 2012-04-26 Nokia Corporation Method and apparatus for providing a device unlock mechanism
JP2014029565A (ja) * 2010-11-24 2014-02-13 Panasonic Corp 情報処理装置
WO2012128535A2 (en) * 2011-03-21 2012-09-27 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
CN102221922A (zh) * 2011-03-25 2011-10-19 苏州瀚瑞微电子有限公司 一种支持语音提示的触控系统及其实现方法
US9411507B2 (en) * 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method

Also Published As

Publication number Publication date
EP2720130A3 (en) 2017-01-25
US20140108934A1 (en) 2014-04-17
EP2720130A2 (en) 2014-04-16
CN103729121A (zh) 2014-04-16
CN103729121B (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN107071532B (zh) 图像显示装置
KR101945812B1 (ko) 이동 단말기, 및 그 동작방법
US10051368B2 (en) Mobile apparatus and control method thereof
KR20180026160A (ko) 싱크 디바이스 및 그 제어 방법
US20120246678A1 (en) Distance Dependent Scalable User Interface
CN111757171A (zh) 一种显示设备及音频播放方法
EP2982139A1 (en) Visual audio processing apparatus
KR20140047948A (ko) 영상표시장치, 및 그 동작방법
KR101945813B1 (ko) 영상표시장치, 이동 단말기, 및 그 동작방법
KR20160060846A (ko) 디스플레이 장치 및 디스플레이 방법
CN110809226A (zh) 一种音频播放方法及电子设备
KR100728019B1 (ko) 무선 오디오 전송 방법 및 그 장치
US20170102914A1 (en) Electronic device and audio ouputting method thereof
KR20160019693A (ko) 사용자 단말 장치, 디스플레이 장치, 시스템 및 그 제어 방법
WO2019237667A1 (zh) 播放音频数据的方法和装置
US20180288556A1 (en) Audio output device, and method for controlling audio output device
KR20160074234A (ko) 디스플레이 장치 및 디스플레이 장치의 콘텐트 출력 제어방법
KR20180033771A (ko) 영상표시장치
KR20160047151A (ko) 사용자 단말 장치 및 그 제어 방법
JP2018500858A (ja) レコーディング方法、装置、プログラム及び記録媒体
KR20140016072A (ko) 컨텐츠 공유를 위한 서버 장치, 클라이언트 장치 및 그 컨텐츠 공유 방법
KR20170118546A (ko) 영상 표시 장치 및 영상 표시 방법
US20190311697A1 (en) Image display device and image display system comprising same
JP2007068110A (ja) 画像音声出力装置およびプログラム
KR101979270B1 (ko) 영상표시장치, 이동 단말기, 및 그 동작방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application