KR20140107484A - 제스쳐 제어 오디오 유저 인터페이스 - Google Patents

제스쳐 제어 오디오 유저 인터페이스 Download PDF

Info

Publication number
KR20140107484A
KR20140107484A KR1020147019868A KR20147019868A KR20140107484A KR 20140107484 A KR20140107484 A KR 20140107484A KR 1020147019868 A KR1020147019868 A KR 1020147019868A KR 20147019868 A KR20147019868 A KR 20147019868A KR 20140107484 A KR20140107484 A KR 20140107484A
Authority
KR
South Korea
Prior art keywords
audio
user
audio cues
cues
user movement
Prior art date
Application number
KR1020147019868A
Other languages
English (en)
Other versions
KR101708101B1 (ko
Inventor
페이 샹
후이-야 리아오 넬슨
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140107484A publication Critical patent/KR20140107484A/ko
Application granted granted Critical
Publication of KR101708101B1 publication Critical patent/KR101708101B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)

Abstract

3차원 (3D) 공간에서 제공된 오디오 큐를 각각 선택하는 유저 인터페이스, 방법들 및 제조 물품이 개시된다. 오디오 큐들은 유저 주위의 공간에서 가청적으로 인지가능하며, 오디오 큐들의 각각은 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지될 수도 있다. 특정 오디오 큐의 선택은 하나 이상의 유저 제스쳐들에 기초하여 이루어진다. 휴대형 전자 디바이스는 유저에 의해 인지되는 오디오 큐들을 제공하고 오디오 큐들을 선택하는 소정의 유저 제스쳐들을 검출하도록 구성될 수도 있다. 오디오 큐 선택은 휴대형 디바이스 및/또는 다른 관련 디바이스들의 동작을 제어하기 위해 사용될 수도 있다.

Description

제스쳐 제어 오디오 유저 인터페이스{GESTURE CONTROLLED AUDIO USER INTERFACE}
배경
35 U.S.C.119 하의 우선권 주장
본 특허 출원은 2011년 12월 19일자로 출원되고, 본원의 양수인에게 양도되고 그리고 본원에 참조에 의해 명시적으로 통합되는 발명의 명칭이 "Multi-Sensor Controlled 3-D Audio Interface"인 미국 가출원 제 61/577,489호를 우선권으로 주장한다.
기술분야
본 개시는 일반적으로 인간-머신 인터페이스들에 관한 것으로, 보다 구체적으로는, 제스쳐 기반 인터페이스들에 관한 것이다.
스마트 디바이스들, 예컨대 스마트 셀룰러폰은 종종 복잡한 유저 인터페이스들을 제공한다. 이들 인터페이스 디자인들 중 많은 것은 터치스크린들 및 시각적 피드백에 집중된다. 오늘날, 아이폰 및 아이패드와 같은 멀티 터치 스크린들을 갖는 스마트 디바이스들이 널리 사용되며 유행하고 있다. 터치스크린은, 디바이스를 제어하기 위해 소프트웨어 버튼들, 슬라이더들 및 많은 다른 입력들이 유저에 의해 조작될 수 있는 아주 다기능의 인터페이스를 제공한다. 그러나, 몇몇 상황들에서, 이러한 세세한 시각적 인터페이스는 이상적이지 않을 수도 있다. 예를 들면, 차를 운전하는 경우, 안전이 아주 중요하고 따라서 유저의 눈들은 디바이스가 아니라 도로에 고정되어 있어야만 한다. 다른 예는 휴대형 디바이스의 음악을 들으면서 조깅하는 것이다. 이 상황에서, 유저는 곡 선택들 또는 볼륨 조정을 위해 디스플레이 스크린을 봐야만 되는 것을 원치 않을 수도 있다.
개요
이 개요는 모든 예견되는 실시형태들의 광범위한 개요가 아니며, 모든 실시형태들의 주요한 또는 크리티컬한 엘리먼트들을 식별하도록 의도된 것도 아니고 임의의 또는 모든 실시형태들의 범위를 기술하도록 의도된 것도 아니다. 유일한 목적은 하기에 제공되는 상세한 설명에 대한 전조 (prelude) 로서 하나 이상의 실시형태들의 몇몇 개념들을 단순화된 형태로 제공하는 것이다.
전자 디바이스들에 대한 향상된 유저 인터페이스가 개시된다. 유저 인터페이스는, 유저에게 제공되는 오디오 큐들의 제스쳐 기반의 유저 선택을 허용한다. 오디오 큐들은 유저 주위의 공간에서 가청적으로 인지가능하며, 오디오 큐들의 각각은 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지될 수도 있다. 특정 오디오 큐들의 선택은 전자 디바이스에 대해 이루어진 하나 이상의 유저 움직임들에 기초하여 이루어질 수도 있다. 오디오 큐 선택은 전자 디바이스 및/또는 다른 관련 디바이스들의 동작을 제어하기 위해 사용될 수도 있다.
본원에서 개시된 인터페이싱 기술들의 양태에 따르면, 휴대형 전자 디바이스는 유저에 의해 인지되는 오디오 큐들을 제공하도록 그리고 오디오 큐들을 선택하기 위한 소정의 유저 제스쳐들을 검출하도록 구성될 수도 있다.
다른 양태에 따르면, 장치는 회로, 유저 인터페이스 및 선택기 (selector) 를 포함한다. 회로는 유저 주위의 공간에서 가청적으로 인지가능한 오디오 큐들을 생성하도록 구성된다. 각각의 오디오 큐는 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다. 유저 인터페이스는, 오디오 큐들에 응답하여 이루어지는, 장치에 대한 유저 움직임을 검출하도록 구성되고, 선택기는 유저 움직임에 기초하여 오디오 큐들 중 적어도 하나를 선택하도록 구성된다.
다른 양태에 따르면, 장치는 유저 주위의 공간에서 가청적으로 인지가능한 오디오 큐들을 생성하는 수단을 포함한다. 각각의 오디오 큐는 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다. 그 장치는 또한, 오디오 큐들에 응답하여 이루어지는, 장치에 대한 유저 움직임을 검출하는 수단, 및 유저 움직임에 기초하여 오디오 큐들 중 적어도 하나를 선택하는 수단을 포함한다.
다른 양태에 따르면, 하나 이상의 프로세서들에 의해 실행가능한 명령들의 세트를 유형화하는 (embodying) 컴퓨터 판독가능 매체는, 유저 주위의 공간에서 가청적으로 인지가능한 오디오 큐들을 생성하는 코드를 저장한다. 오디오 큐들의 각각은 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다. 그 매체는 또한, 오디오 큐들에 응답하여 이루어지는, 휴대형 디바이스에 대한 유저 움직임을 검출하는 코드, 및 유저 움직임에 기초하여 오디오 큐들 중 적어도 하나를 선택하는 코드를 포함한다.
다른 양태에 따르면, 전자 디바이스에서 유저 인터페이스를 제공하는 방법은, 전자 디바이스에 의해, 유저 주위의 공간에서 가청적으로 인지가능한 오디오 큐들을 생성하는 것을 포함한다. 각각의 오디오 큐는 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다. 그 방법은 또한, 오디오 큐들에 응답하여 이루어지는, 전자 디바이스에 대한 유저 움직임을 검출하는 것, 및 유저 움직임에 기초하여 오디오 큐들 중 적어도 하나를 선택하는 것을 포함한다.
하기의 도면들 및 상세한 설명을 검토하면, 다른 양태들, 특징들, 및 이점들이 당업자에게 명확할 또는 명확하게 될 것이다. 이러한 추가적인 특징들, 양태들 및 이점들 모두가 본 설명 내에 포함되어야 하며 첨부의 특허청구범위에 의해 의해 보호되어야 한다는 것이 의도된다.
도면들은 단지 예시적인 목적을 위한 것임이 이해되어야 한다. 또한, 도면들에서의 컴포넌트들은 반드시 일정한 축척은 아니며, 대신, 본원에서 설명된 기술들 및 디바이스들의 원리들을 예시하는 것에 강조가 이루어졌다. 도면들에서, 유사한 도면 부호들은 상이한 도면들 전체에 걸쳐 대응하는 부분들을 가리킨다.
도 1은 공간적으로 유저 근처에서 제공되는 청각 큐들 (auditory cues) 의 세트를 예시하는 탑다운 투시도 (top-down perspective diagram) 이다.
도 2는 유저가 터치스크린을 스와이핑하는 것을 검출하는 것에 의해 청각 큐들을 선택하도록 구성된 예시적인 휴대형 전자 디바이스를 도시한다.
도 3은 예시적인 전자 디바이스 근처에서의 유저 움직임을 검출하는 것에 의해 청각 큐들을 선택하도록 구성된 예시적인 전자 디바이스를 도시한다.
도 4는 예시적인 휴대형 전자 디바이스에 대한 유저 그립 (grip) 을 검출하는 것에 의해 청각 큐들을 선택하도록 구성된 예시적인 전자 디바이스를 도시한다.
도 5는 시스템에 의해 생성된 청각 큐들의 유저 선택을 검출하기 위해 고정식 디바이스 (stationary device) 근처에서 휴대형 디바이스를 활용하는 예시적인 시스템을 도시한다.
도 6은 유저가 선택한 오디오 큐들에 기초하여 디바이스를 제어하는 예시적인 방법의 흐름도를 도시한다.
도 7은 공간적 오디오 큐들을 생성하는 예시적인 방법의 흐름도를 도시한다.
도 8은 유저 제스쳐 검출 결과로서 공간적 오디오 피드백 큐들을 생성하는 예시적인 방법의 흐름도를 도시한다.
도 9는 유저가 선택한 공간적 오디오 큐들을 검출하기 위한 예시적인 장치의 소정의 컴포넌트들을 예시하는 블록도이다.
도 10은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 예시적인 장치의 소정의 컴포넌트들을 예시하는 블록도이다.
도 11은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 1의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 유선 헤드폰을 통해 출력된다.
도 12는 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 2의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 서라운드 스피커 시스템을 통해 출력된다.
도 13은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 3의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 하나 이상의 무선 스피커 디바이스들을 통해 출력된다.
도 14는 공간적 오디오 큐들에 응답하여 이루어지는 유저 모션들을 검출하기 위해 휴대형 디바이스 및 고정식 디바이스를 활용하는 제 1의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도이다.
도 15는 공간적 오디오 큐들에 응답하여 이루어지는 유저 모션들을 검출하기 위해 휴대형 디바이스 및 고정식 디바이스를 활용하는 제 2의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도이다.
상세한 설명
도면들을 참조하고 통합하는 하기의 상세한 설명은 하나 이상의 특정 구성들 (specific configurations) 을 설명하고 예시한다. 제한하려는 것이 아니라 예시화하고 교시하기 위한 이들 구성들은, 개시된 것을 당업자가 실시하는 것을 가능하게 하도록 충분한 상세하게 도시되고 설명된다. 따라서, 간략화를 위해, 설명은 당업자에게 공지된 소정의 정보를 생략할 수도 있다.
단어 "예시적인"은 본 개시 전체에 걸쳐 "실시형태, 예 또는 예시로서 기능하는" 것을 의미하기 위해 사용된다. "예시적인"과 같은 본원에서 설명된 어떤 것도 다른 접근법들 또는 피쳐들에 비해 더 선호되거나 또는 더 유익한 것으로 반드시 해석될 필요는 없다.
일반적으로, 본 개시는, 임의의 시각적 유저 인터페이스들에 대한 대안으로서 또는 임의의 시각적 유저 인터페이스들에 추가하여 공간적 오디오 유저 인터페이스를 갖는 핸드헬드 디바이스들을 포함하는 전자 디바이스들을 설명한다. 공간적 오디오를 통해, 디바이스는, 유저를 둘러싸는 물리적 공간의 특정 위치들에서 유저에 의해 인지되는 오디오 큐들을 생성한다. 오디오 큐들은 2차원 (2D) 공간 또는 3차원 (3D) 공간의 상이한 포인트들에서 제공되거나 위치될 수 있다. 2D 또는 3D 공간들이 물리적 공간에 있다는 것이 당업자로부터 이해되어야만 한다. 오디오 큐들은, 디바이스 상에서의 뮤직 파일들의 위치 등과 같은 유용한 정보를 유저에게 나타낼 수 있다. 큐를 선택하기 위해, 제스쳐를 취하는 것, 예를 들면, 터치스크린을 스와이핑하거나 또는 큐의 방향을 가리키는 것에 의해 유저가 특정한 공간적 오디오 큐를 선택할 수 있게 되는 방식이 본원에서 개시된다. 이러한 제스쳐들을 검출하도록 장비된 디바이스는, 공간적 오디오 큐들을 듣고 선택하는 것에 의해 유저가 정보 및 디바이스를 내비게이팅하고 제어하는 것을 허용하는 상이한 타입들의 센서들을 포함할 수도 있다.
공간적 오디오는 시각적으로 디스플레이되는 유저 인터페이스 (user interface; UI) 정보에 대안적인 환경을 제공할 수 있고, 계층적 메뉴들, 미디어 컨텐츠의 컬렉션의 색인들, 내비게이션을 위한 가상 맵들 등과 같은 정보를 가청적으로 제공할 수도 있다. 공간적 오디오 UI는 공간적 오디오를 대안적인 프리젠테이션 환경으로서 사용할 수 있고, 이러한 환경에서 내비게이팅하고 제어 입력들을 제공하기 위해 상이한 타입들의 센서들을 활용할 수도 있다.
도 1은 휴대형 전자 디바이스 (14) 에 의해 유저 (12) 주위에 공간적으로 제공되는 청각 큐들 (18a-f) 의 세트를 예시하는 탑다운 투시도이다. 도시된 예에서, 유저 (12) 는 헤드셋 (16) 을 통해 공간적 오디오 큐들을 듣는다. 헤드셋 (16) 을 통해, 유저 (12) 는 오디오 큐들 (18a-f) 을, 도시된 바와 같이 유저 (12) 주위의 공간에 위치된 것으로 인지한다. 디바이스 (14) 는, 오디오 큐들 (18a-f) 에 응답하여 이루어진, 디바이스 (14) 에 대한 유저 움직임을 감지하도록 구성된다. 유저 움직임을 검출하고 검출된 움직임을 하나 이상의 제공된 오디오 큐들에 매칭시킴으로써, 디바이스 (14) 는 유저 제스쳐에 기초하여 어떤 오디오 큐가 선택되고 있는지를 결정할 수 있다. 따라서, 디바이스 (14) 는 유저 (12) 가 유저 모션, 예를 들면, 손 제스쳐로 오디오 큐를 선택하는 것을 허용한다.
휴대형 디바이스 (14) 는, 소프트웨어 프로그래밍 및/또는 하드웨어 디자인을 통해, 본원에서 설명된 기능들을 수행하도록 구성된 무선 통신 디바이스와 같은 핸드헬드 디바이스, 예를 들면, 스마트폰, 셀룰러폰, PDA (personal digital assistant) 등일 수도 있다. 또한, 디바이스 (14) 는 MP3 플레이어, 게임용 디바이스, 랩탑 또는 노트패드 컴퓨터, 퍼스널 스테레오, 스테레오 시스템 등일 수도 있다. 대안적으로, 디바이스 (14) 는 몇몇 배치예들에서 비휴대형 디바이스일 수도 있다.
도 2는 도 1의 디바이스 (14) 로서 사용될 수도 있는 예시적인 휴대형 전자 디바이스 (50) 를 예시한다. 전자 디바이스 (50) 는, 디바이스 (50) 에 포함된 터치스크린 (52) 을 가로질러 유저가 스와이핑하는 것을 검출하는 것에 의해 청각 큐들을 선택하도록 구성된다. 유저는 그/그녀의 손 (54) 에 디바이스 (50) 를 쥐고, 손가락, 예를 들면, 엄지손가락 (56) 으로 오디오 큐의 인지 방향으로 터치스크린 (52) 을 가로질러 스와이핑 할 수 있다. 디바이스 (52) 는 스와이핑 방향을 결정하고 스와이핑 방향을 하나 이상의 제공된 오디오 큐들에 매칭시키는 것에 의해, 유저가 어떤 오디오 큐를 선택하고 있는지를 결정한다.
디바이스 (50) 는, 휴대형 디바이스의 방위에 관계 없이, 터치스크린을 가로지르는 스와이핑의 절대 방향을 획득하기 위해 중력 센서 및/또는 콤파스를 또한 포함할 수도 있다. 디바이스 (50) 는 인-포켓 (in-pocket) 터치스크린 제스쳐들에 대해 유용하다.
도 1의 디바이스 (14) 는 대안적으로/추가적으로, 휴대형 디바이스에 포함된, 초음파 트랜듀서들과 같은 근접장 센서들 (near-field sensors) 로 유저 제스쳐들을 인식함으로써, 유저가 선택한 오디오 큐들을 결정할 수 있다. 이러한 디바이스는, 예시적인 전자 디바이스 (100) 근처에서 유저 움직임을 검출함으로써 유저가 선택한 청각 큐들을 결정하도록 구성된 전자 디바이스 (100) 를 예시하는 도 3에 도시된다. 디바이스 (100) 는 도 1의 디바이스 (14) 와 같이 사용될 수도 있다. 디바이스는 디스플레이 스크린 (102) 및 초음파 트랜듀서들 (도시되지 않음) 과 같은 복수의 근접장 모션 센서들을 포함한다. 모션 센서들은 디바이스 (100) 에 대한 유저 움직임, 예를 들면, 선택된 오디오 큐의 방향에서의 손 (104) 움직임을 검출한다. 센서 데이터로부터, 디바이스 (100) 는 유저 움직임의 방향을 결정하고 그 방향을 하나 이상의 제공된 오디오 큐들에 매칭시키는 것에 의해, 유저가 어떤 오디오 큐를 선택하고 있는지를 결정한다.
도 1의 디바이스 (14) 는 대안적으로/추가적으로, 휴대형 디바이스에 내장된 근접 범위 터치 센서들 (close-range touch sensors) 로 유저 제스쳐들을 인식함으로써 유저가 선택한 오디오 큐들을 결정할 수 있다. 이러한 디바이스는, 예시적인 휴대형 전자 디바이스 (150) 에 대한 유저 그립을 검출함으로써 청각 큐들을 선택하도록 구성된 휴대형 전자 디바이스 (150) 를 예시하는 도 4에 도시된다. 디바이스 (150) 는 도 1의 디바이스 (14) 로서 사용될 수도 있다. 디바이스는, 디바이스의 바디에 탑재된 인덕티브 센서들 (inductive sensors; 도시되지 않음) 과 같은 복수의 센서들을 포함한다. 센서들은 디바이스 (150) 에 대한 유저 터치들을 검출한다. 예를 들면, 유저는 그/그녀의 손 (152) 에 디바이스 (150) 를 파지 (grasp) 하고 디바이스 (150) 의 바깥 둘레 상의 소정의 위치들에 손가락들을 둘 수 있다. 감지된 터치/파지로부터, 디바이스 (150) 는 선택된 오디오 큐의 방향을 결정한다. 그 다음, 디바이스 (150) 는 그 방향을 하나 이상의 제공된 오디오 큐들과 매칭시키는 것에 의해, 유저가 어떤 오디오 큐를 선택하고 있는지를 결정한다.
도 1의 디바이스 (14) 는 대안적으로/추가적으로, 휴대형 디바이스 상에 위치된 센서들과 외부 스피커 어레이 사이의 초음파, 적외선, 오디오 또는 유사한 신호들의 삼각측량에 의해 유저가 선택한 오디오 큐들을 결정할 수 있고 그 결과 휴대형 디바이스의 방위가 결정될 수 있다. 따라서, 이 접근법을 사용하면, 유저는 휴대형 디바이스로 공간적 오디오 큐의 인지된 방향 지시할 수 있고, 지시 방위 (pointing orientation) 가 검출될 수 있고, 그 결과 선택된 오디오 큐가 시스템에 의해 식별될 수 있다.
이러한 시스템은, 고정식 디바이스 (202) 에 근접하여 휴대형 디바이스 (204) 를 활용하는 예시적인 시스템 (200) 을 예시하는 도 5에 도시된다. 시스템 (200) 은 공간적 오디오 큐들을 생성하고 그 다음 청각 큐들의 몇몇의 유저 선택을 검출하도록 구성된다. 도시된 예에서, 고정식 디바이스 (202) 는 초음파 신호를 내는 스피커들의 어레이를 포함한다. 휴대형 디바이스 (204) 는, 초음파 신호에 응답하여 마이크 신호를 생성하는 복수의 마이크 (도시되지 않음) 를 포함한다. 시스템 (200) 은 마이크 신호들에 기초하여 디바이스 (202, 204) 중 어느 하나에 대한 유저 움직임을 검출하도록 구성된 프로세서를 포함한다. 따라서, 유저는 그/그녀의 손 (206) 에 휴대형 디바이스 (204) 를 파지할 수 있고 그/그녀의 손을 움직임으로써, 하나 이상의 공간적 오디오 큐들을 선택할 수 있다.
도 6은, 유저가 선택한 오디오 큐들에 기초하여, 디바이스, 예컨대 도 1 내지 도 5에서 도시된 디바이스들 (14, 50, 100, 150) 또는 시스템 (200) 중 임의의 것을 제어하는 예시적인 방법의 흐름도 (250) 를 도시한다. 박스 252에서, 전자 디바이스는 유저 주위의 공간에서 가청적으로 인지가능한 오디오 큐들을 생성한다. 오디오 큐들의 각각은 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다.
도 7에 묘사된 방법과 연계하여 더 설명되는 바와 같이, 오디오 큐 렌더링 엔진 (654) (도 10) 은 공간적 오디오 큐 (spatial audio cue; SAC) 생성기에 의해 생성된 사운드 타입 정보 및 공간적 청각 큐 위치에 기초하여 오디오 출력 신호들을 생성한다. 오디오 렌더링 엔진 (654) 은, 하나 이상의 HRTF (head-related transfer function; 머리 전달 함수) 필터들을 입력 오디오 신호에 적용하여 그들을 프로세싱함으로써 공간적 오디오 큐들 출력의 로컬라이제이션 및 공간적 움직임을 구현한다. 공지된 바와 같이, 공간의 한 특정 지점으로부터 오는 것처럼 보이는 양 귀용의 (binaural) 사운드를 동기화시키기 위해, 양쪽 귀에 대해 한 쌍의 HRTF들이 사용될 수 있다. 예를 들면, 사운드의 연속적인 움직임은, 사운드들을 HRTF 필터들로 필터링하고 시간이 지남에 따라 상이한 HRTF 계수들을 재빨리 보간함으로써 구현될 수 있다. 공간적 오디오 큐 생성기에 대해 제공된 위치 정보는, 특정한 위치로부터 나오거나 이동하는 오디오 큐들의 인식을 생성하기 위해 HRTF 필터들에 적용될 수도 있다. 따라서, SAC 생성기로부터의 공간적 오디오 큐들은, 청자 (listener) 주위의 공간을 통해 이동하는 공간적 오디오 큐를 나타내는 오디오 출력을 청자가 인지하도록 렌더링될 수도 있다.
박스 254에서, 전자 디바이스는, 공간적 오디오 큐들에 응답하여 이루어진, 전자 디바이스에 대한 유저 움직임을 검출한다. 공간적 오디오 큐들에 의해 배치된 초이스들 (choices) 을 들은 후, 유저는 상이한 방식들로 선택들을 행할 수 있다. 오디오 큐 선택을 행함에 있어서 유저 움직임을 검출하기 위해 하기의 방법들 중 임의의 것 또는 그 조합이 사용될 수도 있다.
1. 인-포켓 터치스크린 제스쳐들: 이 방법은 터치스크린을 예를 들면 도 2에 도시된 바와 같이 사용한다. 이 방법은 유저가 터치스크린을 볼 필요가 없고, 따라서, "인-포켓"에서, 즉 유저의 시야 밖에서 행해질 수 있기 때문에 "인-포켓"으로 칭해진다. 인-포켓 선택을 통해, 공간에서의 방향이 가리켜지도록 하나 이상의 손가락들이 디바이스의 터치스크린을 터치하고 스와이핑한다. 스와이핑 방향은, 스와이핑 방향을 따라 메뉴 아이템 (공간적 오디오 큐) 이 선택되는 것을 나타낸다. 메뉴 아이템은 공간에서 별개의 방향성 사운드로서 유저에 의해 인지가능한 공간적 오디오 큐로서 제공된다. 따라서 큐를 듣게 되면, 유저는 큐의 인지된 위치를 향해 스와이핑하여 그것을 선택할 수 있다. 스와이핑 방향은 디바이스에 포함된 중력 센서 및 콤파스와 같은 센서들을 조정함으로써 더 정확하게 만들어질 수 있다. 이들 센서들이 스와이핑 액션을 보정함으로써, 핸드헬드 디바이스의 방위와 관계 없이, 스와이핑의 절대 방향이 얻어질 수 있다.
2. 초음파 제스쳐들: 디바이스 상의 초음파 트랜듀서들 (송신기 및 수신기 양자) 을 통해, 유저가 디바이스를 터치하지 않고도 제스쳐들이 인식될 수 있다. 이 방법의 예는 도 3에 예시된다. 한 지점에서 디바이스 근처의 다른 지점으로 가는 손 제스쳐는, 초음파 센서들에 의해 검출될 수 있고 유저의 손 제스쳐의 방향을 제공하는 공간에서의 모션 벡터를 나타낼 수 있다. 벡터의 방위는 소망하는 공간적 오디오 큐 선택을 가리킬 수 있고, 디바이스의 동작을 더 제어하는 선택 이벤트를 트리거할 수 있다.
3. 근접 범위 터치 센싱: 근접 범위 센싱 기술들은 인덕티브 터치 센서들을 사용할 수도 있고, 그 결과 핸드헬드 디바이스는 디바이스의 어떤 부분이 쥐어지고 있고 터치되고 있는지를 검출할 수 있다. 예를 들면, 초음파 센서들이 디바이스의 에지를 따라 위치되고, 그 결과 디바이스가 터치되고 있는 곳은 어디든지 강한 초음파 에코로서 감지되고, 따라서 디바이스가 어떻게 터치되고 있고 파지되고 있는지를 나타내는 디바이스 둘레의 맵을 생성한다. 이러한 터치 정보를 통해, 터치되고 있는 지점들 및 에지들이 연속적으로 모니터링되어 특정 오디오 큐에 대응하는 유저 파지를 검출할 수 있다. 또한, 터치/파지 정보는 오디오 공간에서 소리를 이용하여 해석될 (sonified) 수 있고, 유저에게 공간적 오디오 큐들로서 제공되었던 메뉴/컨텐츠 선택 정보와 청각적으로 중첩하게 된다. 예를 들면, 단일의 또는 멀티 탭의 추가 액션, 또는 손가락 압력이 유저의 "마우스 클릭" 선택을 나타낼 수 있다. 이 방법을 사용하도록 구성된 디바이스의 예는 도 4에 도시된다.
4. 액세서리 보조 선택: 공간적 오디오 큐들을 제공하기 위해 사용된 오디오 공간은 공간적으로 필터링된 헤드폰 신호로서 또는 스테레오 스피커들 또는 스피커 어레이들에 의해 장 (field) 에서 생성된 가상 공간으로서 인식될 수 있다. 내장형 초음파 트랜듀서들을 갖는 작은 스피커 어레이와 같은 디바이스들을 통해, 시스템은, 예를 들면 초음파 삼각측량을 사용하여, 유저 인터페이스 액션들 및 위치를 정확하게 결정할 수 있다. 스피커 어레이 상의 다수의 마이크들 및 스피커들은, 위에서 설명된, 초음파 제스쳐들 방법에 대해 사용된 것들과 유사한 알고리즘들을 사용하여 제스쳐들을 검출하는 데 사용될 수 있다. 예를 들면, 어레이들은 디바이스 또는 지시 손가락 (pointing finger) 과 같은 지시 오브젝트 (pointing object) 의 위치를 검출하는 데 사용될 수 있다. 초음파 마이크 신호들로부터 유도된 위치 정보는 유저 오디오 큐 선택을 결정하는 데 사용될 수 있다. 이 방법을 사용하도록 구성된 디바이스의 예는 도 5에 도시된다.
예로서, 이 기술을 통해, 유저는 초음파 마이크를 갖는 그/그녀의 휴대형 디바이스를 포인팅할 수 있고, 스피커 어레이 디바이스는 자신의 스피커들을 통해 초음파 신호를 방출한다. 스피커들과 디바이스의 마이크들 사이의 삼각측량에 의해, 핸드헬드 디바이스의 방위가 계산될 수 있다. 대안적 배치예들에서, 핸드헬드 디바이스는 초음파 송신기들을 구비할 수도 있고 스피커 어레이는 삼각측량 결정을 달성하기 위해 디바이스로부터 초음파 송신들을 듣기 위한 하나 이상의 마이크들을 구비할 수도 있다. 휴대형 디바이스의 포인팅 방향은 이 방식으로 결정될 수 있다. 오디오 큐의 유저 선택을 결정하기 위해, 디바이스의 검출된 포인팅 방향을, 제공되고 있는 공간적 오디오 큐들의 위치들과 매칭시키는 것이 행해질 수 있다.
스피커 어레이 디바이스는 핸드헬드 디바이스에 대해 유선 접속되거나 또는 디바이스와 무선 통신한다. 이 구성에서, 유저 인터페이스 프로세싱은 그 어레이 및/또는 핸드헬드 디바이스 상에 있을 수도 있다. 시그널링/센서 주파수 범위는 초음파에 제한되지 않는다. 예를 들면, 대안적 구성에서, 멀티 마이크 기술과 함께 오디오 사운드가 사용될 수도 있다. 그러나, 이 구성에서, 유저는 로컬라이제이션 및 방향 결정을 위해 사용되도록 의도된 사운드들을 들을 수도 있다.
박스 256에서, 디바이스는 검출된 유저 움직임을 분석하여 유저가 어떤 오디오 큐(들) 를 선택했는지를 결정한다. 검출된 움직임은 유저 움직임 또는 제스쳐의 방향을 결정하기 위해 분석될 수 있다. 움직임 또는 제스쳐의 방향은, 디바이스에 의해 유지된 가상 좌표 그리드 상으로 벡터로서 매핑될 수 있다. 디바이스는 또한 각각의 제공된 오디오 큐의 위치를 좌표 그리드 상으로 매핑한다. 가상 좌표 시스템에서의 오디오 큐들의 좌표 위치들과 제스쳐 벡터에 의해 그려진 라인 사이의 최소 거리는 계산될 수 있다. 라인, 예를 들면 최소 거리의 라인에 가장 가까운 오디오 큐(들) 은, 선택된 공간적 오디오 큐(들) 로서 결정된다. 이와 같이, 유저 움직임의 방향은 하나 이상의 제공된 오디오 큐들로 매칭될 수 있고, 이에 의해 선택된 오디오 큐(들) 을 나타내게 된다. 제스쳐의 절대 방향은 디바이스에 포함된 중력 센서 및 콤파스와 같은 조정 센서들로부터의 데이터를 사용하는 것에 의해 결정될 수 있다. 제스쳐 동안 디바이스의 방위를 제공하는 이들 센서들로부터의 데이터를 통해, 이들 데이터를 사용하여 제스쳐 벡터의 좌표들을 해석함으로써 유저 제스쳐의 절대 방향이 획득될 수 있다. 이와 같이, 핸드헬드 디바이스의 방위와 무관하게, 제스쳐의 절대 방향이 결정될 수 있다.
박스 258에서, 검출된 유저 움직임에 기초하여, 공간적 오디오 피드백 큐가 디바이스에 의해 생성된다. 공간적 오디오 피드백 큐는, 유저 움직임의 검출된 방향에 대응하기 위해 유저 주위의 공간에서 공간적 오디오 피드백 큐가 가청적으로 인지될 수 있도록 생성된다. 도 8에 의해 묘사된 방법과 연계하여 더 설명되는 바와 같이, 오디오 피드백 큐 렌더링 엔진 (660) (도 10) 은 피드백 공간적 오디오 큐 (feedback spatial audio cue; FSAC) 생성기에 의해 생성된 사운드 타입 정보 및 공간적 청각 피드백 큐 위치에 기초하여 오디오 출력 신호들을 생성한다. 오디오 피드백 큐 렌더링 엔진 (660) 은, 하나 이상의 HRTF 필터들을 입력 오디오 신호들에 적용하고 그들을 프로세싱하는 것에 의해 오디오 피드백 출력의 로컬라이제이션 및 공간적 움직임을 구현한다. 예를 들면, 사운드의 연속적인 움직임은, 사운들을 HRTF 필터들로 필터링하고 시간이 지남에 따라 상이한 HRTF 계수들을 재빨리 보간함으로써 구현될 수 있다. 공간적 피드백 오디오 큐들에 대해 제공된 위치 정보는, 특정한 위치로부터 나오거나 이동하는 오디오 피드백의 인식을 생성하기 위해 HRTF 필터들에 적용될 수도 있다. 따라서, FSAC 생성기로부터의 공간적 피드백 오디오 큐들은, 청자 주위의 공간을 통해 이동하는 동안 청자가 피드백 오디오 출력을 인지하도록 렌더링될 수도 있다.
박스 260에서, 디바이스의 동작은 유저에 의해 선택된 공간적 오디오 큐에 의해 영향을 받을 수도 있고 및/또는 제어될 수도 있다. 예를 들면, 선택된 오디오 큐에 응답하여, 디바이스는 재생을 위한 어떤 노래를 선택할 수도 있거나, 셧다운될 수도 있거나, 볼륨을 크게 할 수도 있거나, 어떤 비디오를 재생할 수도 있거나 등등이다. 이를 달성하기 위해, 유저에 의해 선택될 것으로 결정된 공간적 오디오 큐에 기초하여 하나 이상의 제어 신호들이 디바이스에 의해 생성되는데, 그 결정은 제공된 공간적 오디오 큐들에 응답하여 이루어진 검출된 유저 제스쳐에 기초한다.
도 7은 공간적 오디오 큐들을 생성하는 예시적인 방법의 흐름도 (300) 를 도시한다. 블록 304에서, 공간적 오디오 큐들을 나타내는 오디오 메뉴가 어플리케이션으로부터 공간적 오디오 큐 (SAC) 생성기로 전송된다. 메뉴는 오디오 큐들 및 각각의 공간적 오디오 큐와 관련된 사운드 타입과 위치를 식별한다. 위치는 시스템에 의해 유지되는 가상 좌표 그리드에서의 2D 또는 3D 좌표 위치일 수 있다. SAC 생성기는, 도 10에 도시된 바와 같이, 오디오 큐 렌더링 엔진 (654) 의 일부로서 소프트웨어로 구현될 수 있다.
블록 306에서, SAC 생성기는 오디오 메뉴를 공간적 청각 큐들로 해석한다. 각각의 공간적 청각 큐는 청자 공간 내의 특정 위치에 대응한다. 특정 메뉴 아이템에 대해 선택된 공간적 청각 큐는 청자 공간 내의 복수의 위치들에 대응하는 복수의 공간적 청각 큐들로부터 선택된다. 공간적 청각 큐들의 각각은 청자 공간 내의 각각의 별개의 위치에 대응한다.
블록 308에서, 오디오 렌더링 엔진, 예를 들면, 도 10의 오디오 큐 렌더링 엔진 (654) 은, 오디오 자료들 데이터베이스 (656) 로부터 공간적 청각 큐들에 대응하는 하나 이상의 사운드 소스들을 페치 (fetch) 한다. 각각의 사운드 소스는 디지털화된 오디오의 단편을 저장하는 오디오 파일일 수도 있다. 저장된 사운드 소스들은, 오디오 큐 렌더링 엔진 (654) (도 10) 에 입력 오디오 신호들로서 제공되는 오디오 발췌물들, 녹음된 사운드들, 합성된 사운드들 등의 데이터베이스 (656) 에 저장될 수도 있다. 사운드 소스들은 상이한 오디오 포맷들, 예컨대 MIDI, MP3, AAC, WAV 파일들 등으로 저장될 수도 있다. 오디오 큐 렌더링 엔진 (654) 은 사운드 소스들을, 오디오 출력 컴포넌트들에 의해 재생될 수 있는 적절한 포맷으로 변환할 수 있다. 사운드 소스들의 포맷은, 사운드 소스들이 오디오 큐 렌더링 엔진 (654) 에 의해 프로세싱되기 이전에, 비압축 PCM (pulse code modulated) 데이터일 수도 있다. MIDI, MP3, AAC, WAV 또는 다른 포맷들인 사운드 소스들은 오디오 큐 렌더링 엔진 (654) 에 의해 PCM 데이터로 디코딩될 수 있다. PCM 데이터는, 예를 들면, HRTF 필터들을 사용하여, 오디오 큐 렌더링 엔진 (654) 에 의해 필터링된다. 출력 사운드 소스들이 청자에 의해 인지되는 특정 위치는, HRTF 필터들에 인가되는 것과 같은 공간적 오디오 큐 정보의 설계에 의해 결정된다.
결정 블록 310에서, 오디오 큐 렌더링 엔진 (654) 은, 공간적 오디오 큐들이 렌더링될 오디오 출력 디바이스의 타입을 결정한다. 본원에서 개시된 예에서, 오디오 출력 디바이스는 헤드셋, 서라운드 스피커 시스템, 또는 무선 스피커 시스템일 수도 있다.
오디오 출력 디바이스가 헤드셋이면, 방법은 블록 312로 진행하고, 오디오 큐 렌더링 엔진 (654) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 큐들을 헤드폰 기반의 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 디지털 오디오의 디지털 아날로그 (digital-to-analog; D/A) 변환, 증폭, 필터링, HRTF 필터링과 같은 공간적 필터링, 및 헤드폰들을 사용하여 공간적 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 314에서, 공간적 오디오 출력 신호들은 헤드셋 내의 헤드폰 스피커들로 출력된다.
오디오 출력 디바이스가 서라운드 사운드 스피커 시스템이면, 방법은 블록 316으로 진행하고, 오디오 큐 렌더링 엔진 (654) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 큐들을 멀티 채널 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 디지털 오디오의 디지털 아날로그 (digital-to-analog; D/A) 변환, 증폭, 필터링, HRTF 필터링과 같은 공간적 필터링, 및 서라운드 사운드 스피커 시스템을 사용하여 공간적 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 318에서, 공간적 오디오 출력 신호들은 서라운드 사운드 스피커들로 출력된다.
오디오 출력 디바이스가 하나 이상의 무선 오디오 스피커들이면, 방법은 블록 320으로 진행하고, 오디오 큐 렌더링 엔진 (654) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 큐들을 하나 이상의 무선 채널들을 통해 송신하는 데 적합한 디지털화된 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 증폭, 필터링, HRTF 필터링과 같은 공간적 필터링, 및 무선 오디오 채널들을 사용하여 공간적 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 322에서, 디지털화된 공간적 오디오 출력 신호들은 무선 채널들을 통해 출력된다.
도 8은 유저 제스쳐 검출 결과로서 공간적 오디오 피드백 큐들을 생성하는 예시적인 방법의 흐름도 (400) 를 도시한다. 블록 402에서, 검출된 유저 움직임을 식별하는 신호가 유저 인터페이스로부터 피드백 공간적 오디오 큐 (FSAC) 생성기로 전송된다. FSAC 생성기는 도 10의 오디오 피드백 큐 렌더링 엔진 (660) 의 일부로서 소프트웨어로 구현될 수 있다. 유저 움직임 신호는 유저 움직임의 위치 및 방향을 식별한다. 위치는 시스템에 의해 유지되는 가상의 좌표 그리드에서 2D 또는 3D 좌표 위치일 수 있고, 방향은 좌표 그리드에서 방향 또는 벡터를 식별하는 2D 또는 3D 좌표들을 포함할 수 있다. 유저 움직임 신호는 시스템에 의해 제공될 하나 이상의 피드백 공간적 오디오 큐들과 관련된 위치, 방향 및 사운드 타입을 선택하기 위해 사용된다.
블록 404에서, FSAC 생성기는 유저 움직임 신호를 하나 이상의 피드백 공간적 청각 큐들로 해석한다. 각각의 오디오 피드백 큐는, 유저 움직임 신호에 의해 식별된 청자 공간 (listener space) 내의 특정 위치에 대응한다. 특정 유저 모션에 대해 선택된 오디오 피드백 큐는 모션의 검출된 방향에 대응할 수 있다. 몇몇 구성들에서, 검출된 유저 제스쳐의 결과로서 단일의 공간적 오디오 피드백 큐만이 생성된다. 다른 구성들에서, 검출된 유저 움직임에 대해 다수의 공간적 오디오 피드백 큐들이 생성될 수 있다. 다수의 오디오 피드백 큐들은, 많은 오디오 큐들이 유저의 움직임을 추종하게 생성되도록 순차적으로 또는 동시적으로 제공될 수 있으며, 이들 큐들은 위치 및 시간적 공간에서 아주 조밀할 수 있어서 이들이 연속적인 오디오 이벤트로서 인지된다.
블록 406에서, 오디오 피드백 큐 렌더링 엔진, 예를 들면, 도 10의 오디오 큐 렌더링 엔진 (660) 은 오디오 피드백 자료 데이터베이스 (662) 로부터 오디오 피드백 큐에 대응하는 사운드 소스들을 페치한다. 각각의 사운드 소스는 디지털화된 오디오의 단편을 저장하는 오디오 파일일 수도 있다. 페치되는 특정 사운드 소스는 사운드 타입 필드로부터 결정될 수도 있거나 또는 유저 인터페이스로부터의 유저 움직임 신호에 의해 나타내어질 수도 있다. 저장된 사운드 소스들은, 오디오 큐 렌더링 엔진 (660) 에 입력 오디오 신호들로서 제공되는 오디오 발췌물들, 녹음된 사운드들, 합성된 사운드들 등의 데이터베이스 (662) 에 저장될 수도 있다. 사운드 소스들은 상이한 오디오 포맷들, 예컨대 MIDI, MP3, AAC, WAV 파일들 등으로 저장될 수도 있다. 오디오 피드백 큐 렌더링 엔진 (660) 은 사운드 소스들을, 오디오 출력 컴포넌트들에 의해 재생될 수 있는 적절한 포맷으로 변환할 수 있다. 사운드 소스들의 포맷은, 사운드 소스들이 오디오 피드백 큐 렌더링 엔진 (660) 에 의해 프로세싱되기 이전에, 비압축 PCM (pulse code modulated) 데이터일 수도 있다. MIDI, MP3, AAC, WAV 또는 다른 포맷들인 사운드 소스들은 오디오 피드백 큐 렌더링 엔진 (660) 에 의해 PCM 데이터로 디코딩될 수 있다. PCM 데이터는, 예를 들면, HRTF 필터들을 사용하여, 오디오 피드백 큐 렌더링 엔진 (660) 에 의해 필터링된다. 출력 사운드 소스들이 청자에 의해 인지되는 특정 위치는, HRTF 필터들에 인가되는 것과 같은 공간적 오디오 큐 정보의 설계에 의해 결정된다.
결정 블록 408에서, 오디오 피드백 큐 렌더링 엔진 (660) 은, 오디오 피드백 큐들이 렌더링될 오디오 출력 디바이스의 타입을 결정한다. 본원에서 개시된 예에서, 오디오 출력 디바이스는 헤드셋, 서라운드 스피커 시스템, 또는 무선 스피커 시스템일 수도 있다.
오디오 출력 디바이스가 헤드셋이면, 방법은 블록 410으로 진행하고, 오디오 피드백 큐 렌더링 엔진 (660) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 피드백 큐들을 헤드폰 기반의 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 디지털 오디오의 D/A 변환, 증폭, 필터링, HRTF 필터링과 같은 공간적 필터링, 및 헤드셋을 사용하여 피드백 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 412에서, 공간적 오디오 출력 신호들은 헤드셋 내의 헤드폰 스피커들로 출력된다.
오디오 출력 디바이스가 서라운드 사운드 스피커 시스템이면, 방법은 블록 414로 진행하고, 오디오 피드백 큐 렌더링 엔진 (660) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 피드백 큐들을 멀티 채널 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 디지털 오디오의 D/A 변환, 증폭, 필터링, 공간적 필터링, 및 서라운드 사운드 스피커 시스템을 사용하여 피드백 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 416에서, 공간적 오디오 피드백 출력 신호들은 서라운드 사운드 스피커들로 출력된다.
오디오 출력 디바이스가 하나 이상의 무선 오디오 스피커들이면, 방법은 블록 418로 진행하고, 오디오 피드백 큐 렌더링 엔진 (660) 및 관련 오디오 프로세싱 회로부 (657, 664) (도 10) 는 공간적 청각 피드백 큐들을 하나 이상의 무선 채널들을 통해 송신하는 데 적합한 디지털화된 공간적 오디오 출력 신호들로서 렌더링한다. 렌더링은 증폭, 필터링, 공간적 필터링, 및 무선 오디오 채널들을 사용하여 피드백 오디오 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다. 블록 420에서, 디지털화된 공간적 오디오 피드백 출력 신호들은 무선 채널들을 통해 출력된다.
도 9는 유저가 선택한 공간적 오디오 큐들을 검출하기 위한 예시적인 장치의 소정의 컴포넌트들을 예시하는 블록도이다. 장치 (500) 는 도 1 내지 도 5에 도시된 디바이스들 (14, 50, 100, 150) 또는 시스템 (200) 중 임의의 것을 포함할 수 있다. 장치 (500) 는 오디오 출력 회로 (520), 유저 인터페이스 (user interface; UI; 524), 선택기 (522) 및 센서들 (526) 을 포함한다.
오디오 출력 회로 (520) 는 유저 주위의 공간에서 가청적으로 인지가능한 공간적 오디오 큐들을 생성하도록 구성된다. 이것을 달성하기 위해, 오디오 출력 회로 (520) 는 스피커들 (528) 로 오디오 신호를 출력하는데, 스피커들 (528) 은 디바이스 (500) 외부에 있는 것으로 도시되었지만 오디오 출력 회로 (520) 에 포함될 수도 있다. 스피커들 (528) 은 오디오 신호를 공간적 사운드의 오디오 큐들로 변환한다. 각각의 오디오 큐는 그 공간의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 유저에 의해 인지되도록 생성된다. 오디오 출력 회로 (520) 는, 공간적 오디오 큐들을 나타내는 오디오 신호들을 출력하기 위한 도 7의 방법 및/또는 도 6의 박스 252의 기능들을 구현하는 하드웨어 또는 하드웨어와 소프트웨어의 조합을 포함할 수 있다.
UI (524) 는, 오디오 큐들에 응답하여 이루어진, 장치 (500) 에 대한 유저 움직임을 감지하도록 구성된다. UI (524) 는 터치스크린 및/또는 다른 센서들, 예컨대 도 2 내지 도 5와 연계하여 논의된 것들을 포함할 수도 있다. 유저 움직임을 검출하기 위해, UI (524) 는 도 6의 박스 254의 기능들을 구현하는 하드웨어 또는 하드웨어와 소프트웨어의 조합을 포함할 수 있다.
선택기 (522) 는 검출된 유저 움직임에 기초하여 오디오 큐들 중 적어도 하나를 선택하도록 구성된다. 선택기 (522) 는 유저 움직임의 검출된 방향을 하나 이상의 제공된 오디오 큐들에 매칭시키는 것에 의해 이것을 행할 수도 있다. 선택기 (522) 는 UI (524) 로부터의 검출된 움직임을 분석하여, 다른 것들 중에서, 유저 움직임의 방향을 결정한다. 이것을 달성하기 위해, 선택기 (522) 는 도 6의 박스 256의 기능들을 구현하는 하드웨어 또는 하드웨어와 소프트웨어의 조합을 포함할 수 있다.
오디오 출력 회로 (520) 는 UI (524) 에 의해 검출된 유저 움직임에 기초하여 하나 이상의 공간적 오디오 피드백 큐들을 생성하도록 더 구성될 수도 있다. 공간적 오디오 피드백 큐(들) 은 유저 움직임의 검출된 방향에 대응하도록 유저에 의해 가청적으로 인지될 수 있다. 이것을 달성하기 위해, 오디오 출력 회로 (520) 는, 공간적 오디오 피드백 큐들을 나타내는 오디오 신호들을 출력하기 위한 도 8의 방법 및/또는 도 6의 박스 258의 기능들을 구현하는 하드웨어 또는 하드웨어와 소프트웨어의 조합을 포함할 수 있다.
센서들 (526) 은 장치 (500) 의 방위를 결정하기 위한 하나 이상의 센서들을 포함한다. 센서들 (526) 은, 예를 들면, 중력 센서 및/또는 콤파스를 포함할 수도 있다. 센서 출력, 예컨대 콤파스 및/또는 중력 센서 출력은, 도 6의 박스 256과 연계하여 논의된 바와 같이, 장치 (500) 의 방위에 무관하게, 방향성 스와이핑과 같은 유저 모션의 절대 방향을 결정하기 위해 사용될 수 있다.
도 10은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 예시적인 장치 (650) 의 소정의 컴포넌트들을 예시하는 상세 블록도이다. 장치 (650) 는 도 1 내지 도 5에 도시된 디바이스들 (14, 50, 100, 150) 또는 시스템 (200) 중 임의의 것을 포함할 수 있다. 장치 (650) 는 어플리케이션 (652), 유저 제스쳐 검출기 (658), 오디오 출력 회로 (520), 및 출력 스피커들 (528) 을 포함한다. 오디오 출력 회로 (520) 는 오디오 큐 렌더링 엔진 (654), 오디오 자료들 데이터베이스 (656), 사운드 믹서 (657), 오디오 피드백 큐 렌더링 엔진 (660), 오디오 피드백 자료 (662) 의 데이터베이스, 및 오디오 프로세싱 회로부 (664) 를 포함한다.
어플리케이션 (652) 은 오디오 메뉴를 생성하는 장치 (650) 상에서 실행하는 소프트웨어 어플리케이션일 수도 있다. 오디오 메뉴는 하나 이상의 공간적 오디오 큐들을 식별하고 어플리케이션으로부터, 오디오 큐 렌더링 엔진 (654) 에 포함된 공간적 오디오 큐 (SAC) 생성기로 전송된다. 메뉴는 공간적 오디오 큐들 및 각각의 공간적 오디오 큐와 관련된 사운드 타입과 위치를 식별한다. 위치는 시스템에 의해 유지되는 가상 좌표 그리드에서의 2D 또는 3D 좌표 위치일 수 있다.
공간적 오디오 큐들은, 본원에 참조로 인용된 관련 미국 특허 출원 제 12/905,340호에서 설명된 바와 같이, 계층적 방식으로 조직되고 태그 포인트들을 사용하여 청자 공간에서 제공될 수 있다.
오디오 큐 렌더링 엔진 (654), 오디오 피드백 큐 렌더링 엔진 (660), 오디오 자료들 데이터베이스 (656), 및 오디오 피드백 자료 데이터베이스 (662) 의 기능들은 도 7과 연계하여 위에서 설명되었다.
유저 제스쳐 검출기 (658) 는 UI (524), 선택기 (522) 및 센서들 (526) 을 포함할 수도 있다. 유저 움직임 신호는 유저 제스쳐 검출기 (658) 에 의해 오디오 피드백 큐 렌더링 엔진 (660) 에 포함된 FSAC 생성기로 출력된다.
사운드 믹서 (657) 는, 오디오 큐 및 오디오 피드백 큐 렌더링 엔진들 (654, 660) 로부터 HRTF 필터링된 PCM 오디오를 수신할 수도 있고, 다양한 이득들을 적용하기 위해 신호 가중치 부여 (signal weighting) 와 같은 디지털 오디오 믹싱 기술들을 사용하여 그 신호들을 혼합할 수도 있다. 이와 같이, 오디오 피드백 큐들은 제공된 공간적 오디오 큐들의 배치 (constellation) 상으로 지각적으로 (perceptually) 중첩될 수 있다.
오디오 프로세싱 회로부 (664) 는, 믹서 출력을, 소망의 사운드를 생성하기 위한 스피커들 (528) 에 대한 입력으로서 적합한 하나 이상의 오디오 신호들로 변환하기 위해, 오디오 사운드 믹서 (657) 의 출력에 대해 임의의 필요한 오디오 프로세싱을 수행한다. 프로세싱은 디지털 오디오의 D/A 변환, 증폭, 필터링, 밸런싱, 스테레오 채널화 및 스피커들 (528) 을 사용하여 공간적 오디오 큐들 및 피드백 큐들을 제공하는 데 필요한 임의의 다른 오디오 프로세싱을 포함할 수도 있다.
스피커들 (528) 은, 본원에서 개시된 스피커들, 헤드셋들, 서라운드 스피커 시스템 및 무선 스피커 시스템을 포함하는 임의의 적합한 사운드 트랜듀서일 수도 있다.
오디오 큐 렌더링 엔진 (654), 오디오 피드백 큐 렌더링 엔진 (660), 사운드 믹서 (657), SAC 생성기, FSAC 생성기 및 오디오 프로세싱 회로부 (664) 와 유저 제스쳐 검출기 (658) 의 적어도 일부는, 프로그래밍 코드를 실행하는 하나 이상의 프로세서들에 의해 구현될 수도 있다. 프로세서는 ARM7과 같은 마이크로프로세서, 디지털 신호 프로세서 (digital signal processor; DSP), 하나 이상의 주문형 반도체들 (application specific integrated circuits; ASIC들), 필드 프로그래머블 게이트 어레이들 (field programmable gate arrays; FPGA들), 복합 프로그래머블 로직 디바이스들 (complex programmable logic devices; CPLD들), 이산 로직, 또는 이들의 임의의 적합한 조합일 수 있다.
도 11은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 1의 예시적인 시스템 (700) 의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 유선 헤드폰 (704) 을 통해 출력된다. 시스템 아키텍쳐 (700) 는 도 1 내지 도 10과 연계하여 위에서 설명된 디바이스들 (14, 50, 100, 150, 204), 장치들 (500, 650) 및/또는 방법들 중 임의의 것의 기능들을 구현하도록 구성될 수도 있다.
시스템 (700) 은 휴대형 전자 미디어 디바이스와 같은 장치 (702) 및 헤드셋 (704) 을 포함한다. 장치 (702) 는 오디오 회로 (706), 프로세서 (708), 유저 인터페이스 (UI; 710), 메모리 (712) 및 하나 이상의 센서들 (714) 을 포함한다. UI (710) 는 하나 이상의 센서들 (720) 및 터치스크린 (722) 을 포함한다.
메모리 (712) 는 도 1 내지 도 10과 연계하여 본원에서 개시된 많은 기능성, 예컨대 어플리케이션 (652) 의 기능들 및 오디오 회로 (520) 의 대부분의 기능들을 구현하기 위한 프로세서 (708) 에 의해 실행가능한 데이터와 소프트웨어/펌웨어를 저장할 수도 있다. UI (710) 는, 본원에서 설명된 초음파 센서들과 같은 센서들 (720) 및 제공된 공간적 오디오 큐들에 응답하여 이루어진 유저 제스쳐들을 검출하기 위한 터치스크린 (722) 을 포함할 수도 있다. 센서들 (714) 은, 장치 (702) 의 방위를 결정하기 위해, 본원에서 논의된 바와 같이, 중력 센서 및 콤파스를 포함할 수도 있다.
프로세서 (708) 는 ARM7과 같은 마이크로프로세서, 디지털 신호 프로세서 (DSP), 하나 이상의 주문형 반도체들 (ASIC들), 필드 프로그래머블 게이트 어레이들 (FPGA들), 복합 프로그래머블 로직 디바이스들 (CPLD들), 이산 로직, 또는 이들의 임의의 적합한 조합일 수 있다.
오디오 회로 (706) 는 헤드셋 (704) 으로의 출력에 적합해지도록 오디오를 프로세싱하는 오디오 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. 예를 들면, 오디오 회로 (706) 는 멀티 채널 D/A 변환기 (DAC), 및 헤드셋 (704) 을 구동하기 위한 좌채널 증폭기 및 우채널 증폭기를 포함할 수도 있다. 증폭기들은 헤드폰 고임피던스 (headphone high-impedance; HPH) 증폭기들일 수 있다.
도 12는 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 2의 예시적인 시스템 (750) 의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 서라운드 스피커 시스템 (754) 을 통해 출력된다. 시스템 아키텍쳐 (750) 는 도 1 내지 도 10과 연계하여 위에서 설명된 디바이스들 (14, 50, 100, 150, 204), 장치들 (500, 650) 및/또는 방법들 중 임의의 것의 기능들을 구현하도록 구성될 수도 있다.
시스템 (750) 은 휴대형 전자 미디어 디바이스와 같은 장치 (752) 및 서라운드 스피커 시스템 (754) 을 포함한다. 장치 (752) 는 오디오 회로 (756), 프로세서 (758), 유저 인터페이스 (UI; 760), 메모리 (762) 및 하나 이상의 센서들 (764) 을 포함한다. UI (760) 는 하나 이상의 센서들 (766) 및 터치스크린 (768) 을 포함한다.
메모리 (762) 는 도 1 내지 도 10과 연계하여 본원에서 개시된 많은 기능성, 예컨대 어플리케이션 (652) 의 기능들 및 오디오 회로 (520) 의 대부분의 기능들을 구현하기 위한 프로세서 (758) 에 의해 실행가능한 데이터와 소프트웨어/펌웨어를 저장할 수도 있다. UI (760) 는, 본원에서 설명된 초음파 센서들과 같은 센서들 (766) 및 제공된 공간적 오디오 큐들에 응답하여 이루어진 유저 제스쳐들을 검출하기 위한 터치스크린 (768) 을 포함할 수도 있다. 센서들 (764) 은, 장치 (752) 의 방위를 결정하기 위해, 본원에서 논의된 바와 같이, 중력 센서 및 콤파스를 포함할 수도 있다.
프로세서 (758) 는 ARM7과 같은 마이크로프로세서, 디지털 신호 프로세서 (DSP), 하나 이상의 주문형 반도체들 (ASIC들), 필드 프로그래머블 게이트 어레이들 (FPGA들), 복합 프로그래머블 로직 디바이스들 (CPLD들), 이산 로직, 또는 이들의 임의의 적합한 조합일 수 있다.
오디오 회로 (756) 는 서라운드 스피커 시스템 (754) 으로의 출력에 적합해지도록 오디오를 프로세싱하는 오디오 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. 예를 들면, 오디오 회로 (756) 는 멀티 채널 D/A 변환기 (DAC), 필터들 및 채널 증폭기들을 포함할 수도 있다.
서라운드 스피커 시스템 (206) 은 청자를 물리적으로 둘러싸는 다수의 스피커들 (755) 을 제공한다. 스피커들 (755) 은 증폭기들로부터 출력된 전자 신호들을 각각 사운드로 변환하는 임의의 적절한 오디오 트랜듀서들이다.
도 13은 공간적 오디오 큐들을 출력하고, 유저가 선택한 공간적 오디오 큐들을 검출하고, 그리고 공간적 오디오 피드백 큐들을 출력하기 위한 제 3의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도로서, 공간적 오디오는 하나 이상의 무선 스피커 디바이스들 (804, 806) 을 통해 출력된다. 시스템 아키텍쳐 (800) 는 도 1 내지 도 10과 연계하여 위에서 설명된 디바이스들 (14, 50, 100, 150, 204), 장치들 (500, 650) 및/또는 방법들 중 임의의 것의 기능들을 구현하도록 구성될 수도 있다.
시스템 (800) 은 휴대형 전자 미디어 디바이스와 같은 장치 (802) 및 무선 스피커 디바이스들 (804, 806) 을 포함한다. 장치 (802) 는 오디오 회로 (808), 프로세서 (810), 유저 인터페이스 (UI; 812), 메모리 (814), 하나 이상의 센서들 (816) 및 무선 인터페이스 (818) 를 포함한다. UI (812) 는 하나 이상의 센서들 (820) 및 터치스크린 (822) 을 포함한다.
메모리 (814) 는 도 1 내지 도 10과 연계하여 본원에서 개시된 많은 기능성, 예컨대 어플리케이션 (652) 의 기능들 및 오디오 회로 (520) 의 대부분의 기능들을 구현하기 위한 프로세서 (810) 에 의해 실행가능한 데이터와 소프트웨어/펌웨어를 저장할 수도 있다. UI (812) 는, 본원에서 설명된 초음파 센서들과 같은 센서들 (820) 및 제공된 공간적 오디오 큐들에 응답하여 이루어진 유저 제스쳐들을 검출하기 위한 터치스크린 (822) 을 포함할 수도 있다. 센서들 (816) 은, 장치 (802) 의 방위를 결정하기 위해, 본원에서 논의된 바와 같이, 중력 센서 및 콤파스를 포함할 수도 있다.
프로세서 (810) 는 ARM7과 같은 마이크로프로세서, 디지털 신호 프로세서 (DSP), 하나 이상의 주문형 반도체들 (ASIC들), 필드 프로그래머블 게이트 어레이들 (FPGA들), 복합 프로그래머블 로직 디바이스들 (CPLD들), 이산 로직, 또는 이들의 임의의 적합한 조합일 수 있다.
오디오 회로 (808) 는 무선 인터페이스 (818) 에 의한 무선 송신에 적합해지도록 오디오를 프로세싱하는 오디오 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. 무선 인터페이스 (818) 는 트랜시버를 포함하고 무선 스피커 디바이스들 (804, 806) 과의 무선 통신을 제공한다. 임의의 적절한 무선 기술이 장치 (802) 와 함께 사용될 수 있지만, 무선 인터페이스 (818) 는 상업적으로 이용가능한 블루투스 모듈을 포함할 수도 있는데, 블루투스 모듈은, 안테나, 블루투스 RF 트랜시버, 베이스밴드 프로세서, 프로토콜 스택뿐만 아니라 모듈을 오디오 회로 (808), 프로세서 (810), 및 필요에 따라 장치 (802) 의 다른 컴포넌트들로 연결하기 위한 하드웨어 및 소프트웨어 인터페이스들을 포함하는 블루투스 코어 시스템을 적어도 제공한다.
오디오 신호들은, 예를 들면, www.bluetooth.com에서 입수가능한 블루투스 시방서에 의해 정의된 바와 같은 프로토콜들을 사용하여 PCM 오디오로서 스피커 디바이스들 (804, 806) 로 무선 채널들을 통해 송신될 수 있다. 블루투스 시방서는 오디오 신호를 송신하기 위한 특정 가이드라인들을 제공한다. 특히, 블루투스 시방서는, 블루투스 네트워크를 통해 고품질의 스테레오 또는 모노 오디오를 무선으로 배포하기 위한 프로토콜 및 프로시져를 정의하는 A2DP (Advanced Audio Distribution Profile) 를 제공한다. A2DP는 시스템 (800) 과 함게 사용될 수도 있다.
무선 스피커 디바이스들 (804, 806) 은 상업적으로 이용가능한 블루투스 스피커들일 수도 있다. 각각의 스피커 디바이스 (804, 806) 는 디바이스의 무선 인터페이스 (818) 로부터 송신된 오디오 신호들을 수신하기 위한 무선 인터페이스 (도시되지 않음) 및 스피커를 포함한다. 스피커 디바이스들 (804, 806) 각각은 또한 D/A 변환기들 (DAC들), 오디오 증폭기들 (도시되지 않음), 및 PCM 오디오를 스피커들 (804, 806) 상에서 출력하기 위한 아날로그 오디오 신호들로 변환하는 다른 오디오 프로세싱 회로부를 포함한다. 임의의 적절한 수의 스피커 디바이스들이 사용될 수도 있다.
도 11 내지 도 13에 도시된 장치들 (702, 752 및 802) 의 기능들 및 피쳐들은, 각각 렌더링되고 포맷화된 공간적 오디오 출력 신호들을 헤드셋 (704), 서라운드 사운드 스피커 시스템 (754), 및 무선 스피커 디바이스들 (804, 806) 로 제공하기 위한 다수의 그리고 옵션적으로 선택 가능한 출력 인터페이스들을 구비하도록 구성된 단일의 디바이스로, 각각, 결합될 수 있다.
도 14는 공간적 오디오 큐들에 응답하여 이루어지는 유저 모션들을 검출하기 위해 휴대형 디바이스 (854) 및 고정식 디바이스 (852) 를 활용하는 제 1의 예시적인 시스템의 소정의 컴포넌트들을 예시하는 블록도이다. 시스템 아키텍쳐 (850) 는 도 5 내지 도 10과 연계하여 위에서 설명된 디바이스들 (202, 204), 장치들 (500, 650) 및/또는 방법들의 기능들을 구현하도록 구성될 수도 있다.
고정식 디바이스 (852) 는 초음파 신호를 방출하도록 구성된 스피커들 (856a-f) 의 어레이를 포함한다. 휴대형 디바이스 (854) 는, 초음파 신호에 응답하여 마이크 신호를 생성하는 마이크 (858a-d) 를 포함한다. 시스템 (850) 은 마이크 신호들에 기초하여 유저 움직임을 검출하도록 구성된다. 시스템 (850) 은, 휴대형 디바이스 (854) 의 방위가 결정될 수 있도록 휴대형 디바이스 (854) 상의 마이크 (858a-d) 와 스피커 어레이 (856a-f) 사이의 초음파 신호들을 삼각측량하는 것에 의해 유저가 선택한 오디오 큐들을 결정한다. 2개의 앵커 포인트 (anchored point), 예를 들면, 어레이 상의 2개의 송신기의 거리가 알려지면, 신호를 방출하고 에코 시간을 측정하는 것에 의해, 또는 원격 디바이스의 수신 시간에 기초하여 계산 지연과 방출 시간을 동기화시키는 것에 의해, 그들로부터 원격 디바이스 사이의 거리가 각각 측정될 수 있다. 송신기로부터 수신기로의 절대 시간 지연이 측정될 수 있으면, 표준 삼각측량이 사용된다. 그러나, 몇몇 시스템들에서, 송신기와 수신기는 독립적이고, 따라서, (동일한 디바이스 상의) 수신기들간의 시간 오프셋들만이 측정될 수 있다. 이 경우, 송신기의 위치를 유도하기 위해서는 그 디바이스에 추가적인 수신기가 요구된다. 예를 들면, 송신 타이밍이 수신기들에 알려진 경우 송신기의 2D 위치를 얻기 위해, 2개의 수신기가 요구된다. 송신 타이밍이 수신기에 알려지지 않으면, 3개의 수신기들이 필요하다.
따라서, 이 접근법을 사용하면, 유저가 휴대형 디바이스로 공간적 오디오 큐의 인지된 방향에서 지시할 수 있고, 지시 방위 (pointing orientation) 가 검출될 수 있고, 그 결과 선택된 오디오 큐가 시스템에 의해 식별될 수 있다. 스피커 어레이 (856a-f) 및 마이크 (858a-d) 를 적절한 트랜듀서들로 대체하면 초음파 신호들 이외의 신호들이 사용될 수도 있는데, 예를 들면, 적외선, 오디오 신호들 등이 사용될 수도 있다.
도 15는 공간적 오디오 큐들에 응답하여 이루어지는 유저 모션들을 검출하기 위해 휴대형 디바이스 (904) 및 고정식 디바이스 (902) 를 포함하는 제 2의 예시적인 시스템 (900) 의 소정의 컴포넌트들을 예시하는 블록도이다. 시스템 아키텍쳐 (902) 는 도 5 내지 도 10과 연계하여 위에서 설명된 디바이스들 (202, 204), 장치들 (500, 650) 및/또는 방법들의 기능들을 구현하도록 구성될 수도 있다.
도 14의 시스템 (850) 과는 대조적으로, 휴대형 디바이스 (904) 는, 초음파 신호를 방출하도록 구성된 스피커들 (906a-d) 의 어레이를 포함하고, 고정식 디바이스 (902) 는 초음파 신호에 응답하여 마이크 신호들을 생성하는 복수의 마이크 (908a-f) 를 포함한다. 도 14의 시스템 (850) 과 마찬가지로, 시스템 (900) 은 마이크 신호들에 기초하여 유저 움직임을 검출하도록 구성된다. 시스템 (900) 은, 휴대형 디바이스 (904) 의 방위가 결정될 수 있도록 고정식 디바이스 (902) 상의 마이크 (908a-f) 와 스피커 어레이 (906a-d) 사이의 초음파 신호들을 삼각측량하는 것에 의해 유저가 선택한 오디오 큐들을 결정한다.
시스템들 (850, 900) 에서, 고정식 디바이스는, 공간적 오디오 인터페이스를 제공하고 오디오 큐들에 응답하여 유저 움직임을 분석하는 동안, 휴대형 디바이스에 대해서만 고정식일 필요가 있다. 다른 시간들에서는, 고정식 디바이스가 고정일 필요는 없다.
본원에서 설명된 시스템들 및 장치들은, 데이터 선택의 하나 이상의 다수의 선택 메뉴들 또는 어레이들이 시각적 화면들 대신 3D 오디오 공간에서 가청적으로 제공되도록 컴포넌트들을 포함한다. 예를 들면, 상이한 장르의 음악, 상이한 아티스트들에 의해 카테고리화된 음악, 또는 셀폰의 연락처들은 3D 오디오 알고리즘을 실행하는 헤드폰을 착용하는 유저 "주위에" 공간적으로 위치될 수 있다.
본원에서 설명된 인터페이싱 기술들은 적어도 다음의 이점들을 제공한다: 커맨드들을 입력하기 위해 유저가 터치스크린을 볼 필요가 없다; 편리하고 재미있을 수도 있는 핸드헬드 디바이스와 인터페이싱하는 새로운 방식들; 몇몇 상황들에서 향상된 안전성; 및 새로운 게임들.
본원에서 설명된 시스템들, 장치들, 디바이스들, 유저 인터페이스들 및 그들 각각의 컴포넌트들뿐만 아니라 방법 단계들 및 모듈들의 기능성이, 하드웨어, 소프트웨어/펌웨어를 실행하는 디지털 하드웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어/펌웨어는, 하나 이상의 디지털 회로들, 예컨대 마이크로프로세서들, DSP들, 임베딩된 컨트롤러들, 또는 지적 재산 (IP) 코어들에 의해 실행될 수 있는 명령들의 (예를 들면, 프로그래밍 코드 세그먼트들) 의 세트들을 갖는 프로그램일 수도 있다. 소프트웨어/펌웨어로 구현되면, 기능들은 하나 이상의 컴퓨터 판독가능 매체들 상에 명령들 또는 코드로서 저장될 수도 있다. 컴퓨터 판독가능 매체는 컴퓨터 스토리지 매체를 포함할 수도 있다. 스토리지 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 여기서 디스크들 (disk들) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크들 (disc들) 은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
유저 인터페이스들, 시스템들, 디바이스들, 장치들, 컴포넌트들 및 방법들의 소정의 예들이 설명되었다. 상기는 예들이며, 가능한 통합들은 본원에서 설명된 것에 제한되지 않는다. 또한, 이들 예들에 대한 다양한 수정예들이 가능하며, 본원에서 제공된 원리들은 다른 시스템들에도 적용될 수도 있다. 예를 들면, 본원에서 개시된 원리들은 퍼스널 컴퓨터들과 같은 디바이스들, 엔터테인먼트 카운셀들 (entertainment counsels), 비디오 게임들 등에 적용될 수도 있다. 또한, 다양한 컴포넌트들 및/또는 방법 단계들/블록들은, 특허청구범위의 범위를 벗어나지 않으면서, 구체적으로 개시된 배치예들 이외의 배치예들에서 구현될 수도 있다.
따라서, 이들 교시로부터 당업자들은 다른 실시형태들 및 수정예들을 즉시 떠올릴 것이다. 따라서, 하기의 특허청구범위는 상기 상세한 설명 및 첨부의 도면과 연계하여 고려될 때, 이러한 실시형태들 및 수정예들 모두를 포괄하도록 의도된다.

Claims (39)

  1. 장치로서,
    유저 주위의 공간에서 가청적으로 인지가능한 복수의 오디오 큐들 (cues) 을 생성하도록 구성된 회로로서, 상기 오디오 큐들의 각각은 상기 공간에서의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 상기 유저에 의해 인지되도록 생성되는, 상기 복수의 오디오 큐들을 생성하도록 구성된 회로;
    상기 오디오 큐들에 응답하여 이루어진, 상기 장치에 대한 유저 움직임을 검출하도록 구성된 유저 인터페이스; 및
    상기 유저 움직임에 기초하여 상기 오디오 큐들 중 적어도 하나를 선택하도록 구성된 선택기를 포함하는, 장치.
  2. 제 1항에 있어서,
    상기 선택기는 상기 유저 움직임의 방향을 하나 이상의 상기 오디오 큐들에 매칭시키는, 장치.
  3. 제 1항에 있어서,
    상기 회로는, 상기 유저 인터페이스에 의해 검출된 상기 유저 움직임에 기초하여 오디오 피드백 큐를 생성하도록 더 구성되고,
    상기 오디오 피드백 큐는 상기 유저 움직임의 상기 방향에 대응하도록 상기 유저 주위의 상기 공간에서 가청적으로 인지가능한, 장치.
  4. 제 1항에 있어서,
    상기 장치는 터치스크린을 더 포함하고,
    상기 유저 움직임은 상기 장치의 상기 터치스크린을 가로지르는 방향성 스와이핑인, 장치.
  5. 제 1항에 있어서,
    상기 장치의 방위를 검출하도록 구성된 하나 이상의 센서들을 더 포함하는, 장치.
  6. 제 5항에 있어서,
    상기 장치의 상기 방위에 무관하게, 상기 센서들로부터의 출력에 기초하여 유저 방향성 스와이핑의 절대 방향을 결정하도록 구성된 프로세서를 더 포함하는, 장치.
  7. 제 1항에 있어서,
    상기 유저 인터페이스는 상기 유저 움직임을 검출하도록 구성된 하나 이상의 초음파 트랜듀서들을 포함하는, 장치.
  8. 제 7항에 있어서,
    상기 초음파 트랜듀서들은 상기 장치의 주변을 따라 위치되는, 장치.
  9. 제 1항에 있어서,
    초음파 신호를 방출하도록 구성된 스피커 어레이;
    상기 초음파 신호에 응답하여 마이크 신호들을 생성하는 복수의 마이크를 포함하는 휴대형 디바이스; 및
    상기 마이크 신호들에 기초하여 상기 유저 움직임을 검출하도록 구성된 프로세서를 더 포함하는, 장치.
  10. 제 9항에 있어서,
    상기 프로세서는 상기 마이크 신호들에 기초하여 상기 휴대형 디바이스의 상기 방위를 결정하도록 또한 구성되는, 장치.
  11. 제 1항에 있어서,
    초음파 신호를 방출하도록 구성된 스피커 어레이를 포함하는 휴대형 디바이스;
    상기 초음파 신호에 응답하여 마이크 신호들을 생성하는 복수의 마이크들; 및
    상기 마이크 신호들에 기초하여 상기 유저 움직임을 검출하도록 구성된 프로세서를 더 포함하는, 장치.
  12. 제 11항에 있어서,
    상기 프로세서는 상기 마이크 신호들에 기초하여 상기 휴대형 디바이스의 상기 방위를 결정하도록 또한 구성되는, 장치.
  13. 장치로서,
    유저 주위의 공간에서 가청적으로 인지가능한 복수의 오디오 큐들을 생성하는 수단으로서, 상기 오디오 큐들의 각각은 상기 공간에서의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 상기 유저에 의해 인지되도록 생성되는, 상기 복수의 오디오 큐들을 생성하는 수단;
    상기 오디오 큐들에 응답하여 이루어진, 상기 장치에 대한 유저 움직임을 검출하는 수단; 및
    상기 유저 움직임에 기초하여 상기 오디오 큐들 중 적어도 하나를 선택하는 수단을 포함하는, 장치.
  14. 제 13항에 있어서,
    상기 유저 움직임의 방향을 하나 이상의 상기 오디오 큐들에 매칭시키는 수단을 더 포함하는, 장치.
  15. 제 13항에 있어서,
    상기 검출하는 수단에 의해 검출된 상기 유저 움직임에 기초하여 오디오 피드백 큐를 생성하는 수단을 더 포함하고, 상기 오디오 피드백 큐는 상기 유저 움직임의 상기 방향에 대응하도록 상기 유저 주위의 상기 공간에서 가청적으로 인지가능한, 장치.
  16. 제 13항에 있어서,
    상기 장치는 상기 장치에 포함된 터치스크린을 가로지르는 방향성 스와이핑을 검출하는 수단을 더 포함하는, 장치.
  17. 제 13항에 있어서,
    상기 장치의 방위를 검출하는 수단을 더 포함하는, 장치.
  18. 제 17항에 있어서,
    상기 장치의 상기 방위에 무관하게, 유저 방향성 스와이핑의 절대 방향을 결정하는 수단을 더 포함하는, 장치.
  19. 제 13항에 있어서,
    초음파 센서들로 상기 유저 움직임을 검출하는 수단을 더 포함하는, 장치.
  20. 제 13항에 있어서,
    초음파 신호를 방출하는 수단;
    상기 초음파 신호에 응답하여 마이크 신호들을 생성하는 수단; 및
    상기 마이크 신호들에 기초하여 상기 유저 움직임을 검출하는 수단을 더 포함하는, 장치.
  21. 제 20항에 있어서,
    상기 마이크 신호들에 기초하여 휴대형 디바이스의 상기 방위를 결정하는 수단을 더 포함하는, 장치.
  22. 하나 이상의 프로세서들에 의해 실행가능한 명령들의 세트를 유형화하는 ( embodying) 비일시적 컴퓨터 판독가능 매체로서,
    유저 주위의 공간에서 가청적으로 인지가능한 복수의 오디오 큐들을 생성하는 코드로서, 상기 오디오 큐들의 각각은 상기 공간에서의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 상기 유저에 의해 인지되도록 생성되는, 상기 복수의 오디오 큐들을 생성하는 코드;
    상기 오디오 큐들에 응답하여 이루어진, 휴대형 디바이스에 대한 유저 움직임을 검출하는 코드; 및
    상기 유저 움직임에 기초하여 상기 오디오 큐들 중 적어도 하나를 선택하는 코드를 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  23. 제 22항에 있어서,
    상기 유저 움직임의 방향을 하나 이상의 상기 오디오 큐들에 매칭시키는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  24. 제 22항에 있어서,
    검출된 상기 유저 움직임에 기초하여 오디오 피드백 큐를 생성하는 코드를 더 포함하고, 상기 오디오 피드백 큐는 상기 유저 움직임의 상기 방향에 대응하도록 상기 유저 주위의 상기 공간에서 가청적으로 인지가능한, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  25. 제 22항에 있어서,
    상기 휴대형 디바이스에 포함된 터치스크린을 가로지르는 방향성 스와이핑을 결정하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  26. 제 22항에 있어서,
    상기 휴대형 디바이스의 방위를 검출하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  27. 제 26항에 있어서,
    상기 휴대형 디바이스의 상기 방위에 무관하게, 유저 방향성 스와이핑의 절대 방향을 결정하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  28. 제 22항에 있어서,
    초음파 센서들로 상기 유저 움직임을 검출하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  29. 제 22항에 있어서,
    초음파 신호를 방출하는 코드;
    상기 초음파 신호에 응답하여 마이크 신호들을 생성하는 코드; 및
    상기 마이크 신호들에 기초하여 상기 유저 움직임을 검출하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  30. 제 29항에 있어서,
    상기 마이크 신호들에 기초하여 상기 휴대형 디바이스의 상기 방위를 결정하는 코드를 더 포함하는, 명령들의 세트를 유형화하는 비일시적 컴퓨터 판독가능 매체.
  31. 전자 디바이스에서 유저 인터페이스를 제공하는 방법으로서,
    상기 전자 디바이스에 의해, 유저 주위의 공간에서 가청적으로 인지가능한 복수의 오디오 큐들을 생성하는 단계로서, 상기 오디오 큐들의 각각은 상기 공간에서의 다른 오디오 큐들과는 별개의 위치에서 방향성 사운드로서 상기 유저에 의해 인지되도록 생성되는, 상기 복수의 오디오 큐들을 생성하는 단계;
    상기 전자 디바이스가, 상기 오디오 큐들에 응답하여 이루어진, 상기 전자 디바이스에 대한 유저 움직임을 검출하는 단계; 및
    상기 유저 움직임에 기초하여 상기 오디오 큐들 중 적어도 하나를 선택하는 단계를 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  32. 제 31항에 있어서,
    상기 유저 움직임의 방향을 하나 이상의 상기 오디오 큐들에 매칭시키는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  33. 제 31항에 있어서,
    검출된 상기 유저 움직임에 기초하여 오디오 피드백 큐를 생성하는 단계를 더 포함하고, 상기 오디오 피드백 큐는 상기 유저 움직임의 상기 방향에 대응하도록 상기 유저 주위의 상기 공간에서 가청적으로 인지가능한, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  34. 제 31항에 있어서,
    상기 전자 디바이스에 포함된 터치스크린을 가로지르는 방향성 스와이핑을 검출하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  35. 제 31항에 있어서,
    상기 전자 디바이스의 방위를 검출하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  36. 제 35항에 있어서,
    상기 전자 디바이스의 상기 방위에 무관하게, 유저 방향성 스와이핑의 절대 방향을 결정하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  37. 제 31항에 있어서,
    초음파 센서들로 상기 유저 움직임을 검출하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  38. 제 31항에 있어서,
    초음파 신호를 방출하는 단계;
    상기 초음파 신호에 응답하여 마이크 신호들을 생성하는 단계; 및
    상기 마이크 신호들에 기초하여 상기 유저 움직임을 검출하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
  39. 제 38항에 있어서,
    상기 마이크 신호들에 기초하여 상기 전자 디바이스의 상기 방위를 결정하는 단계를 더 포함하는, 전자 디바이스에서 유저 인터페이스를 제공하는 방법.
KR1020147019868A 2011-12-19 2012-11-01 제스쳐 제어 오디오 유저 인터페이스 KR101708101B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161577489P 2011-12-19 2011-12-19
US61/577,489 2011-12-19
US13/664,281 US9563278B2 (en) 2011-12-19 2012-10-30 Gesture controlled audio user interface
US13/664,281 2012-10-30
PCT/US2012/063077 WO2013095783A2 (en) 2011-12-19 2012-11-01 Gesture controlled audio user interface

Publications (2)

Publication Number Publication Date
KR20140107484A true KR20140107484A (ko) 2014-09-04
KR101708101B1 KR101708101B1 (ko) 2017-02-27

Family

ID=48609617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019868A KR101708101B1 (ko) 2011-12-19 2012-11-01 제스쳐 제어 오디오 유저 인터페이스

Country Status (7)

Country Link
US (1) US9563278B2 (ko)
EP (1) EP2795432A2 (ko)
JP (1) JP6195843B2 (ko)
KR (1) KR101708101B1 (ko)
CN (1) CN103999021B (ko)
IN (1) IN2014MN00973A (ko)
WO (1) WO2013095783A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170080651A (ko) * 2014-10-31 2017-07-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9779750B2 (en) 2004-07-30 2017-10-03 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
US9704502B2 (en) * 2004-07-30 2017-07-11 Invention Science Fund I, Llc Cue-aware privacy filter for participants in persistent communications
EP2798472A4 (en) * 2011-12-29 2015-08-19 Intel Corp AUDIOPIPELINE FOR AUDIOVER DISTRIBUTION ON SOC PLATFORMS
US10140088B2 (en) * 2012-02-07 2018-11-27 Nokia Technologies Oy Visual spatial audio
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US9866964B1 (en) * 2013-02-27 2018-01-09 Amazon Technologies, Inc. Synchronizing audio outputs
CN103402156B (zh) * 2013-07-25 2016-05-25 瑞声科技（南京）有限公司 声学系统
US10219094B2 (en) 2013-07-30 2019-02-26 Thomas Alan Donaldson Acoustic detection of audio sources to facilitate reproduction of spatial audio spaces
US10225680B2 (en) * 2013-07-30 2019-03-05 Thomas Alan Donaldson Motion detection of audio sources to facilitate reproduction of spatial audio spaces
EP2866182A1 (en) * 2013-10-25 2015-04-29 Nokia Technologies OY Providing contextual information
EP3090321A4 (en) * 2014-01-03 2017-07-05 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US9739883B2 (en) 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
US9437002B2 (en) 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
US9618618B2 (en) 2014-03-10 2017-04-11 Elwha Llc Systems and methods for ultrasonic position and motion detection
US9026914B1 (en) 2014-05-28 2015-05-05 Google Inc. Multi-sound audio interface system
US9886236B2 (en) 2014-05-28 2018-02-06 Google Llc Multi-dimensional audio interface system
US9392368B2 (en) * 2014-08-25 2016-07-12 Comcast Cable Communications, Llc Dynamic positional audio
KR102329193B1 (ko) * 2014-09-16 2021-11-22 삼성전자주식회사 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치
JP6642989B2 (ja) * 2015-07-06 2020-02-12 キヤノン株式会社 制御装置、制御方法及びプログラム
US9995823B2 (en) 2015-07-31 2018-06-12 Elwha Llc Systems and methods for utilizing compressed sensing in an entertainment system
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
US9483693B1 (en) * 2015-11-25 2016-11-01 Clover Network, Inc. Free-hand character recognition on a touch screen POS terminal
US10134422B2 (en) * 2015-12-01 2018-11-20 Qualcomm Incorporated Determining audio event based on location information
CN105607738B (zh) * 2015-12-22 2018-09-25 小米科技有限责任公司 确定单手模式的方法及装置
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
EP3458872B1 (en) * 2016-05-19 2021-04-07 Harman International Industries, Incorporated Gesture-enabled audio device with visible feedback
KR20180020517A (ko) 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기
US11076261B1 (en) 2016-09-16 2021-07-27 Apple Inc. Location systems for electronic device communications
JP2018092012A (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20180084550A (ko) 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
GB2562036A (en) * 2017-04-24 2018-11-07 Nokia Technologies Oy Spatial audio processing
EP3777244A4 (en) * 2018-04-08 2021-12-08 DTS, Inc. EXTRACTION OF AMBISONIC DEPTHS
CN112166350B (zh) * 2018-06-05 2023-12-05 谷歌有限责任公司 智能设备中的超声感测的系统和方法
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11036464B2 (en) * 2019-09-13 2021-06-15 Bose Corporation Spatialized augmented reality (AR) audio menu
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
EP3879702A1 (en) * 2020-03-09 2021-09-15 Nokia Technologies Oy Adjusting a volume level
US11563783B2 (en) * 2020-08-14 2023-01-24 Cisco Technology, Inc. Distance-based framing for an online conference session
US11392250B1 (en) 2020-12-31 2022-07-19 Apple Inc. Ultrasonic touch sensing parasitic wave rejection
CN117499850B (zh) * 2023-12-26 2024-05-28 荣耀终端有限公司 一种音频数据播放方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175933A1 (en) * 2001-05-08 2002-11-28 Sami Ronkainen Method and arrangement for providing an expanded desktop
US20060136544A1 (en) * 1998-10-02 2006-06-22 Beepcard, Inc. Computer communications using acoustic signals
US20090229892A1 (en) * 2008-03-14 2009-09-17 Apple Inc. Switchable sensor configurations
US20110010627A1 (en) * 2009-04-09 2011-01-13 Aliphcom Spatial user interface for audio system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834848B2 (ja) 1995-09-20 2006-10-18 株式会社日立製作所 音情報提供装置、及び音情報選択方法
JPH09114543A (ja) 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JP3285835B2 (ja) 1998-12-25 2002-05-27 三菱電機株式会社 メニュー選択装置
GB2374772B (en) 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
JP4624577B2 (ja) 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
JP3898673B2 (ja) 2003-07-18 2007-03-28 株式会社タムラ製作所 音声通信システム、方法及びプログラム並びに音声再生装置
JP2006287878A (ja) 2005-04-05 2006-10-19 Matsushita Electric Ind Co Ltd 携帯電話端末
US7953236B2 (en) 2005-05-06 2011-05-31 Microsoft Corporation Audio user interface (UI) for previewing and selecting audio streams using 3D positional audio techniques
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
CN101449236A (zh) * 2006-05-23 2009-06-03 索尼爱立信移动通讯股份有限公司 菜单导航的声音反馈
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8421642B1 (en) * 2006-08-24 2013-04-16 Navisense System and method for sensorized user interface
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090166098A1 (en) 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
TW200934212A (en) 2008-01-16 2009-08-01 Asustek Comp Inc Mobile digital device with intuitive browsing and operating method thereof
JP5628144B2 (ja) * 2008-03-18 2014-11-19 エリプティック・ラボラトリーズ・アクシェルスカブＥｌｌｉｐｔｉｃ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｓ 目的物及び動作検出
GB0810179D0 (en) * 2008-06-04 2008-07-09 Elliptic Laboratories As Object location
JP5219205B2 (ja) 2008-10-24 2013-06-26 清水建設株式会社 移動体位置検出システム
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
JP5245808B2 (ja) 2008-12-25 2013-07-24 ヤマハ株式会社 ポインティングシステム
US8923995B2 (en) 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
JP5488011B2 (ja) 2010-02-04 2014-05-14 ソニー株式会社 通信制御装置、通信制御方法及びプログラム
JP2011211312A (ja) 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
US8935438B1 (en) * 2011-06-28 2015-01-13 Amazon Technologies, Inc. Skin-dependent device components

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136544A1 (en) * 1998-10-02 2006-06-22 Beepcard, Inc. Computer communications using acoustic signals
US20020175933A1 (en) * 2001-05-08 2002-11-28 Sami Ronkainen Method and arrangement for providing an expanded desktop
US20090229892A1 (en) * 2008-03-14 2009-09-17 Apple Inc. Switchable sensor configurations
US20110010627A1 (en) * 2009-04-09 2011-01-13 Aliphcom Spatial user interface for audio system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170080651A (ko) * 2014-10-31 2017-07-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화

Also Published As

Publication number Publication date
IN2014MN00973A (ko) 2015-04-24
WO2013095783A2 (en) 2013-06-27
KR101708101B1 (ko) 2017-02-27
US20130154930A1 (en) 2013-06-20
WO2013095783A3 (en) 2013-08-22
JP6195843B2 (ja) 2017-09-13
EP2795432A2 (en) 2014-10-29
CN103999021B (zh) 2017-12-08
US9563278B2 (en) 2017-02-07
JP2015506035A (ja) 2015-02-26
CN103999021A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
KR101708101B1 (ko) 제스쳐 제어 오디오 유저 인터페이스
US11032661B2 (en) Music collection navigation device and method
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
US10397728B2 (en) Differential headtracking apparatus
KR102192361B1 (ko) 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치
CN109565629B (zh) 用于控制音频信号的处理的方法和装置
US20150186109A1 (en) Spatial audio user interface apparatus
CN107465972A (zh) 一种移动终端的音频播放控制方法及无线耳机
US20140258864A1 (en) Audio driver user interface
US20140079239A1 (en) System and apparatus for controlling a user interface with a bone conduction transducer
US20200238168A1 (en) Vibration control apparatus
CN106658344A (zh) 一种全息音频渲染控制方法
CN105684012A (zh) 提供情境信息
TWI775401B (zh) 雙聲道之音訊處理系統及其運作方法
WO2023195048A1 (ja) 音声拡張現実オブジェクト再生装置、情報端末システム
US10058282B2 (en) Manual operation assistance with earpiece with 3D sound cues
US20210274304A1 (en) Information processing apparatus, information processing system, information processing method, and program
CA2727672A1 (en) A deformable user interface integrated into a speaker shroud
KR20220043088A (ko) 사운드 생성 방법 및 이를 수행하는 장치들
WO2021245328A1 (en) Supplementing content
JPWO2014125705A1 (ja) Ａｖ機器、音声方向表示方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant