KR20140091552A - 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이 - Google Patents

웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이 Download PDF

Info

Publication number
KR20140091552A
KR20140091552A KR1020147012981A KR20147012981A KR20140091552A KR 20140091552 A KR20140091552 A KR 20140091552A KR 1020147012981 A KR1020147012981 A KR 1020147012981A KR 20147012981 A KR20147012981 A KR 20147012981A KR 20140091552 A KR20140091552 A KR 20140091552A
Authority
KR
South Korea
Prior art keywords
sound
computing system
display
wearable computing
source
Prior art date
Application number
KR1020147012981A
Other languages
English (en)
Other versions
KR101668165B1 (ko
Inventor
애드리안 웡
자이아오유 미아오
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20140091552A publication Critical patent/KR20140091552A/ko
Application granted granted Critical
Publication of KR101668165B1 publication Critical patent/KR101668165B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • G01S3/8034—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously
    • G01S3/8036—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously derived directly from separate directional systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/14—Measuring mean amplitude; Measuring mean power; Measuring time integral of power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

(i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하는 예시적인 방법들 및 시스템들이 개시된다. 방법은 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계를 포함한다. 또한, 상기 방법은 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계를 더 포함할 수 있다. 추가로, 상기 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함할 수 있다.

Description

웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이{DISPLAYING SOUND INDICATIONS ON A WEARABLE COMPUTING SYSTEM}
본 출원은 그 전체 내용이 본 명세서에 참조로서 포함되고 2011년 11월 14일에 출원된, "웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이{Displaying Sound Indication on a Wearable Computing System}"의 명칭을 갖는 미국 가출원 번호 13/295,953의 우선권을 청구한다.
본 명세서에서 달리 표시되지 않는 한, 본 섹션에 서술된 내용들은 본 출원의 청구범위들에 대한 선행 기술이 아니고, 본 섹션에서 포함됨으로써 선행 기술로 인정되는 것은 아니다.
개인용 컴퓨터들, 랩톱 컴퓨터들, 태블릿 컴퓨터들과 같은 컴퓨팅 디바이스들, 셀룰러 폰들, 및 무수한 형태들의 인터넷-가능한 디바이스들은 현대 생활의 많은 양상들에 점점 더 보편화된다.
컴퓨터들이 더욱 발전될수록, 컴퓨터로 생성된 정보와 물리적 세계의 사용자의 지각을 조합하는(blend) 증강-현실 디바이스들(augmented-reality devices)은 더욱 보편화될 것으로 기대된다.
일 양상에서, 예시적인 방법은: (i) 웨어러블 컴퓨팅 시스템(wearable computing system)에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와; (ii) (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고 (iii) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함하고, 상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절한다.
다른 양상에서, 프로세서에 의한 실행에 응답하여, 상기 명령어들은 상기 프로세서로 하여금 동작들을 수행하도록 하는, 명령어들을 저장하는 비-일시적인(non-transitory computer readable medium) 컴퓨터 판독가능한 매체가 개시된다. 예시적인 실시예에 따라서, 상기 명령어들은: (i) 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기 위한 명령어들과; (ii) (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하기 위한 명령어들과; (iii) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들과; 그리고 (iv) 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 포함한다.
또 다른 양상에서, 웨어러블 컴퓨팅 시스템이 개시된다. 예시적인 웨어러블 컴퓨팅 시스템은 (i) 헤드-마운티드 디스플레이(head-mounted display) - 상기 헤드-마운티드 디스플레이는 컴퓨터로 생성되는 정보를 디스플레이하고, 그리고 실제-세계 환경의 시각적 지각을 허용하도록 구성되고 - 와; (ii) 제어기 - 상기 제어기는 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하도록 그리고 (a) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하도록 구성되고 - 와; 그리고 디스플레이 시스템을 포함하고, 상기 디스플레이 시스템은 (a) 상기 사운드의 소스의 방향 및 (b) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 구성되고, 상기 제어기는, 또한, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하는 것을 조절하도록 구성된다.
이뿐만 아니라 다른 양상들, 이점들 및 대안들은 첨부된 도면들을 적절하게 참조하여 하기의 상세한 설명을 읽음으로써 당업자에게 명확해질 것이다.
도 1은 예시적인 실시예에 따른 방법을 나타내는 흐름도이다.
도 2는 예시적인 실시예에 따른 예시적인 마이크로폰 어레이를 나타내는 도면이다.
도 3a은 예시적인 실시예에 따른 예시적인 디스플레이를 나타내는 도면이다.
도 3b는 예시적인 실시예에 따른 도 3a의 디스플레이에 포함될 수 있는 예시적인 화살표 크기들을 나타내는 도면이다.
도 4a는 예시적인 실시예에 따른 다른 예시적인 디스플레이를 나타내는 도면이다.
도 4b는 예시적인 실시예에 따른 예시적인 컬러-코딩된 스케일을 나타내는 도면이다.
도 4c는 예시적인 실시예에 따른 또 다른 예시적인 디스플레이를 나타내는 도면이다.
도 5는 예시적인 실시예에 따른 예시적인 세기 레벨 미터를 나타내는 도면이다.
도 6은 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 7은 도 6에 도시된 상기 시스템의 대안도를 나타낸다.
도 8a는 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 8b는 데이터를 수신, 전송, 및 디스플레이하는 예시적인 시스템을 나타낸다.
도 9는 예시적인 컴퓨터 네트워크 인프라스트럭쳐의 개략도를 나타낸다.
도 10a는 예시적인 실시예에 따른 예시적인 사운드-이벤트 표시자를 나타내는 도면이다.
도 10b는 예시적인 실시예에 따른 다른 예시적인 사운드-이벤트 표시자를 나타내는 도면이다.
다음의 상세한 설명은 첨부된 도면들을 참조하여 개시된 시스템들 및 방법들의 여러 특징들 및 기능들을 서술한다. 상기 도면들에서, 문맥이 다르게 표시되지 않으면, 유사한 기호들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에서 서술되는 예시적인 시스템 및 방법 실시예들은 제한되도록 의도되지 않는다. 개시된 시스템들의 특정 양상들 및 방법들이, 본 명세서에서 고려되는 모든 매우 다양한 서로 다른 구성들에서 배열되고 결합될 수 있음이 용이하게 이해될 것이다.
I. 개관
웨어러블 컴퓨팅 시스템(wearable computing system)은 실제-세계 환경의 시각적인 지각(perception)을 허용하고 상기 실제-세계 환경의 지각에 관련되는 컴퓨터로 생성되는 정보를 디스플레이하도록 구성될 수 있다. 유리하게, 상기 컴퓨터로 생성되는 정보는 상기 실제-세계 환경의 사용자의 지각과 통합될 수 있다. 예를 들어, 상기 컴퓨터로 생성되는 정보는, 상기 물리적 세계에 대한 사용자의 지각을 컴퓨터로 생성되는 유용한 정보 또는 상기 사용자가 특정 순간에 인식하거나 경험하는 것과 관련되는 시야들로 보충할 수 있다.
일부 경우들에서, 웨어러블 컴퓨팅 시스템의 사용자는 듣는데 어려움을 가진 사람일 수 있다. 예를 들어, 상기 사용자는 난청 또는 심지어 귀머거리와 같은 청각 장애를 가질 수 있다. 그와 같이, 사용자가 상기 주변 환경의 사운드를 듣는데 어려움을 겪을 수 있다. 따라서, 상기 주변 환경의 사운드의 표시를 상기 사용자에게 제공하는 것은 유익할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템으로부터의 사운드의 소스의 방향 그리고/또는 상기 사운드의 세기의 표시를 제공하는 것은 유익할 수 있다. 일 예로서, 사용자는 도로를 건너기 위해 횡단 보도에 있을 수 있고, 다가오는 차량은, 상기 차량이 횡단 보도를 거쳐 운전하고 있음을 상기 사용자에게 경고하기 위해 상기 사용자에게 경적을 울릴 수 있다. 그와 같은 경우에서, 상기 경적이 울리는 방향(예를 들어, 왼쪽 또는 오른쪽으로부터), 그리고 (다가오는 차량이 상기 사용자에게 얼마나 가까운지를 나타내기 위해) 상기 경적의 세기를 나타내는 것이 유용할 수 있다.
본 명세서에서 서술된 방법들 및 시스템들은 상기 실제-세계 환경에 존재하는 사운드의 표시를 제공하는데 용이할 수 있다.
예시적인 방법은: (a) 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와; (b) (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고 (c) 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함할 수 있다. 이러한 하나 이상의 표시들을 디스플레이함으로써, 사용자는 상기 주변 환경의 사운드들의 표시들을 유익하게 볼 수 있다.
예시적인 실시예에 따라, 상기 웨어러블 컴퓨팅 시스템은 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하는 것을 조절할 수 있다. 또한, 많은 타입들의 사운드가 가능하다. 일 예로서, 상기 표시는 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다 나타내는 단일 그래픽 표시(예를 들어, 화살표)일 수 있다. 다른 예로서, 상기 웨어러블 컴퓨팅 시스템은 (i) 상기 사운드의 소스의 방향을 나타내는 제1 표시(화살표) 및 (ii) 상기 사운드의 세기 레벨을 나타내는 제2 표시(예를 들어, 세기 미터)를 디스플레이할 수 있다.
Ⅱ. 예시적인 방법들
예시적인 방법들은 주변 환경의 사운드(sound)에 대한 하나 이상의 사운드 표시들을 디스플레이하는 웨어러블 컴퓨팅 시스템을 포함할 수 있다. 도 1은 예시적인 실시예에 따른 방법을 나타내는 흐름도이다. 더 구체적으로, 예시적인 방법(100)은 블록 102에 의해 도시되는 것처럼, 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 것을 포함한다. 상기 방법은, 이후, 블록 104에 의해 도시되는 것처럼, (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨(intensity level) 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 것을 포함할 수 있다. 또한, 상기 방법은, 이후, 블록 106에 의해 도시되는 것처럼, 상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 것을 포함할 수 있다.
상기 예시적인 방법(100)이 웨어러블 컴퓨팅 시스템(600, 800, 또는 820)과 같은 웨어러블 컴퓨팅 시스템에 의해 수행되고 있는 예로서 서술되지만, 예시적인 방법은 상기 웨어러블 컴퓨팅 시스템과 통신하는 원격 서버와 같이, 하나 이상의 다른 엔티티들과 통신하는 웨어러블 컴퓨팅 디바이스에 의해 실행될 수 있음이 이해되어야 한다.
A. 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기
상기에서 언급된 것처럼, 블록 102에서, 상기 웨어러블 컴퓨팅 시스템은 오디오 데이터를 수신할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 주변 환경의 사운드를 검출하기 위해 구성되는 복수의 마이크로폰들을 포함할 수 있다. 본 명세서에 전반에 사용되는 것처럼, "사운드(sound)"는 주변 환경에서 나타나는 하나의 사운드 이벤트(예를 들어, 한번의 벼락, 하나의 음표) 또는 주변 환경에서 나타나는 복수의 사운드들(예를 들어, 다수의 벼락들, 노래)을 포함할 수 있다. 또한, 상기 주변 환경의 사운드는 하나의 사운드 소스 또는 다수의 사운드 소스들로부터 나올 수 있다.
상기 주변 환경의 사운드를 검출하기 위해 구성되는 복수의 마이크로폰들은 복수의 방향들로부터 나오는 사운드를 검출하는 방식으로 배열될 수 있다. 예를 들어, 상기 마이크로폰들은 마이크로폰 어레이로 배열될 수 있다. 도 2는 마이크로폰 어레이(202)를 갖는 예시적인 웨어러블 컴퓨팅 시스템(200)을 나타낸다. 특히, 컴퓨팅 시스템(200)은 지향성 마이크로폰들(204a 내지 204e)의 어레이(202)를 포함한다. 지향성 마이크로폰들(204a 내지 204e) 각각은 대응하는 영역(206a 내지 206e) 각각 내의 오디오를 캡쳐하기 위해 배열된다. 지향성 마이크로폰 각각이 상기 대응하는 영역으로부터 나오는 사운드를 주로 검출하기 위해 위치되지만, 상기 마이크로폰들은 또한 다른 영역들로부터 나오는 사운드를 검출할 수 있다.
일 예에서, 마이크로폰들의 어레이(202)는, 도 6에서 도시되는 프레임들(604, 606 및 608)과 같은 상기 웨어러블 컴퓨팅 시스템의 프레임 또는 프레임들의 여러 지점들에 따라 배열될 수 있다. 또한, 상기 배열(202)이 대략 150도에 걸치는 영역들로부터 사운드들을 검출하기 위해 배열되지만, 다른 예시적인 실시예에 따른 배열은 더 넓은 각도(예를 들어, 최대 360도) 또는 더 좁은 각도에 걸치는 영역들로부터 나오는 사운드들을 검출할 수 있다.
일 예에서, 도 2를 참조하여, 웨어러블 컴퓨팅 시스템(200)의 주변 환경(207)은 다수의 사운드 소스들을 포함할 수 있다. 예를 들어, 사운드(210)의 제1 소스(208)는 영역(206a)에 위치될 수 있고, 사운드(214)의 제2 소스(212)는 영역(206d)에 위치될 수 있다. 상기 웨어러블 컴퓨팅 시스템(200)은 상기 주변 환경의 사운드에 대응하는 오디오 데이터를 수신할 수 있다. 특히, 상기 마이크로폰 어레이(202)는 사운드(210) 및 사운드(214)를 검출할 수 있다. 일 예에서, 각 마이크로폰은 상기 사운드(210 및 214)를 검출할 수 있다. 상기 어레이(202)에서 상기 마이크로폰들의 배열로 인해, 지향성 마이크로폰(204a 내지 204e) 각각은 다른 시간들에서 그리고/또는 다른 세기 레벨들에서 상기 사운드(210 및 214)를 검출할 수 있다.
B. 오디오 데이터 분석
상기 주변 환경의 사운드를 검출한 후, 상기 웨어러블 컴퓨팅 시스템은 분석을 위해 도 9에서 도시된 프로세서(914)와 같은, 프로세서에 오디오 데이터를 전송할 수 있다. 특히, 상기 웨어러블 컴퓨팅 시스템은, 블록 104에서, (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 것을 포함할 수 있다.
상기 사운드의 소스의 웨어러블 컴퓨팅 시스템으로부터의 방향을 결정하기 위해, 상기 웨어러블 컴퓨팅 시스템은 상기 마이크로폰들(204a-204e)에 의해 수집된 상기 오디오 데이터를 분석할 수 있다. 상기에서 언급된 것처럼, 일 예에서, 마이크로폰 각각은 사운드(202) 및 사운드(214)를 검출할 수 있다. 하지만, 지향성 마이크로폰(204a-204e) 각각은 다른 시간에서 그리고/또는 다른 세기 레벨에서 상기 사운드(210 또는 214)를 검출할 수 있다. 예를 들어, 사운드(210)는, 사운드(210)가 마이크로폰들(204b-e)에 의해 검출되기 전에 마이크로폰(204a)에 의해 검출될 가능성이 있다. 마찬가지로, 사운드(214)는, 사운드(214)가 마이크로폰(204a-c 및 204e)에 의해 검출되기 전에 마이크로폰(204d)에 의해 검출될 가능성이 있다. 여러 마이크로폰들에서 사운드의 검출 사이에서 시간 차에 기초하여, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스의 방향을 결정할 수 있다. 그와 같은 오디오 데이터의 방향 분석은 당업계에 잘 알려져 있다. 어레이(202)에 의해 검출되는 상기 오디오 데이터에 기초하여, 상기 시스템은, 사운드(210)의 소스(208)가 영역(206a)에 위치됨과 사운드(214)의 소스(212) 영역(206d)에 위치됨을 결정할 수 있다.
또한, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 세기 레벨(예를 들어, 볼륨)을 결정하기 위해 상기 오디오 데이터를 분석할 수 있다. 사운드의 세기 레벨을 결정하는 것은 당업계에 잘 알려져 있다. 예로서, 상기 세기 레벨은, 상기 사운드가 위치되는 영역의 마이크로폰에 의해 검출되는 상기 사운드의 세기 레벨일 수 있다. 다른 예에서, 상기 세기 레벨은 상기 어레이 내의 마이크로폰 각각에 의해 수신되는 상기 사운드의 평균 세기 레벨일 수 있다.
상기 주변 환경의 사운드의 세기 레벨은 시간에 따라 변할 수 있음을 주목해야 한다. 예를 들어, 소스(208)는 사람의 말일 수 있고, 사용자의 음성의 볼륨은 시간에 걸쳐 변할 수 있다. 다른 예로서, 상기 소스는 시간에 걸쳐 세기에서 변하는 사운드를 출력하는 악기일 수 있다. 다른 예들도 가능할 수 있다.
또한, 세기 측정들은 상기 사운드의 소스의 방향을 결정하는데 도움을 줄 수 있는데, 이는 상기 마이크로폰들이 상기 소스에 더 가깝게 근접할수록 약간 높은 세기 레벨로 상기 사운드를 기록할 수 있는 것과 같다.
C. 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 표시하는 하나 이상의 표시들을 디스플레이하도록 하는 것
상기 오디오 데이터를 분석하는 것에 응답하여, 상기 웨어러블 컴퓨팅 시스템은, 블록 106에서, 상기 사운드의 소스의 방향 및 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이한다. 상기 하나 이상의 표시들은 상기 주변 환경의 사운드에 관련된 가치있는 정보를 사용자에게 유익하게 제공할 수 있다. 이러한 디스플레이된 방향들은 상기 주변 환경에 존재하는 상기 사운드에 난청인 사용자에게 경고하는 것을 도울 수 있다. 다른 예에서, 이러한 디스플레이된 표시들은, 난청인 사용자가 사운드가 들리는 주변 환경을 시각화하는 것을 도울 수 있다.
i. 단일 그래픽 표시
하나 이상의 표시들은 (i) 상기 웨어러블 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 표시하는 단일 그래픽 표시를 포함할 수 있다. 예를 들어, 상기 단일 그래픽 표시는 화살표일 수 있다.
도 3a는 웨어러블 컴퓨팅 시스템의 예시적인 디스플레이(300)를 나타낸다. 이 예에서, 소스(208)는 디스플레이(300)의 시간에서 음성의 유일한 소스이다(즉, 소스(212)는 이 시간에서 어떤 음성도 만들어 내지 않는다). 디스플레이(300)는 음성(210)에 대한 단일 그래픽 표시를 포함한다. 특히, 도 3a에서, 사운드(210)의 소스는 사람의 대화이다. 화살표(302)의 단일 그래픽 표시는 (i) 상기 웨어러블 컴퓨팅 시스템으로부터 소스의 방향 및 상기 세기 레벨 둘다를 표시한다. 이 예에서, 화살표(302)는 상기 사운드의 소스 근처에 위치된다. 특히, 상기 화살표(302)는 상기 사운드의 소스의 약간 위에 위치된다. 상기 화살표는, 상기 사운드가 나오는 방향의 사용자를 명확하게 표시할 수 있다. 다른 예들에서, 상기 화살표는 상기 소스의 약간 왼쪽 또는 오른쪽에 위치될 수 있거나, 상기 소스(208) 위에 오버레이된다.
상기에서 언급한 것처럼, 상기 사운드의 세기 레벨은 시간에 따라 변할 수 있다. 따라서, 예에서, 화살표의 크기는 변화하는 세기 레벨에 기초하여 변할 수 있다. 예를 들어, 사람의 목소리는, 상기 사람이 얼마나 크게 이야기하는지에 따라 0 데시벨에서 60 데시벨(dB)의 범위에 이를 수 있다. 예를 들어, 상기 디스플레이에서의 화살표의 크기는 사운드(210)의 세기 레벨에 기초하여 변할 수 있다. 도 3b는 디스플레이(300)에 포함될 수 있는 예시적인 화살표 크기들을 나타낸다. 이 예에서, 화살표(310)는 60dB과 관련되고, 화살표(312)는 50dB과 관련되고, 화살표(314)는 40dB과 관련되고, 화살표(316)는 30dB과 관련되고, 화살표(318)는 20dB과 관련되고, 그리고 화살표(320)는 10dB과 관련된다. 물론, 상기에서 언급된 데시벨들 사이의 다른 데시벨 레벨들에 대한 화살표들도 포함될 수 있다. 더 큰 세기 레벨들에 대한 더 큰 화살표를 디스플레이함으로써, 상기 웨어러블 컴퓨팅 시스템의 사용자는, 큰 사운드가 주변 환경에 존재할 때를 알 것이다. 일 예에서, 주변 환경의 사운드가 더 클수록, 사용자가 사운드에 주의를 기울이거나 사운드를 인식할 가능성은 더 커진다. 따라서, 사용자가 디스플레이되는 큰 화살표를 볼 때, 이러한 디스플레이는 사용자에게 주변 환경에 주의를 기울이도록 지시할 것이다.
상기에서 언급한 것처럼, 상기 주변 환경에 2개 이상의 사운드의 소스들이 존재할 수 있다. 따라서, 상기 웨어러블 컴퓨팅 시스템은 상기 복수의 사운드들 각각에 대응하는 오디오 데이터를 수신할 수 있고, 그리고 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스 각각의 방향 및 (ii) 사운드 각각의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석할 수 있다. 이후, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 방향 및 상기 사운드의 세기 레벨을 표시하기 위해 사운드 각각에 대한 하나 이상의 표시들을 디스플레이할 수 있다. 예를 들어, 도 4a,에서 도시된 것처럼, 사람(228) 및 사람(212)은 동시에 말을 할 수 있다. 도 4a는 사운드(210)에 대한 제1 표시(402) 및 사운드(214)에 대한 제2 표시(404)를 포함하는 예시적인 디스플레이(400)를 나타낸다. 이러한 예에서, 상기 표시들은 각각의 대화자들 위의 헤일로(halo)들이다.
이러한 헤일로들은 상기 사운드의 소스의 방향 둘다 나타내고, 또한 상기 세기를 또한 나타낼 수 있다. 이러한 예에서, 상기 헤일로의 크기는 다른 세기들에 대해 변할 수 있다. 하지만, 다른 예에서, 서로 다른 컬러들은 상기 음성의 서로 다른 세기 레벨들에 대해 디스플레이될 수 있다. 예를 들어, 상기 헤일로들은 변하는 세기 레벨들을 나타내기 위해 컬러-코딩될 수 있다. 예를 들어, 도 4b는 서로 다른 컬러 코드들의 스케일(408)을 나타낸다. 이 예에서, 컬러(410)는 60dB과 관련되고, 화살표(412)는 50dB과 관련되고, 화살표(414)는 40dB과 관련되고, 화살표(416)는 30dB과 관련되고, 화살표(418)는 20dB과 관련되고, 그리고 화살표(420)는 10dB과 관련된다. 일 예에서, 밝은 컬러들은 높은 세기 레벨들과 관련될 수 있다.
다른 예에서, 세기에 대한 표시는 컬러-코딩된 사운드 맵을 포함할 수 있다. 예를 들어, 도 4c는 컬러-코딩된 사운드 맵을 갖는 예시적인 디스플레이(450)를 나타낸다. 특히, 상기 사운드의 소스에 대응하는 상기 디스플레이의 영역들은 상기 사운드의 세기 레벨을 나타내기 위해 착색될 수 있다. 또한, 상기 사운드의 소스들에 대응하지 않는 상기 디스플레이의 영역들은 착색될 수 없다(즉, 상기 영역들은 사용자에 의해 수신되는 자신 본래의 컬러를 유지할 수 있다). 이 예에서, 소스(212)는 컬러(412)인 반면에, 소스(208)는 컬러(416)이다. 따라서, 상기 사용자는, 소스(212)로부터의 사운드가 소스(208)로부터의 사운드보다 더 큰 것(즉, 사람(212)이 사람(208)보다 더 크게 이야기한 것)을 알 수 있을 것이다.
또 다른 예로서, 예시적인 단일 그래픽 표시는 사운드의 소스 상에 또는 소스 근처에 배치되는 발광 신호(flashing light)일 수 있다. 상기 발광 신호의 위치는 상기 웨어러블 컴퓨터로부터의 소스의 방향을 나타내고, 상기 발광 신호의 주파수는 여러 세기 레벨들을 나타내기 위해 조정될 수 있다.
다른 예로서, 세기의 표시는 원형 표시자(circular indicator)를 포함할 수 있다. 예를 들어, 그래픽 표시자는 상기 음향의 도달 각도에 대응하는 상기 원형 표시자 상의 위치에 놓여질 수 있다. 추가로, 상기 원의 중심으로부터의 거리는 상기 사운드 세기 레벨에 대응할 수 있다. 원형 표시자는, 예를 들어, 360도 전체에 걸친 도달 각도를 캡쳐할 수 있는 시스템의 경우에서 유용할 수 있다. 일 예에서, 상기 원형 표시자는 웨어러블 컴퓨팅 시스템의 디스플레이 스크린의 하나의 주변부, 예를 들어, 상기 디스플레이 스크린의 코너들 중 하나에서 디스플레이될 수 있다.
도 10a 및 도 10b는 예시적인 원형 표시자들을 나타낸다. 특히, 도 10a는 예시적인 원형 표시자(1000)를 나타낸다. 원형 표시자(1000)는 원(1002) 및 세기 바(intensity bar)(1004)를 포함한다. 이 예에서, 상기 세기 바(1004)의 위치는, 상기 사운드의 소스가 상기 사용자의 바로 뒤에 있음을 나타내는 역할을 할 수 있다. 또한, 상기 원(1002)의 중앙(1006)으로부터의 세기 바(1004)의 길이는 상기 사운드의 세기 레벨을 나타내는 역할을 할 수 있다. 예를 들어, 상기 세기 바는 덜 강한 사운드에 대해 더 짧을 수 있고(즉, 상기 중앙으로부터 더 멀고), 그리고 상기 세기 바는 더 강한 사운드에 대해 더 길 수 있다(즉, 상기 중앙으로부터 더 가까울 수 있다). 도 10b는 다른 예의 원형 표시자(1010)를 나타낸다. 이 예에서, 상기 원형 표시자는 원(1012) 및 세기 바(1014)를 포함한다. 상기 세기 바(1014)는, 상기 사운드의 소스가 상기 사용자의 왼쪽에 있음을 나타내는 역할을 할 수 있다. 또한, 상기 세기 바(1014)의 길이는 상기 사운드의 세기 레벨을 나타낸다. 도 10a에서 디스플레이되는 상기 사운드 세기와 비교하여, 도 10b에서 디스플레이되는 상기 사운드의 세기는 더 낮다.
일 예에서, 세기 바를 포함하는 것과 달리, 상기 원형 표시자는 상기 사운드의 세기를 나타내기 위한 크기가 될 수 있는 화살표를 포함할 수 있다. 또 다른 예에서, 상기 원형 표시자는 상기 원 상에 위치되는 그래픽(예를 들어, 점)을 포함할 수 있고, 그리고 상기 점은 상기 사운드의 세기에 기초한 컬러를 변경할 수 있다. 상기 원형 표시자가 상기 사운드의 세기 레벨을 나타내기 위해 사용될 수 있는 다른 그래픽들을 포함할 수 있는 것이 이해되어야 한다.
ii . 방향 및 세기에 대한 개별 표시들
다른 예에서, 상기 하나 이상의 표시들은 상기 사운드의 소스의 방향을 나타내는 제1 표시 및 상기 사운드의 세기 레벨을 나타내는 제2 표시를 포함할 수 있다. 예를 들어, 상기 제1 표시는 상기 사운드의 소스의 방향을 나타내는 화살표 또는 헤일로일 수 있고, 그리고 상기 제2 표시는 세기 미터(intensity meter) 또는 컬러 코딩된 사운드 맵일 수 있다. 예시적인 세기 미터(500)가 도 5에서 도시된다. 상기 예에서, 상기 세기 미터는 0dB에서 150dB 사이의 범위를 가질 수 있고, 바(502)는 상기 사운드의 세기 레벨(이 예에서는 100dB)을 나타낸다. 상기 사운드의 세기 레벨은 시간에 따라 변할 수 있고, 바(502)의 크기는 상기 세기 레벨과 동조하여 변할 수 있다.
세기 미터(502)와 같은 세기 미터는 상기 디스플레이의 여러 위치들에서 디스플레이될 수 있다. 예를 들어, 상기 세기 미터는 상기 디스플레이의 주변에서 디스플레이될 수 있다. 다른 예에서, 상기 세기 미터는 상기 사운드의 소스 근처에서 디스플레이될 수 있다. 또한, 다수의 사운드 소스들이 존재하는 경우에, 상기 웨어러블 컴퓨팅 시스템은 사운드의 각각의 소스에 대한 세기 미터를 디스플레이할 수 있다.
iii . 사용자의 시야 바깥의 사운드의 소스들
일 예에서, 상기 사운드의 소스는 상기 사용자의 시야 바깥에 존재할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 대략 180도로 걸친 상기 웨어러블 컴퓨팅 시스템의 실제 환경의 시야를 제공할 수 있다. 상기 웨어러블 컴퓨팅 시스템은, 상기 주변 환경의 시야 바깥에 있는 소스로부터 들어오는 사운드를 검출할 수 있다. 예를 들어, 상기 사운드의 소스는 상기 사용자의 뒤에 존재할 수 있거나, 사용자의 주변 시야를 벗어나 사용자의 왼쪽 또는 오른쪽에 존재할 수 있다. 상기 웨어러블 컴퓨팅 시스템은, 상기 사운드의 소스가 상기 시야 바깥에 존재하는지 또는 상기 시야의 내부에 존재하는지를 결정할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 웨어러블 컴퓨팅 시스템 주변에 존재하는 복수의 마이크로폰들을 포함할 수 있어, 상기 마이크로폰들은 임의의 방향(즉, 360도에 걸친)으로부터 사운드들을 검출할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 사용자의 머리 주변의 120도의 간격을 두는 3개의 마이크로폰들의 삼각형 배치를 포함할 수 있다. 다른 마이크로폰 배치들도 가능할 수 있다.
예시적인 표시는 상기 시야의 주변에 있는 발광 시야일 수 있다. 예를 들어, 상기 디스플레이는 상기 디스플레이의 주변의 일정 지점, 예를 들어, 디스플레이(450)의 주변(472)의 지점(470)에서의 발광 표시를 포함할 수 있다. 이러한 발광 표시는, 사운드가 상기 사용자의 시야의 외부에서 검출된 것을 사용자에게 나타낼 수 있다.
iv . 임계치 세기 레벨을 넘는 사운드들을 디스플레이하기
일 예에서, 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금 특정 임계 레벨보다 큰 세기 레벨에 대해서 하나 이상의 표시들을 디스플레이하도록 조절하는 단계를 포함할 수 있다. 따라서, 상기 주변 환경의 사운드의 세기 레벨을 결정한 후, 상기 웨어러블 컴퓨팅 시스템은 상기 세기 레벨이 특정 임계 레벨을 초과하는지 여부를 결정할 수 있다. 상기 세기 레벨이 상기 특정 임계 레벨을 초과하면, 상기 웨어러블 컴퓨팅 시스템은 하나 이상의 표시들을 디스플레이할 수 있다. 하지만, 상기 세기 레벨이 상기 특정 임계 레벨을 초과하지 않으면, 상기 웨어러블 컴퓨팅 시스템은 상기 하나 이상의 표시들을 디스플레이할 수 없다.
이러한 조절 단계는, 상기 사용자가 표시를 보는데 관심없을 수 있는 경우, 예를 들어, 배경 잡음을 필터링하는 경우에 유용할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 5dB이 넘을 때 하나 이상의 표시들을 디스플레이하도록 조절한다. 다른 예시적인 임계치들도 가능하고, 그리고 상기 사용자는 상기 웨어러블 컴퓨팅 시스템이 요구된 레벨, 예를 들어, 1dB과 20dB 사이의 임계 레벨을 갖도록 구성할 수 있다.
다른 예에서, 사용자는 상기 웨어러블 컴퓨팅 시스템을 착용할 수 있고, 상기 웨어러블 컴퓨팅 시스템의 디스플레이는 처음에는 전원이 꺼질 수 있다. 예를 들어, 상기 디스플레이는 하나 또는 다른 이유로 꺼질 수 있다. 하지만, 상기 디스플레이의 전원이 꺼질지라도, 상기 웨어러블 컴퓨팅 시스템은 사운드를 검출할 수 있다. 상기 시스템은 상기 세기 레벨이 특정 임계 레벨을 넘는지를 결정할 수 있다. 상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 시스템은 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화할 수 있다.
V. 이동 평균 윈도우에 대한 세기 레벨을 디스플레이하기
일 예에서, 사운드의 절대 세기를 나타내기보다는, 사운드 이벤트의 세기 레벨의 디스플레이는 상기 사운드 이벤트의 절대 세기 레벨과 상기 주변 환경의 사운드의 이동 평균 윈도우(moving average window)의 세기 레벨과의 차이로 나타낼 수 있다. 상기 이동 평균 윈도우는 미리결정된 시간 기간의 이동 평균 윈도우일 수 있다. 예를 들어, 상기 이동 평균 윈도우는 30초일 수 있다. 물론, 상기 이동 평균 윈도우는 더 길거나 더 짧은 기간일 수 있다.
사운드 이벤트의 세기 레벨을 상기 사운드 이벤트의 절대 세기 레벨과 상기 주변 환경의 사운드의 이동 평균 윈도우의 세기 레벨과의 차이로 나타냄으로써, 상기 디스플레이되는 사운드 세기는 사용자가 위치되는 상기 특정 환경에 맞춰질 수 있다. 이것은 사용자의 특정 사운드 환경에서 사용자와 관련된 사운드들을 나타내는 역할을 하는데 도움이 될 수 있다. 예를 들어, 웨어러블 컴퓨팅 시스템의 사용자가 매우 조용한 환경(예를 들어, 텅빈 방)에 있으면, 마지막 30초 동안의 평균 사운드 전력은 낮을 수 있을 것이다. 문에 가벼운 노크를 하는 것과 같은 조용한 일이 돌발적으로 일어날 수 있다. 상기 가벼운 노크의 사운드 세기는 마지막 30초 동안의 평균 사운드 전력인 낮을 것으로 예상되는 사운드 전력에 대해 디스플레이될 수 있다.
반면에, 웨어러블 컴퓨팅 시스템의 사용자가 매우 시끄러운 환경(예를 들어, 시끄러운 공장)에 있으면, 마지막 30초 동안의 평균 사운드 전력은 높을 것이다. 사운드 세기 레벨들은 상기 매우 시끄러운 환경의 평균 사운드 전력에 대해 디스플레이될 것이다. 또한, 상기에서 언급된 것처럼, 일부 예들에서, 상기 웨어러블 컴퓨팅 시스템은 특정 임계치보다 높은 사운드 세기를 디스플레이하는 것을 조절할 수 있다. 상기 특정 임계치는 평균 잡음 플로어에 기초할 수 있다. 예를 들어, 사운드 세기를 디스플레이하는 것을 조절하기 위한 특정 임계치는 조용한 환경보다 시끄러운 환경에 대해 더 클 수 있다. 상기에서 논의된 예들을 사용하여, 조용한 환경에서, 상기 평균 잡음 플로어는 상기 조용한 방의 평균 잡음 레벨 근처의 레벨로 설정될 수 있다. 반면에, 상기 시끄러운 환경에서, 상기 평균 잡음 플로어는 상기 시끄러운 공장의 평균 잡음 근처의 레벨로 설정될 수 있다. 유익하게, 평균 잡음 플로어에 기초한 임계 레벨을 조정함으로써, 상기 웨어러블 컴퓨팅 시스템은, 사용자가 위치되는 특정 사운드 환경에 관련한 사운드를 상기 웨어러블 컴퓨팅 시스템이 디스플레이하는 것을 보장할 수 있다.
일 예에서, 상기 웨어러블 컴퓨팅 시스템은 이러한 이동-평균 분석을 연속적으로 실행하도록 구성될 수 있다. 상기 이동-평균 분석을 연속적으로 실행함으로써, 사용자가 서로 다른 환경에서(예를 들어, 조용한 환경에서 시끄러운 환경으로) 이동할 때 사용자는 상기 임계 레벨을 수동적으로 변경시킬 필요가 없다.
vi . 사운드의 부가적인 표시들
상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 상기 사운드의 세기 레벨의 표시들을 디스플레이하는 것에 부가하여, 다른 표시들이 또한 가능하다. 상기에서 언급한 것처럼, 상기 주변 환경의 사운드는 말(speech)일 수 있다. 일 예에서, 상기 방법은 상기 말의 텍스트를 결정하는 말-대-텍스트 특징을 더 포함할 수 있다. 상기 말의 텍스트를 결정한 후, 상기 방법은 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 말의 텍스트를 디스플레이하도록 하는 것을 포함할 수 있다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 사람의 대화 위에 말 풍선(speech bubble)을 디스플레이할 수 있고, 여기서 상기 말 풍선은 말하는 사람의 말을 포함한다.
다른 가능한 사운드 표시는, 상기 사운드의 표시가 무엇인지를 나타내는 표시이다. 일 예에서, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스를 결정할 수 있고, 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스에 관련한 정보를 제공할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 상기 사운드의 소스를 결정하기 위해 상기 오디오 데이터를 분석할 수 있고, 이후, 상기 사운드의 소스를 표시하는 다른 표시를 디스플레이할 수 있다. 예를 들어, 상기 다른 표시는 상기 사운드의 소스(개, 고양이, 사람, 악기, 자동차 등)를 표시하는 다른 표시를 디스플레이할 수 있다.
예를 들어, 상기 웨어러블 컴퓨팅 시스템은 텍스트 표시와 상기 사운드의 소스를 매칭하기 위해 상기 사운드를 분석할 수 있다. 일 예에서, 원격 서버는 사운드 스니펫(sound snippet)들의 데이터베이스를 포함할 수 있고, 스니펫 각각은 소스와 관련되고 있다. 상기 서버는 매칭을 식별하기 위해 상기 검출된 사운드와 사운드 스니펫들의 데이터베이스 내의 여러 사운드들을 비교할 수 있다. 일단 상기 사운드의 소스를 식별하면, 상기 웨어러블 컴퓨팅 시스템은 상기 소스에 관한 정보를 디스플레이할 수 있다. 예를 들면, 상기 웨어러블 컴퓨팅 시스템은 상기 소스를 식별하는 정보를 디스플레이할 수 있다. 예를 들어, 상기 사운드는 주어진 차량의 엔진으로부터의 사운드일 수 있다. 상기 웨어러블 컴퓨팅 시스템은 차량의 타입을 디스플레이할 수 있다. 다른 정보가 제공될 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 차량의 시장 가격 그리고/또는 상기 차량이 구입될 수 있는 장소들에 관련된 정보를 디스플레이할 수 있다.
다른 예에서, 상기 웨어러블 컴퓨팅은 상기 사운드의 소스에 대응하는 비디오를 디스플레이할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 해변으로부터의 사운드들(예를 들어, 부서지는 파도들) 검출할 수 있다. 상기 웨어러블 컴퓨팅 시스템은 해변 및 부서지는 파도들의 비디오를 디스플레이할 수 있다. 이 비디오는, 사용자가 들리는 소리로 세계를 시각화하는 것을 도울 수 있다.
또 다른 예에서, 다른 가능한 사운드 표시는 상기 사운드의 오디오 주파수를 나타내는 표시이다. 오디오 주파수는, 예를 들어, 음높이(pitch)를 결정하는 소리의 특성이고, 상기 오디오 주파수는 헤르쯔(Hz)로 측정될 수 있다. 일반적으로, 사람들은 통상적으로 20 Hz 내지 20,000 Hz의 범위 내의 주파수들을 들을 수 있다. 하지만, 주파수들 각각의 범위는 환경 팩터들에 의해 영향을 받을 수 있다.
상기 웨어러블 컴퓨팅 시스템은 다양한 방식들로 상기 사운드를 분석하고 상기 사운드의 오디오 주파수를 결정할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 주파수 도메인 또는 시간 도메인 중 하나에서 알고리즘들에 의해 상기 사운드의 오디오 주파수를 분석할 수 있다. 전자는 입력 신호의 주파수 변환에서 정현파 피크들(sinusoidal peaks)의 위치를 찾기 위한 시도를 할 수 있다. 후자는 파장과 파장의 시간 지연된 버전 사이의 유사성들을 검출하기 위해 자기상관함수들을 사용할 수 있다. 상기 사운드의 오디오 주파수를 결정한 후, 상기 웨어러블 컴퓨팅 시스템은 상기 결정된 오디오 주파수의 표시를 디스플레이할 수 있다. 예를 들어, 상기 웨어러블 컴퓨팅 시스템은 상기 결정된 오디오 주파수 값을 디스플레이할 수 있다. 다른 예로서, 상기 웨어러블 컴퓨팅 시스템은 오디오 주파수 스케일을 디스플레이할 수 있다.
사운드의 오디오 주파수를 결정하는 것과 상기 오디오 주파수의 표시를 디스플레이하는 것은 다양한 이유들로 유익할 수 있다. 오디오 주파수를 시각화할 수 있는 예시적인 이점은, 사용자가 고주파 잡음들에 노출되는 상태를 경험할 수 있다는 것이다. 그와 같은 상태에서, 높은 오디오 주파수의 표시의 디스플레이는 높은 오디오 주파수를 갖는 사운드를 듣는 사용자에게 경고하는 것을 도울 수 있다. 이러한 경고는, 예를 들어, 높은 오디오 주파수 사운드로 인한 청각 장애를 방지하기 위해 사용자가 행동을 취하도록 영향을 미치는 역할을 할 수 있다.
여전히 또 다른 예에서, 다른 가능한 사운드 표시는 위너 엔트로피(Wiener entropy)를 나타내는 표시이다. 위너 엔트로피는 사운드 스펙트럼의 기하 평균 대 산술 평균의 비로서 분석될 수 있다. 특히, 위너 엔트로피는 0과 1 사이의 스케일 상의 사운드의 임의의 측정이고, 이는 상기 사운드가 백색 소음(white noise)인지 하모닉 사운드(harmonic sound) 인지를 구별하기 위해 사용될 수 있다. 따라서, 상기 웨어러블 컴퓨팅 시스템의 사용자(예를 들어, 듣는데 장애가 있는 사용자)는, 사운드가 백색 소음인지 하모닉 사운드인지를 유익하게 결정할 수 있다.
상기에서 서술된 예시적인 사운드 표시들에 부가하여, 상기 사운드의 다른 표시들도 가능할 것이다.
Ⅲ. 예시적인 시스템들 및 디바이스들
도 6은 데이터를 수신하고, 전송하고 디스플레이하는 예시적인 시스템(600)을 나타낸다. 시스템(600)은 웨어러블 컴퓨팅 디바이스의 형태로 도시된다. 시스템(600)은 방법(100)을 실행하기 위해 구성될 수 있다. 도 6은 웨어러블 컴퓨팅 디바이스의 예로서 헤드-마운티드 디바이스(head-mounted device)(602)를 도시하지만, 다른 타입들의 웨어러블 컴퓨팅 디바이스들은 부가적으로 대안으로 사용될 수 있다. 도 6에서 도시되고 있는 것처럼, 헤드-마운티드 디바이스(602)는 렌즈 프레임들(604, 606) 및 중앙 프레임 지지대(608)를 포함하는 프레임 요소들, 렌즈 요소들(610, 612), 및 확장된 사이드-암들(614, 616)을 포함한다. 중앙 프레임 지지대(608) 및 확장된 사이드-암들(614, 616)은 사용자들의 코 및 귀들 각각을 통해 사용자의 얼굴에 헤드-마운티드 디바이스(602)를 고정시키기 위해 구성된다.
프레임 요소들(604, 606 및 608) 각각 및 확장된 사이드-암들(614 및 616)은 플라스틱 그리고/또는 금속의 고형 구조(solid structure)로 형성될 수 있거나, 또는 배선 및 컴포넌트 상호접속들이 헤드-마운티드 디바이스(602)를 통해 내부로 연결되는 것을 허용하도록 유사한 재료의 속이 텅빈 구조(hollow structure)로 형성될 수 있다. 다른 재료들도 가능할 수 있다.
하나 이상의 렌즈 요소들(610, 612) 각각은 투사된 이미지 또는 그래픽을 적합하게 디스플레이할 수 있는 임의의 재료로 형성될 수 있다. 렌즈 요소들 각각(610, 612)은, 또한, 사용자가 상기 렌즈 요소들을 통해 보는 것을 허용하도록 충분히 투명할 수 있다. 상기 렌즈 요소들의 이러한 2가지 특징들을 결합하는 것은, 투사된 이미지 또는 그래픽이 렌즈 요소들을 통해 사용자에 의해 감지되는 실제 세계의 시야 위에 중첩되는, 증강 현실(augmented reality) 또는 헤드-업 디스플레이를 용이하게 할 수 있다.
확장된 사이드-암들(614, 616)은 상기 렌즈들(604, 606) 각각으로부터 헤드-마운티드 디바이스(602)를 상기 사용자에게 고정시키도록 사용자의 귀 뒤에 위치될 수 있다. 확장된 사이드-암들(614, 616)은 사용자의 머리의 뒷부분 주변으로 확장됨으로써 상기 사용자에게 헤드-마운티드 디바이스(602)를 더 고정시킬 수 있다. 부가적으로 또는 대안으로, 예를 들어, 상기 시스템(600)은 헤드-마운티드 헬멧 구조에 접속되거나 헤드-마운티드 헬멧 구조 내에 부착될 수 있다. 다른 가능성들도 존재한다.
상기 시스템(600)은 또한 온-보드 컴퓨팅 시스템(618), 비디오 카메라(620), 센서(622), 및 손가락으로 동작가능한 터치 패드(624)를 포함할 수 있다. 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614)에 위치되는 것으로 도시된다; 하지만, 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 제공될 수 있거나, 또는 상기 헤드-마운티드 디바이스(602)로부터 멀리 위치될 수 있다(예를 들어, 상기 온-보드 컴퓨팅 시스템(618)은 상기 헤드-마운티드 디바이스(602)에 무선 또는 유선-접속될 수 있다). 상기 온-보드 컴퓨팅 시스템(618)은, 예를 들어, 프로세서 및 메모리를 포함할 수 있다. 상기 온-보드 컴퓨팅 시스템(618)은 비디오 카메라(620) 및 손가락으로 동작가능한 터치 패드(624)로부터 (그리고 가능하면 다른 감지 디바이스들, 사용자 인터페이스들 또는 둘다로부터) 데이터를 수신 및 분석하고 렌즈 요소들(610 및 612)에 의해 출력되는 이미지들을 생성하도록 구성될 수 있다.
상기 비디오 카메라(620)는 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614)에 위치되는 것으로 도시된다; 하지만, 상기 비디오 카메라(620)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 제공될 수 있다. 상기 비디오 카메라(620)는 다양한 해상도들로 또는 서로 다른 프레임 레이트들로 이미지를 캡쳐하도록 구성될 수 있다. 셀-폰들 또는 웹캠들에서 사용되는 것 같은 작은 폼 팩터(form-factor)를 갖는 많은 비디오 카메라들은 시스템(600)의 일 예에 포함될 수 있다.
또한, 도 6이 하나의 비디오 카메라(620)를 도시하지만, 많은 비디오 카메라들이 사용될 수 있고, 각각의 비디오 카메라는 동일한 시야를 캡쳐하기 위해 또는 서로 다른 시야들을 캡쳐하기 위해 구성될 수 있다. 예를 들어, 비디오 카메라(620)는 사용자에 의해 감지되는 상기 실제 세계의 시야의 적어도 일부분을 캡쳐하기 위해 앞으로 향할 수 있다. 이후, 상기 비디오 카메라(620)에 의해 캡쳐되는 이러한 앞으로 향하는 이미지는, 컴퓨터로 생성되는 이미지들이 상기 사용자에 의해 감지되는 실제 세계의 시야와 대화하도록 나타나는, 증강 현실을 생성하기 위해 사용될 수 있다.
상기 센서(622)는 상기 헤드-마운티드 디바이스(602)의 확장 사이드-암(616)상에 도시된다; 하지만, 상기 센서(622)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 위치될 수 있다. 상기 센서(622)는, 예를 들어, 하나 이상의 자이로스코프 또는 가속도계를 포함할 수 있다. 다른 감지 디바이스들은 상기 센서(622) 내에 또는 상기 센서(622)에 부착되어 포함될 수 있거나, 또는 다른 감지 기능들은 상기 센서(622)에 의해 수행될 수 있다.
상기 손가락으로 동작가능한 터치 패드(624)는 상기 헤드-마운티드 디바이스(602)의 확장된 사이드-암(614) 상에 도시된다. 하지만, 상기 손가락으로 동작가능한 터치 패드(624)는 상기 헤드-마운티드 디바이스(602)의 다른 부분들에 위치될 수 있다. 또한, 하나보다 많은 손가락으로 동작가능한 터치 패드가 상기 헤드-마운티드 디바이스(602)에 존재할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 명령어들을 입력하기 위해 사용자들에 의해 사용될 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 여러 가능성들 중에서, 정전용량 감지, 저항 감지, 또는 표면 탄성파 프로세스를 통해 손가락의 위치 및 움직임 중 적어도 하나를 감지할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 상기 패드 표면에 평행한 방향이거나 상기 패드 표면에 평면 방향, 상기 패드 표면의 법선 방향 또는 둘 모두의 방향으로 손가락 움직임을 감지할 수 있고, 그리고 또한 상기 터치 패드에 인가된 압력의 레벨을 감지할 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)는 하나 이상의 반투명하거나 또는 투명한 절연층들 및 하나 이상의 반투명하거나 투명한 도전층들로 구성될 수 있다. 상기 손가락으로 동작가능한 터치 패드(624)의 에지들은, 사용자의 손가락이 상기 손가락으로 동작가능한 터치 패드(624)의 에지 또는 다른 영역에 도달할 때 사용자에게 촉각적인 피드백을 제공하기 위해, 융기되거나, 둘쑥날쑥하거나, 또는 거친 표면을 갖도록 형성될 수 있다. 하나 보다 많은 손가락으로 동작가능한 터치 패드가 존재할 때, 손가락으로 동작가능한 터치 패드 각각은 독립적으로 동작가능할 수 있고, 그리고 서로 다른 기능을 제공할 수 있다.
도 7은 도 6에 도시된 상기 시스템(600)의 대안적인 모습을 나타낸다. 도 7에서 도시된 것처럼, 렌즈 요소들(610, 612)은 디스플레이 요소들로서 작동할 수 있다. 상기 헤드-마운티드 디바이스(602)는 상기 연장하는 사이드-암(616)의 내부 표면에 연결되고 상기 렌즈 요소(612)의 내부 표면 내부에 디스플레이(630)를 투사하도록 구성되는 제1 프로젝터(628)를 포함할 수 있다. 부가적으로 또는 대안으로, 제2 프로젝터(632)는 상기 확장된 사이드-암(614)의 내부 표면에 연결되고 상기 렌즈 요소(610)의 내부 표면에 디스플레이(634)를 투사하도록 구성될 수 있다.
상기 렌즈 요소들(610, 612)은 광 투사 시스템에서 결합기로서 작동할 수 있고, 상기 프로젝터들(628, 632)로부터 상기 렌즈 요소들(610, 612)에 투사된 광을 반사하는 코팅을 포함할 수 있다. 일부 실시예들에서, 반사 코팅은 (예를 들어, 상기 프로젝터들(628, 632)이 스캐닝 레이저 디바이스들일 때) 사용되지 않을 수 있다.
대안적인 실시예에서, 다른 타입들의 디스플레이 요소들이 또한 사용될 수 있다. 예를 들어, 렌즈 요소들(610, 612) 자체들은: 전자발광 디스플레이 또는 액정 디스플레이와 같은 투명 또는 반투명 매트릭스 디스플레이, 이미지를 사용자의 눈에 전달하는 하나 이상의 도파관들, 눈 가까운 곳에서 초점이 맞는 이미지(in focus near-to-eye image)를 사용자의 눈에 전달할 수 있는 다른 광학 요소들을 포함할 수 있다. 대응하는 디스플레이 드라이버는 그와 같은 매트릭스 디스플레이를 구동하는 프레임 요소들(604, 606) 내에 배치될 수 있다. 대안으로 또는 부가하여, 레이저 또는 LED 소스 및 스캐닝 시스템은 하나 이상의 사용자의 눈들의 망막에 직접 래스터 디스플레이(raster display)를 나타내기 위해 사용될 수 있다. 다른 가능성들도 존재한다.
도 8a는 데이터를 수신하고, 전송하고, 그리고 디스플레이하는 예시적인 시스템(800)을 나타낸다. 시스템(800)은 방법(100)을 실행하기 위해 구성될 수 있다. 상기 시스템(800)은 웨어러블 컴퓨팅 디바이스(802)의 형태로 도시된다. 상기 웨어러블 컴퓨팅 디바이스(802)는 도 6 및 도 7에 관하여 서술되는 것처럼, 프레임 요소들 및 사이드-암들을 포함할 수 있다. 상기 웨어러블 컴퓨팅 디바이스(802)는 추가적으로 도 6 및 도 7에 관하여 서술되는 것처럼, 온-보드 컴퓨팅 시스템(804) 및 비디오 카메라(806)를 포함할 수 있다. 상기 비디오 카메라(806)는 상기 웨어러블 컴퓨팅 디바이스(802)의 프레임 상에 장착되는 것으로 도시된다; 하지만, 상기 비디오 카메라(806)는 다른 위치들에서도 장착될 수 있다.
도 8a에 도시된 것처럼, 상기 웨어러블 컴퓨팅 디바이스(802)는 상기 디바이스에 연결될 수 있는 단일 디스플레이(808)를 포함할 수 있다. 상기 디스플레이(808)는 도 6 및 도 7에 관하여 서술되는 렌즈 요소와 같은, 상기 웨어러블 컴퓨팅 디바이스(802)의 렌즈 요소들 중 하나에 형성될 수 있고, 상기 물리적 세계의 사용자의 시야에 컴퓨터로 생성된 그래픽들을 오버레이하기 위해 구성될 수 있다. 상기 디스플레이(808)는 상기 웨어러블 컴퓨팅 디바이스(802)의 렌즈의 중심에 제공되도록 도시되지만, 상기 디스플레이(808)는 다른 위치들에 제공될 수 있다. 상기 디스플레이(808)는, 광 도파관(810)을 통해 디스플레이(808)에 결합되는 상기 컴퓨팅 시스템(804)을 통해 제어될 수 있다.
도 8b는 데이터를 수신하고, 전송하고, 그리고 디스플레이하는 예시적인 시스템(800)을 나타낸다. 시스템(820)은 방법(100)을 실행하기 위해 구성될 수 있다. 상기 시스템(820)은 웨어러블 컴퓨팅 디바이스(802)의 형태로 도시된다. 상기 웨어러블 컴퓨팅 디바이스(822)는 사이드-암들(823), 중앙 프레임 지지대(824), 및 코받이(825)를 갖는 브리지 부분을 포함할 수 있다. 도 8b에서 도시되는 예에서, 상기 중앙 프레임 지지대(824)는 상기 사이드-암들(823)에 연결된다. 상기 웨어러블 컴퓨팅 디바이스(822)는 렌즈 요소들을 포함하는 렌즈-프레임들을 포함하지 않는다. 상기 웨어러블 컴퓨팅 디바이스(822)는 추가적으로 도 6 및 도 7에 관하여 서술되는 것처럼, 온-보드 컴퓨팅 시스템(826) 및 비디오 카메라(828)를 포함할 수 있다.
상기 웨어러블 컴퓨팅 시스템(822)은 상기 사이드-암들(823) 또는 상기 중앙 프레임 지지대(824) 중 하나와 결합될 수 있는 단일 렌즈 요소(830)를 포함할 수 있다. 상기 렌즈 요소(830)는 도 6 및 도 7을 참조하여 서술되는 상기 디스플레이와 같은 디스플레이를 포함할 수 있고, 물리적 세계의 사용자의 시야에 컴퓨터로 생성된 그래픽들을 오버레이하기 위해 구성될 수 있다. 일 예에서, 단일 렌즈 요소(830)는 확장된 사이드-암(823)의 내측(즉, 상기 사용자에 의해 착용될 때 사람의 머리 부분에 노출되는 측면)에 연결될 수 있다. 상기 단일 렌즈 요소(830)는, 상기 웨어러블 컴퓨팅 디바이스(822)가 사용자에 의해 착용될 때, 사용자의 눈 앞에 또는 사용자의 눈에 근접하여 위치될 수 있다. 예를 들어, 상기 단일 렌즈 요소(830)는, 도 8b에서 도시된 것처럼, 상기 중앙 프레임 지지대(824) 아래에 위치될 수 있다.
도 9는 예시적인 컴퓨터 네트워크 구조의 개략적인 도면을 나타낸다. 시스템(900)에서, 디바이스(910)는 통신 링크(920)(예를 들어, 유선 또는 무선 접속)를 사용하여 원격 디바이스(930)와 통신한다. 상기 디바이스(910)는 데이터를 수신할 수 있고 상기 데이터에 대응하거나 상기 데이터와 관련되는 정보를 디스플레이할 수 있는 임의의 타입 디바이스일 수 있다. 예를 들어, 상기 디바이스(910)는 도 6-8b을 참조하여 서술되는 헤드-마운티드 디바이스(602, 800 또는 820)와 같은 헤드-업 디스플레이 시스템일 수 있다.
따라서, 상기 디바이스(910)는 프로세서(914) 및 디스플레이(916)를 포함하는 디스플레이 시스템(912)을 포함할 수 있다. 상기 디스플레이(910)는, 예를 들어, 광 시-스루(optical see-through) 디스플레이, 광 시-어라운드(optical see-around) 디스플레이, 또는 비디오 시-스루 디스플레이일 수 있다. 상기 프로세서(914)는 상기 원격 디바이스(930)으로부터 데이터를 수신할 수 있고, 상기 디스플레이(916) 상에 디스플레이하기 위해 상기 데이터를 구성할 수 있다. 상기 프로세서(914)는, 예를 들어, 마이크로-프로세서 또는 디지털 신호 프로세서와 같은 임의의 타입의 프로세서가 될 수 있다.
상기 디바이스(910)는, 또한, 상기 프로세서(914)에 결합된 메모리(918)와 같은 온-보드 데이터 저장장치를 더 포함할 수 있다. 상기 메모리(918)는, 예를 들어, 상기 프로세서(914)에 의해 액세스되고 실행될 수 있는 소프트웨어를 저장할 수 있다.
데이터를 상기 디바이스(910)에 전송하도록 구성되는 상기 원격 디바이스(930)는 랩톱 컴퓨터, 모바일 전화, 또는 태블릿 컴퓨팅 디바이스 등을 포함하는 임의의 타입의 컴퓨팅 디바이스 또는 전송기가 될 수 있다. 상기 원격 디바이스(930) 및 상기 디바이스(910)는, 상기 통신 링크(920)를 인에이블(enable)하도록, 프로세서들, 송신기들, 수신기들, 안테나들 등과 같은 하드웨어를 포함할 수 있다.
도 9에서, 상기 통신 링크(920)는 무선 접속으로 도시되지만, 유선 접속들도 사용될 수 있다. 예를 들어, 상기 통신 링크(920)는 USB(universal serial bus)와 같은 유선 직렬 버스 또는 병렬 버스일 수 있다. 유선 접속은 독점적 연결이 될 수도 있다. 또한, 상기 통신 링크(920)는, 여러 가능성들 중에서, 예를 들어, Bluetooth® 무선 기술, IEEE 802.11(IEEE 802.11 개정 포함)에서 서술되는 통신 프로토콜들, 셀룰러 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등), 또는 Zigbee® 기술을 사용하여 무선 접속이 될 수 있다. 상기 원격 디바이스(930)은 인터넷을 통해 액세스될 수 있고, 특정 웹 페이지(예를 들어, 소셜-네트워킹, 포토-세어링, 어드레스 북 등)와 관련된 컴퓨팅 클러스터를 포함할 수 있다.
도 9를 참조하여, 디바이스(910)는 방법(100)의 단계들을 수행할 수 있다. 특히, 방법(100)은 비-일시적인 컴퓨터 판독가능 매체에 저장되는 명령어들을 실행할 때 프로세서(900)에 의해 수행되는 동작들에 대응할 수 있다. 일 예에서, 상기 비-일시적인 컴퓨터 판독가능한 매체는 메모리(918)의 일부가 될 수 있다. 상기 비-일시적인 컴퓨터 판독가능한 매체는, 상기 프로세서(914)가 여러 동작들을 수행하도록 상기 프로세서(914)의 실행에 응답하여, 명령어들을 저장할 수 있다. 상기 명령어들은: (a) 웨어러블 컴퓨팅 시스템에 의해 검출된 사운드에 대응하는 오디오 데이터를 수신하는 명령어들; (b) (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 명령어들; 및 (c) 상기 웨어러블 컴퓨팅 시스템이 (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들을 포함할 수 있다. 또한, 일 예에서, 상기 명령어들은 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 더 포함할 수 있다
Ⅳ. 결론
본 명세서에서 기술된 구성들은 단지 예시의 목적임을 또한 이해해야한다. 그와 같이, 당업자는 다른 배열들 및 다른 요소들(예를 들어, 기계들, 인터페이스들, 기능들, 순서들, 및 기능들의 그룹화 등)이 대신 사용될 수 있고, 일부 요소들은 원하는 결과들에 따라 함께 생략될 수 있다. 또한, 본 명세서에서 기술되는 많은 요소들은 어떤 적합한 조합 및 위치에서, 분산 또는 분포된 구성요소들로서 또는 다른 구성 요소들과 결합하여 구현될 수 있는 기능적인 엔티티들이다.
본 명세서에서 논의된 상기 시스템들 및 방법들은 사용자들에 관한 임의의 개인적인 정보 또는 사용자들의 개인적인 정보와 관련될 수 있는 정보를 수집하고 그리고/또는 사용하는 상황들에 대해, 상기 사용자들은 그와 같은 개인 정보(예를 들어, 사용자의 선호들에 관한 정보)을 포함하는 프로그램들 또는 특징들에 참여하기 위한/참여하지 않기 위한 기회가 제공될 수 있다. 또한, 특정 데이터가 저장되거나 사용되기 전에 하나 이상의 방식들로 익명화될 수 있어, 개인적으로 식별가능한 정보는 제거된다. 예를 들어, 사용자의 식별이 익명화될 수 있어 개인적으로 식별가능한 어떤 정보도 사용자에 대해 결정될 수 없고, 임의의 식별된 사용자 선호들 또는 사용자 상호작용들은 특정 사용자에 관련되기 보단 일반화(예를 들어, 사용자 데모그래픽들에 기초하여 일반화)된다.
여러 측면들 및 실시예들이 본 명세서에서 기술되었지만, 다른 측면들 및 실시예들이 당업자들에게 명확할 것이다. 본 명세서에서 기술된 여러 양상들 및 실시예들은 제한적으로 의도된 것이 아니며, 발명의 진정한 범위 및 정신은, 그 등가물들의 전체 범위와 함께 다음의 특허청구범위에 의해 정의된다. 또한, 본 명세서들에서 사용된 용어들은 특별한 실시예들을 기술할 목적에서 사용된 것이며 제한적인 것으로 의도되지 않는 것임이 또한 이해될 것이다.

Claims (20)

  1. 컴퓨터로 구현되는 방법에 있어서,
    웨어러블 컴퓨팅 시스템(wearable computing system)에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하는 단계와;
    (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
    상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 포함하고,
    상기 웨어러블 컴퓨팅 시스템은, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  2. 제 1 항에 있어서,
    상기 웨어러블 컴퓨팅 시스템의 디스플레이는 처음에는 전원이 꺼지고,
    상기 방법은:
    상기 세기 레벨을 결정한 후, 상기 세기 레벨이 특정 임계 레벨을 넘는다고 결정하는 단계와; 그리고
    상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  3. 제 1 항에 있어서,
    상기 하나 이상의 표시들은 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 나타내는 단일 그래픽 표시들을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  4. 제 3 항에 있어서,
    상기 단일 그래픽 표시는 화살표(arrow)인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  5. 제 4 항에 있어서,
    상기 사운드의 세기 레벨은 시간에 따라 변하고, 상기 화살표의 크기는 상기 변하는 세기 레벨에 기초하여 변하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 표시들은 (i) 상기 사운드의 소스의 방향을 나타내는 제1 표시 및 (ii) 상기 사운드의 세기 레벨을 나타내는 제2 표시를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  7. 제 6 항에 있어서,
    상기 제1 표시는 화살표이고, 상기 제2 표시는 세기 미터(intensity meter)인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  8. 제 1 항에 있어서,
    상기 사운드의 세기 레벨은 시간에 따라 변하고, 상기 하나 이상의 표시들은 상기 세기 레벨과 동조하여(in phase) 변하는 상기 세기 레벨과 관련된 표시를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  9. 제 1 항에 있어서,
    상기 하나 이상의 표시들을 디스플레이하는 단계는 상기 사운드의 서로 다른 세기 레벨들에 대해 서로 다른 컬러들을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  10. 제 1 항에 있어서,
    상기 하나 이상의 표시들은 세기 미터(intensity meter)를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  11. 제 1 항에 있어서,
    상기 웨어러블 컴퓨팅 시스템은 상기 웨어러블 컴퓨팅 시스템의 실제 세계 환경(real-world environment)의 시야(view)를 제공하고,
    상기 방법은:
    상기 사운드의 소스가 상기 시야의 바깥에 위치하는지 또는 상기 시야의 주변 안에 위치하는지를 결정하는 단계를 더 포함하고,
    상기 하나 이상의 표시들은 상기 시야의 주변에 발광 신호(flashing light)를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  12. 제 1 항에 있어서,
    상기 사운드는 말(speech)을 포함하고, 상기 방법은:
    상기 말의 텍스트를 결정하는 말-대-텍스트 특징과; 그리고
    상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 스피치의 텍스트를 디스플레이하도록 하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  13. 제 1 항에 있어서,
    웨어러블 컴퓨팅 시스템에 의해 검출되는 제2 사운드에 대응하는 오디오 데이터를 수신하는 단계와;
    (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 제2 사운드의 소스의 방향 - 상기 제2 사운드의 방향은 상기 사운드의 방향과는 서로 다르고 - 및 (ii) 상기 제2 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
    상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 제2 사운드의 소스의 방향 및 (ii) 상기 제2 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  14. 제 1 항에 있어서,
    상기 사운드의 소스를 결정하기 위해 상기 오디오 데이터를 분석하는 단계와; 그리고
    상기 판독가능한 컴퓨팅 시스템으로 하여금 다른 표시를 디스플레이하도록 하는 단계를 더 포함하고,
    상기 다른 표시는 상기 사운드의 소스를 나타내는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  15. 제 14 항에 있어서,
    상기 다른 표시는 상기 사운드의 소스를 서술하는 텍스트 표시인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  16. 제 14 항에 있어서,
    상기 다른 표시는 상기 사운드의 소스에 대응하는 비디오인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  17. 명령어들을 저장하는 비-일시적인(non-transitory computer readable medium) 컴퓨터 판독가능한 매체에 있어서,
    프로세서에 의한 실행에 응답하여, 상기 명령어들은 상기 프로세서로 하여금 동작들을 수행하도록 하고, 상기 명령어들은:
    웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하기 위한 명령어들과;
    (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하기 위한 명령어들과;
    상기 웨어러블 컴퓨팅 시스템으로 하여금, (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 하는 명령어들과; 그리고
    상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하도록 조절하는 명령어들을 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  18. 제 17 항에 있어서,
    상기 하나 이상의 표시들은 (i) 상기 판독가능한 컴퓨팅 시스템으로부터 상기 소스의 방향 및 (ii) 상기 세기 레벨 둘다를 나타내는 단일 그래픽 표시들을 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  19. 웨어러블 컴퓨팅 시스템에 있어서,
    헤드-마운티드 디스플레이(head-mounted display) - 상기 헤드-마운티드 디스플레이는 컴퓨터로 생성되는 정보를 디스플레이하고, 그리고 실제-세계 환경(real-world environment)의 시각적 지각을 허용하도록 구성되고 - 와;
    제어기 - 상기 제어기는 웨어러블 컴퓨팅 시스템에 의해 검출되는 사운드에 대응하는 오디오 데이터를 수신하도록 그리고 (i) 상기 웨어러블 컴퓨팅 시스템으로부터의 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨 둘다를 결정하기 위해 상기 오디오 데이터를 분석하도록 구성되고 - 와; 그리고
    디스플레이 시스템을 포함하고,
    상기 디스플레이 시스템은 (i) 상기 사운드의 소스의 방향 및 (ii) 상기 사운드의 세기 레벨을 나타내는 하나 이상의 표시들을 디스플레이하도록 구성되고,
    상기 제어기는, 상기 웨어러블 컴퓨팅 시스템으로 하여금 상기 세기 레벨이 특정 임계 레벨을 넘을 때 상기 하나 이상의 표시들을 디스플레이하게끔 조절하도록 된 것을 특징으로 하는 웨어러블 컴퓨팅 시스템.
  20. 제 19 항에 있어서,
    상기 디스플레이 시스템의 디스플레이는 처음에는 전원이 꺼지고,
    상기 제어기는, 상기 세기 레벨을 결정한 후, 상기 세기 레벨이 특정 임계 레벨을 넘는다고 결정하도록 더 구성되고; 그리고
    상기 디스플레이 시스템은, 상기 세기 레벨이 상기 특정 임계 레벨을 넘는다고 결정하는 것에 응답하여, 상기 하나 이상의 표시들을 디스플레이하기 위해 상기 디스플레이를 활성화하도록 더 구성되는 것을 특징으로 하는 웨어러블 컴퓨팅 시스템.
KR1020147012981A 2011-11-14 2012-10-16 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이 KR101668165B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/295,953 2011-11-14
US13/295,953 US8183997B1 (en) 2011-11-14 2011-11-14 Displaying sound indications on a wearable computing system
PCT/US2012/060342 WO2013074234A1 (en) 2011-11-14 2012-10-16 Displaying sound indications on a wearable computing system

Publications (2)

Publication Number Publication Date
KR20140091552A true KR20140091552A (ko) 2014-07-21
KR101668165B1 KR101668165B1 (ko) 2016-10-20

Family

ID=46061263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147012981A KR101668165B1 (ko) 2011-11-14 2012-10-16 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이

Country Status (6)

Country Link
US (3) US8183997B1 (ko)
EP (1) EP2780757A4 (ko)
JP (1) JP5881263B2 (ko)
KR (1) KR101668165B1 (ko)
CN (1) CN103946733B (ko)
WO (1) WO2013074234A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094138A (ko) * 2014-12-12 2017-08-17 인텔 코포레이션 웨어러블 오디오 믹싱
WO2019107719A1 (ko) * 2017-11-29 2019-06-06 삼성전자 주식회사 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007147077A2 (en) 2006-06-14 2007-12-21 Personics Holdings Inc. Earguard monitoring system
WO2008008730A2 (en) 2006-07-08 2008-01-17 Personics Holdings Inc. Personal audio assistant device and method
US11450331B2 (en) 2006-07-08 2022-09-20 Staton Techiya, Llc Personal audio assistant device and method
US8917894B2 (en) 2007-01-22 2014-12-23 Personics Holdings, LLC. Method and device for acute sound detection and reproduction
WO2008095167A2 (en) 2007-02-01 2008-08-07 Personics Holdings Inc. Method and device for audio recording
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
WO2008124786A2 (en) 2007-04-09 2008-10-16 Personics Holdings Inc. Always on headwear recording system
US11317202B2 (en) 2007-04-13 2022-04-26 Staton Techiya, Llc Method and device for voice operated control
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
US10194032B2 (en) 2007-05-04 2019-01-29 Staton Techiya, Llc Method and apparatus for in-ear canal sound suppression
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
US8594338B2 (en) * 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US10009677B2 (en) 2007-07-09 2018-06-26 Staton Techiya, Llc Methods and mechanisms for inflation
ITUD20070127A1 (it) * 2007-07-16 2009-01-17 Eurotech S P A Apparecchiatura elettronica indossabile
US8488799B2 (en) 2008-09-11 2013-07-16 Personics Holdings Inc. Method and system for sound monitoring over a network
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
US9129291B2 (en) 2008-09-22 2015-09-08 Personics Holdings, Llc Personalized sound management and method
US8554350B2 (en) 2008-10-15 2013-10-08 Personics Holdings Inc. Device and method to reduce ear wax clogging of acoustic ports, hearing aid sealing system, and feedback reduction system
WO2010094033A2 (en) 2009-02-13 2010-08-19 Personics Holdings Inc. Earplug and pumping systems
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US11275482B2 (en) * 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
JPWO2011122522A1 (ja) * 2010-03-30 2013-07-08 日本電気株式会社 感性表現語選択システム、感性表現語選択方法及びプログラム
EP2586216A1 (en) 2010-06-26 2013-05-01 Personics Holdings, Inc. Method and devices for occluding an ear canal having a predetermined filter characteristic
CN103688245A (zh) 2010-12-30 2014-03-26 安比恩特兹公司 利用一群数据获取装置进行信息处理
JP6001239B2 (ja) * 2011-02-23 2016-10-05 京セラ株式会社 通信機器
US10356532B2 (en) 2011-03-18 2019-07-16 Staton Techiya, Llc Earpiece and method for forming an earpiece
US10362381B2 (en) 2011-06-01 2019-07-23 Staton Techiya, Llc Methods and devices for radio frequency (RF) mitigation proximate the ear
US20130002425A1 (en) * 2011-07-01 2013-01-03 General Electric Company Augmented reality excessive noise display and warning system
TW201316328A (zh) * 2011-10-14 2013-04-16 Hon Hai Prec Ind Co Ltd 聲音反饋裝置及其工作方法
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
WO2014039026A1 (en) 2012-09-04 2014-03-13 Personics Holdings, Inc. Occlusion device capable of occluding an ear canal
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US9691377B2 (en) * 2013-07-23 2017-06-27 Google Technology Holdings LLC Method and device for voice recognition training
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
TWI534475B (zh) 2012-12-21 2016-05-21 財團法人工業技術研究院 虛像顯示裝置
US10043535B2 (en) 2013-01-15 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US9880615B2 (en) * 2013-02-15 2018-01-30 Seiko Epson Corporation Information processing device and control method for information processing device
JP2015087695A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
US9129515B2 (en) * 2013-03-15 2015-09-08 Qualcomm Incorporated Ultrasound mesh localization for interactive systems
US9536453B2 (en) 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment
US9264824B2 (en) 2013-07-31 2016-02-16 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
US11170089B2 (en) 2013-08-22 2021-11-09 Staton Techiya, Llc Methods and systems for a voice ID verification database and service in social networking and commercial business transactions
US9167082B2 (en) 2013-09-22 2015-10-20 Steven Wayne Goldstein Methods and systems for voice augmented caller ID / ring tone alias
US10405163B2 (en) * 2013-10-06 2019-09-03 Staton Techiya, Llc Methods and systems for establishing and maintaining presence information of neighboring bluetooth devices
US9500515B2 (en) * 2013-10-21 2016-11-22 Mass Moment LLC Multifunctional wearable audio-sensing electronic device
US20150110277A1 (en) * 2013-10-22 2015-04-23 Charles Pidgeon Wearable/Portable Device and Application Software for Alerting People When the Human Sound Reaches the Preset Threshold
US10045135B2 (en) 2013-10-24 2018-08-07 Staton Techiya, Llc Method and device for recognition and arbitration of an input connection
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US9171447B2 (en) 2014-03-14 2015-10-27 Lenovo Enterprise Solutions (Sinagapore) Pte. Ltd. Method, computer program product and system for analyzing an audible alert
US10739187B2 (en) * 2014-06-02 2020-08-11 Rosemount Inc. Industrial audio noise monitoring system
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US9489809B1 (en) * 2014-06-24 2016-11-08 Heads Up Display Inc. Wearable indicator devices and methods of using same
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
DE102014218832A1 (de) 2014-09-18 2016-03-24 Siemens Aktiengesellschaft Computerimplementiertes Verfahren zur Einstellung und Betriebsverbesserung mindestens eines Hörgeräts, ein entsprechendes Hörgerät sowie ein entsprechendes am Kopf tragbares Gerät
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
KR20160055337A (ko) * 2014-11-07 2016-05-18 삼성전자주식회사 텍스트 표시 방법 및 그 전자 장치
EP3220372B1 (en) * 2014-11-12 2019-10-16 Fujitsu Limited Wearable device, display control method, and display control program
WO2016075782A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
EP3220374A4 (en) * 2014-11-12 2018-07-18 Fujitsu Limited Wearable device, display control method, and display control program
US10413240B2 (en) 2014-12-10 2019-09-17 Staton Techiya, Llc Membrane and balloon systems and designs for conduits
AU2015371631B2 (en) 2014-12-23 2020-06-18 Timothy DEGRAYE Method and system for audio sharing
DE102015207134A1 (de) * 2015-04-20 2016-10-20 Prüftechnik Dieter Busch AG Verfahren zum Erfassen von Vibrationen einer Vorrichtung und Vibrationserfassungssystem
US10709388B2 (en) 2015-05-08 2020-07-14 Staton Techiya, Llc Biometric, physiological or environmental monitoring using a closed chamber
US10418016B2 (en) 2015-05-29 2019-09-17 Staton Techiya, Llc Methods and devices for attenuating sound in a conduit or chamber
US9703864B2 (en) 2015-07-23 2017-07-11 At&T Intellectual Property I, L.P. Directional location of sound sources
WO2017024359A1 (en) * 2015-08-13 2017-02-16 Prospect Silver Limited A visual aid system
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
CA3169076A1 (en) 2015-09-16 2017-03-23 Magic Leap, Inc. Head pose mixing of audio files
US10444850B2 (en) * 2015-09-28 2019-10-15 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device
US9747814B2 (en) * 2015-10-20 2017-08-29 International Business Machines Corporation General purpose device to assist the hard of hearing
WO2017066992A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示设备、提示信息显示系统及方法
US10752262B2 (en) * 2015-10-29 2020-08-25 Ford Global Technologies, Llc In-vehicle haptic output
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
WO2017091019A1 (en) * 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10616693B2 (en) 2016-01-22 2020-04-07 Staton Techiya Llc System and method for efficiency among devices
CN105632096A (zh) * 2016-02-23 2016-06-01 傅华 个人可穿戴的环境声音检测报警装置及其方法
US20170303052A1 (en) * 2016-04-18 2017-10-19 Olive Devices LLC Wearable auditory feedback device
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
GB2557594B (en) 2016-12-09 2020-01-01 Sony Interactive Entertainment Inc Image processing system and method
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
CN107168518B (zh) * 2017-04-05 2020-06-23 北京小鸟看看科技有限公司 一种用于头戴显示器的同步方法、装置及头戴显示器
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
CN110771179B (zh) 2017-05-29 2021-12-31 铁三角有限公司 信号处理装置
JP2019057047A (ja) 2017-09-20 2019-04-11 株式会社東芝 表示制御システム、表示制御方法及びプログラム
US10405082B2 (en) 2017-10-23 2019-09-03 Staton Techiya, Llc Automatic keyword pass-through system
US11074906B2 (en) * 2017-12-07 2021-07-27 Hed Technologies Sarl Voice aware audio system and method
CN108852620A (zh) * 2018-01-19 2018-11-23 郭磊 智能颈戴设备及其控制方法
CN108389584B (zh) * 2018-01-31 2021-03-19 深圳市科迈爱康科技有限公司 声音分析方法及装置
US11638084B2 (en) 2018-03-09 2023-04-25 Earsoft, Llc Eartips and earphone devices, and systems and methods therefor
US10817252B2 (en) 2018-03-10 2020-10-27 Staton Techiya, Llc Earphone software and hardware
US11607155B2 (en) 2018-03-10 2023-03-21 Staton Techiya, Llc Method to estimate hearing impairment compensation function
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法
US10951994B2 (en) 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
US11488590B2 (en) 2018-05-09 2022-11-01 Staton Techiya Llc Methods and systems for processing, storing, and publishing data collected by an in-ear device
US11122354B2 (en) 2018-05-22 2021-09-14 Staton Techiya, Llc Hearing sensitivity acquisition methods and devices
US11032664B2 (en) 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
CN108877407A (zh) * 2018-06-11 2018-11-23 北京佳珥医学科技有限公司 用于辅助交流的方法、装置和系统及增强现实眼镜
JP7177631B2 (ja) * 2018-08-24 2022-11-24 本田技研工業株式会社 音響シーン再構成装置、音響シーン再構成方法、およびプログラム
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
JP7295732B2 (ja) * 2019-07-23 2023-06-21 株式会社ミツトヨ 音響測定装置およびプログラム
WO2021021750A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Dynamics processing across devices with differing playback capabilities
US11328692B2 (en) 2019-08-06 2022-05-10 Alexandra Cartier Head-mounted situational awareness system and method of operation
CN112423190A (zh) 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN110691300B (zh) * 2019-09-12 2022-07-19 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法
US20210102976A1 (en) * 2019-10-04 2021-04-08 International Business Machines Corporation Spur detection in a sampled waveform in a mixed analog/digital system using the magnitude of the frequency response
US11055533B1 (en) * 2020-01-02 2021-07-06 International Business Machines Corporation Translating sound events to speech and AR content
WO2021142242A1 (en) * 2020-01-08 2021-07-15 Format Civil Engineering Ltd. Systems, and programs for visualization of auditory signals
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
NO345385B1 (no) * 2020-03-24 2021-01-11 Sansoglys As Anordning og fremgangsmåte for måling og visualisering av lydnivå
JP7484580B2 (ja) 2020-08-28 2024-05-16 日本精工株式会社 異常診断装置および異常診断方法
US11804113B1 (en) * 2020-08-30 2023-10-31 Apple Inc. Visual indication of audibility
FR3115103B1 (fr) * 2020-10-12 2023-05-12 Renault Sas Dispositif et procédé de mesure et de visualisation d’un champ sonore
CN116670618A (zh) * 2021-01-21 2023-08-29 三星电子株式会社 从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法
KR20220105893A (ko) * 2021-01-21 2022-07-28 삼성전자주식회사 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법
US11470439B1 (en) 2021-06-02 2022-10-11 Meta Platforms Technologies, Llc Adjustment of acoustic map and presented sound in artificial reality systems
US11372620B1 (en) 2021-08-11 2022-06-28 Family Tech Innovations, LLC Voice monitoring system and method
US20230122450A1 (en) * 2021-10-20 2023-04-20 Google Llc Anchored messages for augmented reality
US11975264B2 (en) * 2022-05-31 2024-05-07 Sony Interactive Entertainment LLC Gaze-based coordination of virtual effects indicators

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096028A (ko) * 2005-01-21 2007-10-01 로렌스 케이츠 청각장애인을 위한 관리 및 보조 시스템
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP2011188025A (ja) * 2010-03-04 2011-09-22 Chubu Electric Power Co Inc 音源推定方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277980A (en) * 1979-03-12 1981-07-14 Reine H. Pendleton Apparatus and method for indicating sound levels
US4949580A (en) * 1989-05-31 1990-08-21 Graham John F Audio analysis system
EP0695109B1 (en) * 1994-02-14 2011-07-27 Sony Corporation Device for reproducing video signal and audio signal
JP3796776B2 (ja) 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US5774558A (en) * 1995-10-30 1998-06-30 Rsq, Llc Sound imager
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
JP4868671B2 (ja) * 2001-09-27 2012-02-01 中部電力株式会社 音源探査システム
WO2002033541A2 (en) 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
US6629076B1 (en) 2000-11-27 2003-09-30 Carl Herman Haken Method and device for aiding speech
JP3988632B2 (ja) 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
US20070136064A1 (en) 2003-04-16 2007-06-14 Carroll David W Mobile personal computer with movement sensor
US7579958B2 (en) * 2003-06-03 2009-08-25 Wallace Henry B Audio power meter
US20050071158A1 (en) 2003-09-25 2005-03-31 Vocollect, Inc. Apparatus and method for detecting user speech
ATE502311T1 (de) 2003-10-10 2011-04-15 Harman Becker Automotive Sys System und verfahren zur bestimmung der position einer schallquelle
US7199720B1 (en) * 2003-11-19 2007-04-03 Michael Shapiro Hearing protection warning device
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
AU2005269256B2 (en) 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
JP4204541B2 (ja) 2004-12-24 2009-01-07 株式会社東芝 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US8160261B2 (en) * 2005-01-18 2012-04-17 Sensaphonics, Inc. Audio monitoring system
US20060238550A1 (en) * 2005-03-17 2006-10-26 Symagery Microsystems Inc. Hands-free data acquisition system
US8077872B2 (en) * 2005-04-05 2011-12-13 Logitech International, S.A. Headset visual feedback system
US8081576B2 (en) 2005-06-24 2011-12-20 Thomson Licensing Multipath searcher results sorting method
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
EP2183742A2 (en) 2007-07-31 2010-05-12 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
CN101442637B (zh) * 2007-11-23 2011-01-26 瑞昱半导体股份有限公司 电视音频标准辨识装置及方法
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
FR2938396A1 (fr) * 2008-11-07 2010-05-14 Thales Sa Procede et systeme de spatialisation du son par mouvement dynamique de la source
JP4849121B2 (ja) * 2008-12-16 2012-01-11 ソニー株式会社 情報処理システムおよび情報処理方法
JP5409786B2 (ja) * 2009-06-17 2014-02-05 パナソニック株式会社 補聴装置
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
DE102009045204A1 (de) * 2009-09-30 2011-04-28 Endress + Hauser Gmbh + Co. Kg Verfahren zur Bestimmung und/oder Überwachung mindestens einer physikalischen Prozessgröße
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US9185509B2 (en) * 2009-12-23 2015-11-10 Nokia Technologies Oy Apparatus for processing of audio signals
KR101157928B1 (ko) 2010-03-15 2012-06-22 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법
CN101916569B (zh) * 2010-08-03 2015-05-06 北京中星微电子有限公司 一种显示声音的方法和装置
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096028A (ko) * 2005-01-21 2007-10-01 로렌스 케이츠 청각장애인을 위한 관리 및 보조 시스템
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP2011188025A (ja) * 2010-03-04 2011-09-22 Chubu Electric Power Co Inc 音源推定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094138A (ko) * 2014-12-12 2017-08-17 인텔 코포레이션 웨어러블 오디오 믹싱
WO2019107719A1 (ko) * 2017-11-29 2019-06-06 삼성전자 주식회사 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
KR20190063281A (ko) * 2017-11-29 2019-06-07 삼성전자주식회사 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
US11570507B2 (en) 2017-11-29 2023-01-31 Samsung Electronics Co., Ltd. Device and method for visually displaying speaker's voice in 360-degree video

Also Published As

Publication number Publication date
US20130279705A1 (en) 2013-10-24
JP2015510283A (ja) 2015-04-02
EP2780757A4 (en) 2015-08-19
EP2780757A1 (en) 2014-09-24
CN103946733A (zh) 2014-07-23
US9838814B2 (en) 2017-12-05
WO2013074234A1 (en) 2013-05-23
US20130124204A1 (en) 2013-05-16
US8493204B2 (en) 2013-07-23
US8183997B1 (en) 2012-05-22
CN103946733B (zh) 2017-12-05
JP5881263B2 (ja) 2016-03-09
KR101668165B1 (ko) 2016-10-20

Similar Documents

Publication Publication Date Title
KR101668165B1 (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
US9779758B2 (en) Augmenting speech segmentation and recognition using head-mounted vibration and/or motion sensors
US9720083B2 (en) Using sounds for determining a worn state of a wearable computing device
US10638248B1 (en) Generating a modified audio experience for an audio system
US20230120601A1 (en) Multi-mode guard for voice commands
US10289205B1 (en) Behind the ear gesture control for a head mountable device
US9547175B2 (en) Adaptive piezoelectric array for bone conduction receiver in wearable computers
US9547365B2 (en) Managing information display
US20130094682A1 (en) Augmented reality sound notification system
JP6551417B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US12032155B2 (en) Method and head-mounted unit for assisting a hearing-impaired user
US9880615B2 (en) Information processing device and control method for information processing device
WO2015142893A1 (en) Dual-element mems microphone for mechanical vibration noise cancellation
KR101421046B1 (ko) 안경 및 그 제어방법
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101455830B1 (ko) 안경 및 그 제어방법
JP2015087695A (ja) 情報処理装置および情報処理装置の制御方法
JP6201332B2 (ja) 音処理装置
US20230132041A1 (en) Response to sounds in an environment based on correlated audio and user events
WO2020178961A1 (ja) ヘッドマウント情報処理装置
CN118672389A (zh) 响应于确定用户注意力的转移来修改用户环境中的声音
KR20200136245A (ko) 맵시 해석을 이용한 청각장애인용 안경스타일 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right