KR20180109910A - 증강 현실 시스템에서 오디오를 지향시키기 위한 기법 - Google Patents

증강 현실 시스템에서 오디오를 지향시키기 위한 기법 Download PDF

Info

Publication number
KR20180109910A
KR20180109910A KR1020187022403A KR20187022403A KR20180109910A KR 20180109910 A KR20180109910 A KR 20180109910A KR 1020187022403 A KR1020187022403 A KR 1020187022403A KR 20187022403 A KR20187022403 A KR 20187022403A KR 20180109910 A KR20180109910 A KR 20180109910A
Authority
KR
South Korea
Prior art keywords
end user
end users
sound
virtual image
sound source
Prior art date
Application number
KR1020187022403A
Other languages
English (en)
Inventor
죠지 알리스타 생어
사무엘 에이. 밀러
브라이언 슈미트
아나스타샤 안드레예브나 타지크
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180109910A publication Critical patent/KR20180109910A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Processing Or Creating Images (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

보청기는 실제 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 센서, 사운드들을 전기 신호들로 변환하도록 구성된 마이크로폰 어셈블리, 전기 신호들을 사운드들로 변환하도록 구성된 스피커, 및 검출된 포커스에 기반하여 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템을 포함한다. 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리, 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 센서, 사운드들을 최종 사용자에게 전달하도록 구성된 스피커, 및 포커스의 검출에 대한 응답으로 스피커가 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하고, 그리고 장면의 이미지 프레임들을 렌더링하도록 구성된 제어 서브시스템, 및 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템을 포함한다.

Description

증강 현실 시스템에서 오디오를 지향시키기 위한 기법
[0001] 본 발명은 일반적으로 머리 착용 보청기 디바이스들, 이를테면 증강 현실 환경들에 사용될 수 있는 디바이스들에 관한 것이다.
[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(AR) 시나리오는 통상적으로 최종 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0003] 예컨대, 도 1을 참조하면, 증강 현실 장면(4)이 도시되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(8)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 외에, AR 기술의 최종 사용자는 또한, 그가 실세계 플랫폼(8) 상에 서있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(12)(심지어 이들 엘리먼트들(10, 12)은 실세계에 존재하지 않음)를 보는 것을 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0004] VR 및 AR 시스템들은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 최종 사용자의 머리가 움직일 때 움직이는 머리-착용 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)을 이용한다. 최종 사용자의 머리 모션(motion)들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)의 변화를 고려하기 위하여 업데이트될 수 있다.
[0005] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 그 3D 객체는 각각의 뷰포인트(viewpoint)에 대해 재-렌더링될 수 있고, 이는, 최종 사용자에게 그가 실제 공간을 차지하는 객체를 둘러본다는 인식을 제공한다. 머리-착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는데 사용되면, 머리 포즈의 측정들은 최종 사용자의 동적으로 변화하는 머리 위치 및 배향을 매칭시키기 위하여 장면을 재-렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하기 위해 사용될 수 있다.
[0006] AR을 인에이블하는(즉, 실제 및 가상 객체들의 동시 보기) 머리-착용 디스플레이들은 몇몇 상이한 타입들의 구성들을 가질 수 있다. 종종 "비디오 시-스루(see-through)" 디스플레이라 지칭되는 하나의 그런 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡처된 실제 장면 상에 슈퍼임포즈(superimpose)하고, 그리고 불-투명 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 종종 "광학 시-스루" 디스플레이로서 지칭되고, 여기서 최종 사용자는 디스플레이 시스템 내의 투명(또는 반-투명) 엘리먼트들을 시 스루하여 환경 내의 실제 객체들로부터의 광을 직접 뷰잉(view)할 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실세계의 최종 사용자의 뷰 위에 슈퍼임포즈한다.
[0007] 사용자에게 VR/AR 경험을 향상시키기 위해, 실제 사운드 소스들에 의해 생성된 사운드 및/또는 가상 사운드 소스들에 의해 생성된 사운드는 머리-착용 디스플레이에 통합되거나 그렇지 않으면 연결되는 스피커들을 통해 사용자에게 전달될 수 있다. 사운드가 실제 사운드 소스로부터 생성되든 가상 사운드 소스로부터 생성되든, 사용자가 포커싱되는 방향 및/또는 사용자가 포커싱되는 거리의 사운드를 우선적으로 수신하는 것이 바람직하여, 사용자는, 자신이 관심을 갖는 객체 또는 객체들로부터의 사운드들만을 듣는다. 비록 지향성 마이크로폰들이, 다른 소스들로부터의 노이즈를 소거하면서, 특정 방향 및/또는 특정 거리에 위치된 실제 또는 가상 사운드 소스로부터 도달하는 사운드를 우선적으로 수신하기 위해 머리-착용 디스플레이와 연관될 수 있지만, 사운드 소스들에 대한 지향성 마이크로폰의 최대 감도의 방향 및/또는 거리는 반드시, 사용자가 포커싱되는 방향 및/또는 사용자가 포커싱되는 거리에 대응하지 않을 수 있다.
[0008] 따라서, 사람이 포커싱되는 실제 또는 가상 사운드 소스로부터 도달하는 사운드를 우선적으로 수신하여 최종 사용자에게 전달할 필요가 있다.
[0009] 본 발명들의 일 양상에 따라, 최종 사용자가 사용하기 위한 보청기가 제공된다. 보청기는 실제 또는 가상일 수 있는 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서(예컨대, 카메라)를 포함한다. 일 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 눈의 각도 포지션을 검출하도록 구성된다. 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 거리를 검출하기 위해 최종 사용자의 눈들의 수렴을 검출하도록 구성된다. 또 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 머리의 각도 포지션을 검출하도록 구성된다.
[0010] 보청기는 사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리, 및 최종 사용자가 인식하도록 전기 신호들을 사운드들로 변환하도록 구성된 스피커를 더 포함한다. 일 실시예에서, 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 사운드들을 전기 신호들로 변환하도록 구성된다. 다른 실시예에서, 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이(phased array)를 포함한다. 보청기는 선택적으로 최종 사용자가 착용하도록 구성된 프레임 구조를 포함할 수 있다. 프레임 구조는 센서, 마이크로폰 어셈블리, 및 스피커를 지지할 수 있다.
[0011] 보청기는 사운드 소스에 대한 최종 사용자의 검출된 포커스에 기반하여 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템을 더 포함한다. 예컨대, 제어 서브시스템은 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성될 수 있다.
[0012] 본 발명들의 제2 양상에 따라, 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템이 제공된다. 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리, 사운드 소스(실제이거나 가상일 수 있음)에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서, 및 사운드를 최종 사용자에게 전달하도록 구성된 스피커를 포함한다. 보청기는 실제 또는 가상일 수 있는 사운드 소스에 대한 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서(예컨대, 카메라)를 포함한다. 일 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 눈의 각도 포지션을 검출하도록 구성된다. 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 거리를 검출하기 위해 최종 사용자의 눈들의 수렴을 검출하도록 구성된다. 또 다른 실시예에서, 센서(들)는 최종 사용자의 포커스 방향을 검출하기 위해 최종 사용자의 머리의 각도 포지션을 검출하도록 구성된다. 가상 이미지 생성 시스템은 사운드 소스에 대한 최종 사용자의 포커스의 검출에 대한 응답으로 스피커가 다른 사운드 소스들에 비해 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하게 하도록 구성된 제어 서브시스템을 더 포함한다.
[0013] 사운드 소스가 실제이면, 가상 이미지 생성 시스템은 사운드를 증폭하도록 구성된 적응성 마이크로폰 어셈블리를 더 포함할 수 있고, 이 경우에, 제어 서브시스템은 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성될 수 있다. 적응성 마이크로폰 어셈블리는 예컨대 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 사운드를 증폭하도록 구성될 수 있다. 사운드 소스가 가상이면, 3차원 장면은 가상 사운드 소스를 포함할 수 있고, 메모리는 3차원 장면의 가상 사운드 소스와 연관하여 합성의 사운드 데이터를 저장할 수 있다. 이 경우에, 제어 서브시스템은 가상 사운드 소스에 대한 최종 사용자의 포커스의 검출에 대한 응답으로 다른 사운드 소스들로부터 가상 사운드 소스를 식별하게 하고, 그리고 스피커가 합성 사운드 데이터에 따라 최종 사용자에게 사운드를 전달하게 하도록 구성될 수 있다.
[0014] 제어 서브시스템은 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링하도록 추가로 구성될 수 있고, 이 경우에, 가상 이미지 생성 시스템은 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템을 더 포함한다. 제어 서브시스템은 이미지 프레임들을 렌더링하도록 구성된 GPU(graphics control subsystem unit)를 포함할 수 있다. 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성될 수 있다. 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함할 수 있다. 이 경우에, 투사 서브시스템은 이미지를 부분적으로 투명한 디스플레이 표면상으로 투사하도록 구성되고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주변 환경 사이의 시야에 포지셔닝되도록 구성되고, 이에 의해 최종 사용자가 3차원 증강 장면을 가시화하는 것이 허용된다. 가상 이미지 생성 시스템은 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함할 수 있다. 프레임 구조는 센서(들), 적응성 마이크로폰 어셈블리, 스피커 및 디스플레이 서브시스템을 가질 수 있다.
[0015] 선택적인 실시예에서, 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 전기 신호들을 프로세싱하게 구성되어, 실제 사운드 소스로부터 발생하는 사운드는 실제 사운드 소스로부터 발생하는 것으로 최종 사용자에 의해 인식된다. 다른 선택적인 실시예에서, 제어 서브시스템은 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추기 위해 전기 신호들을 프로세싱하도록 구성될 수 있어서, 실제 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조(deemphasize)된다. 또 다른 선택적인 실시예에서, 제어 서브시스템은 실제 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들과 비교하도록 전기 신호들을 프로세싱하고, 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 제2 사운드와 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성된다.
[0016] 본 발명들의 제2 양상에 따라, 이미 언급된 보청기는 가상 이미지 생성 시스템, 이를테면 가상 현실 시스템 또는 증강 현실 시스템에 통합될 수 있다. 보청기의 컴포넌트들 외에, 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리를 더 포함하고, 제어 시스템은 추가로 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링하도록 구성된다. 가상 이미지 생성 시스템은 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성되는 디스플레이 서브시스템을 더 포함한다. 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성될 수 있다. 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함할 수 있다. 이 경우에, 투사 서브시스템은 이미지를 부분적으로 투명한 디스플레이 표면상으로 투사하도록 구성되고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주변 환경 사이의 시야에 포지셔닝되도록 구성되고, 이에 의해 최종 사용자가 3차원 증강 장면을 가시화하는 것이 허용된다. 제어 서브시스템은 이미지를 렌더링하도록 구성된 GPU(graphics control subsystem unit)를 포함할 수 있다.
[0017] 선택적인 실시예에서, 제어 서브시스템은 최종 사용자가 포커싱되는 방향 및/또는 거리의 시각적 표시자를 최종 사용자에게 디스플레이하도록 디스플레이 서브시스템에게 명령하게 구성된다. 다른 선택적인 실시예에서, 제어 서브시스템은 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리의 시각적 표시자를 최종 사용자에게 디스플레이하도록 디스플레이 서브시스템에게 명령하게 구성된다.
[0018] 본 발명의 부가적인 목적 및 다른 목적, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.
[0019] 도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하고, 여기서 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 발명들의 위에 언급된 장점 및 다른 장점 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 특정한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는다는 것이 이해되기 때문에, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들로 서술되고 설명될 것이다.
[0020] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0021] 도 2는 본 발명들의 일 실시예에 따라 구성된 증강 현실 시스템의 블록 다이어그램이다.
[0022] 도 3은 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 평면도이다.
[0023] 도 4는 도 2의 증강 현실 시스템에 사용하기 위한 디스플레이 서브시스템의 일 실시예의 사시도이다.
[0024] 도 5는 도 2의 증강 현실 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0025] 도 6a는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 다이폴 패턴의 평면도이다.
[0026] 도 6b는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 카디오이드 패턴의 평면도이다.
[0027] 도 6c는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 슈퍼-카디오이드 패턴의 평면도이다.
[0028] 도 6d는 도 2의 증강 현실 시스템에 사용하기 위한 마이크로폰 어셈블리에 의해 형성될 수 있는 하이퍼-카디오이드 패턴의 평면도이다.
[0029] 도 7은 도 2의 증강 현실 시스템에 의해 사용하기 위한 적응성 마이크로폰 어셈블리의 개략도이다.
[0030] 도 8a는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 방향의 평면도이다.
[0031] 도 8b는 사용자에 의해 포커싱된 객체에 대응하는 마이크로폰 어셈블리의 최대 감도의 다른 방향의 평면도이다.
[0032] 도 9a는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 하나의 기법의 평면도이다.
[0033] 도 9b는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 다른 기법의 평면도이다.
[0034] 도 9c는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.
[0035] 도 9d는 도 2의 증강 현실 시스템을 착용하는데 사용될 수 있는 또 다른 기법의 평면도이다.
[0036] 뒤따르는 설명은 증강 현실 시스템에 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 증강 현실 시스템들의 애플리케이션들에 매우 적합하지만, 본 발명이, 자신의 가장 넓은 양상들에서, 그렇게 제한되지 않을 수 있다는 것이 이해될 것이다. 예컨대, 본 발명은 가상 현실 시스템들뿐 아니라, 가상 또는 증강 현실 경험을 사용자에게 제시하기 위해 디스플레이들을 활용하지 않는 다른 머리-착용 보청기 디바이스들에 적용될 수 있다. 따라서, 교시들은 보통 증강 현실 시스템의 측면에서 본원에 설명되지만, 그런 용도들의 그런 시스템으로 제한되지 않아야 한다.
[0037] 도 2를 참조하면, 본 발명들에 따라 구성된 증강 현실 시스템(100)의 일 실시예가 이제 설명될 것이다. 증강 현실 시스템(100)은 최종 사용자(50)의 시야 내 물리적 객체들과 인터믹싱(intermix)되는 가상 객체들의 이미지들을 제공하는 증강 현실 서브시스템으로서 동작될 수 있다. 증강 현실 시스템(100)을 동작시킬 때 2개의 근본적인 접근법들이 있다. 제1 접근법은 주변 환경의 이미지들을 캡처하기 위하여 하나 또는 그 초과의 이미저(imager)들(예컨대, 카메라들)을 이용한다. 증강 현실 시스템(100)은 가상 이미지들을 주변 환경의 이미지들을 표현하는 데이터에 인터믹싱한다. 제2 접근법은, 주변 환경이 보여질 수 있고 그리고 증강 현실 시스템(100)이 가상 객체들의 이미지들을 생성하는 하나 또는 그 초과의 적어도 부분적으로 투명한 표면들을 이용한다.
[0038] 적어도 증강 현실 애플리케이션들에 대해, 최종 사용자(50)의 시야에 있는 각각의 물리적 객체들에 관하여 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그(tag)들 또는 태그 또는 콜 아웃(call out)들로 지칭되는 가상 객체들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 개념, 또는 이미지로서 표현될 수 있는 로지컬 구성 중 임의의 것을 취할 수 있다. 가상 객체들의 비제한적 예들은: 가상 텍스트 객체, 가상 수치 객체, 가상 알파뉴메릭(alphanumeric) 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 기기장치 객체, 또는 물리적 객체의 가상 시각 표현을 포함할 수 있다.
[0039] 본 발명들과 더 관련하여, 증강 현실 시스템(100)은 최종 사용자의 포커스를 방향 및/또는 거리를 따른 사운드의 우선 수신에 커플링하도록 구성되어, 최종 사용자는 최종 사용자에 가장 관련된 사운드를 듣는다. 특히, 증강 현실 시스템(100)은 사운드 소스에 대한 최종 사용자의 포커스를 검출하고, 예컨대 최종 사용자의 검출된 포커스(즉, 최종 사용자가 포커싱되는 사운드 소스를 향해 그리고/또는 사운드 소스에서)에 사운드들의 우선 수신의 방향 및/또는 거리를 세팅함으로써, 최종 사용자의 검출된 포커스에 기반하여 그 사운드 소스로부터 발생하는 사운드를 최종 사용자에게 우선적으로 전달한다.
[0040] 이 목적을 위해, 증강 현실 시스템(100)은 최종 사용자(50)가 착용한 프레임 구조(102), 디스플레이 시스템(104)이 최종 사용자(50)의 눈들(52)의 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지되는 디스플레이 시스템(104), 및 디스플레이 시스템(104)에 통합되거나 연결된 스피커(106)를 포함한다. 예시된 실시예에서, 스피커(106)는, 스피커(106), 예컨대, 이어버드(earbud) 또는 헤드폰이 최종 사용자(50)의 외이도(ear canal)에 인접하여(내에 또는 주위에) 포지셔닝되도록, 프레임 구조(102)에 의해 지지된다. 선택적으로, 다른 스피커(도시되지 않음)는 스테레오/형상화가능 사운드 제어를 제공하기 위하여 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝된다. 비록 스피커(106)가 외이도에 인접하게 포지셔닝되는 것으로 설명되지만, 외이도에 인접하게 위치되지 않은 다른 타입들의 스피커들이 최종 사용자(50)에게 사운드를 전달하는데 사용될 수 있다. 예컨대, 스피커들은 예컨대 골 전도 기술(bone conduction technology)을 사용하여 외이도로부터 일정 거리에 배치될 수 있다.
[0041] 증강 현실 시스템(100)은 주변 환경의 사운드들을 전기 신호들로 변환하는 적응성 마이크로폰 어셈블리(107)를 더 포함하고, 이어서 전기 신호들은 스피커(들)(106)로 전달되고, 차례로 스피커(들)(106)는 전기 신호들을 다시 사운드들로 변환하고, 이어서 사운드들은 최종 사용자(50)에게 재생된다. 아래에서 더 상세히 논의될 바와 같이, 마이크로폰 어셈블리(107)는 최종 사용자(50)가 포커싱되는 방향 및 거리에 대응하는 특정 방향 및/또는 특정 거리의 사운드를 우선적으로 수신하고, 이에 의해 최종 사용자(50)가 증강 현실 장면의 맥락에서 임의의 특정 시간에 사용자에게 가장 관련된 사운드를 포커싱하는 것을 허용한다. 따라서, 마이크로폰 어셈블리(107)는 최종 사용자(50)가 관련 사운드들을 더 명확하게 듣는 것을 허용할 뿐 아니라, 최종 사용자(50)의 관심을 더 관련된 사운드들로 돌리며, 이에 의해 경험 효율성이 향상된다. 예시된 실시예에서, 마이크로폰 어셈블리(107)는 프레임 구조(102)의 아암(arm)들에 장착된다.
[0042] 디스플레이 시스템(104)은 높은-레벨들의 이미지 품질 및 3차원 인식뿐만 아니라, 2차원 콘텐츠를 제시할 수 있는 물리적 현실성에 대한 증강들로서 편안하게 인식될 수 있는 포토(photo)-기반 방사 패턴들을 최종 사용자(50)의 눈들(52)에 제시하도록 설계된다. 디스플레이 시스템(104)은 단일 코히어런트(coherent) 장면의 인식을 제공하는 프레임들의 시퀀스를 고주파수로 제시한다. 이 목적을 위해, 디스플레이 서브시스템(104)은 투사 서브시스템(108) 및 투사 서브시스템(108)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 스크린(110)을 포함한다. 디스플레이 스크린(110)은 최종 사용자(50)의 눈들(52)과 주변 환경 사이의 최종 사용자(50)의 시야에 포지셔닝된다.
[0043] 예시된 실시예에서, 투사 서브시스템(108)은 광 섬유 스캔-기반 투사 디바이스의 형태를 취하고, 디스플레이 스크린(110)은 예컨대, 무한대보다 더 가까운 단일 광학 뷰잉 거리(예컨대, 팔의 길이)의 이미지들, 다수의, 이산 광학 뷰잉 거리들 또는 초점 평면들의 이미지들, 및/또는 볼류메트릭(volumetric) 3D 객체들을 표현하기 위해 다수의 뷰잉 거리들 또는 초점 평면들에 적층된 이미지 층들을 생성하기 위해, 투사 서브시스템(108)으로부터의 스캐닝된 광이 주입되는 도파관-기반 디스플레이의 형태를 취한다. 광 필드에서 이들 층들은 인간 시각 서브시스템에 연속적으로 보이도록 함께 충분히 가깝게 적층될 수 있다(즉, 하나의 층은 인접한 층의 컨퓨전의 콘(cone of confusion) 내에 있음). 부가적으로 또는 대안적으로, 2 또는 그 초과의 층들이 더 성기게 적층되더라도(즉, 하나의 층이 인접한 층의 컨퓨전의 콘 외측에 있다 하더라도), 픽처 엘리먼트(picture element)들은 광 필드의 층들 사이의 전환의 인식된 연속성을 증가시키기 위해 이들 층들에 걸쳐 블렌딩(blend)될 수 있다. 디스플레이 서브시스템(104)은 단안용 또는 쌍안용일 수 있다.
[0044] 도 3 및 도 4를 참조하면, 투사 서브시스템(108)은 제어 신호들에 대한 응답으로 미리결정된 스캔 패턴으로 광 빔을 생성 및 스캐닝하는 스캐닝 어셈블리(112), 및 스캐닝 어셈블리(114)로부터의 광 빔을 디스플레이 스크린(110)에 커플링하는 광학 커플링 서브시스템(114)을 포함한다.
[0045] 스캐닝 어셈블리(112)는 광 빔을 생성(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출)하는 하나 또는 그 초과의 광 소스들(116)(간략성의 목적들을 위해 단지 하나만 도시됨)을 포함한다. 광 소스(116)는 매우 다양한 형태들 중 임의의 형태, 예컨대 픽셀 정보 또는 데이터의 각각의 프레임들에서 특정된 정의된 픽셀 패턴들에 따라 각각 적색, 녹색, 및 청색 코히어런트 시준 광을 생성하도록 동작가능한 RGB 레이저들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 세트를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고 매우 에너지 효율적이다.
[0046] 스캐닝 어셈블리(112)는 하나 또는 그 초과의 광 섬유들(118)(간략성의 목적들을 위해 단지 하나만 도시됨)을 더 포함하고, 하나 또는 그 초과의 광 섬유들(118) 각각은 광 빔이 광 소스(116)로부터 수신되는 근위 단부(proximal end)(118a) 및 광 빔이 부분적으로 투명한 디스플레이 스크린(110)에 제공되는 원위(distal) 단부(118b)를 가진다. 스캐닝 어셈블리(112)는, 광 섬유(118)가 장착된 기계적 드라이브 어셈블리(120)를 더 포함한다. 드라이브 어셈블리(120)는 광 섬유(118)의 원위 단부(118b)를 변위시키도록 구성되고, 예시된 실시예에서, 광 섬유(118)가 장착되는 압전기 엘리먼트(122)를 포함한다.
[0047] 스캐닝 어셈블리(112)는 전기 신호들을 압전기 엘리먼트(122)에 전달하도록 구성된 드라이브 전자장치(124)를 더 포함하고, 이에 의해 광 섬유(118)의 원위 단부들(118b)이 스캔 패턴에 따라 진동하게 한다. 따라서, 광 소스(116) 및 드라이브 전자장치(124)의 동작은 공간적으로 그리고/또는 시간적으로 변화하는 광의 형태로 인코딩되는 이미지 데이터를 생성하는 방식으로 조정된다.
[0048] 예시된 실시예에서, 압전기 엘리먼트(122)는 중공 튜브의 형태를 취하고, 이 경우, 광 섬유(118)의 원위 단부(118b)는 압전기 튜브(122)를 통해 스레드(thread)되거나 수용된다. 광 섬유(118)의 원위 단부(118b)는 무고정식 유연한 캔틸레버(cantilever)로서 압전기 튜브(122)로부터 돌출한다. 압전기 튜브(122)는 4개의 사분면 전극들(예시되지 않음)과 연관된다. 전극들은 예컨대 압전기 튜브(122)의 외측, 외부 표면 또는 외부 주변 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한 튜브(122)의 코어, 중심, 내부 주변 또는 내부 직경에 위치된다.
[0049] 드라이브 전자장치(124)는 압전기 튜브(122)를 독립적으로 2개의 축들로 휘게 하기 위해 대향하는 전극들의 쌍들(도시되지 않음)을 드라이빙하도록 와이어들(126)을 통해 전기적으로 커플링된다. 광 섬유(118)의 돌출 원위 단부(118b)는 기계적 공진 모드들을 가진다. 공진 주파수들은 광 섬유(118)의 직경, 길이 및 재료 특성들에 의존한다. 제1 기계적 공진 모드 근처에서 압전기 튜브(122)를 진동시킴으로써, 섬유 원위 단부(118b)는 진동하도록 유발되고, 지주(fulcrum)를 중심으로 큰 편향들을 통하여 스윕(sweep)될 수 있다. 대안적으로, 압전기 튜브(122)는 더 고차 기계적 공진 모드(예컨대, 2차 모드) 근처에서 진동될 수 있어서, 섬유 원위 단부(118b)는 지주를 중심으로 더 작은 편향들을 통해 스윕한다.
[0050] 2개의 축들로 공진 진동을 자극함으로써, 섬유 원위 단부(118)는 2D 스캔을 충진하는 영역에서 2개의 축으로 스캐닝된다. 섬유 원위 단부(118b)의 스캔과 동기하여 광 소스(116)의 세기를 변조함으로써, 광 섬유(118)로부터 나오는 광 빔은 이미지를 형성한다. 그런 셋업의 설명들은 미국 특허 출원 일련 번호 제 13/915,530호, 국제 특허 출원 일련 번호 제 PCT/US2013/045267호 및 미국 가 특허 출원 일련 번호 제 61/658,355호에 제공되고, 이들 모두는 그 전체가 본원에 인용에 의해 통합된다.
[0051] 광학 커플링 서브시스템(116)은 광을 디스플레이 스크린(110)의 단부에 광학적으로 커플링하기 위해 광학 도파관 입력 장치(128), 예컨대 하나 또는 그 초과의 반사 표면들, 회절 격자들, 미러들, 이색성 미러들, 또는 프리즘들을 포함한다. 광학 커플링 서브시스템(116)은 광 섬유(118)로부터의 광을 시준하는 시준 엘리먼트(130)를 더 포함한다. 선택적으로, 본원에 인용에 의해 명시적으로 통합되고, 발명의 명칭이 "Virtual/Augmented Reality System Having Reverse Angle Diffraction Grating"인 미국 가 특허 출원 일련 번호 제 62/238,052호에 더 상세히 논의된 바와 같이, 광학 커플링 서브시스템(116)은 시준 엘리먼트(130)로부터의 광을 광학 도파관 입력 장치(128) 중심의 초점을 향해 수렴하도록 구성된 광학 변조 장치(도시되지 않음)를 포함하고, 이에 의해 광학 도파관 입력 장치(128)의 사이즈가 최소화되는 것을 허용한다. 본원에 인용에 의해 명시적으로 통합되고 발명의 명칭이 "Polarizing Maintaining Optical Fiber in Virtual/Augmented Reality System"(대리인 번호 ML-30056.00-US)인 미국 가 특허 출원 일련 번호 제 62/280,992호에서 논의된 바와 같이, 광 섬유들(118)의 각각은, 스캐닝 디바이스(114)와 연관된 광 섬유(118) 부분의 기계적 특성들을 유지하면서, 각각의 광 섬유(118)를 통해 전파되는 광 빔의 선형 편광이 유지되는 것을 보장하기 위해 PM(polarization-maintaining) 광 섬유들의 장점들을 비-PM 광 섬유들의 장점들과 결합할 수 있다.
[0052] 따라서, 디스플레이 서브시스템(104)은 하나 또는 그 초과의 가상 객체들의 왜곡되지 않은 이미지를 사용자에게 제시하는 픽셀 정보의 일련의 합성 이미지 프레임들을 생성한다. 예컨대, 도 5를 참조하면, 합성 이미지 프레임(200)은 셀들(202a-202m)이 수평 행들 또는 라인들(204a-204n)로 분할된 것으로 개략적으로 예시된다. 프레임(200)의 각각의 셀(202)은, 셀(202)이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들 및/또는 세기들을 특정할 수 있다. 예컨대, 프레임(200)은 각각의 픽셀에 대해 적색(206a)에 대한 하나 또는 그 초과의 값들, 녹색(206b)에 대한 하나 또는 그 초과의 값들, 및 청색(206c)에 대한 하나 또는 그 초과의 값들을 특정할 수 있다. 값들(206)은 컬러들 각각에 대해 이진 표현들로서, 예컨대 각각의 컬러에 대해 각각 4-비트 수로서 특정될 수 있다. 프레임(200)의 각각의 셀(202)은 진폭을 특정하는 값(206d)을 부가적으로 포함할 수 있다.
[0053] 프레임(200)은 하나 또는 그 초과의 필드들, 총체적으로 208을 포함할 수 있다. 프레임(200)은 단일 필드로 이루어질 수 있다. 대안적으로, 프레임(200)은 2개 또는 심지어 그 초과의 필드들(208a-208b)을 포함할 수 있다. 프레임(200)의 완전한 제1 필드(208a)에 대한 픽셀 정보는 완전한 제2 필드(208b)에 대한 픽셀 정보 이전에 특정될 수 있는데, 예컨대 어레이, 순서화된 리스트 또는 다른 데이터 구조(예컨대, 레코드, 링크된 리스트)에서 제2 필드(208b)에 대한 픽셀 정보 이전에 발생된다. 프리젠테이션 서브시스템이 2개보다 많은 필드들(208a-208b)을 핸들링하도록 구성되는 것을 가정하면, 제3 또는 심지어 제4 필드는 제2 필드(208b)를 뒤따를 수 있다.
[0054] 디스플레이 서브시스템들을 설명하는 추가 세부사항들은 발명의 명칭이 "Display System and Method"(대리인 번호 ML-30006-US)인 미국 가 특허 출원 일련 번호 제 61/801,219호, 및 발명의 명칭이 "Planar Waveguide Apparatus With Diffraction Element(s) and Subsystem Employing Same"(대리인 번호 ML-30020.00)인 미국 특허 출원 일련 번호 제 14/331,218호에 제공되고, 이 특허들은 본원에 인용에 의해 명시적으로 통합된다.
[0055] 다시 도 2를 참조하면, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈-사이 거리를 검출하기 위하여 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.
[0056] 예컨대, 일 실시예에서, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 움직임을 나타내는 관성 측정치들을 캡처하기 위한 하나 또는 그 초과의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 서브시스템(142)을 포함한다. 머리 착용 트랜스듀서 시스템(120)은 최종 사용자(50)의 머리 움직임들에 관한 정보를 감지하거나, 측정하거나 수집하는데 사용될 수 있다. 예컨대, 머리 착용 트랜스듀서 서브시스템(120)은 최종 사용자(50)의 머리(54)의 측정 움직임들, 속도들, 가속도, 및/또는 포지션들을 검출하는데 사용될 수 있다.
[0057] 증강 현실 시스템(100)은 하나 또는 그 초과의 전방 지향 카메라들(144)을 더 포함하고, 전방 지향 카메라들(144)은, 최종 사용자(50)가 위치된 환경에 관한 정보를 캡처하는데 사용될 수 있다. 전방 지향 카메라(들)(144)는 그 환경 및 그 환경 내의 특정 객체들에 대한 최종 사용자(50)의 거리 및 배향을 나타내는 정보를 캡처하는데 사용될 수 있다. 머리에 착용될 때, 전방 지향 카메라(들)(144)는, 최종 사용자(50)가 위치된 환경 및 그 환경 내의 특정 객체들에 대해 최종 사용자(50)의 머리(54)의 거리 및 각도 포지션(즉, 머리가 지향되는 방향)을 나타내는 정보를 캡처하는데 특히 적합하다. 전방 지향 카메라(들)(144)는 예컨대 머리 움직임, 머리 움직임들의 속도, 및/또는 가속도를 검출하는데 이용될 수 있다. 예컨대, 전방 지향 카메라(들)(144)는 예컨대 최종 사용자(50)의 머리(54)의 배향에 적어도 부분적으로 기반하여, 최종 사용자(50)의 관심의 중심을 검출하거나 추론하는데 이용될 수 있다. 배향은 임의의 방향(예컨대, 최종 사용자(50)의 레퍼런스 프레임에 대해 상/하, 좌, 우)에서 검출될 수 있다.
[0058] 증강 현실 시스템(100)은 최종 사용자(50)의 눈들(52)의 (눈 수렴을 검출함으로써) 각도 포지션(눈 또는 눈들이 지향하는 방향), 깜빡임, 및 포커스 깊이를 추적하기 위한 한 쌍의 후방 지향 카메라들(146)을 더 포함한다. 그런 눈 추적 정보는 예컨대, 광을 최종 사용자의 눈들에 투사하고, 그리고 그 투사된 광 중 적어도 일부의 리턴 또는 반사를 검출함으로써 식별될 수 있다. 눈 추적 디바이스들을 논의하는 추가 세부사항들은 발명의 명칭이 "Display System and Method"인 미국 특허 출원 일련 번호 제 61/801,219호(대리인 번호 ML-30006-US), 발명의 명칭이 "Methods and Subsystem for Creating Focal Planes in Virtual and Augmented Reality"인 미국 특허 출원 일련 번호 제 62/005,834호(대리인 번호 ML-30017-US), 및 발명의 명칭이 "Subsystem and Method for Augmented and Virtual Reality"인 미국 특허 출원 일련 번호 제 61/776,771호(대리인 번호 ML-30005-US)에 제공되고, 이들 출원들은 본원에 인용에 의해 명시적으로 통합된다.
[0059] 증강 현실 시스템(100)은 사용자 배향 검출 모듈(148)을 더 포함한다. 사용자 배향 모듈(148)은 센서(들)로부터 수신된 포지션 데이터에 기반하여, 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하고 최종 사용자(50)의 머리(54)의 포지션을 예측할 수 있다. 사용자 배향 모듈(148)은 또한 센서(들)로부터 수신된 추적 데이터에 기반하여, 최종 사용자(50)의 눈들(52), 및 특히 최종 사용자(50)가 포커싱되는 방향 및/또는 거리를 추적한다.
[0060] 증강 현실 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은 다수의 제어기들, 예컨대 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.
[0061] 예시된 실시예에서, 제어 서브시스템은 DSP(digital signal processor)(마이크로폰 어셈블리(107)에 관련하여 아래에서 설명됨), CPU(central processing unit)(150), GPU(graphics processing unit)(152) 및 하나 또는 그 초과의 프레임 버퍼들(154)을 포함한다. CPU(150)가 전체 동작을 제어하는 반면, GPU(152)는 프레임들을 렌더링(즉, 3차원 장면을 2차원 이미지로 변환)하고 이들 프레임들을 프레임 버퍼(들)(154)에 저장한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(154)에 프레임들을 입력하고 그리고/또는 프레임 버퍼(들)(154)로부터 프레임들을 판독하는 것 및 디스플레이 서브시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(154)에 입력 및/또는 프레임 버퍼(들)(154)로부터 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 증강 현실 시스템(100)은 ROM(read only memory)(156) 및 RAM(random access memory)(158)을 더 포함한다. 증강 현실 시스템(100)은 3차원 데이터베이스(160)를 더 포함하며, 3차원 데이터베이스(160)로부터 GPU(152)는 프레임들을 렌더링하기 위한 하나 또는 그 초과의 장면들의 3차원 데이터 뿐 아니라, 3차원 장면들 내에 포함된 가상 사운드 소스들과 연관된 합성 사운드 데이터에 액세스할 수 있다.
[0062] 본 발명들에서 더 중요하게, 제어 서브시스템은 사운드 소스에 대한 최종 사용자(50)의 포커스의 검출에 대한 응답으로 스피커(106)가 다른 사운드 소스들에 비해 사운드 소스(실제 또는 가상일 수 있음)로부터 발생하는 사운드를 우선적으로 전달하게 하도록 구성된다. 최종 사용자(50)가 포커싱되는 사운드 소스가 실제인 경우에, 제어 서브시스템은 최종 사용자(50)의 검출된 포커스의 방향 및/또는 거리에 적응성 마이크로폰 어셈블리(107)의 최대 감도를 세팅하도록 구성된다.
[0063] 적응성 마이크로폰 어셈블리(107)는 다른 사운드들에 비해 특정 방향의 사운드를 우선적으로 수신할 수 있다. 예컨대, 마이크로폰 어셈블리(107)는 도 6a-도 6d에 예시된 바와 같이, 종래의 극성 패턴, 예컨대 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드를 가질 수 있다. 그러나, 마이크로폰 어셈블리(107)는, 최종 사용자(50)가 포커싱되는 방향에 기반하여 극성 패턴을 동적으로 수정할 수 있다. 다른 말로, 방향 및/또는 거리에 따라 마이크로폰 어셈블리(107)의 최대 감도가 수정될 수 있다.
[0064] 이 목적을 위해, 그리고 도 7을 참조하면, 마이크로폰 어셈블리(107)는 마이크로폰 엘리먼트들(250)(이 경우에, 마이크로폰 엘리먼트들(M1-Mn))의 페이즈드 어레이를 포함하고, 마이크로폰 엘리먼트들(250) 각각은 주변 사운드 신호들을 검출하여 오디오 신호로 변환하도록 구성된다. 예시된 실시예에서, 마이크로폰 엘리먼트들(118)은 사실상 디지털이고, 따라서 주변 사운드 신호를 디지털 오디오 신호들, 및 이 경우에 PDM(pulse density modulation) 신호들로 변환한다. 바람직하게, 마이크로폰 엘리먼트들(250)은 마이크로폰 어셈블리(107)의 지향성을 최대화하기 위해 서로 공간적으로 이격된다. 예컨대, 도 2에 도시된 바와 같이, 비록 2보다 많은, 이를테면 4개의 마이크로폰 엘리먼트들(250)이 프레임 구조(106)의 각각의 아암에 장착될 수 있지만, 마이크로폰 엘리먼트들(250) 중 2개가 프레임 구조(102)의 각각의 아암에 장착될 수 있다.
[0065] 마이크로폰 어셈블리(107)는, 대응하는 마이크로폰 엘리먼트들(250)로부터 각각의 오디오 신호들을 각각 수신하고 그리고 디지털 오디오 신호들을 더 쉽게 조작가능한 PCM(pulse code modulation)으로 PDM 포맷으로부터 변환하기 위해 "데시메이션(decimation)"이라 지칭되는 디지털 필터 동작을 수행하도록 구성된 복수의 디지털 DMIC(digital microphone interface)들(252)(이 경우에, DMIC1-DMICn이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임)을 더 포함한다. DMIC들(190)의 각각은 또한 디지털 오디오 신호들에 대해 고정된 이득 제어를 수행한다.
[0066] 마이크로폰 어셈블리(107)는, 이득 증폭기들(254)에 의해 출력된 디지털 오디오 신호들을 프로세싱하고 그리고 마이크로폰 어셈블리(116)에 의해 수신된 사운드를 우선적으로 표현하는 지향성 오디오 신호를 출력하도록 구성된 오디오 프로세싱 모듈(258)을 포함하는 DSP(digital signal processor)(256)를 더 포함한다. 이 목적을 위해, 오디오 프로세싱 모듈(258)은 복수의 지연 엘리먼트들(260)(이 경우에, 지연 엘리먼트들(D1-Dn)이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임), 복수의 이득 엘리먼트들(262)(이 경우에, 이득 엘리먼트들(G1-Gn)이고, 각각의 마이크로폰 엘리먼트(M)에 대해 하나씩임), 및 합산기(264) 형태의 프로세싱 파라미터들을 포함한다. 지연 엘리먼트들(260)은 마이크로폰 어셈블리(107)의 대응하는 이득 증폭기들(254)로부터 수신된 증폭된 디지털 신호들에 지연 팩터(factor)들을 각각 적용하고, 이득 엘리먼트들(262)은 지연된 디지털 신호들에 이득 팩터들을 각각 적용한다. 합산기(264)(S)는, D/A(digital-to-analog) 컨버터(266)를 통해 아날로그 오디오 신호로 변환되고 식별가능한 사운드로서 최종 사용자(50)에 출력하기 위해 스피커(들)(106)에 송신되는 디지털 오디오 신호를 생성하기 위해, 이득 조정 및 지연된 신호들을 가산한다.
[0067] 마이크로폰 엘리먼트들(250)은 공간적으로 배열되고 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)은 지향성 극성 패턴에 따른 주변 사운드의 수신을 초래하는 방식으로 세팅된다(즉, 특정 각도 방향 또는 방향들로부터 도달하는 사운드들은 다른 각도 방향들로부터 도달하는 사운드들보다 더 강조될 것임). 중요하게도, 마이크로폰 엘리먼트 어레이(250)의 지향성은 최종 사용자(50)의 검출된 포커스에 기반하여 수정되고, 예컨대 마이크로폰 엘리먼트 어레이(250)가 사운드를 우선적으로 수신하는 방향은 최종 사용자(50)의 검출된 포커스의 방향을 따라 세팅될 수 있다. 이 목적을 위해, DSP(256)는, 사용자(50)가 포커싱되는 방향을 표시하는 배향 데이터를 사용자 배향 검출 모듈(148)로부터 수신한다. 예컨대, 배향 데이터는 후방 지향 카메라(들)(146)에 의해 검출된 눈(52)의 각도 포지션 또는 전방-지향 카메라(들)(144)에 의해 검출된 머리(54)의 각도 포지션에 대응할 수 있다.
[0068] 예컨대, 도 8a 및 도 8b를 참조하면, 마이크로폰 엘리먼트들(250)의 페이즈드 어레이의 극성 패턴이 카디오이드 패턴이고, 최종 사용자(50)가 특정 방향(272)을 따라 실제 사운드 소스(270)에 포커싱되면, DSP(256)는, 마이크로폰 엘리먼트 어레이(250)의 지향성을 수정하는 방식으로 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)을 세팅할 것이고, 이 경우에, 카디오이드 패턴의 메인 로브(lobe)의 축은, 최종 사용자(50)가 사운드 소스(270)에 포커싱되는 방향과 정렬된다.
[0069] 비록 마이크로폰 엘리먼트 어레이(250)가 사용자 배향 검출 모듈(248)로부터 수신된 초점 방향에 대응하도록 세팅될 수 있는 감도를 가지는 것으로 설명되었지만, 마이크로폰 엘리먼트 어레이(250)는 그 감도가 사용자 배향 검출 모듈(248)로부터 수신된 초점 거리에 대응하도록 세팅되는 것을 허용하는 방식으로 배열될 수 있다. 특히, 마이크로폰 엘리먼트들(250)은 직선으로 배열될 수 있어서, 마이크로폰 엘리먼트들(250)은 사운드 소스(270)로부터 모두 상이한 거리들에 있을 것이다. 지연들은 마이크로폰 엘리먼트들(250)을 각각 사운드 소스(270)로부터 "더 가깝게 또는 더 멀게" 효과적이고 선택적으로 이동시키기 위해 지연 엘리먼트들(260)을 통해 마이크로폰 엘리먼트들(250)에 도입될 수 있다. 이것은 사운드 소스(270)로부터 등거리로 마이크로폰 엘리먼트들(250)을 효과적으로 위치시키는 방식으로 달성될 수 있다. 사운드 소스(270)로부터 발생하는 임의의 사운드는 동시에 마이크로폰 엘리먼트들(250) 상에 충돌할 것인 반면, 다른 사운드 소스들로부터 발생하는 사운드는 상이한 시간들에서 마이크로폰 엘리먼트들(250) 상에 충돌하지 않을 것이고, 이에 의해 사운드 소스(270)의 위치에서 마이크로폰 엘리먼트 어레이(250)의 감도가 최대화된다.
[0070] 비록 마이크로폰 엘리먼트들(250)이 디지털인 것으로 설명되지만, 마이크로폰 엘리먼트들(250)이 대안적으로 아날로그일 수 있다는 것이 주목되어야 한다. 게다가, 비록 지연 엘리먼트들(260), 이득 엘리먼트들(262) 및 합산기(264)가 DSP(256) 내에 상주하는 소프트웨어 컴포넌트들인 것으로 개시되고 예시되지만, 지연 엘리먼트들(260), 이득 엘리먼트들(262), 및 합산기(264) 중 임의의 하나 또는 그 초과는, DSP(256)의 외측에 상주하지만 DSP(256)의 제어 하에 있는 아날로그 하드웨어 컴포넌트들을 포함할 수 있다.
[0071] 마이크로폰 엘리먼트 어레이(250)의 지향성 및 거리의 동적 수정을 가능하게 하기 위해, 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)의 상이한 값들의 세트들 및 마이크로폰 엘리먼트 어레이(250)의 대응하는 방향들 및 거리들은 DSP(256)에 의한 액세스를 위해 메모리에 저장될 수 있다. 즉, DSP(256)는 사용자 배향 검출 모듈(248)로부터 수신된 초점 방향 및/또는 초점 거리를 메모리에 저장된 가장 가까운 방향 및/또는 거리 값과 매칭시키고, 그리고 그 선택된 방향/거리에 대한 지연 엘리먼트들(260) 및 이득 엘리먼트들(262)에 대한 대응하는 값들의 세트를 선택한다.
[0072] 최종 사용자(50)가 포커싱되는 사운드 소스가 가상인 경우에, 적응성 마이크로폰 어셈블리(107)는 활용되지 않는다. 대신, 제어 서브시스템은 가상 사운드 소스에 대한 최종 사용자(50)의 포커스의 검출에 대한 응답으로 다른 사운드 소스들(실제 또는 가상)로부터 가상 사운드 소스를 식별하고, 그리고 스피커(106)가 합성 사운드 데이터에 따라 최종 사용자(50)에게 사운드를 전달하게 하도록 구성된다. 최종 사용자(50)에 의해 들려진 사운드는 물론 가상 사운드 소스로부터 발생하는 것으로 보일 것이다.
[0073] DSP(256)는 증가된 초점, 사운드들의 증가된 식별, 및 구술 주제의 증가된 명료도를 달성하기 위해 사운드 신호들을 프로세싱하도록 사운드 소스의 포지셔널 정보를 부가적으로 사용할 수 있다. 즉, 센서들이 사운드 소스의 위치 및 성질뿐 아니라, 실제 환경에 대한 더 나은 정보를 제공하기 때문에, 데이터베이스(160)는 "영구적인 세계"의 정보를 제공하고, 그러므로 사운드 신호들이 어떻게 원하는 사운드 소스에 대한 관심을 증가시키는 방식으로 최종 사용자(50)에게 렌더링될 수 있는지를 알릴 수 있다. 예컨대, 인공 사운드들은 환경 또는 룸(room)에 매우 적합하게 만들어질 수 있고, 그러므로 현실적이고 집중하기 쉽거나, 또는 인공 또는 실제 사운드들은 부자연스럽게 만들어질 수 있고, 이에 의해 다른 사운드들과 대조되는 방식으로 두드러지고, 관심을 끌고, 예컨대 피치(pitch)를 변화시키거나 또는 "아나운서 메가폰(megaphone)" 효과를 부가한다.
[0074] 예컨대, 다수의 스피커들(106)이 사용되는 경우에, 관련 사운드에 대한 최종 사용자(50)의 포커스 및/또는 최종 사용자(50)가 그 관련 사운드를 듣고 그리고/또는 식별할 능력은 수신된 사운드들을 로컬라이징함으로써, 예컨대 사운드의 선명도 또는 사실감에 영향을 미치기 위해, 사운드들이 사운드 소스들의 위치들로부터 발생하는 것처럼 최종 사용자(50)에게 보이도록 하는 방식으로 스피커들(106)을 통해 사운드를 재생함으로써 증가될 수 있다. 사운드들은 다양한 기법들 중 하나 또는 그 초과를 사용하여 로컬라이징될 수 있다. 특히 실 세계에서 발생하지 않는 가상 사운드에 대해 지향성의 감각을 부가하기 위해, DSP(256)는 재생된 사운드들의 음조를 적절히 형성하고 그리고/또는 룸 형상 또는 환경의 실제 또는 가상 양상들에 맞도록 적절한 반사들, 차단 또는 장애물을 부가할 수 있다.
[0075] 선택적으로, 초점 방향 및/또는 거리로부터 발생하는 사운드는 이들에 강조를 부가하기 위해 선택적으로 균등화될 수 있다. 특히, DSP(256)는 그 사운드의 특정 주파수 성분들의 볼륨을 높이거나 낮춤으로써 원하는 "포커싱된" 사운드에 대한 최종 사용자(50)의 포커스를 강조할 수 있다. 높여진 주파수들은, 인간의 청력이 가장 일반적으로 민감한 주파수 범위들(예컨대, 1KHz 내지 5KHz)일 수 있지만, 이로 제한되지 않는다. 다른 DSP 기법들은 "포커싱된" 사운드에 강조를 부가하는데 사용될 수 있다. 유사하게, 초점 방향 및/또는 거리로부터 발생하지 않는 사운드들은 상보적 또는 반대 방식으로 사운드들로부터 강조를 제거하기 위해 선택적으로 균등화될 수 있다. 특히, DSP(256)는 그 사운드들의 특정 주파수 성분들의 볼륨을 높이거나 낮춤으로써 원하지 않는 사운드들에 대한 최종 사용자(50)의 포커스를 비강조할 수 있다. 다른 말로, "피크" 균등화, 이를테면 2KHz에서 +5 dB이 타겟 사운드에 부가되면, 2KHz에서 -5dB의 "노치(notch)" 균등화가 모든 다른 사운드들에 적용될 수 있다.
[0076] 다른 실시예에서, 초점 방향 및/또는 거리로부터 발생하는 사운드가 프로파일링될 수 있다. 특히, DSP(256)는 타겟 사운드의 타입을 결정하기 위해 타겟 사운드의 특성들을 분석하고 다른 사운드들의 특성들에 비교할 수 있다. 이어서, DSP(256)는, 원해지면, 그 타입의 모든 사운드들을 강조할 수 있다. 예컨대, 포커싱된 사운드가 솔로 피아노이고, 포커싱되지 않은 사운드들이 에어컨들 및 통과 트래픽으로부터 발생하면, DSP(256)는 에어컨들 및 통과 트래픽으로부터 발생하는 사운드들 같은 사운드들을 비강조할 수 있고 솔로 피아노와 같은 사운드들을 강조할 수 있어서, 다른 악기들이 연주되거나 더 많은 음악이 들려올 때, 이들 사운드들은, 원래의 방향들과 무관하게, 다른 사운드들에 비해 강조된다.
[0077] 선택적인 실시예에서, 제어 서브시스템은 최종 사용자(50)가 포커싱되는 방향 및/또는 거리를 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에게 명령하게 구성된다. 예컨대, 디스플레이 서브시스템(104)은 시각적 표시자, 예컨대 "x" 또는 십자선들을, 최종 사용자(50)가 포커싱되는 증강 3차원 장면에 디스플레이할 수 있다. 또는, 디스플레이 서브시스템(104)은, 최종 사용자(50)가 포커싱되는 사운드 소스(실제이든 가상이든)를 하이라이팅할 수 있다. 대안으로서, 사운드 소스가 실제인 경우에, 제어 서브시스템은, 최종 사용자(50)의 초점 방향 또는 거리에 정확하게 상관할 수 있거나 상관하지 않을 수 있는, 마이크로폰 어셈블리(107)의 최대 감도의 방향 및/또는 거리를 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에 명령하게 구성될 수 있다.
[0078] 증강 현실 시스템(100)의 다양한 프로세싱 컴포넌트들은 물리적으로 분산 서브시스템에 포함될 수 있다. 예컨대, 도 9a-도 9d에 예시된 바와 같이, 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(172)에 의해 디스플레이 서브시스템(104)의 부분에 동작가능하게 커플링되는 로컬 프로세싱 및 데이터 모듈(170)을 포함한다. 로컬 프로세싱 및 데이터 모듈(172)은 다양한 구성들로 장착될 수 있는데, 이를테면 프레임 구조(102)에 고정되게 부착되거나(도 9a), 헬멧 또는 모자(56)에 고정되게 부착되거나(도 9b), 헤드폰들 내에 임베딩되거나, 최종 사용자(50)의 몸통(58)에 제거가능하게 부착되거나(도 9c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거가능하게 부착(도 9d)될 수 있다. 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(178, 180)에 의해 로컬 프로세싱 및 데이터 모듈(170)에 동작가능하게 커플링된 원격 프로세싱 모듈(174) 및 원격 데이터 저장소(176)를 더 포함하여, 이들 원격 모듈들(174, 176)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(170)에 대한 리소스들로서 이용가능하다.
[0079] 로컬 프로세싱 및 데이터 모듈(170)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는, 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(174) 및/또는 원격 데이터 저장소(176)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕는데 활용될 수 있으며, 데이터는 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이 서브시스템(104)에 전달된다. 원격 프로세싱 모듈(174)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소(176)는 "클라우드" 리소스 구성으로 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈(170)에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0080] 위에서 설명된 다양한 컴포넌트들 사이의 커플링들(172, 178, 180)은 유선들 또는 광학 통신들을 제공하기 위한 하나 또는 그 초과의 유선 인터페이스들 또는 포트들, 또는 이를테면 무선 통신들을 제공하기 위한 RF, 마이크로파, 및 IR을 통한 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서 모든 통신들은 광 섬유(들)(118)를 제외하고 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선정은 도 9a-도 9d에 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선정은 제한인 것으로 고려되지 않아야 한다.
[0081] 예시된 실시예에서, 디스플레이 서브시스템(104)의 디스플레이 스크린(110), 광학 커플링 서브시스템(116) 및 기계적 드라이브 어셈블리(120), 센서들, 스피커(들)(106) 및 마이크로폰 어셈블리(107)의 마이크로폰 엘리먼트들(250)은 최종 사용자(50)의 머리(54)와 밀접하게 연관되지만, 디스플레이 서브시스템(104)의 광 소스(들)(116) 및 드라이브 전자장치(124), 및 마이크로폰 어셈블리(107)의 프로세싱 컴포넌트들은 로컬 프로세싱 및 데이터 모듈(170)에 포함된다. 사용자 배향 모듈(148) 및 DSP(256)은 로컬 프로세싱 및 데이터 모듈(170)에 포함될 수 있는 반면, 대안적인 실시예들에서, CPU(150), GPU(152) 또는 이의 부분들이 로컬 프로세싱 및 데이터 모듈(170)에 포함될 수 있더라도, CPU(150) 및 GPU(152)는 원격 프로세싱 모듈(174)에 포함될 수 있다. 3차원 데이터베이스(160)는 원격 데이터 저장소(176)와 연관될 수 있다.
[0082] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims (38)

  1. 최종 사용자가 사용하기 위한 보청기로서,
    실제 사운드 소스에 대한 상기 최종 사용자의 포커스(focus)를 검출하도록 구성된 적어도 하나의 센서;
    사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리;
    최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성된 적어도 하나의 스피커; 및
    상기 최종 사용자의 검출된 포커스에 기반하여 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 제어 서브시스템
    을 포함하는,
    최종 사용자가 사용하기 위한 보청기.
  2. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 수정하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  3. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 수정하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  4. 제1 항에 있어서,
    상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  5. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  6. 제1 항에 있어서,
    상기 적어도 하나의 센서는 카메라를 포함하는,
    최종 사용자가 사용하기 위한 보청기.
  7. 제1 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  8. 제1 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  9. 제1 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  10. 제1 항에 있어서,
    상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이(phased array)를 포함하는,
    최종 사용자가 사용하기 위한 보청기.
  11. 제1 항에 있어서,
    상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 상기 마이크로폰 어셈블리, 및 상기 적어도 하나의 스피커를 지지하는,
    최종 사용자가 사용하기 위한 보청기.
  12. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
    최종 사용자가 사용하기 위한 보청기.
  13. 제1 항에 있어서,
    상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 상기 전기 신호들을 프로세싱하게 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
    최종 사용자가 사용하기 위한 보청기.
  14. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추기 위해 상기 전기 신호들을 프로세싱하도록 구성되어, 상기 실제 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조(deemphasize)되는,
    최종 사용자가 사용하기 위한 보청기.
  15. 제1 항에 있어서,
    상기 제어 서브시스템은 상기 실제 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하도록 상기 전기 신호들을 프로세싱하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드과 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
    최종 사용자가 사용하기 위한 보청기.
  16. 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템으로서,
    3차원 장면을 저장하는 메모리;
    사운드 소스에 대한 상기 최종 사용자의 포커스를 검출하도록 구성된 적어도 하나의 센서;
    사운드들을 상기 최종 사용자에게 전달하도록 구성된 적어도 하나의 스피커; 및
    상기 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 상기 적어도 하나의 스피커가 다른 사운드 소스들로부터 발생하는 사운드들에 비해 상기 사운드 소스로부터 발생하는 사운드를 우선적으로 전달하게 하고, 그리고 상기 3차원 장면의 복수의 합성 이미지 프레임들을 렌더링(rendering)하도록 구성된 제어 서브시스템; 및
    복수의 이미지 프레임들을 상기 최종 사용자에게 순차적으로 디스플레이하도록 구성되는 디스플레이 서브시스템
    을 포함하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  17. 제16 항에 있어서,
    상기 디스플레이 서브시스템은 상기 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  18. 제16 항에 있어서,
    상기 디스플레이 서브시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 이미지 프레임들을 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주변 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  19. 제16 항에 있어서,
    상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 적어도 하나의 센서, 적응성 마이크로폰 어셈블리, 상기 적어도 하나의 스피커 및 상기 디스플레이 서브시스템을 지지하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  20. 제16 항에 있어서,
    상기 제어 서브시스템은 GPU(graphics control subsystem unit)를 포함하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  21. 제16 항에 있어서,
    상기 사운드 소스는 실제 사운드 소스인,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  22. 제21 항에 있어서,
    상기 사운드들을 전기 신호들로 변환하도록 구성된 적응성 마이크로폰 어셈블리를 더 포함하고, 상기 적어도 하나의 스피커는 상기 최종 사용자가 인식하게 상기 전기 신호들을 사운드들로 변환하도록 구성되고, 상기 제어 서브시스템은 상기 최종 사용자의 검출된 포커스의 방향 및/또는 거리에 상기 적응성 마이크로폰 어셈블리의 최대 감도를 세팅하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  23. 제22 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 방향을 세팅하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  24. 제22 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 상기 최대 감도의 거리를 세팅하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  25. 제22 항에 있어서,
    상기 적응성 마이크로폰 어셈블리는 다이폴(dipole), 카디오이드(cardioid), 슈퍼(super)-카디오이드, 또는 하이퍼(hyper)-카디오이드 패턴 중 하나에 따라 상기 사운드들을 상기 전기 신호들로 변환하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  26. 제16 항에 있어서,
    상기 사운드 소스는 가상 사운드 소스인,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  27. 제26 항에 있어서,
    상기 3차원 장면은 상기 가상 사운드 소스를 포함하고, 상기 메모리는 상기 3차원 장면의 상기 가상 사운드 소스와 연관하여 합성 사운드 데이터를 저장하고, 상기 제어 서브시스템은 상기 가상 사운드 소스에 대한 상기 최종 사용자의 포커스의 검출에 대한 응답으로 다른 사운드 소스들로부터 상기 가상 사운드 소스를 식별하고, 그리고 상기 적어도 하나의 스피커가 상기 합성 사운드 데이터에 따라 상기 최종 사용자에게 사운드를 전달하게 하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  28. 제16 항에 있어서,
    상기 적어도 하나의 센서는 카메라를 포함하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  29. 제16 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 눈의 각도 포지션을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  30. 제16 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 거리를 검출하기 위해 상기 최종 사용자의 눈들의 수렴을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  31. 제16 항에 있어서,
    상기 적어도 하나의 센서는 상기 최종 사용자의 포커스의 방향을 검출하기 위해 상기 최종 사용자의 머리의 각도 포지션을 검출하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  32. 제16 항에 있어서,
    상기 적응성 마이크로폰 어셈블리는 마이크로폰 엘리먼트들의 페이즈드 어레이를 포함하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  33. 제16 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리를 따라 수정하도록 구성된 DSP(digital signal processor)를 포함하는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  34. 제16 항에 있어서,
    상기 제어 서브시스템은 상기 최종 사용자가 포커싱되는 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  35. 제22 항에 있어서,
    상기 제어 서브시스템은 상기 적응성 마이크로폰 어셈블리의 최대 감도의 방향 및/또는 거리의 시각적 표시자를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 서브시스템에게 명령하게 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  36. 제16 항에 있어서,
    상기 제어 서브시스템은 사운드들을 로커라이징(localize)하도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 상기 실제 사운드 소스로부터 발생하는 것으로 상기 최종 사용자에 의해 인식되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  37. 제16 항에 있어서,
    상기 제어 서브시스템은 상기 사운드들의 특정 주파수 성분들의 볼륨을 선택적으로 높이거나 낮추도록 구성되어, 상기 사운드 소스로부터 발생하는 사운드는 강조되고 그리고/또는 상이한 사운드 소스로부터 발생하는 사운드는 비강조되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  38. 제16 항에 있어서,
    상기 제어 서브시스템은 상기 사운드 소스로부터 발생하는 제1 사운드의 특성들을 상이한 소스로부터 발생하는 제2 사운드의 특성들에 비교하고, 상기 제1 사운드의 특성들과 동일한 타입의 특성들을 가진 사운드들을 강조하고, 그리고 상기 제2 사운드와 동일한 타입의 특성들을 가진 사운드들을 비강조하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
KR1020187022403A 2016-02-04 2017-02-02 증강 현실 시스템에서 오디오를 지향시키기 위한 기법 KR20180109910A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662291363P 2016-02-04 2016-02-04
US62/291,363 2016-02-04
PCT/US2017/016263 WO2017136580A1 (en) 2016-02-04 2017-02-02 Technique for directing audio in augmented reality system

Publications (1)

Publication Number Publication Date
KR20180109910A true KR20180109910A (ko) 2018-10-08

Family

ID=59496440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022403A KR20180109910A (ko) 2016-02-04 2017-02-02 증강 현실 시스템에서 오디오를 지향시키기 위한 기법

Country Status (10)

Country Link
US (1) US10536783B2 (ko)
EP (2) EP3411873B1 (ko)
JP (2) JP6904963B2 (ko)
KR (1) KR20180109910A (ko)
CN (2) CN114189793B (ko)
AU (2) AU2017215349B2 (ko)
CA (2) CA3206524C (ko)
IL (3) IL283975B2 (ko)
NZ (1) NZ743729A (ko)
WO (1) WO2017136580A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096406A1 (ko) * 2018-11-09 2020-05-14 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
KR20200054083A (ko) * 2018-11-09 2020-05-19 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN113039815A (zh) * 2018-11-09 2021-06-25 候本株式会社 声音生成方法及执行其的装置
KR20230166323A (ko) * 2022-05-30 2023-12-07 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129682B2 (en) * 2012-01-06 2018-11-13 Bacch Laboratories, Inc. Method and apparatus to provide a virtualized audio file
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
KR102616220B1 (ko) 2017-02-28 2023-12-20 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
WO2019079523A1 (en) * 2017-10-17 2019-04-25 Magic Leap, Inc. SPACE AUDIO WITH MIXED REALITY
CN109753847B (zh) * 2017-11-02 2021-03-30 华为技术有限公司 一种数据的处理方法以及ar设备
GB201800918D0 (en) 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
WO2019161313A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality virtual reverberation
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
CN111903135A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法以及程序
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US10585641B2 (en) 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
CN112106020B (zh) * 2018-05-03 2024-05-10 苹果公司 用于合成现实布景的声音处理的方法和设备
CN109615703B (zh) * 2018-09-28 2020-04-14 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
KR102458962B1 (ko) * 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
US10739726B2 (en) * 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
EP3868128A2 (en) * 2018-10-15 2021-08-25 Orcam Technologies Ltd. Hearing aid systems and methods
US11979716B2 (en) 2018-10-15 2024-05-07 Orcam Technologies Ltd. Selectively conditioning audio signals based on an audioprint of an object
US11089402B2 (en) 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
CN109460120A (zh) * 2018-11-17 2019-03-12 李祖应 一种基于声场定位的现实模拟方法及智能穿戴设备
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
EP3709171A1 (en) * 2019-03-13 2020-09-16 Nokia Technologies Oy Audible distractions at locations external to a device
TWI716842B (zh) * 2019-03-27 2021-01-21 美律實業股份有限公司 聽力測試系統以及聽力測試方法
GB2584837A (en) * 2019-06-11 2020-12-23 Nokia Technologies Oy Sound field related rendering
WO2021038295A1 (en) * 2019-08-26 2021-03-04 Orcam Technologies Ltd. Hearing aid system with differential gain
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
GB2589340A (en) * 2019-11-27 2021-06-02 Nokia Technologies Oy Augmented reality system
CN110956951A (zh) * 2019-12-23 2020-04-03 苏州思必驰信息科技有限公司 一种语音增强采集配件、方法、系统、设备及存储介质
US11234090B2 (en) 2020-01-06 2022-01-25 Facebook Technologies, Llc Using audio visual correspondence for sound source identification
US11087777B1 (en) * 2020-02-11 2021-08-10 Facebook Technologies, Llc Audio visual correspondence based signal augmentation
US11432067B2 (en) * 2020-03-23 2022-08-30 Orcam Technologies Ltd. Cancelling noise in an open ear system
US11990129B2 (en) 2020-06-29 2024-05-21 Innovega, Inc. Display eyewear with auditory enhancement
US11533443B2 (en) 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US11493959B2 (en) * 2020-08-17 2022-11-08 Orcam Technologies Ltd. Wearable apparatus and methods for providing transcription and/or summary
US11972592B2 (en) 2021-04-06 2024-04-30 Innovega, Inc. Automated eyewear frame design through image capture
US11604368B2 (en) 2021-04-06 2023-03-14 Innovega, Inc. Contact lens and eyewear frame design using physical landmarks placed on the eye
US11762219B2 (en) 2021-04-06 2023-09-19 Innovega, Inc. Automated contact lens design through image capture of an eye wearing a reference contact lens
CN117981360A (zh) * 2021-09-21 2024-05-03 索尼集团公司 信息处理装置、信息处理方法和程序

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
US5901232A (en) * 1996-09-03 1999-05-04 Gibbs; John Ho Sound system that determines the position of an external sound source and points a directional microphone/speaker towards it
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US7269632B2 (en) 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
KR100677601B1 (ko) 2004-11-11 2007-02-02 삼성전자주식회사 메타 데이터를 포함하는 영상 데이터를 기록한 저장매체,그 재생장치 및 메타 데이터를 이용한 검색방법
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
FR2915041A1 (fr) * 2007-04-13 2008-10-17 Canon Kk Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants.
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR20090052169A (ko) * 2007-11-20 2009-05-25 삼성전자주식회사 두부(頭部) 장착 디스플레이
EP2088802B1 (en) * 2008-02-07 2013-07-10 Oticon A/S Method of estimating weighting function of audio signals in a hearing aid
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
KR101547639B1 (ko) * 2009-05-22 2015-08-27 삼성전자 주식회사 사운드 포커싱 장치 및 방법
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
EP2368720B1 (en) 2010-03-26 2018-10-24 Provenance Asset Group LLC Method to transform a virtual object into a real physical object
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP2012029209A (ja) 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
RU2595912C2 (ru) * 2011-05-26 2016-08-27 Конинклейке Филипс Н.В. Аудиосистема и способ для нее
US20130222371A1 (en) 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
ES2621952T3 (es) * 2011-09-01 2017-07-05 9Solutions Oy Sistema de seguimiento de localización adaptativo
JP5969200B2 (ja) * 2011-11-11 2016-08-17 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8781142B2 (en) * 2012-02-24 2014-07-15 Sverrir Olafsson Selective acoustic enhancement of ambient sound
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9319821B2 (en) * 2012-03-29 2016-04-19 Nokia Technologies Oy Method, an apparatus and a computer program for modification of a composite audio signal
DE102012214081A1 (de) * 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9544074B2 (en) 2012-09-04 2017-01-10 Broadcom Corporation Time-shifting distribution of high definition audio data
US8750541B1 (en) * 2012-10-31 2014-06-10 Google Inc. Parametric array for a head-mountable device
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
WO2014113891A1 (en) * 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9124990B2 (en) * 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
DE102013215131A1 (de) * 2013-08-01 2015-02-05 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verfolgung einer Schallquelle
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US9710058B2 (en) * 2013-09-03 2017-07-18 Tobii Ab Portable eye tracking device
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
CN103686565B (zh) * 2013-12-29 2017-09-26 长城汽车股份有限公司 车内声音控制系统
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6125457B2 (ja) * 2014-04-03 2017-05-10 日本電信電話株式会社 収音システム及び放音システム
KR20170067682A (ko) * 2014-05-26 2017-06-16 블라디미르 셔먼 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
JP6421313B2 (ja) 2014-07-28 2018-11-14 株式会社オーディオテクニカ マイクロホン装置
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9654868B2 (en) * 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
EP3233952A1 (en) * 2014-12-16 2017-10-25 3M Innovative Properties Company Ionic diol, antistatic polyurethane, and method of making the same
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US11631421B2 (en) * 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10206042B2 (en) * 2015-10-20 2019-02-12 Bragi GmbH 3D sound field using bilateral earpieces system and method
US9949056B2 (en) * 2015-12-23 2018-04-17 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096406A1 (ko) * 2018-11-09 2020-05-14 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
KR20200054083A (ko) * 2018-11-09 2020-05-19 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN113039815A (zh) * 2018-11-09 2021-06-25 候本株式会社 声音生成方法及执行其的装置
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
KR20230166323A (ko) * 2022-05-30 2023-12-07 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법

Also Published As

Publication number Publication date
WO2017136580A1 (en) 2017-08-10
AU2017215349A1 (en) 2018-07-12
AU2022201783A1 (en) 2022-04-07
CN114189793A (zh) 2022-03-15
EP3411873A1 (en) 2018-12-12
CN114189793B (zh) 2024-03-19
IL283975B2 (en) 2024-02-01
IL260113A (en) 2018-07-31
IL307306A (en) 2023-11-01
CA3206524A1 (en) 2017-08-10
NZ743729A (en) 2022-10-28
IL260113B (en) 2021-06-30
AU2017215349B2 (en) 2021-12-16
US10536783B2 (en) 2020-01-14
CA3007511A1 (en) 2017-08-10
AU2022201783B2 (en) 2023-06-29
CN108604439A (zh) 2018-09-28
US20170230760A1 (en) 2017-08-10
JP2019511148A (ja) 2019-04-18
JP6904963B2 (ja) 2021-07-21
IL283975A (en) 2021-07-29
CA3007511C (en) 2023-09-19
EP3411873A4 (en) 2019-01-23
JP2020092448A (ja) 2020-06-11
EP3411873B1 (en) 2022-07-13
IL283975B1 (en) 2023-10-01
EP4075826A1 (en) 2022-10-19
CA3206524C (en) 2024-02-13
CN108604439B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
AU2022201783B2 (en) Technique for directing audio in augmented reality system
US11906739B2 (en) Microlens collimator for scanning optical fiber in virtual/augmented reality system
KR102419065B1 (ko) 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
CN113568165B (zh) 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
KR102579831B1 (ko) 역각 회절 격자를 가진 가상/증강 현실 시스템
JP7121836B2 (ja) 仮想／拡張現実システムにおける偏波維持光ファイバ
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
US11812222B2 (en) Technique for directing audio in augmented reality system
KR102330237B1 (ko) 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오
KR102230645B1 (ko) 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal