KR20200095460A - 복수의 디바이스들을 관리하는 방법 및 전자 디바이스 - Google Patents

복수의 디바이스들을 관리하는 방법 및 전자 디바이스 Download PDF

Info

Publication number
KR20200095460A
KR20200095460A KR1020207010809A KR20207010809A KR20200095460A KR 20200095460 A KR20200095460 A KR 20200095460A KR 1020207010809 A KR1020207010809 A KR 1020207010809A KR 20207010809 A KR20207010809 A KR 20207010809A KR 20200095460 A KR20200095460 A KR 20200095460A
Authority
KR
South Korea
Prior art keywords
devices
spatial map
electronic device
image
acoustic
Prior art date
Application number
KR1020207010809A
Other languages
English (en)
Other versions
KR102578695B1 (ko
Inventor
장 롱 주 진
아룬 라케시 요가난단
쿠미 아키요시
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200095460A publication Critical patent/KR20200095460A/ko
Application granted granted Critical
Publication of KR102578695B1 publication Critical patent/KR102578695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/021—Calibration, monitoring or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/08—Position of single direction-finder fixed by determining direction of a plurality of spaced sources of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

복수의 디바이스들을 관리하는 방법이 설명된다. 상기 방법은 상기 복수의 디바이스들을 포함하는 이미지를 수신하는 과정; 상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵(map)을 결정하는 과정, 여기서 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해서, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함하며, 상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드(acoustic field)를 수정하는 과정을 포함한다. 정보를 제공하는 시스템 또한 설명된다.

Description

복수의 디바이스들을 관리하는 방법 및 전자 디바이스
본 발명의 실시 예들은 전자 디바이스들과 같은 디바이스들에 관한 것으로서, 특히 복수의 디바이스들을 관리하는 방법 및 전자 디바이스에 관한 것이다.
디지털 디바이스들의 유용성이 높아짐에 따라, 가정에서 연결된 디바이스들의 존재 및 중복되는 능력들을 가지는 디지털 디바이스들의 다양성이 증가된다. 예를 들어, 사람들은 태블릿들, 전화들, TV들, 사운드 시스템들과 같이 상이한 디바이스들을 가지고 있을 수 있으며, 그 디바이스들 사이에는 컴포넌트(component)들 및 기능들의 중복이 있을 수 있다. 다만, 상기 디바이스들과 상기 디바이스들의 개별 능력들의 잠재적 이용 사이에는 단절(disconnect)이 존재한다.
보다 구체적으로, 상기 디지털 디바이스들 중 다수는 동일한 타입의 컴포넌트, 또는 오디오 재생 및 음성 검출과 같은 태스크(task)들을 수행하는 스피커들 및/또는 마이크로폰들과 같이 사운드에 관련되는 컴포넌트들의 결합, 또는 제스처(gesture)들을 검출하는 더 진화된 컴포넌트들을 가질 수 있다. 상이한 디바이스들이 동일한 타입의 컴포넌트들을 보유하고, 동일한 기술을 이용한다고 할 지라도, 그 컴포넌트들과 연관되는 동작은 종종 그들 자신의 각 디바이스들로 국한된다. 클러스터(cluster)로 함께 구성될 때, 그들은 그들 자신의 인접들을 의식하지 못하는 개별 유닛들로 지속적으로 동작한다.
클러스터의 자유형 디바이스들간의 캘리브레이션(calibration)을 수행하는 기존의 해결 방식들은 다루기 어렵고, 종종 특수한 하드웨어 또는 소프트웨어를 필요로 한다. 캘리브레이션은 여러 단계들을 필요로 할 수 있고, 많은 시간이 걸릴 수 있으며, 사용자가 정확한 캘리브레이션 단계들을 수행해야 하는 부담이 있을 수 있다. 결과적으로, 이러한 해결 방식들은 소비자에게 친화적이지 않으며, 이로 인해 디바이스들의 많은 사용자들에 대한 상기 캘리브레이션 단계들의 이용은 제한될 수 있다.
따라서, 함께 동작하는 복수의 디바이스들을 관리하는 시스템들 및 방법들에 대한 필요성이 존재한다.
복수의 디바이스들을 관리하는 방법이 설명된다. 상기 방법은 상기 복수의 디바이스들을 포함하는 이미지를 수신하는 과정; 상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵(map)을 결정하는 과정, - 여기서, 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함함 -; 및 상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드(acoustic field)를 수정하는 과정을 포함한다.
또한, 정보를 제공하는 시스템이 설명된다. 상기 시스템은 센서들을 포함하는 복수의 디바이스들; 및 전자 디바이스를 포함한다, 여기서, 상기 전자 디바이스는: 상기 복수의 디바이스들을 포함하는 이미지를 수신하고, 상기 이미지의 분석을 기반으로 상기 복수의 디바이스들에 대한 공간 맵을 결정하고 - 여기서, 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함함 -, 상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드를 수정한다.
방법을 수행하기 위해 프로세서에 의해 실행 가능한 인스트럭션 (instruction)들을 나타내는 데이터가 저장된 비-일시적 컴퓨터-리드 가능 저장 매체가 설명되며, 상기 방법은: 상기 복수의 디바이스들을 포함하는 이미지를 수신하는 과정; 상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵을 결정하는 과정, - 여기서, 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함함 -; 및 상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드를 수정하는 과정을 포함한다.
도 1은 복수의 디바이스들 및 제어 디바이스를 가지는 시스템의 예시적 블록도이다;
도 2는 제어 디바이스의 예시적 블록도이다;
도 3은 제스처(gesture)가 일 예로서 도시되어 있는 입력을 수신하도록 구성되는 복수의 디바이스들을 도시하고 있는 예시적 도면이다;
도 4는 언어 입력이 일 예로서 도시된 입력을 수신하도록 구성되는 복수의 디바이스들을 도시하고 있는 예시적 도면이다;
도 5a 및 도 5b는 센서들에서 입력들을 수신하거나 또는 출력들을 생성하는 협력 필드(coordinated field)를 생성하기 위해 캘리브레이트되는(calibrated) 복수의 디바이스들의 예시적 도면들이다;
도 6a 및 도 6b는 복수의 마이크로폰들에 의해 생성되는 복합 오디오 신호(composite audio signal)의 생성을 도시하고 있는 예시적 도면들이다;
도 7은 복수의 수신기들에서의 송신기로부터의 오디오 신호의 수신을 도시하고 있는 예시적 도면이다;
도 8은 복수의 디바이스들의 이미지를 촬영하는 제어 디바이스를 도시하고 있는 예시적 도면이다;
도 9는 도 8의 제어 디바이스의 디스플레이의 확장된 뷰로서, 복수의 디바이스들의 관계를 도시하는 도면이다;
도 10a 및 도 10b는 제어 디바이스의 시야각(field of view) 외부의 디바이스들의 관계를 결정하는 프로세스를 도시하고 있는 예시적 도면들이다;
도 11은 복수의 디바이스들을 관리하는 방법을 도시하고 있는 예시적 흐름도이다;
도 12는 입력들을 수신하거나 또는 출력들을 생성하는 협력 필드를 도시하고 있는 예시적 도면이다;
도 13a 및 도 13b는 도 12의 상기 입력들을 수신하거나 또는 출력들을 생성하는 협력 필드의 최적화된 영역을 도시하고 있는 예시적 도면들이다;
도 14a 및 도 14b는 입력들을 수신하거나 또는 출력들을 생성하는 디바이스들의 3D 배열(arrangement)을 도시하고 있는 예시적 도면들이다;
도 15a, 도 15b, 및 도 15c는 복수의 디바이스들과 연관되는 다른 협력 영역들을 도시하고 있는 예시적 도면들이다;
도 16은 방 안에서 디바이스들의 협력을 도시하고 있는 예시적 도면이다; 및
도 17은 복수의 디바이스들을 관리하는 다른 방법을 도시하고 있는 예시적 흐름도이다.
하기의 방법들 및 시스템들은 제어 디바이스가 복수의 전자 디바이스들을 관리하는 것을 가능하게 하고, 또한 캘리브레이션(calibration)을 위해 이용될 추가적인 데이터로서 상기 디바이스들간의 시각 큐(cue)들 및 공간 관계를 이용하여 상기 캘리브레이션 프로세스를 가속화 및 개선할 수 있다. 일부 시나리오들에서는 디바이스들의 클러스터(cluster)가 개별 플레이어(player)들 보다는 그룹으로 함께 동작하고 작동하는 것이 유리할 수 있기 때문에, 상기 디바이스들의 능력들 및 상기 디바이스들간의 관계들을 결정하는 것이 유리할 수 있다. 일 예로, 동일한 룸(room)에 존재하는 4개의 스마트 스피커들의 클러스터(cluster)는 4개의 개별 스피커들보다는 통합된 서라운드 사운드 경험(unified surround sound experience)을 제공하기 위해 서로 협력하는 그룹으로 작동하는 것이 유리할 수 있다. 대안적으로, 제스처 이네이블드 디스플레이(gesture enabled display)들이 함께 클러스터 될 때, 상기 개별 디스플레이들보다는 전체로 상기 클러스터와 제스처 상호 작용을 수행하는 것이 유리할 수 있다. 불행하게도, 그와 같은 클러스터가 형성될 때, 그와 같은 디바이스들과 연관되는 (센싱 및 출력들을 생성하는) 음향 필드들은 다양한 레벨들의 중복 및 세기를 가지는 영역들을 초래하고, 이는 불균일하고 준최적인 청취 경험을 초래한다. 그와 같은 상황들에서 캘리브레이션은 이 클러스터 주변의 음향 필드를 정규화하고(normalize) 통합된 그룹 동작을 달성하는데 이로운 단계이다. 하지만, 상기 클러스터로부터 상기 복수의 디바이스들 사이의 공간적 관계의 정보가 없는 캘리브레이션은 복잡한 프로세스를 초래하는데, 사용자가 상기 디바이스들 위치 중 각각의 디바이스 위치를 명시하거나 또는 각 디바이스가 다른 디바이스들과 통신할 필요가 있지만, 종종 그들 사이의 단절(disconnect)이 존재한다. 따라서, 상기 관계들의 자동 검출 및 각 디바이스의 정보를 포함하는 자동 캘리브레이션 프로세스가 필요하다. 정확하게 캘리브레이션이 되면, 상기 통합된 경험을 생성하기 위해 역할(responsibility)들의 적합한 분배, 상기 그룹 내의 상호 작용/출력의 영역이 계산될 수 있다.
이들 디바이스들의 캘리브레이션 프로세스는 상기 복수의 디바이스들 간의 협력을 개선시키는 데, 이는 상기 복수의 디바이스들 간의 차이가 존재할 수 있기 때문이다. 상기 디바이스들 간의 공간 관계는 상기 각 디바이스의 위치가 음향 신호들의 발신 및 수신과 직접적으로 관련되기 때문에 중요하다. 스피커들 또는 마이크로폰들의 어레이를 포함하는 구조적으로 견고한 디바이스들은 캘리브리션에 대해 그들의 공간 강성(spatial rigidity)을 이용하고, 그들의 상대적 공간 관계들이 영원히 그대로 유지될 것이라는 것이 보장되기 때문에 사전-캘리브레이션 되어 수송될 수 있다. 하지만, 서로 견고하게 연결되지 않고 (픽쳐 프레임(picture frame)들의 그룹과 같은) 상기 사용자의 바람에 따라 공간적으로 자유롭게 배열될 수 있는 디바이스들에 대해서는, 제조자들이 상기 공간 관계를 미리 예측하거나 또는 그에 대해 계획할 수 있는 방식이 존재하지 않는다. 결과적으로, 캘리브레이션은 상기 사용자 측에서 수행되고, 이는 상기 프로세스를 상당히 복잡하게 한다.
본 명세서가 신규한 것으로 간주되는 본 발명의 하나 이상의 구현들의 특징들을 정의하는 청구항들을 포함할지라도, 상기 회로들 및 방법들은 상기 도면들과 함께 상기 상세한 설명을 고려함으로써 보다 잘 이해될 것으로 여겨질 것이다. 다양한 회로들 및 방법들이 개시되어 있을 지라도, 다양한 형태들로 실시될 수 있는, 상기 회로들 및 방법들은 단지 본 발명의 배열(arrangement)들의 예시라고 이해될 것이다. 따라서, 본 명세서에 내에 개시된 특정 구조적 및 기능적 세부 사항들은 한정적인 것으로 해석되어서는 안될 것이고, 단지 상기 청구항들에 대한 근거 및 해당 기술 분야의 당업자가 상기 본 발명의 배열들을 사실상 임의의 적합한 구체적인 구조로 다양하게 이용하도록 교시하는 대표적인 근거로서만 해석될 것이다. 또한, 여기에서 이용되는 용어들 및 구문들은 한정적인 의도를 가지지 않으며, 이보다는 상기 회로들 및 방법들의 이해 가능한 설명을 제공하기 위한 것이다.
먼저, 도 1을 참조하면, 제어 디바이스를 포함하는 복수의 디바이스들을 가지는 시스템의 예시적 블록도가 도시되어 있다. 도 1의 상기 예시적 시스템 (100)에 따르면, 복수의 디바이스들(102-106)은, 전자 디바이스들일 수 있고, 일 예로 도시된 바와 같이 클러스터로 배열될 수 있으며, 하기에서 보다 구체적으로 설명되는 것과 같이, 서로 통신하도록 또는 상기 클러스터 외부의 하나 이상의 디바이스들과 통신하도록 구성된다. 하기에서 보다 구체적으로 설명되는 바와 같이, 디바이스들(102-106)의 클러스터에 포함되어 있는 복수의 디바이스들의 추가적인 디바이스들은 상기 제어 디바이스(120)의 시야각(Field Of View: FOV) 외부에 존재할 수 있지만, 컴퓨터 비전(computer vision) 기술들을 이용하여 상기 복수의 디바이스들에 포함될 수 있다. 일 실시예에 따르면, 상기 복수의 디바이스들은 디스플레이 및 상기 복수의 디바이스들 중 하나 또는 그 이상에 대한 입력들을 검출하고 출력을 생성하는 것을 가능하게 하는 입/출력 회로들을 가지는 디지털 픽쳐 프레임들일 수 있다. 보다 구체적으로, 상기 디바이스들(102-106) 각각은 제어 회로 (108) 및 여기에서는 복수의 입력 또는 출력 회로들(111-114)로 도시되어 있는, 하나 이상의 입력 또는 출력 디바이스들을 포함한다. 예를 들어, 입력 회로는 카메라, 마이크로폰, 모션 검출기, 깊이 센서, 광 센서, 온도 센서, 또는 신호를 수신하거나 또는 상기 복수의 디바이스들 근처의 영역에서 상태를 검출하는 임의의 다른 입력 회로를 포함할 수 있다. 이미지를 디스플레이하는 디스플레이, 또는 상기 디바이스 상에 새겨지는 레이저 또는 상기 디바이스 상에 놓여지는 종이 이미지와 같은 고유한 이미지를 도시하는 매체 이외에, 상기 디바이스들 각각은 하나 이상의 스피커들과 같은 출력 디바이스들을 포함할 수 있거나, 또는 일 예로, LED 조명들과 같은, 시각 피드백을 디스플레이하는 출력 디바이스들을 포함할 수 있다. 스마트폰, 태블릿 또는 카메라 또는 다른 이미지 검출 회로를 가지는 임의의 다른 타입의 전자 디바이스와 같은 임의의 타입의 이미지 촬영 디바이스(image capturing device)와 연결될 수 있는 제어 디바이스 (120)는 상기 복수의 디바이스들(104-106) 및 상기 제어 디바이스 (120)의 FOV의 외부에 존재할 수 있는 다른 디바이스들의 이미지를 촬영하는데 이용될 수 있다.
상기 복수의 디바이스들 각각은 상기 제어 디바이스(120)와의 통신 뿐만 아니라 상기 디바이스들간의 통신을 가능하게 하는 하나 이상의 통신 회로들을 포함할 수 있다. 일 예로, 각 디바이스(102-106)는 상기 디바이스들 간의 통신을 가능하게 하는 통신 회로(116)를 포함할 수 있다. 각 디바이스(102-106)는 또한 상기 제어 디바이스(120)와 통신하는 통신 디바이스(118)를 포함할 수 있다. 즉, 상기 제어 디바이스(120)는 상기 복수의 디바이스들 중 하나 또는 그 이상과 통신하여 상기 제어 디바이스에 의해 촬영되는 상기 복수의 디바이스들의 이미지로부터 결정되는 상기 복수의 디바이스들의 배열 및 능력들에 관련된 정보를 기반으로 입력 또는 출력 회로들을 제어할 수 있다. 제어 디바이스의 일 예가 도 2를 참조하여 보다 상세하게 설명될 것이다. 각 디바이스가 2개의 통신 회로들(116, 118)을 포함할 지라도, 단일 통신 회로가 다른 디바이스들 및 상기 통신 디바이스와의 통신을 가능하게 하도록 구현될 수 있다는 것이 이해되어야만 할 것이다. 즉, 상기 통신 회로 (116)는 상기 다른 디바이스들 뿐만 아니라 상기 제어 디바이스(120)와의 통신을 가능하게 할 수 있다. 또한, 상기 디바이스들 각각이 상기 제어 디바이스(120)와의 통신을 가능하게 하는 통신 회로(118)를 포함할 수 있을 지라도, 통신 회로(118)는 상기 디바이스들(102-106) 중 하나에서 구현될 수 있다는 것이 이해되어야만 할 것이며, 여기서, 그 디바이스는 상기 제어 디바이스(120)와의 통신을 가능하게 하는, 상기 디바이스들(102-106)에 대한 중앙 통신 허브(hub)로서 동작할 것이다. 상기 통신 회로들(116, 118)은 임의의 타입의 유선 또는 무선 통신 프로토콜을 구현할 수 있다. 상기 디바이스들은 와이-파이(Wi-Fi), RF, 지그비(Zigbee), 지-웨이브(Z-wave), 근거리 통신(Near Field Communication: NFC) 또는 블루투스(Bluetooth) 프로토콜들을 통해 서로 또는 상기 제어 디바이스와 대화할 수 있고, 일 예로, 상기 블루투스 프로토콜들은 메시 능력(mesh capability)들을 가진다.
상기 제어 디바이스(120)에 의해 촬영되는 이미지는 상기 디바이스들(102-106)의 방향에 관련되는 정보, 상기 복수의 디바이스들 각각에 관한 상기 복수의 디바이스들의 관계, 상기 복수의 디바이스들 상의 입력 및 출력 회로들의 개수, 타입, 위치를 포함하는, 상기 디바이스들의 능력들과 같은, 상기 디바이스들의 특성들을 결정하기 위해 상기 제어 디바이스(120)에 의해 로컬하게 또는 상기 제어 디바이스로부터 원격으로 분석될 수 있다. 상기 제어 디바이스(120)는 상기 복수의 디바이스들의 방향, 서로에 관한 상기 복수의 디바이스들의 관계, 상기 복수의 디바이스들의 특성들을 검출하는 하나 이상의 센서들을 가지는 임의의 타입의 디바이스가 될 수 있다. 일 예로, 상기 제어 디바이스(120)는 신(scene) 내의 엘리먼트(element)의 깊이 또는 신 내의 엘리먼트들의 상대적인 위치를 결정하는 것에 도움을 줄 수 있는 카메라 및 다른 센서들을 가지는 스마트폰 또는 다른 전자 디바이스가 될 수 있다.
일부 환경들 하에서, 상기 제어 디바이스는 상기 복수의 디바이스들의 일부로서 입력 및 출력 디바이스들을 제공하고, 따라서 상기 복수의 디바이스들과 상호 작용하는 사용자로부터 입력들을 수신하거나 또는 상기 사용자로 출력들을 생성하도록 동작할 수 있다는 것에 유의하여야 할 것이다. 하지만, 상기 제어 디바이스를 상기 복수의 디바이스들에서의 다른 디바이스로 이용하는 것은 그가 고정 또는 이동 상태인지에 의존적일 수 있다. 고정 상태에서, 상기 제어 디바이스는 상기 클러스터에서의 디바이스로 동작할 수 있다. 일 예로, 서라운드 사운드 어플리케이션(surround sound application)에서, 상기 제어 디바이스는 다른 "스피커"(일 예로, 스마트폰의 스피커)로 동작할 수 있다. 이는 상기 클러스터를 캘리브레이트 하는 프로세스 동안, 상기 제어가 상기 캘리브레이션의 포인트의 특정 범위 (상기 인스턴스(instance) 캘리브레이션이 발생될 때 위치 및 방향이 변경되지 않는다) 내에서 유지된다는 것을 가정한다. 사람이 방 안의 위치 (Xp, Yp)에서 캘리브레이트하고 있는 중이고, 상기 제어 디바이스가 (Xs, Ys, Zs) (3차원 포인트)에 존재하는 경우, 상기 제어 디바이스가 다른 디바이스로 동작하는 상기 클러스터의 일부가 될 필요가 있으면, 상기 제어 디바이스는 상기 캘리브레이션의 원래의 위치 (Xs, Ys, Zs)의 특정 범위 내에 존재하여야 한다. 상기 제어 디바이스가 이동하고 있는 중이고, 상기 클러스터의 전체 또는 일부가 상기 제어 디바이스의 카메라의 시야 내에 존재할 때, 상기 제어 디바이스는 여전히 지속적으로 공간 관련 출력을 제공하는 상기 클러스터의 일부가 될 수 있다. 상기 제어 디바이스가 이동하고 있는 중이지만, 상기 클러스터가 상기 제어 디바이스의 카메라의 시야 내에 존재하지 않을 때, 상기 제어 디바이스는 더 이상 상기 클러스터의 일부가 될 수 없지만, 상기 제어 디바이스는 상기 클러스터의 근접성(proximity)에 관계없이 상기 클러스터를 제어하는 디바이스로서 동작할 수 있다. 상기 제어는 예시적으로, 상기 어플리케이션의 타입을 구성하는 것, 또는 상기 음향 필드의 동작을 수정하는 것을 포함할 수 있다.
일 실시 예에서, 상기 시스템은 감도(sensitivity), 주파수 또는 다른 음향 관련 파라미터들과 같은 설정들을 변경함으로써 재캘리브레이트될(recalibrated) 수 있다. 일 예로, 재캘리브레이션은 음성 검출/로컬라이제이션(localization)/입력으로부터 제스처 또는 서라운드 사운드로의 스위칭과 같은, 상기 어플리케이션에 따라 상기 감도 공간/음향 필드를 모핑(morph)하거나 또는 조정하기 위해 수행될 수 있다. 상기 다른 디바이스들의 정보와 그 공간 관계는 이미 제1 인스턴스 (즉, 상기 원래의 캘리브레이션)로 저장되어 있다. 어플리케이션 스위치는 상기 사용자의 의도에 따라 발생할 수 있고, 상기 제어 디바이스, 상기 클러스터에 포함되어 있는 디바이스 또는 상기 정보를 프로세싱하거나 또는 상기 정보를 상기 클러스터의 나머지로 송신하는 일부 다른 디바이스에 의해 제어될 수 있다. 상기 음향 필드의 이러한 재캘리브레이션 또는 수정은 상기 원래의 캘리브레이션을 기반으로 할 수 있으며, 이는 상기 캘리브레이션 시, 그 개별 능력들 뿐만 아니라 디바이스들간의 공간 관계가 연산되기 때문이다.
마이크로폰들 또는 스피커들과 같은 음향 컴포넌트들을 포함하는 공간적으로 분리된 자유형 음향 디바이스들의 주어진 클러스터에 대해, 하기에서 제시되는 방법들 및 시스템들은 추가적인 입력으로서 시각 큐(cue)들 및 공간 관계를 이용하여 상기 캘리브레이션의 품질 및 속도를 개선시키고, 또한 소비자들이 그들 자신의 디바이스 설정에 대한 캘리브레이션을 수행할 수 있도록 상기 캘리브레이션 절차의 복잡도를 감소시키고 그 경험의 유용성을 개선시킬 수 있다. 일부 구현들에 따르면, 상기 방법들 및 시스템들은 컴퓨터 비전 (Computer Vision: CV) 및 증강 현실 (Augmented Reality: AR)을 이용하여 로컬 메모리 또는 클라우드에 저장될 수 있는 공간 맵(spatial map)의 형태로 상기 클러스터의 디바이스들 간의 공간 관계를 계산할 수 있다. 상기 공간 맵은 또한 상기 디바이스 자체의 공간 내에서 뿐만 아니라 상기 디바이스들의 클러스터의 공간 전체 내에서 각 음향 컴포넌트 (스피커 및/또는 마이크로폰)의 상대적 위치를 계산할 수 있다. 상기 캘리브레이트될 모든 디바이스들이 상기 제어 디바이스의 FOV에 존재하지 않을 때, 별도의 시간들 또는 프레임들에서 다른 디바이스들의 위치를 촬영하고 SLAM(Simultaneous Location and Mapping)과 같은 해결 방식들을 통해 함께 고정시킬(tie back) 수 있다. 이러한 공간 맵은 그리고 나서 캘리브레이션 프로세스에 대한 입력으로 이용될 수 있다. 게다가, 상기 다른 타입들의 디바이스들이 식별되기 때문에, 그 컴포넌트들 각각의 음향 특성들이 결정될 수 있고, 이는 캘리브레이션을 위한 공통점(common ground)을 생성한다.
일 실시 예에서, 상기 캘리브레이션 프로세스는 규칙적인 음향 캘리브레이션 서브-프로세스들을 수행하여 상기 음향 필드를 분석하고, 정규화된 필드(normalized field)에 대해 조정될 필요가 있는 상기 필드에 포함되어 있는 영역들을 추정하고, 상기 공간 맵을 이용하여 상기 영역들에 영향을 미치는 각 스피커들 및 마이크로폰들을 위치를 검출하고, 상기 요구되는 결과가 성취될 때까지 그들을 수정할 수 있다. 상기 클러스터에 포함되어 있는 모든 디바이스들이 3D 영역인 정규화된(normalized) 음향 필드에 의해 서라운드될 때까지 이전 단계가 반복될 수 있다. 다른 실시 예에서, 상기 캘리브레이션 프로세스는 비-통합(non-unified) 필드를 포함하는, 바람직한 필드를 성취하기 위해 상기 디바이스들의 클러스터의 음향 필드를 조정하는 유사한 서브-프로세스들을 수행할 수 있다.
또한, 상기 디바이스들의 캘리브레이션 없이도, 상기 디바이스들의 공간 매핑을 가지고, 또한 그 음향 구성(즉, 입력 및 출력 회로들의 타입들 및 위치)에 대한 지식을 가지고, 상기 맵은 상기 개별 음향 필드들이 서로 어떻게 상호 작용하는지에 대한 기준을 제공한다. 이는 제어 디바이스가 다양한 범위의 어플리케이션들에 대한 디바이스들의 주어진 배열에 대해서 어디에 상기 최적 상호작용 또는 수신 포인트가 존재하는지를 추론하는 것을 가능하게 할 수 있다. 상기 복수의 디바이스들의 한 디바이스는 사용자가 그 디바이스와 상호 작용하고 있는 중임을 검출할 수 있고, 그 디바이스는 액티브 디바이스가 될 것이다. 예를 들어, 상기 사용자가 상기 디바이스의 앞에 존재한다고 결정될 수 있으며, 상기 액티브 디바이스의 디스플레이 상에 상기 사용자에 대한 정보를 제공할 수 있다. 따라서, 상기 방법들 및 시스템들은 시각 큐들 및 공간 관계의 이용을 통해 상기 캘리브레이션의 속도 및 품질을 개선시키기 위해 음향 이네이블드 디바이스(acoustic enabled device)들의 상기 캘리브레이션 프로세스를 쉽게 할 뿐만 아니라, 클러스터링(clustering)을 통한 보다 큰 스펙트럼(spectrum)의 어플리케이션을 고려한다.
도 2를 참조하면, 제어 디바이스의 예시적 블록도가 도시되어 있다. 상기 제어 디바이스(120)는, 하기에서 보다 구체적으로 설명되는 바와 같이, 복수의 디바이스들의 캘리브레이션을 위해 상기 복수의 디바이스들의 이미지들을 촬영하는 하나 이상의 이미징 디바이스(imaging device)들에 연결되는 임의의 타입의 전자 디바이스가 될 수 있다. 상기 제어 디바이스(120)의 한 구현인, 상기 모바일 디바이스(200)는 복수의 카메라들(204, 205)에 연결되는 프로세서 회로(202)를 포함할 수 있다. 상기 모바일 디바이스(200)는 스마트폰, 태블릿, 또는 정보를 수신 또는 제공하는 웨어러블 디바이스와 같은 다른 전자 디바이스와 같이, 정보를 송신 및 수신하도록 구성되는 임의의 디바이스 타입일 수 있다. 상기 프로세서 회로(202)는 ARM 프로세서, X86 프로세서, MIPS 프로세서, 그래픽 프로세싱 유닛(graphics processing unit: GPU), 범용 GPU, 또는 메모리에 저장되어 있는 인스트럭션들을 실행하도록 구성되는 임의의 다른 프로세서가 될 수 있다. 상기 프로세서 회로(202)는 하나 이상의 프로세싱 디바이스들에서 구현될 수 있으며, 상기 프로세서들은 다를 수 있다. 일 예로, 상기 전자 디바이스는 일 예로 GPU 뿐만 아니라 중앙 프로세싱 유닛(central processing unit: CPU)을 포함할 수 있다.
상기 프로세서 회로 (202)는 정보를 사용자에게 디스플레이하는 디스플레이 (206)에 연결될 수 있다. 상기 프로세서 회로 (202)는 또한 데이터에 관련되는 정보 또는 목표 달성과 연관되는 정보를 저장하는 것이 가능한 메모리 (208)에 연결될 수 있다. 상기 메모리 (208)는 상기 프로세서 회로 (202)의 일부로서 구현될 수 있거나, 또는 잘 알려져 있는 바와 같이 상기 프로세서의 임의의 캐시 메모리에 추가하여 구현될 수 있다. 상기 메모리 (208)는 고체 상태 드라이브 (solid state drive: SSD), 플래시 메모리, 읽기 전용 메모리(Read Only Memory: ROM) 또는 롱 텀 메모리(long term memory)를 제공하는 임의의 다른 메모리 엘리먼트와 같은 임의의 타입의 메모리를 포함할 수 있으며, 여기서 상기 메모리는 상기 전자 디바이스의 임의의 타입의 내부 메모리 또는 상기 전자 디바이스에 의해 액세스 가능한 외부 메모리가 될 수 있다. 로컬 메모리를 제공함으로써, 사용자 설정 사항들(user preferences) 및 사용자가 사적으로 유지하기를 바랄 수 있는 다른 정보는 손상되지 않는다.
사용자 인터페이스 (210)는 또한 사용자가 데이터를 입력하고 데이터를 수신하는 것을 가능하도록 하기 위해 제공된다. 일부 액티비티(activity) 추적은 사용자의 수동 입력을 요구할 수 있다. 상기 사용자 인터페이스는 스마트폰, 스마트 워치 또는 태블릿 컴퓨터와 같은 휴대용 통신 디바이스 및 스피커 및 마이크로폰과 같은 다른 입/출력 (input/output: I/O) 회로들에서 일반적으로 이용되는 터치 스크린 사용자 인터페이스를 포함할 수 있다. 상기 사용자 인터페이스는 또한 전기 커넥터 방식으로, 또는 Wi-Fi, RF, Zigbee, Z-wave, 근거리 통신(Near Field Communication: NFC) 또는 블루투스 연결과 같은 무선 연결 방식으로 상기 모바일 디바이스에 부착될 수 있는 데이터를 입력 또는 출력하는 디바이스들을 포함할 수 있다. 사용자는 목표 달성 시 사용자의 진행 상황을 추적하는 앱(app)과 연관되는 계정에 로그 온(log on) 할 수도 있다.
상기 프로세서 회로 (202)는 또한 액티비티 추적을 위해 다양한 센서들 (211), 관성 측정 유닛 (inertial measurement unit: IMU) (212) 및 GPS (Global Positioning System) 디바이스(213)를 포함하는, 입력 데이터를 수신하거나 데이터를 제공하는 다른 회로들에 연결될 수 있다. 상기 센서들 (211)은 (일 예로 제스처 검출을 위해) 사람의 위치 또는 움직임을 검출할 수 있는 임의의 타입의 센서를 카메라와 함께 또는 카메라와 별개로 포함할 수 있다. 상기 관성 측정 유닛 (inertial measurement unit: IMU) (212)은 상기 디바이스의 모션(motion) 또는 방향에 관련되는 다양한 정보를 제공할 수 있는 반면, GPS (213)는 상기 디바이스와 연관되는 위치 정보를 제공한다. 상기 모바일 디바이스의 일부가 될 수 있거나, 또는 그에 연결될 수 있는 상기 센서들은 일 예로 광 강도 (일 예로, 주변 광(ambient light) 또는 UV 광) 센서, 근접도 센서, 환경 온도 센서, 습도 센서, 심박수 검출 센서, 갈바닉 피부 반응 센서(galvanic skin response sensor), 피부 온도 센서, 기압계, 속도계, 고도계, 자력계, 홀 센서(hall sensor), 자이로스코프(gyroscope), WiFi 송수신기, 또는 목표 달성과 관련되는 정보를 제공할 수 있는 임의의 다른 센서를 포함할 수 있다. 상기 프로세서 회로 (202)는 입/출력 (input/output: I/O) 포트 (214) 또는 안테나 (218)에 연결되어 있는 송수신기 (216)를 통해 입력 데이터를 수신할 수 있다. 도 2의 상기 제어 다비이스가 일 예로 도시되어 있지만, 상기 디바이스들의 캘리브레이션을 제공하기 위해 추가적인 엘리먼트들 또는 엘리먼트들의 다른 결합이 구현될 수 있다는 것이 이해되어야만 할 것이다.
도 3-도 5를 참조하면, 복수의 디바이스들은 입력들을 수신하도록 구성될 수 있으며, 상기 입력들은 예시적으로, 도 3에서는 제스처로 도시되고, 또는 도 4에서는 음성 입력으로 도시되어 있다. 도 3 및 도 4의 예시적인 구현들에 따르면, 3개의 디바이스들(302-306)은 일 예로, 여기서는 제1 회로(308), 제2 회로(310), 제3 회로(312), 및 제4 회로(314)와 같이 도시되어 있는, 하나 이상의 입력 또는 출력 회로를 가진다. 상기 디바이스(302)에 속하는 제 1 내지 제 4 회로들 (308-314)은 입력 또는 출력 회로들의 임의의 결합을 포함할 수 있고, 결합된 입/출력 회로들인 회로들을 포함할 수 있다. 상기 제1 내지 제4 회로들 (308-314)이 도 3-도 5의 예시적 실시예에서는 상기 디바이스들의 주변에 걸쳐 분산되어 있는 형태로 도시되어 있을 지라도, 다른 개수의 입력 및 출력 회로들이 상기 디바이스들 상에서 구현될 수 있고, 또한 상기 디바이스들 내에서 다른 구성들 및 위치들로 구현될 수 있다는 것이 이해되어야만 할 것이다.
도 5a 및 도 5b에 도시되어 있는 바와 같이, 그리고 하기에서 보다 구체적으로 설명될 바와 같이, 상기 입력 및 출력 회로들은 입력 회로들이 일반적으로 입력들 (일 예로, 음성 또는 제스처들)을 검출할 것이고, 출력 회로들이 출력들(일 예로, 오디오 또는 시각 출력들)을 생성할 것인 (상기 예제들에서 점선으로 정의되는) 필드를 제공하도록 캘리브레이트될 수 있다. 보다 구체적으로, 상기 개별 디바이스들(302-306)은 도 5a에 도시되어 있는 바와 같이, 입력 신호들을 수신하거나 또는 출력 신호들을 생성하는 상응하는 필드들(502-506)을 가진다. 캘리브레이션이 없을 경우, 상기 개별 음향 필드들은 서로 간섭할 수 있다. 그러나, 상기 디바이스들의 다양한 입력 및 출력 회로들의 공간 관계에 대한 지식으로 캘리브레이트함으로써, 도 5B에 점선으로 도시된 바와 같이 상기 복수의 디바이스들에 대한 음향 필드(508)가 생성될 수 있다. 상기 디바이스들 (302-306) 상에 구현되어 있는 입력 회로들의 케이스에서, 카메라 또는 일 예로 상기 디바이스들(302-306)의 앞에 존재하는 사람에 의한 제스처와 연관되는 특정 모션을 검출하는 다른 센서, 또는 상기 디바이스들(302-306) 옆의 사람으로부터의 음성과 같은 사운드를 검출하는 마이크로폰과 같은, 디바이스 상의 적어도 하나의 입력 회로는 입력을 검출할 것이다. 즉, 입력 센서로서 동작하는 상기 입력 회로들 중 하나는 상기 점선으로 정의되어 있는 상기 음향 필드(508)에서 제공되는 입력을 검출할 것이고, 또는 상기 점선에 의해 정의되는 상기 음향 필드(508)에서 사용자는 사운드를 듣는 것과 같은, 상기 복수의 디바이스들로부터의 출력을 검출할 가능성이 더 클 수 있다.
상기 디바이스들로 구현되는 어플리케이션에 따라, 완전히 균일한 영역에서 (감도 및 다른 파라미터들에서 전략적으로 증가되는 영역을 가지는) 불균일한 영역에 이르는, 상이한 종류들의 음향 필드들이 바람직할 수 있다. 디바이스들과 상기 외부 환경 간의 공간 관계를 알지 못하면서 캘리브레이션을 수행할 때와는 달리, 컴퓨터 비전(computer vision)을 이용하여 캘리브레이션에 대한 공간 관계를 유추하는 것은 각 디바이스가 단일 가상 센서 또는 이후에 실제 오디오 및/또는 시각 컴포넌트들의 그룹을 구성하는 오디오 컴포넌트로서 취급되는 것을 가능하게 한다.
따라서, 상기 캘리브레이션 기술은 보다 우수하고 보다 사용자-친화적인 캘리브레이션 프로세스를 가능하게 할 수 있으며, 가전 제품 분야에서의 여러 어플리케이션 영역들에 영향을 줄 수 있다. 상기 클러스터 주변에 잘 분산되고 정규화된(normalized) 실행 영역은 일 예로, 적응된 어플리케이션들이 음성 및 제스처 입력들을 수신하도록 할 수 있다. 예를 들면, 음성 입력을 기반으로 하는 어플리케이션들은 음성 로컬라이제이션(localization)을 기반으로 개선될 수 있다. 음성 입력 시나리오들에서, 단일 디바이스가 항상 청취하고 있고 상기 음성 입력에 응답할 것이기 때문에 상기 단일 디바이스에게 말하는 것은 문제가 되지 않는다. 다만, 상기 복수의 디바이스들의 케이스에서는, 어떤 특정 디바이스가 상기 사용자가 말하고 있는 특정 디바이스인지 결정하는 것이 문제가 될 수 있다. 오디오 로컬라이제이션을 이용하지 않는 종래의 배열에서는, 상기 모든 디바이스들이 깨어날 수 있고, 따라서 음성 검출의 결과들이 복제된다. 하지만, 잘 분산되고 정규화된 실행 영역과 연관되는 오디오 로컬라이제이션을 이용할 경우, 상기 사용자에게 가장 가까운 디바이스를 추정하는 것이 가능하고, 타겟 음성이 그 디바이스에 대해 직접 명령한다. 또한, 예시적으로, 복수의 마이크로폰들 및 고주파로 오디오를 방출하는 스피커들을 이용함으로써, 예를 들어 도플러 효과를 이용하여 제스처 입력을 검출하는 것이 가능하다.
그러나, 상기 상호 작용 거리는 상기 디바이스의 능력들에 의해 제한된다. 또한, 상기 디바이스들간의 거리 및 상기 캘리브레이션의 품질을 기반으로, 이런 디바이스들간의 영역에서 상기 센싱 필드에서의 갭(gap)을 가지는 것이 가능하게 된다. 상기 클러스터의 모든 디바이스들 간을 포함하는 잘 분산되고 정규화된 실행 영역은 보다 큰 스케일(scale)의 상호 작용을 가능하게 할 것이다. 그와 같은 제스처들은 이산 입력들 (예: 스와이프(swipe)들) 또는 절대 입력들 (예: 포인팅(pointing))을 포함할 수 있다. 예를 들어, 사용자는 한 디스플레이를 포인트하고(point), 그 디스플레이에 도시되어 있는 이미지를 잡고, 그 손을 움직여 상기 클러스터 내의 다른 디스플레이를 포인트하여 상기 이미지를 거기에 드롭(drop)할 수 있다. 이런 상호 작용은 상기 클러스터를 전체로 포함하는 잘 분산된 센싱 시스템으로 가장 잘 구현될 것이다.
도 6a, 도 6b 및 도 7을 참조하면, 복수의 마이크로폰들에서 송신되는 신호의 예시적 수신이 도시되어 있다. 도 6a는 각각이 상기 공간에서의 특정 포인트를 향한 특정 거리를 가지는 오디오 수용기(receptor)들(일 예로, 마이크로폰들)과 일반 오디오 신호를 방출하는 단일 송신기 Tx의 배열을 도시하고 있다. 다른 형태들의 파형 신호들 뿐만 아니라, 오디오 신호들은 상기 공기, 표면, 또는 일반적인 전도성 매체에서 특정 속도를 가진다. 간략화를 위해, 도 6a는 2D 공간에서의 배열을 도시하지만, 상기 배열은 3D 공간으로 확장될 수 있다는 것은 해당 기술 분야의 당업자에 의해 인식되어야만 할 것이다. 오디오 신호가 특정 포인트에서 송신기 Tx로부터 발생될 때, 마이크로폰 (602) (Mic 1), 마이크로폰 (604) (Mic 2), 마이크로폰 (606) (Mic 3), 및 마이크로폰 (608) (Mic 4)와 같은 상기 수용기들에 도달하는 데에는 시간이 필요하다. 각 수용기가 상기 공간의 원점에 위치하고 있는, 상기 송신기 (Tx) 610에 대해 상이한 거리(Mic 1-Mic 4에 대해 각각 R1-R4로 지정됨)를 가진다고 주어질 경우, 상기 각 마이크로폰에 의해 수신되는 신호는 순차적으로 시간 쉬프트될 (shifted) 것이고, 상기 주파수 도메인에서 위상 쉬프트될 것이다. 즉, 상기 수신된 신호는 상기 신호 모양이 상기 디바이스들에 걸쳐 유사하기 때문에 그들에 걸쳐 동일하지만 지연을 가지게 되고, 따라서 신호 감쇄가 생략된다. 보다 구체적인 예시가 도 6B에 도시되어 있으며, 여기서 상기 신호는 상기 마이크로폰들 각각에 대한 시간 스펙트럼으로 도시되어 있다. 상기 수용기에서 수신된 각 신호는 상기 수용기로부터 송신기 Tx까지의 거리에 따른 시간 지연을 가진다. 상기 예시에서, Mic 1은 상기 송신기 Tx에 보다 가깝기 때문에, 먼저 상기 Mic 1 는 상기 파형 (612)에 도시되어 있는 바와 같이 상기 신호를 픽업하고(pick up), 다음으로 Mic 3는 파형(616)에 도시되어 있는 바와 같이 지연 Δ3을 가지고, 다음으로 Mic 2는 파형(614)에 지연 Δ3을 가지고, 그리고 나서 Mic 4는 파형(618)에 도시되어 있는 바와 같이 지연 Δ4를 가지고, 여기서 Δ2, Δ3, Δ4는 Δ1 보다 크다. 또한, 도 6B에서, 복합 오디오 신호(620)는 도 6a의 모든 마이크로폰들의 합에 의해 생성되며, 상기 도면의 오른쪽에 도시되어 있다. 상기 마이크로폰들로부터 수신된 신호를 이용하여, 상기 시간 및 주파수의 차이뿐만 아니라 다른 파라미터들이 획득될 수 있다. 상기 신호들에서의 차이는 상기 공간에서 상기 오디오 소스의 음향 로컬라이제이션을 허용하고, 이 예시에서는, 상기 시간에서의 지연의 차이가 이용되기 때문에 도착 시간(Time of Arrival: TOA) 이라고 칭해진다. 상기 마이크로폰들의 위치를 알고, 각 수신된 신호의 시간 지연에서의 차이를 알 경우, 상기 소스의 위치를 찾는 것이 가능해진다. 음향 소스 로컬라이제이션의 다른 구현이 도 7에 도시되어 있으며, 여기서, 상기 각도 및 방향은 (도 6에 도시되어 있는) 시간 대신에 이용되며, 도착 방향(Direction of Arrival: DOA)이라고 칭해지고, 상기 시간 차이를 이용하는 것 대신에 이용된다. 도 7에 도시되어 있는 바와 같이, 상기 송신기 Tx에 대해, 상기 각도 Θ1, Θ2, Θ3가 상기 수신기들 Rx1, Rx2, Rx3에 대해 각각 검출된다. 상기 음향 도메인에서 뿐만 아니라 로컬라이제이션을 위한 다른 방법론들이 적용될 수 있다는 것에 유의하여야 할 것이다. 그와 같은 방법론들은 최대 우도(maximum-likelihood: ML) 기술들, 다중 신호 분류 (multiple signal classification: MUSIC) 기술들 및 최소 분산 비왜곡 응답 (minimum-variance distortionless response: MVDR) 기술들, 비행 시간 (Time of Flight: ToF) 등이 될 수 있다.
음향 소스 로컬라이제이션의 개념(concept)은 상기 디바이스들의 클러스터에 관해 상기 제어 디바이스가 얼마나 멀리 떨어져 있는지, 또는 상기 디바이스들의 다른 배열들이 서로의 음향 컴포넌트들, 마이크로폰들, 또는 스피커들과의 상호 작용에 얼마나 영향을 미치는지를 검출하는 것과 같이 캘리브레이션을 필요로 하는 어플리케이션들에서 중요하다. 다만, 상기 음향 신호가 어떻게 이동하고 다른 컴포넌트들에 간섭을 일으키는지에 대한 분석은 매우 자원 소모적이며, 환경의 타입에 따라 변경되기 때문에, 에러가 발생하기 쉬운 분석 및 캘리브레이션을 초래한다. 또한, 어느 한 디바이스가 다른 디바이스들과 상호 작용하는 케이스에서는, 상기 다른 디바이스들의 타입 및 그들의 위치를 아는 것이 중요하다. 따라서, 그와 같은 컴포넌트들이 다른 근처의 컴포넌트들과 어떻게 반응하는지 검출하여 상기 다른 개별 음향 필드들을 캘리브레이트하기 위해서는, 그 디바이스들의 공간 배열과, 상기 디바이스들을 식별하고 그 디바이스들의 정보를 수집하는 방법들, 및 상기 디바이스들의 음향 컴포넌트들을 이해하는 것이 유리하다.
도 8 및 도 9를 참조하면, 복수의 디바이스들의 이미지를 촬영하는 제어 디바이스의 예제들 및 상기 촬영된 디바이스들의 상대적 위치의 결정이 도시되어 있다. 도 8에 도시되어 있는 바와 같이, 상기 디바이스들(302-306)은 예시적으로 스마트폰이 될 수 있는 802에 의해 촬영된다. 상기 제어 디바이스(802)의 디스플레이(804) 상에 도시된 바와 같이, 이미지 부분들 (806, 808, 810)은 각각 디바이스들(302, 304, 306)에 상응한다. 일 실시 예에서, 디바이스들(302-306) 각각은 서로 시각적으로 구별되며 이미지 타겟(image target)으로 알려진 고유 인식 패턴을 보여 주고 있다. 상기 이미지 타겟은 상기 디바이스 상에 게시되거나 또는 탑재된 물리적 이미지이거나, 또는 상기 디바이스에 의해 디스플레이되는 디지털 이미지가 될 수 있다. 이런 이미지 타겟들에 대한 기준 이미지들은 상기 제어 디바이스(802)를 포함하여 상기 네트워크에 포함되어 있는 모든 디바이스들에 의해 액세스 가능하다. 일실시예에서, 디바이스들(302-306)은 네트워크 이네이블되고(network enabled), 상기 제어 디바이스(802)와 지속적으로 통신할 수 있고, 상기 디바이스 ID, 디바이스 모델 및/또는 타입, 디바이스 사이즈, 네트워크 어드레스, 현재의 이미지 타겟의 기준 명칭, 상기 각 이미지 타겟에 대한 URL, 입력 또는 출력 컴포넌트들의 개수 및 그들의 상대적 위치들, 또한 사이즈들, 범위, 감도들, 또는 주파수 범위, 등과 같은 그들의 파라미터들과 같은 포괄적인 정보를 가지는 업데이트들을 송신할 수 있다. 그리고 나서, 상기 제어 디바이스(802)는 이들 디바이스들로부터의 상기 모든 정보를 완전히 이해하고, 디스크로부터의 또는 상기 제공된 URL로부터의 기준 이미지들에 접속하고, 컴퓨터 비전 기술을 이용하여 그 이미지 타겟들과 상기 기준 이미지들의 매치(match)에 대한 이미지 센서 피드(image sensor feed)를 스캔할 수 있다. 매치들이 검색될 때, 이미지 부분들(806, 808, 810)은 상기에서 언급된 바와 같이 렌더링된다(rendered). 추가적으로, 3D 컴퓨터 비전 기술들은 상기 기준 이미지와 상기 촬영된 이미지 타겟을 비교하고, 서로 변환하는 것이 필요로 되는 투영 변환(perspective transformation)들을 계산하고, 상기 이미지 타겟들의 3D 위치, 방향, 스케일, 및 그에 따른 상기 제어 디바이스(802)에서 상기 이미지 센서에 관해 상기 상응하는 디바이스들(302-306)의 3D 위치, 방향, 스케일을 추정하는데 이용될 수 있다. 상기 디바이스들(302-306) 중 어느 하나와 상기 제어 디바이스(802) 간의 거리가 그에 따라 결정될 수 있다. 상기 디바이스들(302-306)이 현재 물리적 디스플레이들을 가지고 있지 않거나, 또는 이미지 타겟을 제공하는 것이 불가능한 일 실시예에서는, 다른 식별 기술들이 이용될 수 있다. 한 가지 예는 일반적인 컴퓨터 비전과 오브젝트 인식(object recognition)을 결합하여 상기 FOV에서 상기 디바이스 타입을 식별하는 것이다. 다른 타입들의 디바이스들을 식별한 후, 상기 디바이스들(302-306)의 각 디바이스는 시간 다중화 방식으로 특정 음향 신호를 방출한다. 즉, 각 디바이스에는 식별을 위한 특정 음향 신호를 방출하기 위해 특정 시간이 할당된다.
상기 제어 디바이스 (802)의 이미지 센서들에 대한 상기 디바이스들(302-306)의 개별 3D 위치들이 획득되면, 그들의 상대적 위치 및 서로에 대한 방향은 공간 맵을 생성하도록 추론될 수 있다. 상기 공간 맵은 상기 제어 디바이스 (802)에 의해 촬영된 상기 클러스터에서의 디바이스들 간의 거리의 계산을 가능하게 한다. 상기 디바이스들(302-306) 각각은 그 본체의 프레임 내에서 고정된 장소에 그 내부 컴포넌트들 각각을 가지는 강체(rigid body)이므로, 우리는 상기 특정 디바이스의 프레임에 관한 각 컴포넌트의 상대적 위치 및 방향을 선험적으로(a priori) 인식하고 있다. 상기 호스트 디바이스에 관한 컴포넌트의 위치 및 방향에 대한 정보를 상기 공간 맵에 포함시키고, 그것을 상기 클러스터에 관한 디바이스의 상대적 위치 및 방향과 결합할 경우, 상기 클러스터에 관한, 하나 이상의 마이크로폰들 또는 스피커들과 같은, 각 입력 또는 출력 컴포넌트의 상대적 위치 및 방향이 결정될 수 있다. 본질적으로, 상기 클러스터에서의 임의의 디바이스의 임의의 입력 및/또는 출력 컴포넌트와 상기 클러스터에서의 임의의 다른 디바이스의 임의의 다른 입력 및/또는 출력 컴포넌트 간의 공간 관계는 상기 공간 맵을 이용하여 계산될 수 있다. 일 실시예에 따르면, 상기 복수의 디바이스들의 관계는 도 9의 제어 디바이스의 디스플레이의 확대도에 도시된 바와 같이, 상기 디바이스들의 에지들간의 결정된 거리들을 기반으로 결정될 수 있다. 예를 들어, (이미지 부분(806)에 의해 나타내지는) 디바이스들(302)과 (이미지 부분(808)에 의해 나타내지는) 디바이스(304) 간의 관계는 상기 디바이스들의 사이드 에지들(side edge) 사이의 거리 d1과 상기 디바이스들의 상단 에지들 사이의 거리 d2로 표시될 수 있다. 유사하게, (이미지 부분(808)에 의해 나타내지는) 디바이스들(304)과 (이미지 부분(810)에 의해 나타내지는) 디바이스(306) 간의 관계는 상기 디바이스들의 사이드 에지들 사이의 거리 d3와 상기 디바이스들의 상단 에지들 사이의 거리 d4로 표시될 수 있다.
도 10a 및 도 10b를 참조하면, 도면은 상기 제어 디바이스의 FOV 외부의 디바이스들간의 관계를 결정하는 프로세스를 도시하고 있다. 즉, 제어 디바이스(1002)는 상기 제어 디바이스의 FOV의 3개의 디바이스들(1004-1008)을 촬영할 수 있지만, 상기 FOV 외부의 디바이스들(1012-1014)을 촬영할 수는 없다. 이미지 타겟은 상기 제어 디바이스(1002)에 대한 상기 디바이스들(1004-1014)의 위치 및 방향을 추정하기 위해 중요하다. 도 10a에서, 디바이스(1002)는 디바이스들(1004-1008)이 그 FOV 내에 존재하는 방식으로 위치되고 지향되지만, 디바이스들(1012-1014)은 그렇지 않다. 디바이스들(1004-1008)은 상기 제어 디바이스(1002)의 FOV 내에 존재하기 때문에, 그들의 이미지 타겟들을 이용하여, 그들의 위치 및 방향이 추정된다. 그러나, 디바이스들(1012-1014)의 이미지 타겟들은 상기 제어 디바이스(1002)의 FOV 외부에 존재하기 때문에, 그들의 위치들 및 방향들은 추정될 수 없다. 디바이스 (1002)가 이동하여 오른쪽으로 회전할 때, 상기 디바이스들 (1012-1014)의 위치 및 방향은 계산될 수 있지만, 디바이스들(1004-1008)의 위치 및 방향은 계산될 수 없다. 특히 제어 디바이스(1002) 역시 이동했기 때문에, 결과적으로 상기 디바이스들(1004-1014)을 포함하는 완전한 클러스터의 디바이스들의 위치 및 방향을 추정하는 것은 어려운 태스크이다. 최근에는, SLAM (Simultaneous Localization And Mapping)과 같은 새로운 알고리즘들이 컴퓨터 비전에서 개발되어 카메라 이네이블드 디바이스(camera enabled device)가 이미저리(imagery)를 기록하면서 알려지지 않은 환경에서 이동하여 이런 이미저리를 함께 스티치(stitch)하여 상기 환경의 3D 모델을 생성하고, 상기 환경에 대한 그 위치 및 방향과 함께 그와 같은 디바이스에 의해 이동된 경로를 계산할 수 있다. 결과적으로, 제어 디바이스(1002)가 도 10b에 도시되어 있는 바와 같이, 어느 한 위치에서 다른 위치로 이동하고 회전할 때, 상기 제어 디바이스(1002)는 상기 제어 디바이스(1002)의 시작 포인트에서 엔드 포인트로 이동하는데 필요로 되는 상대적 변환들을 결정할 수 있다. 상기 결정된 상대적 변환 정보를 이용하여, 상기 디바이스들(1004-1008)의 위치 및 방향은 상기 디바이스들(1012-14)의 위치 및 방향과 연결될 수 있고, 단일 프레임에서 상기 디바이스들(1004-1014) 모두를 촬영할 필요 없이 상기 디바이스들(1004-1014)의 공간적으로-분리된 클러스터의 공간 맵을 생성하는 것을 가능하게 한다. 따라서, 디바이스들(1004-1008)에 관한 상기 디바이스들(1012-1014)의 위치가 결정될 수 있으며, 이는 디바이스들이 다른 벽들에 퍼져있고, 서로 직각이거나 또는 큰 방에 흩어져있을 때 큰 도움이 된다. 일 예로, 상기 디바이스의 타입을 결정하기 위해 상기 디바이스의 이미지는 일 예로, 머신 학습(machine learning)을 이용하여 알려진 디바이스들과 비교될 수 있으며, 상기 디바이스들의 능력도 마찬가지이다.
도 11을 참조하면, 흐름도는 복수의 디바이스들을 배열로 제어하는 방법을 도시하고 있다. 도 11의 방법에 따르면, 프로세스는 블록 1102에서 시작되고, 디바이스들은 상기에서 설명한 바와 같이, 블록 1104에서 제어 디바이스와 같은 이미징 디바이스를 이용하여 식별된다. 상기 식별 프로세스는 컴퓨터 비전 기술들, 이미지 인식 및/또는 오브젝트 인식의 결합을 이용할 수 있다. 블록 1106에서, 상기 디바이스들의 식별은 디바이스들이 검색될 때까지 계속된다. 상기 디바이스들이 식별되면, 음향 컴포넌트들 구성, 음향 컴포넌트들의 개수 또는 그들의 음향 파라미터들과 같은 상기 디바이스들의 정보를 교환하기 위해 상기 제어 디바이스와 상기 클러스터 내의 디바이스들간의 통신이 셋업된다. 블록 1108에서, 상기 디바이스들의 상대적 위치는 상기 이미지로부터 추론된다. 블록 1110에서, 상기 입력 및 출력 디바이스들의 단일, 디바이스 내 캘리브레이션이 수행되고, 블록 1112에서 상기 음향 필드는 불균일 영역들에 대해 분석된다. 블록 1114에서 불균일 영역들이 검색될 경우, 블록 1116에서 상기 상응하는 컴포넌트 및 관심있는 영역이 식별되고, 상기 블록 1112에서 상기 음향 필드는 불균일 영역들에 대해 지속적으로 분석될 것이다. 블록 1114에서 불균일 영역들이 남아 있지 않을 경우, 상기 캘리브레이션은 블록 1118에서 종료된다.
도 12-도 14를 참조하면, 센서에서 입력들을 수신하거나, 또는 캘리브레이션을 이용하여 출력들을 생성하는 필드들에 대한 도면들이 도시되어 있다. 도 12에서, 상기 제어 디바이스는 상기 클러스터에 포함되어 있는 개별 디바이스들(302-306) 각각을 식별하고, 상기 각 디바이스들(302-306)과 연관되는 상기 개별 음향 필드들(1202-1206)을 분석하고 획득할 준비가 되어있다. 상기 디바이스들(302-306)의 3D 배열과, 그와 같은 디바이스들의 음향 파라미터들의 정보 및 그들의 음향 컴포넌트들을 결정할 때, 음향 필드(1208)로 도시되어 있는 바와 같이 정규화되고 캘리브레이트된 필드가 결정될 수 있다. 상기 마우스, 트랙 패드, 터치 패드, 터치 스크린 등과 같은 2D 인터페이스들의 보급에 따라, 사용자들은 균일한 직사각 공간 내의 상호 작용에 익숙하게 되었다. 상기 음향 필드가 불균일하고 직사각형이 아닌 모양일 경우, 상호 작용들은 특히 제스처 입력에 대해 손의 정확한 위치를 이용하는 어플리케이션들에 대해 상기 사용자에 대해서 매우 혼란을 주게 될 수 있다. 따라서, 일 실시 예에서, 상기 디바이스들의 클러스터가 의도로 하는 어플리케이션의 타입에 따라, 상기 음향 필드를 수정하고, 특정 영역들을 확장하고, 특정 영역들을 압축하여, 가능한 직사각형에 가까운 모양, 또는 다른 모양들을 획득하는 것이 유리하다. 또한, 다른 디바이스에 관한 상기 디바이스의 상대적 위치들을 결정하는 방법들은 3차원(3 dimensional: 3D) 배열들에 적용될 수 있다는 것에 유의하여야 할 것이다.
도 13a 및 도 13b에는, 상기 클러스터에 대해 의도된 음향 필드에 도달하기 위해 캘리브레이션을 식별하고 실행하는 프로세스가 도시되어 있다. 도 12에서 설명된 바와 같이, 상기 디바이스들 및 그들의 음향 컴포넌트들을 식별한 후, 상기 제어 디바이스는 정규화된 필드를 획득한다. 상기 각 디바이스(302-306)로부터의 각 컴포넌트의 정보를 이용하여, 상기 개별 음향 필드들(1202-1206)로부터 상기 의도된 음향 필드(1208)에 도달하는 프로세스는 상기 의도된 클러스터 음향 필드의 특정 영역에 영향을 미치는 상기 컴포넌트들을 식별함으로써 반복적인 방식으로 달성될 수 있다. 일 예로, 도 13a는 상기 클러스터 음향 필드(1208)의 특정 영역(1302)을 도시하고 있다. 상기 디바이스들과, 그들의 컴포넌트들에 관해 수집된 정보 및 상기 공간에서의 그들의 배열들을 포함하는 공간 맵을 이용함으로써, 디바이스(304)와 연관되는 음향 컴포넌트들(1306) 및 디바이스(306)와 연관되는 (1308)이 상기 특정 영역(1302)에 영향을 미치는 음향 컴포넌트들이라는 것을 식별하는 것이 가능하다. 따라서, 상기 각 식별된 컴포넌트의 음향 파라미터들은 상기 음향 필드(1208) 상의 상기 영역 (1302)의 효과를 변경하도록 수정될 수 있다. 이들 파라미터들은 이득, 감도 및 주파수 응답, 등이 될 수 있지만, 그렇다고 이로 한정되지는 않는다.
도 14a 및 도 14b는 상기 음향 필드의 3D 특성을 도시하고 있다. 도 14a는 상기 디바이스들(302-306)과 (상기 점선들로 도시되어 있는) 연관 음향 필드(1402) 간의 관계를 도시하고 있는 정면도를 도시하고 있고, 도 14b는 다른 차원에서 (상기 점선들로 도시되어 있는) 상기 연관 음향 필드(1402)를 가지는 상기 디바이스들(302-306)의 측면도를 도시하고 있다. 제스처 인식과 같은 상황들에서, 상기 음향 필드의 X-Y 확산이 중요할 뿐만 아니라, 사용자가 상기 클러스터와 제스처 상호 작용을 수행할 수 있는 최대 거리가 무엇인지를 정의할 수 있는 음향 필드의 깊이(depth)도 중요하다. 유사하게, 주변 사운드 음악 시스템의 케이스에서, 상기 사용자가 반드시 상기 스피커들의 클러스터와 동일한 평면에 존재하지 않고, 따라서 상기 클러스터가 존재하는 평면에 대해 수직인(normal) 차원을 포함하는, 모든 차원들에서 상기 음향 필드를 수정하는 것이 중요하게 된다.
도 15a 및 도 15b를 참조하면, 예시적인 도면은 복수의 디바이스들과 연관되는 다른 필드들이 어떻게 캘리브레이션을 기반으로 생성될 수 있는지를 도시하고 있다. 상기 디바이스들의 클러스터에서의 각 디바이스는 하나 또는 복수의 오디오 컴포넌트들을 가질 수 있다. 일 예로, 마이크로폰들을 포함하는 오디오 컴포넌트들의 케이스에서, 종래의 배열에서는, 상기 오디오 컴포넌트들의 감도는 대부분의 어플리케이션들에서 균일하고 정규화된 센싱 영역이 필요로 되기 때문에 동일한 레벨로 정규화된다. 다만, 상기에서 설명한 바와 같은 캘리브레이션 기술들을 이용하여, 상기 컨텍스트 또는 어플리케이션에 따라, 상기 컴포넌트 주위의 음향 필드를 조정하기 위해 레벨, 이득, 또는 감도와 같은 음향 파라미터들을 나중에 수정하는 것이 가능하다. 상기 컴포넌트가 컴포넌트들의 어레이의 일부일 때, 이들 파라미터들을 수정하는 것은 특정 방향으로 분산되도록 상기 음향 필드를 늘리거나(stretching) 비트는(tweaking) 것과 같이 상기 클러스터의 음향 필드를 새로운 모양으로 만드는 방식으로서 동작할 수 있다. 상기 음향 성능과 관련되는 그와 같은 파라미터들의 수정들은 노말하게 디지털 신호 프로세서(Digital Signal Processor: DSP) 또는 상기 디바이스의 소프트웨어 계층을 통해 다이나믹 하드웨어 (hardware: HW) 및/또는 소프트웨어 (software: SW) 튜닝에 의해 달성될 수 있다.
도 15a는 상기 주변 환경 또는 의도된 어플리케이션을 고려하지 않고, 상기 음향 필드가 균일하고 상기 전체 클러스터를 커버하고 있는 상기 디바이스들(302-306)의 클러스터에 대한 정규화된 음향 필드를 도시하고 있다. 일 예로, 도 15b에서, 상기 어플리케이션이 상기 디바이스들의 클러스터와의 근접한 제스처 상호 작용에 초점을 맞출 때, 상호 작용의 더 좁은 영역을 가지는 것이 바람직하다. 이러한 특정 예시에서, 상기 클러스터의 에지들 상의 상호 작용 공간을 좁게 하기 위해, 상기 제어 디바이스를 통해, 상기 클러스터에 포함되어 있는 디바이스들로 통신된다. 도 14a 및 도 14b에서 설명된 프로세스와 유사하게, 상기 제어 디바이스는 이 케이스에서는, 디바이스(306)이 컴포넌트들(1502, 1504)인, 수정될 필요가 있는 음향 컴포넌트들을 검출 및 선택하여, 우측 제한된(right limited) 음향 필드(즉, 도시되어 있는 바와 같은 복수의 디바이스들의 오른쪽 사이드 상에서 감소된 음향 필드를 가지는)를 생성한다. 상기 제어 디바이스는 디바이스(306)가 상기 컴포넌트들(1502,1504)에 대한 이득 및 감도를 낮추도록 디바이스(306)와 통신한다. 다른 예시가 도 15c에 도시되어 있는데, 여기서는 상기 어플리케이션이 디바이스들의 클러스터로부터 음악 청취가 가능하게 하여 우측 돌출된(right extruded) 음향 필드(즉, 도시되어 있는 바와 같은 복수의 디바이스들의 오른쪽 사이드 상에서 돌출된 음향 필드를 가지는)를 생성한다. 가정의 예시에서, 상기 클러스터는 중심에 배치되지 않았을 수도 있지만, 특정 사이드를 향해 쉬프트될 수도 있다. 음악 청취 경험에서, 집중된 형태로 사운드를 생성하는 것은 바람직하지 않을 수 있다, 즉 상기 클러스터의 중심은 상기 사운드가 포커스된 곳이지만, 그와 같은 클러스터의 오른쪽을 향하게 된다. 그와 같은 케이스에서, 본 발명의 일 실시 예는 상기 디바이스(306)의 오디오 회로들(1502, 1504)의 이득 및 감도를 증가시킴으로써, 제어 디바이스를 이용하여, 상기 사용자가 상기 디바이스의 오른쪽에 포커스하도록 하기 위해 상기 클러스터로부터 출력되는 사운드를 확장하도록 선택할 수 있게 한다.
도 16을 참조하면, 예시적인 블록도는 서라운드 사운드 시스템(surround sound system)으로, 방 안에서의 디바이스들의 협력을 도시하고 있다. 일반적으로, 이와 같은 시스템들은 통합 서라운드 사운드 환경을 제공하기 위해 함께 동작하는 위성 스피커들의 집합과 함께 옮겨진다. 이들 시스템들은 특정 대칭 공간 배열을 염두에 두고 설계되었으며, 레벨들과 같은 이러한 스피커들에 대한 다양한 파라미터들의 구성은 그 가정된 배열에 따라 설정된다. 불행하게도, 소비자들의 생활 공간들은 심하게 달라질 수 있고, 따라서 예측하는 것이 어렵다. 사용자들은 일반적으로 그들이 할 수 있는 한 위성 스피커들을 배치하여 비대칭 공간 배열들 및 준-최적 오디오 경험을 초래할 수 있다. 도 16의 예시에 따르면, 텔레비전 (television: TV)과 같은 디스플레이 디바이스(1602)는 복수의 오디오 디바이스들 (여기서는 상기 방 안에 분산되어 있는 오디오 디바이스들(1604-1612)로 도시되어 있는)로 구현될 수 있으며, 상기 디스플레이 디바이스의 (1602)의 시청자(여기서는 X로 도시됨)는 테이블 (1614)과 소파 (1616) 사이에 존재한다. 상기와 같은 캘리브레이션 프로세스 및 공간 맵을 이용하여, 상기 시스템은 스피커들의 공간적 배열에서 이 비대칭성(asymmetry)을 이해하고 이 배열에 대해 정정할 레벨들을 재계산하고 균일한 음향 경험을 제공할 수 있다. 또한, 상기 스피커들의 배열을 분석함으로써, 상기 사운드가 존재할 수 있는 중심 포인트인 "스위트 스팟(sweet spot)"을 계산할 수 있다. 다른 실시 예에서, 상기 TV (1602) 및 오디오 디바이스들 (1604-1612)에 대한 상기 소파 (1616)의 위치를 기반으로, 상기 소파가 스위트 스팟이 되도록 TV (1602) 및 오디오 디바이스들(1604-1612)에서 조정이 수행될 수 있다.
도 17을 참조하면, 흐름도는 상기에서 설명한 바와 같이, 디바이스들의 그룹 내의 디바이스들과 같은 복수의 디바이스들을 제어하는 다른 방법을 도시하고 있다. 도 17의 복수의 디바이스들을 관리하는 방법에 따르면, 블록 1702에서 상기 복수의 디바이스들을 포함하는 이미지가 수신된다. 블록 1704에서, 상기 이미지의 분석을 기반으로 하는 공간 맵이 상기 복수의 디바이스들에 대해서 결정된다. 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해, 상기 복수의 디바이스들의 다른 디바이스에 대해 복수의 장치의 각각의 장치에 대한 위치를 포함할 수 있다. 입력을 수신하기 위한 상기 복수의 디바이스들 중 적어도 하나의 센서는, 블록 1708에서 상기 공간 맵을 기반으로 복수의 디바이스들과 연관되는 음향 필드를 수정하도록 조정될 수 있다.
도 17에 도시되어 있는 방법에 따르면, 상기 센서는 오디오 입력을 검출하는 마이크로폰 또는 시각 입력을 검출하는 카메라 중 적어도 하나를 포함할 수 있다. 상기 시각 입력은 상기 복수의 디바이스들과 상호 작용하는 사용자의 제스처를 포함할 수 있다. 상기 방법은 검출된 음향 입력에 응답하여 상기 복수의 디바이스들의 액티브 디바이스를 결정하거나, 또는 입력에 응답하여, 상기 센서를 조정하기 위해 상기 공간 맵 및 바람직한 음향 필드를 기반으로 하는 로컬라이제이션을 이용하여 상기 복수의 디바이스들의 액티브 디바이스를 결정하는 것을 더 포함할 수 있다. 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스의 각 오디오 컴포넌트의 위치를 식별할 수 있고, 상기 복수의 디바이스들 중 적어도 하나의 디바이스의 오디오 컴포넌트는 상기 공간 맵을 기반으로 조정될 수 있다. 상기 복수의 디바이스들 중 적어도 하나의 센서의 조정은 어플리케이션의 요구 사항을 기반으로 상기 복수의 디바이스들에 대한 바람직한 음향 필드를 생성하는 것을 포함할 수 있다. 상기 방법은, 상기 공간 맵을 기반으로 상기 사수의 디바이스들을 캘리브레이트하고, 사용자의 위치를 기반으로 상기 복수의 디바이스들을 재캘리브레이트하는 것을 더 포함할 수 있다.
도 16 및 도 17의 방법들의 상기 다양한 엘리먼트들은 설명된 바와 같은 도 1-도 15에서 설명된 시스템들 및 기술들을 이용하여, 또는 일부의 다른 적합한 시스템들 또는 기술들을 이용하여 구현될 수 있다. 상기 방법의 특정 엘리먼트들이 설명되었다고 할지라도, 상기 방법의 추가적인 엘리먼트들 또는 상기 엘리먼트들에 관련되는 추가적인 구체적인 사항들은 도 1-도 15의 개시에 따라 구현될 수 있다는 것이 이해되어야 할 것이다.
상기에서 설명된 시스템들 및 기술들은 제스처 스포팅(gesture spotting) 또는 음성 로컬라이제이션을 구현하는, 그렇다고 한정되지는 않는, 복수의 음향 디바이스들이 조화롭게 동작해야할 필요가 있고, 따라서 균일한 센싱 영역 또는 바이어스된/포커스된(biased/focused) 영역이 필요한 어플리케이션들을 허용한다. 이미징 기반 해결 방식을 이용하여 디바이스들 및 상기 디바이스들의 오디오 컴포넌트들의 상대적 위치를 식별하고 로컬라이즈할 경우, 디바이스들의 보다 강력하고 정확한 위치가 달성될 수 있고, 이는 상기 캘리브레이션 프로세스가 보다 정확해지고 보다 빠르게 수행되는 것을 가능하게 한다. 캘리브레이션을 위해 이미지 기반 해결 방식을 이용하는 것은 또한 상기 디바이스들과, 마이크로폰들 또는 스피커들의 다양성, 컴포넌트들의 타입, 또는 보다 큰 클러스터에 관한 이들 컴포넌트들의 상대적 위치와 같은 상기 디바이스들의 특징들의 식별을 가능하게 한다. 상기 디바이스들의 검출, 볼륨, 감도와 같은 특징들의 노말라이제이션(normalization) 역시 가능하다.
따라서, 복수의 디바이스들을 관리하는 새로운 시스템들 및 방법들이 설명되었다는 것이 인식될 수 있을 것이다. 해당 기술 분야의 당업자들에 의해 본 개시된 발명을 포함하는 복수의 대안들 및 균등들이 존재한다는 것이 이해될 수 있을 것이라는 것이 인식될 것이다. 결과적으로, 본 발명은 상기한 바와 같은 구현에 의해 한정되지 않고, 하기와 같은 청구항들에 의해서만 한정될 것이다.

Claims (15)

  1. 복수의 디바이스들을 관리하는 방법에 있어서,
    상기 복수의 디바이스들을 포함하는 이미지를 수신하는 과정;
    상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵(map)을 결정하는 과정, 여기서 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해서, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함하며,
    상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드(acoustic field)를 수정하는 과정을 포함하는 복수의 디바이스들을 관리하는 방법.
  2. 전자 디바이스에 있어서,
    인스트럭션(instruction)들을 저장하는 메모리;
    상기 인스트럭션들을 실행하여:
    센서들을 가지는 복수의 디바이스들을 포함하는 이미지를 수신하고;
    상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵(map)을 결정하고, 여기서 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해서, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함하며,
    상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드(acoustic field)를 수정하도록 하는 프로세서를 포함하는 전자 디바이스.
  3. 상기 센서는 음향 입력을 검출하는 마이크로폰 또는 시각 입력을 검출하는 카메라 중 적어도 하나를 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  4. 상기 시각 입력은 상기 복수의 디바이스들과 상호 작용하는 사용자의 제스처(gesture)를 포함하는 제2항의 방법 및 제2항의 전자 디바이스.
  5. 검출된 음향 입력에 대한 응답으로 상기 복수의 디바이스들의 액티브(active) 디바이스를 결정하는 것을 더 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  6. 상기 공간 맵 및 바람직한 음향 필드를 기반으로 하는 로컬라이제이션(localization)을 이용하여 상기 복수의 디바이스들의 액티브(active) 디바이스를 결정하는 것을 통해 상기 센서를 조정하는 것을 더 포함하는 제4항의 방법 및 제4항의 전자 디바이스.
  7. 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스의 각 오디오 컴포넌트의 위치를 식별하고, 상기 복수의 디바이스들의 적어도 하나의 디바이스의 오디오 컴포넌트는 상기 공간 맵을 기반으로 조정되는 제1항의 방법 및 제2항의 전자 디바이스.
  8. 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하는 것은 요구 사항을 기반으로 상기 복수의 디바이스들에 대한 바람직한 음향 필드를 생성하는 것을 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  9. 상기 공간 맵을 기반으로 상기 복수의 디바이스들을 캘리브레이트하는(calibrating) 것을 더 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  10. 사용자의 위치를 기반으로 상기 복수의 디바이스들을 캘리브레이트하는(calibrating) 것을 더 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  11. 상기 복수의 디바이스들은 이미지들을 디스플레이하는 복수의 프레임들을 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  12. 상기 복수의 디바이스들을 포함하는 이미지를 수신하는 것은 다른 뷰(view)들에서 촬영된 복수의 이미지들을 수신하는 것을 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  13. 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 음향 필드를 수정하는 것은 균일 음향 필드(uniform acoustic field)을 생성하는 것을 포함하는 제1항의 방법 및 제2항의 전자 디바이스.
  14. 방법을 수행하기 위해 프로세서에 의해 실행 가능한 인스트럭션(instruction)들을 나타내는 데이터가 저장된 비-일시적 컴퓨터-리드 가능 저장 매체에 있어서, 상기 방법은:
    상기 복수의 디바이스들을 포함하는 이미지를 수신하는 과정;
    상기 이미지의 분석을 기반으로, 상기 복수의 디바이스들에 대한 공간 맵(map)을 결정하는 과정, 여기서 상기 공간 맵은 상기 복수의 디바이스들의 각 디바이스에 대해서, 상기 복수의 디바이스들의 다른 디바이스에 관한 위치를 포함하며,
    상기 공간 맵을 기반으로 상기 복수의 디바이스들 중 적어도 하나의 센서를 조정하여 상기 복수의 디바이스들과 연관되는 음향 필드(acoustic field)를 수정하는 과정을 포함하는 비-일시적 컴퓨터-리드 가능 저장 매체.
  15. 제14항에 있어서,
    상기 센서는 음향 입력을 검출하는 마이크로폰 또는 시각 입력을 검출하는 카메라 중 적어도 하나를 포함하는 비-일시적 컴퓨터-리드 가능 저장 매체.
KR1020207010809A 2017-12-29 2018-02-09 복수의 디바이스들을 관리하는 방법 및 전자 디바이스 KR102578695B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/858,667 2017-12-29
US15/858,667 US10306394B1 (en) 2017-12-29 2017-12-29 Method of managing a plurality of devices
PCT/KR2018/001761 WO2019132110A1 (en) 2017-12-29 2018-02-09 Method and electronic device of managing a plurality of devices

Publications (2)

Publication Number Publication Date
KR20200095460A true KR20200095460A (ko) 2020-08-10
KR102578695B1 KR102578695B1 (ko) 2023-09-15

Family

ID=66636165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207010809A KR102578695B1 (ko) 2017-12-29 2018-02-09 복수의 디바이스들을 관리하는 방법 및 전자 디바이스

Country Status (5)

Country Link
US (1) US10306394B1 (ko)
EP (1) EP3714284A4 (ko)
KR (1) KR102578695B1 (ko)
CN (1) CN111356932B (ko)
WO (1) WO2019132110A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878812B1 (en) * 2018-09-26 2020-12-29 Amazon Technologies, Inc. Determining devices to respond to user requests
US11481181B2 (en) * 2018-12-03 2022-10-25 At&T Intellectual Property I, L.P. Service for targeted crowd sourced audio for virtual interaction
CN116709154B (zh) * 2022-10-25 2024-04-09 荣耀终端有限公司 一种声场校准方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324800A (ja) * 2002-05-02 2003-11-14 Shinji Nagata 音像定位装置、音像定位方法、及びプログラム
US20070116306A1 (en) * 2003-12-11 2007-05-24 Sony Deutschland Gmbh Dynamic sweet spot tracking
US20120268563A1 (en) * 2011-04-22 2012-10-25 Microsoft Corporation Augmented auditory perception for the visually impaired
US20150054943A1 (en) * 2013-08-21 2015-02-26 Syavosh Zad Issa Audio focusing via multiple microphones
US20160165337A1 (en) * 2014-12-08 2016-06-09 Harman International Industries, Inc. Adjusting speakers using facial recognition

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158642B2 (en) * 2004-09-03 2007-01-02 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
DE102004000043A1 (de) * 2004-11-17 2006-05-24 Siemens Ag Verfahren zur selektiven Aufnahme eines Schallsignals
JP5091857B2 (ja) * 2005-06-30 2012-12-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ システム制御方法
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
KR20110097388A (ko) 2010-02-25 2011-08-31 실리콤텍(주) 디바이스 검출 시스템 및 방법
US9522330B2 (en) * 2010-10-13 2016-12-20 Microsoft Technology Licensing, Llc Three-dimensional audio sweet spot feedback
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
WO2013058728A1 (en) * 2011-10-17 2013-04-25 Nuance Communications, Inc. Speech signal enhancement using visual information
US9591418B2 (en) * 2012-04-13 2017-03-07 Nokia Technologies Oy Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
US8712328B1 (en) * 2012-09-27 2014-04-29 Google Inc. Surround sound effects provided by cell phones
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
KR101391751B1 (ko) 2013-01-03 2014-05-07 삼성전자 주식회사 디스플레이장치 및 그 사운드 제어방법
KR20140099122A (ko) 2013-02-01 2014-08-11 삼성전자주식회사 전자 장치, 위치 검출 장치, 스피커 자동 설정 시스템 및 방법
JP6388907B2 (ja) * 2013-03-15 2018-09-12 ティ エイチ エックス リミテッド 所定聴取空間内の特定位置におけるサウンドフィールドを修正する方法及びシステム
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
JP6357884B2 (ja) 2014-06-02 2018-07-18 ヤマハ株式会社 位置特定装置およびオーディオ装置
US20150381383A1 (en) * 2014-06-26 2015-12-31 Bennett Hill Branscomb Mobile "Pixel" Display and Positional Sound System for Dynamic Social Environments
US9398392B2 (en) * 2014-06-30 2016-07-19 Microsoft Technology Licensing, Llc Audio calibration and adjustment
KR20160098649A (ko) 2015-02-10 2016-08-19 주식회사 이머시스 스피커 스위트 스팟 설정장치 및 방법
KR102444075B1 (ko) * 2015-06-09 2022-09-16 삼성전자주식회사 전자 장치, 주변 기기 및 그 제어 방법
US9949054B2 (en) * 2015-09-30 2018-04-17 Sonos, Inc. Spatial mapping of audio playback devices in a listening environment
US10154358B2 (en) * 2015-11-18 2018-12-11 Samsung Electronics Co., Ltd. Audio apparatus adaptable to user position
EP3319341A1 (en) * 2016-11-03 2018-05-09 Nokia Technologies OY Audio processing
KR102648190B1 (ko) * 2016-12-20 2024-03-18 삼성전자주식회사 컨텐츠 출력 시스템, 디스플레이 장치 및 그 제어 방법
CN107105166B (zh) * 2017-05-26 2020-12-01 努比亚技术有限公司 图像拍摄方法、终端和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324800A (ja) * 2002-05-02 2003-11-14 Shinji Nagata 音像定位装置、音像定位方法、及びプログラム
US20070116306A1 (en) * 2003-12-11 2007-05-24 Sony Deutschland Gmbh Dynamic sweet spot tracking
US20120268563A1 (en) * 2011-04-22 2012-10-25 Microsoft Corporation Augmented auditory perception for the visually impaired
US20150054943A1 (en) * 2013-08-21 2015-02-26 Syavosh Zad Issa Audio focusing via multiple microphones
US20160165337A1 (en) * 2014-12-08 2016-06-09 Harman International Industries, Inc. Adjusting speakers using facial recognition

Also Published As

Publication number Publication date
CN111356932B (zh) 2024-06-04
KR102578695B1 (ko) 2023-09-15
WO2019132110A1 (en) 2019-07-04
US10306394B1 (en) 2019-05-28
EP3714284A4 (en) 2021-01-27
CN111356932A (zh) 2020-06-30
EP3714284A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
CN110301118B (zh) 用于智能助理计算设备的位置校准
US9516241B2 (en) Beamforming method and apparatus for sound signal
US11494158B2 (en) Augmented reality microphone pick-up pattern visualization
CN113728293B (zh) 用于基于位所的设备控制的系统和界面
US9924291B2 (en) Distributed wireless speaker system
US9699579B2 (en) Networked speaker system with follow me
US9779734B2 (en) Speech recognition system and method for recognizing a command to control a target
WO2021037129A1 (zh) 一种声音采集方法及装置
US20200322178A1 (en) Location determination for device control and configuration
US10362430B2 (en) Audio providing method and device therefor
KR102578695B1 (ko) 복수의 디바이스들을 관리하는 방법 및 전자 디바이스
US11740350B2 (en) Ultrasonic sensor
US10921446B2 (en) Collaborative mapping of a space using ultrasonic sonar
US20230199422A1 (en) Audio system with dynamic target listening spot and ambient object interference cancelation
US10932080B2 (en) Multi-sensor object tracking for modifying audio
US11754700B2 (en) Electronic device for detecting external object using plurality of array antennas arranged in plurality of directions and method thereof
CN109545217B (zh) 语音信号接收方法、装置、智能终端及可读存储介质
US20230236318A1 (en) PERFORMANCE OF A TIME OF FLIGHT (ToF) LASER RANGE FINDING SYSTEM USING ACOUSTIC-BASED DIRECTION OF ARRIVAL (DoA)
US11662832B1 (en) System and method for enhancing functionality of electronic devices
KR20230175066A (ko) 카메라를 포함하는 전자 장치 및 그 동작 방법
KR20240024712A (ko) 외부 전자 장치의 설정 정보를 결정하는 전자 장치 및 전자 장치의 동작 방법
KR20230114658A (ko) 플렉서블 디스플레이를 가지는 전자 장치

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200414

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210204

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230130

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230619

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230911

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230912

End annual number: 3

Start annual number: 1

PG1601 Publication of registration