KR101771339B1 - 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템 - Google Patents

자체 적응 서라운드 사운드를 구현하는 방법 및 시스템 Download PDF

Info

Publication number
KR101771339B1
KR101771339B1 KR1020157035860A KR20157035860A KR101771339B1 KR 101771339 B1 KR101771339 B1 KR 101771339B1 KR 1020157035860 A KR1020157035860 A KR 1020157035860A KR 20157035860 A KR20157035860 A KR 20157035860A KR 101771339 B1 KR101771339 B1 KR 101771339B1
Authority
KR
South Korea
Prior art keywords
camera
user
sound beam
sound
room
Prior art date
Application number
KR1020157035860A
Other languages
English (en)
Other versions
KR20160010590A (ko
Inventor
송 리우
샤샤 로우
보 리
Original Assignee
고어텍 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고어텍 인크 filed Critical 고어텍 인크
Publication of KR20160010590A publication Critical patent/KR20160010590A/ko
Application granted granted Critical
Publication of KR101771339B1 publication Critical patent/KR101771339B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명에서는 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템을 제공하는 바, 상기 방법은, 목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하며, 또한 상응하는 포커싱 파라미터를 기록하며; 상기 이미지와 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보와 카메라에 대한 유저의 상대적인 위치 정보를 산출하며; 상기 산출된 룸과 유저의 위치 정보에 의하여 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔을 산출하며; 산출된 사운드 빔에 의하여 필터 그룹의 파라미터를 취득하고, 또한 당해 파라미터에 의하여 스피커 어레이의 필터 그룹을 조절하며; 오디오 신호가 상기 파라미터가 조절된 필터 그룹에 의하여 필터링된 후 스피커 어레이에 의하여 재생되어 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성하는 것;을 포함한다. 이로써 추가적인 음향학 교정 과정과 교정 설비를 제거할 수 있고, 사용이 간편하고 또한 유저의 위치를 제한할 필요가 없다.

Description

자체 적응 서라운드 사운드를 구현하는 방법 및 시스템{METHOD AND SYSTEM FOR ACHIEVING SELF-ADAPTIVE SURROUNDING SOUND}
본 발명은 멀티미디어 플레이 분야에 관한 것으로서, 더욱 구체적으로는 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템에 관한 것이다.
멀티미디어 기술의 발전에 따라, 사람들로 하여금 멀티미디어 시청 기능을 누리도록 하는 멀티미디어 설비의 종류도 나날이 새로와지고 있다. 본 발명은 카메라와 스피커 어레이를 구비하고, 또한 서라운드 사운드를 형성시켜야 하는 멀티미디어 설비에 관한 것이다. 여기에서, 설명의 편리를 위하여 스마트 TV를 예로 들어 설명을 진행하도록 한다.
TV 제조 기술과 디스플레이 기술의 발전에 따라, 가정용 TV는 더욱 가볍고 얇아지고, 화면이 더욱 선명하고 환해지고 있으며, 이에 따라 사람들의 오디오 재생 시스템에 대한 요구도 높아지고 있다.
현재, 스마트 TV에는 이미 슬림형 재생 시스템이 존재하는 바, 예를 들면 Soundbar(사운드 바) 등이 있으며, 종래의 부피가 상대적으로 크고, 배치가 상대적으로 분산된 5.1 재생 시스템을 스피커 어레이로 대체하고 있다. 스피커 어레이는 디지털 신호 처리 칩을 내장하고 있어 음향 효과 처리를 진행할 수 있다. 하지만 슬림형 스피커 어레이의 하나의 단점은 입체 음향 서라운드 효과가 부족하다는 점이다. 종래의 해결 방법으로는 Dipole(쌍극자) 입체 음향 확장 기술과 사운드 빔 형성 기술 등이 있다. Dipole(쌍극자)는 청취 구역이 비교적 작고 유저의 앉는 자세에 대해서도 제한이 존재하기 때문에 비교적 넓은 구역에서 풍부한 서라운드 사운드를 형성하기 어렵다. 한편, 사운드 빔 형성 기술은 홀의 내부 구조와 어레이 특성을 충분히 이용하여 스피커 어레이가 재생하는 음향으로 하여금 벽을 향하는 사운드 빔을 형성하도록 하고, 벽면에 의한 다수 회의 반사와 산란을 이용하여 전체 홀 내에서 풍부한 서라운드 사운드 효과를 형성할 수 있다.
하지만 종래의 빔 형성을 이용하여 홀 내에서 서라운드 사운드를 형성하는 기술은 사운드 빔이 확실하게 측벽에 도착하여 반사와 서라운드 효과를 형성하였다는 것을 확인하기 위하여 반드시 음향학 교정 과정을 거쳐야 하기 때문에, 하기와 같은 문제가 존재한다. 첫째, 스피커 어레이를 사용하기 전 반드시 인공적인 교정이 필요한 바, 과정이 비교적 번거롭다. 둘째, 추가적으로 교정 설비, 예를 들면 측정 마이크로폰 등이 필요하다. 셋째, 유저의 청취 위치가 비교적 좁은 범위 내에 제한되는 바, 만일 유저가 다른 위치에서도 훌륭한 서라운드 사운드 효과를 원한다면 스피커 어레이에 대해서 재차 교정을 진행하여야 한다.
상기 문제와 관련하여, 본 발명에서는 상기 문제를 해결하거나 또는 적어도 일부를 해결할 수 있는 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 관점에 의하면, 자체 적응 서라운드 사운드(self-adaptive surround sound)를 구현하는 방법을 제공하는 바, 상기 방법은,
목표 식별 기술을 이용하여 룸(room) 내의 지정된 위치와 룸 내의 유저(user)에 대하여 식별하고, 포커싱 제어 기술을 이용해서 카메라를 제어하여 식별 대상의 포커싱 이미지(focusing image)를 수집하며, 또한 상응하는 포커싱 파라미터(focusing parameter)를 기록하는 단계;
수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보를 산출하고 또한 카메라에 대한 유저의 상대적인 위치 정보를 산출하는 단계;
산출된 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔(sound beam)의 경로를 산출하는 단계;
산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹(filter group)의 파라미터를 확정하고, 또한 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절하는 단계; 및
오디오 신호가 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 필터링된 후 스피커 어레이에 의하여 재생되어 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성하는 단계를 포함한다.
본 발명의 다른 일 관점에 의하면, 자체 적응 서라운드 사운드를 구현하는 시스템을 제공하는 바, 상기 시스템은 카메라, 목표 식별 및 이미징 유닛, 위치 정보 추출 유닛, 사운드 빔 제어 유닛, 및 스피커 어레이를 포함하며;
카메라는 이미지를 수집하며;
목표 식별 및 이미징 유닛은 목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하며, 또한 상응하는 포커싱 파라미터를 기록하며;
위치 정보 추출 유닛은 수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보를 산출하고 또한 카메라에 대한 유저의 상대적인 위치 정보를 산출하며;
사운드 빔 제어 유닛은 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출하며; 또한 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정하고, 또한 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절하며;
스피커 어레이는, 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 오디오 신호에 대하여 필터링을 수행한 후 재생시켜, 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성한다.
본 발명에서는 목표 식별 및 포커싱 제어 기술을 이용하여 룸 내의 지정된 위치와 유저의 포커싱 이미지를 수집하고 또한 포커싱 파라미터를 기록하며, 나아가 카메라에 대한 룸의 상대적인 위치 정보 및 카메라에 대한 유저의 상대적인 위치 정보를 산출하며, 이러한 정보에 의하여 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔을 산출하며, 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 취득하고 필터 그룹을 조절하며, 파라미터가 조절된 필터 그룹에 의하여 필터링된 후의 사운드 빔이 스피커 어레이에 의하여 재생되도록 하여, 목표 룸 내의 유저의 위치에서 자체 적응적으로 서라운드 사운드를 형성한다. 본 발명의 기술방안은 추가적인 음향학 교정 과정과 교정 설비를 제거할 수 있고, 인공적인 교정이 필요 없으며, 유저에게 적합한 스피커 어레이 사운드 빔의 지향 각도를 자동으로 계산할 수 있어서, 유저로 하여금 풍부한 서라운드 사운드 효과를 체험하도록 하며, 또한 유저 위치 이동 시에도 적시적으로 이동된 위치에서 자체 적응적으로 서라운드 사운드를 구현하여 유저의 위치와 청취 습관을 제한하지 않는다.
도 1은 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 방법의 흐름도이고,
도 2는 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 방법의 원리의 도면이고,
도 3은 본 발명의 일 실시예의 서라운드 사운드를 구현하는 사운드 빔의 경로의 도면이고,
도 4는 본 발명의 일 실시예의 식별 대상의 카메라 쵤영 사진 내의 위치의 도면이고,
도 5는 본 발명의 일 실시예의 유저와 카메라 렌즈 사이의 거리 관계의 도면이고,
도 6은 본 발명의 일 실시예의 유저와 카메라 렌즈 사이의 각도 관계의 도면이고,
도 7은 본 발명의 일 실시예의 좌측 벽 코너와 카메라 렌즈 사이의 거리 관계의 도면이고,
도 8은 본 발명의 일 실시예의 좌측 벽 코너와 카메라 렌즈 사이의 각도 관계의 도면이고,
도 9는 본 발명의 일 실시예의 사운드 빔의 경로 계산의 도면이고,
도 10은 본 발명의 일 실시예의 일 측 벽 코너가 탐지될 수 없다는 것을 보이는 도면이고,
도 11은 본 발명의 일 실시예의 사운드 빔이 유저에 의하여 차단될 수 있다는 것을 보이는 도면이고,
도 12는 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 시스템의 흐름도이다.
아래, 도면을 참조하여 본 발명의 예시적 실시예에 대하여 더욱 상세한 설명을 진행하도록 한다. 도면 중에서 본 발명의 예시적 실시예를 도시하기는 하였지만, 여러 가지 형식으로 본 발명을 구현할 수 있고 여기에 언급된 실시예의 제한을 받아서는 아니된다. 반대로, 이러한 실시예를 제시하는 것은 본 발명을 더욱 잘 이해하기 위한 것이고, 또한 본 발명의 범위를 완전하게 당업계 기술자들에게 제공하기 위한 것이다.
도 1은 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 방법의 흐름도로서, 도 1에 도시된 바와 같이, 상기 방법에 포함된 단계들은 다음과 같다,
S110 단계: 목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하며, 상응하는 포커싱 파라미터를 기록한다.
그 중에서, 룸 내의 지정된 위치는 룸의 크기, 방향 등의 정보를 확정할 수 있는 룸 내의 일부 위치일 수 있다. 예를 들면, 룸의 네 벽 코너(corner), 벽 코너를 구성하는 벽 경계선(floor-wall boundary), 벽 경계선의 중점(midpoint) 등 위치일 수 있다.
본 발명의 일 실시예에 있어서, 벽 경계선 식별 기술(floor-wall boundary recognition)을 이용하여 벽 코너와 벽 경계선을 식별한 후, 포커싱 제어 기술을 이용하여 벽 코너와 벽 경계선에 대하여 포커싱을 수행하고, 또한 벽 코너와 벽 경계선의 포커싱 이미지를 수집한다. 본 발명의 일 실시예에 있어서, 유저에 대하여 식별을 진행한다는 것은 구체적으로 유저의 얼굴을 식별한다는 것으로서, 얼굴 식별 기술을 이용하여 유저의 얼굴을 식별한 후, 포커싱 제어 기술을 이용하여 유저의 얼굴을 포커싱하고, 또한 유저의 얼굴의 포커싱 이미지를 수집하는 것이다. 기록되는 포커싱 파라미터에는 포커싱 이미지를 수집할 때의 초점 거리와 이미지 거리가 포함된다. 본 발명의 기타 실시예에서는 또한 이용가능한 기타 기술을 이용하여 유저에 대하여 식별을 진행할 수 있다.
즉 벽 경계선 식별 기술을 이용하여 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점을 식별하며, 벽 경계선 중점은 당해 벽 경계선이 포커싱 이미지 중에 나타난 부분의 중점이며; 얼굴 식별 기술을 이용하여 룸 내의 유저 얼굴을 식별하며; 목표를 식별한 후, 목표가 위치한 구역을 산출하고, 또한 산출 결과를 기초로 하여 카메라로 하여금 식별 대상에 대하여 정확한 포커싱과 선명한 이미징을 수행하도록 한다. 정확한 포커싱과 선명한 이미징을 달성할 수 있는 방식은 여러 가지가 있을 수 있고, 카메라의 유형에 의하여 결정되는 바, 일반 카메라의 포커싱 모터(focusing motor) 구동 방식 또는 예를 들면 빛 필드(light field) 카메라의 빛 필드 재구성(light field reestablishment) 방식일 수 있다. 본 발명의 방안에 대한 설명에서는 포커싱 모터 구동 방식을 예로 들어 목표에 대하여 정확한 포커싱과 선명한 이미징을 수행하는 방식에 대하여 설명을 진행하도록 한다.
본 발명의 실시예에 있어서, 단지 단일 유저 얼굴 포커싱 이미지만 수집한다. 만일 룸 내에 여러 사람이 있다면, 룸 중심에 가장 근접한 사람을 유저로 하여 이의 얼굴 포커싱 이미지를 수집한다.
S120 단계: 수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보 및 카메라에 대한 유저의 상대적인 위치 정보를 산출한다.
상기 카메라는 수동 포커싱형의 카메라(passive focusing camera), 능동 포커싱형의 카메라(active focusing camera), 또는 깊이 감지 기능을 갖는 카메라(camera with depth perception)일 수 있다.
본 단계에 있어서, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축(central axis)에 대한 각도들을 산출하고, 또한 좌측 벽 경계선의 방정식, 우측 벽 경계선의 방정식, 및 맞은편 벽 경계선의 방정식을 산출하며; 유저가 카메라와 떨어진 촬영 거리와 카메라 렌즈 중심축에 대한 유저의 각도를 산출한다.
본 발명의 일 실시예에 있어서, 유저의 얼굴의 포커싱 이미지를 수집할 때 기록한 초점 거리와 이미지 거리에 의하여, 공액 이미징 원리(conjugate imaging principle)를 기초로 하여 유저가 카메라와 떨어진 촬영 거리를 취득하며; 카메라 렌즈의 시야각(visual angle) 파라미터와 함께 유저의 얼굴의 포커싱 이미지 내의 위치에 의하여, 카메라 렌즈의 중심축에 대한 유저의 각도를 확정하며; 마찬가지로 이치로, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도들을 각각 취득하며; 좌측 벽 코너와 좌측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 벽 경계선의 방정식을 취득하며; 우측 벽 코너와 우측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 우측 벽 경계선의 방정식을 취득한다. 여기에서, 좌측 벽 코너와 우측 벽 코너의 좌표 및 좌측 벽 경계선과 우측 벽 경계선의 방정식에 의하면 카메라에 대한 룸의 위치 정보를 확정할 수 있다.
S130 단계: 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보, 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출한다.
S140 단계: 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정하고, 또한 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절한다.
즉 사운드 빔 방향 각도를 산출한 후, 스피커 어레이의 필터 그룹을 계산한다.
S150 단계: 오디오 신호가 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 필터링된 후 스피커 어레이에 의하여 재생되어 룸 내의 유저 위치에서 서라운드 사운드를 형성한다.
도 1에 도시된 바와 같은 이러한 방법은 목표 룸 내의 유저의 위치에서 자체 적응적으로 서라운드 사운드를 형성할 수 있다. 또한 이러한 방법은 인공적인 교정이 필요없고, 스마트 TV로 놓고 말하면 추가적인 하드웨어를 증가시킬 필요가 없으며, 또한 유저가 위치를 이동할 때에도 적시적으로 이동된 위치에서 자체 적응적으로 서라운드 사운드를 형성할 수 있다.
도 2는 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 방법의 원리의 도면이다. 도 2에 도시된 바와 같이, 본 실시예의 방법은 크게 세 단계로 구분된다.
제1 단계, 목표 식별 및 이미징: 본 단계의 역할은 목표 식별 기술, 즉 각각 벽 경계선 식별 기술과 얼굴 식별 기술을 이용하여 룸 내의 지정된 위치(본 발명의 실시예에서는 좌/우측 벽 코너와 좌/우측 벽 경계선 중점)와 유저 얼굴을 식별하고, 또한 카메라를 제어하여 자동 포커싱을 진행하여 상응하는 목표의 포커싱 이미지를 수집함과 아울러, 포커싱 이미지를 수집할 때의 포커싱 파라미터를 기록하는 것이다.
제2 단계, 위치 정보 추출: 위치 정보 추출에는 스피커 어레이에 대한 유저의 위치 정보를 산출하고, 스피커 어레이에 대한 룸의 위치 정보를 산출하는 것이 포함된다.
제3 단계, 사운드 빔 제어: 제2 단계에 산출된 관련 데이터에 의하여 룸 내의 유저의 위치에서 서라운드 사운드의 사운드 빔의 경로를 계산한다. 산출된 사운드 빔의 경로에 의하여 필터 그룹의 파라미터를 계산하고, 사운드 신호가 필터링을 거친 후 스피커 어레이에 의하여 재생되어 서라운드 사운드를 형성한다. 각 스피커 유닛에 있어서, 좌측 사운드 채널 사운드 소스가 좌측 사운드 빔 필터 그룹의 필터링을 거친 후 중첩되고, 우측 사운드 채널 사운드 소스가 우측 사운드 빔 필터 그룹의 필터링을 거친 후 중첩되어, 공동으로 중첩된 후 당해 스피커 유닛에 의하여 재생된다.
좌측 및 우측 사운드 빔 필터 그룹으로 구분하는 이유는, 각 유닛에 있어서 좌측 사운드 채널의 두 사운드 빔과 관련하여 좌측 사운드 소스가 좌측 사운드 빔1의 필터와 좌측 사운드 빔2의 필터 두 필터에 의하여 필터링되고, 우측 사운드 채널의 사운드 빔과 관련하여 우측 사운드 소스가 우측 사운드 빔1과 우측 사운드 빔2의 두 필터에 의하여 필터링되기 때문이다. 각 필터는 모두 독립적인 의미를 갖고 있고 가중치도 다르기 때문에 각각 처리되어야 하고, 또한 좌측/우측 사운드 소스도 다르기 때문에 좌측/우측 필터 그룹으로 구분된다.
도 3은 본 발명의 일 실시예의 서라운드 사운드를 구현하는 사운드 빔의 경로의 도면이다. 본 발명의 실시예에 있어서, 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔은 사운드 소스가 발생시키는 각 사운드 빔 중에서 벽면에서 1차 반사 또는 2차 반사를 거쳐 유저의 위치에 도달하는 사운드 빔이다. 구체적으로 말하면 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로로서, 도 3에 도시된 바와 같이, 좌측 사운드 채널의 사운드 소스가 두 개의 사운드 빔을 형성하고, 각각 벽면에서 1차 반사 및 2차 반사되어 유저에게 도달하는 바, 우측 사운드 채널도 마찬가지이다. 즉 본 실시예에서 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔에는 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2가 포함된다.
여기서, 좌측 사운드 빔1은 좌측 벽에 전달되어 좌측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이다.
좌측 사운드 빔2는 좌측 벽에 전달되어 좌측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이다.
우측 사운드 빔1은 우측 벽에 전달되어 우측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이다.
우측 사운드 빔2는 우측 벽에 전달되어 우측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이다.
여기서, 맞은편 벽이란 스피커 어레이와 카메라 맞은편의 벽인 바, 즉 스피커 어레이 및 카메라가 위치하는 벽면과 평행되는 벽이다.
아래에서는 상기 과정에 대하여 더욱 상세한 설명을 제공한다. 여기에서 미리 밝혀둘 점은 다음과 같다: 스마트 TV의 카메라와 스피커 어레이의 위치는 상대적으로 고정되어 있는 바, 예를 들면 비교적 흔한 형식으로는 카메라는 일반적으로 TV 꼭대기 중심에 위치하고 스피커 어레이는 TV 밑부분에 위치하며, 또한 카메라와 스피커 어레이는 일반적으로 동일한 수직선(vertical line) 상에 위치하기 때문에, 이하의 실시예에 있어서, 본 발명은 상기 형식에 따라 카메라의 초점면(focal plane)과 스피커 어레이가 평행되고 또한 지면과 수직되며, 카메라 중심과 스피커 어레이의 중심 연결선이 지면과 수직되는 바, 즉 각 카메라에 대한 각 목표의 수평 각도 위치와 스피커 어레이에 대한 각 목표의 수평 각도 위치는 동일한 것으로 한다. 하지만 본 발명의 방법은 이러한 배열 방식에 제한되지 않으며, 만일 카메라가 스피커 어레이의 중심에 위치하지 않거나, 또는 카메라의 초점면이 스피커 어레이와 평행되지 않고 일정한 끼인각(included angle)을 가잔다 하더라도, 사운드 빔 각도 상에 상응하는 기하학적 좌표 쉬프트를 추가하여 변환시키기만 하면 본 발명의 방법은 여전히 적용가능하다.
1. 목표 식별과 포커싱 이미징
도 4는 본 발명의 일 실시예의 식별 대상의 카메라 쵤영 사진 내의 위치의 도면이다. 도 4에 도시된 바와 같이, 본 발명의 실시예에 있어서, 식별 대상에는 룸의 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선, 우측 벽 경계선, 및 유저 얼굴이 포함된다. 목표를 식별한 후, 자동 포커싱 제어 장치는 목표가 위치하는 구역에 대하여 계산하고, 계산 결과에 의하여 포커싱 모터를 구동시켜 카메라로 하여금 목표에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 한다.
벽 경계선 식별 기술(floor-wall boundary recognition)을 이용하여 벽 코너와 벽 경계선을 실벽하고, 얼굴 식별 기술을 이용하여 유저의 얼굴을 식별한다.
포커싱 제어 기술을 이용하여 카메라를 제어하여 룸 내의 지정된 위치(예를 들면 좌/우측 벽 코너와 좌/우측 벽 경계선 중점)와 유저 얼굴 등 각 목표에 대하여 정확한 포커싱을 수행하고, 또한 상기 좌/우측 벽 코너, 좌/우측 벽 경계선, 및 유저 얼굴의 포커싱 이미지를 수집하며, 포커싱 이미징을 수행하는 동시에 포커싱 파라미터를 기록하여, 후속으로 카메라에 대한 룸의 위치와 카메라에 대한 유저의 룸 내의 위치를 계산할 때 이용한다.
2. 위치 정보 추출
수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보 및 카메라에 대한 유저의 상대적인 위치 정보를 산출하는 것은 각각 하기와 같다.
2.1 카메라에 대한 유저의 위치 정보의 계산
수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 유저로부터 카메라 렌즈 평면까지의 거리 및 카메라에 대한 유저의 상대적인 위치 정보를 계산할 수 있다.
2.1.1 유저로부터 카메라까지의 거리의 계산
유저의 얼굴의 포커싱 이미지 수집 시 기록한 초점 거리와 이미지 거리에 의하여, 공액 이미징 원리를 기초로 하여 유저가 카메라와 떨어진 촬영 거리를 계산할 수 있다.
만일 능동 포커싱형의 카메라라면, 포커싱 전에 거리 측정을 진행하는 바, 예를 들면 적외선 거리 측정, 보조 광선 거리 측정, 또는 초음파 커리 측정이며, 이로써 유저로부터 카메라까지의 거리는 직접 측정할 수 있고 별도의 계산이 필요없다. 그리고 깊이 감지 기능을 갖는 카메라, 예를 들면 다중 렌즈 카메라 또는 3D 카메라에 있어서, 또한 시야각 차(visual angle difference) 등 수단을 이용하여 직접 촬영 거리를 확정할 수 있다. 수동 포커싱형 카메라에 있어서는 계산을 통하여 촬영 거리를 취득하여야 한다. 계산 방식은 도 5를 참조할 수 있다.
도 5는 본 발명의 일 실시예의 유저와 카메라 렌즈 사이의 거리 관계의 도면이다. 도 5에 도시된 바와 같이, 유저로부터 렌즈 평면까지의 거리, 즉 촬영 거리를
Figure 112015124207039-pct00001
로 설정하고, 정확하게 포커싱 및 이미징을 진행할 때, 이미징 평면으로부터 렌즈 평면까지의 거리, 즉 이미지 거리를
Figure 112015124207039-pct00002
로 설정하고, 렌즈의 초점 거리는
Figure 112015124207039-pct00003
로서, 초점 거리는 렌즈의 고유 파라미터이며, 정확하게 포커싱을 수행할 때,
Figure 112015124207039-pct00004
는 이미 알려진 것이다. 그러면 하기의 공액 이미징 원리의 수식에 의하여 유저로부터 렌즈 평면까지의 거리
Figure 112015124207039-pct00005
를 계산할 수 있다:
Figure 112015124207039-pct00006

2.1.2 유저 각도 좌표의 계산
카메라 렌즈의 시야각 파라미터와 함께 유저의 얼굴의 포커싱 이미지 내의 위치에 의하여, 카메라 렌즈 중심축에 대한 유저의 각도를 확정할 수 있다.
도 6은 본 발명의 일 실시예의 유저와 카메라 렌즈 사이의 각도 관계의 도면이다. 도 6에 도시된 바와 같이, 정확하게 포커싱된 선명한 사진을 취득한 후, 얼굴 식별과 윤곽 추출 등 이미지 처리 기술을 이용하여 사진 내에서 유저 얼굴의 사진 내의 위치를 취득할 수 있고, 카메라의 시야각 파라미터를 결합시켜 카메라 중심축에 대한 유저의 각도, 즉 각도 좌표를 확정할 수 있다.
유저 얼굴의 포커싱 이미지에 있어서, 유저 얼굴 중심이 사진 좌측 변두리로부터 떨어진 거리를
Figure 112015124207039-pct00007
, 우측 변두리로부터 떨어진 거리를
Figure 112015124207039-pct00008
, 렌즈의 시야각(visual angle)을
Figure 112015124207039-pct00009
, 렌즈 중심축이 가리키는 각도를 0도로 설정한다. 카메라 중심축에 대한 유저 얼굴의 각도는
Figure 112015124207039-pct00010
이고, 사용자와 TV 간의 거리, 즉 촬영 거리는
Figure 112015124207039-pct00011
이다. 그러면 삼각 함수에 의하여, 기타 파라미터가 알려진 상황에서 유저의 얼굴 각도 좌표:
Figure 112015124207039-pct00012
및
Figure 112015124207039-pct00013
를 산출할 수 있으며, 그러면 하기와 같다.
Figure 112015124207039-pct00014

2.2 카메라에 대한 룸 내의 위치 정보의 계산
2.1 섹션 중의 카메라에 대한 유저의 위치 정보의 계산에서와 유사하게, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도들을 각각 취득하며; 좌측 벽 코너와 좌측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 벽 경계선의 방정식을 취득하며; 우측 벽 코너와 우측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 우측 벽 경계선의 방정식을 취득한다.
벽 경계선 식별(floor-wall boundary recognition) 기술과 포커싱 제어 기술을 이용하여 취득한 포커싱 이미지와 상응하는 포커싱 파라미터를 이용하여, 좌/우측 벽 코너와 좌/우측 벽 경계선 중점으로부터 렌즈까지의 거리 및 각도 좌표를 계산한다. 본 발명의 기타 실시예에 있어서는 또한 카메라 중심축에 대한 벽 경계선의 끼인각을 산출할 수 있다. 도 4에 도시된 바와 같이, 벽 경계선 중점은 당해 벽 경계선이 포커싱 이미지 중에서 나타난 부분의 중점을 말한다. 포커싱 이미지 중에 나타난 부분이란 도 4에 도시된 포커싱 이미지(촬영 사진) 중에서 볼 수 있는 벽 경계선이다.
여기에서 유의하여야 할 점은, 벽 경계선을 확정하는 방정식은 벽 경계선 중점을 반드시 필요로 하는 것이 아니며, 벽 코너와 벽 경계선 상의 임의의 점은 모두 벽 경계선의 방정식을 확정할 수 있다는 점이다. 본 실시예에 있어서, 벽 경계선의 중점을 취하는 것은 사진 변두리 위치의 변형(deformation)과 퍼짐(vagueness)을 방지하기 위한 것이다. 구체적인 방법으로는, 좌측 벽 경계선을 예로 들면, 사진 내의 좌측 벽 코너의 좌표는 이미 알려진 것이고, 또한 좌측 벽 경계선(완전한 벽 경계선이 아닌 부분적인 것일 수 있음)을 탐지하였다면, 좌측 벽 경계선 중점이 사진 좌측 변두리로부터 떨어진 거리는 바로 좌측 벽 코너가 좌측 변두리로부터 떨어진 거리의 절반이고, 또한 좌측 벽 경계선 상에 위치한다. 이로써 좌표 위치를 계산한 후 정확한 포커싱을 수행할 수 있다.
도 7은 본 발명의 일 실시예의 좌측 벽 코너와 카메라 렌즈 사이의 거리 관계의 도면이다. 도 7에 도시된 바와 같이, 좌측 벽 코너와 좌측 벽 경계선 중점을 예로 들면, 좌측 코너로부터 렌즈 평면의 거리를
Figure 112015124207039-pct00015
로 설정하고, 정확하게 포커싱 이미징을 진행할 때, 이미징 평면으로부터 렌즈 평면까지의 거리, 즉 이미지 거리를
Figure 112015124207039-pct00016
로 설정하고, 렌즈의 초점 거리는
Figure 112015124207039-pct00017
로서, 초점 거리는 렌즈의 고유 파라미터이며, 하기의 공액 이미징에 의하여 좌측 벽 코너로부터 렌즈 평면까지의 거리를 계산할 수 있다:
Figure 112015124207039-pct00018
정확하게 포커싱된 선명한 이미지를 취득하고 벽 코너를 식별한 후, 카메라 파라미터를 이용하여 좌측 벽 코너 각도 좌표를 계산할 수 있다. 도 8은 본 발명의 일 실시예의 좌측 벽 코너와 카메라 렌즈 사이의 각도 관계의 도면이다. 도 8에 도시된 바와 같이, 좌측 벽 코너의 포커싱 이미지 상의 좌측 벽 코너가 좌측 변두리로부터 떨어진 거리를
Figure 112015124207039-pct00019
, 우측 변두리로부터 떨어진 거리를
Figure 112015124207039-pct00020
, 렌즈의 시야각을
Figure 112015124207039-pct00021
, 렌즈 중심축이 가리키는 각도를 0도로 설정한다. 렌즈 중심축에 대한 좌측 벽 코너의 각도가
Figure 112015124207039-pct00022
라면, 하기를 산출할 수 있다.
Figure 112015124207039-pct00023
카메라의 위치를 원점으로 하고, 카메라의 중심축을 x축으로 하는 평면 직각 좌표계에 있어서, 좌측 벽 코너의 평면 직각 좌표는
Figure 112015124207039-pct00024
이다. 마찬가지 이치로, 좌측 벽 경계선 중점에 대하여, 카메라에 대한 이의 거리와 각도를 취득할 수 있고, 이를 각각
Figure 112015124207039-pct00025
과
Figure 112015124207039-pct00026
으로 설정하면, 좌측 벽 경계선 중점의 평면 직각 좌표는
Figure 112015124207039-pct00027
이고, 이어 두 점에 의하여 하나의 직선을 확정하는 원리에 의하여 좌측 벽 경계선의 방정식을 취득한다:
Figure 112015124207039-pct00028
여기서,
Figure 112015124207039-pct00029
Figure 112015124207039-pct00030
이다.
마찬가지 이치로, 우측 벽 코너와 우측 벽 경계선의 방정식을 계산할 수 있다.
본 실시예에 있어서, 카메라에 대한 룸의 위치 정보는 구체적으로는 좌/우측 벽 코너의 좌표 및 좌/우측 벽 경계선의 방정식이고, 그 중에서, 사용되는 좌표계는 카메라를 원점으로 하고, 카메라 중심축을 x축으로 하며, 또한 x축과 y축에 의하여 결정되는 평면과 수평면이 평행되는 직각 좌표계이며, 본 실시예에서는 기준 좌표계라 한다.
3. 사운드 빔 제어
3.1 사운드 빔 경로의 계산
본 발명의 일 실시예에에 있어서, 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 바람직한 사운드 빔에는 도 3에 도시된 바와 같은 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2이 포함된다.
산출된 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보, 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출하여야 한다. 본 발명의 일 실시예에 있어서, 카메라는 일반적으로 TV의 중심 위치에 설치되고, 스피커 어레이 중심 위치와 근접되며, 또한 카메라의 렌즈 평면도 일반적으로 스피커 어레이의 어레이 요소(array element)의 평면과 평행된다. 그러므로 카메라가 측정한 위치를 사운드 빔 방향 계산의 근거로 할 수 있다. 음향 전파의 원리에 의하여 좌측 사운드 빔 위치를 계산할 수 있다. 즉 본 실시예에 있어서, 카메라와 스피커 어레이가 동일한 수직선 상에 위치하기 때문에, 카메라와 스피커 어레이가 상기 좌표계에서 동일한 위치에 있다고 여겨지는 바, 즉 카메라에 대한 각 목표의 위치와 스피커 어레이에 대한 각 목표의 위치는 일치한다.
3.1.1 좌측 사운드 빔1의 방정식 계산
상기 기준 좌표계에 있어서, 카메라의 위치를 원점으로 하고, 또한 좌측 벽 경계선에 대한 유저의 위치의 미러 이미지 포인트를 취득하며; 원점과 당해 미러 이미지 포인트의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔1의 방정식을 취득하는 바, 구체적으로는 하기와 같다.
2.2 중의 계산에 의하여 좌측 벽 경계선의 방정식을 취득하는 바, 즉
Figure 112015124207039-pct00031
이며;
기준 좌표계에서 유저의 좌표를
Figure 112015124207039-pct00032
로 설정하고, 좌측 벽 경계선에 대한 유저의 미러 이미지 포인트가
Figure 112015124207039-pct00033
이며,
Figure 112015124207039-pct00034
와
Figure 112015124207039-pct00035
의 연결선의 수직 이등분선이 바로 좌측 벽 경계선의 방정식이다.
그러면 좌측 사운드 빔1은 원점과 유저 미러 이미지 포인트
Figure 112015124207039-pct00036
를 통과하며, 좌측 사운드 빔 방정식은 하기와 같다:
Figure 112015124207039-pct00037
미러링 관계의 방정식에 의하여 하기를 알 수 있다:
Figure 112015124207039-pct00038
Figure 112015124207039-pct00039

3.1.2 좌측 사운드 빔2의 방정식 계산
좌측 사운드 빔2의 취득 방법은 상기 제3.1.1섹션에서의 방법과 유사하나, 단지 2차 반사를 계산하여야 하며, 카메라의 위치를 원점으로 하고, 또한 맞은편 벽 경계선에 대한 유저의 위치의 미러 이미지 포인트1을 취득하며, 미러 이미지 포인트1에 의하여 좌측 벽 경계선에 대한 미러 이미지 포인트1의 미러 이미지 포인트2를 취득하며; 원점과 미러 이미지 포인트2의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리에 의하여 좌측 사운드 빔2의 방정식을 취득하는 바, 구체적으로는 하기와 같다.
카메라 맞은편 벽의 벽 경계선(여기에서는 맞은편 벽 경계선) 방정식을
Figure 112015124207039-pct00040
로 설정하며;
좌측 벽 경계선과 유저의 정의는 앞에서와 같다. 맞은편 벽 경계선에 대한 유저의 미러 이미지 포인트를
Figure 112015124207039-pct00041
로 설정하고, 좌측 벽 경계선에 대한
Figure 112015124207039-pct00042
의 미러 이미지 포인트를
Figure 112015124207039-pct00043
로 설정하는 바, 도 9에 도시된 바와 같다. 도 9는 본 발명의 일 실시예의 사운드 빔의 경로 계산의 도면이며, 좌측 사운드 빔2의 방정식은 하기와 같다:
Figure 112015124207039-pct00044

Figure 112015124207039-pct00045
가
Figure 112015124207039-pct00046
의 맞은편 벽 경계선
Figure 112015124207039-pct00047
의 미러 이미지 포인트이기 때문에, 즉
Figure 112015124207039-pct00048
상의 임의의 점으로부터
Figure 112015124207039-pct00049
와
Figure 112015124207039-pct00050
까지의 거리가 모두 같기 때문에, 미러링 관계의 방정식으로부터 하기 관계식을 취득할 수 있다:
Figure 112015124207039-pct00051
Figure 112015124207039-pct00052
마찬가지 이치로,
Figure 112015124207039-pct00053
는
Figure 112015124207039-pct00054
의 좌측 벽 경계선
Figure 112015124207039-pct00055
의 미러 이미지 포인트이기 때문에, 마찬가지로 미러링 관계의 방정식에 의하여 하기 수식을 취득할 수 있다:
Figure 112015124207039-pct00056
Figure 112015124207039-pct00057
이로써, 좌측 벽 경계선 위치와 맞은편 벽 경계선 위치 및 유저 위치가 모두 이미 알려진 상황 하에서, 좌측 사운드 빔2의 방정식을 취득할 수 있다.
마찬가지 이치로, 우측 사운드 빔1과 우측 사운드 빔2의 방정식을 취득할 수 있다.
본 발명의 기타 실시예에 있어서, 만일 카메라와 스피커 사이에 상대적인 위치 차이가 존재하면(즉 기준 좌표계에서 다른 점에 위치한다면), 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여 카메라에 대한 룸의 위치 정보 및 카메라에 대한 유저의 위치 정보를 스피커 어레이에 대한 룸의 위치 정보 및 스피커 어레이에 대한 유저의 위치 정보로 전환시켜야 하며; 그 후 스피커 어레이의 위치를 원점으로 하여 좌표계를 구성하고, 또한 당해 좌표계 중의 좌측 벽 경계선에 대한 유저의 위치의 미러 이미지 포인트를 취득하며; 원점과 당해 미러 이미지 포인트의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔1의 방정식을 취득한다. 스피커 어레이의 위치를 원점으로 하여 좌표계를 구성하고, 또한 맞은편 벽 경계선에 대한 당해 좌표계에서 유저의 위치의 미러 이미지 포인트를 취득하고, 맞은편 벽 경계선에 대한 유저의 미러 이미지 포인트에 의하여 좌측 벽 경계선에 대한 당해 미러 이미지 포인트의 미러 이미지 포인트를 취득하며, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔2의 방정식을 취득한다. 마찬가지 이치로, 우측 사운드 빔1과 우측 사운드 빔2의 방정식을 취득할 수 있다.
3.2 비정상적 상황의 처리
실제 사용에 있어서 일부 비정상적 상황에 부딪칠 수 있다. 예를 들면, 벽 코너 위치를 완전하게 탐지할 수 없거나, 또는 TV와 스피커 어레이가 벽 코너 위치에 배열되거나, 또는 룸의 벽면이 평행되지 않거나, 또는 사운드 빔이 유저에 의하여 차단되는 상황이다. 이러한 경우 사운드 빔의 계산에서 일부 변화가 발생한다.
도 10은 본 발명의 일 실시예의 일 측 벽 코너가 탐지될 수 없다는 것을 보이는 도면이다. 측벽 코너를 탐지할 수 없고, 대응되는 벽의 위치를 계산할 수 없을 경우, 도 10에 도시된 바와 같이, 일 측의 두 사운드 빔의 방향이 유저와 일정한 각도로 형성되게 하는 바, 예를 들면 경험치에 의하여 60도와 45도로 설정하여, 일 측의 두 사운드 빔의 기본 각도로 한다. 즉 좌측 벽 코너 및/또는 우측 벽 코너를 수집할 수 없을 경우, 대응되는 일 측의 두 사운드 빔의 방향이 유저와 일정한 각도로 형성되게 한다. 예를 들면, 좌측 벽 경계선이 렌즈에 나타나지 않았다면, 좌측 사운드 빔1의 각도는 유저의 방위각에 60도를 더한 것이고, 좌측 사운드 빔2는 유저의 방위각에 45도를 더한 것이며, 우측도 마찬가지 이치이다.
기본 각도 하에서, 사운드 빔의 1차 반사점은 측벽 상에 위치하고, 이와 렌즈의 시야각(visual angle)과 관련이 있다고 가정하면, 만일 렌즈 내에서 일 측 벽 코너를 촬영하지 못했다면, 벽 코너와 렌즈 중심 연결선의 각도(렌즈 중심축에 대한)는 반드시 시야각보다 크고, 카메라의 시야각도 일반적으로 맞은편 벽의 절반 이상의 너비를 덮는다. 일반적인 스마트 TV 카메라의 시야각 범위는 ±45도를 초과하지 않고, 통상적으로 ±30도의 범위 내이기 때문에, 기본 시야각을 45도 이상으로 설정하면, 1차 반사점은 측벽에 위치할 가능성이 크다. 기본 각도의 설정은 또한 기타 방식 또는 기타 값을 가질 수 있으며, 만일 카메라의 시야각이 비교적 크다면 기본 각도도 상응하게 증가시킨다. 만일 시야각이 비교적 작다면 기본 각도도 상응하게 축소시킨다.
도 11은 본 발명의 일 실시예의 비정상적 상황 사운드 빔이 유저에 의하여 차단될 수 있다는 것을 보이는 도면이다. 사운드 빔이 유저에 의하여 차단되었을 경우, 도 11에 도시된 바와 같이, 좌측 사운드 빔2가 유저에 의하여 차단되었다면, 이러한 상황 하에서는 당해 방향의 좌측 사운드 빔2를 취소시킨다. 마찬가지로, 상기 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2 중의 어느 하나가 유저에 의하여 차단되면, 당해 사운드 빔을 취소시킨다.
유의하여야 할 점은, 유저 외의 기타 차단물은 사운드 빔을 취소할 필요가 없으며, 단지 유저가 차단하였을 경우에만 사운드 빔을 취소시킨다는 점이다.
3.3 필터 그룹 파라미터의 계산
산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정하고, 또한 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절한다.
사운드 빔의 경로를 산출하면 스피커 어레이에 대한 사운드 빔의 방향 각도를 알 수 있고, 스피커 어레이의 필터 그룹을 계산할 수 있다. 만일 스피커 어레이 각 유닛의 응답이
Figure 112015124207039-pct00058
이며;
여기서,
Figure 112015124207039-pct00059
는 주파수이고,
Figure 112015124207039-pct00060
는 각도이며,
Figure 112015124207039-pct00061
는 제i번째 어레이 요소의 주파수 응답 함수라면;
필터 그룹은
Figure 112015124207039-pct00062
이며; 그 중에서,
Figure 112015124207039-pct00063
는 제i번째 필터의 주파수 응답 함수이다.
어레이 요소의 위치는 사운드 빔 형성의 일반적인 정리에 의하여 필터 그룹을 계산할 수 있으며, 일반적인 알고리즘으로는 최소 분산 비왜곡 응답 알고리즘(MVDR: Minimum Variance Distortionless Response) 또는 딜레이 및 썸 사운드 빔 형성 알고리즘(Delay-And-Sum) 등이 있다.
MVDR을 예로 들면, 필터 그룹은 하기와 같이 계산할 수 있다.
사운드 빔 각도를
Figure 112015124207039-pct00064
이라 하면, 가장 이상적인 사운드 빔 방향은 복사 에너지가 모두
Figure 112015124207039-pct00065
에 집중되고, 기타 구역은 0인 것이다. 즉 이상적인 사운드 빔의 응답 함수는 하기와 같다:
Figure 112015124207039-pct00066
실제로 형성될 수 있는 사운드 빔은
Figure 112015124207039-pct00067
이고, 이상적인 사운드 빔
Figure 112015124207039-pct00068
와 최대한 접근되어야 한다
실제 사운드 빔의 방식은 하기와 같다:
Figure 112015124207039-pct00069
그 중에서,
Figure 112015124207039-pct00070
는 벡터에 대하여 전치 연산을 진행하는 것을 말한다.
그러므로, 이상적인 사운드 빔에 가장 접근할 때,
Figure 112015124207039-pct00071
여야 하므로,
Figure 112015124207039-pct00072
여야 하며, 그 중에서,
Figure 112015124207039-pct00073
는
Figure 112015124207039-pct00074
에 대하여 공액 연산을 진행하는 것을 말한다.
Delay-And-Sum의 경우에는, 하기와 같이 계산할 수 있다:
Figure 112015124207039-pct00075
Figure 112015124207039-pct00076
는 M 차원의 벡터이고, 각 요소는 하나의 스피커 유닛의 필터에 대응된다. 제i번째 스피커 유닛에 있어서, 이에 대응되는 필터는
Figure 112015124207039-pct00077
중의 제i번째 요소이다.
좌측 사운드 빔2, 우측 사운드 빔1, 우측 사운드 빔2에 대응되는 필터 그룹은
Figure 112015124207039-pct00078
의 계산과 유사하다.
상기 단계를 거쳐 이상적인 필터 그룹을 산출하고, 사운드 소스 신호는 필터링을 거친 후, 스피커 어레이에 의하여 재생된다. 각 스피커 유닛에 있어서, 좌측 사운드 채널 사운드 소스가 좌측 사운드 빔 필터 그룹의 필터링을 거친 후 중첩되고, 우측 사운드 채널 사운드 소스가 필터링을 거친 후 중첩되어, 공동으로 중첩된 후 당해 스피커 유닛에 의하여 재생된다.
현재 스마트 TV, 회의 시스템 등 많은 멀티미디어 설비는 모두 카메라와 오디오/비디오 처리 제어 칩을 구비하고 있으며, 복잡한 연산, 예를 들면 목표 식별 등을 지원한다. 그리고 스마트 TV의 카메라와 스피커 어레이의 위치는 상대적으로 고정되어 있는 바, 카메라는 일반적으로 TV 꼭대기 중심에 위치하고 스피커 어레이는 TV 밑부분에 위치한다. 그러므로, 이미지 식별 기술과 자동 포커싱 기술을 이용하여 카메라가 촬영한 이미지 중에서 룸의 벽 코너와 유저의 위치를 식별한 후, 다시 카메라의 고유 파라미터를 이용하여 유저의 룸 내의 위치와 룸 정보, 예를 들면 룸의 크기 등을 계산한다. 룸 정보와 유저 위치에 의하면 바람직한 서라운드 효과를 가질 때의 스피커의 사운드 빔이 향하여야 하는 각도를 산출할 수 있어, 유저로 하여금 비교적 훌륭한 서라운드 사운드 효과를 청취하게 할 수 있다. 여기서, 본 발명의 일 바람직한 실시예 중의 바람직한 서라운드 사운드 효과는 사운드 빔이 벽면에서 1차 반사 또는 2차 반사를 거친 후 유저에게 도달하는 것이다.
도 12는 본 발명의 일 실시예의 자체 적응 서라운드 사운드를 구현하는 시스템의 흐름도이다. 도 12에 도시된 바와 같이, 당해 시스템에는 카메라(1201), 목표 식별 및 이미징 유닛(1202), 위치 정보 추출 유닛(1203), 사운드 빔 제어 유닛(1204), 및 스피커 어레이(1205)가 포함되며;
카메라(1201)는 이미지를 수집하며;
목표 식별 및 이미징 유닛(1202)은 목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하며, 또한 상응하는 포커싱 파라미터를 기록하며;
위치 정보 추출 유닛(1203)은 수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보 및 카메라에 대한 유저의 상대적인 위치 정보를 산출하며;
사운드 빔 제어 유닛(1204)은 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출하며; 또한 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정하고, 또한 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절하며;
스피커 어레이(1205)는, 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 오디오 신호에 대하여 필터링을 수행한 후 재생시켜, 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성한다.
본 발명의 일 실시예에 있어서, 목표 식별 및 이미징 유닛(1202)은 벽 경계선 식별 기술을 이용하여 벽 코너와 벽 경계선을 식별한 후, 포커싱 제어 기술을 이용하여 카메라를 제어하여 벽 코너와 벽 경계선에 대하여 포커싱을 수행하고, 또한 벽 코너와 벽 경계선의 포커싱 이미지를 수집하며; 얼굴 식별 기술을 이용하여 유저의 얼굴을 식별한 후, 포커싱 제어 기술을 이용하여 카메라를 제어하여 유저의 얼굴을 포커싱하고, 또한 유저의 얼굴의 포커싱 이미지를 수집한다. 구체적인 것은 상기 제1 섹션의 "목표 식별과 포커싱 이미징"의 설명을 참조할 수 있다.
구체적으로 말하면, 목표 식별 및 이미징 유닛(1202)은 벽 경계선 식별 기술을 이용하여 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점을 식별하며, 벽 경계선 중점은 당해 벽 경계선이 포커싱 이미지 중에 나타난 부분의 중점이며; 얼굴 식별 기술을 이용하여 룸 내의 유저 얼굴을 식별하며; 목표를 식별한 후, 목표가 위치한 구역을 산출하고, 또한 산출 결과를 기초로 하여 포커싱 모터를 구동시켜 카메라로 하여금 식별 대상에 대하여 정확한 포커싱과 선명한 이미징을 수행하도록 한다.
본 발명의 일 실시예에 있어서, 목표 식별 및 이미징 유닛(1202)이 기록하는 포커싱 파라미터에는 포커싱 이미지를 수집할 때의 초점 거리와 이미지 거리가 포함된다.
위치 정보 추출 유닛(1203)은 구체적으로 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도를 산출하고, 또한 좌측 벽 경계선의 방정식, 우측 벽 경계선의 방정식, 및 맞은편 벽 경계선에 대한 방정식을 산출하며; 유저가 카메라와 떨어진 촬영 거리와 카메라 렌즈 중심축에 대한 유저의 각도를 산출한다.
구체적으로 말하면, 위치 정보 추출 유닛(1203)은 유저의 얼굴의 포커싱 이미지를 수집할 때 기록한 초점 거리와 이미지 거리에 의하여, 공액 이미징 원리를 기초로 하여 유저 거리 카메라의 촬영 거리를 취득하며; 유저의 얼굴의 포커싱 이미지 내의 위치에 의하여, 카메라 렌즈의 시야각 파라미터를 결합시켜 카메라 렌즈의 중심축에 대한 유저의 각도를 확정하며; 마찬가지로 이치로, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도를 각각 취득하며; 좌측 벽 코너와 좌측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 벽 경계선의 방정식을 취득하며; 우측 벽 코너와 우측 벽 경계선 중점의 좌표 정보에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 우측 벽 경계선의 방정식을 취득한다. 구체적인 내용은 상기 제2.1 섹션, 2.2 섹션을 참조할 수 있다.
본 발명의 일 실시예에 있어서, 상기 사운드 빔 제어 유닛(1204)은 상기 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔은 벽면에서 1차 반사 또는 2차 반사를 거쳐 상기 유저의 위치에 도달하는 사운드 빔을 의미한다.
좌측 사운드 빔1: 좌측 벽에 전달되어 좌측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔,
좌측 사운드 빔2: 좌측 벽에 전달되어 좌측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔,
우측 사운드 빔1: 우측 벽에 전달되어 우측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔,
우측 사운드 빔2: 우측 벽에 전달되어 우측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔;이 포함된다.
사운드 빔 제어 유닛(1204)은 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여 카메라에 대한 룸의 위치 정보 및 카메라에 대한 유저의 위치 정보를 스피커 어레이에 대한 룸의 위치 정보 및 스피커 어레이에 대한 유저의 위치 정보로 전환시키며; 스피커 어레이의 위치를 원점으로 하여 좌표계를 구성하고, 우선 좌측 벽 경계선에 대한 유저의 미러 이미지 포인트를 취득한 후, 원점과 당해 미러 이미지 포인트의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔1의 방정식을 취득한다. 카메라의 위치를 원점으로 하고, 우선 맞은편 벽 경계선에 대한 유저의 위치의 미러 이미지 포인트1을 취득하며, 미러 이미지 포인트1에 의하여 좌측 벽 경계선에 대한 미러 이미지 포인트1의 미러 이미지 포인트2를 취득한 후, 원점과 미러 이미지 포인트2의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔2의 방정식을 취득하며; 마찬가지 이치로, 우측 사운드 빔1과 우측 사운드 빔2의 방정식을 취득한다. 구체적인 내용은 상기 제3.1 섹션 중의 관련 설명을 참조할 수 있다.
사운드 빔 제어 유닛(1204)은 나아가 좌측 벽 코너 및/또는 우측 벽 코너의 이미지를 수집할 수 없을 경우, 대응되는 일 측의 두 사운드 빔의 방향이 유저와 일정한 각도로 형성되게 하거나; 또는 상기 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2 중의 어느 하나가 유저에 의하여 차단되면, 당해 사운드 빔을 취소시킨다.
사운드 빔 제어 유닛(1204)은 비디오 프로세서가 산출한 사운드 빔의 경로에 의하여, 최소 분산 비왜곡 응답 알고리즘 또는 딜레이 및 썸 사운드 빔 형성 알고리즘에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정한다. 구체적인 내용은 상기 제3.3 섹션 중의 관련 설명을 참조할 수 있다.
카메라(1201)는 수동 포커싱형의 카메라, 능동 포커싱형의 카메라, 또는 깊이 감지 기능을 갖는 카메라이다.
상술한 바와 같이, 본 발명의 기술방안에 있어서, 목표 식별 및 포커싱 제어 기술을 이용하여 룸 내의 지정된 위치와 유저의 포커싱 이미지를 수집하고 또한 포커싱 파라미터를 기록하며, 나아가 카메라에 대한 룸의 상대적인 위치 정보 및 카메라에 대한 유저의 상대적인 위치 정보를 산출하며, 이러한 정보에 의하여 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔을 산출하며, 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 취득하고 필터 그룹을 조절하며, 필터 그룹에 의하여 필터링된 후의 사운드 빔이 스피커 어레이에 의하여 재생되도록 하여, 목표 룸 내의 유저의 위치에서 자체 적응적으로 서라운드 사운드를 형성한다. 이러한 방식은 인공적인 교정을 필요로 하지 않고, 기존의 멀티미디어 설비에 있어서 추가적인 하드웨어를 증가시킬 필요가 없으며, 추가적인 음향학 교정 과정을 제거하고, 유저에게 적합한 스피커 어레이 사운드 빔의 지향 각도를 자동으로 계산할 수 있어서, 유저로 하여금 풍부한 서라운드 사운드 효과를 체험하도록 하며; 또한 유저가 위치를 이동할 때에도 적시적으로 이동된 위치에서 자체 적응적으로 서라운드 사운드를 형성할 수 있다. 본 발명의 기술방안은 추가적인 음향학 교정을 제거하고 설비가 간단하며, 사용이 간편하고, 또한 유저의 위치와 청취 습관을 제어하지 않으며, 종래의 사운드 빔을 이용하여 홀 내에서 서라운드 사운드를 구현하는 기술적인 문제를 극복하고, 아울러 유저로 하여금 비교적 훌륭한 서라운드 사운드 효과를 체험하도록 한다.
상기는 단지 본 발명의 바람직한 실시예로서 본 발명의 보호범위를 제한하는 것이 아니다. 본 발명의 기본사상과 원칙 범위 내에서 이루어지는 수정, 등가 대체, 개선 등은 모두 본 발명의 청구범위에 속한다 하여야할 것이다.

Claims (12)

  1. 자체 적응 서라운드 사운드(self-adaptive surround sound)를 구현하는 방법에 있어서,
    상기 방법은,
    목표 식별 기술을 이용하여 룸(room) 내의 지정된 위치와 룸 내의 유저(user)에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지(focusing image)를 수집하며, 상응하는 포커싱 파라미터(focusing parameter)를 기록하는 단계; 룸 내의 상기 지정된 위치는 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점을 포함하고, 벽 경계선 중점은 당해 벽 경계선이 포커싱 이미지 중에 나타난 부분의 중점임;
    수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보를 산출하고 카메라에 대한 유저의 상대적인 위치 정보를 산출하는 단계;
    산출된 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보, 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔(sound beam)의 경로를 산출하는 단계;
    산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹(filter group)의 파라미터를 확정하고, 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절하는 단계; 및
    오디오 신호가 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 필터링된 후 스피커 어레이에 의하여 재생되어 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성하는 단계를 포함하고,
    카메라에 대한 룸의 상대적인 위치 정보를 산출하는 것은, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도들을 산출하는 것과, 좌측 벽 경계선의 방정식, 우측 벽 경계선의 방정식, 및 맞은편 벽 경계선의 방정식을 산출하는 것을 포함하는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  2. 제1항에 있어서,
    목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하는 것은,
    벽 경계선(floor-wall boundary) 식별 기술을 이용하여 룸 내의 상기 지정된 위치를 식별하며; 얼굴 식별 기술을 이용하여 룸 내의 유저 얼굴을 식별하며; 목표를 식별한 후, 목표가 위치한 구역을 산출하고, 산출 결과를 기초로 하여 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하는 것을 포함하며;
    카메라에 대한 유저의 상대적인 위치 정보를 산출하는 것은, 유저가 카메라와 떨어진 촬영 거리와 카메라 렌즈 중심축에 대한 유저의 각도를 산출하는 것을 포함하는; 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  3. 제2항에 있어서,
    산출 결과를 기초로 하여 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하는 것은,
    산출 결과를 기초로 하여 포커싱 모터(focusing motor)를 구동시켜 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하거나;
    산출 결과를 기초로 하여 빛 필드 재구성(light field reestablishment) 방식을 이용해서 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하는; 것을 포함하는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  4. 제2항에 있어서,
    상기 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔은 벽면에서 1차 반사 또는 2차 반사를 거쳐 상기 유저의 위치에 도달하는 사운드 빔을 의미하고, 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2를 포함하며,
    좌측 사운드 빔1은 좌측 벽에 전달되어 좌측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    좌측 사운드 빔2는 좌측 벽에 전달되어 좌측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    우측 사운드 빔1은 우측 벽에 전달되어 우측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    우측 사운드 빔2는 우측 벽에 전달되어 우측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔인; 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  5. 제4항에 있어서,
    상기 산출된 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보, 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출하는 단계는,
    카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여 카메라에 대한 룸의 위치 정보 및 카메라에 대한 유저의 위치 정보를 스피커 어레이에 대한 룸의 위치 정보 및 스피커 어레이에 대한 유저의 위치 정보로 전환시키는 단계;
    스피커 어레이의 중심 위치를 원점으로 하고, 우선 좌측 벽 경계선에 대한 유저의 미러 이미지 포인트(mirror image point)를 취득한 후, 원점과 당해 미러 이미지 포인트의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔1의 방정식을 취득하는 단계;
    스피커 어레이의 중심 위치를 원점으로 하고, 우선 맞은편 벽 경계선에 대한 유저의 위치의 미러 이미지 포인트1을 취득하며, 미러 이미지 포인트1에 의하여 좌측 벽 경계선에 대한 미러 이미지 포인트1의 미러 이미지 포인트2를 취득한 후, 원점과 미러 이미지 포인트2의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔2의 방정식을 취득하는 단계;
    마찬가지 이치로, 우측 사운드 빔1과 우측 사운드 빔2의 방정식을 취득하는 단계를 포함하는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  6. 제4항에 있어서,
    상기 방법은,
    좌측 벽 코너 및/또는 우측 벽 코너의 이미지를 수집할 수 없을 경우, 대응되는 일 측의 두 사운드 빔의 방향이 유저와 일정한 각도로 형성되게 하거나;
    상기 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2 중의 어느 하나가 유저에 의하여 차단되면, 당해 사운드 빔을 취소시키는; 것을 포함하는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 방법.
  7. 자체 적응 서라운드 사운드를 구현하는 시스템에 있어서,
    상기 시스템은 카메라, 목표 식별 및 이미징 유닛, 위치 정보 추출 유닛, 사운드 빔 제어 유닛, 및 스피커 어레이를 포함하며;
    상기 카메라는 이미지를 수집하며;
    상기 목표 식별 및 이미징 유닛은 목표 식별 기술을 이용하여 룸 내의 지정된 위치와 룸 내의 유저에 대하여 식별하고, 포커싱 제어 기술을 이용하여 카메라를 제어해서 식별 대상의 포커싱 이미지를 수집하며, 상응하는 포커싱 파라미터를 기록하며; 룸 내의 상기 지정된 위치는 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점을 포함하고, 벽 경계선 중점은 당해 벽 경계선이 포커싱 이미지 중에 나타난 부분의 중점이며;
    상기 위치 정보 추출 유닛은 수집된 포커싱 이미지 및 기록된 상응하는 포커싱 파라미터에 의하여 카메라에 대한 룸의 상대적인 위치 정보를 산출하고 카메라에 대한 유저의 상대적인 위치 정보를 산출하며;
    상기 사운드 빔 제어 유닛은 카메라에 대한 룸의 상대적인 위치 정보, 카메라에 대한 유저의 상대적인 위치 정보, 및 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여, 상기 룸 내의 유저 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔의 경로를 산출하며, 산출된 사운드 빔의 경로에 의하여 스피커 어레이의 필터 그룹의 파라미터를 확정하고, 당해 파라미터를 이용하여 스피커 어레이의 필터 그룹을 조절하며;
    스피커 어레이는, 당해 파라미터를 이용하여 조절된 필터 그룹에 의하여 오디오 신호에 대하여 필터링을 수행한 후 재생시켜, 상기 룸 내의 유저 위치에서 서라운드 사운드를 형성하며;
    상기 위치 정보 추출 유닛은, 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점이 카메라와 떨어진 촬영 거리들과 좌측 벽 코너, 우측 벽 코너, 좌측 벽 경계선 중점, 및 우측 벽 경계선 중점의 카메라 렌즈 중심축에 대한 각도들을 산출하고, 좌측 벽 경계선의 방정식, 우측 벽 경계선의 방정식, 및 맞은편 벽 경계선에 대한 방정식을 산출하는; 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
  8. 제7항에 있어서,
    상기 목표 식별 및 이미징 유닛은 벽 경계선 식별 기술을 이용하여 룸 내의 상기 지정된 위치를 식별하며; 얼굴 식별 기술을 이용하여 룸 내의 유저 얼굴을 식별하며, 목표를 식별한 후, 목표가 위치한 구역을 산출하고, 산출 결과를 기초로 하여 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하며;
    상기 위치 정보 추출 유닛은 유저가 카메라와 떨어진 촬영 거리와 카메라 렌즈 중심축에 대한 유저의 각도를 산출하는; 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
  9. 제8항에 있어서,
    상기 목표 식별 및 이미징 유닛은 상기 산출 결과를 기초로 하여 포커싱 모터를 구동시켜 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하거나, 상기 산출 결과를 기초로 하여 빛 필드 재구성 방식을 이용해서 카메라로 하여금 식별 대상에 대하여 정확한 포커싱 및 선명한 이미징을 수행하도록 하는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
  10. 제8항에 있어서,
    상기 룸 내의 유저의 위치에서 서라운드 사운드를 구현할 수 있는 사운드 빔은 벽면에서 1차 반사 또는 2차 반사를 거쳐 상기 유저가 처한 위치에 도달하는 사운드 빔을 의미하고, 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2를 포함하며,
    좌측 사운드 빔1은 좌측 벽에 전달되어 좌측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    좌측 사운드 빔2는 좌측 벽에 전달되어 좌측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    우측 사운드 빔1은 우측 벽에 전달되어 우측 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    우측 사운드 빔2는 우측 벽에 전달되어 우측 벽에서 1차 반사되고 다시 맞은편 벽에서 1차 반사된 후 유저의 위치로 도달하는 사운드 빔이며;
    상기 사운드 빔 제어 유닛은 카메라와 스피커 어레이 사이의 상대적인 위치 관계에 의하여 카메라에 대한 룸의 위치 정보 및 카메라에 대한 유저의 위치 정보를 스피커 어레이에 대한 룸의 위치 정보 및 스피커 어레이에 대한 유저의 위치 정보로 전환시키며, 스피커 어레이의 중심 위치를 원점으로 하고, 우선 좌측 벽 경계선에 대한 유저의 미러 이미지 포인트를 취득한 후, 원점과 당해 미러 이미지 포인트의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔1의 방정식을 취득하며; 스피커 어레이의 중심 위치를 원점으로 하고, 우선 맞은편 벽 경계선에 대한 유저가 처한 위치의 미러 이미지 포인트1을 취득하며, 미러 이미지 포인트1에 의하여 좌측 벽 경계선에 대한 미러 이미지 포인트1의 미러 이미지 포인트2를 취득한 후, 원점과 미러 이미지 포인트2의 좌표에 의하여, 두 점에 의하여 하나의 직선을 확정하는 원리를 기초로 하여 좌측 사운드 빔의 방정식을 취득하며; 마찬가지 이치로, 우측 사운드 빔1과 우측 사운드 빔2의 방정식을 취득하는; 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
  11. 제10항에 있어서,
    상기 사운드 빔 제어 유닛은 좌측 벽 코너 및/또는 우측 벽 코너의 이미지를 수집할 수 없을 경우, 대응되는 일 측의 두 사운드 빔의 방향이 유저와 일정한 각도로 형성되게 하거나; 상기 좌측 사운드 빔1, 좌측 사운드 빔2, 우측 사운드 빔1, 및 우측 사운드 빔2 중의 어느 하나가 유저에 의하여 차단되면, 당해 사운드 빔을 취소시키는 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
  12. 제7항에 있어서,
    상기 카메라는 수동 포커싱형의 카메라(passive focusing camera), 능동 포커싱형의 카메라(active focusing camera), 또는 깊이 감지 기능을 갖는 카메라(camera with depth perception)인 것을 특징으로 하는 자체 적응 서라운드 사운드를 구현하는 시스템.
KR1020157035860A 2013-09-25 2014-06-27 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템 KR101771339B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310441607.9A CN103491397B (zh) 2013-09-25 2013-09-25 一种实现自适应环绕声的方法和系统
CN201310441607.9 2013-09-25
PCT/CN2014/080961 WO2015043264A1 (zh) 2013-09-25 2014-06-27 一种实现自适应环绕声的方法和系统

Publications (2)

Publication Number Publication Date
KR20160010590A KR20160010590A (ko) 2016-01-27
KR101771339B1 true KR101771339B1 (ko) 2017-08-24

Family

ID=49831312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157035860A KR101771339B1 (ko) 2013-09-25 2014-06-27 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템

Country Status (7)

Country Link
US (2) US9807536B2 (ko)
EP (1) EP2996345B1 (ko)
JP (1) JP6291055B2 (ko)
KR (1) KR101771339B1 (ko)
CN (1) CN103491397B (ko)
DK (1) DK2996345T3 (ko)
WO (1) WO2015043264A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036294A1 (ko) * 2018-08-16 2020-02-20 삼성전자주식회사 스피커 장치 및 그 제어 방법

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
KR102114226B1 (ko) 2014-09-26 2020-05-25 애플 인크. 구성가능한 구역을 구비한 오디오 시스템
CN104581541A (zh) * 2014-12-26 2015-04-29 北京工业大学 一种可定位多媒体视听装置及其控制方法
CN104936125B (zh) * 2015-06-18 2017-07-21 三星电子（中国）研发中心 环绕立体声实现方法及装置
CN104967953B (zh) * 2015-06-23 2018-10-09 Tcl集团股份有限公司 一种多声道播放方法和系统
CN105007396A (zh) * 2015-08-14 2015-10-28 山东诚海电子科技有限公司 一种用于课堂教学的定位方法及装置
CN106535059B (zh) * 2015-09-14 2018-05-08 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
EP3351015B1 (en) 2015-09-17 2019-04-17 Sonos, Inc. Facilitating calibration of an audio playback device
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
GB201604295D0 (en) 2016-03-14 2016-04-27 Univ Southampton Sound reproduction system
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN106162436A (zh) * 2016-06-30 2016-11-23 广东美的制冷设备有限公司 基于多扬声器的播放方法和系统
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10405125B2 (en) * 2016-09-30 2019-09-03 Apple Inc. Spatial audio rendering for beamforming loudspeaker array
US9955253B1 (en) * 2016-10-18 2018-04-24 Harman International Industries, Incorporated Systems and methods for directional loudspeaker control with facial detection
CN106765874B (zh) * 2016-11-23 2021-05-14 北京小米移动软件有限公司 空气净化的方法及装置
CN106534982A (zh) * 2016-11-28 2017-03-22 南京九致信息科技有限公司 电视设备及音量平衡控制方法
DE102017100628A1 (de) * 2017-01-13 2018-07-19 Visteon Global Technologies, Inc. System und Verfahren zum Bereitstellen einer personenbezogenen Audiowiedergabe
US9980076B1 (en) 2017-02-21 2018-05-22 At&T Intellectual Property I, L.P. Audio adjustment and profile system
CN107170462A (zh) * 2017-03-19 2017-09-15 临境声学科技江苏有限公司 基于mvdr的隐声方法
KR20200063151A (ko) * 2017-09-01 2020-06-04 디티에스, 인코포레이티드 가상화된 오디오를 위한 스윗 스팟 어뎁테이션
CN109720952A (zh) * 2017-10-30 2019-05-07 上海三菱电梯有限公司 目的楼层登记装置及电梯运行系统
BR112020021608A2 (pt) * 2018-04-24 2021-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário
WO2019216414A1 (ja) * 2018-05-11 2019-11-14 国立大学法人東京工業大学 音響プログラム、音響装置、および音響システム
US10440473B1 (en) * 2018-06-22 2019-10-08 EVA Automation, Inc. Automatic de-baffling
US10524053B1 (en) 2018-06-22 2019-12-31 EVA Automation, Inc. Dynamically adapting sound based on background sound
JP6716636B2 (ja) * 2018-06-26 2020-07-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 設定可能なゾーンを有するオーディオシステム
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
CN111683325B (zh) * 2019-03-11 2022-02-08 深圳市冠旭电子股份有限公司 音效控制方法、装置、音箱、可穿戴设备及可读存储介质
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN112781580B (zh) * 2019-11-06 2024-04-26 佛山市云米电器科技有限公司 家庭设备的定位方法、智能家居设备及存储介质
CN112866894B (zh) * 2019-11-27 2022-08-05 北京小米移动软件有限公司 声场控制方法及装置、移动终端、存储介质
CN113449546A (zh) * 2020-03-24 2021-09-28 南宁富桂精密工业有限公司 室内定位方法与装置及计算机可读储存媒体
CN112153538B (zh) * 2020-09-24 2022-02-22 京东方科技集团股份有限公司 显示装置及其全景声实现方法、非易失性存储介质
CN114348821B (zh) * 2021-12-06 2023-09-12 日立楼宇技术（广州）有限公司 一种电梯乘客的引导方法、系统、装置及存储介质
FR3137239A1 (fr) * 2022-06-22 2023-12-29 Sagemcom Broadband Sas Procédé de gestion d’un flux audio à l’aide d’un appareil de prise de vue et équipement décodeur associé

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025153A (ja) * 2004-07-07 2006-01-26 Yamaha Corp スピーカ装置の指向性制御方法およびオーディオ再生装置
JP2013529004A (ja) * 2010-04-26 2013-07-11 ケンブリッジ メカトロニクス リミテッド 位置追跡を備えるスピーカ
JP2013157843A (ja) * 2012-01-31 2013-08-15 Yamaha Corp 音場制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100539737C (zh) * 2001-03-27 2009-09-09 1...有限公司 产生声场的方法和装置
JP3915804B2 (ja) * 2004-08-26 2007-05-16 ヤマハ株式会社 オーディオ再生装置
US20060140420A1 (en) * 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
EP2315458A3 (en) * 2008-04-09 2012-09-12 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating filter characteristics
US8279357B2 (en) * 2008-09-02 2012-10-02 Mitsubishi Electric Visual Solutions America, Inc. System and methods for television with integrated sound projection system
JP2010206451A (ja) * 2009-03-03 2010-09-16 Panasonic Corp カメラ付きスピーカ、信号処理装置、およびａｖシステム
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
JP2012234431A (ja) * 2011-05-06 2012-11-29 Nippon Telegr & Teleph Corp <Ntt> 境界線検出装置、境界線検出方法、及びプログラム
US20130083948A1 (en) * 2011-10-04 2013-04-04 Qsound Labs, Inc. Automatic audio sweet spot control
EP2618564A1 (en) * 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
EP3483874B1 (en) * 2013-03-05 2021-04-28 Apple Inc. Adjusting the beam pattern of a speaker array based on the location of one or more listeners
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025153A (ja) * 2004-07-07 2006-01-26 Yamaha Corp スピーカ装置の指向性制御方法およびオーディオ再生装置
JP2013529004A (ja) * 2010-04-26 2013-07-11 ケンブリッジ メカトロニクス リミテッド 位置追跡を備えるスピーカ
JP2013157843A (ja) * 2012-01-31 2013-08-15 Yamaha Corp 音場制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036294A1 (ko) * 2018-08-16 2020-02-20 삼성전자주식회사 스피커 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20180020311A1 (en) 2018-01-18
EP2996345A4 (en) 2016-08-03
CN103491397B (zh) 2017-04-26
KR20160010590A (ko) 2016-01-27
US20160134986A1 (en) 2016-05-12
JP6291055B2 (ja) 2018-03-14
EP2996345A1 (en) 2016-03-16
WO2015043264A1 (zh) 2015-04-02
JP2016531511A (ja) 2016-10-06
EP2996345B1 (en) 2018-08-08
DK2996345T3 (en) 2018-11-19
CN103491397A (zh) 2014-01-01
US10375502B2 (en) 2019-08-06
US9807536B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
KR101771339B1 (ko) 자체 적응 서라운드 사운드를 구현하는 방법 및 시스템
EP3546976B1 (en) Device control method, apparatus and system
US20150022636A1 (en) Method and system for voice capture using face detection in noisy environments
WO2017215295A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
US8139935B2 (en) 3D camera with foreground object distance sensing
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
JP2024056955A (ja) 光学式捕捉によるパーソナライズされたｈｒｔｆ
CN114258687A (zh) 从传统视听媒体中确定空间化虚拟声学场景
US11523219B2 (en) Audio apparatus and method of operation therefor
US20230088530A1 (en) Sound-generating device, display device, sound-generating controlling method, and sound-generating controlling device
WO2020116054A1 (ja) 信号処理装置及び信号処理方法
CN105245811A (zh) 一种录像方法及装置
JP2022524684A (ja) マイクロフォンアレイおよび深度カメラアセンブリ入力に基づくスピーカービームステアリング
WO2020026548A1 (ja) 情報処理装置及び情報処理方法、並びに音響システム
CN116016836A (zh) 会议视频处理方法及系统
WO2016202111A1 (zh) 一种基于拍照的音频输出方法和装置
US11598962B1 (en) Estimation of acoustic parameters for audio system based on stored information about acoustic model
RU2797362C2 (ru) Аудиоустройство и способ его работы
TWI830383B (zh) 拍攝聲源的系統及方法
WO2024113361A1 (en) Method and system for automatic audio calibration
TW202249502A (zh) 在兩個音頻通道上之聲源的離散雙耳空間化
JP2008245168A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
JP6174114B2 (ja) 音声入力装置およびその音声入力装置を備えた画像表示装置
JP2021117130A (ja) ３次元位置推定装置および３次元位置推定方法
TW202338481A (zh) 用於結構光產生的晶圓級光學元件

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant