KR20220029866A - 전자 장치 및 제어 방법 - Google Patents

전자 장치 및 제어 방법 Download PDF

Info

Publication number
KR20220029866A
KR20220029866A KR1020200111324A KR20200111324A KR20220029866A KR 20220029866 A KR20220029866 A KR 20220029866A KR 1020200111324 A KR1020200111324 A KR 1020200111324A KR 20200111324 A KR20200111324 A KR 20200111324A KR 20220029866 A KR20220029866 A KR 20220029866A
Authority
KR
South Korea
Prior art keywords
audio signal
electronic device
recording
external device
microphone
Prior art date
Application number
KR1020200111324A
Other languages
English (en)
Inventor
김상헌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200111324A priority Critical patent/KR20220029866A/ko
Priority to EP21864523.2A priority patent/EP4181493A4/en
Priority to PCT/KR2021/008974 priority patent/WO2022050561A1/ko
Priority to CN202180053291.9A priority patent/CN115989667A/zh
Publication of KR20220029866A publication Critical patent/KR20220029866A/ko
Priority to US18/116,148 priority patent/US20230209255A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N5/2257—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/30—Aspects of automatic or semi-automatic exchanges related to audio recordings in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치 및 제어 방법이 개시된다. 전자 장치는 UWB 방식으로 외부 장치와 통신하는 통신 인터페이스, 마이크, 카메라, 센서, 디스플레이, 및 프로세서를 포함하고, 프로세서는 외부 장치로부터 수신된 데이터에 기초하여 외부 장치와의 거리 정보 및 각도 정보를 획득하고, 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득하며, 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 외부 장치를 식별하고, 외부 장치와 거리에 기초하여 오디오 신호를 획득하도록 마이크 또는 통신 인터페이스를 제어하며, 표시되는 영상과 함께 획득된 오디오 신호의 크기를 나타내는 UI를 표시하도록 디스플레이를 제어한다.

Description

전자 장치 및 제어 방법{ELECTRONIC DEVICE AND CONTROL METHOD THEREOF}
본 개시는 전자 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는, UWB(Ultra Wide Band) 방식으로 통신하는 전자 장치 및 제어 방법에 관한 것이다.
최근 5G 통신 방식이 상용화되고, 스마트폰을 포함하는 고사양의 전자 장치가 개발되고 있다. 스마트폰의 경우, 예전에는 하나의 카메라와 하나의 마이크를 포함하였다. 최근에 출시되는 스마트폰은 복수의 카메라와 복수의 마이크를 포함하고, 다양한 기능을 수행할 수 있다.
그러나, 최근에 출시되는 스마트폰의 경우에도 원거리 피사체 또는 주변에 소음이 있는 경우, 동영상 촬영 등을 할 때 일부 피사체의 소리가 잘 들리지 않는 경우가 많다. 그리고, 동영상 촬영시 복수의 피사체가 존재하는 경우, 특정 피사체만을 선택하고 추적하면서 녹화를 진행할 수 없다. 또한, 하나의 애플리케이션이 마이크 리소스를 점유하는 경우, 칩셋 제약사항 등으로 인해 다른 애플리케이션이 마이크 리소스를 사용할 수 없다. 따라서, 최근의 스마트폰에서도 멀티 레코딩은 불가능하다.
이 외에도 사용자는 동영상 촬영시 볼륨 조절이 불가하거나 입력되는 오디오 신호의 크기가 얼마인지 확인할 수 없어 마이크 레벨을 조절하기 힘들며, 피사체 또는 주변 기기에 따라 동영상 촬영시 녹음되는 음량에 서로 다른 문제점이 있다.
따라서, 동영상 촬영시 피사체에 따라 오디오 신호를 추적하거나 피사체의 거리 또는 주변 기기와 상관없이 녹음되는 오디오 신호 크기를 균일화하는 등 스마트 폰을 포함하는 전자 장치에서 오디오 신호와 관련된 기능과 품질을 개선하는 기술에 대한 필요성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 UWB 통신 방식을 이용하여 외부 장치와 통신함으로써 피사체의 오디오 신호를 제어하는 전자 장치 및 제어 방법을 제공하는 것이다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 전자 장치는 UWB(Ultra Wide Band) 방식으로 외부 장치와 통신하는 통신 인터페이스, 오디오 신호를 입력받는 마이크, 상기 외부 장치와 인접한 피사체를 포함하는 영상을 촬영하는 카메라, 상기 카메라의 방향을 감지하는 센서, 상기 촬영된 영상을 표시하는 디스플레이 및 프로세서를 포함하고, 상기 프로세서는 상기 외부 장치로부터 수신된 데이터에 기초하여 상기 외부 장치와의 거리(ranging) 정보 및 각도 정보를 획득하고, 상기 센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득하며, 상기 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 상기 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별하고, 상기 외부 장치와 거리가 기 설정된 거리 미만인 경우 상기 피사체의 오디오 신호를 획득하도록 상기 마이크를 제어하고, 상기 외부 장치와 거리가 기 설정된 거리 이상인 경우 상기 외부 장치로 입력된 상기 피사체의 오디오 신호를 획득하도록 상기 통신 인터페이스를 제어하며, 상기 표시되는 영상과 함께 상기 획득된 오디오 신호의 크기를 나타내는 UI를 표시하도록 상기 디스플레이를 제어한다.
그리고, 전자 장치는 메모리를 더 포함하고, 상기 프로세서는 녹음 쓰레드(thread)가 활성화 상태인지 식별하고, 비활성화 상태인 경우 상기 획득된 오디오 신호를 저장하기 위해 초기 녹음 설정 과정을 수행하고, 상기 녹음 쓰레드를 생성하며, 상기 생성된 녹음 쓰레드에 대한 복수의 녹음 트랙을 생성하고, 상기 생성된 복수의 녹음 트랙에 기초하여 상기 획득된 오디오 신호와 관련된 데이터를 상기 메모리에 저장하고 상기 디스플레이에 표시할 수 있다.
한편, 상기 초기 녹음 설정 과정은 코덱 설정 과정, 오디오 DSP 설정 과정, 커널 드라이버 설정 과정 또는 오디오 HAL(Hardware Abstraction Layer) 설정 과정 중 적어도 하나의 과정을 포함할 수 있다.
그리고, 상기 프로세서는 상기 녹음 쓰레드가 활성화 상태인 경우 상기 초기 녹음 설정 과정을 생략하고, 상기 획득된 오디오 신호와 관련된 복수의 녹음 트랙을 생성하며, 상기 오디오 신호와 관련된 복수의 녹음 트랙을 상기 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성할 수 있다.
또는, 상기 프로세서는 상기 오디오 신호와 관련된 적어도 하나의 녹음 트랙을 이용하여 상기 획득된 오디오 신호의 피크 레벨을 식별할 수 있다.
또한, 상기 프로세서는 상기 식별된 피크 레벨을 상기 획득된 오디오 신호의 크기로 표시하도록 상기 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는 상기 획득된 오디오 신호가 빔포밍 조건을 만족하는 경우, 상기 획득된 오디오 신호를 방향성에 기초하여 복수의 채널로 분리하여 저장하고, 상기 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 상기 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 채널로 분리하여 저장할 수 있다.
또한, 상기 프로세서는 각각의 녹음 트랙 또는 각각의 채널에 대해 상기 오디오 신호의 볼륨을 제어할 수 있다.
한편, 상기 프로세서는 상기 외부 장치로 응답 요청 신호를 전송하여 응답 신호를 수신하도록 상기 통신 인터페이스를 제어하고, 상기 응답 요청 신호의 전송 시간부터 상기 응답 신호 수신 시간까지의 송수신 시간에 기초하여 상기 거리 정보를 획득할 수 있다.
그리고, 상기 마이크는 지향성 마이크를 포함하고, 상기 프로세서는 상기 지향성 마이크가 지향하는 방향 이외의 방향에서 획득되는 오디오 신호를 뮤트(mute)시킬 수 있다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, UWB(Ultra Wide Band) 방식으로 외부 장치와 통신하는 전자 장치의 제어 방법은 상기 외부 장치와 인접한 피사체를 포함하는 영상을 촬영하는 단계, 상기 외부 장치로부터 수신된 데이터에 기초하여 상기 외부 장치와의 거리(ranging) 정보 및 각도 정보를 획득하는 단계, 센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득하는 단계, 상기 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 상기 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별하는 단계, 상기 외부 장치와 거리가 기 설정된 거리 미만인 경우 상기 피사체의 오디오 신호를 획득하도록 상기 마이크를 제어하고, 상기 외부 장치와 거리가 기 설정된 거리 이상인 경우 상기 외부 장치를 통해 상기 피사체의 오디오 신호를 획득하는 단계 및 상기 촬영된 영상과 함께 상기 획득된 오디오 신호의 크기를 UI로 표시하는 단계를 포함한다.
한편, 전자 장치의 제어 방법은 녹음 쓰레드(thread)가 활성화 상태인지 식별하는 단계, 상기 녹음 쓰레드가 비활성화 상태인 경우 상기 획득된 오디오 신호를 저장하기 위해 초기 녹음 설정 과정을 수행하는 단계, 상기 녹음 쓰레드를 생성하는 단계, 상기 생성된 녹음 쓰레드에 대한 복수의 녹음 트랙을 생성하는 단계 및 상기 생성된 복수의 녹음 트랙에 기초하여 상기 획득된 오디오 신호와 관련된 데이터를 저장 및 표시하는 단계를 더 포함할 수 있다.
한편, 상기 초기 녹음 설정 과정은 코덱 설정 과정, 오디오 DSP 설정 과정, 커널 드라이버 설정 과정 또는 오디오 HAL(Hardware Abstraction Layer) 설정 과정 중 적어도 하나의 과정을 포함할 수 있다.
그리고, 전자 장치의 제어 방법은 상기 녹음 쓰레드가 활성화 상태인 경우 상기 초기 녹음 설정 과정을 생략하고, 상기 획득된 오디오 신호를 처리하는 복수의 녹음 트랙을 생성하는 단계 및 상기 녹음 쓰레드를 생성하는 단계는 상기 오디오 신호와 관련된 복수의 녹음 트랙을 상기 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성할 수 있다.
또는, 전자 장치의 제어 방법은 상기 오디오 신호와 관련된 적어도 하나의 녹음 트랙을 이용하여 상기 획득된 오디오 신호의 피크 레벨을 식별하는 단계를 더 포함할 수 있다.
또한, 상기 UI를 표시하는 단계는 상기 식별된 피크 레벨을 상기 획득된 오디오 신호의 크기로 표시할 수 있다.
그리고, 획득된 오디오 신호를 저장하는 단계는 상기 획득된 오디오 신호가 빔포밍 조건을 만족하는 경우 상기 획득된 오디오 신호를 방향성에 기초하여 복수의 채널로 분리하여 저장하고, 상기 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 상기 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 채널로 분리하여 저장할 수 있다.
또한, 전자 장치의 제어 방법은 각각의 녹음 트랙 또는 각각의 채널에 대해 상기 오디오 신호의 볼륨을 제어하는 단계를 더 포함할 수 있다.
한편, 상기 거리 정보 및 각도 정보를 획득하는 단계는 상기 외부 장치로 응답 요청 신호를 전송하여 응답 신호를 수신하고, 상기 응답 요청 신호의 전송 시간부터 상기 응답 신호 수신 시간까지의 송수신 시간에 기초하여 상기 거리 정보를 획득할 수 있다.
그리고, 상기 마이크는 지향성 마이크를 포함하고, 상기 오디오 신호를 획득하는 단계는 상기 지향성 마이크가 지향하는 방향 이외의 방향에서 획득되는 오디오 신호를 뮤트(mute)시킬 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치 및 제어 방법은 UWB 통신 방식을 이용하여 외부 장치와 통신하여 피사체의 오디오 신호를 운용함으로써 사용자 경험을 향상시킬 수 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 UWB 기반 멀티 오디오 운용 방법을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 프로세서의 아키텍처를 설명하는 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 멀티 마이크의 볼륨을 제어하는 과정을 설명하는 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 복수 장치의 오디오 신호의 볼륨을 제어하는 과정을 설명하는 블록도이다.
도 7은 본 개시의 일 실시 예에 따른 피사체의 전자 장치의 정보를 수신하는 과정을 설명하는 흐름도이다.
도 8은 UWB 통신 방식으로 외부 장치의 정보를 수신하는 일 실시 예를 설명하는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 원거리 피사체의 오디오 신호를 획득하는 과정을 설명하는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 모니터링 트랙의 레벨을 설명하는 도면이다.
도 11은 본 개시의 일 실시 예에 따른 오디오 신호의 피크 레벨을 측정하는 과정을 설명하는 흐름도이다.
도 12는 일 실시 예에 따른 레코딩 과정을 설명하는 도면이다.
도 13은 본 개시의 일 실시 예에 따른 오디오 신호를 획득하는 과정을 설명하는 흐름도이다.
도 14는 본 개시의 일 실시 예에 따른 획득한 오디오 신호를 분석하는 과정을 설명하는 흐름도이다.
도 15는 일 실시 예에 따른 오디오 신호의 채널을 설명하는 도면이다.
도 16은 본 개시의 일 실시 예에 따른 오디오 신호의 레벨을 시각화하는 과정을 설명하는 흐름도이다.
도 17은 본 개시의 일 실시 예에 따른 오디오 신호의 레벨을 포함한 UI를 설명하는 도면이다.
도 18은 본 개시의 일 실시 예에 따른 녹음 레벨을 제어하는 과정을 설명하는 흐름도이다.
도 19는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 20a는 본 개시의 일 실시 예에 따른 오브젝트의 오디오 신호의 볼륨을 표시하는 UI를 설명하는 도면이다.
도 20b는 본 개시의 일 실시 예에 따른 오브젝트의 오디오 신호의 볼륨을 제어하는 UI를 설명하는 도면이다.
도 21은 촬영자의 소리를 뮤트하는 일 실시 예를 설명하는 도면이다.
도 22는 피사체의 이동에 따라 소리를 추적하여 표시하는 일 실시 예를 설명하는 도면이다.
도 23은 복수의 외부 장치의 오디오 신호를 분리하여 표시하고 제어하는 일 실시 예를 설명하는 도면이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서 수행되는 정보(데이터) 전송 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 명세서 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, 반드시 A로부터 B까지 직접 전송(전달) 또는 수신되는 것만을 표현하는 것은 아니다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 UWB 기반 멀티 오디오 운용 방법을 설명하는 도면이다.
도 1을 참조하면, 전자 장치(100) 및 외부 장치(200)가 도시되어 있다. 전자 장치(100)는 애플리케이션을 실행시킨다. 예를 들어, 애플리케이션은 동영상 녹화, 무빙 픽쳐(moving picture), 녹음, 음성 인식 등과 같은 기능을 수행하는 애플리케이션일 수 있다. 전자 장치(100)는 애플리케이션 실행에 대응하여 피사체를 포함하는 영상을 촬영한다. 피사체는 외부 장치(200)와 인접하여 위치할 수 있다. 그리고, 피사체는 복수일 수 있고, 외부 장치(200)도 복수일 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 전자 장치(100)의 주변에는 제1 내지 제3 외부 장치(200-1, 200-2, 200-3)가 위치할 수 있다.
또한, 전자 장치(100)는 UWB(Ultra Wide Band) 통신 방식을 이용하여 외부 장치(200)와 통신을 수행하고, 외부 장치(200)로부터 데이터를 수신할 수 있다. 예를 들어, 외부 장치(200)로부터 수신되는 데이터는 전자 장치(100)를 기준으로 하는 외부 장치(200)의 거리(ranging) 정보 및 각도 정보(예, Arrival of Angle, AOA)를 포함할 수 있다. 전자 장치(100)는 외부 장치(200)로부터 수신된 거리 정보와 각도 정보에 기초하여 전자 장치(100)와 외부 장치(200) 간의 상대적인 위치를 판단할 수 있다. UWB 통신 방식은 약 500MHz의 매우 넓은 주파수 대역폭(bandwidth)을 이용하는 근거리 무선 통신 기술의 일종이다. UWB 통신 방식은 약 100Mbps 이상의 속도와 낮은 전력으로 데이터를 전송할 수 있다.
전자 장치(100)는 센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득한다. 추가적으로, 전자 장치(100)는 GPS 정보를 수신하여 획득된 촬영 방향 정보의 정확도를 향상시킬 수 있다. 전자 장치(100)는 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 피사체의 오디오 신호를 획득하기 위한 외부 장치(200)를 식별한다. 예를 들어, 식별된 외부 장치(200)가 기 설정된 거리보다 가까운 경우, 전자 장치(100)는 전자 장치(100)에 포함된 마이크를 통해 피사체의 오디오 신호(예, 음성)를 획득한다. 즉, 전자 장치(100)는 피사체의 오디오 신호를 마이크로 입력받을 수 있다. 식별된 외부 장치(200)가 기 설정된 거리보다 먼 경우, 전자 장치(100)는 외부 장치(200)를 통해 피사체의 오디오 신호를 획득한다. 즉, 전자 장치(100)는 통신 인터페이스를 통해 외부 장치(200)로부터 피사체 오디오 신호를 수신할 수 있다. 일 실시 예로서, 기 설정된 거리는 0.5m, 1m, 1.5m 등과 같이 설정될 수 있다. 상술한 예는 일 실시 예이며, 기 설정된 거리는 마이크의 성능, 지향성 여부 등에 따라 적절히 설정될 수 있다.
전자 장치(100)는 획득된 오디오 신호 및 촬영된 영상을 분석할 수 있다. 전자 장치(100)는 촬영된 영상으로부터 피사체를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 피사체에 대응하는 오디오 신호를 판단하고, 오디오 신호의 레벨(또는, 크기)을 판단할 수 있다. 전자 장치(100)는 판단 결과에 기초하여 촬영된 영상과 함께 오디오 신호의 레벨을 나타내는 UI를 표시한다. 오디오 신호 레벨은 나타내는 UI는 AR(Augmented Reality)을 포함할 수 있다. 즉, 오디오 신호 레벨은 AR로 표시될 수도 있다. 예를 들어, 전자 장치(100)는 촬영된 영상을 분석하여 제1 피사체 및 제2 피사체를 식별할 수 있다. 그리고, 전자 장치(100)는 마이크로 입력되는 오디오 신호의 거리 및 방향에 기초하여 오디오 신호와 대응되는 피사체를 판단할 수 있다. 또는, 전자 장치(100)는 외부 장치(200)의 거리 및 방향에 기초하여 오디오 신호와 대응되는 피사체를 판단할 수 있다. 전자 장치(100)는 식별된 피사체와 대응되는 오디오 신호를 매핑시킬 수 있다. 전자 장치(100)는 식별된 피사체에 매핑된 오디오 신호의 레벨을 포함하는 UI를 표시한다.
예를 들어, 전자 장치(100)는 스마트폰, 태블릿 PC, 랩탑 컴퓨터, 네비게이션, 슬레이트 PC, 웨어러블 디바이스 등을 포함할 수 있다. 그리고, 외부 장치(200)는 스마트폰, 태블릿 PC, 랩탑 컴퓨터, 네비게이션, 슬레이트 PC, 웨어러블 디바이스, 이어폰, 헤드폰, 마이크, 스피커 등을 포함할 수 있다. 아래에서는, 전자 장치의 구성을 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이고, 도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 블록도이다. 도 2 및 도 3을 함께 참조하여 설명한다.
도 2를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 마이크(120), 카메라(130), 센서(140), 디스플레이(150) 및 프로세서(160)를 포함한다.
통신 인터페이스(110)는 UWB 통신 방식으로 외부 장치와 통신을 수행한다. 예를 들어, 통신 인터페이스(110)는 UWB 통신 모듈을 포함할 수 있다. 통신 인터페이스(110)는 UWB 통신 모듈을 이용하여 외부 장치에 데이터를 요청하는 메시지를 전송하고, 외부 장치로부터 응답 메시지를 수신할 수 있다. 또한, UWB는 지향성이므로 통신 인터페이스(110)는 외부 장치의 방향 또는 각도 정보 등을 수신할 수 있다. 또한, 통신 인터페이스(110)는 외부 장치로부터 식별 정보를 수신할 수 있다. 예를 들어, 식별 정보는 피사체의 이름, 전화번호, 피사체의 얼굴 이미지, 외부 장치의 고유 정보 등을 포함할 수 있다. 또한, 통신 인터페이스(110)는 외부 장치와 연결된 주변 장치에 대한 정보를 수신할 수도 있다. 일 실시 예로서, 피사체의 얼굴 이미지는 외부 장치에 저장된 이미지, 연결된 SNS 등을 이용하여 외부 장치에 의해 추출될 수 있다. 프로세서(160)는 요청 메시지의 송신과 응답 메시지의 수신 간의 송수신 시간에 기초하여 전자 장치(100)와 외부 장치 간의 거리를 산출할 수 있다. 즉, 프로세서(160)는 응답 요청 신호의 전송 시간부터 응답 신호 수신 시간까지의 송수신 시간에 기초하여 거리 정보를 획득할 수 있다.
또한, 통신 인터페이스(110)는 외부 장치가 기 설정된 거리보다 멀리 위치한 경우(원거리), 외부 장치로부터 오디오 신호를 수신할 수 있다. 한편, 통신 인터페이스(110)는 LTE, 와이파이, 블루투스 등 UWB 외에 다른 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 따라서, 통신 인터페이스(110)는 UWB, LTE, 와이파이 또는 블루투스 등의 통신 방식으로 외부 장치와 연결되고, 연결된 통신 방식에 따라 오디오 신호를 수신할 수 있다. 또한, 통신 인터페이스(110)는 GPS 모듈을 포함할 수 있다. 통신 인터페이스(110)는 GPS 모듈을 통해 위치 정보를 수신할 수 있다. 수신된 위치 정보는 프로세서(160)가 전자 장치(100)의 위치, 방향을 결정할 때 함께 고려될 수 있다. 통신 인터페이스(120)는 외부 장치와 통신을 수행하며, 통신부, 통신 모듈, 송수신부 등으로 불릴 수도 있다.
마이크(120)는 오디오 신호를 입력받을 수 있다. 일 실시 예로서, 전자 장치(100)는 복수 개의 마이크를 포함할 수 있다. 복수 개의 마이크는 전자 장치(100)의 상단 영역, 하단 영역, 전면 영역, 후면 영역, 카메라 배치 영역 등에 배치될 수 있다. 복수 개의 마이크 중 적어도 하나의 마이크는 지향성 마이크일 수 있다. 마이크(120)는 프로세서(160)의 제어에 따라 기 설정된 거리 이내에 위치한 피사체로부터 오디오 신호를 획득할 수 있다.
카메라(130)는 피사체를 포함하는 영상을 촬영한다. 일 실시 예로서, 전자 장치(100)는 복수 개의 카메라를 포함할 수 있다. 복수 개의 카메라 중 적어도 하나의 카메라는 뎁스 카메라일 수 있다.
센서(140)는 카메라(130)가 향하는 방향을 감지한다. 예를 들어, 카메라(130)는 전자 장치(100)에 고정되어 배치될 수 있다. 따라서, 카메라(130)가 향하는 방향은 전자 장치(100)가 향하는 방향과 일치할 수 있다. 또한, 카메라(130)가 향하는 방향은 촬영 방향일 수 있다. 따라서, 프로세서(160)는 센서(140)에서 감지된 방향 정보에 따라 촬영 방향 정보를 획득할 수 있다. 예를 들어, 센서(140)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서 등을 포함할 수 있다.
디스플레이(150)는 촬영된 영상을 표시한다. 또한, 디스플레이(150)는 획득된 오디오 신호의 레벨을 포함하는 UI를 촬영된 영상과 함께 표시할 수 있다. 예를 들어, 디스플레이(150)는 레벨미터 형태의 UI로 오디오 신호의 레벨을 표시할 수 있다. 또한, 오디오 신호의 레벨을 포함하는 UI는 AR을 포함할 수 있다. 디스플레이(150)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다.
프로세서(160)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(160)는 외부 장치와 데이터를 송수신하도록 통신 인터페이스(110)를 제어하고, 촬영 방향을 감지하도록 센서(140)를 제어할 수 있다. 상술한 바와 같이, 프로세서(160)는 요청 메시지의 송신과 응답 메시지의 수신 간의 송수신 시간에 기초하여 전자 장치(100)와 외부 장치 간의 거리 정보를 획득할 수 있다. 또한, 프로세서(160)는 센서에서 감지된 카메라(130)의 방향에 기초하여 촬영 방향 정보를 획득할 수 있다. 프로세서(160)는 수신된 위치 정보를 이용하여 촬영 방향 정보를 획득함으로써 획득된 촬영 방향 정보에 대한 정확도를 향상시킬 수 있다. 프로세서(160)는 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별한다. 외부 장치가 기 설정된 거리보다 가깝게 위치하는 경우, 프로세서(160)는 마이크(120)를 제어하여 피사체의 오디오 신호를 입력받는다. 외부 장치가 기 설정된 거리보다 멀리 위치하는 경우, 프로세서(160)는 통신 인터페이스(110)를 제어하여 외부 장치로 입력된 피사체의 오디오 신호를 수신한다.
프로세서(160)는 촬영된 영상을 분석할 수 있다. 프로세서(160)는 촬영된 영상에서 피사체를 판단하고, 피사체의 방향, 각도 등을 판단할 수 있다. 전자 장치(100)가 뎁스 카메라를 포함하는 경우, 프로세서(160)는 피사체의 거리를 판단할 수도 있다. 프로세서(160)는 통신 인터페이스(110)를 통해 수신한 식별 정보와 함께 분석된 영상에서 판단된 외부 장치의 방향 정보, 각도 정보, 거리 정보 등에 기초하여 피사체 및 피사체의 위치 등을 식별할 수 있다.
프로세서(160)는 촬영 영상을 분석한 정보 및 UWB 통신 방식으로 외부 장치로부터 수신한 정보에 기초하여 카메라(130)를 제어(예, 가변 셔터 등)하고 대응되는 제어 인터페이스를 설정할 수 있다. 한편, 프로세서(160)는 촬영된 영상을 특정 외부 장치로 전송할 수도 있다. 프로세서(160)는 획득된 오디오 신호를 처리하고, 오디오 신호의 피크 레벨을 판단할 수 있다. 프로세서(160)가 오디오 신호를 처리하는 실시 예는 아래에서 구체적으로 설명한다.
프로세서(160)는 촬영된 영상을 표시하도록 디스플레이(150)를 제어한다. 프로세서(160)는 표시되는 영상과 함께 획득된 오디오 신호의 레벨(크기)을 나타내는 UI(예, AR)를 표시하도록 디스플레이(150)를 제어한다. 프로세서(160)는 촬영 영상을 분석한 정보에 기초하여 피사체를 식별하고, 획득된 오디오 신호의 발화 위치를 식별할 수 있다. 프로세서(160)는 피사체와 대응되는 오디오 신호를 판단할 수 있다. 프로세서(160)는 식별된 피사체와 대응되는 오디오 신호를 매핑시킬 수 있다. 그리고, 프로세서(160)는 촬영된 영상의 피사체와 인접한 영역에 매핑된 오디오 신호의 레벨을 표시하도록 디스플레이(150)를 제어할 수 있다.
따라서, 본 개시의 전자 장치(100)는 UWB 거리, 각도 정보에 기초하여 복수의 피사체 촬영시 특정 피사체만을 선택하고 추적하면서 녹음을 할 수 있다.
한편, 전자 장치(100)는 상술한 구성 이외의 다른 구성을 더 포함할 수 있다.
도 3을 참조하면, 전자 장치(100)는 입력 인터페이스(170), 스피커(180) 및 메모리(190)를 더 포함할 수 있다.
입력 인터페이스(170)는 사용자로부터 제어 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스(170)는 키 패드, 터치 패드 등으로 구현될 수 있다. 입력 인터페이스(170)는 사용자로부터 명령을 입력받는 기능을 수행하며, 입력부, 입력 모듈 등으로 불릴 수도 있다.
한편, 입력 인터페이스(170)는 상술한 키 패드, 터치 패드 외에도 카메라(130), 마이크(120), 센서(140) 또는 디스플레이(150)로 구현될 수도 있다. 예를 들어, 입력 인터페이스(170)가 카메라(130)로 구현되는 경우, 전자 장치(100)는 사용자의 표정이나 동작 등을 촬영할 수 있다. 프로세서(160)는 촬영된 표정이나 동작에 기초하여 제어 명령을 인식할 수 있다. 입력 인터페이스(170)가 마이크(120)로 구현되는 경우, 전자 장치(100)는 사용자의 음성을 입력받을 수 있다. 프로세서(160)는 입력된 음성에 기초하여 제어 명령을 인식할 수 있다. 입력 인터페이스(170)가 센서(140)로 구현되는 경우, 센서(140)는 사용자의 동작 등을 입력받을 수 있다. 프로세서(160)는 입력된 신호에 기초하여 제어 명령을 인식할 수 있다. 또한, 디스플레이(150)가 터치 스크린으로 구현되는 경우, 전자 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.
스피커(180)는 획득된 오디오 신호를 출력할 수 있다. 또한, 스피커(180)는 사용자의 입력 명령, 전자 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
메모리(190)는 전자 장치(100)의 기능을 수행하는 데이터 등을 저장하고, 전자 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 메모리(190)는 획득된 오디오 신호 또는 촬영된 영상을 저장할 수 있다. 또한, 메모리(190)는 식별 정보를 저장할 수 있다. 예를 들어, 메모리(190)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
전자 장치(100)는 상술한 구성을 모두 포함할 수 있고, 일부 구성을 포함할 수도 있다. 또한, 전자 장치(100)는 상술한 구성 이외에도 다양한 기능을 수행하는 다른 구성을 더 포함할 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 프로세서의 아키텍처를 설명하는 블록도이다.
도 4를 참조하면, 프로세서(160)는 전처리 모듈(161), 녹음 쓰레드(record thread)(162), 모니터링 녹음 트랙(record track)(163), 오디오 레벨 산출 모듈(164), 영상 분석 모듈(165), 녹음 레벨 조절 모듈(166), 녹음 트랙(167)을 포함할 수 있다. 또한, 프로세서(160)는 애플리케이션(10)을 실행시킬 수 있다. 상술한 모듈(160)은 하드웨어 또는 소프트웨어로 구현될 수 있고, 프로세서(160)에 포함되거나 메모리(190)에 저장될 수 있다. 상술한 모듈이 메모리(190)에 저장된 경우, 프로세서(160)는 오디오 신호를 처리할 때 메모리(190)로부터 모듈을 로딩할 수 있다.
전처리 모듈(161)은 마이크(120)로부터 오디오 신호를 전달받을 수 있다. 또는, 전처리 모듈(161)은 통신 인터페이스를 통해 외부 장치로부터 오디오 신호를 전달받을 수 있다. 전처리 모듈(161)은 오디오 드라이버로부터 전달받은 PCM(Pulse Code Modulation) 오디오 데이터를 처리할 수 있다. 오디오 드라이버는 전처리 모듈(161)에 포함될 수 있고, 마이크(120)와 전처리 모듈(161) 사이에 별도의 모듈로 구현될 수도 있다. 예를 들어, 전처리 모듈(161)은 노이즈 감쇄(Noise suppressor), DRC(Dynamic range control) 등의 처리를 수행할 수 있다. 또한, 전처리 모듈(161)은 전역적(global) 녹음 레벨 조절 이벤트를 수신하는 경우, 민감도(Sensitivity) 조절을 수행할 수 있다. 민감도(Sensitivity)가 높으면 동일 크기의 오디오 신호는 좀 더 큰 크기로 증폭될 수 있다. 전처리 모듈(161)에서 조절된 민감도는 전역적이기 때문에, n개의 녹음 트랙(167)의 볼륨에 영향을 미칠 수 있다.
녹음 쓰레드(162)는 전처리 모듈(161)에서 가공된 PCM 데이터를 버퍼링할 수 있다. 녹음 쓰레드(162)는 오디오 드라이버의 동작과 녹음 트랙 동작 사이의 오디오 속성을 동기화할 수 있다. 예를 들어, 녹음 쓰레드(162)는 샘플링 레이트(Sample rate) 속성의 동기화를 위한 리샘플링(Resample) 동작, 오디오 포맷 속성의 동기화를 위한 리포맷(Reformat) 동작을 수행할 수 있다. 그리고, 녹음 쓰레드(162)는 단일 오디오 데이터를 n개의 녹음 트랙(167)에 복제(또는, 복사)할 수 있다. 오디오 데이터가 n개의 녹음 트랙(167)에 복제되기 때문에 1개의 오디오 신호의 자원을 1개의 애플리케이션만 점유할 수 있는 제약사항이 극복될 수 있다. 즉, n개의 애플리케이션은 각각 n개의 녹음 트랙(167)에 복제된 오디오 신호의 자원 중 하나의 오디오 신호의 자원을 이용할 수 있다. 따라서, 본 개시는 하나의 애플리케이션이 오디오 신호의 자원을 점유할 때, 다른 애플리케이션도 오디오 신호의 자원을 이용할 수 있으므로 멀티 레코딩을 하지 못하는 문제를 해결할 수 있다.
모니터링 녹음 트랙(record track)(163)은 녹음(record) 시작 전 마이크(120)(또는, 오디오 신호의 세팅)를 미리 준비하고, 녹음 주변 노이즈 레벨을 모니터링할 수 있다. 모니터링 녹음 트랙(163)은 녹음 트랙(167)이 사용할 오디오 신호의 자원을 미리 셋업하기 때문에 녹음 시작 시간을 단축시킬 수 있다. 따라서, 본 개시는 녹음 시작 순간을 놓치지 않고 녹음을 시작할 수 있는 효과가 있다. 또한, 모니터링 녹음 트랙(163)은 녹음 시작 전에 주변 노이즈 레벨을 모니터링하여 화면에 표시할 수 있다. 따라서, 본 개시는 사용자가 소음 환경에서 녹음할 때 녹음 레벨을 높게 설정하는데 도움을 줄 수 있다.
오디오 레벨 산출 모듈(164)은 입력되는 오디오 신호의 레벨을 산출할 수 있다. 오디오 레벨 산출 모듈(164)은 입력되는 오디오 신호에 대해 PCM 채널을 분리할 수 있다. 예를 들어, 오디오 레벨 산출 모듈(164)는 수신된 PCM 오디오 데이터를 각 채널 별로 분리할 수 있다. 오디오 레벨 산출 모듈(164)는 분리된 각 채널 별로 오디오 데이터의 레벨을 산출할 수 있다.
영상 분석 모듈(165)은 카메라(130)로부터 입력된 촬영된 영상을 분석할 수 있다. 영상 분석 모듈(165)은 촬영된 영상에서 피사체를 판단하고, 피사체의 방향, 각도 등을 판단할 수 있다. 전자 장치(100)가 뎁스 카메라를 포함하는 경우, 영상 분석 모듈(165)은 피사체의 거리를 판단할 수도 있다. 또한, 영상 분석 모듈(165)은 노이즈를 발생시키는 오브젝트의 존재를 판단할 수 있다.
녹음 레벨 조절 모듈(166)은 녹음 음량을 조절하는 이벤트를 발생시킬 수 있다. 녹음 음량 조절 이벤트는 전역적(global) 녹음 조절 이벤트, 지역적(local) 녹음 조절 이벤트를 포함할 수 있다. 전역적 녹음 조절 이벤트는 전처리 모듈(161)로 전달되어 전처리 모듈(161)이 민감도를 조절하고, 지역적 녹음 조절 이벤트는 녹음 트랙(167)으로 전달되어 녹음 트랙(167)이 녹음 음량을 조절할 수 있다. 예를 들어, 녹음 음량 조절은 자동 또는 수동의 두 가지 방식을 포함할 수 있다. 자동 녹음 음량 조절인 경우, 녹음 레벨 조절 모듈(166)은 카메라(130)로부터 수신한 장면 분석 데이터와 모니터링 녹음 트랙(163)으로부터 수신한 주변 환경 노이즈를 기초로 녹음 음량을 자동 조절할 수 있다.
녹음 트랙(167)은 녹음 쓰레드(162)로부터 제공된 PCM 오디오 데이터를 인코더로 전달할 수 있다. 인코더는 전달된 PCM 오디오 데이터를 인코딩하여 메모리(190)에 저장할 수 있다. 또한, 녹음 트랙(167)은 지역적 녹음 레벨 조절 이벤트가 전달되면, PCM 오디오 데이터를 녹음 레벨만큼 증폭 또는 감쇄시킬 수 있다. 녹음 트랙(167)에서 조절된 녹음 레벨은 지역적이므로 해당 녹음 트랙에 대응되는 애플리케이션(App)의 녹음 음량에만 영향을 미칠 수 있다.
한편, 프로세서는 시각화 모듈을 포함할 수 있다. PCM 오디오 데이터는 마이크 모드 또는 방향성 모드로 구분되어 채널로 분리될 수 있다. 전처리 모듈(161)은 시각화 모드를 판단하고, 해당 모드에 따라 추출된 PCM 오디오 데이터를 각 채널 별로 구분할 수 있다. 시각화 모듈은 모드에 따라 구분된 각 PCM 채널을 저장하거나 시각화하여 디스플레이에 표시할 수 있다.
아래에서는 녹음 쓰레드(162) 및 녹음 트랙(167)을 자세히 설명한다.
도 5는 본 개시의 일 실시 예에 따른 멀티 마이크의 볼륨을 제어하는 과정을 설명하는 블록도이고, 도 6은 본 개시의 일 실시 예에 따른 복수 장치의 오디오 신호의 볼륨을 제어하는 과정을 설명하는 블록도이다. 도 5 및 도 6을 함께 참조하여 설명한다.
도 5를 참조하면, 전자 장치는 제1 마이크(120-1), 제2 마이크(120-2), 제n 마이크(120-n)를 포함하는 복수의 마이크를 포함할 수 있다. 그리고, 프로세서(160)는 오디오 모듈(20), 녹음 쓰레드(162)를 포함하고, 제1 녹음 트랙(167-1), 제2 녹음 트랙(167-2), 제n 녹음 트랙(167-n)을 포함하는 복수의 녹음 트랙을 포함할 수 있다.
예를 들어, 한 명의 사용자의 음성은 전자 장치의 복수의 마이크(120-1, 120-2, 120-n)를 통해 입력될 수 있다. 입력된 하나의 오디오 신호는 오디오 모듈(20)로 전달될 수 있다. 오디오 모듈(20)은 오디오 드라이버를 포함하여 입력된 오디오 신호를 PCM 오디오 데이터로 변환할 수 있다. 프로세서(160)는 변환된 PCM 오디오 데이터에 대응되는 녹음 쓰레드(162)를 생성할 수 있다. 입력된 오디오 신호는 복수의 마이크(120-1, 120-2, 120-n)를 통해 입력되었으나, 하나의 동일한 오디오 신호이다. 따라서, 도 5의 경우 하나의 녹음 쓰레드(162)가 생성될 수 있다. 프로세서(160)는 하나의 녹음 쓰레드(162)를 복수의 녹음 트랙(167-1, 167-2, 167-n)으로 생성할 수 있다. 각각의 녹음 트랙은 각각의 애플리케이션에서 사용될 수 있다. 따라서, n개의 녹음 트랙이 생성되는 경우, n개의 애플리케이션이 오디오 신호의 자원을 이용할 수 있다.
한편, 상술한 바와 같이, 전자 장치와 외부 장치의 거리가 기 설정된 거리 이상인 경우, 전자 장치는 외부 장치로부터 오디오 신호를 획득할 수 있다. 예를 들어, 외부 장치는 마이크를 통해 인접한 사용자(피사체)의 오디오 신호를 입력받고, 입력받은 오디오 신호를 통신 인터페이스를 통해 전자 장치로 전송할 수 있다. 일 실시 예로서, 도 6에 도시된 바와 같이, 전자 장치는 포함된 복수의 마이크(120)를 통해 제1 사용자의 음성 신호를 획득하고, 제2 전자 장치에 포함된 마이크(210)를 통해 제2 사용자의 음성 신호를 획득하며, 제N 전자 장치에 포함된 마이크(310)를 통해 제3 사용자의 음성 신호를 획득할 수 있다. 획득된 사용자의 음성 신호는 오디오 모듈(20)로 전달될 수 있다. 오디오 모듈(20)은 오디오 드라이버를 포함하여 입력된 각각의 음성 신호를 PCM 오디오 데이터로 변환할 수 있다. 프로세서(160)는 변환된 PCM 오디오 데이터에 대응되는 복수의 녹음 쓰레드(162-1, 162-2, 162-N)를 생성할 수 있다. 각각의 녹음 쓰레드(162-1, 162-2, 162-N)는 각 장치의 마이크(120, 210, 310)을 통해 입력된 음성 신호에 대응될 수 있다. 프로세서(160)는 녹음 쓰레드(162-1, 162-2, 162-N) 각각에 대해 복수의 녹음 트랙(1671, 1672, 1673)으로 생성할 수 있다.
따라서, 본 개시의 전자 장치는 멀티 레코딩을 지원할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 피사체의 전자 장치의 정보를 수신하는 과정을 설명하는 흐름도이고, 도 8은 UWB 통신 방식으로 외부 장치의 정보를 수신하는 일 실시 예를 설명하는 도면이며, 도 9는 본 개시의 일 실시 예에 따른 원거리 피사체의 오디오 신호를 획득하는 과정을 설명하는 도면이다. 도 7 내지 도 9를 함께 참조하여 설명한다.
도 7을 참조하면, 전자 장치는 외부 장치에게 데이터 전송을 요청하고(S710), 외부 장치의 UWB 통신 지원 여부를 판단할 수 있다(S720). 일 실시 예로서, 전자 장치는 UWB를 이용하여 외부 장치를 식별할 수 있다. 전자 장치는 UWB 신호를 통해 외부 장치에 대한 거리 정보 및 각도 정보를 결정할 수 있다. 전자 장치는 하나 이상의 외부 장치에게 데이터 전송을 요청할 수 있고, 외부 장치의 UWB 통신 지원 여부를 판단할 수 있다. 외부 장치는 피사체와 인접한 영역에 위치한 장치일 수 있다. 또는, 외부 장치는 피사체가 소유한(또는, 소지한) 장치일 수 있다.
전자 장치는 UWB 통신 상태 정보를 변경하고 외부 장치와 통신을 수행할 수 있다(S730). 전자 장치는 UWB 통신 방식으로 정보를 수신할 수 있다(S740). 전자 장치는 UWB로 통신 상태 정보를 변경하고, 외부 장치와 지정된 통신을 시작할 수 있다. 전자 장치는 UWB 통신 방식으로 외부 장치로부터 식별 정보를 수신할 수 있다. 예를 들어, 식별 정보는 피사체의 정보를 포함할 수 있고, 피사체의 이름, 전화번호, 피사체의 얼굴 이미지, 외부 장치의 고유 정보 등을 포함할 수 있다. 또한, 통신 인터페이스(110)는 외부 장치와 연결된 주변 장치에 대한 정보를 수신할 수도 있다. 전자 장치는 외부 장치로 요청 메시지를 전송하고, 응답 메시지를 수신할 수 있다. 전자 장치는 메시지 송수신 시간을 측정하고, 측정된 시간에 기초하여 외부 장치와 거리를 판단할 수 있다. UWB는 지향성이므로, 전자 장치는 외부 장치의 방향, 거리 정보, 각도 정보 등의 위치 관련 정보를 수신할 수 있고, 수신된 위치 관련 정보에 기초하여 외부 장치를 식별할 수 있다. 전자 장치는 복수의 외부 장치 중 식별된 외부 장치를 선택할 수 있다. 즉, 전자 장치는 선택된 외부 장치에 대응되는 오디오 신호를 수신할 수 있다.
일 실시 예로서, 도 8에 도시된 바와 같이 사용자의 전자 장치(100)의 주변에는 Jane의 스마트폰(201), Tom의 스마트폰(202), Brown의 스마트폰(203), Kate의 스마트폰(204)가 위치할 수 있다. 전자 장치는 UWB 통신을 통해 Jane의 스마트폰(201), Tom의 스마트폰(202), Brown의 스마트폰(203), Kate의 스마트폰(204)의 위치 및 사용자를 식별할 수 있다. 전자 장치(100)가 Brown의 스마트폰(203)을 선택한 경우, Brown의 스마트폰(203)으로부터 Brown의 음성 신호를 수신할 수 있다.
한편, 피사체(또는, 외부 장치)의 거리가 기 설정된 거리 미만인 경우, 전자 장치는 마이크를 통해 오디오 신호를 수신할 수 있다. 피사체(또는, 외부 장치)의 거리가 기 설정된 거리 이상인 경우, 전자 장치는 외부 장치의 마이크를 통해 오디오 신호를 수신할 수 있다. 일 실시 예로서, 도 9에 도시된 바와 같이 전자 장치(100)는 피사체의 외부 장치(200-1)와 UWB 통신 방식으로 데이터의 전송을 요청하고 메시지를 송수신할 수 있다. 피사체가 무선 이어폰(200-3)을 사용하는 경우, 무선 이어폰(200-3)은 피사체의 외부 장치(200-1)와 통신 연결될 수 있다. 피사체의 외부 장치(200-1)는 무선 이어폰(200-3)의 정보를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 무선 이어폰(200-3)의 존재를 인식할 수 있다. 그리고, 전자 장치(100)는 무선 이어폰(200-3) 및 외부 장치(200-1)를 통해 피사체의 오디오 신호를 수신할 수 있다. 또는, 전자 장치(100)는 무선 이어폰(200-3)를 통해 직접 피사체의 오디오 신호를 수신할 수 있다.
전자 장치(100)는 수신된 오디오 신호에 대해 모니터링 녹음 트랙에서 환경 잡음을 모니터링할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 모니터링 트랙의 레벨을 설명하는 도면이다.
전자 장치는 사용자가 녹음 또는 녹화를 시작하기 전에 실시간으로 환경 잡음 정도를 표시할 수 있다. 전자 장치는 시각화된 볼륨 레벨을 제공함으로써 녹음 또는 녹화 시 사용자에게 주변 환경 정보를 제공할 수 있다.
전자 장치는 녹음 또는 녹화를 시작하기 전에 모니터링 트랙을 생성할 수 있다. 모니터링 트랙은 전처리 모듈에서 프레임 단위로 오디오 신호의 피크 레벨을 분석할 수 있다. 그리고, 전자 장치는 분석된 피크 레벨을 실시간으로 표시할 수 있다. 오디오 신호의 크기를 분석하는 방법은 RMS(Root Mean Square) 분석 방법과 피크 레벨 분석 방법을 포함할 수 있다. 도 10에 도시된 바와 같이, 피크 레벨은 실시간 최대 진폭을 의미하고, RMS는 구간 평균 진폭을 의미한다. RMS는 구간의 평균적인 오디오 레벨 값을 구할 수 있지만, 실시간 오디오 레벨을 측정하는 데에는 적합하지 않다. 반면, 피크 레벨은 짧은 순간의 오디오 에너지를 계산하기 때문에 실시간 오디오 에너지를 표현하기에 적합하다. 따라서, 본 개시의 전자 장치는 환경 잡음을 모니터링하고, 실시간으로 잡음의 피크 레벨 에너지를 표시한다.
도 11은 본 개시의 일 실시 예에 따른 오디오 신호의 피크 레벨을 측정하는 과정을 설명하는 흐름도이다. 피크 레벨은 프레임 구간 동안 최대값을 의미할 수 있다.
도 11을 참조하면, 전자 장치(100)는 피크 레벨 값을 최소값으로 초기화할 수 있다(S1110). 전자 장치는 다음 프레임이 존재하는지 판단할 수 있다(S1120). 다음 프레임이 존재하는 경우, 전자 장치는 현재 프레임 PCM 값이 피크 레벨보다 작은지 판단할 수 있다(S1130).
현재 프레임의 PCM 값이 피크 레벨보다 크면, 전자 장치는 다시 다음 프레임이 존재하는지 판단할 수 있다(S1120). 현재 프레임의 PCM 값이 피크 레벨보다 작으면, 전자 장치는 현재 프레임의 PCM 값을 피크 레벨로 변경하고(S1140), 다시 다음 프레임이 존재하는지 판단할 수 있다(S1120).
다음 프레임이 존재하지 않는 경우, 전자 장치는 피크 레벨을 변환할 수 있다(S1150). 그리고, 전자 장치는 피크 레벨을 시각화하여 표시할 수 있다.
한편, 전자 장치는 이미 녹음 기능이 사용 중이면, 기존 녹음 설정 과정을 생략할 수 있다.
도 12는 일 실시 예에 따른 레코딩 과정을 설명하는 도면이다.
레코드가 시작되면, 전자 장치는 오디오 신호를 처리하기 위해 다양한 모듈을 설정해야 한다. 예를 들어, 전자 장치는 코덱, 오디오 DSP, 커널 드라이버, 오디오 HAL(Hardware Abstract Layer) 등을 설정(초기화)해야 하고, 레코드 쓰레드(녹음 쓰레드)(25) 및 레코드 트랙(녹음 트랙)(26)을 생성한다. 즉, 초기 녹음 설정 과정은 코덱 설정 과정(21), 오디오 DSP 설정 과정(22), 커널 드라이버 설정 과정(23) 또는 오디오 HAL 설정 과정(24) 중 적어도 하나의 과정을 포함할 수 있다. 따라서, 전자 장치는 오디오 신호 처리 과정의 세팅에 시간을 소비하고, 녹음 또는 녹화 명령을 입력받은 후 수 ms 내지 수십 ms의 딜레이가 발생할 수 있다.
전자 장치는 이미 레코드 기능을 사용하고 있으면, 기존 레코드 쓰레드를 연결하고 동일 데이터를 복사할 수 있다. 즉, 전자 장치는 녹음 쓰레드가 활성화 상태인 경우 초기 녹음 설정 과정을 생략하고, 획득된 오디오 신호를 처리하는 복수의 녹음 트랙을 생성할 수 있다. 그리고, 전자 장치는 오디오 신호와 관련된 복수의 녹음 트랙을 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성할 수 있다. 따라서, 본 개시의 전자 장치는 커널 및 오디오 신호 처리의 준비 시간을 효율화하여 사용자에게 녹음 및 녹화 시작 시간을 체감적으로 줄여줄 수 있다.
도 13은 본 개시의 일 실시 예에 따른 오디오 신호를 획득하는 과정을 설명하는 흐름도이다.
도 13을 참조하면, 전자 장치는 녹음 기능 사용 여부를 판단할 수 있다(S1310). 예를 들어, 전자 장치는 레코드 쓰레드가 활성화 상태인지 또는 비활성화 상태인지 여부를 판단할 수 있다. 레코드 쓰레드가 비활성화 상태이면, 전자 장치는 모니터링 녹음 트랙을 생성할 수 있다(S1320). 예를 들어, 사용 중인 레코딩이 없을 경우, 전자 장치는 환경 잡음 모니터링 레코드 트랙을 신규로 생성할 수 있다.
전자 장치는 마이크 패스를 연결할 수 있다(S1330). 예를 들어, 모니터일 레코드 트랙이 신규로 생성된 경우, 전자 장치는 특정 마이크 장치로부터 오디오 신호를 획득하기 위해 마이크 모듈과 오디오 드라이버 간의 이동 통로를 제어할 수 있다. 전자 장치는 오디오 데이터를 획득할 수 있다(S1340). 전자 장치는 레코드 쓰레드 루프 마이크 데이터 획득 동작을 수행할 수 있다. 예를 들어, 전자 장치는 연결된 마이크 장치의 입력 신호에 대해 레코드 쓰레드 루프를 일정한 시간 간격으로 반복 수행하여 실시간으로 마이크의 입력 신호를 획득할 수 있다.
전자 장치는 획득된 오디오 데이터에 대해 전처리 과정을 수행할 수 있다(S1350). 예를 들어, 전자 장치는 수신된 PCM 오디오 데이터를 가공할 수 있다. 일 실시 예로서, 전자 장치는 PCM 오디오 데이터에 대해 노이즈 감쇄, 필터링, 증폭 등의 신호 처리를 할 수 있다. 또한, 전자 장치는 2개 이상의 마이크 데이터의 신호 차이(빔포밍)를 이용하여 방향성 오디오 데이터를 추출할 수 있다.
한편, 레코드 쓰레드가 활성화 상태이면, 전자 장치는 중복 레코드 트랙을 생성할 수 있다(S1360). 예를 들어, n개의 어플리케이션이 각각 레코딩 동작을 요청하면, 전자 장치는 마이크 패스 연결 과정(S1330)(또는, 초기 녹음 설정 과정)을 생략하고, 기존 설정된 마이크 패스를 재사용할 수 있다. 따라서, 전자 장치는 셋업 시간을 단축하면서 n개의 중복 레코드 트랙을 생성할 수 있다.
전자 장치는 기존 레코드 쓰레드를 연결하고, 동일 데이터를 복사할 수 있다(S1370). 예를 들어, 전자 장치는 생성된 중복 레코드 트랙을 기존에 생성된 레코드 쓰레드 루프의 하위 트랙으로 연결할 수 있다. 그리고, 전자 장치는 마이크 데이터(오디오 데이터) 획득시 연결된 각각의 하위 트랙들에게 동일한 데이터를 복사하여 전달할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 획득한 오디오 신호를 분석하는 과정을 설명하는 흐름도이다.
전자 장치는 수신된 오디오를 분석하고 채널을 추출하여 저장할 수 있다. 예를 들어, 전자 장치는 녹음 동작 중에 제N 마이크로부터 입력되는 오디오 신호들을 방향성 별, 오브젝트 별 또는 마이크 장치 별로 구분하여 각각의 소리의 크기를 측정할 수 있다.
도 14를 참조하면, 전자 장치는 전처리 기능을 수행할 수 있다(S1410). 예를 들어, 전자 장치는 오디오 드라이버로부터 수신된 PCM 오디오 데이터를 전처리 모듈에서 데이터를 가공하고 처리할 수 있다.
전자 장치는 빔포밍 사용 조건을 판단할 수 있다(S1420). 예를 들어, 전자 장치는 획득된 PCM 데이터들이 빔포밍 사용 조건을 만족하는지 확인할 수 있다. 빔포밍 사용 조건을 만족하기 위해서 최소 3개의 물리적으로 고정된 마이크가 필요하다. 전자 장치는 수신된 PCM 데이터에 3개 이상의 마이크 데이터가 있는지 확인할 수 있다.
빔포밍 사용 조건이 만족되면, 전자 장치는 방향성 모드 동작을 수행할 수 있다(S1430). 예를 들어, 전자 장치는 3개 이상의 마이크 신호에 빔포밍을 적용하여 방향성(예, 8방향) 별로 데이터를 추출할 수 있다.
만일, 빔포밍 사용 조건이 만족되지 않으면, 전자 장치는 마이크 모드 동작을 수행할 수 있다(S1450). 예를 들어, 전자 장치는 획득된 PCM 데이터의 각각의 채널을 제1 마이크, 제2 마이크, … 제n 마이크 데이터로 분리할 수 있다. 또한, 전자 장치는 제N 외부 장치로부터 제N 외부 장치의 제1 마이크, 제2 마이크, … 제n 마이크 데이터를 수신하고, 각 마이크 데이터로 분리할 수 있다. 전자 장치는 PCM 채널을 추출하고 저장할 수 있다(S1440).
도 15는 일 실시 예에 따른 오디오 신호의 채널을 설명하는 도면이다.
도 15에 도시된 바와 같이, 분리된 오디오 신호들은 방향성 채널 또는 마이크 채널 별로 저장될 수 있다.
예를 들어, 획득된 오디오 신호가 빔포밍 조건을 만족하는 경우, 전자 장치는 획득된 오디오 신호를 방향성에 기초하여 복수의 방향성 채널로 분리하여 저장할 수 있다. 또는, 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 전자 장치는 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 마이크 채널로 분리하여 저장할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 오디오 신호의 레벨을 시각화하는 과정을 설명하는 흐름도이다.
전자 장치는 오디오 신호의 레벨을 시각화하여 표시할 수 있다. 예를 들어, 전자 장치는 방향성 모드 또는 마이크 모드로 구분하여 시각화 모드를 판단할 수 있다. 그리고, 전자 장치는 해당 모드에 따라 추출된 PCM 데이터를 각 채널 별로 구분하여 시각화하고, 채널 별로 오디오 신호의 레벨로 표시할 수 있다.
도 16을 참조하면, 전자 장치는 시각화 모듈 동작을 수행할 수 있다(S1610). 예를 들어, 전자 장치는 획득된 PCM 채널 데이터들을 이용하여 시각화 모듈에 사용할 수 있다. 전자 장치는 PCM 채널 데이터를 분리할 수 있다(S1620). 예를 들어, 전자 장치는 획득된 PCM 채널 데이터들을 각 채널 별로 PCM 데이터들을 분리할 수 있다.
전자 장치는 채널 레벨을 계산할 수 있다(S1630). 예를 들어, 전자 장치는 분리된 PCM 데이터들에 대해 각각의 채널 별로 레벨을 계산할 수 있다. 전자 장치는 채널 레벨 화면을 표시할 수 있다(S1640). 예를 들어, 전자 장치는 각 채널들의 레벨 값을 이용하여 영상에 포함된 오브젝트와 방향성 채널 또는 마이크 채널의 레벨 값을 매핑시킬 수 있다. 그리고, 전자 장치는 매핑된 오브젝트와 마이크 채널의 레벨 값을 표시할 수 있다.
도 17은 본 개시의 일 실시 예에 따른 오디오 신호의 레벨을 포함한 UI를 설명하는 도면이다.
도 17을 참조하면, 전자 장치는 채널 또는 오브젝트의 오디오 레벨 값을 포함하는 오디오 인디케이터(31), 마이크의 옵션 종류(32), 마이크 감도 범위(33) 및 히스토그램(34)를 포함하는 오디오 세팅 UI를 표시할 수 있다.
오디오 세팅의 입력 레벨은 0 dBFS ~ -48 dBFS 의 값을 가질 수 있다. dBFs는 기준 값이 존재하지 않으며 양자화의 다이나믹 레인지를 표현한다. 레벨의 앞자리에 마이너스 기호가 붙어야 하며 최대값은 0일 수 있다. 0 dBFs는 내부 DSP 프로세싱에서 전압이 아닌 데이터로서 레벨이 최대가 되는 상태를 의미하며, dBFs는 Peak 값일 수 있다. 전자장치의 마이크는 지향성을 가질 수 있다. 따라서, 전자 장치는 omni, front, rear 모드를 표시하는 마이크의 옵션 종류(32)의 UI를 표시할 수 있다. 전자 장치는 외장 마이크의 옵션 종류를 표시하는 USB, 블루투스의 메뉴를 포함할 수 있다. 마이크 감도의 범위(33)는 -12 ~ + 12(총 25 스텝)일 수 있다. 히스토그램(34)은 촬영되는 영상의 휘도 등에 대한 정보를 표시할 수 있다.
그 밖에, 전자 장치는 줌 락커(Zoom Rocker), 비율(Ratio) 등을 더 표시할 수도 있다. 줌 락커는 일정 속도로 줌 인/아웃을 조절할 수 있다.
따라서, 본 개시는 사용자 마이크 레벨을 표시함으로써 사용자가 마이크 레벨을 인지할 수 있다. 또한, 본 개시는 다양한 시나리오(예, 녹음, 음성인식, 통화, VLOG+USB, BT, 단말MIC)에서 마이크 볼륨을 항상 모니터링할 수 있다.
한편, 도 17에 도시된 UI는 일 실시 예이며, 전자 장치의 형태, 디스플레이의 크기, 디스플레이의 형태 등에 따라 UI는 다양한 형태로 표시될 수 있다. 또는, UI에 포함된 메뉴는 다양한 배치 및 형태로 표시될 수 있다.
도 18은 본 개시의 일 실시 예에 따른 녹음 레벨을 제어하는 과정을 설명하는 흐름도이다.
전자 장치는 시각화된 오디오에 대응하는 이벤트 수신 및 처리 동작을 수행할 수 있다. 예를 들어, 녹음 또는 녹화가 시작되면, 전자장치는 녹음 레벨을 조절할 수 있다. 예를 들어, 전자 장치는 근거리의 피사체에 대응하여 오디오 레벨을 조절할 수 있고, 원거리 피사체에 대응하여 오디오 레벨을 조절할 수 있다.
도 18을 참조하면, 전자 장치는 녹음 레벨 자동 모드 여부를 판단할 수 있다(S1810). 예를 들어, 전자 장치는 사용자가 녹음 레벨 자동 제어 모드를 선택했는지 확인할 수 있다.
녹음 레벨 자동 모드가 선택되면, 전자 장치는 잡음 레벨 범위를 판단할 수 있다(S1820). 예를 들어, 전자 장치는 모니터링 모듈로부터 주변 소음의 볼륨 레벨을 획득할 수 있다. 획득한 볼륨 레벨이 사용자가 지정한 잡음 레벨 범위 내인 경우, 전자 장치는 잡음 레벨을 회피하도록 자동 볼륨 제어를 할 수 있다.
잡음 레벨 범위를 판단하지 않는 경우, 전자 장치는 획득된 이미지를 분석하여 볼륨을 제어할 수 있다(S1830). 예를 들어, 전자 장치는 동영상 녹화인 경우, 획득된 이미지를 분석하여 환경 소음을 유발할 요소가 존재하는지 체크할 수 있다. 만일 소음 유발 요소가 존재하면, 볼륨 제어 동작을 수행할 수 있다. 또는, 전자 장치는 영상의 오브젝트가 인물, 동물, 사물인지 판단하여 각각의 요소에 자동 볼륨 제어를 할 수도 있다.
전자 장치는 전처리 볼륨 제어 동작을 수행할 수 있다(S1840). 예를 들어, 잡음 레벨 범위를 판단한 경우(S1820) 또는 이미지를 분석하여 볼륨을 제어한 경우(S1830), 전자 장치는 전처리 볼륨 제어를 수행할 수 있다. 오디오 신호의 볼륨 값은 각 채널 별로 존재할 수 있고, 전자 장치는 각 채널 별로 볼륨 값을 제어할 수 있다. 즉, 전자 장치는 방향성 채널 또는 마이크 채널 별로 각각 볼륨 제어를 할 수 있다.
한편, 녹음 레벨 자동 모드가 아닌 경우, 전자 장치는 녹음 볼륨 제어 이벤트의 수신 여부를 판단할 수 있다(S1850). 예를 들어, 전자 장치는 수동으로 볼륨 제어 명령을 입력받을 수 있다. 수동 제어는 화면 UI상의 볼륨 조절 창에 의해 제어되거나, 하드웨어 볼륨 키에 의해 제어될 수 있다.
녹음 볼륨 제어 이벤트를 수신한 경우, 전자 장치는 로컬 트랙 볼륨 제어 여부를 판단할 수 있다(S1860). 예를 들어, 전자 장치는 사용자의 명령에 따라 특정 애플리케이션만 단독으로 볼륨을 제어할 수 있고, 특정 레코드 트랙만 볼륨을 제어할 수 있다.
로컬 트랙 볼륨 제어 이벤트(개별 레코드 트랙 볼륨 제어 이벤트)를 수신한 경우, 전자 장치는 로컬 레코드 트랙의 볼륨을 제어할 수 있다(S1870). 예를 들어, 전자 장치는 선택된 로컬 레코드 트랙의 오디오 데이터의 볼륨만을 제어할 수 있다.
전자장치는 녹음 종료 여부를 판단할 수 있다(S188). 전자 장치는 녹음 종료가 되지 않은 것으로 판단하는 경우, 전자 장치는 다음 오디오 데이터를 획득할 수 있다(S1340).
따라서, 본 개시의 전자 장치는 동영상 촬영 중 마이크 볼륨을 조절할 수 있고, 주변 소음 등에 기초하여 마이크 또는 녹음 레벨을 조절할 수 있다. 그리고, 전자 장치는 외부 마이크 장비를 사용하는 경우에도 균일한 레벨로 녹음할 수 있다. 또한, 전자 장치는 각 동작 상황에 따른 마이크 볼륨을 제어할 수 있다.
도 19는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다. 전자 장치는 UWB(Ultra Wide Band) 방식으로 외부 장치와 통신할 수 있다.
도 19를 참조하면, 전자 장치는 외부 장치와 인접한 피사체를 포함하는 영상을 촬영한다(S1910). 그리고, 전자 장치는 외부 장치로부터 수신된 데이터에 기초하여 외부 장치와의 거리(ranging) 정보 및 각도 정보를 획득한다(S1920). 예를 들어, 전자 장치는 외부 장치로 응답 요청 신호를 전송하여 응답 신호를 수신할 수 있다. 그리고, 전자 장치는 응답 요청 신호의 전송 시간부터 응답 신호 수신 시간까지의 송수신 시간에 기초하여 거리 정보를 획득할 수 있다.
전자 장치는 센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득한다(S1930). 한편, 전자 장치는 위성 측위 정보를 수신하여 촬영 방향 정보의 정확성을 높일 수도 있다. 전자 장치는 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별한다(S1940).
전자 장치는 기 설정된 거리에 기초하여 마이크 또는 외부 장치를 통해 피사체의 오디오 신호를 획득한다(S1950). 예를 들어, 전자 장치는 외부 장치와 거리가 기 설정된 거리 미만인 경우 마이크를 통해 피사체의 오디오 신호를 획득하고, 외부 장치와 거리가 기 설정된 거리 이상인 경우 외부 장치를 통해 피사체의 오디오 신호를 획득할 수 있다.
한편, 전자 장치는 녹음 쓰레드가 활성화 상태인지 식별할 수 있다. 녹음 쓰레드가 비활성화 상태인 경우, 전자 장치는 획득된 오디오 신호를 저장하기 위해 초기 녹음 설정 과정을 수행할 수 있다. 예를 들어, 초기 녹음 설정 과정은 코덱 설정 과정, 오디오 DSP 설정 과정, 커널 드라이버 설정 과정 또는 오디오 HAL(Hardware Abstraction Layer) 설정 과정 중 적어도 하나의 과정을 포함할 수 있다. 전자 장치는 녹음 쓰레드를 생성하고, 생성된 녹음 쓰레드에 대한 복수의 녹음 트랙을 생성할 수 있다. 한편, 녹음 쓰레드가 활성화 상태인 경우, 전자 장치는 초기 녹음 설정 과정을 생략하고, 획득된 오디오 신호를 처리하는 복수의 녹음 트랙을 생성할 수 있다. 그리고, 전자 장치는 오디오 신호와 관련된 복수의 녹음 트랙을 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성할 수 있다.
전자 장치는 오디오 신호와 관련된 적어도 하나의 녹음 트랙을 이용하여 획득된 오디오 신호의 피크 레벨을 식별할 수 있다. 예를 들어, 모니터링 트랙은 주변 환경의 소음의 피크 레벨을 식별할 수 있다.
전자 장치는 촬영된 영상과 함께 획득된 오디오 신호의 크기를 나타내는 UI를 표시한다(S1960). 전자 장치는 식별된 피크 레벨을 획득된 오디오 신호의 크기로 표시할 수 있다. 또한, 전자 장치는 획득된 오디오 신호를 저장할 수 있다. 예를 들어, 전자 장치는 생성된 복수의 녹음 트랙에 기초하여 획득된 오디오 신호와 관련된 데이터를 저장 및 표시할 수 있다.
획득된 오디오 신호가 빔포밍 조건을 만족하는 경우, 전자 장치는 획득된 오디오 신호를 방향성에 기초하여 복수의 채널로 분리하여 저장할 수 있다. 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 전자 장치는 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 채널로 분리하여 저장할 수 있다.
한편, 전자 장치는 각각의 녹음 트랙 또는 각각의 채널에 대해 상기 오디오 신호의 볼륨을 제어할 수 있다.
도 20a는 본 개시의 일 실시 예에 따른 오브젝트의 오디오 신호의 볼륨을 표시하는 UI를 설명하는 도면이고, 도 20b는 본 개시의 일 실시 예에 따른 오브젝트의 오디오 신호의 볼륨을 제어하는 UI를 설명하는 도면이다.
도 20a를 참조하면, 전자 장치는 피사체를 포함하는 영상을 촬영하여 표시할 수 있다. 그리고, 전자 장치는 UWB 통신 방식으로 외부 장치의 방향 정보, 각도 정보, 식별 정보를 수신할 수 있다. 또한, 전자 장치는 촬영 방향 정보를 수신할 수 있다. 전자 장치는 오디오 신호를 획득하고, 녹음 쓰레드 및 복수의 녹음 트랙을 생성할 수 있다. 예를 들어, 녹음 쓰레드는 한 명의 피사체로부터 획득된 오디오 신호에 대응되고, 녹음 트랙은 실행되는 복수의 애플리케이션에 대응될 수 있다. 전자 장치는 빔포밍 조건에 따라 오디오 신호를 방향성 모드 또는 마이크 모드에 따라 복수의 채널로 구분할 수 있다. 복수의 채널로 구분된 오디오 신호는 시각화 과정을 통해 시각화된 오디오 신호를 디스플레이에 표시되거나 메모리에 저장될 수 있다. 한편, 전자 장치는 촬영된 영상을 분석하여 피사체를 식별할 수 있다. 그리고, 영상 분석 정보 및 수신된 정보 등에 기초하여 피사체와 오디오 신호를 매핑시킬 수 있다. 그리고, 도 20a에 도시된 바와 같이, 피사체에 매핑시켜 오디오 신호를 표시할 수 있다. 또한, 도 20b에 도시된 바와 같이, 전자 장치는 각 파사체 별로 또는 각 채널 별로 오디오 신호를 제어할 수 있다.
도 21은 촬영자의 소리를 뮤트하는 일 실시 예를 설명하는 도면이다.
일 실시 예로서, 전자 장치는 복수의 마이크를 포함할 수 있고, 복수의 마이크는 지향성 마이크를 포함할 수 있다. 지향성 마이크는 특정 피사체 중심으로 오디오 신호를 획득할 수 있다.
도 21에 도시된 바와 같이, 지향성 마이크는 아이들의 음성을 우선으로 획득할 수 있다. 그리고, 다른 방향에 위치한 엄마의 음성은 뮤트시킬 수 있다. 그리고, 전자 장치는 획득된 음성을 녹음할 수 있다. 한편, 전자 장치는 실시간 녹음시 피크 레벨 에너지를 표시할 수 있다.
즉, 전자 장치는 지향성 마이크를 포함하고, 지향성 마이크가 지향하는 방향 이외의 방향에서 획득되는 오디오 신호는 제거할 수 있다.
도 22는 피사체의 이동에 따라 소리를 추적하여 표시하는 일 실시 예를 설명하는 도면이다.
도 22에 도시된 바와 같이, 전자 장치는 피사체의 이동에 대응하여 소리를 추적하고 시각화할 수 있다. 전자 장치는 지향성 마이크로부터 획득되는 오디오와 영상에 포함된 피사체의 얼굴을 이용하여 피사체를 추적할 수 있다. 전자 장치는 피사체와 피사체의 음성을 추적해서 타겟 피사체의 소리를 녹음할 수 있다. 또한 전자 장치는 실시간 녹음시 피크 레벨 에너지를 표시할 수 있다.
도 23은 복수의 외부 장치의 오디오 신호를 분리하여 표시하고 제어하는 일 실시 예를 설명하는 도면이다.
도 23을 참조하면, 전자 장치는 하나 이상의 외부 장치를 연결하고, 동시에 오디오 신호를 표시하거나 제어할 수 있다. 상술한 바와 같이, 전자 장치는 오디오 신호의 개수에 따라 복수 개의 멀티 녹음 쓰레드를 생성하고, 멀티 녹음 쓰레드의 하위에 복수 개의 녹음 트랙을 생성할 수 있다. 또한, 전자 장치는 획득된 오디오 신호를 복수 개의 채널로 분리할 수 있다. 따라서, 전자 장치는 복수의 장체로부터 획득된 오디오 신호를 모두 표시하거나 저장할 수 있고, 개별적으로 제어할 수도 있다. 또한, 전자 장치는 실시간으로 각 외부 장치에 대응되는 오디오 신호에 대한 피크 레벨 에너지를 표시할 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 통신 인터페이스
120: 마이크 130: 카메라
140: 센서 150: 디스플레이
160: 프로세서 170: 입력 인터페이스
180: 스피커 190: 메모리
200, 200-1, 200-2, 200-3: 외부 장치

Claims (20)

  1. UWB(Ultra Wide Band) 방식으로 외부 장치와 통신하는 통신 인터페이스;
    오디오 신호를 입력받는 마이크;
    상기 외부 장치와 인접한 피사체를 포함하는 영상을 촬영하는 카메라;
    상기 카메라의 방향을 감지하는 센서;
    상기 촬영된 영상을 표시하는 디스플레이; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 외부 장치로부터 수신된 데이터에 기초하여 상기 외부 장치와의 거리(ranging) 정보 및 각도 정보를 획득하고,
    상기 센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득하며,
    상기 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 상기 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별하고,
    상기 외부 장치와 거리가 기 설정된 거리 미만인 경우 상기 피사체의 오디오 신호를 획득하도록 상기 마이크를 제어하고, 상기 외부 장치와 거리가 기 설정된 거리 이상인 경우 상기 외부 장치로 입력된 상기 피사체의 오디오 신호를 획득하도록 상기 통신 인터페이스를 제어하며,
    상기 표시되는 영상과 함께 상기 획득된 오디오 신호의 크기를 나타내는 UI를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  2. 제1항에 있어서,
    메모리;를 더 포함하고,
    상기 프로세서는,
    녹음 쓰레드(thread)가 활성화 상태인지 식별하고, 비활성화 상태인 경우 상기 획득된 오디오 신호를 저장하기 위해 초기 녹음 설정 과정을 수행하고, 상기 녹음 쓰레드를 생성하며, 상기 생성된 녹음 쓰레드에 대한 복수의 녹음 트랙을 생성하고, 상기 생성된 복수의 녹음 트랙에 기초하여 상기 획득된 오디오 신호와 관련된 데이터를 상기 메모리에 저장하고 상기 디스플레이에 표시하는, 전자 장치.
  3. 제2항에 있어서,
    상기 초기 녹음 설정 과정은,
    코덱 설정 과정, 오디오 DSP 설정 과정, 커널 드라이버 설정 과정 또는 오디오 HAL(Hardware Abstraction Layer) 설정 과정 중 적어도 하나의 과정을 포함하는, 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 녹음 쓰레드가 활성화 상태인 경우 상기 초기 녹음 설정 과정을 생략하고, 상기 획득된 오디오 신호와 관련된 복수의 녹음 트랙을 생성하며, 상기 오디오 신호와 관련된 복수의 녹음 트랙을 상기 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성하는, 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 오디오 신호와 관련된 적어도 하나의 녹음 트랙을 이용하여 상기 획득된 오디오 신호의 피크 레벨을 식별하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 식별된 피크 레벨을 상기 획득된 오디오 신호의 크기로 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 오디오 신호가 빔포밍 조건을 만족하는 경우, 상기 획득된 오디오 신호를 방향성에 기초하여 복수의 채널로 분리하여 저장하고,
    상기 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 상기 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 채널로 분리하여 저장하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    각각의 녹음 트랙 또는 각각의 채널에 대해 상기 오디오 신호의 볼륨을 제어하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 장치로 응답 요청 신호를 전송하여 응답 신호를 수신하도록 상기 통신 인터페이스를 제어하고, 상기 응답 요청 신호의 전송 시간부터 상기 응답 신호 수신 시간까지의 송수신 시간에 기초하여 상기 거리 정보를 획득하는, 전자 장치.
  10. 제1항에 있어서,
    상기 마이크는 지향성 마이크를 포함하고,
    상기 프로세서는,
    상기 지향성 마이크가 지향하는 방향 이외의 방향에서 획득되는 오디오 신호를 뮤트(mute)시키는, 전자 장치.
  11. UWB(Ultra Wide Band) 방식으로 외부 장치와 통신하는 전자 장치의 제어 방법에 있어서,
    상기 외부 장치와 인접한 피사체를 포함하는 영상을 촬영하는 단계;
    상기 외부 장치로부터 수신된 데이터에 기초하여 상기 외부 장치와의 거리(ranging) 정보 및 각도 정보를 획득하는 단계;
    센서에서 감지된 카메라의 방향에 기초하여 촬영 방향 정보를 획득하는 단계;
    상기 획득된 촬영 방향 정보, 거리 정보 및 각도 정보에 기초하여 상기 피사체의 오디오 신호를 획득하기 위한 외부 장치를 식별하는 단계;
    상기 외부 장치와 거리가 기 설정된 거리 미만인 경우 상기 피사체의 오디오 신호를 획득하도록 마이크를 제어하고, 상기 외부 장치와 거리가 기 설정된 거리 이상인 경우 상기 외부 장치를 통해 상기 피사체의 오디오 신호를 획득하는 단계; 및
    상기 촬영된 영상과 함께 상기 획득된 오디오 신호의 크기를 나타내는 UI를 표시하는 단계;를 포함하는 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    녹음 쓰레드(thread)가 활성화 상태인지 식별하는 단계;
    상기 녹음 쓰레드가 비활성화 상태인 경우 상기 획득된 오디오 신호를 저장하기 위해 초기 녹음 설정 과정을 수행하는 단계;
    상기 녹음 쓰레드를 생성하는 단계;
    상기 생성된 녹음 쓰레드에 대한 복수의 녹음 트랙을 생성하는 단계; 및
    상기 생성된 복수의 녹음 트랙에 기초하여 상기 획득된 오디오 신호와 관련된 데이터를 저장 및 표시하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 초기 녹음 설정 과정은,
    코덱 설정 과정, 오디오 DSP 설정 과정, 커널 드라이버 설정 과정 또는 오디오 HAL(Hardware Abstraction Layer) 설정 과정 중 적어도 하나의 과정을 포함하는, 전자 장치의 제어 방법.
  14. 제12항에 있어서,
    상기 녹음 쓰레드가 활성화 상태인 경우 상기 초기 녹음 설정 과정을 생략하고, 상기 획득된 오디오 신호를 처리하는 복수의 녹음 트랙을 생성하는 단계; 및
    상기 녹음 쓰레드를 생성하는 단계는,
    상기 오디오 신호와 관련된 복수의 녹음 트랙을 상기 활성화 상태의 녹음 쓰레드에 연결하여 멀티 녹음 쓰레드를 형성하는, 전자 장치의 제어 방법.
  15. 제12항에 있어서,
    상기 오디오 신호와 관련된 적어도 하나의 녹음 트랙을 이용하여 상기 획득된 오디오 신호의 피크 레벨을 식별하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 UI를 표시하는 단계는,
    상기 식별된 피크 레벨을 상기 획득된 오디오 신호의 크기로 표시하는, 전자 장치의 제어 방법.
  17. 제12항에 있어서,
    획득된 오디오 신호를 저장하는 단계는,
    상기 획득된 오디오 신호가 빔포밍 조건을 만족하는 경우 상기 획득된 오디오 신호를 방향성에 기초하여 복수의 채널로 분리하여 저장하고, 상기 획득된 오디오 신호가 빔포밍 조건을 만족하지 않는 경우, 상기 획득된 오디오 신호를 마이크의 개수에 기초하여 복수의 채널로 분리하여 저장하는, 전자 장치의 제어 방법.
  18. 제17항에 있어서,
    각각의 녹음 트랙 또는 각각의 채널에 대해 상기 오디오 신호의 볼륨을 제어하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  19. 제11항에 있어서,
    상기 거리 정보 및 각도 정보를 획득하는 단계는,
    상기 외부 장치로 응답 요청 신호를 전송하여 응답 신호를 수신하고, 상기 응답 요청 신호의 전송 시간부터 상기 응답 신호 수신 시간까지의 송수신 시간에 기초하여 상기 거리 정보를 획득하는, 전자 장치의 제어 방법.
  20. 제11항에 있어서,
    상기 마이크는 지향성 마이크를 포함하고,
    상기 오디오 신호를 획득하는 단계는,
    상기 지향성 마이크가 지향하는 방향 이외의 방향에서 획득되는 오디오 신호를 뮤트(mute)시키는, 전자 장치의 제어 방법.
KR1020200111324A 2020-09-01 2020-09-01 전자 장치 및 제어 방법 KR20220029866A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200111324A KR20220029866A (ko) 2020-09-01 2020-09-01 전자 장치 및 제어 방법
EP21864523.2A EP4181493A4 (en) 2020-09-01 2021-07-13 ELECTRONIC DEVICE AND CONTROL METHOD
PCT/KR2021/008974 WO2022050561A1 (ko) 2020-09-01 2021-07-13 전자 장치 및 제어 방법
CN202180053291.9A CN115989667A (zh) 2020-09-01 2021-07-13 电子设备及控制方法
US18/116,148 US20230209255A1 (en) 2020-09-01 2023-03-01 Electronic device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111324A KR20220029866A (ko) 2020-09-01 2020-09-01 전자 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20220029866A true KR20220029866A (ko) 2022-03-10

Family

ID=80491261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111324A KR20220029866A (ko) 2020-09-01 2020-09-01 전자 장치 및 제어 방법

Country Status (5)

Country Link
US (1) US20230209255A1 (ko)
EP (1) EP4181493A4 (ko)
KR (1) KR20220029866A (ko)
CN (1) CN115989667A (ko)
WO (1) WO2022050561A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913882A (zh) * 2022-05-25 2022-08-16 维沃移动通信有限公司 录音方法及录音装置
WO2024048955A1 (ko) * 2022-08-31 2024-03-07 삼성전자 주식회사 동영상을 촬영하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665716B (zh) * 2022-12-27 2023-04-07 合肥炬芯智能科技有限公司 音频数据传输方法、电子设备以及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044498B1 (ko) * 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
KR20160026317A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
KR102344045B1 (ko) * 2015-04-21 2021-12-28 삼성전자주식회사 화면을 표시하는 전자 장치 및 그 제어 방법
US10825480B2 (en) * 2017-05-31 2020-11-03 Apple Inc. Automatic processing of double-system recording
KR20200054006A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 무선 통신 시스템에서 레인징 제어를 위한 방법 및 장치
CN111148036B (zh) * 2019-04-08 2022-03-01 广东小天才科技有限公司 一种移动设备寻找方法及系统、相关设备
CN111526476B (zh) * 2020-04-17 2022-02-08 Oppo广东移动通信有限公司 数据传输方法、数据传输装置、存储介质与终端设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913882A (zh) * 2022-05-25 2022-08-16 维沃移动通信有限公司 录音方法及录音装置
WO2024048955A1 (ko) * 2022-08-31 2024-03-07 삼성전자 주식회사 동영상을 촬영하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Also Published As

Publication number Publication date
EP4181493A4 (en) 2024-01-17
EP4181493A1 (en) 2023-05-17
US20230209255A1 (en) 2023-06-29
CN115989667A (zh) 2023-04-18
WO2022050561A1 (ko) 2022-03-10

Similar Documents

Publication Publication Date Title
EP4181493A1 (en) Electronic device and control method
US11785329B2 (en) Camera switching method for terminal, and terminal
WO2021213120A1 (zh) 投屏方法、装置和电子设备
US10171929B2 (en) Positional audio assignment system
CN108401124B (zh) 视频录制的方法和装置
US9330431B2 (en) System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US20150065893A1 (en) Wearable electronic device, customized display device and system of same
US20140337742A1 (en) Method, an apparatus and a computer program for determination of an audio track
CN111917980B (zh) 拍照控制方法及装置、存储介质和电子设备
CN112929654B (zh) 检测音画同步的方法、装置、设备及存储介质
KR20150138069A (ko) 디바이스 본체 정위의 판단
KR20140112906A (ko) 사용자 기기 및 그 동작 방법
JP2023539774A (ja) サウンドボックス位置調整方法、オーディオレンダリング方法、および装置
WO2021037034A1 (zh) 一种应用状态切换方法及终端设备
WO2023231787A1 (zh) 音频处理方法和装置
CN115835079B (zh) 透传模式的切换方法和切换装置
CN116708751B (zh) 一种拍照时长的确定方法、装置和电子设备
WO2022089563A1 (zh) 一种声音增强方法、耳机控制方法、装置及耳机
CN112203020B (zh) 配置终端设备的相机配置参数的方法、装置和系统
CN113573119A (zh) 多媒体数据的时间戳生成方法及装置
CN112669884A (zh) 音频数据处理方法、装置、设备及存储介质
US11330151B2 (en) Selecting a type of synchronization
CN115334361B (zh) 素材编辑方法、装置、终端及存储介质
CN115793062B (zh) 一种耳机在位检测方法及装置
US20240111478A1 (en) Video Recording Method and Electronic Device

Legal Events

Date Code Title Description
A201 Request for examination