KR20230037385A - 동영상을 촬영하는 전자 장치 및 그 동작 방법 - Google Patents
동영상을 촬영하는 전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20230037385A KR20230037385A KR1020210120620A KR20210120620A KR20230037385A KR 20230037385 A KR20230037385 A KR 20230037385A KR 1020210120620 A KR1020210120620 A KR 1020210120620A KR 20210120620 A KR20210120620 A KR 20210120620A KR 20230037385 A KR20230037385 A KR 20230037385A
- Authority
- KR
- South Korea
- Prior art keywords
- audio data
- data
- electronic device
- processor
- microphone
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims description 7
- 238000004891 communication Methods 0.000 claims abstract description 145
- 238000010219 correlation analysis Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 45
- 230000003111 delayed effect Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 29
- 230000003213 activating effect Effects 0.000 claims description 15
- 230000001934 delay Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000001360 synchronised effect Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000003381 stabilizer Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
본 문서의 일 실시 예에 따른 전자 장치는, 카메라를 이용하여 제1 비디오 데이터를 획득하고, 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하고, 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하고, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하고, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고, 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.
Description
본 개시의 다양한 실시 예들은 외부 장치를 통해 획득한 오디오를 포함하는 동영상 파일을 생성하는 기술에 관한 것이다.
최근 모바일 디바이스의 기능이 다양화되면서 모바일 디바이스를 이용한 사진 촬영이나 동영상 촬영 기능의 향상에 대한 요구도 늘어나고 있다. 이에 따라 모바일 디바이스는 다양한 동영상 촬영 기능을 수행할 수 있다.
또한 기술의 발달에 따라, 무선 통신을 통해 수신되는 데이터에 기반하여 오디오를 출력하는 다양한 외부 전자 장치가 개발되고 있다. 이러한 오디오 출력 장치는 전자 장치(예: 스마트폰, 태블릿 등의 모바일 디바이스, 노트북, 또는 PC)와 근거리 무선 통신 중 블루투스 통신을 연결하여 데이터를 주고받을 수 있기 때문에, 블루투스 이어폰(또는, 이어 버드)으로 지칭될 수 있다. 블루투스 이어폰은 기존 유선 이어폰과 달리 사용자에게 활동성 및 편의성을 제공한다는 점에서, 최근 블루투스 이어폰을 사용하는 사용자가 늘어나고 있다.
블루투스 이어폰은 무선 통신을 통해 수신되는 오디오를 출력할 뿐만 아니라, 블루투스 이어폰에 포함되는 마이크를 이용하여 오디오 데이터를 획득할 수 있다. 블루투스 이어폰이 녹음한 오디오 데이터를 블루투스 통신을 통해 전자 장치(예: 모바일 디바이스)에 송신하는 경우, 전자 장치는 상기 오디오 데이터를 수신할 수 있다.
종래 기술에 따르면, 전자 장치가 카메라를 이용하여 비디오를 촬영하고 외부 전자 장치의 마이크를 통해 오디오를 녹음하는 경우, 상기 비디오와 상기 오디오는 서로 시간적으로 동기화(synchronization)되지 않는 문제가 발생될 수 있다. 외부 전자 장치에서 전자 장치로 오디오 데이터가 전달되는 동안, 무선 통신 경로가 공유됨에 따른 지연, 간섭이나 데이터 수신 실패에 따른 재전송 등에 의해 딜레이 된 오디오 데이터가 전달되므로, 전자 장치는 비디오 데이터와 시간적으로 동기화되지 않은 오디오 데이터를 수신하게 될 수 있다. 따라서 전자 장치가 서로 다른 시점에 획득된 비디오와 오디오를 믹싱(mixing)하여 비디오 렌더링(video rendering)을 하는 경우 부자연스러운 동영상 파일이 생성될 수 있다. 비디오와 오디오가 동기화되지 않는 경우, 사용자는 비디오와 오디오의 싱크가 맞지 않는 동영상 파일을 획득하는 문제가 발생될 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치가 촬영한 비디오 데이터와 외부 전자 장치가 녹음한 오디오 데이터를 이용하여 동영상 파일을 생성하는 경우, 비디오 데이터와 오디오 데이터가 동기화된 동영상 파일을 생성할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(electronic device)는, 카메라, 마이크, 외부 전자 장치와 데이터를 송수신하는 무선 통신 회로, 및 상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여 제1 비디오 데이터를 획득하고, 상기 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하고, 상기 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하고, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하고, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고, 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치에 포함된 카메라를 이용하여 제1 비디오 데이터를 획득하는 동작, 상기 전자 장치에 포함된 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하는 동작, 상기 전자 장치에 포함된 무선 통신 회로를 통해, 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 수신하는 동작, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하는 동작, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하는 동작, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작, 및 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 카메라, 마이크, 제1 외부 마이크 및 제2 외부 마이크를 포함하는 외부 전자 장치와 데이터를 송수신하는 무선 통신 회로, 및 상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여 제1 비디오 데이터를 획득하고, 상기 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하고, 상기 외부 전자 장치가 상기 제1 외부 마이크를 통해 획득한 제1 오디오 데이터, 및 상기 외부 전자 장치가 상기 제2 외부 마이크를 통해 획득한 제2 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터는 상기 제1 비디오 데이터에 대응함, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과 또는 상기 제2 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과 중 적어도 하나에 기반하여 상기 제1 스케줄을 상기 제2 스케줄로 변경하고, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하고, 상기 제1 오디오 데이터, 및 상기 제2 오디오 데이터 각각과 상기 제2 기준 데이터의 비교 결과를 기반으로 상기 제1 오디오 데이터와 상기 제2 오디오 데이터 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택하고, 상기 제2 기준 데이터를 기반으로 상기 선택된 오디오 데이터의 딜레이를 보정하고, 상기 제1 비디오 데이터, 및 상기 보정된 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치가 촬영한 비디오 데이터와 외부 전자 장치가 녹음한 오디오 데이터를 이용하여 동영상 파일을 생성하는 경우, 전자 장치는 서로 시간적으로 동기화된 비디오 데이터와 오디오 데이터를 기반으로 하는 동영상 파일을 획득할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 전자 장치는 한 쌍의 블루투스 이어폰에서 획득된 오디오 데이터를 이용하여 스테레오(stereo) 오디오 데이터를 포함하는 동영상 파일을 획득할 수 있다. 사용자는 스테레오 오디오 데이터를 포함하는 동영상 파일을 통해 현장감이나 생동감을 느낄 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 전자 장치는 비디오 데이터와 오디오 데이터의 동기화를 수행함에 있어서, 주변 환경에 적응적으로(adaptively) 오디오 데이터의 딜레이를 보정할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 3은 일 실시 예에 따른 전자 장치가 동영상 파일을 생성하기 위한 구성을 나타내는 블록도이다.
도 4는 일 실시 예에 따른 외부 전자 장치의 예를 도시한다.
도 5는 일 실시 예에 따른 외부 전자 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 오디오 데이터를 획득하는 예를 도시한다.
도 7a는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 오디오 데이터의 딜레이를 보정하는 예를 도시한다.
도 7b는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다.
도 8은 일 실시 예에 따른 전자 장치가 기준 데이터와 오디오 데이터의 상관을 분석하는 예를 도시한다.
도 9a는 일 실시 예에 따른 전자 장치가 기준 데이터를 획득하는 스케줄을 변경하는 예를 도시한다.
도 9b는 일 실시 예에 따른 전자 장치가 제1 오디오 데이터의 일부 및 제1 기준 데이터를 기반으로 제1 스케줄을 제2 스케줄로 변경하는 예를 도시한다.
도 9c는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다.
도 10은 일 실시 예에 따른 전자 장치가 기준 데이터 및 오디오 데이터에 노이즈 필터를 적용하는 예를 도시한다.
도 11은 일 실시 예에 따른 외부 전자 장치가 복수의 외부 마이크를 포함하는 경우의 예를 도시한다.
도 12a는 일 실시 예에 따른 전자 장치가 오디오 데이터를 선택적으로 이용하여 동영상 파일을 생성하는 예를 도시한다.
도 12b는 일 실시 예에 따른 전자 장치가 디스플레이에 표시하는 UI(user interface)의 예를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 2는 다양한 실시 예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 3은 일 실시 예에 따른 전자 장치가 동영상 파일을 생성하기 위한 구성을 나타내는 블록도이다.
도 4는 일 실시 예에 따른 외부 전자 장치의 예를 도시한다.
도 5는 일 실시 예에 따른 외부 전자 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 오디오 데이터를 획득하는 예를 도시한다.
도 7a는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 오디오 데이터의 딜레이를 보정하는 예를 도시한다.
도 7b는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다.
도 8은 일 실시 예에 따른 전자 장치가 기준 데이터와 오디오 데이터의 상관을 분석하는 예를 도시한다.
도 9a는 일 실시 예에 따른 전자 장치가 기준 데이터를 획득하는 스케줄을 변경하는 예를 도시한다.
도 9b는 일 실시 예에 따른 전자 장치가 제1 오디오 데이터의 일부 및 제1 기준 데이터를 기반으로 제1 스케줄을 제2 스케줄로 변경하는 예를 도시한다.
도 9c는 일 실시 예에 따른 전자 장치가 외부 전자 장치로부터 획득한 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다.
도 10은 일 실시 예에 따른 전자 장치가 기준 데이터 및 오디오 데이터에 노이즈 필터를 적용하는 예를 도시한다.
도 11은 일 실시 예에 따른 외부 전자 장치가 복수의 외부 마이크를 포함하는 경우의 예를 도시한다.
도 12a는 일 실시 예에 따른 전자 장치가 오디오 데이터를 선택적으로 이용하여 동영상 파일을 생성하는 예를 도시한다.
도 12b는 일 실시 예에 따른 전자 장치가 디스플레이에 표시하는 UI(user interface)의 예를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시 예들에 따른 카메라 모듈(180)을 예시하는 블록도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시 예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시 예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시 예에 따르면, 이미지 스태빌라이저(240)는, 일 실시 예에 따르면, 이미지 스태빌라이저(240)는 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일 실시 예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일 실시 예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)가 프로세서(120)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)을 통해 표시될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3은 일 실시 예에 따른 전자 장치(300)가 동영상 파일을 생성하기 위한 구성을 나타내는 블록도이다.
도 3을 참조하면, 전자 장치(300)는 카메라(310), 마이크(320), 무선 통신 회로(330), 및 프로세서(340)를 포함할 수 있다. 도 3의 전자 장치(300)는 도 1의 전자 장치(101)에 대응할 수 있다. 도 3의 카메라(310)는 도 1 및 도 2에 도시된 카메라 모듈(180)에 대응되거나 카메라 모듈(180)에 포함되는 것으로 이해될 수 있다. 도 3의 마이크(320)는 도 1의 입력 모듈(150)에 포함되는 것으로 이해될 수 있다. 도 3의 무선 통신 회로(330)는 도 1의 무선 통신 모듈(192)에 포함되는 것으로 이해될 수 있다. 도 3의 프로세서(340)는 도 1의 프로세서(120)에 대응될 수 있다.
일 실시 예에 따르면, 카메라(310)는 렌즈 어셈블리(210), 및 이미지 센서(230)를 포함할 수 있다. 이미지 센서(230)는 CMOS(complementary metal oxide semiconductor) 센서일 수 있다. 이미지 센서(230)에는 복수의 개별 픽셀들(pixels)이 집적되며, 각 개별 픽셀은 마이크로 렌즈(micro lens), 컬러 필터 및 PD(photodiode)를 포함할 수 있다. 각 개별 픽셀은 일종의 광 검출기로서 입력되는 광을 전기적 신호로 변환시킬 수 있다. 예를 들면, 이미지 센서(230)는 렌즈 어셈블리(210)를 통해 수광된 빛이 수광 소자의 광전 효과를 통해 발생시킨 전류를 증폭시킬 수 있다.
일 실시 예에 따르면, 카메라(310)는 비디오 데이터를 획득할 수 있다. 프로세서(340)는 카메라(310)를 이용하여 복수의 이미지 프레임들을 포함하는 비디오 데이터를 획득할 수 있다. 카메라(310)는 상기 복수의 이미지 프레임들을 포함하는 비디오 데이터를 프로세서(340)에 제공할 수 있다. 예를 들면, 이미지 센서(230)는 렌즈 어셈블리(210)를 통해 수광된 빛에 대응하는 이미지 프레임을 연속적으로 획득하여 프로세서(340)(또는, 이미지 시그널 프로세서(260))에 제공할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 카메라(310)를 이용하여 제1 비디오 데이터를 획득할 수 있다.
일 실시 예에 따르면, 마이크(320)는 오디오 데이터를 획득할 수 있다. 프로세서(340)는 마이크(320)를 통해 오디오 데이터를 획득할 수 있다. 예를 들면, 프로세서(340)는 마이크(320)를 통해 사용자의 음성 데이터, 및/또는 주변 환경으로부터 발생하는 오디오 데이터를 획득할 수 있다.
일 실시 예에 따르면, 마이크(320)는 복수 개의 마이크를 포함할 수도 있다. 예를 들면, 프로세서(340)는 복수 개의 마이크를 통해 오디오 데이터 세트를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 마이크(320)를 이용하여 기준 데이터를 획득할 수 있다. 기준 데이터란 외부 전자 장치(400)로부터 수신된 오디오 데이터와 비교할 수 있는 기준 신호(reference signal)로 이해될 수 있다. 본 명세서에서는 마이크(320)가 획득할 수 있는 오디오 데이터 중에서, 본 개시의 실시 예를 수행하기 위해 획득된 데이터가 기준 데이터로 지칭될 수 있다.
일 실시 예에 따르면, 프로세서(340)는 마이크(320)를 이용하여 지정된 시간 구간동안 지정된 스케줄에 따라 기준 데이터를 획득할 수 있다. 예를 들면, 프로세서(340)는 마이크(320)를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득할 수 있고, 제1 시간 구간에 후속하는 제2 시간 구간동안 제2 스케줄에 따라 제2 기준 데이터를 획득할 수 있다. 지정된 시간 구간동안 지정된 스케줄에 따라 획득된 기준 데이터에 대해서는 도 6 및 도 9a를 참조하여 후술한다.
일 실시 예에 따르면, 무선 통신 회로(330)는 외부 전자 장치(400)와 데이터를 송수신할 수 있다. 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)로부터 데이터를 수신할 수 있다. 예를 들면, 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)가 녹음한 제1 오디오 데이터를 수신할 수 있다. 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)에 데이터를 송신할 수도 있다. 예를 들면, 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)에 제1 오디오 데이터의 녹음을 시작하거나 멈추는 신호를 송신할 수 있다. 다른 예를 들면, 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)가 출력할 오디오를 전송할 수도 있다.
일 실시 예에 따르면, 무선 통신 회로(330)는 무선 네트워크를 통해 외부 전자 장치(400)와 데이터를 송수신할 수 있다. 예를 들면, 무선 통신 회로(330)는 근거리 통신 네트워크(예: 블루투스, 또는 WiFi)를 통해 외부 전자 장치(400)와 통신할 수 있다. 무선 통신 회로(330)와 외부 전자 장치(400)의 통신 방식과 관련하여 도 4를 참조하여 후술한다.
일 실시 예에 따르면, 프로세서(340)는 적어도 하나의 프로세서로 이해될 수 있다. 예를 들면, 프로세서(340)는 AP(application processor) 또는 CP(communication processor) 중 적어도 하나의 프로세서를 의미하는 것으로 이해될 수 있다. 일 실시 예에 따르면, 프로세서(340)는 카메라(310)를 통해 획득한 비디오 데이터, 마이크(320)를 통해 획득한 기준 데이터, 및 무선 통신 회로(330)를 통해 획득한 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
도 4는 일 실시 예에 따른 외부 전자 장치(400)의 예를 도시한다.
도 4를 참조하면, 전자 장치(300)는 외부 전자 장치(400)와 무선 네트워크를 통해 통신할 수 있다. 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)와 데이터를 송수신할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 사용자의 신체 중 일부(예: 양쪽 귀)에 착용될 수 있도록 한 쌍으로 구성될 수 있다. 예를 들면, 외부 전자 장치(400)는 사용자의 왼쪽 귀에 착용될 수 있는 제1 이어 버드(400a)와 사용자의 오른쪽 귀에 착용될 수 있는 제2 이어 버드(400b)를 포함할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 외부 마이크를 포함할 수 있다. 본 개시에서 외부 마이크란, 전자 장치(300)에 포함된 마이크(320)와 구별되는, 외부 전자 장치(400)에 포함된 마이크를 의미하는 것으로 이해될 수 있다. 예를 들면, 제1 이어 버드(400a)는 제1 외부 마이크(412)를 포함하고, 제2 이어 버드(400b)는 제2 외부 마이크(414)를 포함할 수 있다. 제1 이어 버드(400a)는 제1 외부 마이크(412)를 통해 제1 오디오 데이터를 획득할 수 있고, 제2 이어 버드(400b)는 제2 외부 마이크(414)를 통해 제2 오디오 데이터를 획득할 수 있다. 일 실시 예에 따르면, 제1 이어 버드(400a) 및 제2 이어 버드(400b)는 각각 무선 네트워크를 통해 전자 장치(300)에 제1 오디오 데이터 및 제2 오디오 데이터를 송신할 수 있다. 예를 들면, 제1 이어 버드(400a)는 무선 데이터 송수신 경로(41)를 통해 전자 장치(300)와 데이터를 송수신할 수 있고, 제2 이어 버드(400b)는 무선 데이터 송수신 경로(42)를 통해 전자 장치(300)와 데이터를 송수신할 수 있다. 외부 전자 장치(400)는 외부 마이크(412, 414)를 통해 획득한 오디오 데이터(예: 제1 오디오 데이터, 제2 오디오 데이터)를 전자 장치(300)로 송신할 수 있다. 전자 장치(300)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)가 획득한 오디오 데이터(예: 제1 오디오 데이터, 제2 오디오 데이터)를 수신할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(400)는 상기 무선 데이터 송수신을 이용하여, 전자 장치(300)가 외부 전자 장치(400)로 전송한 데이터에 대한 응답 신호를 전송하거나, 외부 전자 장치(400)에서 생성한 데이터(예: 센서를 통해 획득한 센서 값)를 전송하거나, 외부 전자 장치(400)의 상태 정보(예: 배터리 잔량)를 전송할 수도 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 사용자의 신체에 착용된 상태에서 오디오를 출력할 수 있다. 일 실시 예에 따르면, 제1 이어 버드(400a) 및 제2 이어 버드(400b)는 무선 데이터 송수신을 이용하여 전자 장치(300)로부터 각각 오디오를 수신할 수 있고, 수신된 오디오를 출력할 수 있다. 예를 들면, 제1 이어 버드(400a) 및 제2 이어 버드(400b)는 각각 스피커를 포함하고, 상기 스피커를 통해 전자 장치(300)로부터 수신한 오디오를 출력할 수 있다.
일 실시 예에 따르면, 무선 데이터 송수신 경로(41, 42)는, 블루투스 통신 기법(Bluetooth communication scheme)을 위한 경로, BLE 통신 기법(Bluetooth low energy communication scheme)을 위한 경로, Wi-Fi(wireless fidelity) 다이렉트(direct) 통신 기법을 위한 경로, 및 모바일 통신 기법(예: 셀룰러 통신, 사이드링크(sidelink))을 위한 경로 중 적어도 하나를 포함할 수 있다. 예를 들면, 블루투스 통신 기법 또는 BLE 통신 기법을 이용하는 경우, 외부 전자 장치(400) 및 전자 장치(300)는 서로의 무선 통신 어드레스(address)를 확인할 수 있고 통신을 수행할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 전자 장치(300)와 TWS+ 또는 AoBLE(audio over BLE) 통신 방식으로 데이터를 송수신할 수 있다. 외부 전자 장치(400)가 TWS+ 또는 AoBLE 통신 방식을 이용하는 경우, 제1 이어 버드(400a)와 제2 이어 버드(400b)는 각각 전자 장치(300)와 통신을 연결하여 정보를 전달할 수 있다. 다른 실시 예에서, 외부 전자 장치(400)는 전자 장치(300)와 스니핑(sniffing) 방식으로 데이터를 송수신하거나, 릴레이(relay) 방식으로 데이터를 송수신할 수 있다. 예를 들면, 제1 이어 버드(400a)는 제2 이어 버드(400b)로부터 데이터를 수신하여 제1 이어 버드(400a)가 획득한 데이터와 함께 전자 장치(300)에 송신할 수 있다. 다른 예를 들면, 제1 이어 버드(400a)는, 제2 이어 버드(400b)로부터 수신한 데이터와 제1 이어 버드(400a)가 획득한 데이터를 시간 구간을 나누어 전자 장치(300)에 송신할 수 있다. 다른 예를 들면, 제1 이어 버드(400a)는 제2 이어 버드(400b)로부터 수신한 데이터를 전자 장치(300)에 송신할 수 있다. 이 외에도 통상의 기술자가 구현할 수 있는, 전자 장치(300)와 외부 전자 장치(400)가 데이터를 송수신하는 다양한 통신 방식이 이용될 수 있다.
일 실시 예에 따르면, 도 4와 관련한 설명 중에서 외부 전자 장치(400)에 대한 설명은 외부 마이크의 개수에 대한 설명을 제외하고 외부 전자 장치(402)에도 적용될 수 있다. 즉, 외부 전자 장치(402)는 제1 이어 버드(402a), 제2 이어 버드(402b)를 포함할 수 있고, 전자 장치(300)는 제1 이어 버드(402a) 및 제2 이어 버드(402b)와 각각 통신을 연결하여 데이터를 송수신할 수 있다. 예를 들면, 제1 이어 버드(402a)는 무선 데이터 송수신 경로(43)를 통해 전자 장치(300)와 데이터를 송수신할 수 있고, 제2 이어 버드(402b)는 무선 데이터 송수신 경로(44)를 통해 전자 장치(300)와 데이터를 송수신할 수 있다. 무선 데이터 송수신 경로(41, 42)에 대한 설명은 무선 데이터 송수신 경로(43, 44)에도 적용될 수 있다.
일 실시 예에 따르면, 외부 전자 장치(402)는 2개 이상의 외부 마이크를 포함할 수 있다. 예를 들면, 제1 이어 버드(402a)는 제1 외부 마이크(422), 제2 외부 마이크(423)를 포함하고, 제2 이어 버드(402b)는 제3 외부 마이크(424), 제4 외부 마이크(425)를 포함할 수 있다. 제1 이어 버드(402a)는 제1 외부 마이크(422)를 통해 획득한 제1 오디오 데이터, 및 제2 외부 마이크(423)를 통해 획득한 제2 오디오 데이터를 전자 장치(300)에 송신할 수 있다. 제2 이어 버드(402b)는 제3 외부 마이크(424)를 통해 획득한 제3 오디오 데이터, 및 제4 외부 마이크(425)를 통해 획득한 제4 오디오 데이터를 전자 장치(300)에 송신할 수 있다. 전자 장치(300)는 제1 이어 버드(402a)로부터 제1 오디오 데이터와 제2 오디오 데이터를 수신할 수 있고, 제2 이어 버드(402b)로부터 제3 오디오 데이터와 제4 오디오 데이터를 수신할 수 있다. 예를 들어 제1 이어 버드(402a)는 시간 구간을 나누어(예: 재전송 구간을 이용) 제1 오디오 데이터와 제2 오디오 데이터를 전자 장치(300)에 각각 송신할 수 있다. 다른 실시 예에서, 제1 이어 버드(402a)는 제1 외부 마이크(422)를 통해 획득한 제1 오디오 데이터 및 제2 외부 마이크(423)를 통해 획득한 제2 오디오 데이터 중에서 지정된 조건(예: 오디오의 품질이 더 나은 오디오 데이터)을 만족하는 오디오 데이터를 전자 장치(300)에 전송할 수도 있다. 다른 실시 예에서, 제1 이어 버드(402a)는 제1 오디오 데이터와 제2 오디오 데이터를 병합하여 전자 장치(300)에 전송할 수도 있다.
도 4는 외부 전자 장치(400, 402)의 형태를 제한하는 것이 아니며, 외부 마이크(412, 414, 422, 423, 424, 또는 425)를 포함하고 전자 장치(300)와 무선 네트워크로 통신할 수 있는 다양한 형태의 외부 전자 장치(400, 402)에 대해 본 개시의 실시 예들이 적용될 수 있다. 또한 이하에서는 외부 전자 장치(400)를 기준으로 실시 예들을 설명하나, 외부 전자 장치(400)에 적용될 수 있는 실시 예들은 외부 전자 장치(402)에서 적용될 수 있을 것이다.
도 5는 일 실시 예에 따른 외부 전자 장치(400)의 구성을 나타내는 블록도이다.
도 5를 참조하면, 외부 전자 장치(400)(예: 제1 이어 버드(400a), 제2 이어 버드(400b))는 내부 공간에 배치되는 다수의 전자 부품들을 포함할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(400)는 무선 통신 회로(510), 입력 장치(520), 센서(530), 오디오 처리 회로(540), 스피커(541), 외부 마이크(542), 메모리(550), 전력 관리 회로(560), 배터리(570), 및 제어 회로(580)를 포함할 수 있다. 다만 이에 한정되지 않으며, 상기 전자 부품 중 하나 이상이 생략되거나 이 외의 전자 부품들이 더 포함될 수 있다. 본 개시의 다양한 실시 예에서, 외부 전자 장치(400)는 제1 이어 버드(400a) 및 제2 이어 버드(400b) 각각을 의미할 수 있다.
일 실시 예에 따르면, 무선 통신 회로(510)는 안테나를 이용하여 다양한 형태의 통신을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 회로(510)는 전자 장치(300)(또는, 서버, 스마트 폰, PC, PDA 또는 액세스 포인트)로부터 오디오가 수신되는 것을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 회로(510)는 전자 장치(300)로 오디오 데이터(예: 제1 오디오 데이터)가 전송되는 것을 지원할 수도 있다.
일 실시 예에 따르면, 입력 장치(520)는 외부 전자 장치(400) 운용에 필요한 다양한 입력 신호를 생성하도록 구성될 수 있다. 입력 장치(520)는 터치 패드, 터치 패널, 및/또는 버튼을 포함할 수 있다. 예를 들면, 터치 패드는 정전식, 감압식, 적외선 방식, 및 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 예를 들면, 버튼은 물리적인 버튼 및/또는 광학식 버튼을 포함할 수 있다.
일 실시 예에 따르면, 입력 장치(520)는 외부 전자 장치(400) 전원의 온(on) 또는 오프(off)에 관한 사용자 입력을 생성할 수 있다. 일 실시 예에 따르면, 입력 장치(520)는 외부 전자 장치(400) 및 전자 장치(300)와의 통신(예: 근거리 통신) 연결에 관한 사용자 입력을 생성할 수 있다.
일 실시 예에 따르면, 입력 장치(520)는 오디오(예: 오디오 컨텐츠)의 출력에 연관하는 사용자 입력을 생성할 수 있다. 예를 들면, 사용자 입력은 오디오의 재생 시작, 재생 일시 중지, 재생 중지, 재생 속도 조절, 재생 볼륨 조절 또는 음소거 기능에 연관할 수 있다.
일 실시 예에 따르면, 센서(530)는 외부 전자 장치(400)와 관련된 물리적인 데이터를 측정하거나 외부 전자 장치(400)의 작동 상태를 감지할 수 있다. 또한, 센서(530)는 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 일 실시 예에 따르면 센서(530)는 근접 센서, 가속도 센서, 자이로 센서, 지자기 센서, 마그네틱 센서, 제스처 센서, 그립 센서, 또는 생체 센서 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 센서(530)는 외부 전자 장치(400)가 사용자의 신체에 착용된 상태인지에 관한 정보 또는 신호를 검출할 수 있다.
일 실시 예에 따르면, 오디오 처리 회로(540)는 오디오 디코더 및 D/A 컨버터를 포함할 수 있다. 오디오 디코더는 전자 장치(300)로부터 수신되어 메모리(550)에 저장되어 있는 오디오 데이터를 디지털 오디오 신호로 변환할 수 있고, D/A 컨버터는 상기 오디오 디코더에 의해 변환된 디지털 오디오 신호를 아날로그 오디오 신호로 변환시킬 수 있다. 스피커(541)는 D/A 컨버터에 의해 변환된 아날로그 오디오 신호를 출력할 수 있다.
일 실시 예에 따르면, 오디오 처리 회로(540)는 A/D 컨버터 및 오디오 인코더를 포함할 수 있다. A/D 컨버터는 외부 마이크(542)를 통해 획득한 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있고, 오디오 인코더는 상기 디지털 오디오 신호를 오디오 데이터(예: 제1 오디오 데이터)로 변환할 수 있다.
일 실시 예에 따르면, 오디오 처리 회로(540)는 제어 회로(580)에 포함되도록 설계될 수도 있다.
일 실시 예에 따르면, 메모리(550)는 외부 전자 장치(400)의 운용에 필요한 다양한 운영 체제 및 다양한 사용자 기능에 해당하는 데이터 또는 응용 프로그램과 알고리즘을 저장할 수 있다. 메모리(550)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예: NAND, NOR)를 포함할 수 있다.
일 실시 예에 따르면, 메모리(550)는 전자 장치(300)로부터 수신한 비휘발성 오디오 데이터를 저장하는 비휘발성 메모리를 포함할 수 있다. 일 실시 예에 따르면, 메모리(550)는 전자 장치(300)로부터 수신한 휘발성 오디오 데이터를 저장하는 휘발성 메모리를 포함할 수 있다.
일 실시 예에 따르면, 전력 관리 회로(560)(예: PMIC(power management integrated circuit))는 외부 전자 장치(400) 내에서 배터리(570)의 전력 사용을 효율적으로 관리하고 최적화할 수 있다. 일 실시 예에 따르면, 제어 회로(580)는 처리해야 하는 부하(load)에 맞추어 그에 따른 신호를 전력 관리 회로(560)로 전송할 수 있다. 전력 관리 회로(560)는 제어 회로(580)에 공급하는 전력을 조정할 수 있다.
일 실시 예에 따르면, 전력 관리 회로(560)는 배터리 충전 회로를 포함할 수 있다. 일 실시 예에 따르면, 전력 공급 장치에 외부 전자 장치(400)가 결합되는 경우, 전력 관리 회로(560)는 전력 공급 장치로부터 전력을 제공받아 배터리(570)를 충전시킬 수 있다. 일 실시 예에 따르면, 전력 관리 회로(560)는 외부 전자 장치(400)와 전력 공급 장치 사이 전력선(PLC) 통신을 지원할 수 있고, 외부 전자 장치(400)는 전력선(PLC) 통신을 통하여 전력 공급 장치와 데이터를 송수신할 수 있다.
일 실시 예에 따르면, 전력 관리 회로(560)는 무선 충전 회로를 포함할 수 있다. 무선 충전 회로는 외부 장치로부터 전력을 무선으로 수신할 수 있고, 수신한 전력을 이용하여 배터리(570)를 충전시킬 수 있다. 일 실시 예에 따르면, 무선 충전 회로는 외부 전자 장치(400)와 전력 공급 장치 사이 인-밴드(in-band) 통신을 지원할 수 있다. 예를 들면, 인-밴드(in-band) 통신을 이용하는 경우, 외부 전자 장치(400)와 전력 공급 장치는 전력 전달을 위해 동일한 주파수 또는 인접한 주파수를 이용하여 무선 충전 회로를 통해 통신할 수 있다. 이 경우, 무선 충전 회로는 FSK(frequency shift keying) 변조 기법 또는 ASK(amplitude shift keying) 변조 기법을 이용하여 외부 전자 장치(400)와 전력 공급 장치 사이 데이터를 송수신할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 다양한 데이터를 수집하여 목적하는 출력 값을 연산할 수 있도록 구성될 수 있다. 일 실시 예에 따르면, 제어 회로(580)는 입력 장치(520)로부터의 사용자 입력의 적어도 일부를 기초하여 다양한 동작을 지원할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 무선 통신 회로(510)를 통하여 전자 장치(300)로부터 오디오 데이터를 수신하고, 수신한 오디오 데이터를 메모리(550)에 저장하도록 설계될 수 있다. 일 실시 예에 따르면, 제어 회로(580)는 전자 장치(300)로부터 비휘발성 오디오 데이터(또는, 다운로드 오디오 데이터)를 수신하고, 수신한 비휘발성 오디오 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시 예에 따르면, 제어 회로(580)는 외부 장치로부터 휘발성 오디오 데이터(또는, 스트리밍 오디오 데이터)를 수신하고 수신한 휘발성 오디오 데이터를 휘발성 메모리에 저장할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 메모리(550)에 저장된 오디오 데이터(예: 비휘발성 오디오 데이터 또는 휘발성 오디오 데이터)를 재생하여 스피커(541)를 통하여 출력하도록 제어할 수 있다. 제어 회로(580)는 오디오 데이터를 디코딩하여 오디오 신호를 획득할 수 있고, 획득한 오디오 신호를 스피커(541)를 통하여 출력하도록 제어할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 센서(530)로부터 획득한 정보의 적어도 일부를 기초하여 다양한 동작을 이행할 수 있다. 예를 들면, 제어 회로(580)는 센서(530)로부터 획득한 정보로부터 외부 전자 장치(400)가 사용자의 신체에 착용된 상태인지를 판단할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 전력 공급 장치 및/또는 전자 장치(300)로부터 수신한 알람 출력 요청 신호에 응답하여, 해당 효과음 또는 안내 음에 관한 오디오 데이터를 재생하도록 오디오 처리 회로(540)를 제어할 수 있다.
일 실시 예에 따르면, 제어 회로(580)는 무선 통신 회로(510)를 통해 오디오 데이터(예: 제1 오디오 데이터)의 녹음을 시작하거나 멈추라는 신호를 획득할 수 있다. 제어 회로(580)는 무선 통신 회로(510)를 통해 오디오 데이터의 녹음을 시작하라는 신호를 수신한 경우, 오디오 처리 회로(540)가 외부 마이크(542)를 활성화시켜 제1 오디오 데이터를 녹음하도록 제어할 수 있다. 제어 회로(580)는 무선 통신 회로(510)를 통해 오디오 데이터의 녹음을 중지하라는 신호를 수신한 경우, 오디오 처리 회로(540)가 외부 마이크(542)를 비활성화 시켜 제1 오디오 데이터의 녹음을 중지하도록 제어할 수 있다. 일 실시 예에 따르면, 제어 회로(580)는 제1 오디오 데이터를 획득하는 동안, 또는 제1 오디오 데이터의 획득이 종료된 이후, 무선 통신 회로(510)를 통해 전자 장치(300)에 제1 오디오 데이터를 전송할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 그 제공 형태에 따라 다양한 구성 요소들을 더 포함할 수 있다. 또한, 외부 전자 장치(400)는 그 제공 형태에 따라 전술한 구성 요소 중 특정 구성 요소들이 제외되거나 다른 구성 요소로 대체될 수도 있다.
도 6은 일 실시 예에 따른 전자 장치(300)가 외부 전자 장치(400)로부터 오디오 데이터(610, 620)를 획득하는 예를 도시한다.
도 6을 참조하면, 전자 장치(300)는 카메라(310)를 이용하여 비디오 촬영을 수행할 수 있다. 프로세서(340)는 카메라(310)를 이용하여 제1 비디오 데이터를 획득할 수 있다. 또한, 외부 전자 장치(400)(예: 제1 이어 버드(400a), 제2 이어 버드(400b))는 제1 비디오 데이터가 획득되는 동안, 제1 비디오 데이터에 대응하는 오디오 데이터를 획득할 수 있다. 예를 들면, 제1 이어 버드(400a)는 제1 비디오 데이터에 대응하는 제1 오디오 데이터(610)를 획득할 수 있고, 제2 이어 버드(400b)는 제1 비디오 데이터에 대응하는 제2 오디오 데이터(620)를 획득할 수 있다. 프로세서(340)는 외부 전자 장치(400)로부터 제1 비디오 데이터에 대응하는 오디오 데이터(예: 제1 오디오 데이터(610), 제2 오디오 데이터(620))를 무선 통신 회로(330)를 통해 수신할 수 있다. 예를 들면, 프로세서(340)는 제1 이어 버드(400a)로부터 제1 오디오 데이터(610)를 획득하고 제2 이어 버드(400b)로부터 제2 오디오 데이터(620)를 획득할 수 있다. 다른 예를 들면, 제1 이어 버드(400a)는 제2 이어 버드(400b)로부터 제2 오디오 데이터(620)를 수신할 수 있고, 프로세서(340)는 제1 이어 버드(400a)로부터 제1 오디오 데이터(610) 및 제2 오디오 데이터(620)를 수신할 수도 있다. 이 외에도 프로세서(340)는 다양한 데이터 송수신 경로를 통해 제1 오디오 데이터(610)와 제2 오디오 데이터(620)를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 외부 전자 장치(400)로부터 딜레이(delay)가 발생된 오디오 데이터(예: 제1 오디오 데이터(610), 제2 오디오 데이터(620))를 수신할 수 있다. 예를 들면, 무선 통신 회로(330)가 무선 데이터 송수신 경로를 통해 오디오 데이터를 수신하는 동안, 제1 이어 버드(400a)와 제2 이어 버드(400b)가 동일한 경로를 이용하기 때문에 발생하는 지연이나 간섭이 발생하거나, 데이터 수신 실패에 따른 재전송에 의한 딜레이가 발생할 수 있다. 따라서 프로세서(340)가 수신한 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))는 제1 비디오 데이터와 동기화되지 않은 상태일 수 있다. 예를 들면, 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))가 제1 비디오 데이터에 비해 딜레이 된 시간은 무선 데이터 송수신 경로에서 발생한 딜레이에 대응되므로, 유선 데이터 송수신 경로에서 발생하는 딜레이에 비해 클 수 있다. 다른 예를 들면, 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))가 제1 비디오 데이터에 비해 딜레이 된 시간은 프로세서(340)가 예측하기 어려울(unpredictable) 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 마이크(320)를 이용하여 제1 비디오 데이터에 대응하는 기준 데이터(600)를 획득할 수 있다. 예를 들면, 기준 데이터(600)는 프로세서(340)가 마이크(320)를 통해 지정된 스케줄에 따라 획득한 오디오 데이터를 의미할 수 있다. 전자 장치(300)는 외부 전자 장치(400)로부터 획득한 오디오 데이터(예: 제1 오디오 데이터(610), 제2 오디오 데이터(620))의 딜레이를 보정하기 위해서, 마이크(320)를 통해 기준 데이터(600)를 획득할 수 있다. 프로세서(340)는 전자 장치(300)에 포함된 마이크(320)를 이용하여 유선 데이터 송수신 경로를 통해 기준 데이터(600)를 획득하므로, 기준 데이터(600)는 제1 비디오 데이터에 비해 딜레이 되지 않았거나 무시할 수 있을 정도로 작은 딜레이를 포함할 수 있다. 기준 데이터(600)는 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))의 딜레이를 보정하기 위한 기준 신호로 이해될 수 있다.
일 실시 예에 따르면, 프로세서(340)는 마이크(320)를 이용하여 지정된 스케줄에 따라 기준 데이터(600)를 획득할 수 있다. 도 6을 참조하면, 프로세서(340)는 도 6에 도시된 파형 그래프 중에서 지속시간(604)에 대응하는 시점에 마이크(320)를 활성화시키고, 상기 지속시간(604)에 대응하지 않는 시점에는 마이크(320)를 비활성화 시킬 수 있다. 다른 실시 예에 따르면, 프로세서(340)는 제1 비디오 데이터를 획득하는 시점 중 적어도 일부 시간 구간동안 마이크(320)를 활성화시키고, 마이크(320)를 통해 획득한 데이터 중 일부를 기준 데이터(600)로 이용할 수도 있다.
일 실시 예에 따르면, 지정된 스케줄은 프로세서(340)가 마이크(320)를 활성화시키는 주기(interval)(602) 및 지속시간(duration)(604)을 포함할 수 있다. 예를 들면, 프로세서(340)는 마이크(320)를 지정된 주기(602)마다 지정된 지속시간(604)만큼 활성화시켜 상기 기준 데이터(600)를 획득할 수 있다.
일 실시 예에 따르면, 기준 데이터(600)는 지정된 주기(602)에 따라 지정된 지속시간(604)동안 마이크(320)를 통해 획득된 데이터일 수 있다. 다른 실시 예에 따르면, 지정된 스케줄은 특정 주기와 서로 다른 지속시간을 포함할 수도 있다. 상기 지정된 스케줄은 다양하게 배치된 타임 윈도우(time window)를 포함하는 다양한 윈도우 패턴(window pattern)을 포함할 수 있다. 이외에도 통상의 기술자에게 자명한 다양한 방식의 스케줄이 가능하다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))의 딜레이를 보정할 수 있다. 딜레이의 보정과 관련하여 도 7a 및 도 8을 참조하여 후술한다.
일 실시 예에 따르면, 프로세서(340)는 제1 비디오 데이터 및 상기 딜레이가 보정된 제1 오디오 데이터(610)(및/또는, 제2 오디오 데이터(620))를 기반으로 동영상 파일을 생성할 수 있다. 상기 동영상 파일은 시간적으로 동기화된 비디오 데이터와 오디오 데이터를 포함할 수 있다.
도 7a는 일 실시 예에 따른 전자 장치(300)가 외부 전자 장치(400)로부터 획득한 오디오 데이터(610, 620)의 딜레이를 보정하는 예를 도시한다.
도 6과 관련하여 설명된 내용 및 참조번호 702를 참조하면, 전자 장치(300)가 외부 전자 장치(400)로부터 획득한 제1 오디오 데이터(610) 및 제2 오디오 데이터(620)는, 기준 데이터(600)에 비해 딜레이 된 상태일 수 있다. 전자 장치(300)는 무선 네트워크를 통해 외부 전자 장치(400)로부터 제1 오디오 데이터(610)와 제2 오디오 데이터(620)를 획득하므로, 프로세서(340)는 기준 데이터(600)와 동기화되지 않은 제1 오디오 데이터(610), 및/또는 제2 오디오 데이터(620)를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)를 기반으로 제1 오디오 데이터(610) 및/또는 제2 오디오 데이터(620)의 딜레이를 보정할 수 있다. 예를 들면, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관(correlation)을 분석할 수 있고, 상관분석 결과를 기반으로 기준 데이터(600)에 비해 제1 오디오 데이터(610)가 딜레이 된 시간(711)을 확인할 수 있고, 상기 딜레이 된 시간(711)을 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다. 예를 들면, 프로세서(340)는 제1 오디오 데이터(610)가 수신된 시점보다 상기 딜레이 된 시간(711)만큼 이른 시점에 제1 오디오 데이터(610)가 획득된 것으로 보아, 제1 비디오 데이터와 제1 오디오 데이터(610)를 동기화할 수 있다. 또한, 프로세서(340)는 기준 데이터(600) 및 제2 오디오 데이터(620)의 상관을 분석할 수 있고, 상관분석 결과를 기반으로 기준 데이터(600)에 비해 제2 오디오 데이터(620)가 딜레이 된 시간(712)을 확인할 수 있고, 상기 딜레이 된 시간(712)을 기반으로 제2 오디오 데이터(620)의 딜레이를 보정할 수 있다. 예를 들면, 프로세서(340)는 제2 오디오 데이터(620)가 수신된 시점보다 상기 딜레이 된 시간(712)만큼 이른 시점에 제2 오디오 데이터(620)가 획득된 것으로 보아, 제1 비디오 데이터와 제2 오디오 데이터(620)를 동기화할 수 있다. 기준 데이터(600)와 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))의 상관분석 방법에 대해서는 도 8을 참조하여 후술한다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))와 기준 데이터(600)의 유사성을 기반으로 제1 오디오 데이터(610)(또는, 제2 오디오 데이터(620))의 딜레이를 보정할 수 있다. 예를 들면, 프로세서(340)는 기준 데이터(600) 중 특정 영역(721)과 제1 오디오 데이터(610) 중 특정 영역(722)의 유사성이 지정된 값 이상이라고 판단할 수 있다. 다른 예를 들면, 프로세서(340)는 기준 데이터(600) 중 특정 영역(721)과 제1 오디오 데이터(610)를 비교하여 패턴의 유사도가 가장 높은 영역이 상기 특정 영역(722)이라고 판단할 수 있다. 제1 오디오 데이터(610)의 특정 영역(722)에 대한 설명은 제2 오디오 데이터(620)의 특정 영역(723)에 대해서도 적용될 수 있다.
도 7a에서는 제1 오디오 데이터(610)가 딜레이 된 시간(711)과 제2 오디오 데이터(620)가 딜레이 된 시간(712)이 서로 같은 것으로 도시되었으나, 이는 하나의 예시로서, 상기 딜레이 된 시간(711)과 딜레이 된 시간(712)은 서로 다를 수도 있다. 예를 들면, 제1 이어 버드(400a)와 제2 이어 버드(400b)는 전자 장치(300)의 무선 통신 회로(330)와 독립적으로 통신하는 경우, 딜레이 된 시간(711)과 딜레이 된 시간(712)은 서로 다를 수 있다. 프로세서(340)는 제1 이어 버드(400a)로부터 획득한 제1 오디오 데이터(610)의 딜레이와, 제2 이어 버드(400b)로부터 획득한 제2 오디오 데이터(620)의 딜레이를 각각 보정할 수 있다.
도 7a의 참조번호 704은, 기준 데이터(600)와 동기화된 제1 오디오 데이터(610) 및 기준 데이터(600)와 동기화된 제2 오디오 데이터(620)를 도시한다. 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 동기화, 및/또는 기준 데이터(600)와 제2 오디오 데이터(620)의 동기화를 통해 기준 데이터(600)와 정렬(alignment)된 제1 오디오 데이터(610) 및/또는 제2 오디오 데이터(620)를 획득할 수 있다. 도 7a를 참조하면, 제1 오디오 데이터(610) 중 기준 데이터(600)의 특정 영역(721)과 가장 유사도가 높은 영역(722)이 상기 특정 영역(721)과 정렬될 수 있다. 또한 제2 오디오 데이터(620) 중 기준 데이터(600)의 특정 영역(721)과 가장 유사도가 높은 영역(723)이 상기 특정 영역(721)과 정렬될 수 있다. 프로세서(340)는 제1 비디오 데이터와 함께, 제1 오디오 데이터(610) 및/또는 제2 오디오 데이터(620))를 기반으로 동영상 파일을 생성할 수 있다.
도 6 및 도 7a에서는, 전자 장치(300)가 제1 이어 버드(400a)로부터 제1 오디오 데이터(610)를 획득하고, 제2 이어 버드(400b)로부터 제2 오디오 데이터(620)를 획득한 경우의 실시 예에 대하여 설명되었으나, 이는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다. 예를 들면, 외부 전자 장치(400)는 외부 마이크를 포함하는 하나의 외부 장치에 대응하고, 전자 장치(300)는 상기 하나의 외부 장치인 외부 전자 장치(400)로부터 제1 오디오 데이터(610)를 획득하고, 상기 제1 비디오 데이터와 함께 상기 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성할 수도 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치(300)가 촬영한 제1 비디오 데이터와 외부 전자 장치(400)가 녹음한 제1 오디오 데이터(610)를 이용하여 동영상 파일을 생성하는 경우, 전자 장치(300)는 서로 시간적으로 동기화된 제1 비디오 데이터와 제1 오디오 데이터(610)를 기반으로 하는 동영상 파일을 획득할 수 있다.
또한 본 개시의 다양한 실시 예에 따르면, 전자 장치(300)가 한 쌍의 이어 버드(예: 제1 이어 버드(400a)와 제2 이어 버드(400b))에서 획득된 오디오 데이터(예: 제1 오디오 데이터(610)와 제2 오디오 데이터(620))를 이용하여 스테레오(stereo) 오디오 데이터를 포함하는 동영상 파일을 획득할 수도 있다.
도 7b는 일 실시 예에 따른 전자 장치(300)가 외부 전자 장치(400)로부터 획득한 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다.
일 실시 예에 따르면, 동작 701에서, 프로세서(340)는 카메라(310)를 이용하여 제1 비디오 데이터를 획득할 수 있다.
일 실시 예에 따르면, 동작 703에서, 프로세서(340)는 마이크(320)를 이용하여 기준 데이터(600)를 획득할 수 있다.
일 실시 예에 따르면, 동작 705에서, 프로세서(340)는 외부 전자 장치(400)로부터 제1 비디오 데이터에 대응하는 제1 오디오 데이터(610)를 무선 통신 회로(330)를 통해 수신할 수 있다.
일 실시 예에 따르면, 동작 707에서, 프로세서(340)는 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다. 프로세서(340)는 도 7a에서 설명된 동작 및/또는 도 8에서 설명될 동작을 통해 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다.
일 실시 예에 따르면, 동작 709에서, 프로세서(340)는 제1 비디오 데이터 및 보정된 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성할 수 있다.
도 8은 일 실시 예에 따른 전자 장치(300)가 기준 데이터(600)와 오디오 데이터(610, 620)의 상관을 분석하는 예를 도시한다.
도 8은 기준 데이터(600)와 제1 오디오 데이터(610)의 상관분석 방법의 예를 도시한다. 도 8에서는 제1 오디오 데이터(610)를 기준으로 도시되었으나, 도 8과 관련하여 설명되는 상관분석 방법은 제2 오디오 데이터(620)에도 적용될 수 있고, 그 외에도 외부 전자 장치(400)로부터 획득되는 다양한 오디오 데이터에 대해 적용될 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 패턴 매칭(pattern matching) 기법을 통해 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 프로세서(340)는 패턴 매칭 기법을 통해 기준 데이터(600)와 제1 오디오 데이터(610)의 동기화를 수행할 수 있다. 프로세서(340)는 제1 오디오 데이터(610)에 포함된 오디오 패턴을 확인하고, 상기 오디오 패턴이 기준 데이터(600)와 일치하도록 제1 오디오 데이터(610)를 기준 데이터(600)와 정렬시켜, 기준 데이터(600)와 제1 오디오 데이터(610)를 동기화할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 자기상관(autocorrelation)을 분석하여 제1 오디오 데이터(610)가 기준 데이터(600)에 비해 딜레이 된 시간(711)을 확인할 수 있다. 프로세서(340)는 기준 데이터(600) 및 제1 오디오 데이터(610)에 아다마르 곱(Hadamard product, element-wise product)을 더하여 자기상관을 분석할 수 있다. 프로세서(340)는 제1 오디오 데이터(610)를 시간적으로 이동시킨 데이터에 아다마르 곱을 더할 수 있다. 예를 들면, 프로세서(340)는 제1 오디오 데이터(610)가 획득된 시점보다 이른 시점 또는 늦은 시점에 획득된 것과 같이 제1 오디오 데이터(610)를 변형시킬 수 있고, 상기 기준 데이터(600)와 함께 상기 변형된 제1 오디오 데이터(610)에 아다마르 곱을 더할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600) 및 시간적으로 이동된 제1 오디오 데이터(610)에 아다마르 곱을 더하여, 상관분석 결과에 대응하는 그래프(800)를 획득할 수 있다. 그래프(800)의 가로축은 제1 오디오 데이터(610)를 시간적으로 이동시킨 정도를 나타내고, 그래프(800)의 세로축은 기준 데이터(600)와 시간적으로 이동된 제1 오디오 데이터(610)가 대응되는 정도를 나타낼 수 있다. 그래프(800)의 피크(peak)(801)는 기준 데이터(600)와 시간적으로 이동된 제1 오디오 데이터(610)가 대응됨을 의미할 수 있다. 아다마르 곱의 경우 동일하거나 대응되는 요소(element)에 곱하여 더해질 때 최대 값을 가지므로, 그래프(800)의 피크(801)는 기준 데이터(600)와 제1 오디오 데이터(610)가 동기화된 것을 의미할 수 있다. 예를 들면, 프로세서(340)는 기준 데이터(600)에 비해 제1 시간만큼 딜레이 된 제1 오디오 데이터(610)를 획득할 수 있다. 프로세서(340)는 제1 오디오 데이터(610)를 시간적으로 이동시킨 데이터 및 기준 데이터(600)에 대해 아다마르 곱을 더하는 자기상관 분석을 수행할 수 있다. 프로세서(340)는 상관분석 결과를 기반으로 제1 오디오 데이터(610)를 상기 제1 시간만큼 앞으로 이동시켰을 때에 그래프(800) 상에 피크(801)에 대응된다고 판단할 수 있다. 프로세서(340)는 상기 그래프(800)를 기반으로 딜레이 된 시간(711)이 상기 제1 시간이라고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 분석하기 위해 도 8과 관련하여 설명한 바와 같이 제1 오디오 데이터(610)를 시간적으로 이른 시점 및 늦은 시점으로 이동시키면서 상관을 분석할 수 있으나, 다른 실시 예에 따르면, 제1 오디오 데이터(610)를 시간적으로 늦은 시점으로 이동시키면서 상관을 분석하지는 않을 수도 있다. 프로세서(340)는 무선 통신을 통해 제1 오디오 데이터(610)를 수신하므로 제1 오디오 데이터(610)가 기준 데이터(600)보다 이른 시점에 획득되지는 않을 수 있다. 따라서 프로세서(340)는 제1 오디오 데이터(610)를 시간적으로 늦은 시점으로는 이동시키지 않고, 이른 시점으로 이동시키면서 아다마르 곱을 더하는 연산을 수행할 수도 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터(610)의 전체 패킷에 대해 도 7a 및 도 8에서 설명된 딜레이 보정 동작을 수행할 수도 있고, 일정한 주기마다 상기 딜레이 보정 동작을 수행할 수도 있다. 예를 들면, 프로세서(340)는 외부 전자 장치(400)로부터 제1 오디오 데이터(610)를 패킷 단위로 수신할 수 있고, 일정한 주기마다 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)가 딜레이 된 시간을 계산하여 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다.
도 9a는 일 실시 예에 따른 전자 장치(300)가 기준 데이터(600)를 획득하는 스케줄을 변경하는 예를 도시한다.
도 9a를 참조하면, 기준 데이터(916) 및 기준 데이터(926)는 스케줄에 대한 설명을 제외하고는 도 6 내지 도 8에서 설명된 기준 데이터(600)에 대응할 수 있다. 또한 상관분석 결과에 대응하는 그래프(918) 및 그래프(928)는 도 8에서 설명된 그래프(800)에 포함될 수 있다.
참조번호 910을 참조하면, 프로세서(340)는 마이크(320)를 이용하여 제1 스케줄에 따라 기준 데이터(916)를 획득할 수 있다. 제1 스케줄은 프로세서(340)가 마이크(320)를 활성화시키는 제1 주기(interval)(912) 및 제1 지속시간(duration)(914)을 포함할 수 있다. 프로세서(340)는 제1 주기(912)마다 제1 지속시간(914)동안 기준 데이터(916)를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터(610)의 딜레이를 보정하기 위해, 기준 데이터(916)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 일 실시 예에 따르면, 기준 데이터(916)에 충분한 양의 오디오 패턴이 포함되지 않은 경우, 기준 데이터(916)와 제1 오디오 데이터(610)의 상관이 지정된 수준 미만으로 검출될 수 있다. 예를 들면, 기준 데이터(916)와 제1 오디오 데이터(610)의 상관분석 결과에 대응하는 그래프(918)는 지정된 수준보다 완만한 형태로 나타날 수 있다. 지정된 수준보다 완만한 그래프(918)란 피크를 판별하기 어렵다고 판단되는 그래프일 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(916)와 제1 오디오 데이터(610)의 상관이 지정된 수준 미만으로 검출되는 경우, 마이크(320)를 활성화시키는 제1 스케줄을 제2 스케줄로 변경할 수 있다. 기준 데이터(916)와 제1 오디오 데이터(610)의 상관이 지정된 수준 미만으로 검출됨에도 프로세서(340)가 스케줄을 변경하지 않고 기준 데이터(916)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 경우, 기준 데이터(916)와 보정된 제1 오디오 데이터(610)가 동기화되지 않을 수 있다. 따라서 프로세서(340)는 제1 스케줄을 제2 스케줄로 변경하여, 기준 데이터(916)보다 많은 양의 오디오 패턴을 포함하는 데이터를 획득할 수 있다.
일 실시 예에 따르면, 제2 스케줄은 제1 스케줄에 비해 주기 또는 지속시간 중 적어도 하나가 변경된 스케줄일 수 있다. 예를 들면, 프로세서(340)는 제1 주기(912)보다 짧은 제2 주기(922)마다 기준 데이터(926)를 획득할 수 있다. 다른 예를 들면, 프로세서(340)는 제1 지속시간(914)보다 긴 제2 지속시간(924)동안 기준 데이터(926)를 획득할 수 있다. 도 9a에는 제2 주기(922) 및 제2 지속시간(924)이 제1 스케줄과 비교할 때 변경된 것으로 도시되었으나, 이는 하나의 예시로서, 주기 또는 지속시간 중 어느 하나만 변경될 수도 있다.
참조번호 920을 참조하면, 프로세서(340)는 마이크(320)를 이용하여 제1 스케줄에 따라 기준 데이터(926)를 획득하다가 제1 스케줄에서 제2 스케줄로 변경한 후 계속하여 기준 데이터(926)를 획득할 수 있다. 기준 데이터(926)는 기준 데이터(916)보다 더 많은 양의 오디오 패턴을 포함할 수 있다. 기준 데이터(926)가 기준 데이터(916)보다 많은 양의 오디오 패턴을 포함하는 것은, 데이터의 용량이 더 큰 경우, 또는 상관을 분석하기 위해 필요한 정보가 더 많이 포함된 경우를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터(610)의 딜레이를 보정하기 위해, 기준 데이터(926)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 일 실시 예에 따르면, 기준 데이터(926)에 충분한 양의 오디오 패턴이 포함된 경우, 기준 데이터(926)와 제1 오디오 데이터(610)의 상관은 지정된 수준 이상으로 검출될 수 있다. 예를 들면, 기준 데이터(926)와 제1 오디오 데이터(610)의 상관분석 결과에 대응하는 그래프(928)는 피크가 판별될 수 있는 그래프일 수 있다.
일 실시 예에 따르면, 프로세서(340)는 도 9a에 도시된 바와 같이 제1 스케줄보다 주기가 감소하거나 지속시간이 증가한 제2 스케줄로 변경할 수 있으나, 다른 실시 예에 따르면, 프로세서(340)는 제1 스케줄보다 주기가 증가하거나 지속시간이 감소한 제2 스케줄로 변경할 수도 있다. 예를 들면, 프로세서(340)는 기준 데이터의 용량이 증가할수록 제1 오디오 데이터(610)의 딜레이를 보정하기 위해 수행해야하는 연산과정이 증가하게 된다. 프로세서(340)의 연산과정이 증가하는 경우, 배터리 효율이 감소할 수 있고 동영상 파일을 생성하는 데에 요구되는 시간이 증가할 수도 있다. 따라서, 프로세서(340)는 제1 주기(912)보다 긴 주기마다 기준 데이터를 획득하거나 제1 지속시간(914)보다 짧은 지속시간동안 기준 데이터를 획득하더라도 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다고 판단되는 경우에는, 제1 스케줄보다 주기가 증가하거나 지속시간이 감소한 제2 스케줄로 변경할 수도 있다. 예를 들면, 프로세서(340)는 제1 오디오 데이터(610)의 딜레이를 보정하기 어려운 상태가 아닌 한, 마이크(320)를 활성화시키는 시간을 최소화할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치(300)는 기준 데이터(600, 916, 또는 926)를 기반으로 제1 비디오 데이터와 제1 오디오 데이터(610)의 동기화를 수행함에 있어서, 주변 환경에 적응적으로(adaptively) 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다.
도 9b는 일 실시 예에 따른 전자 장치(300)가 제1 오디오 데이터의 일부(611) 및 제1 기준 데이터(941)를 기반으로 제1 스케줄을 제2 스케줄로 변경하는 예를 도시한다. 도 9b에서, 제1 비디오 데이터(930)는 도 6에서 설명된 비디오 데이터에 대응하고, 제1 기준 데이터(941) 및 제2 기준 데이터(942)는 도 6에서 설명된 기준 데이터(600)에 포함되며, 제1 오디오 데이터의 일부(611)는 도 6의 제1 오디오 데이터(610)에 포함될 수 있다.
일 실시 예에 따르면, 프로세서(340)는 카메라(310)를 이용하여 제1 비디오 데이터(930)를 획득할 수 있고, 마이크(320)를 이용하여 제1 시간 구간(951)동안 제1 스케줄에 따라 제1 기준 데이터(941)를 획득할 수 있으며, 외부 전자 장치(400)로부터 제1 비디오 데이터(930)에 대응하는 제1 오디오 데이터(610)를 무선 통신 회로(330)를 통해 수신할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터의 일부(611)와 제1 기준 데이터(941)의 비교 결과에 기반하여 제1 스케줄을 제2 스케줄로 변경할 수 있다. 예를 들면, 프로세서(340)는 제1 기준 데이터(941)와 제1 오디오 데이터의 일부(611)의 상관을 검출할 수 있다. 프로세서(340)는 제1 기준 데이터(941)와 제1 오디오 데이터의 일부(611)의 상관이 지정된 수준 미만으로 검출된다고 판단할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제1 스케줄에 비해 마이크(320)가 활성화되는 주기 또는 지속시간 중 적어도 하나가 변경된 제2 스케줄로 변경할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 마이크(320)를 이용하여 제1 시간 구간(951)에 후속하는 제2 시간 구간(952)동안 제2 스케줄에 따라 제2 기준 데이터(942)를 획득할 수 있다. 예를 들면, 프로세서(340)는 제1 기준 데이터(941)에 비해 많은 양의 정보(예: 오디오 패턴)를 포함하는 제2 기준 데이터(942)를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제2 기준 데이터(942)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다. 예를 들면, 프로세서(340)는 제2 기준 데이터(942)와 제1 오디오 데이터(610)(예: 제1 오디오 데이터 중 참조번호 612)의 상관을 분석할 수 있고, 상관분석 결과(예: 그래프(800), 그래프(928))를 기반으로 제2 기준 데이터(942)에 비해 제1 오디오 데이터(610)(예: 제1 오디오 데이터(610) 중 참조번호 612)가 딜레이 된 시간을 확인할 수 있으며, 상기 딜레이 된 시간을 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다.
도 9b를 참조하면, 제2 시간 구간(952)은 제1 시간 구간(951)과 연속적인 시간 구간인 것으로 도시되었으나, 이는 하나의 예시로서, 제2 시간 구간(952)은 제1 시간 구간(951)에 후속하는 모든 시간 구간을 포함할 수 있다. 예를 들면, 제1 시간 구간(951)과 제2 시간 구간(952) 사이에는 일정한 시간 간격이 있을 수 있다.
도 9c는 일 실시 예에 따른 전자 장치(300)가 외부 전자 장치(400)로부터 획득한 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성하는 동작을 도시하는 순서도이다. 도 9c에서 설명되는 동작은, 도 3의 전자 장치(300) 또는 프로세서(340)에 의해 수행될 수 있다.
일 실시 예에 따르면, 동작 901 이전에, 프로세서(340)는 사용자로부터 동영상 촬영을 시작하는 사용자 입력을 수신할 수 있다. 프로세서(340)는 상기 사용자 입력을 수신한 것에 응답하여 상기 카메라(310)가 제1 비디오 데이터를 획득하도록 제어할 수 있다. 프로세서(340)는 상기 무선 통신 회로(330)를 통해 외부 전자 장치(400)가 제1 오디오 데이터를 획득하도록 제어하는 신호를 송신할 수 있다. 외부 전자 장치(400)는 제1 오디오 데이터를 획득하도록 제어하는 신호를 수신한 것에 응답하여, 외부 마이크(542)가 제1 오디오 데이터를 획득하도록 제어할 수 있다. 다른 실시 예에서, 프로세서(340)는 상기 사용자 입력을 수신한 것에 응답하여 상기 무선 통신 회로(330)를 통해 외부 전자 장치(402)가 제1 오디오 데이터 및 제2 오디오 데이터를 획득하도록 제어하는 신호를 송신할 수도 있다.
일 실시 예에 따르면, 동작 901에서, 프로세서(340)는 카메라(310)를 이용하여 제1 비디오 데이터를 획득할 수 있다. 제1 비디오 데이터는 복수의 이미지 프레임들을 포함할 수 있다.
일 실시 예에 따르면, 동작 903에서, 프로세서(340)는 마이크(320)를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득할 수 있다.
일 실시 예에 따르면, 동작 905에서, 프로세서(340)는 외부 전자 장치(400)로부터 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 무선 통신 회로(330)를 통해 수신할 수 있다. 예를 들면, 외부 전자 장치(400)는 제1 이어 버드(400a)와 제2 이어 버드(400b)를 포함할 수 있고, 프로세서(340)는 제1 이어 버드(400a)로부터 제1 오디오 데이터를 수신할 수 있고, 제2 이어 버드(400b)로부터 제2 오디오 데이터를 수신할 수도 있다. 다른 예를 들면, 외부 전자 장치(402)(예: 제1 이어 버드(402a))는 제1 외부 마이크(422)와 제2 외부 마이크(423)를 포함할 수 있고, 프로세서(340)는 외부 전자 장치(402)가 제1 외부 마이크(422)를 이용하여 획득한 제1 오디오 데이터, 및 외부 전자 장치(402)가 제2 외부 마이크(423)를 이용하여 획득한 제2 오디오 데이터를 수신할 수도 있다.
일 실시 예에 따르면, 동작 907에서, 프로세서(340)는 제1 오디오 데이터의 일부와 제1 기준 데이터의 비교 결과에 기반하여 제1 스케줄을 제2 스케줄로 변경할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터의 일부와 제1 기준 데이터의 상관을 분석한 결과 제1 기준 데이터와 제1 오디오 데이터의 상관이 지정된 수준 미만으로 검출되는 경우, 제1 스케줄을 제2 스케줄로 변경할 수 있다. 다른 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터의 일부와 제1 기준 데이터의 상관을 분석한 결과 제1 기준 데이터와 제1 오디오 데이터의 상관이 지정된 수준 이상으로 검출되는 경우, 스케줄을 변경하지 않고 제1 기준 데이터를 기반으로 제1 오디오 데이터의 딜레이를 보정할 수도 있다. 예를 들면, 프로세서(340)는 제1 오디오 데이터와 제1 기준 데이터의 상관분석 결과 지정된 수준 이상으로 유사한 영역을 검출한 경우 제1 기준 데이터를 기반으로 제1 오디오 데이터의 딜레이를 보정하고, 제1 비디오 데이터 및 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수도 있다.
일 실시 예에 따르면, 동작 909에서, 프로세서(340)는 마이크(320)를 이용하여 제1 시간 구간에 후속하는 제2 시간 구간동안 제2 스케줄에 따라 제2 기준 데이터를 획득할 수 있다.
일 실시 예에 따르면, 동작 911에서, 프로세서(340)는 제2 기준 데이터를 기반으로 제1 오디오 데이터의 딜레이를 보정할 수 있다. 일 실시 예에 따르면, 프로세서(340)가 제1 이어 버드(400a) 및 제2 이어 버드(400b)로부터 각각 제1 오디오 데이터와 제2 오디오 데이터를 획득한 경우, 또는 외부 전자 장치(402)로부터 제1 오디오 데이터와 제2 오디오 데이터를 획득한 경우, 프로세서(340)는 제2 기준 데이터를 기반으로 제1 오디오 데이터와 제2 오디오 데이터의 딜레이를 각각 보정할 수도 있다.
일 실시 예에 따르면, 동작 913에서, 프로세서(340)는 제1 비디오 데이터 및 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다. 예를 들면, 프로세서(340)는 제1 비디오 데이터와 상기 보정된 제1 오디오 데이터를 믹싱(mixing)하여 비디오 렌더링(video rendering)을 수행할 수 있다. 예를 들면, 프로세서(340)가 제1 이어 버드(400a) 및 제2 이어 버드(400b)로부터 각각 제1 오디오 데이터와 제2 오디오 데이터를 획득한 경우, 프로세서(340)는 제1 비디오 데이터, 보정된 제1 오디오 데이터, 및 보정된 제2 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
일 실시 예에 따르면, 동작 913 이후에, 프로세서(340)는 사용자로부터 동영상 촬영을 중지하는 사용자 입력을 수신할 수 있다. 프로세서(340)는 상기 사용자 입력을 수신한 것에 응답하여, 카메라(310)가 상기 제1 비디오 데이터의 획득을 중지하도록 제어할 수 있다. 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(400)가 제1 오디오 데이터의 획득을 중지하도록 제어하는 신호, 및 외부 전자 장치(400)가 제1 오디오 데이터를 전자 장치(300)에 제공하도록 제어하는 신호를 송신할 수 있다. 외부 전자 장치(400)는 제1 오디오 데이터의 획득을 중지하도록 제어하는 신호를 수신한 것에 응답하여, 외부 마이크(542)가 제1 오디오 데이터의 획득을 중지하도록 제어할 수 있다. 또한 외부 전자 장치(400)는 외부 마이크(542)를 통해 획득한 제1 오디오 데이터를 무선 통신 회로(510)를 통해 전자 장치(300)에 송신할 수 있다. 다른 실시 예에서, 프로세서(340)는 무선 통신 회로(330)를 통해 외부 전자 장치(402)가 제1 오디오 데이터 및 제2 오디오 데이터의 획득을 중지하도록 제어하는 신호, 및 외부 전자 장치(402)가 제1 오디오 데이터 및 제2 오디오 데이터를 전자 장치(300)에 제공하도록 제어하는 신호를 송신할 수 있다.
일 실시 예에 따르면, 외부 전자 장치(400)는 외부 마이크(542)를 통해 제1 오디오 데이터를 획득하는 동안 무선 통신 회로(510)를 통해 제1 오디오 데이터를 전자 장치(300)로 송신할 수 있다. 다른 실시 예에 따르면, 외부 전자 장치(400)는 제1 오디오 데이터를 획득하는 동안에는 메모리(550)에 제1 오디오 데이터를 저장하고, 제1 오디오 데이터의 획득을 중지한 이후에 제1 오디오 데이터를 전자 장치(300)에 전송할 수도 있다.
일 실시 예에 따르면, 동작 901 내지 동작 913을 통해, 전자 장치(300)는 전자 장치(300)가 녹화(record)한 제1 비디오 데이터, 및 외부 전자 장치(400)가 녹음(record)한 제1 오디오 데이터(및/또는 제2 오디오 데이터)를 포함하는 동영상 파일을 획득할 수 있다. 상기 제1 오디오 데이터와 상기 제1 비디오 데이터는 서로 동기화(synchronization)된 상태일 수 있다. 일 실시 예에 따르면, 전자 장치(300)가 외부 전자 장치(400)(예: 제1 이어 버드(400a) 및 제2 이어 버드(400b))로부터 바이노럴 레코딩(binaural recording)을 통해 획득한 제1 오디오 데이터 및 제2 오디오 데이터를 수신하고, 제1 비디오 데이터, 제1 오디오 데이터, 및 제2 오디오 데이터가 포함된 동영상 파일을 생성하는 경우에는, 전자 장치(300)는 스테레오(stereo) 오디오 데이터(예: 입체 음성 데이터)를 포함하는 동영상 파일을 생성할 수도 있다. 사용자는 외부 전자 장치(400)로부터 획득한 오디오 데이터를 포함하는 동영상 파일을 통해 현장감이나 생동감을 느낄 수 있다.
도 10은 일 실시 예에 따른 전자 장치(300)가 기준 데이터(600) 및 오디오 데이터에 노이즈 필터(1021, 1022)를 적용하는 예를 도시한다.
도 10을 참조하면, 프로세서(340)는 기준 데이터(600) 및 제1 오디오 데이터(610)에 노이즈 필터를 적용한 후에 상관을 분석할 수 있다. 도 10의 기준 데이터(600)는 도 9a의 기준 데이터(916, 926), 도 9b의 제1 기준 데이터(941), 및 제2 기준 데이터(942)를 포함하는 것으로 이해될 수 있다. 도 10의 제1 오디오 데이터(610)는 도 9b의 제1 오디오 데이터의 일부(611)를 포함할 수도 있고, 제2 오디오 데이터(620)로 대체될 수도 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정하기 위해 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 예를 들면, 프로세서(340)는 상관분석기(correlator)(1010)를 포함할 수 있다. 상관분석기(1010)는 프로세서(340) 내부에 배치된 하드웨어 모듈이거나, 프로세서(340)에 의해 실행될 수 있는 프로그램에 대응하는 소프트웨어 모듈일 수 있다. 프로세서(340)는 상관분석기(1010)를 통해 기준 데이터(600)와 제1 오디오 데이터(610)의 상관(예: 자기상관)을 분석할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)에 대해 제1 노이즈 필터(1021)를 적용하고, 제1 오디오 데이터(610)에 대해 제2 노이즈 필터(1022)를 적용하고, 상관분석기(1010)를 통해 제1 노이즈 필터(1021)가 적용된 기준 데이터(600)와 제2 노이즈 필터(1022)가 적용된 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 예를 들면, 기준 데이터(600) 또는 제1 오디오 데이터(610) 중 적어도 하나에 노이즈(예: 바람 소리)가 포함된 경우 기준 데이터(600)와 제1 오디오 데이터(610)의 상관이 검출되기 어려울 수 있다. 기준 데이터(600) 또는 제1 오디오 데이터(610) 중 어느 하나에 노이즈가 포함되어 있고, 기준 데이터(600)와 제1 오디오 데이터(610)에 공통적으로 포함된 오디오 패턴에 비해 상기 노이즈가 마스킹 효과를 발생시키는 경우, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 검출하기 어려울 수 있다. 따라서, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)에 각각 노이즈 필터(1021, 1022)를 적용한 후에 상관을 분석할 수 있다. 일 실시 예에 따르면, 노이즈 필터(1021, 1022)는 AI 기반 노이즈 제거 처리(AI-based noise removal process), 및/또는 LPF(low pass filter)를 포함할 수 있다. 기준 데이터(600) 및/또는 제1 오디오 데이터(610)에 포함될 수 있는 노이즈는 일반적으로 고주파수 데이터에 해당하므로, 프로세서(340)는 LPF를 이용하여 노이즈를 필터링할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 노이즈 필터(1021)가 적용된 기준 데이터(600)와 제2 노이즈 필터(1022)가 적용된 제1 오디오 데이터(610)의 상관분석 결과를 기반으로, 기준 데이터(600)에 비해 제1 오디오 데이터(610)가 딜레이 된 시간을 확인할 수 있다. 예를 들면, 프로세서(340)는 상관분석기(1010)의 출력 결과를 기반으로 기준 데이터(600)와 제1 오디오 데이터(610) 사이의 시간차를 추정(estimate time difference)할 수 있다.
도 9b 및 도 10을 참조하면, 프로세서(340)는 제1 기준 데이터(941)에 제1 노이즈 필터(1021)를 적용하고, 제1 오디오 데이터(610)에 제2 노이즈 필터(1022)를 적용할 수 있다. 프로세서(340)는 제2 노이즈 필터(1022)가 적용된 제1 오디오 데이터의 일부(611), 및 제1 노이즈 필터(1021)가 적용된 제1 기준 데이터(941)의 상관을 분석할 수 있다. 예를 들면, 프로세서(340)는 상관분석기(1010)를 통해 제2 노이즈 필터(1022)가 적용된 제1 오디오 데이터(610)의 일부(611), 및 제1 노이즈 필터(1021)가 적용된 제1 기준 데이터(941)의 상관을 분석할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제2 노이즈 필터(1022)가 적용된 제1 오디오 데이터의 일부(611), 및 제1 노이즈 필터(1021)가 적용된 제1 기준 데이터(941)의 상관분석 결과가 지정된 조건을 만족하는지 여부를 판단할 수 있다. 상기 지정된 조건이란 상관분석 결과를 기반으로 제1 오디오 데이터(610)가 딜레이 된 시간을 확인할 수 있다고 판단되는 경우를 의미할 수 있다. 예를 들면, 프로세서(340)는 상관분석 결과에 대응하는 그래프에서 피크를 판별할 수 있다고 판단한 경우, 상기 지정된 조건이 만족되었다고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 제1 노이즈 필터(1021)가 적용된 제1 기준 데이터(941)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다. 프로세서(340)는 제2 노이즈 필터(1022)가 적용된 제1 기준 데이터(941)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다고 판단되는 경우, 마이크(320)가 활성화되는 제1 스케줄을 제2 스케줄로 변경하지 않고 제1 오디오 데이터(610)의 딜레이를 보정할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 제1 스케줄을 제2 스케줄로 변경할 수 있다. 프로세서(340)는 제1 기준 데이터(941) 및 제1 오디오 데이터의 일부(611)에 노이즈 필터(1021, 1022)를 적용하더라도 제1 오디오 데이터(610)의 딜레이를 보정하기 어렵다고 판단되는 경우, 마이크(320)를 활성화시키는 스케줄을 변경하여 제2 기준 데이터(942)를 획득할 수 있다.
도 11은 일 실시 예에 따른 외부 전자 장치(402)가 복수의 외부 마이크(422, 423, 424, 425)를 포함하는 경우의 예를 도시한다.
도 11을 참조하면, 도 5 내지 도 10의 외부 전자 장치(400)는 외부 전자 장치(402)로 대체될 수 있고, 외부 전자 장치(402)는 제1 이어 버드(402a) 및 제2 이어 버드(402b)를 포함할 수 있다. 제1 이어 버드(402a)는 제1 외부 마이크(422) 및 제2 외부 마이크(423)를 포함할 수 있고, 제2 이어 버드(402b)는 제3 외부 마이크(424) 및 제4 외부 마이크(425)를 포함할 수 있다. 다만, 도 11과 관련한 설명에서 제1 이어 버드(402a)가 포함하는 제1 외부 마이크(422)와 제2 외부 마이크(423)에 대한 개시는, 외부 전자 장치(400)가 포함하는 제1 외부 마이크(422)와 제2 외부 마이크(423)에 대한 것으로 대체될 수 있다.
일 실시 예에 따르면, 외부 전자 장치(402)(예: 제1 이어 버드(402a))는 제1 외부 마이크(422)를 이용하여 제1 비디오 데이터에 대응하는 제1 오디오 데이터(1110)를 획득할 수 있고, 제2 외부 마이크(423)를 이용하여 제1 비디오 데이터에 대응하는 제2 오디오 데이터(1120)를 획득할 수 있다. 외부 전자 장치(402)(예: 제1 이어 버드(402a))는 제1 오디오 데이터(1110) 및 제2 오디오 데이터(1120)를 무선 데이터 송수신 경로를 통해 전자 장치(300)에 송신할 수 있다. 프로세서(340)는 무선 통신 회로(330)를 통해 제1 오디오 데이터(1110) 및 제2 오디오 데이터(1120)를 수신할 수 있다. 도 11에 도시된 제1 오디오 데이터(1110)는 도 6의 제1 오디오 데이터(610)에 포함될 수 있다. 다만, 도 11에 도시된 제2 오디오 데이터(1120)는 도 6의 제2 오디오 데이터(620)와 구별된다.
일 실시 예에 따르면, 프로세서(340)는 제1 오디오 데이터(1110)와 기준 데이터(600)의 상관을 분석할 수 있고, 제2 오디오 데이터(1110)와 기준 데이터(600)의 상관을 분석할 수 있다. 즉, 프로세서(340)는 제1 오디오 데이터(1110) 및 제2 오디오 데이터(1120) 각각과 기준 데이터(600)의 상관을 분석할 수 있다.
도 11을 참조하면, 그래프(1115)는 제1 오디오 데이터(1110)와 기준 데이터(600)의 상관분석 결과에 대응하고, 그래프(1125)는 제2 오디오 데이터(1120)와 기준 데이터(600)의 상관분석 결과에 대응할 수 있다. 일 실시 예에 따르면, 제1 오디오 데이터(1110)와 기준 데이터(600)의 상관분석 결과, 및 제2 오디오 데이터(1120)와 기준 데이터(600)의 상관분석 결과는 서로 다를 수 있다. 예를 들면, 제1 오디오 데이터(1110)와 기준 데이터(600)의 상관이 충분히 검출되지 않은 경우, 그래프(1115)는 그래프(1125)에 비해 완만한 형태로 나타날 수 있다. 즉, 그래프(1115)에 비해 그래프(1125)에서 피크가 판별되기 쉬울 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상관분석 결과(예: 그래프(1115), 그래프(1125))를 기반으로 제1 오디오 데이터(1110)와 제2 오디오 데이터(1120) 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택할 수 있다. 상기 지정된 조건이란, 프로세서(340)가 기준 데이터(600)를 기반으로 딜레이를 보정하기에 보다 더 용이한 오디오 데이터를 의미할 수 있다. 예를 들면, 프로세서(340)는 그래프(1115)보다 그래프(1125)에서 피크를 판별하기 용이하므로, 제1 오디오 데이터(1110)와 제2 오디오 데이터(1120) 중에서 제2 오디오 데이터(1120)가 상기 지정된 조건을 만족한다고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 제1 비디오 데이터, 및 상기 선택된 오디오 데이터(예: 제2 오디오 데이터(1120))를 기반으로 동영상 파일을 생성할 수 있다. 예를 들면, 프로세서(340)는 제1 이어 버드(402a)로부터 획득한 여러 세트의 오디오 데이터 중에서 기준 데이터(600)와 상관이 가장 잘 검출되는 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다. 프로세서(340)는 제1 이어 버드(402a)로부터 여러 세트의 오디오 데이터를 수신한 경우에도, 수신된 모든 오디오 데이터를 이용하여 동영상 파일을 생성하지는 않을 수 있다.
일 실시 예에 따르면, 프로세서(340)는 기준 데이터(600)에 비해 상기 선택된 오디오 데이터(예: 제2 오디오 데이터(1120))가 딜레이 된 시간을 확인할 수 있고, 상기 딜레이 된 시간을 기반으로 제1 오디오 데이터(1110) 및 제2 오디오 데이터(1120)의 딜레이를 보정할 수도 있다. 제1 오디오 데이터(1110)와 제2 오디오 데이터(1120)는 전자 장치(300)와 제1 이어 버드(402a) 간의 무선 통신을 통해 함께 송신되므로, 상기 선택된 오디오 데이터가 딜레이 된 시간을 기반으로 선택되지 않은 오디오 데이터가 딜레이 된 시간을 보정할 수도 있다. 예를 들면, 프로세서(340)는 기준 데이터(600)와 상기 선택된 제2 오디오 데이터(1120)의 상관분석 결과(예: 그래프(1125))를 기반으로, 제2 오디오 데이터(1120)가 딜레이 된 시간을 확인할 수 있다. 프로세서(340)는 상기 제2 오디오 데이터(1120)가 딜레이 된 시간을 기반으로, 제2 오디오 데이터(1120) 뿐만 아니라 제1 오디오 데이터(1110)의 딜레이를 함께 보정할 수 있다. 프로세서(340)는 제1 비디오 데이터, 상기 보정된 제1 오디오 데이터(1110), 및 상기 보정된 제2 오디오 데이터(1120)를 기반으로 동영상 파일을 생성할 수 있다.
도 9b 및 도 11을 참조하면, 프로세서(340)는 제1 기준 데이터(941) 및 제1 오디오 데이터(1110)(및/또는, 제2 오디오 데이터(1120))의 비교 결과를 기반으로 제1 스케줄을 제2 스케줄로 변경하고, 상기 제2 스케줄에 따라 제2 기준 데이터(942)를 획득할 수 있다. 프로세서(340)는 제1 오디오 데이터(1110)와 제2 기준 데이터(942)의 상관을 분석하고, 제2 오디오 데이터(1120)와 제2 기준 데이터(942)의 상관을 분석할 수도 있다. 그래프(1115)는 제1 오디오 데이터(1110)와 제2 기준 데이터(942)의 상관분석 결과에 대응하고, 그래프(1125)는 제2 오디오 데이터(1120)와 제2 기준 데이터(942)의 상관분석 결과에 대응할 수 있다. 프로세서(340)는 제1 오디오 데이터(1110)와 제2 기준 데이터(942)의 상관분석 결과(예: 그래프(1115)와 제2 오디오 데이터(1120)와 제2 기준 데이터(942)의 상관분석 결과(예: 그래프(1125)를 비교할 때, 제2 오디오 데이터(1120)가 제2 기준 데이터(942)와 상관을 검출하기에 더 용이하므로 제2 오디오 데이터(1120)를 기반으로 동영상 파일을 생성할 수 있다.
도 11과 관련한 설명에서, 제1 외부 마이크(422)를 통해 획득된 제1 오디오 데이터(1110) 및 제2 외부 마이크(423)를 통해 획득된 제2 오디오 데이터(1120)에 대한 설명은, 제3 외부 마이크(424)를 통해 획득된 제3 오디오 데이터(1130) 및 제4 외부 마이크를 통해 획득된 제4 오디오 데이터(1140)에 대해서도 적용될 수 있다. 예를 들면, 프로세서(340)는 제2 이어 버드(402b)로부터 제3 오디오 데이터(1130), 및 제4 오디오 데이터(1140)를 획득할 수 있고, 기준 데이터(600)와 제3 오디오 데이터(1130)의 상관을 분석할 수 있고, 기준 데이터(600)와 제4 오디오 데이터(1140)의 상관을 분석할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제3 오디오 데이터(1130)와 제4 오디오 데이터(1140) 중 제3 오디오 데이터(1130)가 상기 지정된 조건을 만족한다고 판단할 수 있고, 제1 비디오 데이터, 제2 오디오 데이터(1120), 및 제3 오디오 데이터(1130)를 기반으로 동영상 파일을 생성할 수 있다. 다른 실시 예에 따르면, 프로세서(340)는 제3 오디오 데이터(1130)와 제4 오디오 데이터(1140) 중 제3 오디오 데이터(1130)가 상기 지정된 조건을 만족한다고 판단할 수 있고, 기준 데이터(600)에 비해 제3 오디오 데이터(1130)가 딜레이 된 시간을 확인할 수 있고, 상기 딜레이 된 시간을 기반으로 제3 오디오 데이터(1130)와 제4 오디오 데이터(1140)의 딜레이를 보정할 수 있다. 프로세서(340)는 제1 비디오 데이터, 제1 오디오 데이터(1110), 제2 오디오 데이터(1120), 제3 오디오 데이터(1130), 및 제4 오디오 데이터(1140)를 기반으로 동영상 파일을 생성할 수 있다.
도 12a는 일 실시 예에 따른 전자 장치(300)가 오디오 데이터를 선택적으로 이용하여 동영상 파일을 생성하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(340)는 마이크(320)를 통해 획득한 기준 데이터(600)와 외부 전자 장치(400)로부터 획득한 제1 오디오 데이터(610)의 상관을 분석할 수 있고, 상관분석 결과가 지정된 조건을 만족하는지 여부에 따라 제1 오디오 데이터(610) 또는 마이크(320)를 통해 획득된 내부 오디오 데이터(1201) 중 어느 하나의 데이터, 및 제1 비디오 데이터(930)를 기반으로 동영상 파일을 생성할 수 있다. 상기 지정된 조건이란, 프로세서(340)가 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있는 것을 의미할 수 있다. 즉, 프로세서(340)는 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있는지 여부를 판단하고, 딜레이를 보정할 수 있는 경우에는 보정된 제1 오디오 데이터를 포함하는 동영상 파일을 생성하고, 딜레이를 보정할 수 없는 경우(예: 노이즈가 많이 녹음되는 환경)에는 제1 오디오 데이터 대신 마이크(320)를 통해 획득한 오디오 데이터를 포함하는 동영상 파일을 생성할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상관분석 결과가 지정된 조건을 만족하는 것에 응답하여, 기준 데이터(600)를 기반으로 제1 오디오 데이터(610)의 딜레이를 보정할 수 있고, 제1 비디오 데이터(930) 및 딜레이가 보정된 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 마이크(320)를 이용하여 제1 비디오 데이터(930)에 대응하는 내부 오디오 데이터(1201)를 획득할 수 있다. 내부 오디오 데이터(1201)란, 프로세서(340)가 마이크(320)를 비활성화 시키지 않고 제1 비디오 데이터(930)에 대응하도록 계속적으로 획득한 오디오 데이터로 이해될 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제1 비디오 데이터(930) 및 내부 오디오 데이터(1201)를 기반으로 동영상 파일을 생성할 수 있다. 프로세서(340)가 마이크(320)를 이용하여 내부 오디오 데이터(1201)를 획득하는 경우, 내부 오디오 데이터(1201)는 유선 데이터 송수신 경로를 통해 프로세서(340)에 제공되므로 내부 오디오 데이터(1201)는 딜레이 되지 않은 데이터일 수 있다. 따라서, 프로세서(340)는 내부 오디오 데이터(1201)의 딜레이를 보정하지 않고, 카메라(310)를 통해 획득한 제1 비디오 데이터(930) 및 마이크(320)를 통해 획득한 내부 오디오 데이터(1201)를 기반으로 동영상 파일을 생성할 수 있다.
도 12a는 시간의 흐름에 따라 제1 오디오 데이터(610) 또는 내부 오디오 데이터(1201)를 기반으로 동영상 파일을 생성하는 예를 도시한다. 도 12a에 도시된 그래프의 가로축은 시간의 진행을 나타낸다.
일 실시 예에 따르면, 시점 t1에서, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 도 12a를 참조하면, 프로세서(340)는 시점 t1의 상관분석 결과가 상기 지정된 조건을 만족한다고 판단할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제1 구간(1210)에 대응하는 동영상 파일을 제1 비디오 데이터(930), 및 외부 전자 장치(400)로부터 획득되고 딜레이가 보정된 제1 오디오 데이터(610)를 기반으로 생성할 수 있다.
일 실시 예에 따르면, 시점 t2에서, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관분석 결과가 상기 지정된 조건을 만족하지 않는다고 판단할 수 있다. 예를 들면, 프로세서(340)는 제1 구간(1210)동안 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 연속적으로 분석할 수 있고, 시점 t2일 때에 상관분석 결과가 지정된 조건을 만족하지 못하게 되었다고 판단할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제2 구간(1220)동안 마이크(320)를 계속적으로 활성화시켜 내부 오디오 데이터(1201)를 획득할 수 있다. 프로세서(340)는 제2 구간(1220)에 대응하는 동영상 파일을 제1 비디오 데이터(930), 및 마이크(320)를 통해 획득된 내부 오디오 데이터(1201)를 기반으로 생성할 수 있다.
일 실시 예에 따르면, 시점 t3에서, 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관분석 결과가 상기 지정된 조건을 만족한다고 판단할 수 있다. 예를 들면, 프로세서(340)는 제2 구간(1220)동안에도 외부 전자 장치(400)로부터 제1 오디오 데이터(610)를 획득할 수 있고, 내부 오디오 데이터(1201)의 일부를 기반으로 기준 데이터(600)를 획득할 수 있다. 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관을 계속하여 분석할 수 있으며, 시점 t3에 상관분석 결과가 지정된 조건을 만족하게 되었다고 판단할 수 있다. 일 실시 예에 따르면, 프로세서(340)는 제3 구간(1230)동안 마이크(320)를 활성화시키는 스케줄을 제1 구간(1210)과 같이 변경할 수 있고, 제3 구간(1230)에 대응하는 동영상 파일은 제1 비디오 데이터(930) 및 보정된 제1 오디오 데이터(610)를 기반으로 생성할 수 있다.
도 12a와 관련하여 프로세서(340)는 기준 데이터(600)와 제1 오디오 데이터(610)의 상관분석을 기준으로 설명되었으나. 이는 하나의 예시로서 다양한 실시 예가 가능하다. 예를 들면, 프로세서(340)는 기준 데이터(600) 중에서 도 9b에서 설명된 제2 기준 데이터(942)와 제1 오디오 데이터(610)의 상관을 분석할 수 있다. 다른 예를 들면, 프로세서(340)는 기준 데이터(600)와 제2 이어 버드(402b)로부터 획득된 오디오 데이터(예: 도 6의 제2 오디오 데이터(620))의 상관을 분석할 수도 있다.
일 실시 예에 따르면, 도 12a에 도시된 바와 같이, 프로세서(340)는 제1 구간(1210)에는 마이크(320)를 주기적으로 활성화시켜 기준 데이터(600)를 획득하고, 제2 구간(1220)에는 마이크(320)를 지속적으로 활성화시켜 내부 오디오 데이터(1201)를 획득할 수 있으나, 도 12a에 도시된 바와 달리, 프로세서(340)는 제1 구간(1210)에도 마이크(320)를 지속적으로 활성화시켜 데이터를 획득하고, 제1 구간(1210)동안 획득한 데이터 중 일부를 기준 데이터(600)로 이용할 수도 있다.
도 12b는 일 실시 예에 따른 전자 장치(300)가 디스플레이(예: 도 1의 디스플레이 모듈(160))에 표시하는 UI(1250)의 예를 도시한다. 도 12b의 전자 장치(300)는 도 1의 전자 장치(101)에 대응될 수 있고, 전자 장치(300)는 디스플레이(1200)(예: 도 1의 디스플레이 모듈(160))를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(340)는 상기 동영상 파일에 포함되는 오디오 데이터가 외부 전자 장치(400)로부터 획득된 것(예: 제1 오디오 데이터(610))인지 또는 마이크(320)를 통해 획득된 것(예: 도 12a에서 설명된 내부 오디오 데이터(1201))인지 여부를 나타내는 UI(user interface)(1250)를 디스플레이(1200)에 표시할 수 있다.
도 12b를 참조하면, 프로세서(340)는 제1 비디오 데이터를 획득하는 동안 디스플레이(1200)에 프리뷰 동영상을 표시할 수 있다. 프로세서(340)는 디스플레이(1200)에 표시되는 프리뷰 동영상 중 지정된 영역에 UI(1250)를 표시할 수 있다. 예를 들면, 프로세서(340)는 "Ear phone", "Mic"라는 문자를 포함하는 UI(1250)를 디스플레이(1200)에 표시할 수 있고, "Ear phone" 또는 "Mic" 중 어느 하나의 문자가 강조되도록(예: 서로 다른 색깔을 가지도록) 표시할 수 있다. 프로세서(340)는 외부 전자 장치(400)로부터 획득한 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성하는 구간에서는 상기 UI(1250) 중 "Ear phone"이라는 문자가 강조되도록 표시할 수 있다. 프로세서(340)는 마이크(320)를 이용하여 획득한 내부 오디오 데이터(1201)를 기반으로 동영상 파일을 생성하는 구간에서는 상기 UI(1250) 중 "Mic"라는 문자가 강조되도록 표시할 수 있다. 다만, 상기 UI(1250)에 대한 도시 및 설명은 하나의 예시로서, 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다. 예를 들면, 프로세서(340)는 "Ear phone"이나 "Mic" 중 어느 하나만을 번갈아 가면서 디스플레이(1200)에 표시할 수도 있고, 상기 "Ear phone"이나 "Mic"를 다른 단어(예: earbuds)로 대체할 수도 있으며, 문자가 아닌 아이콘이나 기호를 포함하는 UI(1250)를 디스플레이(1200)에 표시할 수도 있다.
다른 실시 예에서, 프로세서(340)는 디스플레이(1200)에 표시된 UI(1250)에 대한 사용자 입력을 수신한 것에 응답하여, 제1 비디오 데이터와 함께 제1 오디오 데이터(610) 또는 내부 오디오 데이터(예: 도 12a에서 설명된 내부 오디오 데이터(1201)) 중 어느 하나를 기반으로 상기 동영상 파일을 생성할 수도 있다. 예를 들면, 프로세서(340)는 UI(1250) 중 “Ear phone”에 대한 터치 입력을 수신한 것에 응답하여 제1 비디오 데이터 및 제1 오디오 데이터(610)를 기반으로 동영상 파일을 생성할 수 있고, UI(1250) 중 “Mic”에 대한 터치 입력을 수신한 것에 응답하여 제1 비디오 데이터 및 내부 오디오 데이터를 기반으로 동영상 파일을 생성할 수도 있다.
일 실시 예에 따른 전자 장치는, 카메라. 마이크. 외부 전자 장치와 데이터를 송수신하는 무선 통신 회로. 및 상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여 제1 비디오 데이터를 획득하고, 상기 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하고, 상기 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하고, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하고, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고, 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 외부 전자 장치는 제1 이어 버드, 및 제2 이어 버드를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 이어 버드로부터 상기 제1 비디오 데이터에 대응하는 상기 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제2 이어 버드로부터 상기 제1 비디오 데이터에 대응하는 제2 오디오 데이터를 상기 무선 통신 회로를 통해 수신할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터의 딜레이를 각각 보정하고, 상기 제1 비디오 데이터, 상기 보정된 제1 오디오 데이터, 및 상기 보정된 제2 오디오 데이터를 기반으로 상기 동영상 파일을 생성할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 제1 스케줄은 상기 마이크를 활성화시키는 주기(interval) 및 지속시간(duration)을 포함하고, 상기 제2 스케줄은 상기 제1 스케줄에 비해 상기 주기 또는 상기 지속시간 중 적어도 하나가 변경될 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하고, 상관분석 결과를 기반으로 상기 제2 기준 데이터에 비해 상기 제1 오디오 데이터가 딜레이 된 시간을 확인하고, 상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터의 딜레이를 보정할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 기준 데이터에 제1 노이즈 필터를 적용하고, 상기 제1 오디오 데이터에 제2 노이즈 필터를 적용하고, 상기 제2 노이즈 필터가 적용된 제1 오디오 데이터의 일부와 상기 제1 노이즈 필터가 적용된 제1 기준 데이터의 상관을 분석하고, 상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하고, 상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제1 노이즈 필터가 적용된 상기 제1 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고, 상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 제1 스케줄을 상기 제2 스케줄로 변경할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 외부 전자 장치는 제1 외부 마이크, 제2 외부 마이크를 포함하고, 상기 적어도 하나의 프로세서는, 상기 외부 전자 장치가 상기 제1 외부 마이크를 이용하여 획득한 상기 제1 오디오 데이터, 및 상기 외부 전자 장치가 상기 제2 외부 마이크를 이용하여 획득한 제2 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터는 상기 제1 비디오 데이터에 대응함, 상기 제1 오디오 데이터, 및 상기 제2 오디오 데이터 각각과 상기 제2 기준 데이터의 상관을 분석할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상관분석 결과를 기반으로 상기 제1 오디오 데이터와 상기 제2 오디오 데이터 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택하고, 상기 제1 비디오 데이터, 및 상기 선택된 오디오 데이터를 기반으로 상기 동영상 파일을 생성할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상관분석 결과를 기반으로 상기 제1 오디오 데이터와 상기 제2 오디오 데이터 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택하고, 상기 제2 기준 데이터에 비해 상기 선택된 오디오 데이터가 딜레이 된 시간을 확인하고, 상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터, 및 상기 제2 오디오 데이터의 딜레이를 보정할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하고, 상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하고, 상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하여 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 상기 동영상 파일을 생성하고, 상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 마이크를 이용하여 상기 제1 비디오 데이터에 대응하는 내부 오디오 데이터를 획득하여 상기 제1 비디오 데이터 및 상기 내부 오디오 데이터를 기반으로 상기 동영상 파일을 생성할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서와 작동적으로 연결된 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 동영상 파일에 포함되는 오디오 데이터가 상기 외부 전자 장치로부터 획득된 것인지 또는 상기 마이크를 통해 획득된 것인지 여부를 나타내는 UI(user interface)를 상기 디스플레이에 표시할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치에 포함된 카메라를 이용하여 제1 비디오 데이터를 획득하는 동작, 상기 전자 장치에 포함된 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하는 동작, 상기 전자 장치에 포함된 무선 통신 회로를 통해, 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 수신하는 동작, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하는 동작, 상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하는 동작, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작, 및 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 제1 스케줄을 상기 제2 스케줄로 변경하는 동작은, 상기 마이크를 활성화시키는 주기를 변경하는 동작, 또는 상기 마이크를 활성화시키는 지속시간을 변경하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작은, 상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하는 동작, 상관분석 결과를 기반으로 상기 제2 기준 데이터에 비해 상기 제1 오디오 데이터가 딜레이 된 시간을 확인하는 동작, 및 상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터를 비교하는 동작은, 상기 제1 기준 데이터에 제1 노이즈 필터를 적용하는 동작, 상기 제1 오디오 데이터에 제2 노이즈 필터를 적용하는 동작, 상기 제2 노이즈 필터가 적용된 제1 오디오 데이터의 일부와 상기 제1 노이즈 필터가 적용된 제1 기준 데이터의 상관을 분석하는 동작, 상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하는 동작, 상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제1 노이즈 필터가 적용된 상기 제1 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작, 및 상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 제1 스케줄을 상기 제2 스케줄로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 카메라, 마이크, 제1 외부 마이크 및 제2 외부 마이크를 포함하는 외부 전자 장치와 데이터를 송수신하는 무선 통신 회로, 및 상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 카메라를 이용하여 제1 비디오 데이터를 획득하고, 상기 마이크를 이용하여 지정된 스케줄에 따라 기준 데이터를 획득하고, 상기 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터와 상기 기준 데이터의 비교 결과를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고, 상기 제1 비디오 데이터, 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 지정된 스케줄은 상기 마이크를 활성화시키는 주기 및 지속시간을 포함할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 지속시간에 포함되지 않는 시간동안 상기 마이크를 비활성화 시킬 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 사용자로부터 동영상 촬영을 시작하는 사용자 입력을 수신하고, 상기 카메라가 상기 제1 비디오 데이터를 획득하도록 제어하고, 상기 무선 통신 회로를 통해 상기 외부 전자 장치가 상기 제1 오디오 데이터를 획득하도록 제어하는 신호를 송신할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 사용자로부터 동영상 촬영을 중지하는 사용자 입력을 수신하고, 상기 카메라가 상기 제1 비디오 데이터의 획득을 중지하도록 제어하고, 상기 무선 통신 회로를 통해 상기 외부 전자 장치가 상기 제1 오디오 데이터의 획득을 중지하도록 제어하는 신호를 송신할 수 있다.
Claims (20)
- 전자 장치에 있어서,
카메라;
마이크;
외부 전자 장치와 데이터를 송수신하는 무선 통신 회로; 및
상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
상기 카메라를 이용하여 제1 비디오 데이터를 획득하고,
상기 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하고,
상기 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고,
상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하고,
상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하고,
상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고,
상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는, 전자 장치. - 청구항 1에 있어서,
상기 외부 전자 장치는 제1 이어 버드, 및 제2 이어 버드를 포함하고,
상기 적어도 하나의 프로세서는:
상기 제1 이어 버드로부터 상기 제1 비디오 데이터에 대응하는 상기 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고,
상기 제2 이어 버드로부터 상기 제1 비디오 데이터에 대응하는 제2 오디오 데이터를 상기 무선 통신 회로를 통해 수신하는, 전자 장치. - 청구항 2에 있어서,
상기 적어도 하나의 프로세서는:
상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터의 딜레이를 각각 보정하고,
상기 제1 비디오 데이터, 상기 보정된 제1 오디오 데이터, 및 상기 보정된 제2 오디오 데이터를 기반으로 상기 동영상 파일을 생성하는, 전자 장치. - 청구항 1에 있어서,
상기 제1 스케줄은 상기 마이크를 활성화시키는 주기(interval) 및 지속시간(duration)을 포함하고,
상기 제2 스케줄은 상기 제1 스케줄에 비해 상기 주기 또는 상기 지속시간 중 적어도 하나가 변경된, 전자 장치. - 청구항 1에 있어서,
상기 적어도 하나의 프로세서는:
상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하고,
상관분석 결과를 기반으로 상기 제2 기준 데이터에 비해 상기 제1 오디오 데이터가 딜레이 된 시간을 확인하고,
상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는, 전자 장치. - 청구항 1에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 기준 데이터에 제1 노이즈 필터를 적용하고,
상기 제1 오디오 데이터에 제2 노이즈 필터를 적용하고,
상기 제2 노이즈 필터가 적용된 제1 오디오 데이터의 일부와 상기 제1 노이즈 필터가 적용된 제1 기준 데이터의 상관을 분석하고,
상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하고,
상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제1 노이즈 필터가 적용된 상기 제1 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고,
상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 제1 스케줄을 상기 제2 스케줄로 변경하는, 전자 장치. - 청구항 1에 있어서,
상기 외부 전자 장치는 제1 외부 마이크, 제2 외부 마이크를 포함하고,
상기 적어도 하나의 프로세서는:
상기 외부 전자 장치가 상기 제1 외부 마이크를 이용하여 획득한 상기 제1 오디오 데이터, 및 상기 외부 전자 장치가 상기 제2 외부 마이크를 이용하여 획득한 제2 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고, 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터는 상기 제1 비디오 데이터에 대응함;
상기 제1 오디오 데이터, 및 상기 제2 오디오 데이터 각각과 상기 제2 기준 데이터의 상관을 분석하는, 전자 장치. - 청구항 7에 있어서,
상기 적어도 하나의 프로세서는:
상관분석 결과를 기반으로 상기 제1 오디오 데이터와 상기 제2 오디오 데이터 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택하고,
상기 제1 비디오 데이터, 및 상기 선택된 오디오 데이터를 기반으로 상기 동영상 파일을 생성하는, 전자 장치. - 청구항 7에 있어서,
상기 적어도 하나의 프로세서는:
상관분석 결과를 기반으로 상기 제1 오디오 데이터와 상기 제2 오디오 데이터 중 지정된 조건을 만족하는 어느 하나의 오디오 데이터를 선택하고,
상기 제2 기준 데이터에 비해 상기 선택된 오디오 데이터가 딜레이 된 시간을 확인하고,
상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터, 및 상기 제2 오디오 데이터의 딜레이를 보정하는, 전자 장치. - 청구항 1에 있어서,
상기 적어도 하나의 프로세서는:
상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하고,
상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하고,
상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하여 상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 상기 동영상 파일을 생성하고,
상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 마이크를 이용하여 상기 제1 비디오 데이터에 대응하는 내부 오디오 데이터를 획득하여 상기 제1 비디오 데이터 및 상기 내부 오디오 데이터를 기반으로 상기 동영상 파일을 생성하는, 전자 장치. - 청구항 10에 있어서,
상기 적어도 하나의 프로세서와 작동적으로 연결된 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 동영상 파일에 포함되는 오디오 데이터가 상기 외부 전자 장치로부터 획득된 것인지 또는 상기 마이크를 통해 획득된 것인지 여부를 나타내는 UI(user interface)를 상기 디스플레이에 표시하는, 전자 장치. - 전자 장치의 동작 방법에 있어서,
상기 전자 장치에 포함된 카메라를 이용하여 제1 비디오 데이터를 획득하는 동작;
상기 전자 장치에 포함된 마이크를 이용하여 제1 시간 구간동안 제1 스케줄에 따라 제1 기준 데이터를 획득하는 동작;
상기 전자 장치에 포함된 무선 통신 회로를 통해, 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 수신하는 동작;
상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터의 비교 결과에 기반하여 상기 제1 스케줄을 제2 스케줄로 변경하는 동작;
상기 마이크를 이용하여 상기 제1 시간 구간에 후속하는 제2 시간 구간동안 상기 제2 스케줄에 따라 제2 기준 데이터를 획득하는 동작;
상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작; 및
상기 제1 비디오 데이터 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는 동작을 포함하는, 전자 장치의 동작 방법. - 청구항 12에 있어서,
상기 제1 스케줄을 상기 제2 스케줄로 변경하는 동작은:
상기 마이크를 활성화시키는 주기를 변경하는 동작, 또는 상기 마이크를 활성화시키는 지속시간을 변경하는 동작 중 적어도 하나를 포함하는, 전자 장치의 동작 방법. - 청구항 12에 있어서,
상기 제2 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작은:
상기 제2 기준 데이터 및 상기 제1 오디오 데이터의 상관을 분석하는 동작;
상관분석 결과를 기반으로 상기 제2 기준 데이터에 비해 상기 제1 오디오 데이터가 딜레이 된 시간을 확인하는 동작; 및
상기 딜레이 된 시간을 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작을 포함하는, 전자 장치의 동작 방법. - 청구항 12에 있어서,
상기 제1 오디오 데이터의 일부와 상기 제1 기준 데이터를 비교하는 동작은:
상기 제1 기준 데이터에 제1 노이즈 필터를 적용하는 동작;
상기 제1 오디오 데이터에 제2 노이즈 필터를 적용하는 동작;
상기 제2 노이즈 필터가 적용된 제1 오디오 데이터의 일부와 상기 제1 노이즈 필터가 적용된 제1 기준 데이터의 상관을 분석하는 동작;
상관분석 결과가 지정된 조건을 만족하는지 여부를 판단하는 동작;
상기 상관분석 결과가 상기 지정된 조건을 만족하는 것에 응답하여, 상기 제1 노이즈 필터가 적용된 상기 제1 기준 데이터를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하는 동작; 및
상기 상관분석 결과가 상기 지정된 조건을 만족하지 않는 것에 응답하여, 상기 제1 스케줄을 상기 제2 스케줄로 변경하는 동작을 포함하는, 전자 장치의 동작 방법. - 전자 장치에 있어서,
카메라;
마이크;
제1 외부 마이크 및 제2 외부 마이크를 포함하는 외부 전자 장치와 데이터를 송수신하는 무선 통신 회로; 및
상기 카메라, 상기 마이크, 및 상기 무선 통신 회로와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
상기 카메라를 이용하여 제1 비디오 데이터를 획득하고,
상기 마이크를 이용하여 지정된 스케줄에 따라 기준 데이터를 획득하고,
상기 외부 전자 장치로부터 상기 제1 비디오 데이터에 대응하는 제1 오디오 데이터를 상기 무선 통신 회로를 통해 수신하고,
상기 제1 오디오 데이터와 상기 기준 데이터의 비교 결과를 기반으로 상기 제1 오디오 데이터의 딜레이를 보정하고,
상기 제1 비디오 데이터, 및 상기 보정된 제1 오디오 데이터를 기반으로 동영상 파일을 생성하는, 전자 장치. - 청구항 16에 있어서,
상기 지정된 스케줄은 상기 마이크를 활성화시키는 주기 및 지속시간을 포함하는, 전자 장치. - 청구항 17에 있어서,
상기 적어도 하나의 프로세서는, 상기 지속시간에 포함되지 않는 시간동안 상기 마이크를 비활성화시키는, 전자 장치. - 청구항 16에 있어서,
상기 적어도 하나의 프로세서는:
사용자로부터 동영상 촬영을 시작하는 사용자 입력을 수신하고,
상기 카메라가 상기 제1 비디오 데이터를 획득하도록 제어하고,
상기 무선 통신 회로를 통해 상기 외부 전자 장치가 상기 제1 오디오 데이터를 획득하도록 제어하는 신호를 송신하는, 전자 장치. - 청구항 16에 있어서,
상기 적어도 하나의 프로세서는:
사용자로부터 동영상 촬영을 중지하는 사용자 입력을 수신하고,
상기 카메라가 상기 제1 비디오 데이터의 획득을 중지하도록 제어하고,
상기 무선 통신 회로를 통해 상기 외부 전자 장치가 상기 제1 오디오 데이터의 획득을 중지하도록 제어하는 신호를 송신하는, 전자 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210120620A KR20230037385A (ko) | 2021-09-09 | 2021-09-09 | 동영상을 촬영하는 전자 장치 및 그 동작 방법 |
| PCT/KR2022/009373 WO2023038252A1 (ko) | 2021-09-09 | 2022-06-30 | 동영상을 촬영하는 전자 장치 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210120620A KR20230037385A (ko) | 2021-09-09 | 2021-09-09 | 동영상을 촬영하는 전자 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230037385A true KR20230037385A (ko) | 2023-03-16 |
Family
ID=85506578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210120620A KR20230037385A (ko) | 2021-09-09 | 2021-09-09 | 동영상을 촬영하는 전자 장치 및 그 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230037385A (ko) |
| WO (1) | WO2023038252A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5381091B2 (ja) * | 2008-12-26 | 2014-01-08 | ヤマハ株式会社 | ハウリング防止装置 |
| JP2010171625A (ja) * | 2009-01-21 | 2010-08-05 | Olympus Corp | 撮像装置、録音装置、および動画撮影システム |
| KR20110083360A (ko) * | 2010-01-14 | 2011-07-20 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| JP2017103542A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社小野測器 | 同期装置、同期方法及び同期プログラム |
| US10462512B2 (en) * | 2017-03-31 | 2019-10-29 | Gracenote, Inc. | Music service with motion video |
-
2021
- 2021-09-09 KR KR1020210120620A patent/KR20230037385A/ko unknown
-
2022
- 2022-06-30 WO PCT/KR2022/009373 patent/WO2023038252A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023038252A1 (ko) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220006753A (ko) | 영상을 제공하는 방법 및 이를 지원하는 전자 장치 | |
| US20230410268A1 (en) | Method for providing image, and electronic device supporting same | |
| KR20230037385A (ko) | 동영상을 촬영하는 전자 장치 및 그 동작 방법 | |
| KR20220099789A (ko) | 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법 | |
| KR20220151932A (ko) | 전자 장치 및 전자 장치의 동작 방법 | |
| KR20220125648A (ko) | 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법 | |
| KR20210155961A (ko) | 전자 장치 및 전자 장치의 동작 방법 | |
| KR20220017332A (ko) | 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법 | |
| KR20220103548A (ko) | 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법 | |
| KR20220169254A (ko) | 플리커 현상을 방지하는 전자 장치 및 그 동작 방법 | |
| KR20220017109A (ko) | 이미지를 생성하는 전자 장치 및 방법 | |
| KR20230023506A (ko) | 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법 | |
| KR20220132270A (ko) | 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법 | |
| KR20220022315A (ko) | 카메라 및 마이크를 포함하는 전자 장치 | |
| KR20220160341A (ko) | 렌즈 구동 정보와 이미지를 동기화하는 전자 장치 | |
| KR20220101998A (ko) | 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법 | |
| KR20220101452A (ko) | 영상 처리 방법 및 이를 지원하는 전자 장치 | |
| KR20230119570A (ko) | 이미지를 보정하는 장치 및 그 방법 | |
| KR20230057801A (ko) | 전자 장치 및 전자 장치의 동작 방법 | |
| KR20220159131A (ko) | 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법 | |
| KR20220157735A (ko) | 전자 장치의 촬영 방법 및 그 전자 장치 | |
| KR20220153305A (ko) | 이미지 데이터와 모션 데이터를 포함하는 파일을 생성하는 방법 및 그 전자 장치 | |
| KR20230024566A (ko) | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 | |
| KR20220129885A (ko) | 촬영 제어 방법 및 장치 | |
| KR20230065034A (ko) | Hdr 이미지들을 촬영하는 전자 장치와 이의 동작 방법 |