KR20220017332A - 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법 - Google Patents

오디오 데이터를 처리하는 전자 장치와 이의 동작 방법 Download PDF

Info

Publication number
KR20220017332A
KR20220017332A KR1020200097681A KR20200097681A KR20220017332A KR 20220017332 A KR20220017332 A KR 20220017332A KR 1020200097681 A KR1020200097681 A KR 1020200097681A KR 20200097681 A KR20200097681 A KR 20200097681A KR 20220017332 A KR20220017332 A KR 20220017332A
Authority
KR
South Korea
Prior art keywords
electronic device
audio data
external electronic
communication link
electronic devices
Prior art date
Application number
KR1020200097681A
Other languages
English (en)
Inventor
정구필
김현욱
문한길
이병철
진주연
강두석
최보근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200097681A priority Critical patent/KR20220017332A/ko
Priority to PCT/KR2021/009906 priority patent/WO2022030882A1/ko
Priority to EP21852943.6A priority patent/EP4145814A4/en
Priority to CN202180058285.2A priority patent/CN116057926A/zh
Priority to US17/310,460 priority patent/US20220319553A1/en
Publication of KR20220017332A publication Critical patent/KR20220017332A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 블루투스 통신을 지원하는 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 복수의 외부 전자 장치들과 적어도 하나의 통신 링크를 형성하고, 상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하고, 상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하고, 상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하도록 설정될 수 있다.

Description

오디오 데이터를 처리하는 전자 장치와 이의 동작 방법{ELECTRONIC DEVICE FOR PROCESSING AUDIO DATA AND METHOD OF OPEARATING THE SAME}
다양한 실시 예들은 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법에 관한 것이다.
무선 통신 기술의 발달에 따라, 전자 장치는 다양한 무선 통신 기술들을 통해 다른 전자 장치와 통신할 수 있다. 블루투스 통신 기술은, 전자 장치들이 서로 연결하여 데이터나 정보를 교환할 수 있는 근거리 무선 통신 기술을 의미한다. 또한, 블루투스 통신 기술은 블루투스 레거시(legacy)(또는 클래식(classic)) 네트워크 기술 또는 BLE(Bluetooth low energy) 네트워크를 포함할 수 있으며, 피코넷(piconet), 스캐터넷(scatternet)과 같은 다양한 연결 형태의 토폴로지(topology)를 가질 수 있다. 전자 장치들은, 블루투스 통신 기술을 이용하여, 저전력으로 상호 간 데이터를 공유할 수 있다. 이러한 블루투스 기술을 이용하여 외부 무선 통신 기기들을 연결하고, 전자 장치에서 실행되는 콘텐츠에 대한 오디오 데이터를 외부 무선 통신 기기로 전송하여 외부 무선 통신 기기에서 오디오 데이터를 처리하여 사용자에게 출력할 수 있다. 최근에는 블루투스 통신 기술을 이용하는 무선 이어폰이 널리 이용되고 있다.
카메라를 포함하는 전자 장치, 예컨대, 스마트폰은, 동영상 촬영 또는 영상 통화 기능을 수행할 수 있다. 예컨대, 스마트폰으로 동영상 촬영 시, 사용자는 스마트폰에 포함된 마이크를 통해 주변 소리를 녹음할 수 있다. 이때, 사용자가 스마트폰을 손으로 쥐고 동영상을 촬영할 경우, 스마트폰에 포함된 마이크의 일부가 사용자 손으로 인해 정상적으로 주변 소리를 녹음하지 못할 수 있다. 스마트폰의 마이크를 통해 획득되는 소리는, 마이크의 위치와 사용자 귀의 위치의 불일치로 인해, 실제 사용자가 듣는 소리와 상이할 수 있다. 즉, 스마트폰으로 촬영한 동영상의 소리가 사용자가 듣는 소리와 일치하지 않아, 소리의 입체감이나 선명도가 떨어질 수 있다. 또한, 스마트폰은, 주변 소리에 대한 스테레오 오디오 데이터를 획득하지 못할 수 있다.
이와 관련하여, 사용자는 스마트폰 외의 별도의 마이크를 이용하여 주변 소리를 획득할 수도 있다. 예컨대, 스마트폰에 외부 마이크를 연결하면, 스마트폰은, 동영상 촬영시 외부 마이크를 이용하여 주변 소리를 획득할 수 있다. 그러나, 스마트폰은, 외부 마이크를 이용하더라도 주변 소리를 스테레오 오디오로 획득할 수 없을 수 있다. 또한, 스마트폰은, 외부 마이크의 위치가 사용자 귀의 위치와 일치하지 않으면, 실제 사용자가 듣는 소리와 상이한 오디오 데이터를 획득할 수도 있다. 즉, 별도의 마이크를 이용하더라도, 스마트폰은, 주변 소리에 대한 스테레오 오디오 데이터를 획득하지 못할 수 있다.
다양한 실시 예들은, 복수의 외부 전자 장치들이 사용자에게 착용된 상태에서, 상기 복수의 외부 전자 장치들 각각이 획득한 오디오 데이터를 수신하고, 상기 오디오 데이터를 전자 장치의 카메라를 통해 획득된 비디오에 동기화하여 저장하는 전자 장치와 이의 동작 방법을 제공할 수 있다.
다양한 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 블루투스 통신을 지원하는 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 복수의 외부 전자 장치들과 적어도 하나의 통신 링크를 형성하고, 상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하고, 상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하고, 상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하도록 설정될 수 있다.
다양한 실시 예에 따른 전자 장치의 동작 방법은, 복수의 외부 전자 장치들과 적어도 하나의 통신 링크를 형성하는 동작, 상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 전자 장치에 포함된 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하는 동작, 상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하는 동작, 및 상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하는 동작을 포함할 수 있다.
다양한 실시 예에 따른 전자 장치는, 센서, 적어도 하나의 마이크, 블루투스 통신을 지원하는 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 외부 전자 장치들과 통신 링크를 형성하고, 상기 통신 링크를 통해, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 카메라를 이용하여 비디오를 획득하는 이벤트의 발생을 나타내는 제1신호를 수신하고, 상기 전자 장치가 착용된 상태에서, 상기 적어도 하나의 마이크를 통해, 외부의 소리에 대응하는 오디오 데이터를 획득하고, 상기 통신 모듈을 통해, 미리 정해진 시간 구간에서 상기 오디오 데이터를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
다양한 실시 예에 따른 전자 장치는, 복수의 외부 전자 장치들이 착용된 상태에서, 상기 복수의 외부 전자 장치들 각각이 획득한 오디오 데이터를 비디오 데이터에 동기화하여, 비디오를 촬영하는 공간의 주변 소리를 선명하게 처리할 수 있다.
도 1은, 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a 내지 도 2c는, 다양한 실시 예에 따른, 전자 시스템의 개략적인 블록도들이다.
도 3은, 다양한 실시 예에 따른, 전자 장치의 동작 방법에 대한 플로우 차트이다.
도 4는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 플로우 차트이다.
도 5는, 다양한 실시 예에 따른, 제1외부 전자 장치가 전자 장치로 오디오 데이터를 전송하는 방법을 설명하기 위한 플로우 차트이다.
도 6은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 플로우 차트이다.
도 7은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 8a 및 도 8b는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면들이다.
도 9a 및 도 9b는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 10은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 11은, 다양한 실시 예에 따른, 전자 장치가 비디오와 오디오 데이터를 동기화하는 방법을 설명하기 위한 도면이다.
도 12a 내지 도 12e는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 사용자 인터페이스들이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2a 내지 도 2c는, 다양한 실시 예에 따른, 전자 시스템의 개략적인 블록도들이다.
도 2a 및 도 2b를 참조하면, 전자 시스템은, 전자 장치(201), 복수의 외부 전자 장치들(예컨대, 제1외부 전자 장치(202), 및 제2외부 전자 장치(204))을 포함할 수 있다. 예컨대, 전자 장치(201), 제1외부 전자 장치(202), 및 제2외부 전자 장치(204)는, 도 1의 전자 장치(101)와 동일하거나 유사하게 구현될 수 있다. 예컨대, 전자 장치(201)는 스마트폰으로 구현될 수 있다. 제1외부 전자 장치(202)와 제2외부 전자 장치(204)는, 제1방향의 이어폰(예컨대, 오른쪽 귀에 착용되는 이어폰)과 제2방향의 이어폰(예컨대, 왼쪽 귀에 착용되는 이어폰)으로 구현될 수 있다. 일 실시 예에 따르면, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)는, 쌍(pair)을 이룰 수 있으나, 이에 한정되지는 않을 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)와 데이터를 송수신할 수 있다. 이를 위해, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)과 근거리 통신 방식(예컨대, 블루투스 통신 방식 또는 BLE 통신 방식)을 이용하여 통신 링크를 형성할 수 있다. 이하의 도 2a와 도 2b에서는 전자 장치(201)가 복수의 외부 전자 장치들(202 및 204)와 데이터를 송수신하기 위한 통신 링크를 형성하는 방법을 설명할 것이다. 다만, 이는 예시적인 것일 뿐, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다. 예컨대, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)과 다양한 방식으로 통신 링크를 형성할 수 있다.
도 2a를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는 복수의 외부 전자 장치들(202 및 204) 각각과 통신 링크(link 1 및 link 2)를 형성할 수 있다. 예컨대, 전자 장치(201)는 TWS(truly wireless stereo) 플러스 방식을 이용하여 외부 전자 장치들(202 및 204) 각각과 통신 링크(link 1 및 link 2)를 형성하고, 상기 통신 링크들(link 1 및 link 2)을 통해 데이터를 송수신할 수 있다. 예컨대, 전자 장치(201)는, 제1외부 전자 장치(202)와 제1통신 링크(link 1)를 형성하고, 제2외부 전자 장치(204)와 제2통신 링크(link 2)를 형성할 수 있다. 전자 장치(201)는, 제1통신 링크(link 1)를 통해 제1외부 전자 장치(202)와 데이터를 송수신하고, 제2통신 링크(link 2)를 통해 제2외부 전자 장치(204)와 데이터를 송수신할 수 있다. 일 실시 예에 따라, 전자 장치(201)는, 제1외부 전자 장치(202) 또는 제2외부 전자 장치(204)와 데이터를 송수신하기 위해, 통신 자원(resource)를 관리할 수 있다. 예컨대, 전자 장치(201)는 주파수 또는 시간을 분할하여 제1외부 전자 장치(202) 또는 제2외부 전자 장치(204)와 통신할 수 있다.
도 2b를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204) 중 제1외부 전자 장치(202)에 의해 형성된 제1통신 링크(link 1)를 통해, 복수의 외부 전자 장치들(202 및 204)과 데이터를 송수신할 수 있다. 예컨대, 전자 장치(201)는, 블루투스 스니핑 토폴로지(Bluetooth sniffing topology)로 동작하는 스니핑(sniffing) 방식을 이용하여, 제1외부 전자 장치에 의해 형성된 제1통신 링크(link 1)를 통해 데이터를 송수신할 수 있다. 이를 위해, 제1외부 전자 장치(202)는 제2외부 전자 장치(204)와 제3통신 링크(link 3)를 형성할 수 있다. 제2외부 전자 장치(204)는, 제3통신 링크(link 3)를 통해, 제1외부 전자 장치(202)로부터 제1외부 전자 장치(202)와 전자 장치(201) 사이의 제1통신 링크(link 1)에 대한 정보를 획득할 수 있다. 일 실시 예에 따르면, 제2외부 전자 장치(204)는 제1외부 전자 장치(201)와 제1통신 링크(link 1)를 공유하여 전자 장치(201)와 데이터를 송수신할 수 있다. 예컨대, 제2외부 전자 장치(204)는, 제1통신 링크(link 1)를 공유하여 전자 장치(201)와 직접 데이터를 송수신할 수 있다. 다만, 이는 예시적인 것일 뿐, 본 발명의 제2외부 전자 장치(204)는, 다양한 스니핑 토폴로지에 따라, 제1통신 링크(link 1)를 공유하여 전자 장치(201)와 데이터를 송수신할 수 있다. 예컨대, 제2외부 전자 장치(204)는, 전자 장치(201)로부터 제1통신 링크(link 1)에 대한 정보를 획득할 수 있다. 제2외부 전자 장치(204)는, 제1외부 전자 장치(202)와 제2외부 전자 장치(204) 사이의 제3외부 전자 장치(미도시)(예컨대, 크래들)을 통해 제1통신 링크(link 1)에 대한 정보를 획득할 수도 있다. 제2외부 전자 장치(204)는, 제1외부 전자 장치(202)에 의해 브로드캐스트된 신호를 수신하여, 제1통신 링크(link 1)에 대한 정보를 획득할 수도 있다. 또는, 제2외부 전자 장치(204)는, 전자 장치(201)에 의해 발송된 연결 요청 신호를 제1외부 전자 장치(202)와 함께 수신하여, 제1통신 링크(link 1)에 대한 정보를 획득할 수도 있다.
다양한 실시 예에 따라, 제1통신 링크(link 1)에 대한 정보는 주소 정보(예: 제1 통신 링크의 마스터 장치의 블루투스 주소, 전자 장치(201)의 블루투스 주소, 및/또는 제1외부 장치(202)의 블루투스 주소), 피코넷(piconet)(또는, 토폴로지) 클록 정보(예: 제1통신 링크의 마스터 장치의 CLKN(clock native)), 논리 운송(logical transport, LT) 주소 정보(예: 제1 링크의 마스터 장치에 의하여 할당된 정보), 사용 채널 맵(used channel map) 정보, 링크 키(link key) 정보, SDP(service discovery protocol) 정보(예: 제1통신 링크에 연관된 서비스 및/또는 프로필 정보), 및/또는 지원 피쳐(supported feature) 정보를 포함할 수 있다. 제1통신 링크와 연관된 정보는, 예를 들어, EIR(extended inquiry response) 패킷을 더 포함할 수 있다. EIR 패킷은 제1 통신 링크의 자원 제어 정보 및/또는 제조자에 대한 정보를 포함할 수 있다. 제2외부 장치(204)는 주소 정보 및 클록 정보를 통해 제1통신 링크의 호핑 채널(hopping channel)(또는, 주파수 호핑 채널)을 결정할 수 있고, 링크 키 정보를 통해 암호화 된 데이터 패킷을 해독(decrypt) 할 수 있다. 제2외부 장치(204)는 제1통신 링크와 연관된 정보에 기반하여 제1통신 링크에 대응하는 액세스 코드(access code)(또는 채널 액세스 코드(channel access code)) 및 주소 정보(예: LT 주소 정보)를 생성하고, 생성된 액세스 코드 및 주소 정보를 포함하는 응답 메시지를 전자 장치(201)에게 전송할 수 있다.
다른 실시 예에 따라, 전자 장치(201)는, 오직 제1외부 전자 장치(201)와 통신 링크를 형성할 수 있다. 예컨대, 전자 장치(201)는 TWS(truly wireless stereo) 방식을 이용하여 외부 전자 장치들(202 및 204) 중 하나의 전자 장치(예컨대, 제1외부 전자 장치)와 통신 링크를 형성하고, 상기 통신 링크를 통해 데이터를 송수신할 수 있다. 예컨대, 전자 장치(201)는, 통신 링크를 통해 제1외부 전자 장치(201)와 데이터를 송수신할 수 있다. 또한, 전자 장치(201)는, 제1외부 전자 장치(201)를 통해, 제2외부 전자 장치(202)와 데이터를 송수신할 수 있다. 이때, 도 2b의 스니핑과 달리, 제2외부 전자 장치(204)는, 전자 장치(201)와 데이터를 송수신하기 위해서는 제1외부 전자 장치(202)를 경유하여 데이터를 송수신할 수 있다.
상술한 방법에 따라, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)과 통신 링크를 형성하고, 데이터를 송수신할 수 있다. 다만, 이는, 예시적인 것일 뿐, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다.
도 2c를 참조하면, 전자 장치(201)는, 프로세서(220), 메모리(230), 디스플레이(260), 카메라(280), 및 통신 모듈(290)을 포함할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 전자 장치(201)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(220)는 도 1의 프로세서(120)와 동일하거나 유사하게 구현될 수 있다.
다양한 실시 예에 따라, 프로세서(220)는 카메라(280)(예컨대, 도 1의 카메라 모듈(180))를 이용하여 비디오(또는 비디오 데이터)를 획득할 수 있다. 예컨대, 프로세서(220)는, 동영상 촬영 또는 영상 통화를 수행하기 위해, 카메라(280)를 이용하여 비디오(또는 비디오 데이터)를 획득할 수 있다. 또한, 프로세서(220)는, 카메라(280)를 통해 획득된 비디오를 메모리(230)(예컨대, 도 1의 메모리(130))에 저장할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 동영상 촬영 또는 영상 통화를 수행하기 위해, 마이크(미도시)를 통해 오디오(또는 오디오 데이터)를 획득할 수 있다. 일 실시 예에 따라, 프로세서(220)는, 외부 전자 장치들(202 및 204)를 통해 오디오 데이터를 획득할 수도 있다. 예컨대, 프로세서(220)는, 통신 모듈(290)을 통해, 제1외부 전자 장치(202)로부터 제1오디오 데이터를 수신하고, 제2외부 전자 장치(204)로부터 제2오디오 데이터를 수신할 수 있다. 예컨대, 제1오디오 데이터는 제1외부 전자 장치(202)가 제1마이크(240)를 통해 획득한 소리에 대응하는 오디오 데이터일 수 있다. 또한, 제2오디오 데이터는 제2외부 전자 장치(204)가 제2마이크(250)를 통해 획득한 소리에 대응하는 오디오 데이터일 수 있다.
한편, 도 2c에서는, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204) 각각이 하나의 마이크를 포함하는 것으로 도시하고 있으나, 이는 설명의 편의를 위한 것일 뿐, 마이크의 개수는 이에 한정되지 않을 수 있다. 제1외부 전자 장치(202) 및 제2외부 전자 장치(204) 각각은, 복수의 마이크들을 포함할 수도 있다. 일 실시 예에 따르면, 제 1 외부 전자 장치(202) 및 제 2 외부 전자 장치(204) 각각은, 복수의 마이크들을 통해 수신된 오디오 데이터를 선택적으로 전자 장치(101)로 전송할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 통신 모듈(290)(예컨대, 도 1의 통신 모듈(190))을 통해, 복수의 외부 전자 장치들(202 및 204)와 적어도 하나의 통신 링크를 형성할 수 있다. 프로세서(220)는, 적어도 하나의 통신 링크를 통해, 복수의 외부 전자 장치들(202 및 204) 중 적어도 하나로, 카메라(280)를 이용하여 비디오(또는 비디오 데이터)를 획득하는 이벤트의 발생을 나타내는 신호를 전송할 수 있다. 예컨대, 이벤트의 발생을 나타내는 신호는, 전자 장치(201)(또는, 통신 모듈(290)))가 지원하는 다양한 통신 기술들 중 적어도 하나의 통신 기술을 이용하여 전송될 수 있다. 이벤트의 발생을 나타내는 신호는 오디오 데이터를 전자 장치(201)로 전송하도록 요청하는 신호로 대체되거나, 오디오 데이터를 요청하는 신호에 포함될 수 있다.
예컨대, 이벤트는, 카메라를 이용하는 기능, 카메라 내의 특정 기능, 카메라와 관련된 기능, 또는 어플리케이션(예컨대, 카메라와 관련된 어플리케이션)이 실행되는 것을 의미할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 통신 모듈(290)을 통해, 복수의 외부 전자 장치들(202 및 204)의 착용 상태에 대한 정보를 획득할 수 있다. 예컨대, 복수의 외부 전자 장치들(202 및 204) 각각에 포함된 센서에 의해 착용 상태가 확인되면, 복수의 외부 전자 장치들(202 및 204) 각각은 전자 장치(201)로 착용 상태에 대한 정보를 전송할 수 있다. 프로세서(220)는, 복수의 외부 전자 장치들(202 및 204) 각각으로부터 수신된 착용 상태에 대한 정보에 기초하여, 복수의 외부 전자 장치들(202 및 204) 각각의 착용 상태를 확인할 수 있다. 또한, 프로세서(220)는, 착용 상태에 대한 정보를 디스플레이(260)(예컨대, 도 1의 디스플레이 모듈(160))를 통해 표시할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 복수의 외부 전자 장치들(202 및 204)이 착용된 상태에서, 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 미리 정해진 순서에 따라 복수의 외부 전자 장치들(202 및 204) 각각으로부터, 복수의 외부 전자 장치들(202 및 204) 각각이 획득한 소리에 대응하는 오디오 데이터를 수신할 수 있다. 예컨대, 프로세서(220)는, 제1외부 전자 장치(202)가 획득한 제1소리에 대응하는 제1오디오 데이터 및 제2외부 전자 장치(204)가 획득한 제2소리에 대응하는 제2오디오 데이터를 순차적으로 수신할 수 있다. 예컨대, 프로세서는, 미리 정해진 제1시간 구간에서 제1오디오 데이터를 수신하고, 미리 정해진 제2시간 구간에서 제2오디오 데이터를 수신할 수 있다. 예컨대, 제2시간 구간은, 제1시간 구간과 상이한 시간 구간일 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 복수의 외부 전자 장치들(202 및 204) 각각이 소리를 획득한 시간 및 순서에 기초하여, 제1오디오 데이터 및 제2오디오 데이터를 카메라(280)를 통해 획득된 비디오에 동기화할 수 있다. 예컨대, 프로세서(220)는, 제1오디오 데이터 및 상기 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득할 수 있다. 예컨대, 전자 장치(201)는, 동일 시간 구간 또는 동일 시퀀스 넘버(sequence number)를 가지고 수신된 각각의 오디오 데이터를 동일 시점의 오디오 데이터인 것처럼 처리하여 스테레오 오디오 데이터를 생성할 수 있다. 예컨대, 프로세서(220)는, 제1오디오 데이터 및 제2오디오 데이터를 별도의 오디오 DSP(미도시)를 통해 디코딩할 수 있다. 이를 통해, 프로세서(220)는, 모노 오디오인 제1오디오 데이터 및 제2오디오 데이터를 스테레오 오디오 데이터로 가공할 수 있다. 또는, 프로세서(220)는, 어플리케이션 레이어에서 제1오디오 데이터 및 제2오디오 데이터를 직접 스테레오 오디오 데이터로 가공할 수도 있다.
다양한 실시 예에 따라, 프로세서(220)는, 복수의 외부 전자 장치들(202 및 204) 각각으로부터 오디오 데이터(예컨대, 제1오디오 데이터 및 제2오디오 데이터)뿐만 아니라, 센서 정보(예컨대, 복수의 외부 전자 장치들(202 및 204)에 포함된 센서에 의해 획득된 정보) 및/또는 통신 품질 정보(예컨대, 복수의 외부 전자 장치들(202 및 204)과 전자 장치(201) 사이의 통신 품질을 나타내는 정보)를 수신할 수도 있다. 프로세서(220)는, 제1오디오 데이터 및 제2오디오 데이터에 센서 정보 및/또는 통신 품질 정보를 이용하여 스테레오 오디오 데이터를 생성할 수도 있다.
다양한 실시 예에 따라, 프로세서(220)는 스테레오 오디오 데이터를 비디오에 동기화할 수 있다. 프로세서(220)는, 오디오 데이터와 동기화된 비디오를 메모리(230)에 저장할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 도 2a와 같이, 제1외부 전자 장치(202)와 형성한 제1통신 링크를 통해, 제1외부 전자 장치(202)에 의해 획득된 제1오디오 데이터를 수신하고, 제2외부 전자 장치(204)와 형성한 제2통신 링크를 통해, 제2외부 전자 장치(204)에 의해 획득된 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 도 2b와 같이, 제1외부 전자 장치(202)와 형성한 제1통신 링크를 통해, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204)로부터 제1오디오 데이터와 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 미도시 되었지만, 제1외부 전자 장치(202)와 형성된 제1통신 링크를 통해, 제1외부 전자 장치(202)로부터 제1오디오 데이터와 제2오디오 데이터를 수신할 수 있다. 예를 들어, 제2외부 전자 장치(204)는 제1외부 전자 장치(202)로 제2오디오 데이터를 전송하고, 제1외부 전자 장치(202)는 제1통신 링크를 통해, 전자 장치(201)로 제1오디오 데이터와 제2오디오 데이터를 전송할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, eSCO(extended synchronous connections) 통신 채널, ACL(asynchronous connection less) 통신 채널, 또는 BLE 통신 채널 중 적어도 하나를 이용하여 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 프로세서(220)는, 디스플레이(250)를 통해, 제1오디오 데이터에 대응하는 제1상태바 및 제2오디오 데이터에 대응하는 제2상태바를 표시할 수 있다. 예컨대, 제1상태바는, 제1오디오 데이터의 수신 상태, 제1오디오 데이터의 음량, 제1오디오 데이터의 음질 중 적어도 하나의 상태를 나타낼 수 있다. 또한, 제2상태바는, 제2오디오 데이터의 수신 상태, 제2오디오 데이터의 음량, 제2오디오 데이터의 음질 중 적어도 하나의 상태를 나타낼 수 있다. 또한, 프로세서(220)는, 제1상태바 및 제2상태바에 대한 사용자의 입력에 따라, 제2오디오 데이터의 음량 및/또는 제2오디오 데이터의 음질에 대한 설정을 조정할 수도 있다.
한편, 이하에서 설명하는 전자 장치(201)의 동작들 중 적어도 일부는 프로세서(220)에 의해 수행될 수 있다. 다만, 설명의 편의를 위해, 이하의 전자 장치(201)의 동작들은, 전자 장치(201)에 의해 수행되는 것으로 설명할 것이다.
도 3은, 다양한 실시 예에 따른, 전자 장치의 동작 방법에 대한 플로우 차트이다.
도 3을 참조하면, 다양한 실시 예에 따라, 동작 301에서, 전자 장치(예컨대, 도 2의 전자 장치(201)는, 통신 모듈(예컨대, 도 2의 통신 모듈(290)) 적어도 하나의 외부 전자 장치(예컨대, 도 2의 외부 전자 장치(202 및/또는 204))와 통신 링크를 형성할 수 있다. 예컨대, 전자 장치(201)는, 도 2a와 같이, 복수의 외부 전자 장치들(202 및 204) 각각에 대하여 통신 링크(예컨대, link 1 및 link 2)를 형성할 수 있다. 또는, 전자 장치(201)는, 도 2b와 같이, 제1외부 전자 장치(202)에 의해 형성된 제1통신 링크(예컨대, link 1)를 제2외부 전자 장치(204)와 공유할 수 있다.
다양한 실시 예에 따라, 동작 303에서, 전자 장치(201)는, 카메라(예컨대, 도 2c의 카메라(280))를 이용하는 이벤트(예컨대, 비디오를 촬영하는 이벤트)가 발생되면, 이벤트의 발생을 나타내는 신호를 복수의 외부 전자 장치들(202 및 204)로 전송할 수 있다. 예컨대, 이벤트는, 카메라를 이용하는 기능 또는 어플리케이션이 실행되는 것을 의미할 수 있다.
이하에서 설명의 편의를 위해, 이벤트를 비디오를 촬영하는 이벤트로 설명하고 있으나, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다. 예컨대, 비디오를 촬영하는 이벤트는 카메라를 이용하는 기능과 관련된 이벤트일 수 있다.
일 실시 예에 따르면, 동작 303에서, 전자 장치(201)는, 카메라(예컨대, 도 2c의 카메라(280))를 이용하여 비디오를 촬영하는 이벤트가 발생되면, 동작 301을 수행하여 적어도 하나의 외부 전자 장치와 통신 링크를 형성할 수 있다. 예를 들어, 전자 장치(201)는 카메라를 이용하여 비디오를 촬영하는 이벤트의 발생에 기반하여 통신 모듈(290)을 활성화하고, 전자 장치(201) 주변의 적어도 하나의 외부 전자 장치(예컨대, 제1외부 전자 장치(202) 및/또는 제2외부 전자 장치(204))와 통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 동작 305에서, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)이 획득한 오디오 데이터를 수신할 수 있다. 예컨대, 복수의 외부 전자 장치들(202 및 204)은, 이벤트의 발생을 나타내는 신호에 응답하여, 주변 소리에 대응하는 오디오 데이터를 획득할 수 있다. 복수의 외부 전자 장치들(202 및 204)은 적어도 하나의 통신 링크를 통해, 획득된 오디오 데이터를 전자 장치(201)로 전송할 수 있다.
다양한 실시예에 따르면, 복수의 외부 전자 장치들(202 및 204)은 전자 장치(201)로부터 비디오를 촬영하는 이벤트의 발생을 나타내는 신호를 수신할 경우, 복수의 외부 전자 장치들(202 및 204)의 착용 상태를 확인할 수 있다. 예컨대, 복수의 외부 전자 장치들(202 및 204)은, 사용자의 신체 일부에 착용된 상태인 경우, 마이크(예컨대, 제1마이크(240) 및 제2마이크(250))를 활성화하고, 오디오 데이터를 획득할 수 있다. 또는, 복수의 외부 전자 장치들(202 및 204)은 사용자의 신체 일부에 미착용된 상태인 경우, 알림(예컨대, 진동, 소리, 또는 LED 표시)을 사용자에게 제공할 수 있다.
다양한 실시 예에 따르면, 복수의 외부 전자 장치들(202 및 204)가 서로 다른 사용자들에게 착용된 경우, 복수의 외부 전자 장치들(202 및 204)은, 주변의 소리를 획득하여 오디오 데이터를 획득할 시, 해당 외부 전자 장치를 착용한 사용자의 목소리에 대한 음성 신호가 구별되도록 처리할 수 있다. 이를 통해, 전자 장치(201)는, 오디오 데이터를 비디오 데이터에 동기화한 후, 비디오 재생 시 특정 사용자의 목소리만 재생하도록 처리할 수 있다.
다양한 실시 예에 따라, 동작 307에서, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)로부터 수신된 오디오 데이터를 비디오에 동기화하여 저장할 수 있다. 예컨대, 전자 장치(201)는, 제1오디오 데이터 및 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득할 수 있다. 또한, 전자 장치(201)는, 스테레오 오디오 데이터를 비디오(또는 비디오 데이터)에 동기화하고, 동기화된 비디오를 출력 및/또는 저장할 수 있다.
도 4는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 플로우 차트이다.
도 4를 참조하면, 다양한 실시 예에 따라, 동작 401에서, 전자 장치(예컨대, 도 2의 전자 장치(201))는, 외부 전자 장치들(예컨대, 도 2의 외부 전자 장치들(202 및 204))과 통신 링크를 형성할 수 있다. 전자 장치(201)는, BLE 통신 기술을 이용하여 통신 링크를 형성할 수 있다. 예컨대, 전자 장치(201)는, 제1외부 전자 장치(202)로부터 어드버타이즈먼트 신호를 수신하고, 수신된 어드버타이즈먼트 신호에 기초하여 제1외부 전자 장치(202)와 제1통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 동작 403에서, 전자 장치(201)는, 2개의 외부 전자 장치들(202 및 204)에 대하여 2개의 통신 링크를 형성할 필요가 있는지 판단 또는 확인할 수 있다. 예컨대, 전자 장치(201)는, 외부 전자 장치들(202 및 204) 사이에 TWS 플러스(true wireless stereo plus) 방식 또는 BLE 방식으로 토폴로지 생성이 필요한지 여부를 확인하고, 확인 결과에 따라 2개의 통신 링크(예컨대, 2개의 BT 링크 또는 BLE 링크)를 형성할 필요가 있는지 확인할 수 있다.
다양한 실시 예에 따라, 2개의 통신 링크를 형성할 필요가 없으면(동작 403의 아니오), 동작 405에서, 전자 장치(201)는, 제1외부 전자 장치(202)와 제1통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 2개의 통신 링크를 형성할 필요가 있으면(동작 403의 예), 동작 407에서, 전자 장치(201)는, 제2외부 전자 장치(204)와 제2통신 링크를 형성할 수 있다. 이후, 전자 장치(201)는, 제1외부 전자 장치(202)와 제1통신 링크도 형성할 수 있다. 일 실시 예에 따르면, 2 개의 통신 링크를 형성할 필요가 있는 경우, 동작 405에서, 제1외부 전자 장치(202)와 제1 통신 링크를 형성한 후, 동작 407에서, 제2외부 전자 장치(204)와 제2통신 링크를 형성할 수 있다. 예컨대, 전자 장치(201)는, TWS 플러스(true wireless stereo plus) 방식이 이용되면, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204) 각각과 BT 링크를 형성할 수 있다. 전자 장치(201)는, BLE 방식(예컨대, AoBLE 방식)이 이용되면, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204) 각각과 BLE 링크를 형성할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 통신 링크를 생성할 때 또는 통신 링크를 생성한 후 특정 시점에, 다양한 기준들을 바탕으로 바이너럴 레코딩(binaural recoding)을 위해 사용할 통신 방식 및/또는 통신 속성을 결정할 수 있다. 예컨대, 전자 장치(201)는, 바이너럴 레코딩 기능에 실시간성이 중요한 상태라고 판단되면, eSCO 통신 채널을 통한 실시간성을 우선하는 통신 방식을 사용하도록 결정할 수 있다. 전자 장치(201)는, 높은 음질 선택이 중요한 상태라고 판단되면, ACL 통신 채널을 통한 안정적인 음질을 우선하는 통신 방식을 사용하도록 결정할 수 있다. 또한, 전자 장치(201)는, AoBLE와 같은 BLE 통신 채널을 통한 복합적인 장점이 필요한 통신 방식을 사용하도록 결정할 수도 있다. 전자 장치(201)는, 바이너럴 레코딩 기능에 사용될 통신 방식 및/또는 통신 속성을 결정한 후에 외부 전자 장치들(202 및 204)로 결정된 통신 방식 및/또는 통신 속성을 전달함으로써, 미리 결정된 통신 방식 및/또는 통신 속성을 이용하여 오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 동작 409에서, 전자 장치(201)는, 비디오를 촬영하는 이벤트의 발생을 확인할 수 있다. 예컨대, 전자 장치(201)는, 동영상 촬영 또는 영상 통화를 위한 기능(또는 어플리케이션)이 실행되었는지 여부를 확인할 수 있다.
다양한 실시 예에 따라, 동작 411에서, 전자 장치(201)는, 비디오를 촬영하는 이벤트가 발생되면, 동영상 촬영 또는 영상 통화 기능이 바이너럴 모드(binaural mode) 또는 바이너럴 레코딩 모드(binaural recoding mode)로 설정되어 있는지 확인할 수 있다. 예컨대, 바이너럴 모드(또는 바이너럴 레코딩 모드)는, 비디오 레코딩 시, 스테레오 오디오 데이터를 비디오에 동기화하는 모드를 의미할 수 있다. 예컨대, 바이너럴 모드(또는 바이너럴 레코딩 모드)에서, 전자 장치(201)는, 스테레오 오디오 데이터를 이용하여 비디오 레코딩을 수행하여, 사용자가 귀를 통해 소리를 듣는 것과 같은 느낌을 가지는 비디오 레코딩 기능을 제공할 수 있다. 예컨대, 바이너럴 모드(또는 바이너럴 레코딩 모드)에서, 전자 장치(201)는, 카메라를 통해 비디오(또는 비디오 데이터)를 생성하고, 적어도 하나의 외부 전자 장치로부터 오디오 데이터를 수신하여 스테레오 오디오 데이터를 비디오 레코딩에 사용하는 기능을 제공할 수 있다.
다양한 실시 예에 따라, 비디오 레코딩 기능이 바이너럴 모드로 설정되어 있으면(동작 411의 예), 동작 413에서, 전자 장치(201)는, 스테레오 오디오 데이터를 획득할 수 있다. 예컨대, 전자 장치(201)는, 복수의 외부 전자 장치들(202 및 204)로부터 제1오디오 데이터 및 제2오디오 데이터를 수신하고, 제1오디오 데이터 및 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득할 수 있다. 예컨대, 전자 장치(201)는, 동일 시간 구간 또는 동일 시퀀스 넘버(sequence number)를 가지고 수신된 각각의 오디오 데이터를 동일 시점의 오디오 데이터인 것처럼 처리하여 스테레오 오디오 데이터를 생성할 수 있다.
다양한 실시 예에 따라, 비디오 레코딩 기능이 바이너럴 모드로 설정되어 있지 않으면(동작 411의 아니오), 동작 415에서, 전자 장치(201)는, 모노 오디오 데이터를 획득할 수 있다. 복수의 외부 전자 장치들(202 및 204) 중 어느 하나로부터 제1오디오 데이터 또는 제2오디오 데이터를 수신하고, 제1오디오 데이터 또는 제2오디오 데이터를 이용하여 모노 오디오 데이터를 획득할 수 있다. 다양한 실시 예에 따라, 비디오 레코딩 기능이 바이너럴 모드로 설정되어 있지 않으면(동작 411의 아니오), 동작 415에서, 전자 장치(201)는, 전자 장치(201)의 마이크를 통해 모노 오디오 데이터를 획득할 수 있다.
다양한 실시 예에 따라, 동작 417에서, 전자 장치(201)는, 획득된 오디오 데이터(예컨대, 스테레오 오디오 데이터 또는 모노 오디오 데이터)를 비디오에 동기화시킬 수 있다. 또한, 전자 장치(201)는, 동기화된 비디오를 메모리(예컨대, 도 2의 메모리(230))에 저장하거나 디스플레이(예컨대, 도 2의 디스플레이(260))를 통해 출력할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는 적어도 하나의 외부 전자 장치로부터 오디오 데이터를 수신하는 경우, 오디오 데이터 수신에 관련된 정보를 디스플레이(예컨대, 도 2의 디스플레이(260))를 통해 출력할 수 있다. 예컨대, 전자 장치(201)의 마이크를 사용하는지 여부 및/또는 적어도 하나의 외부 전자 장치로부터 오디오 데이터가 정상적으로 수신되는지 여부를 표시할 수 있다.
도 5는, 다양한 실시 예에 따른, 제1외부 전자 장치가 전자 장치로 오디오 데이터를 전송하는 방법을 설명하기 위한 플로우 차트이다.
도 5를 참조하면, 다양한 실시 예에 따라, 동작 501에서, 제1외부 전자 장치(예컨대, 도 2의 제1외부 전자 장치(202))는 전자 장치(예컨대, 도 2의 전자 장치(201))와 제1통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 동작 503에서, 제1외부 전자 장치(202)는, 스니핑 기능이 필요한지 여부를 확인할 수 있다. 다만, 제1외부 전자 장치(202)가 오직 스니핑 토폴로지만을 이용할 경우, 제1외부 전자 장치(202)는 스니핑 기능이 필요한지 여부를 확인하지 않을 수 있다. 이때, 동작 503은 생략될 수 있다.
다양한 실시 예에 따라, 스니핑 기능이 필요하면, 동작 505에서, 제1외부 전자 장치(202)는, 제2외부 전자 장치(204)와 제3통신 링크를 형성할 수 있다. 동작 507에서, 제1외부 전자 장치(202)는, 제3통신 링크를 통해, 제1통신 링크에 대한 정보를 제2외부 전자 장치(204)와 공유할 수 있다. 예컨대, 제1통신 링크에 대한 정보는, 전자 장치(201)의 블루투스 어드레스, FHS 패킷 정보(LT 어드레스, piconet clock), 링크 키(link key), 유즈드 채널 맵(used channel map), SDP 결과 정보, 지원되는 특징(supported feature), 또는 EIR 데이터 중 적어도 하나의 정보가 포함될 수 있다. 일 실시예에 따르면, 제1 외부 전자 장치(202)는 제1외부 전자 장치(202)와 쌍(pair)로 동작하는 제2외부 전자 장치(202)가 존재하는지 여부 및/또는 제1외부 전자 장치(202)와 통신 링크가 형성된 제2외부 전자 장치(202)가 존재하는지 여부에 기반하여 스니핑 기능이 필요한지 판단할 수 있다. 예를 들어, 제1외부 전자 장치(202)는, 판단 결과에 따라, 동작 501에서 전자 장치(201)와 제1통신 링크를 형성하기 전에, 제2외부 전자 장치(204)와 제3통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 스니핑 기능이 필요하지 않으면, 동작 509에서, 제1외부 전자 장치(202)는, 비디오를 촬영하는 이벤트의 발생 여부를 확인할 수 있다. 예컨대, 제1외부 전자 장치(202)는, 전자 장치(201)로부터 비디오를 촬영하는 이벤트의 발생을 나타내는 신호를 수신하면, 비디오를 촬영하는 이벤트가 발생되었다고 판단할 수 있다. 예컨대, 비디오를 촬영하는 이벤트의 발생을 나타내는 신호는, 제1외부 전자 장치(202)로 오디오 데이터를 요청하는 정보를 포함할 수 있다.
다양한 실시 예에 따라, 비디오를 촬영하는 이벤트가 발생되었다고 판단되면, 동작 511에서, 제1외부 전자 장치(202)는, 센서를 이용하여 제1외부 전자 장치(202)의 착용 상태를 확인할 수 있다. 예컨대, 제1외부 전자 장치(202)는, 압력 센서, 생체 센서, 및/또는 근접 센서를 이용하여, 제1외부 전자 장치(202)가 사용자의 귀에 착용되었는지 여부를 판단할 수 있다.
한편, 동작 509와 511의 순서는 이에 한정되지 않을 수 있다. 예컨대, 동작 511이 먼저 수행되고, 동작 509가 후에 수행될 수도 있다.
다양한 실시 예에 따라, 제1외부 전자 장치(202)가 사용자에게 착용되었다고 판단되면, 동작 513에서, 제1외부 전자 장치(202)는, 제1마이크(예컨대, 도 2의 제1마이크(240))를 이용하여 주변 소리에 대응하는 제1오디오 데이터를 획득할 수 있다. 또한, 동작 513에서, 제1외부 전자 장치(202)는 제1오디오 데이터를 전자 장치(201)로 전송할 수 있다. 일 실시 예에 따르면, 제1외부 전자 장치(202)와 전자 장치(201) 및/또는 제2외부 전자 장치(204)는 데이터를 송수신 하기 위한 시간 구간이 설정될 수 있다. 제1외부 전자 장치(202)는 지정된 시간 구간에 전자 장치(201)로 데이터를 전송할 수 있다.
다양한 실시 예에 따라, 제1외부 전자 장치(202)는, 제1마이크 외에 추가 마이크를 더 포함할 수 있다. 이때, 제1외부 전자 장치(202)는, 추가 마이크를 이용하여 주변 소리에 대응하는 오디오 획득하고, 획득된 오디오를 제1외부 전자 장치(202)에 포함된 스피커를 통해 출력할 수 있다. 이를 통해, 사용자는 제1외부 전자 장치(202)를 통해 획득되는 오디오를 실시간으로 확인할 수 있다.
도 6은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 플로우 차트이다.
도 6을 참조하면, 다양한 실시 예에 따라, 동작 601에서, 전자 장치(예컨대, 도 2의 전자 장치(201))는, 바이너럴 모드(또는 바이너럴 레코딩 모드)에서 비디오를 촬영하는 이벤트를 수행할 수 있다.
다양한 실시 예에 따라, 동작 603에서, 전자 장치(201)는, 미리 정해진 제1시간 구간에서 제1외부 전자 장치(202)로부터 제1오디오 데이터를 수신할 수 있다. 제1시간 구간은, 전자 장치(201)와 제1외부 전자 장치(202)가 통신 링크를 형성하는 단계에서 결정될 수 있다.
다양한 실시 예에 따라, 동작 605에서, 전자 장치(201)는, 미리 정해진 제2시간 구간에서 제2외부 전자 장치(204)로부터 제2오디오 데이터를 수신할 수 있다. 예컨대, 제2시간 구간은, 전자 장치(201)와 제2외부 전자 장치(204)가 통신 링크를 형성하는 단계에서 결정될 수 있다. 예컨대, 제2시간 구간은, 제1시간 구간과 상이한 시간 구간일 수 있다. 예컨대, 제1시간 구간과 제2시간 구간은, eSCO 통신 방식을 이용할 경우, 동일한 시간 길이를 가질 수 있다. 반면에, 제1시간 구간과 제2시간 구간은, ACL 통신 방식을 이용할 경우, 각각이 상이한 시간 길이를 가질 수 있다. 일 실시 예에 따르면, 제2시간 구간은, 제1외부 전자 장치(202) 및/또는 제2외부 전자 장치(204)가 스니핑 기능을 이용할 경우, 전자 장치(201)와 제1외부 전자 장치(202)가 통신 링크를 형성하는 단계에서 결정될 수 있다. 일 실시 예에 따르면, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)가 스니핑 기능을 이용할 경우, 전자 장치(201)는 제2외부 전자 장치(204)(예를 들어, 제1링크를 스니핑 하는 장치)의 존재를 모를 수 있다. 다른 일 실시 예에 따르면, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)가 스니핑 기능을 이용할 경우, 제1외부 전자 장치(202)는 제1링크를 스니핑 하는 장치(예: 제2외부 전자 장치(204))의 존재를 전자 장치(201)로 알릴 수 있다.
다양한 실시 예에 따라, 동작 607에서, 전자 장치(201)는, 제1오디오 데이터 및 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득할 수 있다.
다양한 실시 예에 따라, 동작 609에서, 전자 장치(201)는, 스테레오 오디오 데이터를 비디오에 동기화시킬 수 있다. 예컨대, 전자 장치(201)는, 스테레오 오디오 데이터와 비디오 데이터 사이의 레이턴시를 고려하여, 스테레오 오디오 데이터를 비디오에 동기화시킬 수 있다. 다양한 실시 예에 따라, 전자 장치(201)는, 제1외부 전자 장치(202)로부터 제1오디오 데이터를 수신되는데 걸리는 전송 지연 시간 및 제1오디오 데이터를 수신한 후 제1 오디오 데이터를 가공하는데 소요되는 시간과 전자 장치(201)가 비디오 데이터를 생성하는 시간의 차이에 기반하여 스테레오 오디오 데이터를 비디오에 동기화시킬 수 있다.
한편, 본 명세서에서 설명하는 전자 장치의 동작 방법에서는, 전자 장치(201)가 제1오디오 데이터를 제2오디오 데이터보다 먼저 수신하도록 기재하고 있으나, 이는 예시적인 것일 뿐, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다. 예컨대, 전자 장치(201)는, 미리 정해진 순서에 따라 오디오 데이터를 수신할 수 있고, 제2오디오 데이터를 제1오디오 데이터보다 먼저 수신할 수도 있다.
도 7은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 다양한 실시 예에 따라, 동작 701에서, 전자 장치(201)는, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204)와 적어도 하나의 통신 링크 형성할 수 있다. 예컨대, 전자 장치(201)는, 도 2a와 도 2b에서 설명한 방법에 의해 제1외부 전자 장치(202) 및 제2외부 전자 장치(204)와 적어도 하나의 통신 링크를 형성할 수 있다.
다양한 실시 예에 따라, 동작 703에서, 전자 장치(201)는, 바이너럴 모드(또는 바이너럴 레코딩 모드)에 기반하여, 비디오를 촬영하는 동작을 시작할 수 있다. 예컨대, 전자 장치(201)는, 사용자 입력에 응답하여, 동영상 촬영 또는 영상 통화 기능(또는 어플리케이션)을 시작할 수 있으며, 바이너럴 모드에 기반하여 비디오를 촬영을 수행할 지 여부는 미리 설정되거나 사용자에 입력에 따라 결정될 수 있다. 예컨대, 전자 장치(201)는, 특정 장소(예컨대, 콘서트장, 바닷가, 또는 놀이공원)에서 사용자에게 바이너럴 모드로 비디오를 촬영할 것을 추천하는 알림을 제공할 수 있다. 또는, 전자 장치(201)는, 사용자 입력에 따라, 특정 장소(예컨대, 콘서트장, 바닷가, 또는 놀이공원)에서 바이너럴 모드로 비디오를 촬영하도록 설정될 수도 있다.
다양한 실시 예에 따라, 동작 705에서, 전자 장치(201)는, 제1외부 전자 장치(202)에 의해 형성된 제1통신 링크를 통해, 이벤트 발생을 나타내는 신호를 제1외부 전자 장치(202)로 전송할 수 있다. 동작 706에서, 전자 장치(201)는, 제1통신 링크를 통해, 이벤트 발생을 나타내는 신호를 제2외부 전자 장치(204)로 전송할 수 있다. 또는, 전자 장치(201)는, 제2외부 전자 장치(204)에 의해 형성된 제2통신 링크를 통해, 이벤트 발생을 나타내는 신호를 제2외부 전자 장치(204)로 전송할 수도 있다. 일 실시 예에 따라, 제2외부 전자 장치(204)가 스니핑 모드로 동작하는 경우, 제2외부 전자 장치(204)는 전자 장치(201)가 제1통신 링크를 통하여 제1 외부 전자 장치(202)로 전송하는 신호를 수신할 수 있다. 이 경우, 동작 706은 생략될 수 있다.
다양한 실시 예에 따라, 동작 707에서, 전자 장치(201)는, 미리 정해진 제1시간 구간에서, 제1외부 전자 장치(202)에 의해 전송된 제1오디오 데이터를 수신할 수 있다. 동작 708에서, 전자 장치(201)는, 미리 정해진 제1시간 구간에서, 제1오디오 데이터가 수신되면 응답 신호(ACK 신호)를 제1외부 전자 장치(202)로 전송할 수 있다. 또는, 전자 장치(201)는, 제1오디오 데이터가 수신되지 않으면, 비응답 신호(NACK 신호)를 제1외부 전자 장치(202)로 전송할 수 있다.
다양한 실시 예에 따라, 동작 709에서, 전자 장치(201)는, 미리 정해진 제2시간 구간에서, 제2외부 전자 장치(204)에 의해 전송된 제2오디오 데이터를 수신할 수 있다. 동작 710에서, 전자 장치(201)는, 미리 정해진 제2시간 구간에서, 제2오디오 데이터가 수신되면 응답 신호(ACK 신호)를 제2외부 전자 장치(204)로 전송할 수 있다. 또는, 전자 장치(201)는, 제2오디오 데이터가 수신되지 않으면, 비응답 신호(NACK 신호)를 제2외부 전자 장치(204)로 전송할 수 있다.
다양한 실시 예에 따라, 제2외부 전자 장치(204)가 스니핑 모드로 동작하는 경우, 전자 장치(201)와 제1외부 전자 장치(202)는 제2시간 구간에 제1외부 전자 장치(202)가 추가적인 정보를 전송하거나 또는 제2외부 전자 장치(204)가 제1통신 링크를 통하여 전자 장치(201)로 제2오디오 데이터를 전송하도록 설정될 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 비디오를 촬영하는 동작이 종료되기 전까지 동작 707부터 동작 710을 반복하여 수행할 수 있다.
다양한 실시 예에 따라, 이하의 도 8a, 도 8b, 도 9a, 및 도 9b는 스니핑 방식에 기반하여 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법일 수 있다. 다만, 이는, 본 발명의 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 일 실시 예일 수 있으며, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다.
도 8a 및 도 8b는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면들이다.
도 8a를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는, eSCO 방식의 통신 링크를 통해 제1오디오 데이터(AU1-1) 및 제2오디오 데이터(AU1-2)를 수신할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1시간 구간(예컨대, T1)에서, 제1외부 전자 장치(202)로부터 제1오디오 데이터(AU1-1)를 수신할 수 있다. 전자 장치(201)는, 제1오디오 데이터(AU1-1)가 수신되면, 제1시간 구간(예컨대, T1)에서, 제1응답 신호(ACK1-1)를 제1외부 전자 장치(202)로 전송할 수 있다. 예컨대, 제1시간 구간(T1)은, TeSCO 시간 구간일 수 있다. 또는, 제1시간 구간(T1)은 TeSCO 시작을 나타내는 시간 구간일 수 있다. 예컨대, 제1오디오 데이터(AU1-1)는, 제1외부 전자 장치(202)의 제1마이크(240)로 제1소리가 인입된 후, 제1외부 전자 장치(202)에 의해 인코딩된 데이터 또는 별도의 인코딩을 수행하지 않은 로우 데이터(raw data)일 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제2시간 구간(T2)에서, 제2외부 전자 장치(204)로부터 제2오디오 데이터(AU1-2)를 수신할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU1-2)가 수신되면, 제2응답 신호(ACK1-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 예컨대, 제2시간 구간(T2)은, WeSCO 시간 구간일 수 있다. 또는, 제2시간 구간(T1)은 WeSCO 시작을 나타내는 시간 구간일 수 있다. 예컨대, 제2오디오 데이터(AU1-2)는, 제2외부 전자 장치(202)의 제2마이크(250)로 제2소리가 인입된 후, 제2외부 전자 장치(204)에 의해 인코딩된 데이터 또는 별도의 인코딩을 수행하지 않은 로우 데이터(raw data)일 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1오디오 데이터(AU1-1)와 제2오디오 데이터(AU1-2)를 수신한 이후, 다음 차례의 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 수신할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1시간 구간(예컨대, T3)에서, 제1외부 전자 장치(202)로부터 제1오디오 데이터(AU2-1)를 수신할 수 있다. 전자 장치(201)는, 제1오디오 데이터(AU2-1)의 수신 여부에 따라, 제1시간 구간(예컨대, T3)에서, 제1응답 신호(ACK2-1) 또는 제1비응답 신호(NACK2-1)를 제1외부 전자 장치(202)로 전송할 수 있다. 예컨대, 전자 장치(201)는, 제1오디오 데이터(AU2-1)가 수신되면, 제1시간 구간(예컨대, T3)에서, 제1응답 신호(ACK2-1)를 제1외부 전자 장치(202)로 전송할 수 있다. 또는, 전자 장치(201)는, 제1오디오 데이터(AU2-1)가 정상적으로 수신되지 않으면, 제1시간 구간(예컨대, T3)에서, 제1비응답 신호(NACK2-1)를 제1외부 전자 장치(202)로 전송할 수 있다. 제1외부 전자 장치(202)는, 제1비응답 신호(NACK2-1)가 수신되면, 다음 차례의 제1시간 구간(예컨대, 제2시간 구간(예: T4) 이후의 제1시간 구간)에서, 제1오디오 데이터(AU2-1)를 전자 장치(201)로 재전송할 수 있다. 전자 장치(201)는, 제1오디오 데이터(AU2-1)가 수신되면, 다음 차례의 제1시간 구간에서, 제1응답 신호(ACK2-1)를 제1외부 전자 장치(202)로 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제2시간 구간(예컨대, T4)에서, 제2외부 전자 장치(204)로부터 제2오디오 데이터(AU2-2)를 수신할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU2-2)의 수신 여부에 따라, 제2시간 구간(예컨대, T4)에서, 제2응답 신호(ACK2-2) 또는 제2비응답 신호(NACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 예컨대, 전자 장치(201)는, 제2오디오 데이터(AU2-2)가 수신되면, 제2시간 구간(예컨대, T4)에서, 제2응답 신호(ACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 또는, 전자 장치(201)는, 제2오디오 데이터(AU2-2)가 정상적으로 수신되지 않으면, 제2시간 구간(예컨대, T4)에서, 제2비응답 신호(NACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 제2외부 전자 장치(204)는, 제2비응답 신호(NACK2-2)가 수신되면, 다음 차례의 제2시간 구간(예컨대, 다음 차례의 제1시간 구간 이후의 제2시간 구간)에서, 제2오디오 데이터(AU2-2)를 전자 장치(201)로 재전송할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU2-2)가 수신되면, 다음 차례의 제2시간 구간에서, 제2응답 신호(ACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 순차적으로 수신할 수 있다. 다양한 실시예에 따르면, 전자 장치(201)는, 제1외부 전자 장치로(202)부터 수신한 제1오디오 데이터(예: AU1-1 또는 AU1-2) 및 제2외부 전자 장치로(204)부터 수신한 제2오디오 데이터(예: AU2-1, AU2-2)를 코덱으로 전송할 수 있다. 예를 들어, 전자 장치(201)는 제1오디오 데이터(예: AU1-1) 및 제2오디오 데이터(예: AU2-1)를 다음 차례의 제1오디오 데이터(예: AU1-2) 및 제2오디오 데이터(예: AU2-2)를 수신하기 전 또는 실질적으로 수신하는 시점과 동일한 시간에 코덱으로 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 비디오를 촬영하는 동작이 종료되기 전까지 상기의 동작을 반복하여 수행할 수 있다.
도 8b를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는, eSCO 방식의 통신 링크를 통해 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 다만, 도 8b의 전자 장치(201)는, 도 8a와 비교할 때, 외부의 전자 장치들(202 및 204)로 응답 신호를 전송하지 않고, 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 예컨대, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)는 전자 장치(201)로부터 도 8a의 응답 신호(예컨대, ACK1-1 또는 ACK1-2)를 수신하기 위한 시간 구간에서, 추가적으로 제1오디오 데이터(예컨대, AU1-1 또는 AU1-2) 및 제2오디오 데이터(예컨대, AU2-1 또는 AU2-2)를 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 상술한 도 8a와 도 8b와 같이 eSCO 통신 방식을 이용할 경우, 제1오디오 데이터 및 제2오디오 데이터를 획득하는 시간 구간들 각각이 서로 동일한 시간 길이를 가질 수 있다.
도 9a 및 도 9b는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 9a를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는, ACL 방식의 통신 링크를 통해 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1시간 구간(T1)에서, 제1외부 전자 장치(202)로부터 제1오디오 데이터(AU1-1)를 수신할 수 있다. 전자 장치(201)는, 제1오디오 데이터(AU1-1)가 수신되면, 제1응답 신호(ACK1-1)를 제1외부 전자 장치(202)로 전송할 수 있다. 전자 장치(201)는, 제2시간 구간(T2)에서, 제2외부 전자 장치(204)로부터 제2오디오 데이터(AU1-2)를 수신할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU1-2)가 수신되면, 제2응답 신호(ACK1-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 예컨대, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204)는, 미리 정해진 순서 또는 미리 정해진 제1시간 구간(T1) 및 제2시간 구간(T2)에 제1오디오 데이터(AU1-1)와 제2오디오 데이터(AU1-2)를 각각 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1오디오 데이터(AU1-1)와 제2오디오 데이터(AU1-2)를 순차적으로 수신한 이후, 수신된 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 코덱으로 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 다음 차례의 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 수신할 수 있다. 예컨대, 전자 장치(201)는, 제1시간 구간에서, 제1외부 전자 장치(202)로부터 제1오디오 데이터(AU2-1)를 수신할 수 있다. 전자 장치(201)는, 제1오디오 데이터(AU2-1)가 수신되면, 제1응답 신호(ACK2-1)를 제1외부 전자 장치(202)로 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제2시간 구간에서, 제2외부 전자 장치(204)로부터 제2오디오 데이터(AU2-2)를 수신할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU2-2)가 정상적으로 수신되지 않으면, 제2비응답 신호(NACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다. 전자 장치(201)는, 제2오디오 데이터(AU2-2)가 정상적으로 수신되면, 제2응답 신호(ACK2-2)를 제2외부 전자 장치(204)로 전송할 수 있다.
다양한 실시 예에 따라, 제2외부 전자 장치(204)는, 지정된 횟수 또는 지정된 시간 동안 제2오디오 데이터(AU2-2)의 재전송을 수행하는 중에 전자 장치(201)로부터 제2응답 신호(ACK2-2)을 수신하지 못하면, 다음 차례에 해당하는 제2오디오 데이터(AU3-2)(미도시)를 전자 장치(201)로 전송할 수 있다. 이때, 제2외부 전자 장치(204)는, 다음 차례에 대응하는 제2시간 구간에서, 제2오디오 데이터(AU3-2)(미도시)를 전자 장치(201)로 전송할 수 있다.
다양한 실시 예에 따라, 제1외부 전자 장치(202)는 제1오디오 데이터(AU1-1 또는 AU2-1)를 전송하고, 전자 장치(201)로부터 제1응답 신호(ACK1-1 또는 ACK2-1)를 수신하지 못하면, 제2시간 구간(T2 또는 T4) 이후에 제1오디오 데이터(AU1-1 또는 AU2-1)를 재전송할 수 있다. 다양한 실시 예에 따라, 제1외부 전자 장치(202)와 제2외부 전자 장치(204) 각각이 전자 장치(201)로부터 응답 신호(예: 제1 응답 신호 및 제2 응답 신호)를 수신하지 못하면, 제2시간 구간(T2 또는 T4) 이후에 지정된 순서 및/또는 지정된 시간에 오디오 데이터(예: 제1오디오 데이터 또는 제2오디오 데이터)를 재전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1오디오 데이터 및/또는 제2오디오 데이터를 수신하지 못하는 경우, 전자 장치(201)에 포함된 마이크를 통해 수신된 오디오 데이터를 이용하여 스테레오 오디오 데이터를 생성하고, 스테레오 오디오 데이터를 카메라(예컨대, 도 2의 카메라(280))를 통해 획득된 비디오에 동기화시킬 수도 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 순차적으로 수신한 이후, 제1오디오 데이터(AU2-1) 및 제2오디오 데이터(AU2-2)를 코덱으로 전송할 수 있다.
도 9b를 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는,ACL 방식의 통신 링크를 통해 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 다만, 도 9b의 전자 장치(201)는, 도 9a와 비교할 때, 외부의 전자 장치들(202 및 204)로 응답 신호를 전송하지 않고, 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 예컨대, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)는 전자 장치(201)로부터 도 9a의 응답 신호(예컨대, ACK1-1 또는 ACK1-2)를 수신하기 위한 시간 구간에서, 추가적으로 제1오디오 데이터(예컨대, AU1-1 또는 AU1-2) 및 제2오디오 데이터(예컨대, AU2-1 또는 AU2-2)를 전송할 수 있다. 일 실시 예에 따르면, 제1외부 전자 장치(202)와 제2외부 전자 장치(204)는 지정된 순서 및 지정된 시간 구간에 전자 장치(201)로 오디오 데이터(예컨대, 제1오디오 데이터 및/또는 제2오디오 데이터)를 지정된 횟수만큼 전송할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 상술한 도 9a 및 도 9b와 같이 ACL 통신 방식을 이용할 경우, 제1오디오 데이터 및 제2오디오 데이터를 획득하는 시간 구간들 각각이 서로 상이한 시간 길이를 가질 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 비디오를 촬영하는 동작이 종료되기 전까지 상기의 동작을 반복하여 수행할 수 있다.
상술한 도 8a, 도 8b, 도 9a, 및 도 9b에 도시된 타임 슬롯들의 갯수는, 설명의 편의를 위한 것일 뿐, 본 발명의 기술적 사상은 이에 한정되지 않을 수 있다. 예컨대, 전자 장치(201)와 제1외부 전자 장치(202) 사이의 제1통신 링크가 eSCO 방식을 이용하는 통신 링크인 경우, 제1통신 링크는, 16개 슬롯의 송수신 주기(TeSCO)를 포함하고, 4개 슬롯의 재송신 구간(WeSCO)을 포함하도록 설정될 수 있다.
도 10은, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들로부터 오디오 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 다양한 실시 예에 따라, 전자 장치(201)는, BLE 방식의 통신 링크를 통해 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 예컨대, 전자 장치(201)는, 다양한 BLE 방식의 통신 링크들 중 AoBLE 방식의 통신 링크를 통해 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1외부 전자 장치(202) 및 제2외부 전자 장치(204)를 위한 이벤트 시간(event time)과 해당 이벤트 시간 내에 서브 이벤트 구간들을 할당할 수 있다. 이후, 전자 장치(201)는, 서브 이벤트 구간들 각각에서 제1오디오 데이터 및 제2오디오 데이터를 수신할 수 있다. 예컨대, 전자 장치(201)가 AoBLE 방식의 통신 링크를 이용할 경우, 모든 시간 구간들(예컨대, 이벤트 시간 구간 및 해당 이벤트 시간 구간 내에 서브 이벤트 시간 구간들)은, 전자 장치(201)가 제1외부 전자 장치(202) 및/또는 제2외부 전자 장치(204)와 통신 링크를 형성할 때 결정될 수 있다. 또한, 시간 구간들(예컨대, 이벤트 시간 구간 및 해당 이벤트 시간 구간 내에 서브 이벤트 시간 구간들) 중 적어도 일부는, 통신 링크가 형성된 후, 필요에 따라 특정 메시지를 통해 리소스에 적합하게 조정될 수 있다. 일 실시 예에 따라, 전자 장치(201)가, 스니핑 방식과 같이, 하나의 링크를 통해 제1외부 전자 장치(202)로부터 제1 오디오 데이터를 수신하고, 제2외부 전자 장치(204)로부터 제2 오디오 데이터를 수신하는 경우, 제1 서브 이벤트 구간(1010)과 제2 서브 이벤트 구간(1020)은 동일한 링크에 할당된 시간 구간들일 수 있다. 다른 일 실시 예에 따라, 전자 장치(201)가 복수 개의 링크를 통해 제1외부 전자 장치(202)로부터 제1 오디오 데이터를 수신하고, 제2외부 전자 장치(204)로부터 제2 오디오 데이터를 수신하는 경우, 제1 서브 이벤트 구간(1010)과 제2 서브 이벤트 구간(1020)은 서로 다른 링크에 할당된 시간 구간들일 수 있다.
다양한 실시 예에 따라, 예컨대, 전자 장치(201)는, '이벤트 시간 X'와 '이벤트 시간 X'에 포함된 제1서브 이벤트 구간(1010)과 제2서브 이벤트 구간(1020)을 할당할 수 있다. 전자 장치(201)는, 제1서브 이벤트 구간(1010)에서 제1외부 전자 장치(202)로부터 제1오디오 데이터를 수신하고, 제2서브 이벤트 구간(1020)에서 제2외부 전자 장치(204)로부터 제2오디오 데이터를 수신할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 비디오를 촬영하는 동작이 종료되기 전까지 상기의 동작을 반복하여 수행할 수 있다.
도 11은, 다양한 실시 예에 따른, 전자 장치가 비디오와 오디오 데이터를 동기화하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 다양한 실시 예에 따라, 전자 장치(예컨대, 도 2의 전자 장치(201))는, 스테레오 오디오 데이터(예컨대, A1~A4)를 카메라(예컨대, 도 2의 카메라(280))를 통해 획득된 비디오 데이터(예컨대, 제1비디오 및 제2비디오)에 동기화시킬 수 있다. 예컨대, 전자 장치(201)는, 오디오 데이터(예컨대, 제1오디오 데이터(A1))와 비디오 데이터(예컨대, 제1비디오) 사이의 레이턴시(L1)를 보상하여 스테레오 오디오 데이터를 비디오 데이터에 동기화시킬 수 있다. 예컨대, 전자 장치(201)는, 레이턴시(L1)에 대응하는 시간만큼 비디오 데이터를 지연시킴으로써, 스테레오 오디오 데이터를 비디오 데이터에 동기화시킬 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 제1외부 전자 장치(202)의 제1마이크(240)에 인입된 제1소리가 제1오디오 데이터(제1소리에 대응하는 오디오 데이터)로 전자 장치(201)에게 수신되는데 걸리는 전송 지연 시간을 확인할 수 있다. 예컨대, 전자 장치(201)는 제1외부 전자 장치(202)가 제1오디오 데이터를 생성한 시간 정보, 제1외부 전자 장치(202)가 제1오디오 데이터를 전송한 시간 정보 및/또는 전자 장치(201)가 제1오디오 데이터를 수신한 시간 정보에 기반하여 전송 지연 시간을 확인할 수 있다. 또한, 전자 장치(201)는, 제1오디오 데이터를 수신한 후, 전자 장치(201)의 각 레이어 별로 제1오디오 데이터를 가공하는데 소요되는 시간을 확인할 수 있다. 전자 장치(201)는, 제1외부 전자 장치(202)로부터 제1오디오 데이터가 수신되는데 걸리는 전송 지연 시간 및 제1오디오 데이터를 가공하는데 소요되는 시간에 기초하여, 오디오 데이터와 비디오 데이터 사이의 레이턴시(L1)를 획득할 수 있다.
다양한 실시 예에 따라, 전자 장치(201)는, 오디오 데이터와 비디오 데이터 사이의 레이턴시(L1)를 보상하여 오디오 데이터와 비디오 데이터를 동기화할 수 있다. 또한, 전자 장치(201)는, 동기화된 데이터를 메모리(예컨대, 도 2의 메모리(230))에 저장하거나 디스플레이(예컨대, 도 2의 디스플레이(260))를 통해 출력할 수 있다.
다양한 실시 예에 따르면, 제1비디오 데이터와 오디오 데이터(예: A1 및/또는 A2) 사이의 레이턴시와 제2비디오 데이터와 오디오 데이터(예: A3 및/또는 A4) 사이의 레이턴시는 동일하거나 또는 상이할 수 있다. 예를 들어, 제1비디오 데이터와 제1오디오 데이터(A1) 사이의 레이턴시와 제2비디오 데이터와 제3오디오 데이터(A3) 사이의 레이턴시가 동일한 경우, 제1비디오 데이터와 제1오디오 데이터(A1) 사이의 레이턴시를 비디오 데이터(예컨대, 제1비디오 데이터 및 제2비디오 데이터)에 적용할 수 있다. 다른 예를 들어, 제1비디오 데이터와 제1오디오 데이터(A1) 사이의 레이턴시와 제2비디오 데이터와 제3오디오 데이터(A3) 사이의 레이턴시가 상이한 경우, 제2비디오 데이터와 제3오디오 데이터(A3) 사이의 레이턴시를 확인하여 제2비디오 데이터에 적용할 수 있다.
도 12a 내지 도 12e는, 다양한 실시 예에 따른, 전자 장치가 복수의 외부 전자 장치들을 이용하여 동영상을 촬영하는 방법을 설명하기 위한 사용자 인터페이스들이다.
도 12a를 참조하면, 다양한 실시 예에 따라, 전자 장치(1201)(예컨대, 도 2의 전자 장치(201))는, 동영상 촬영(또는 비디오 레코딩) 기능이 수행되면, 프리뷰 화면(1210)을 표시할 수 있다.
다양한 실시 예에 따라, 전자 장치(1201)는, 프리뷰 화면(1210) 상에 레코딩 시작 객체(1211)를 표시할 수 있다. 또한, 전자 장치(1201)는, 프리뷰 화면(1210) 상에 제1촬영 객체(1221) 및 제2촬영 객체(1222)를 표시할 수 있다. 예컨대, 전자 장치(1201)는, 레코딩 시작 객체(1211)에 대한 사용자 입력이 확인되면, 일반 레코딩 동작을 시작할 수 있다.
도 12b를 참조하면, 다양한 실시 예에 따라, 전자 장치(1201)는, 제2촬영 객체(1222)에 대한 사용자 입력이 확인되면, 바이너럴 레코딩 객체(1212)를 표시할 수 있다. 예컨대, 전자 장치(1201)는, 바이너럴 레코딩 객체(1212)에 대한 사용자 입력이 확인되면, 바이너럴 레코딩 동작을 수행할 수 있다. 전자 장치(1201)는, 바이너럴 레코딩 객체(1212)가 표시된 후, 외부 전자 장치들(예컨대, 도 2의 외부 전자 장치들(202 및 204))의 착용 상태를 확인할 수 있다.
도 12c를 참조하면, 전자 장치(1201)는, 외부 전자 장치들(예컨대, 도 2의 외부 전자 장치들(202 및 204))의 착용 상태를 나타내는 객체들(1231 및 1232)을 표시할 수 있다. 예컨대, 외부 전자 장치들이 오른쪽 이어폰과 왼쪽 이어폰이면, 전자 장치(1201)는, 왼쪽 이어폰의 착용 상태를 나타내는 제1객체(1231) 및 오른쪽 이어폰의 착용 상태를 나타내는 제2객체(1232)를 표시할 수 있다. 예컨대, 전자 장치(1201)는, 왼쪽 이어폰이 정상적으로 착용된 상태이면 제1객체(1231)를 표시하고, 오른쪽 이어폰이 정상적으로 착용된 상태이면 제2객체(1232)를 표시할 수 있다. 또는, 전자 장치(1201)는, 착용 여부에 따라 다른 색을 가지는 제1객체(1231)와 제2객체(1232)를 표시할 수도 있다. 예컨대, 전자 장치(1201)는, 왼쪽 이어폰이 착용된 상태이면, 제1객체(1231)를 파란색으로 표시하고, 오른쪽 이어폰이 미착용된 상태에면, 제2객체(1232)를 빨간색으로 표시할 수 있다.
다양한 실시 예에 따라, 전자 장치(1201)는, 외부 전자 장치들(202 및 204))의 착용 상태를 나타내는 객체들(1231 및 1232) 중 적어도 일부가 표시되는 상태에서, 바이너럴 레코딩 객체(1212)에 대한 사용자 입력이 확인되면, 바이너럴 레코딩 동작을 시작할 수 있다. 다른 실시 예에 따라, 전자 장치(1201)는, 오른쪽 이어폰과 왼쪽 이어폰이 모두 정상적으로 착용된 상태에서만 바이너럴 레코딩 동작을 시작할 수도 있다. 예컨대, 전자 장치(1201)는, 오른쪽 이어폰과 왼쪽 이어폰 중 적어도 하나의 이어폰이 정상적으로 착용되지 않은 경우, 바이너럴 레코딩 객체(1212)를 비활성화된 상태로 표시할 수 있다. 또는, 전자 장치(1201)는, 오른쪽 이어폰과 왼쪽 이어폰 중 적어도 하나의 이어폰이 정상적으로 착용되지 않은 경우, 제2촬영 객체(1222)에 대한 사용자 입력이 확인되더라도 바이너럴 레코딩 객체(1212)를 표시하지 않을 수도 있다. 또한, 전자 장치(1201)는, 오른쪽 이어폰과 왼쪽 이어폰 중 적어도 하나의 이어폰이 정상적으로 착용되지 않은 경우, 이어폰의 착용을 추천하는 메시지를 표시할 수도 있다.
일 실시예에 따르면, 전자 장치(1201)는, 동영상 촬영(또는 비디오 레코딩) 기능이 수행되면, 외부 전자 장치들(예컨대, 도 2의 외부 전자 장치들(202 및 204))의 착용 상태를 확인하고, 확인된 외부 전자 장치들의 착용 상태에 기반하여, 바이너럴 레코딩 객체(1212)를 프리뷰 화면(1210)을 표시할 수 있다. 예를 들어, 전자 장치(1201)는, 외부 전자 장치들이 정상적으로 착용되지 않은 상태에서, 바이너럴 레코딩 객체(1212)를 비활성화된 상태로 표시하거나 또는 바이너럴 레코딩 객체(1212)를 표시하지 않을 수 있다.
도 12d를 참조하면, 다양한 실시 예에 따라, 전자 장치(1201)는, 바이너럴 레코딩 동작이 시작되면, 제1오디오 데이터에 대한 상태를 나타내는 제1상태바(1241) 및 제1오디오 데이터에 대한 상태를 나타내는 제2상태바(1242)를 표시할 수 있다. 예컨대, 제1상태바(1241)는, 왼쪽 이어폰으로부터 수신되는 오디오 데이터의 수신 상태, 음량, 또는 음질 중 적어도 하나의 상태를 나타낼 수 있다. 또한, 제2상태바(1242)는, 오른쪽 이어폰으로부터 수신되는 오디오 데이터의 수신 상태, 음량, 또는 음질 중 적어도 하나의 상태를 나타낼 수 있다. 예컨대, 전자 장치(1201)는, 왼쪽 이어폰에 대응하는 제1상태바(1241)를 디스플레이(예컨대, 도 2의 디스플레이(260))의 왼쪽 영역에 표시하고, 오른쪽 이어폰에 대응하는 제2상태바(1242)를 디스플레이(250)의 오른쪽 영역에 표시할 수 있다.
도 12e를 참조하면, 다양한 실시 예에 따라, 전자 장치(1201)는, 제1상태바(1251) 및 제2상태바(1252)를 디스플레이(예컨대, 도 2의 디스플레이(260))의 오른쪽 상단 영역에 표시할 수 있다. 예컨대, 제1상태바(1251) 및 제2상태바(1252)는 도 12c의 제1상태바(1241) 및 제2상태바(1242)보다 작은 사이즈를 가질 수 있다.
다양한 실시 예에 따른 전자 장치(201)는, 카메라(280), 디스플레이(260), 블루투스 통신을 지원하는 통신 모듈(290), 및 프로세서(220)를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 복수의 외부 전자 장치들(202 및 204)과 적어도 하나의 통신 링크를 형성하고, 상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하고, 상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하고, 상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하도록 설정될 수 있다.
상기 프로세서는, 상기 복수의 외부 전자 장치들 중 제1외부 전자 장치(202)가 획득한 제1소리에 대응하는 제1오디오 데이터 및 상기 복수의 외부 전자 장치들 중 제2외부 전자 장치(204)가 획득한 제2소리에 대응하는 제2오디오 데이터를 순차적으로 수신하고, 상기 제1오디오 데이터 및 상기 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득하도록 설정될 수 있다.
상기 프로세서는, 미리 정해진 제1시간 구간에서 상기 제1오디오 데이터를 수신하고, 미리 정해진 제2시간 구간에서 상기 제2오디오 데이터를 수신하도록 설정될 수 있다.
상기 프로세서는, 상기 제1오디오 데이터가 수신되면, 상기 제1시간 구간에서 제1응답 신호를 상기 제1외부 전자 장치로 전송하고, 상기 제2오디오 데이터가 수신되면, 상기 제2시간 구간에서 제2응답 신호를 상기 제2외부 전자 장치로 전송하도록 설정될 수 있다.
상기 제1외부 전자 장치는 제1방향의 이어폰을 포함하고, 상기 제2외부 전자 장치는 제2방향의 이어폰을 포함할 수 있다.
상기 프로세서는, 상기 제1외부 전자 장치와 상기 제2외부 전자 장치 각각의 착용 상태를 확인하고, 상기 디스플레이를 통해 상기 착용 상태에 대한 정보를 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해 상기 제1오디오 데이터를 수신하고, 상기 제2외부 전자 장치와 형성된 제2통신 링크를 통해 상기 제2오디오 데이터를 수신하도록 설정될 수 있다.
상기 프로세서는, 상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해, 상기 제1외부 전자 장치로부터 상기 제1오디오 데이터를 수신하고, 상기 제1통신 링크를 이용하여, 상기 제2외부 전자 장치로부터 상기 제2오디오 데이터를 수신하도록 설정될 수 있다.
상기 프로세서는, 상기 오디오 데이터를 획득하는데 소요되는 레이턴시를 확인하고, 상기 레이턴시에 기초하여 상기 오디오 데이터를 상기 비디오에 동기화하도록 설정될 수 있다.
상기 프로세서는, eSCO(extended synchronous connections) 통신 채널, ACL(asynchronous connection less) 통신 채널, BLE 통신 채널 중 적어도 하나를 이용하여 상기 복수의 외부 전자 장치들 각각으로부터 상기 오디오 데이터를 수신하도록 설정될 수 있다.
다양한 실시 예에 따른 전자 장치(201)의 동작 방법은, 복수의 외부 전자 장치들(202 및 204)과 적어도 하나의 통신 링크를 형성하는 동작, 상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 전자 장치에 포함된 카메라(280)를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하는 동작, 상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하는 동작, 및 상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하는 동작을 포함할 수 있다.
상기 오디오 데이터를 수신하는 동작은, 상기 복수의 외부 전자 장치들 중 제1외부 전자 장치(202)가 획득한 제1소리에 대응하는 제1오디오 데이터 및 상기 복수의 외부 전자 장치들 중 제2외부 전자 장치(204)가 획득한 제2소리에 대응하는 제2오디오 데이터를 수신하는 동작 및 상기 제1오디오 데이터 및 상기 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득하는 동작을 포함할 수 있다.
상기 오디오 데이터를 수신하는 동작은, 미리 정해진 제1시간 구간에서 상기 제1오디오 데이터를 수신하고, 미리 정해진 제2시간 구간에서 상기 제2오디오 데이터를 순차적으로 수신하는 동작을 포함할 수 있다.
상기 전자 장치의 동작 방법은, 상기 제1오디오 데이터가 수신되면, 상기 제1시간 구간에서 제1응답 신호를 상기 제1외부 전자 장치로 전송하는 동작 및 상기 제2오디오 데이터가 수신되면, 상기 제2시간 구간에서 제2응답 신호를 상기 제2외부 전자 장치로 전송하는 동작을 더 포함할 수 있다.
상기 전자 장치의 동작 방법은, 상기 제1외부 전자 장치와 상기 제2외부 전자 장치 각각의 착용 상태를 확인하는 동작 및 상기 디스플레이를 통해 상기 착용 상태에 대한 정보를 표시하는 동작을 더 포함할 수 있다.
상기 오디오 데이터를 수신하는 동작은, 상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해 상기 제1오디오 데이터를 수신하는 동작 및 상기 제2외부 전자 장치와 형성된 제2통신 링크를 통해 상기 제2오디오 데이터를 수신하는 동작을 포함할 수 있다.
상기 오디오 데이터를 수신하는 동작은, 상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해, 상기 제1외부 전자 장치로부터 상기 제1오디오 데이터를 수신하는 동작 및 상기 제1통신 링크를 이용하여, 상기 제2외부 전자 장치로부터 상기 제2오디오 데이터를 수신하는 동작을 포함할 수 있다.
상기 전자 장치의 동작 방법은, 상기 제1오디오 데이터에 대응하는 제1상태바 및 상기 제2오디오 데이터에 대응하는 제2상태바를 상기 전자 장치의 디스플레이에 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따른 전자 장치(202 또는 204)는, 센서, 적어도 하나의 마이크, 블루투스 통신을 지원하는 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 외부 전자 장치들과 통신 링크를 형성하고, 상기 통신 링크를 통해, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 카메라를 이용하여 비디오를 획득하는 이벤트의 발생을 나타내는 제1신호를 수신하고, 상기 전자 장치가 착용된 상태에서, 상기 적어도 하나의 마이크를 통해, 외부의 소리에 대응하는 오디오 데이터를 획득하고, 상기 통신 모듈을 통해, 미리 정해진 시간 구간에서 상기 오디오 데이터를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
상기 프로세서는, 상기 센서를 통해, 상기 전자 장치의 착용 상태를 확인하고, 상기 통신 모듈을 통해, 상기 착용 상태에 대한 정보를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
상기 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시의 범위를 한정하는 것은 아니다. 따라서, 본 개시의 범위는, 본 개시의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
201: 전자 장치
202: 제1외부 전자 장치
204: 제2외부 전자 장치
220: 프로세서
230: 메모리
260: 디스플레이
280: 카메라
290: 통신 모듈

Claims (20)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이;
    블루투스 통신을 지원하는 통신 모듈; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 통신 모듈을 통해, 복수의 외부 전자 장치들과 적어도 하나의 통신 링크를 형성하고,
    상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하고,
    상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하고,
    상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 복수의 외부 전자 장치들 중 제1외부 전자 장치가 획득한 제1소리에 대응하는 제1오디오 데이터 및 상기 복수의 외부 전자 장치들 중 제2외부 전자 장치가 획득한 제2소리에 대응하는 제2오디오 데이터를 순차적으로 수신하고,
    상기 제1오디오 데이터 및 상기 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득하도록 설정된 전자 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    미리 정해진 제1시간 구간에서 상기 제1오디오 데이터를 수신하고, 미리 정해진 제2시간 구간에서 상기 제2오디오 데이터를 수신하도록 설정된 전자 장치.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 제1오디오 데이터가 수신되면, 상기 제1시간 구간에서 제1응답 신호를 상기 제1외부 전자 장치로 전송하고,
    상기 제2오디오 데이터가 수신되면, 상기 제2시간 구간에서 제2응답 신호를 상기 제2외부 전자 장치로 전송하도록 설정된 전자 장치.
  5. 제2항에 있어서,
    상기 제1외부 전자 장치는 제1방향의 이어폰을 포함하고, 상기 제2외부 전자 장치는 제2방향의 이어폰을 포함하는 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 제1외부 전자 장치와 상기 제2외부 전자 장치 각각의 착용 상태를 확인하고,
    상기 디스플레이를 통해 상기 착용 상태에 대한 정보를 표시하도록 설정된 전자 장치.
  7. 제2항에 있어서, 상기 프로세서는,
    상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해 상기 제1오디오 데이터를 수신하고,
    상기 제2외부 전자 장치와 형성된 제2통신 링크를 통해 상기 제2오디오 데이터를 수신하도록 설정된 전자 장치.
  8. 제2항에 있어서, 상기 프로세서는,
    상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해, 상기 제1외부 전자 장치로부터 상기 제1오디오 데이터를 수신하고,
    상기 제1통신 링크를 이용하여, 상기 제2외부 전자 장치로부터 상기 제2오디오 데이터를 수신하도록 설정된 전자 장치.
  9. 제1항에 있어서, 상기 프로세서는,
    상기 오디오 데이터와 상기 비디오 사이의 레이턴시를 확인하고, 상기 레이턴시에 기초하여 상기 오디오 데이터를 상기 비디오에 동기화하도록 설정된 전자 장치.
  10. 제1항에 있어서, 상기 프로세서는,
    eSCO(extended synchronous connections) 통신 채널, ACL(asynchronous connection less) 통신 채널, BLE 통신 채널 중 적어도 하나를 이용하여 상기 복수의 외부 전자 장치들 각각으로부터 상기 오디오 데이터를 수신하도록 설정된 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    복수의 외부 전자 장치들과 적어도 하나의 통신 링크를 형성하는 동작;
    상기 적어도 하나의 통신 링크를 통해, 상기 복수의 외부 전자 장치들 중 적어도 하나로, 상기 전자 장치에 포함된 카메라를 이용하는 이벤트의 발생을 나타내는 제1신호를 전송하는 동작;
    상기 복수의 외부 전자 장치들이 착용된 상태에서, 상기 적어도 하나의 통신 링크를 통해, 미리 정해진 시간 구간들에서 상기 복수의 외부 전자 장치들 각각으로부터, 상기 복수의 외부 전자 장치들 각각이 획득한 소리에 대응하는 오디오 데이터를 수신하는 동작; 및
    상기 복수의 외부 전자 장치들 각각이 상기 소리를 획득한 시간 및 순서에 기초하여, 상기 오디오 데이터를 상기 카메라를 이용하여 획득된 비디오에 동기화하여 저장하는 동작을 포함하는 전자 장치의 동작 방법.
  12. 제11항에 있어서, 상기 오디오 데이터를 수신하는 동작은,
    상기 복수의 외부 전자 장치들 중 제1외부 전자 장치가 획득한 제1소리에 대응하는 제1오디오 데이터 및 상기 복수의 외부 전자 장치들 중 제2외부 전자 장치가 획득한 제2소리에 대응하는 제2오디오 데이터를 수신하는 동작; 및
    상기 제1오디오 데이터 및 상기 제2오디오 데이터를 이용하여 스테레오 오디오 데이터를 획득하는 동작을 포함하는 전자 장치의 동작 방법.
  13. 제12항에 있어서, 상기 오디오 데이터를 수신하는 동작은,
    미리 정해진 제1시간 구간에서 상기 제1오디오 데이터를 수신하고, 미리 정해진 제2시간 구간에서 상기 제2오디오 데이터를 순차적으로 수신하는 동작을 포함하는 전자 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 제1오디오 데이터가 수신되면, 상기 제1시간 구간에서 제1응답 신호를 상기 제1외부 전자 장치로 전송하는 동작; 및
    상기 제2오디오 데이터가 수신되면, 상기 제2시간 구간에서 제2응답 신호를 상기 제2외부 전자 장치로 전송하는 동작을 더 포함하는 전자 장치의 동작 방법.
  15. 제12항에 있어서,
    상기 제1외부 전자 장치와 상기 제2외부 전자 장치 각각의 착용 상태를 확인하는 동작; 및
    상기 디스플레이를 통해 상기 착용 상태에 대한 정보를 표시하는 동작을 더 포함하는 전자 장치의 동작 방법.
  16. 제12항에 있어서, 상기 오디오 데이터를 수신하는 동작은,
    상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해 상기 제1오디오 데이터를 수신하는 동작; 및
    상기 제2외부 전자 장치와 형성된 제2통신 링크를 통해 상기 제2오디오 데이터를 수신하는 동작을 포함하는 전자 장치의 동작 방법.
  17. 제12항에 있어서, 상기 오디오 데이터를 수신하는 동작은,
    상기 제1외부 전자 장치와 형성된 제1통신 링크를 통해, 상기 제1외부 전자 장치로부터 상기 제1오디오 데이터를 수신하는 동작; 및
    상기 제1통신 링크를 이용하여, 상기 제2외부 전자 장치로부터 상기 제2오디오 데이터를 수신하는 동작을 포함하는 전자 장치의 동작 방법.
  18. 제12항에 있어서,
    상기 제1오디오 데이터에 대응하는 제1상태바 및 상기 제2오디오 데이터에 대응하는 제2상태바를 상기 전자 장치의 디스플레이에 표시하는 동작을 더 포함하는 전자 장치의 동작 방법.
  19. 전자 장치에 있어서,
    센서;
    적어도 하나의 마이크;
    블루투스 통신을 지원하는 통신 모듈; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 통신 모듈을 통해, 외부 전자 장치들과 통신 링크를 형성하고,
    상기 통신 링크를 통해, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 카메라를 이용하여 비디오를 획득하는 이벤트의 발생을 나타내는 제1신호를 수신하고,
    상기 전자 장치가 착용된 상태에서, 상기 적어도 하나의 마이크를 통해, 외부의 소리에 대응하는 오디오 데이터를 획득하고,
    상기 통신 모듈을 통해, 미리 정해진 시간 구간에서 상기 오디오 데이터를 상기 외부 전자 장치로 전송하도록 설정된 전자 장치.
  20. 제19항에 있어서, 상기 프로세서는,
    상기 센서를 통해, 상기 전자 장치의 착용 상태를 확인하고,
    상기 통신 모듈을 통해, 상기 착용 상태에 대한 정보를 상기 외부 전자 장치로 전송하도록 설정된 전자 장치.
KR1020200097681A 2020-08-04 2020-08-04 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법 KR20220017332A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200097681A KR20220017332A (ko) 2020-08-04 2020-08-04 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
PCT/KR2021/009906 WO2022030882A1 (ko) 2020-08-04 2021-07-29 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
EP21852943.6A EP4145814A4 (en) 2020-08-04 2021-07-29 ELECTRONIC DEVICE FOR PROCESSING AUDIO DATA AND METHOD FOR OPERATING SAME
CN202180058285.2A CN116057926A (zh) 2020-08-04 2021-07-29 处理音频数据的电子装置及其运行方法
US17/310,460 US20220319553A1 (en) 2020-08-04 2021-07-29 Electronic device for processing audio data and method for operating same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200097681A KR20220017332A (ko) 2020-08-04 2020-08-04 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220017332A true KR20220017332A (ko) 2022-02-11

Family

ID=80118243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200097681A KR20220017332A (ko) 2020-08-04 2020-08-04 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법

Country Status (5)

Country Link
US (1) US20220319553A1 (ko)
EP (1) EP4145814A4 (ko)
KR (1) KR20220017332A (ko)
CN (1) CN116057926A (ko)
WO (1) WO2022030882A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063456A1 (ko) * 2022-09-19 2024-03-28 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치, 방법 및 비 일시적 저장 매체
WO2024106730A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO323434B1 (no) * 2005-09-30 2007-04-30 Squarehead System As System og metode for a produsere et selektivt lydutgangssignal
US8922713B1 (en) * 2013-04-25 2014-12-30 Amazon Technologies, Inc. Audio and video synchronization
KR20150142566A (ko) * 2014-06-12 2015-12-22 삼성전자주식회사 오디오 데이터 전송 방법 및 장치
US9272228B2 (en) * 2014-07-01 2016-03-01 Disney Enterprises, Inc. Full-duplex, wireless control system for interactive costumed characters
US9967668B2 (en) * 2014-08-21 2018-05-08 Eears LLC Binaural recording system and earpiece set
EP4099148A1 (en) * 2015-06-05 2022-12-07 Apple Inc. Changing companion communication device behavior based on status of wearable device
KR20170082405A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 이어 웨어러블 타입 와이어리스 디바이스 및 이를 지원하는 시스템
US9787862B1 (en) * 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
US10122956B2 (en) * 2016-09-16 2018-11-06 Gopro, Inc. Beam forming for microphones on separate faces of a camera
KR102374620B1 (ko) * 2017-06-20 2022-03-16 삼성전자주식회사 음성 인식을 위한 전자 장치 및 시스템
KR102435614B1 (ko) * 2017-11-17 2022-08-24 삼성전자주식회사 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법
US10419853B2 (en) * 2018-02-21 2019-09-17 Apple Inc. Binaural audio capture using untethered wireless headset
KR20210090096A (ko) * 2018-11-13 2021-07-19 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 및 연관된 메타데이터에 의해 공간 오디오를 표현하는 것

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063456A1 (ko) * 2022-09-19 2024-03-28 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치, 방법 및 비 일시적 저장 매체
WO2024106730A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법

Also Published As

Publication number Publication date
US20220319553A1 (en) 2022-10-06
WO2022030882A1 (ko) 2022-02-10
EP4145814A1 (en) 2023-03-08
CN116057926A (zh) 2023-05-02
EP4145814A4 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
CN112118527A (zh) 多媒体信息的处理方法、装置和存储介质
US20220319553A1 (en) Electronic device for processing audio data and method for operating same
US20240056720A1 (en) Method for outputting audio signal, and electronic device for performing same
US11916987B2 (en) Electronic device for processing audio data, and operation method thereof
KR20220102492A (ko) 오디오 데이터를 처리하기 위한 오디오 장치 및 그의 동작 방법
US11818781B2 (en) Communication method between multi devices in Bluetooth communication environment and electronic device therefor
KR20220109711A (ko) 상대방 전자 장치와 함께 광고 패킷을 방송하는 전자 장치 및 이의 동작 방법
US20240113811A1 (en) Electronic device and operation method of electronic device
US20240049317A1 (en) Electronic device, method, and non-transitory computer readable storage medium for audio streaming in wireless environment
US20220222036A1 (en) Audio device for processing audio data and operation method thereof
US20220353330A1 (en) Electronic device and method for recording audio data acquired from multiple devices
US20230116736A1 (en) Electronic device for providing audio service and operating method thereof
KR20220050641A (ko) 전자 장치 및 전자 장치에서 무선 오디오 입출력 장치를 이용한 오디오 레코딩 방법
US20230336904A1 (en) Electronic device for processing audio data and operation method therefor
KR20220102448A (ko) 다중 장치 간 통신 방법 및 이를 위한 전자 장치
KR20230051037A (ko) 오디오 서비스를 제공하는 전자 장치 및 그 동작 방법
KR20240019486A (ko) 무선 환경 내에서의 오디오 스트리밍을 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
KR20220102125A (ko) 오디오 데이터를 처리하는 전자 장치와 그 동작 방법
KR20240043636A (ko) 오디오 서비스를 제공하는 전자 장치 및 그 동작 방법
KR20230054158A (ko) 오디오 레코딩을 위한 전자 장치 및 그 동작 방법
KR20240054132A (ko) 전자 장치 및 전자 장치에서 설정 변경에 따라 데이터를 송신 및/또는 수신하는 방법
KR20220061740A (ko) 통신 연결을 통하여 데이터를 전송하는 전자 장치와 이의 동작 방법
KR20230063045A (ko) 전자 장치 및 그의 동작 방법
KR20230075884A (ko) 무선 환경 내에서 위치 정보에 기반하여 외부 전자 장치를 제어하기 위한 블루투스 통신을 수행하는 전자 장치 및 방법
KR20230077174A (ko) 무선 환경 내에서 외부 전자 장치로부터의 수신 타이밍을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체

Legal Events

Date Code Title Description
A201 Request for examination