KR20210042442A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210042442A
KR20210042442A KR1020190124976A KR20190124976A KR20210042442A KR 20210042442 A KR20210042442 A KR 20210042442A KR 1020190124976 A KR1020190124976 A KR 1020190124976A KR 20190124976 A KR20190124976 A KR 20190124976A KR 20210042442 A KR20210042442 A KR 20210042442A
Authority
KR
South Korea
Prior art keywords
external device
electronic device
information
sound
identified
Prior art date
Application number
KR1020190124976A
Other languages
English (en)
Inventor
박영인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190124976A priority Critical patent/KR20210042442A/ko
Priority to PCT/KR2020/013296 priority patent/WO2021071166A1/en
Priority to EP20200796.9A priority patent/EP3805915A1/en
Priority to US17/067,237 priority patent/US20210109705A1/en
Priority to CN202011075870.7A priority patent/CN112653912A/zh
Publication of KR20210042442A publication Critical patent/KR20210042442A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/25—Arrangements specific to fibre transmission
    • H04B10/2589—Bidirectional transmission
    • H04B10/25891—Transmission components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/40—Transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones

Abstract

전자장치는, 소리수신부를 통해 수신되는 소리의 파형 특성을 식별하고, 소리의 파형 특성에 따라서 외부장치가 전달 가능하게 기 정의된 복수의 정보에 기초하여, 식별된 소리의 파형 특성에 대응하는 정보를 식별하고, 식별된 정보에 기초하여 신호출력부를 통해 기 외부장치에 신호가 출력되도록 하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 외부 환경의 소리를 마이크로폰에 의해 캡쳐하여 오디오신호를 획득 가능하게 마련된 전자장치 및 그 제어방법에 관한 것으로서, 상세하게는 스피커를 가진 외부장치로부터 소정의 정보를 획득하는 구조의 전자장치 및 그 제어방법에 관한 것이다.
소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널(display panel) 상에 영상으로 표시하는 디스플레이장치로 구현될 수 있다.
사용자의 요구의 증대와 기술의 발전에 따라서, 어느 하나의 전자장치 단독의 동작을 넘어서, 복수의 전자장치가 상호 통신 가능하게 연결되는 로컬 네트워크 시스템을 이루는 경우가 증가하고 있다. 이러한 로컬 네트워크 시스템의 예시로는 홈 네트워크 환경, IoT(Internet of Things) 환경 등이 있다. 시스템 내에서 복수의 전자장치는 다양한 통신 프로토콜에 기반하여 상호 연결될 수 있다. 그런데, 전자장치들의 연결 환경, 장치 특성 등 다양한 요인으로 인해, 전자장치들 사이의 통신이 제한되는 상황이 발생할 수 있다. 이러한 상황은 다음과 같은 여러 가지 케이스가 가능하다.
예를 들면, 전자장치 및 외부장치가 상호간에 무선통신을 지원하지만 아직 페어링이 되지 않은 경우에, 전자장치 및 외부장치 사이에 정보의 교환이 곤란할 수 있다. 통상적으로 이러한 경우에는, 전자장치는 페어링되지 않은 상태의 외부장치와 통신이 곤란하다.
또는, 전자장치 및 외부장치 사이의 통신 가능하게 연결된 상태임에도, 다양한 요인으로 인해 해당 통신이 곤란할 수도 있다. 전자장치 및 외부장치가 무선통신 연결이 된 상태이더라도, 네트워크의 트래픽이나 노이즈 등으로 인해 무선통신환경이 불량하면, 통신이 지연되거나 아예 통신이 불가능한 상황도 가능하다.
또는, 전자장치 및 외부장치가 단방향 통신으로 연결됨으로써 역방향 통신이 곤란할 수도 있다. 예를 들어 전자장치가 광통신 케이블을 통해 외부장치에 데이터를 전송하도록 연결되어 있다면, 전자장치는 외부장치로부터 데이터를 수신할 수 없다. 이 경우에, 전자장치는 외부장치로부터 해당 외부장치의 장치 특성을 알 수 없으므로, 외부장치의 장치 특성에 맞는 데이터를 제공하는 것이 곤란할 수 있다.
이와 같은 다양한 상황을 극복하여, 전자장치 및 외부장치 사이에 간단하고 효과적으로 통신할 수 있는 방법이 요구될 수 있다.
본 발명의 실시예에 따른 전자장치는, 신호출력부와; 소리수신부를 통해 수신되는 소리의 파형 특성을 식별하고, 소리의 파형 특성에 따라서 외부장치가 전달 가능하게 기 정의된 복수의 정보에 기초하여 상기 식별된 소리의 파형 특성에 대응하는 상기 정보를 식별하고, 상기 식별된 정보에 기초하여 상기 신호출력부를 통해 상기 외부장치에 신호가 출력되도록 하는 프로세서를 포함한다.
또한, 상기 소리의 파형 특성은, 상기 소리의 진폭, 주파수 또는 주기 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 진폭, 주파수 또는 주기에 대응하는 이진 데이터를 식별하고, 상기 식별된 이진 데이터에 따라서 상기 정보를 식별할 수 있다.
또한, 상기 프로세서는, 상기 진폭, 주파수 또는 주기 중에서 둘 이상의 조합에 따라서 상기 정보를 식별할 수 있다.
또한, 상기 정보는 상기 외부장치에 관련된 정보를 포함할 수 있다.
또한, 상기 프로세서는, 상기 식별된 정보에 기초하여 상기 외부장치의 상태를 식별하고, 상기 식별된 외부장치의 상태에 대응하는 상기 신호가 출력되도록 할 수 있다.
또한, 상기 소리는 비가청 주파수 대역에 해당할 수 있다.
또한, 상기 프로세서는, 상기 신호출력부를 통해 상기 외부장치로 오디오신호를 출력할 수 있다.
또한, 상기 신호출력부는 상기 오디오신호를 광신호로 출력할 수 있다.
또한, 상기 프로세서는 상기 식별된 정보에 대응하는 응답 정보를 상기 외부장치로 전송할 수 있다.
또한, 상기 전자장치는 통신부를 더 포함하고, 상기 프로세서는, 상기 식별된 정보에 기초하여 상기 외부장치에 관한 정보를 식별하고, 상기 식별된 상기 외부장치의 정보에 기초하여 상기 통신부를 통해 통신정보를 상기 외부장치로 전송할 수 있다.
또한, 상기 전자장치는 상기 소리수신부를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 전자장치의 제어방법은, 소리수신부를 통해 수신되는 소리의 파형 특성을 식별하는 단계와, 소리의 파형 특성에 따라서 외부장치가 전달 가능하게 기 정의된 복수의 정보에 기초하여 상기 식별된 소리의 파형 특성에 대응하는 상기 정보를 식별하는 단계와, 상기 식별된 정보에 기초하여 신호출력부를 통해 상기 외부장치에 신호가 출력되도록 하는 단계를 포함한다.
도 1은 전자장치 및 외부장치의 모습을 나타내는 예시도이다.
도 2는 전자장치 및 외부장치의 구성 블록도이다.
도 3은 전자장치의 동작 방법을 나타내는 플로우차트이다.
도 4는 외부장치의 정보에 대응하는 속성들의 속성값을 나타내는 DB의 예시도이다.
도 5는 전자장치가 캡쳐한 소리의 발생 주기를 나타내는 그래프이다.
도 6은 전자장치가 캡쳐한 소리의 주파수 별 세기를 나타내는 그래프이다.
도 7은 전자장치 및 외부장치 사이에서 수행되는 동작 과정을 나타내는 예시도이다.
도 8은 전자장치가 외부장치로부터 출력되는 소리의 분석 결과를 외부장치에 피드백하는 경우의 방법을 나타내는 플로우차트이다.
도 9는 전자장치가 식별된 정보에 기초하여 출력신호를 조정하는 방법의 예시도이다.
도 10은 전자장치가 식별된 정보에 기초하여 출력모드를 조정하는 방법의 예시도이다.
도 11은 전자장치가 식별된 정보에 기초하여 모드를 변경할지 여부를 사용자가 선택하도록 하는 UI를 표시하는 모습의 예시도이다.
도 12는 소리를 통해 상호 정보를 교환하기 위한 전자장치 및 외부장치의 구성 블록도이다.
도 13은 복수의 장치를 포함하는 시스템의 예시도이다.
도 14는 전자장치, 입력장치 및 외부장치 사이에서 전자장치가 소리를 캡쳐하는 경우의 신호 송수신 관계를 나타내는 예시도이다.
도 15는 전자장치, 입력장치 및 외부장치 사이에서 입력장치가 소리를 캡쳐하는 경우의 신호 송수신 관계를 나타내는 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 전자장치 및 외부장치의 모습을 나타내는 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 전자장치(110)는 영상을 표시 가능한 디스플레이장치, 예를 들면 TV로 구현된다. 전자장치(110)는 TV 이외에도, 컴퓨터, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등을 포함한다. 다만, 실제로 전자장치(110)는 디스플레이장치 뿐만 아니라, 디스플레이를 구비하지 않은 셋탑박스 등의 영상처리장치이거나, 냉장고, 세탁기 등의 생활가전이거나, 컴퓨터본체와 같은 정보처리장치 등 다양한 종류의 장치로 구현될 수 있다. 또한, 전자장치(110)는 하나의 고정된 위치에 설치되어 사용되는 장치일 수 있고, 사용자가 휴대하고 이동하면서 사용이 가능한 모바일기기일 수도 있다.
외부장치(120)는 전자장치(110)와 분리된 별개의 장치로서, 본 실시예에서는 예를 들면 사운드바(sound bar)로 구현된다. 다만, 사운드바에 한정되지 않고, 외부장치(120) 또한 전자장치(110)의 경우와 유사하게 다양한 종류의 장치로 구현될 수 있다.
전자장치(110) 및 외부장치(120)는 별개의 두 장치를 구분하기 위해 편의상 도입된 용어일 뿐이며, 용어에 의해 해당 장치의 종류 등이 한정되는 것은 아니다. 다만, 전자장치(110)는 소리를 캡쳐할 수 있게 마련된 반면, 외부장치(120)는 소리를 출력할 수 있게 마련된다. 이를 위하여, 외부장치(120)는 소리를 출력하기 위한 스피커(121)를 가진다.
전자장치(110)는 소리를 캡쳐하기 위한 마이크로폰(111)을 가진다. 또는, 전자장치(110)의 본체에 마이크로폰(111)이 설치된 것이 아닌, 전자장치(110)와 무선 통신하며 전자장치(110)를 제어하게 마련된 리모트 컨트롤러(130)에 마이크로폰이 설치될 수도 있다. 전자의 경우에, 마이크로폰(111)에 의해 캡쳐된 소리는 오디오신호로 변환되어 전자장치(110)의 프로세서에 전달된다. 후자의 경우에, 마이크로폰에 의해 캡쳐된 소리는 리모트 컨트롤러(130)에서 오디오신호로 변환되고, 다시 무선신호로 변환되어 전자장치(110)로 전송됨으로써 최종적으로 전자장치(110)의 프로세서에 전달된다.
전자장치(110)는 외부장치(120)에 데이터를 전송할 수 있도록 연결된다. 하나의 예로서, 전자장치(110) 및 외부장치(120)는 단방향 통신 방식에 따라서 연결되는데, 예를 들면 광통신 케이블을 통해 상호 연결될 수 있다. 다른 예로서, 전자장치(110) 및 외부장치(120)는 상호 양방향 통신 방식에 따라 연결될 수도 있다. 광통신 방식은 송신측에서 데이터를 광신호로 변환하여 광케이블을 통해 수신측에 전송하는 방식이다. 광통신 방식에 따라서, 송신측은 광신호를 전송하기 위한 발광소자를 가지는 반면에 수신측은 광신호를 수신하기 위한 수광소자를 가진다. 즉, 수광소자를 가지지 않은 송신측은 발광소자를 가지지 않은 수신측으로부터 광통신 방식에 기반하여 데이터를 수신할 수 없다.
예를 들어, TV인 전자장치(110)는 영상을 표시하는 디스플레이부와 오디오를 출력하는 스피커를 가진다. 전자장치(110)는 디스플레이부에 영상을 표시하는 동안, 자체적으로 구비한 스피커를 통해 오디오를 출력하지 않고, 광케이블을 통해 오디오신호를 사운드바인 외부장치(120)에 전송한다. 외부장치(120)는 전자장치(110)로부터 수신되는 오디오신호를 스피커(121)로 출력한다.
이하, 전자장치(110) 및 외부장치(120)의 구성에 관해 설명한다.
도 2는 전자장치 및 외부장치의 구성 블록도이다.
도 2에 도시된 바와 같이, 전자장치(210)은 통신부(211)와, 신호출력부(212)와, 디스플레이부(213)와, 사용자입력부(214)와, 저장부(215)와, 마이크로폰(216)과, 스피커(217)와, 프로세서(218)를 포함한다. 한편, 외부장치(220)는 외부장치 통신부(221)와, 외부장치 신호입력부(222)와, 외부장치 저장부(225)와, 외부장치 스피커(227)와, 외부장치 프로세서(228)를 포함한다.
이하, 전자장치(210)의 구성에 관해 설명한다. 본 실시예서는 전자장치(210)가 TV인 경우에 관해 설명하지만, 전자장치(210)는 다양한 종류의 장치로 구현될 수 있으므로, 본 실시예가 전자장치(210)의 구성을 한정하는 것은 아니다. 전자장치(210)가 디스플레이장치로 구현되지 않는 경우도 가능하며, 이 경우의 전자장치(210)는 디스플레이부(213)와 같은 영상 표시를 위한 구성요소들을 포함하지 않을 수 있다. 예를 들면 전자장치(210)가 셋탑박스로 구현되는 경우에, 전자장치(210)는 신호출력부(212)를 통해 외부의 TV에 영상신호를 출력할 수 있다.
통신부(211)는 다양한 종류의 유선 및 무선 통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로이다. 예를 들면, 통신부(211)는 와이파이 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈이나, 라우터 또는 게이트웨이에 유선 연결된 랜카드로 구현될 수 있다. 통신부(211)는 네트워크 상의 서버와 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다.
또는, 통신부(211)는 전자장치(210)의 본체와 분리된 리모트 컨트롤러와 통신함으로써, 리모트 컨트롤러로부터 전송되는 제어신호를 수신할 수 있다. 리모트 컨트롤러가 적외선 신호를 전송하도록 마련된 경우에, 통신부(211)는 적외선 수신모듈을 포함할 수 있다. 또는, 리모트 컨트롤러가 상기한 다이렉트 무선통신을 지원하는 경우, 통신부(211)에 포함된 무선통신모듈에 의해 리모트 컨트롤러와 통신이 가능하다.
신호출력부(212)는 셋탑박스 또는 광학미디어 재생장치와 같은 외부장치와 1:1 또는 1:N(N은 자연수) 방식으로 유선 연결됨으로써, 해당 외부장치에 데이터를 출력한다. 신호출력부(212)는 예를 들면 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, USB 포트 등과 같이, 기 설정된 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다.
여기서, 본 실시예에 따른 신호출력부(212)는 단방향 통신모듈을 포함한다. 단방향 통신모듈은 전자장치(210)에서 외부장치(220)로의 단방향으로만 신호를 전송하게 마련된 통신모듈이며, 예를 들어 광통신 모듈을 포함한다. 광통신 모듈은 소정의 데이터를 광신호로 변환하는 광통신칩과, 광신호를 출력하도록 광케이블이 연결되는 광통신 포트를 포함한다. 다만, 신호출력부(212)는 광통신 모듈 이외에도 다양한 규격의 단방향 통신모듈을 포함할 수 있다.
디스플레이부(213)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(213)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(213)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
사용자입력부(214)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(214)는 전자장치(210)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 전자장치(210)의 기계적 또는 전자적 버튼부, 터치패드, 디스플레이부(213)에 설치된 터치스크린 등이 있다.
저장부(215)는 디지털화된 데이터를 저장한다. 저장부(215)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(218)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
마이크로폰(216) 또는 소리수신부는 전자장치(210)의 외부 환경의 소리를 수집한다. 마이크로폰(216)은 수집된 소리의 오디오신호를 프로세서(218)에 전달한다. 마이크로폰(216)은 전자장치(210)의 본체에 설치될 수도 있고, 전자장치(210)의 본체와 분리된 리모트 컨트롤러에 설치될 수도 있다. 후자의 경우에, 마이크로폰(216)에 의해 생성된 오디오신호는 리모트 컨트롤러로부터 통신부(211)에 수신된다. 후자의 경우에 관해 보다 구체적으로 설명하면, 리모트 컨트롤러의 마이크로폰(216)을 통해 수집된 오디오신호는 디지털신호로 변환된다. 리모트 컨트롤러는 변환된 디지털신호를 통신부(211)와 통신 가능한 프로토콜, 예를 들면 블루투스, 와이파이, 지그비 등의 프로토콜에 기반하여 통신부(211)에 전송한다. 통신부(211)에 수신되는 디지털신호는 프로세서(218)로 전달되어 처리된다.
스피커(217)는 프로세서(218)에 의해 처리되는 오디오신호를 음향으로 출력 가능하게 마련된다. 본 실시예에서는 전자장치(210)가 자체적으로 스피커를 포함하는 경우를 나타내고 있지만, 전자장치(210)가 스피커(217)를 포함하지 않을 수도 있다.
프로세서(218)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(270)는 전자장치(210)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
또한, 프로세서(218)는 스피커(217)를 통해 음향을 출력할 수 있다. 또는, 프로세서(218)는 마이크로폰(216)을 통해 획득된 오디오신호를 신호출력부(212)를 통해 외부장치(220)에 출력함으로써, 최종적으로 외부장치(220)의 외부장치 스피커(227)를 통해 해당 오디오신호에 기초한 음향이 출력되도록 할 수도 있다.
이하, 외부장치(220)의 구성에 관해 설명한다.
외부장치 통신부(221)는 다양한 종류의 유선 및 무선 통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로이다. 외부장치 통신부(221)는 와이파이, 블루투스 등 다양한 규격에 기반한 통신칩을 포함할 수 있다. 본 실시예의 경우에는 외부장치(220)가 외부장치 통신부(221)를 포함하고 있는 것으로 나타내고 있지만, 외부장치 통신부(221)가 반드시 외부장치(220)에 마련되어야 하는 것은 아니다. 추후 설명하는 본 발명의 실시예에 따른 동작에서는 외부장치(220)가 외부장치 통신부(221)를 통해 전자장치(210)와 통신할 수 없는 경우, 또는 소정의 이유로 인해 외부장치 통신부(221)를 통해 전자장치(210)와 통신하기 곤란한 경우에 관한 것이다. 이에 관한 내용은 후술한다.
외부장치 신호입력부(222)는 전자장치(210)로부터 데이터, 신호를 수신하게 마련되도록 전자장치(210)에 연결된다. 본 실시예에서는 외부장치 신호입력부(222)가 전자장치(210)와 단방향 통신 기반으로 연결되어 있는 경우, 예를 들어 광케이블을 통해 연결되어 있는 경우에 관해 설명한다. 광통신의 경우, 외부장치 신호입력부(222)는 광신호를 수신하기 위한 수광소자와, 수신되는 광신호를 디지털신호로 변환하는 변환칩 등의 구성을 포함한다. 이 경우에, 외부장치 신호입력부(222)는 전자장치(210)로부터 신호를 수신하는 것이 가능한 반면, 전자장치(210)에 신호를 전송할 수 없다.
외부장치 저장부(225)는 디지털화된 데이터를 저장한다. 외부장치 저장부(225)는 비휘발성 속성의 스토리지와, 휘발성 속성의 메모리를 포함한다. 외부장치 저장부(225)는 예를 들면 외부장치 프로세서(228)에 의해 참조되기 위한 다양한 정보를 저장한다.
외부장치 스피커(227)는 외부장치 신호입력부(222)를 통해 수신되는 오디오신호, 또는 외부장치 저장부(225)에 저장된 데이터에 기반한 오디오신호를 음향으로 출력한다.
외부장치 프로세서(228)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함한다. 외부장치 프로세서(228)는 예를 들면 외부장치 신호입력부(222)를 통해 수신되는 오디오신호를 처리하여 외부장치 스피커(227)를 통해 음향으로 출력되도록 한다. 또한, 본 실시예에 따른 외부장치 프로세서(228)는 외부장치 통신부(221) 또는 외부장치 신호입력부(222)를 통하지 않고, 소정의 정보를 전자장치(210)에 전달할 수 있다. 이로써, 전자장치(210)는 통신부(211) 또는 신호출력부(212)를 통하지 않고서도 외부장치(220)로부터 정보를 획득하여, 획득한 정보에 대응하는 동작을 수행할 수 있다.
이하, 본 발명의 실시예에 따른 전자장치의 동작에 관해 설명한다.
도 3은 전자장치의 동작 방법을 나타내는 플로우차트이다.
도 3에 도시된 바와 같이, 하기 동작은 전자장치의 프로세서에 의해 수행된다. 본 실시예에서는, 전자장치는 외부장치에 신호를 전송할 수 있도록 단방향으로 연결되어 있고, 외부장치는 해당 연결을 통해 전자장치에 신호를 전송할 수 없는 경우의 예시로 들고 있으나, 설계 방식에 따라서는 전자장치 및 외부장치 사이의 연결은 양방향 통신도 포함할 수 있다.
310 단계에서 전자장치는 외부 환경의 소리를 수신한다.
320 단계에서 전자장치는 수신되는 소리의 파형을 분석한다.
330 단계에서 전자장치는 분석된 소리의 파형 특성을 식별한다.
340 단계에서 전자장치는 다양한 소리의 파형 특성에 따라서 외부장치가 전달 가능하도록 미리 정의된 복수의 정보를 획득한다.
350 단계에서 전자장치는 획득한 복수의 정보에 기초하여, 식별된 소리의 파형 특성에 대응하는 정보를 식별한다.
360 단계에서 전자장치는 식별된 정보에 기초하여 외부장치에 신호를 출력한다. 또는, 전자장치는 식별된 정보에 대응하는 설정에 따라서, 외부장치에 출력하는 신호를 조정한다. 본 실시예의 전자장치는 식별된 정보에 대응하는 후속 동작으로서 외부장치에 출력하는 신호를 조정하는 것을 예시한다. 그러나, 본 발명의 사상은 이에 한정되지 않으며, 아래 후술하는 다른 예시 및 본 실시예에 명시적으로 언급되지 아니한 다양한 다른 후속 동작에도 적용될 수 있다.
이로써, 전자장치는 통신부 또는 신호입출력부를 통하지 않더라도, 외부장치로부터 간단한 방법으로 소정의 정보를 획득할 수 있다.
한편, 전자장치의 프로세서는 상기와 같이 외부장치로부터 출력되는 소리의 파형 특성을 식별하고, 식별된 파형 특성에 대응하는 정보에 기초하여 외부장치에 신호를 출력하는 동작을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 전자장치의 프로세서는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 전자장치의 저장부 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 전자장치의 저장부 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
이하, 외부장치가 외부장치의 환경정보에 기초하는 소리를 출력하면, 전자장치가 해당 소리를 캡쳐하고, 캡쳐된 소리의 파형을 분석하여 해당 파형의 특성에 대응하는 외부장치의 정보를 식별하는 실시예에 관해 구체적으로 설명한다. 이하 설명하는 실시예는 앞서 설명한 전자장치의 동작을 구현하는 다양한 예시 중 하나일 뿐으로서, 구체적인 예시가 발명의 사상을 한정하는 것은 아님을 밝힌다.
도 4는 외부장치의 정보에 대응하는 속성들의 속성값을 나타내는 DB의 예시도이다.
도 4에 도시된 바와 같이, 외부장치가 전자장치에 전달하도록 마련된 정보는, 예를 들면 외부장치에 관련된 다양한 특성 정보를 포함한다. 본 정보는 외부장치의 장치 속성, 외부장치의 장치 상태, 외부장치의 사용 환경, 외부장치의 사용 이력 등 다양한 외부장치의 특성에 기반한다. 구체적으로 외부장치의 특성은, 예를 들어 외부장치가 사운드바인 경우에, 외부장치의 모델명, 제조사, 제조시기, 지원하는 채널 수, 중저음 지원 가능 여부, 지원하는 입력모드, 지원하는 출력모드, 사용기간, 외부장치가 설치된 주변환경 등이 있다.
외부장치의 특성 정보는 외부장치가 가질 수 있는 이러한 다양한 특성들 중에서 해당 외부장치에 해당하는 특성의 정보값을 포함한다. 예를 들면, 특성 정보는 입력모드, 출력모드, 모델 등의 항목을 가진다. 이와 관련하여 소정 외부장치의 정보값은, D.In(Digital Input)의 입력모드와, Music에 최적화된 사운드모드(출력모드)를 지원하며, S사 2019년형 모델을 나타낼 수 있다. 다양한 종류의 외부장치들은 이러한 방식으로 고유한 정보값을 가질 수 있다.
다양한 외부장치의 특성 정보를 구별하기 위해, 복수의 정보값에 각기 대응하는 주파수 및 주기의 맵핑 데이터를 포함하는 DB(400)가 마련된다. 이러한 DB(400)는 서로 특성이 상이한 복수의 외부장치와, 다양한 전자장치들이 공통적으로 참조할 수 있도록, 다양한 정보값들을 포함하여 제공된다.
DB(400)에 따르면, 일 정보값에 대응하는 맵핑 데이터는, 외부장치의 스피커를 통해 음향의 형태로 출력되도록 마련되며, 주기 및 주파수의 속성에 따른 이진(binary) 데이터를 포함한다.
DB(400)의 주기는 맵핑 데이터를 출력하기 위한 반복 주기를 나타낸다. 출력의 반복 회수는 기 설정된 수치로 정해질 수 있으며, 설계 방식에 따라서 다양한 수치가 적용될 수 있다. 예를 들어 맵핑 데이터의 출력 회수가 6회로 지정되어 있고 소정의 맵핑 데이터의 주기가 300ms라면, 해당 맵핑 데이터는 300ms마다 스피커를 통해 6회 반복하여 출력되도록 지정된 것이다.
DB(400)의 주파수에 관해서, 사전에 마련된 복수의 주파수는 맵핑 데이터의 이진값의 각 자리수에 각기 대응하도록 지정된다. 복수의 주파수는 서로 상이하게 지정되며, 어떠한 주파수 대역에서라도 지정될 수 있다. 다만, 본 주파수들은 비가청 대역으로부터 지정되는 것에 바람직하다. 비가청대역은 통상적인 사용자가 들을 수 없는 주파수대역인데, 맵핑 데이터가 비가청대역을 사용하는 경우에는 생활소음과 같은 노이즈 간섭을 최소화시킬 수 있기 때문이다. 물론, 노이즈 대책이 충분하다면, 맵핑 데이터가 가청대역을 사용하는 것도 가능하다.
사전에 마련된 복수의 주파수가 본 DB(400)에서의 예를 들어 17.0, 17.5, 18.0, 18.5, 19.0 (이상 단위는 kHz)일 때, 각 주파수는 0 또는 1 (즉, off 또는 on)의 값을 가진다. 주파수의 값이 0이면 해당 주파수에서 신호의 출력 세기가 기 설정된 문턱값보다 낮도록 출력된다는 의미이다. 반면에 주파수의 값이 1이면 해당 주파수에서 신호의 출력 세기가 상기한 문턱값보다 높도록 출력된다는 의미이다. 예를 들어 소정 맵핑 데이터의 값이 [10001]일 때, 17.0의 주파수에서의 값은 1, 17.5의 주파수에서의 값은 0, 18.0의 주파수에서의 값은 0, 18.5의 주파수에서의 값은 0, 19.0의 주파수에서의 값은 1을 나타낸다.
0 또는 1의 값은 파형에서 진폭의 크기로 나타나는데, 0은 상대적으로 진폭이 작고 1은 상대적으로 진폭이 크게 나타난다. 혹은, 0은 진폭이 미리 정의된 설정값보다 작고, 1은 설정값보다 큰 경우를 나타낼 수도 있다. 즉, 이진 데이터는 진폭의 속성으로 나타날 수 있는 바, 정리하면 음향으로 출력되는 맵핑 데이터는 진폭, 주파수, 주기가 조합된 파형 특성을 가진다.
이상과 같이 주기 및 주파수를 조합하여 맵핑 데이터를 정리하면 다음과 같다. DB(400)는 어느 정보값에 대응하는 주기와, 복수의 주파수에 대응하는 이진 데이터를 지정한다. 외부장치는 상기한 주기마다 상기한 이진 데이터에 기반하여 음향을 출력함으로써, 대응 정보값을 전자장치에 전달할 수 있다.
예를 들어 외부장치가 전달하고자 하는 정보값이 D.In의 입력모드라고 한다. 이에, 외부장치는 DB(400)에 기초하여, 하나의 주기 당 17.0, 17.5, 18.0, 18.5, 19.0의 각 주파수에서 [10001]의 데이터에 기반하여 음향을 출력하고, 이러한 주기를 300ms마다 반복한다. 전자장치는 외부장치로부터 출력되는 이러한 음향을 캡쳐하여 그 파형을 분석함으로써, 외부장치로부터 D.In의 입력모드를 나타내는 정보를 획득할 수 있다.
다른 예를 들어 외부장치가 전달하고자 하는 정보값이 Music의 출력모드라고 한다. 이에, 외부장치는 DB(400)에 기초하여, 하나의 주기 당 17.0, 17.5, 18.0, 18.5, 19.0의 각 주파수에서 [01011]의 데이터에 기반하여 음향을 출력하고, 이러한 주기를 600ms마다 반복한다. 전자장치는 외부장치로부터 출력되는 이러한 음향을 캡쳐하여 그 파형을 분석함으로써, 외부장치로부터 Music의 출력모드를 나타내는 정보를 획득할 수 있다.
이하, 전자장치가 외부장치로부터 출력되는 음향을 캡쳐하여 분석하는 예시에 관해 설명한다.
도 5는 전자장치가 캡쳐한 소리의 발생 주기를 나타내는 그래프이다.
도 5에 도시된 바와 같이, 전자장치에서 마이크로폰을 통해 캡쳐되는 소리는 파형의 그래프(500)로 나타날 수 있다. 여기서, 전자장치가 반드시 파형 그래프(500)를 실제로 그려야 하는 것은 아니며, 전자장치는 소리의 파형을 분석할 수 있는 소정의 프로그램 코드 또는 알고리즘에 따라서 분석 동작을 수행할 수 있다.
전자장치는 소리 파형을 시간의 차원에서, 해당 소리가 감지되는지 여부를 그래프(500)로 나타낼 수 있다. 본 그래프(500)에서, 가로축은 시간에 해당하며, 세로축은 소리 감지 여부를 나타낸다. 본 그래프(500)에서는 600ms, 1200ms에서 세로축의 값이 0에서 1로 변화하였으며, 세로축의 값이 1을 계속 유지하는 시간은 300ms로 나타난다. 즉, 본 소리는 300ms 단위 길이 및 600ms의 주기를 가진다고 분석될 수 있다. 앞선 도 4의 DB(400, 도 4 참조)를 참조한다면, 600ms 주기는 출력 모드의 정보값을 나타낸다고 식별될 수 있다.
이러한 방법에 따라서, 전자장치는 캡쳐되는 소리의 파형으로부터 주기를 식별할 수 있다.
도 6은 전자장치가 캡쳐한 소리의 주파수 별 세기를 나타내는 그래프이다.
도 6에 도시된 바와 같이, 전자장치에서 마이크로폰에 의해 캡쳐되는 소리는 파형의 그래프로 표현될 수 있다. 본 그래프는 주파수 차원에서 소리의 세기를 나타낸 것으로서, 가로축은 주파수이며, 세로축은 세기를 나타낸다.
전자장치는 미리 정의된 주파수에서 신호의 세기가 문턱값을 넘는지 여부를 체크한다. 예를 들면, 전자장치는 사전에 정의된 17.0, 17.5, 18.0, 18.5, 19.0 (이상 단위는 kHz) 각각의 주파수에서 소리의 세기가 기 설정된 제1문턱값보다 높은지 여부를 체크한다. 체크 결과, 각 대상 주파수에서 세기가 제1문턱값보다 높으면 1로, 그렇지 않으면 0으로 이진값이 지정된다. 주파수의 순서에 따라서 이진값들을 배열하면, 캡쳐된 소리가 나타내는 일련의 이진 데이터가 획득된다.
본 그래프의 예시에 따르면, 17.0의 주파수에서 1, 17.5의 주파수에서 0, 18.0의 주파수에서 1, 18.5의 주파수에서 0, 19.0의 주파수에서 1로 나타나는 바, 본 그래프의 소리 파형은 [10101]라는 이진 데이터를 나타냄을 알 수 있다. 앞선 도 4의 DB(400, 도 4 참조)를 참조한다면, [10101]의 이진 데이터는 출력모드 중에서 standard의 정보값에 대응한다고 식별될 수 있다.
본 실시예에서는 주파수에서의 소리 세기에 따라서 0 또는 1의 이진값을 식별하는 것으로 설명하지만, 이진값의 식별 방법이 이에 한정되는 것은 아니다. 예를 들면, 소정 시점에서 파형의 세기가 높다는 것은 해당 시점에서 파형의 진폭이 크다는 것을 의미한다. 이러한 관점에서, 전자장치는 각각의 주파수에서 소리의 진폭이 기 설정된 제2문턱값보다 큰지 여부를 체크한다. 체크 결과, 각 대상 주파수에서 진폭이 제2문턱값보다 크면 1로, 그렇지 않으면 0으로 이진값이 지정된다.
이와 같은 방법에 따라서, 전자장치는 마이크로폰에 의해 캡쳐되는 소리의 파형을 분석하여, 분석 결과에 따른 소리 파형의 특성을 식별하고, 식별된 특성에 대응하는 정보를 식별할 수 있다.
이하, 전자장치 및 외부장치 각각에서 수행되는 동작 과정에 관해 설명한다.
도 7은 전자장치 및 외부장치 사이에서 수행되는 동작 과정을 나타내는 예시도이다.
도 7에 도시된 바와 같이, 다음과 같은 동작은 전자장치(701)의 프로세서 또는 외부장치(702)의 외부장치 프로세서에 의해 수행된다.
710 단계에서 전자장치(701) 및 외부장치(702)는 외부장치의 관련 정보에 대응하는 이진 데이터의 DB를 각기 획득한다. 즉, 전자장치(701) 및 외부장치(702)는 공통적으로 참조하기 위한 DB를 획득한다. 또는, 전자장치(701)의 경우에 반드시 710 단계에서 DB를 획득하지 않더라도, 차후 필요 시에 획득할 수도 있다.
720 단계에서 외부장치(702)는 전자장치(701)에 알리고자 하는 정보의 정보값에 대응하는 이진 데이터를 DB에서 식별한다. 예를 들면, 이진 데이터는 주파수 및 주기에 대응하게 마련된다.
730 단계에서 외부장치(702)는 식별된 이진 데이터를 소리로 출력한다. 외부장치(702)는 DB에서 지정된 주파수 및 주기에 따라서 이진 데이터를 스피커를 통해 출력한다.
740 단계에서 전자장치(701)는 외부장치(702)로부터 출력되는 소리를 캡쳐하고, 캡쳐된 소리의 파형을 분석하여 이진 데이터를 도출한다. 전자장치(701)가 이진 데이터를 도출하는 방식은, 대체적으로 앞서 외부장치(702)가 이진 데이터에 기초하여 소리를 출력하는 방식의 역방향으로 진행된다.
750 단계에서 전자장치(701)는 도출된 이진 데이터에 대응하는 정보값을 DB에서 식별한다. 본 DB는 전자장치(701) 및 외부장치(702)가 공통적으로 참조하도록 마련되므로, 전자장치(701)는 외부장치(702)가 최초 의도한 정보값을 획득할 수 있다.
760 단계에서 전자장치(701)는 식별된 정보값에 대응하여 신호를 조정한다. 예를 들어 전자장치(701)가 외부장치(702)에 오디오신호를 출력하게 마련된 경우에, 전자장치(701)는 식별된 정보값(입력모드, 출력모드, 외부장치(702)의 모델, 외부장치(702)가 지원하는 오디오채널 등)에 대응하여 오디오신호의 오디오 특성을 조정할 수 있다.
770 단계에서 전자장치(701)는 조정한 신호를 출력한다. 예를 들면, 전자장치(701)는 단방향 통신 규격에 따라서 신호를 출력할 수 있는데, 반드시 이러한 경우에만 한정된 것은 아니다. 외부장치(702)가 전자장치(701)에 신호를 전송할 수 있는 별도의 통신이 구현되어 있을 수도 있다.
780 단계에서 외부장치(702)는 전자장치(701)로부터 출력되는 조정된 신호를 처리한다. 예를 들어 외부장치(702)가 사운드바이고, 조정된 신호가 오디오신호이면, 외부장치(702)는 자체 구비한 스피커를 통해 해당 오디오신호를 음향으로 출력한다.
이상 설명한 실시예에서는 외부장치가 전달하고자 하는 정보가 주기, 주파수, 진폭(또는 세기)에 대응하는 이진 데이터로 나타내는 경우에 관해 설명하였다. 그러나, 본 정보를 나타내는 형식은 이러한 실시예에 한정되지 않으며, 주기, 주파수, 진폭의 패러미터들 중 둘 이상의 조합이 선택적으로 사용되거나, 어떠한 패러미터는 대체될 수도 있다.
예를 들면, 앞선 실시예에서의 이진 데이터는 사전에 정의된 복수의 주파수 각각에서의 이진값을 포함하므로, 주파수 및 진폭에 대응하는 데이터로 볼 수 있다. 앞선 실시예에서는 이러한 이진 데이터에 주기에 관한 패러미터가 추가된 경우인데, 설계 방식에 따라서는 주기는 고려되지 않고, 주파수 및 진폭만이 고려될 수 있다.
또는, 주파수 및 진폭을 고려하는 경우에도, 주파수 또는 진폭에 대한 배리에이션에 따라서 보다 많은 내용의 정보가 소리에 담길 수 있다.
주파수의 경우에, 사전에 정의된 주파수의 개수가 증가할수록 데이터의 길이는 길어지며, 해당 데이터가 전달할 수 있는 정보의 개수 또한 증가한다.
진폭의 경우에, 앞선 실시예에서는 소정의 문턱값을 기준으로 값이 큰지 아니면 작은지 여부만이 고려되었으므로, 결과적으로 하나의 주파수 당 0 또는 1의 이진값만을 나타낼 수 있다. 그러나, 이 문턱값이 복수 개로 정의되면 하나의 주파수 당 나타낼 수 있는 값도 증가된다. 예를 들면, 제1문턱값 및 이보다 큰 제2문턱값이 정의되는 경우에, 전자장치는 소정 주파수에서의 진폭이 제1문턱값보다 낮으면 0, 제1문턱값 및 제2문턱값 사이에 있으면 1, 제2문턱값보다 크면 2 등으로 판단할 수 있다. 이 경우에, 하나의 주파수 당 식별될 수 있는 값은 세가지로 증가한다.
앞서 언급했던 패러미터의 대체와 관련하여, 예를 들면 외부장치는 소리를 기 설정된 주기마다 반복하여 출력하는 대신에, 사전에 약속된 트리거 사운드(trigger sound)를 이진 데이터에 기반한 소리에 선행하여 출력할 수 있다. 트리거 사운드는 전자장치가 식별 가능하도록 사전에 정의된 소리이며, 일종의 헤더 역할을 수행한다. 전자장치는 트리거 사운드가 감지되면, 그 이후에 감지되는 소리가 외부장치로부터 전달되는 정보를 담고 있다고 식별할 수 있다.
이상 설명한 실시예들에서와 같이, 장치들 간에 소리를 통해 정보를 전달하는 방법은, 장치들 간에 양방향 통신이 구현되지 않은 경우에 유용하게 사용될 수 있다. 그러나, 두 장치들 사이에 양방향 통신이 구현되어 있는 경우에도 사용될 수 있다.
예를 들면, 전자장치(701) 및 외부장치(702)가 공통적으로 블루투스 무선통신 규격을 지원하더라도, 전자장치(701) 및 외부장치(702) 중 어느 한 장치가 타 장치와 이미 페어링되어 있는 경우가 있다. 이 경우에 전자장치(701) 및 외부장치(702)는 양자간에 새로운 페어링 과정을 수행하지 않으면 블루투스 통신을 수행할 수 없다. 외부장치(702)는 소리를 통해 전자장치(701)에 정보를 전달함으로써, 이러한 상황에 대처할 수 있다.
또는, 전자장치(701) 및 외부장치(702) 사이에 양방향 무선통신이 구현되어 있고 양자간에 페어링도 되어 있으나, 시스템 부하, 트래픽, 네트워크 환경의 노이즈 등 다양한 이유로 인해 양방향 무선통신을 통해서 정보 전달이 곤란한 경우가 있다. 예를 들면, 전자장치(701)가 외부장치(702)에 고용량 데이터를 전송하는 동안에는, 외부장치(702)가 전자장치(701)에 정보를 전달하기 위한 추가적인 주파수대역을 사용하는 것이 곤란할 수 있다. 외부장치(702)는 소리를 통해 전자장치(701)에 정보를 전달함으로써, 이러한 상황에 대처할 수 있다.
한편, 본 실시예와 같은 동작이 수행되는 시점은, 특정한 시점에 한정되지 않고 다양하게 지정될 수 있다. 예를 들면, 전자장치(701)는 전원이 턴온되어 부팅이 완료되면, 외부장치(702)가 정보에 대응하는 소리를 출력하도록 외부장치(702)에 일종의 트리거 신호를 전송할 수 있다. 본 트리거 신호의 전송방법은 한정되지 않으며, 다양한 통신 방식이 적용될 수 있다.
또는, 전자장치(701)는 기 설정된 사용자 입력이 수행되면, 외부장치(702)에 상기한 트리거 신호를 전송할 수 있다. 또는, 외부장치(702)에 기 설정된 사용자 입력이 수행되면, 외부장치(702)는 정보에 대응하는 소리를 출력하도록 마련될 수도 있다.
또는, 전자장치(701)나 외부장치(702)에 마련된 AI 어시스턴트가 기 설정된 이벤트에 응답하여 본 실시예와 같은 동작을 수행할 수도 있다. 예를 들면, AI 어시스턴트는 전자장치(701)로부터의 오디오신호가 외부장치(702)에서 음향으로 출력되도록 설정된 경우에, 해당 오디오신호가 외부장치(702)가 아닌 전자장치(701)의 스피커로부터 출력되는 것으로 식별되면, 상기한 동작이 수행되도록 할 수 있다. 또는, AI 어시스턴트는 외부장치(702)의 입출력 모드가 전자장치(701)의 입출력 모드에 대응하지 않는다고 식별되면, 상기한 동작이 수행되도록 할 수 있다.
한편, 앞선 실시예에서는 전자장치가 외부장치로부터 출력되는 소리의 파형을 식별하고, 바로 식별 결과를 반영하여 동작하는 경우에 관해 설명하였다. 그러나, 전자장치 및 외부장치가 별도의 양방향 통신이 가능한 경우에, 설계 방식에 따라서는 전자장치가 식별 결과를 외부장치에 피드백하는 방식도 적용될 수 있다. 이하, 이러한 방법에 관해 설명한다.
도 8은 전자장치가 외부장치로부터 출력되는 소리의 분석 결과를 외부장치에 피드백하는 경우의 방법을 나타내는 플로우차트이다.
도 8에 도시된 바와 같이, 이하 동작은 전자장치의 프로세서에 의해 수행된다.
810 단계에서 전자장치는 외부 환경의 소리를 수신한다.
820 단계에서 전자장치는 수신되는 소리의 파형 특성에 대응하는 정보를 식별한다. 전자장치가 본 정보를 식별하는 방법은 앞선 실시예에서 설명한 바와 같다.
830 단계에서 전자장치는 식별된 정보의 인증을 위해 해당 정보를 외부장치에 전송한다. 전자장치는 식별된 정보를 외부장치에 피드백함으로써, 외부장치가 해당 정보가 맞는지 여부를 인증할 수 있도록 한다. 전송 방법은 한정되지 않으며, 예를 들면 외부장치에 대한 단방향 통신에 따르거나, 전자장치 및 외부장치 사이에 추가적으로 구현된 양방향 통신에 따르거나, 또는 외부장치의 경우와 유사하게 소리를 통해 전달하는 등 다양한 방법이 적용될 수 있다.
840 단계에서 전자장치는 외부장치로부터 피드백한 정보에 대한 인증 여부에 관한 결과를 수신한다.
850 단계에서 전자장치는 수신된 결과가 해당 정보의 인증을 나타내는지 여부를 식별한다.
수신된 결과가 인증을 나타내면, 860 단계에서 전자장치는 인증된 해당 정보에 기초하여 외부장치에 신호를 출력한다.
반면에, 수신된 결과가 인증을 나타내지 않으면, 870 단계에서 전자장치는 해당 정보에 대응하는 소리를 재출력하도록 외부장치에 요청한다. 그리고, 전자장치는 810 단계로 이행함으로써, 외부장치로부터 재출력되는 소리를 다시 분석하는 동작을 수행한다.
만일 분석 결과가 인증되지 않는 회수가 기 설정값 이상이면, 전자장치는 상기한 프로세스의 반복을 중지하고 별도의 동작을 수행한다. 예를 들면, 전자장치는 현재 상황을 나타내는 에러 메시지를 표시함으로써, 사용자에게 알릴 수 있다.
전자장치 및 외부장치 사이가 양방향 통신이 가능하더라도, 외부장치가 소리 출력을 통해 전자장치에 정보를 전달하는 이유에는 여러 가지가 있을 수 있다. 예를 들면, 전자장치 및 외부장치 사이의 양방향 통신이 트래픽, 노이즈 등의 네트워크 문제로 인해 현 시점에서 사용하기에 적합하지 않을 수도 있다. 또는, 양방향 통신이 사용 가능하다고 하더라도, 많은 장치들이 포함되는 IoT 환경 하에서 다양한 정보전달방법을 확보하기 위해 일부로 본 실시예와 같은 방법이 사용될 수도 있다.
한편, 전자장치는 식별된 정보에 기초하여, 외부장치에 출력할 신호의 다양한 설정 또는 상태를 조정할 수 있다. 이하, 이러한 조정 동작의 예시에 관해 설명한다.
도 9는 전자장치가 식별된 정보에 기초하여 출력신호를 조정하는 방법의 예시도이다.
도 9에 도시된 바와 같이, 전자장치(910)는 오디오신호를 출력하며, 외부장치(920)는 전자장치(910)로부터 출력되는 오디오신호를 스피커를 통해 음향으로 출력한다. 여기서, 외부장치(920)는 앞선 실시예들에서 설명한 바와 같은 방법에 따라서, 외부장치(920)의 출력모드를 나타내는 정보를 전자장치(910)에 전달할 수 있다. 예를 들어, 본 정보는 외부장치(920)의 출력모드가 Music 모드임을 나타낼 수 있다.
한편, 전자장치(910)는 복수의 출력모드에 각기 대응하는 오디오신호의 소정 상태에 대한 오프셋값을 저장한 테이블(930)을 가질 수 있다. 예를 들어, 본 테이블(930)은 외부장치의 출력모드가 Standard이면 소정 제1값의 오프셋값을, 외부장치의 출력모드가 Movie이면 소정 제2값의 오프셋값을, 외부장치의 출력모드가 Music이면 소정 제3값의 오프셋값을 각각 지정할 수 있다.
전자장치(910)는 외부장치(920)로부터 전달받은 정보가, 외부장치의 출력모드가 Music이라는 것을 나타내고 있으면, 본 테이블(930)에서 Music의 출력모드에 대응하는 오프셋값인 제3값을 식별한다. 전자장치(910)는 식별된 제3값을 오디오신호에 반영하여 출력한다. 따라서, 외부장치(920)에 수신되는 오디오신호는 전자장치(910)가 외부장치(920)의 출력모드에 대응하여 보정된 상태로 수신된다. 여기서, 오프셋값이 오디오신호에 반영되는 방식은 여러 가지가 가능하며, 오디오신호의 볼륨, 채널, 주파수 등 다양한 오디오신호의 상태가 조정될 수 있다.
이와 같이, 본 실시예에 따른 전자장치(910)는 외부장치(920)로부터 전달받은 정보를 반영하여, 출력하는 신호를 조정할 수 있다. 본 실시예에서는 외부장치(920)의 출력모드에 대응하여 오디오신호의 오프셋값을 조정하는 방법에 관해 설명하였다. 그러나, 전자장치(910)가 외부장치(920)로부터 전달받는 정보는 본 실시예로 한정되지 않으며, 또한 전달받은 정보에 기초하여 신호를 조정하는 방법은 본 실시예로 한정되지 않는다.
도 10은 전자장치가 식별된 정보에 기초하여 출력모드를 조정하는 방법의 예시도이다.
도 10에 도시된 바와 같이, 전자장치(1010)는 오디오신호를 출력하며, 외부장치(1020)는 전자장치(1010)로부터 출력되는 오디오신호를 스피커를 통해 음향으로 출력한다. 여기서, 외부장치(1020)는 앞선 실시예들에서 설명한 바와 같은 방법에 따라서, 외부장치(1020)의 입력모드를 나타내는 정보를 전자장치(1010)에 전달할 수 있다. 예를 들어, 본 정보는 외부장치(1020)의 입력모드가 D.In 모드임을 나타낼 수 있다.
한편, 전자장치(1010)는 오디오신호를 출력하기 위한 복수의 출력모드(1031, 1032, 1033)를 가질 수 있다. 예를 들면, 전자장치(1010)는 통신부 또는 신호입출력부의 하드웨어 구조에 기반하여, D.In 출력모드(1031), HDMI 출력모드(1032), BT 출력모드(1033) 등의 여러 출력모드(1031, 1032, 1033)를 포함한다.
전자장치(1010)는 외부장치(1020)로부터 전달받은 정보가, 외부장치(1020)의 입력모드가 D.In 모드라는 것을 나타내면, 외부장치(1020)의 입력모드에 대응하도록 전자장치(1010)의 출력모드를 D.In 출력모드(1031)로 조정한다. 전자장치(1010)는 D.In 출력모드(1031)를 통해 오디오신호를 출력함으로써, 외부장치(1020)가 D.In 입력모드를 통해 해당 오디오신호를 수신할 수 있도록 한다.
도 11은 전자장치가 식별된 정보에 기초하여 모드를 변경할지 여부를 사용자가 선택하도록 하는 UI를 표시하는 모습의 예시도이다.
도 11에 도시된 바와 같이, 전자장치(1110)는 오디오신호를 출력하며, 외부장치(1120)는 전자장치(1110)로부터 출력되는 오디오신호를 스피커를 통해 음향으로 출력한다. 여기서, 외부장치(1120)는 앞선 실시예들에서 설명한 바와 같은 방법에 따라서, 외부장치(1120)의 입력모드를 나타내는 정보를 전자장치(1110)에 전달할 수 있다. 예를 들어, 본 정보는 외부장치(1120)의 입력모드가 D.In 모드임을 나타낼 수 있다.
전자장치(1110)는 외부장치(1120)의 입력모드를 알리는 정보가 수신되면, 해당 정보에 대응하여 전자장치(1110)의 출력모드를 변경하기에 앞서서, 전자장치(1110)의 출력모드의 변경을 사용자가 선택하도록 하는 메시지를 포함한 UI(1130)를 표시한다.
사용자가 UI(1130)를 통해 전자장치(1110)의 출력모드의 변경을 지시하면, 전자장치(1110)는 출력모드를 외부장치의 입력모드에 대응하는 D.In 모드로 변경한다. 반면에, 사용자가 UI(1130)를 통해 전자장치(1110)의 출력모드가 변경되지 않도록 지시하거나 또는 기 설정된 시간 동안 UI(1130)를 통해 입력을 수행하지 않으면, 전자장치(1110)는 출력모드를 변경하지 않고 현재 상태를 유지한다.
본 실시예에 따른 UI(1130)는 전자장치(1110)에서 설정의 변경이 발생한 경우에 이를 사용자가 선택하도록 제공하는 기능을 수행한다. 그러나, 전자장치(1110)의 기능은 본 실시예에 한정된 것이 아니며, 다양한 설계변경이 가능하다. 예를 들면, 전자장치(1110)는 외부장치(1120)로부터 전달받은 정보에 대응하여 전자장치(1110)의 설정 변경이 발생한 경우에, UI(1130)를 표시하지 않고 자동으로 설정을 변경할 수 있다. 여기서, 전자장치(1110)는 자동으로 설정의 변경이 불가한 경우에, 사용자에게 현재 상태를 알리는 메시지를 표시할 수 있다.
또는, 전자장치(1110)는 자동으로 설정을 변경하지 않고, 사용자에게 해당 설정의 변경을 직접 수행하도록 추천하거나, 또는 사용자가 해당 설정을 직접 변경하는 방법을 안내하는 메시지를 표시할 수도 있다.
한편, 앞선 실시예에서는 마이크로폰을 구비한 전자장치가 스피커를 구비한 외부장치로부터 출력되는 소리의 파형을 분석하여, 분석 결과에 따라서 외부장치로부터의 정보를 획득하는 경우에 관해 설명하였다. 그러나, 설계 방식에 따라서는, 외부장치가 앞선 실시예와 동일한 원리에 따라서 전자장치로부터 소정 정보를 획득하는 구성도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 12는 소리를 통해 상호 정보를 교환하기 위한 전자장치 및 외부장치의 구성 블록도이다.
도 12에 도시된 바와 같이, 전자장치(1210)는, 통신부(1211), 신호출력부(1212), 디스플레이부(1213), 사용자입력부(1214), 저장부(1215), 마이크로폰(1216), 스피커(1217), 프로세서(1218)를 포함한다. 외부장치(1220)는, 외부장치 통신부(1221), 외부장치 신호입력부(1222), 외부장치 저장부(1225), 외부장치 스피커(1227), 외부장치 프로세서(1228)를 포함한다. 전자장치(1210) 및 외부장치(1220)가 각기 포함하는 상기한 구성요소들에 관해서는, 앞선 도 2의 경우와 실질적으로 동일하므로 자세한 설명을 생략한다.
본 실시예에 따른 외부장치(1220)는 외부 환경의 소리를 캡쳐하기 위한 외부장치 마이크로폰(1226)을 더 포함한다. 이러한 구성 하에서, 전자장치(1210) 및 외부장치(1220)는 각기 소정의 정보를 소리를 통해 상대측에 전달할 수 있다.
외부장치(1220)가 전자장치(1210)에 전달하고자 하는 제1정보가 있을 때, 외부장치(1220)는 제1정보에 대응하게 지정된 제1소리를 외부장치 스피커(1227)를 통해 음향으로 출력한다. 전자장치(1210)는 외부장치 스피커(1227)를 통해 출력되는 제1소리를 마이크로폰(1216)에 의해 캡쳐하고, 캡쳐된 제1소리의 파형의 분석에 의해 제1정보를 획득할 수 있다. 본 동작은 앞선 실시예들에서 구체적으로 설명한 바와 같다.
또한, 전자장치(1210)가 외부장치(1220)에 전달하고자 하는 제2정보가 있을 때, 전자장치(1210)는 제2정보에 대응하게 지정된 제2소리를 스피커(1217)를 통해 음향으로 출력한다. 외부장치(1220)는 스피커(1217)를 통해 출력되는 제2소리를 외부장치 마이크로폰(1226)에 의해 캡쳐하고, 캡쳐된 제2소리의 파형의 분석에 의해 제2정보를 획득할 수 있다. 여기서, 외부장치(1220)가 수행하는 제2소리의 파형의 분석은 외부장치 프로세서(1228)에 의해 수행된다.
여기서, 전자장치(1210)가 제2소리를 내는 시점과 외부장치(1220)가 제1소리를 내는 시점이 겹치게 되면, 제1소리의 파형 및 제2소리의 파형 각각에서 왜곡이 발생할 수 있다. 이러한 점을 고려하여, 전자장치(1210) 및 외부장치(1220)는 각기 소리를 출력하는 시점이 겹치지 않도록 다양한 방법을 사용할 수 있다. 예를 들면, 전자장치(1210) 및 외부장치(1220)는 사전에 약속된 타이밍에 각기 소리를 출력할 수 있다. 또는, 전자장치(1210) 및 외부장치(1220)는 자체 구비한 마이크로폰에 소리가 캡쳐되는 동안에는 정보 전달을 위한 소리를 출력하지 않을 수도 있다.
이와 같이, 외부장치(1220)가 전자장치(1210)에 제1정보를 전달하는 방법과, 전자장치(1210)가 외부장치(1220)에 제2정보를 전달하는 방법은 실질적으로 동일한 원리에 따른다. 두 개의 장치가 있을 때, 정보를 전달하고자 하는 전달측은 소리를 출력하기 위한 스피커를 필요로 하며, 정보를 수신하고자 하는 수신측은 소리를 캡쳐하기 위한 마이크로폰을 필요로 한다. 즉, 어느 장치가 스피커 및 마이크로폰을 모두 포함한다면, 해당 장치는 정보의 전달 및 수신을 모두 수행할 수 있다.
이와 같은 정보의 전달 방법은 두 대의 장치들 사이에서만 가능한 것은 아니며, 셋 이상의 장치들을 포함하는 IoT 환경 하에서도 수행될 수 있다. 이하, 이러한 실시예에 관해 설명한다.
도 13은 복수의 장치를 포함하는 시스템의 예시도이다.
도 13에 도시된 바와 같이, 시스템은 복수의 전자장치(1310)를 포함한다. 복수의 전자장치(1310)는 예를 들면 AP(1330)를 통해 상호간에 무선 통신이 가능하도록 연결된다. 이러한 시스템 환경 하에 새로 외부장치(1320)가 들어오는 경우를 고려한다.
IEEE 802.11의 통상적인 절차에 따르면, 외부장치(1320)가 AP(1330)와 무선 통신이 가능하게 연결되기 위해서는, Beacon, Probe Request, Probe Response의 단계를 포함하는 탐색 과정과, Authentication Request, Authentication Response의 단계를 포함하는 인증 과정과, Association Request, Association Response의 단계를 포함하는 접속 과정을 포함한다. 이하, IEEE 802.11에 따른 외부장치(1320) 및 AP(1330)의 통상적인 통신 연결 과정에 관해 설명한다.
Beacon 단계에서, AP(1330)는 AP(1330)의 네트워크 정보를 포함하는 비컨을 브로드캐스트 방식에 따라서 방출한다. Probe Request 단계에서, 외부장치(1320)는 비컨의 수신에 따라서 해당 비컨을 방출한 AP(1330)에 Probe Request를 전송하여 접근을 시도한다. Probe Request는 예를 들면 외부장치(1320)의 MAC 어드레스와 같은 외부장치(1320)의 ID를 포함한다. Probe Response 단계에서, AP(1330)는 외부장치(1320)로부터의 Probe Request에 응답하여, Probe Response를 전송한다.
Authentication Request 단계에서, 외부장치(1320)는 예를 들면 AP(1330) 사용을 위해 사전 설정된 패스워드 등의 AP(1330) 연결에 관한 인증정보를 포함하는 Authentication Request를 AP(1330)에 전송한다. Authentication Response 단계에서, AP(1330)는 Authentication Request에 기초한 인증을 수행하고, 인증 결과를 포함하는 Authentication Response를 외부장치(1320)에 전송한다.
Association Request 단계에서, 외부장치(1320)는 AP(1330)에 Association Request를 전송한다. Association Response 단계에서, AP(1330)는 Association Request에 응답하는 Association Response를 외부장치(1320)에 전송함으로써, 외부장치(1320) 및 AP(1330) 사이의 통신 연결이 완료된다.
이상과 같이, 외부장치(1320)가 AP(1330)와 무선 통신 연결이 구현되기 위해서는 많은 정보의 교환 과정이 필요하다. 이러한 과정 중에서, 적어도 일부의 과정은 앞선 실시예에서와 같은 소리를 통한 전송방법에 의해 수행될 수 있다.
예를 들면, 외부장치(1320)는 AP(1330)로부터의 비컨이 수신되면, 자체 구비한 스피커를 통해 Probe Request에 해당하는 정보를 음향으로 출력할 수 있다. 스피커를 통해 정보를 음향으로 출력하는 방식은, 마이크로폰을 구비한 모든 장치들이 수신할 수 있으므로 브로드캐스트 전송방식에 해당한다. 예를 들어 AP(1330)가 마이크로폰을 구비한 경우, AP(1330)는 마이크로폰을 통해 캡쳐된 소리의 파형 분석에 의해 Probe Request를 획득하고, Probe Request에 대응하여 Probe Response를 외부장치(1320)에 전송할 수 있다. 이 외에도, 다양한 단계에서 다양한 정보가 외부장치(1320)로부터 소리를 통해 전달될 수 있다.
본 실시예에서는 외부장치(1320) 및 AP(1330) 사이에 통신연결이 수행됨으로써, 외부장치(1320)가 AP(1330)를 통해 복수의 전자장치(1310)와 통신연결되는 경우에 관해 설명하였다. 그러나, AP(1330)를 통하지 않고, 외부장치(1320)가 각 전자장치(1310)와 페어링되는 경우, 다이렉트로 통신연결되는 경우도 가능하다.
외부장치(1320)는 외부장치(1320)의 MAC 어드레스 등 외부장치(1320)와의 통신연결에 필요한 네트워크 정보를, 스피커를 통해 소리로 출력한다. 각 전자장치(1310)는 소리를 캡쳐하고 분석 과정을 통해 외부장치(1320)의 네트워크 정보를 획득한다. 각 전자장치(1310)는 외부장치(1320)와 어떠한 통신연결이 없더라도, 이러한 방법으로 외부장치(1320)로부터 소정 정보를 획득할 수 있다. 네트워크 정보에 한정된 것은 아니지만, 소리로 전달해야 할 정보의 특성에 따라서는 정보량이 상대적으로 많을 수도 있다. 앞선 실시예에서도 설명한 바와 같이, 외부장치(1320)가 정보를 소리로 출력할 경우에 사용하는 주파수의 개수를 증가시키거나 주파수 당 신호세기의 식별범위를 세분화함으로써, 소리를 통해 전달하는 정보의 양을 상대적으로 늘릴 수 있다.
각 전자장치(1310)는 획득한 외부장치(1320)의 네트워크 정보에 기반하여, 차후 외부장치(1320)와의 페어링 시에 사용할 수 있다. 일 전자장치(1310)는 외부장치(1320)와 페어링을 수행함에 있어서, 앞선 방법에 따라서 획득한 외부장치(1320)의 정보는 외부장치(1320)로부터 다시 수신할 필요가 없다. 예를 들면, 전자장치(1310)는 외부장치(1320)의 ID를 획득하여 저장하고 있다면, 차후 해당 외부장치(1320)와의 페어링 시에 외부장치(1320)의 ID를 검색하는 과정을 스킵하고, 이미 획득한 외부장치(1320)의 ID를 사용하여 페어링을 수행한다.
또는, 전자장치(1310)는 외부장치(1320)의 네트워크 정보를 획득하면, 해당 외부장치(1320)와 페어링이 수행되어 있는지 여부를 식별한다. 만일 외부장치(1320)와 페어링이 수행되어 있지 않은 상태라면, 전자장치(1310)는 자동으로 외부장치(1320)와 페어링을 진행할 수도 있다.
한편, 전자장치를 제어하기 위한 입력장치가 있는 경우에, 상기한 방법을 사용하여 입력장치가 외부장치를 제어할 수 있게 하는 구성도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 14는 전자장치, 입력장치 및 외부장치 사이에서 전자장치가 소리를 캡쳐하는 경우의 신호 송수신 관계를 나타내는 예시도이다.
도 14에 도시된 바와 같이, 전자장치(1401), 입력장치(1402) 및 외부장치(1403)가 마련된다. 입력장치(1402)는 전자장치(1401)를 제어하도록 마련된 리모트 컨트롤러일 수도 있고, 또는 전자장치(1401)를 제어하도록 마련된 앱이 인스톨된 범용 모바일기기일 수도 있다. 입력장치(1402)는 적어도 전자장치(1401)의 동작을 제어하기 위한 커맨드에 관한 전자장치(1401)의 리모컨 코드를 저장함으로써, 사용자의 조작에 따라서 전자장치(1401)의 동작을 제어할 수 있게 마련된다. 이하, 입력장치(1402)가 외부장치(1403)의 동작을 제어할 수 있도록 하는 방법에 관해 설명한다.
1410 단계에서 외부장치(1403)는 외부장치(1403)의 식별정보에 대응하는 소리를 스피커를 통해 출력한다.
1420 단계에서 전자장치(1401)는 외부장치(1403)로부터 출력되는 소리를 캡쳐하고, 캡쳐되는 소리의 분석을 통해 외부장치(1403)의 식별정보를 획득하고, 획득한 외부장치(1403)의 식별정보에 대응하는 외부장치(1403)의 리모컨 코드를 획득한다. 전자장치(1401)는 기 저장된 다양한 리모컨 코드들 중에서 외부장치(1403)의 리모컨 코드를 검색할 수도 있고, 다양한 리모컨 코드들을 저장하는 서버로부터 외부장치(1403)의 식별정보에 대응하는 리모컨 코드를 수신할 수도 있다.
1430 단계에서 전자장치(1401)는 획득한 외부장치(1403)의 리모컨 코드를 입력장치(1402)에 전송한다. 입력장치(1402)는 전자장치(1401)로부터 수신되는 외부장치(1403)의 리모컨 코드를 저장함으로써, 외부장치(1403)의 동작을 제어할 수 있게 된다.
1440 단계에서 입력장치(1402)는 저장된 외부장치(1403)의 리모컨 코드 및 사용자의 조작에 기초하여, 외부장치(1403)의 동작을 제어하는 제어 커맨드를 외부장치(1403)로 전송한다.
본 실시예에서는 외부장치(1403)로부터 출력되는 소리를 전자장치(1401)가 캡쳐하는 경우에 관해 설명하였다. 그러나, 마이크로폰이 입력장치(1402)에 마련된 경우에는 입력장치(1402)가 해당 소리를 캡쳐하는 구성도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 15는 전자장치, 입력장치 및 외부장치 사이에서 입력장치가 소리를 캡쳐하는 경우의 신호 송수신 관계를 나타내는 예시도이다.
도 15에 도시된 바와 같이, 전자장치(1501), 입력장치(1502) 및 외부장치(1503)가 마련된다. 입력장치(1502)는 적어도 전자장치(1501)의 동작을 제어하기 위한 커맨드에 관한 전자장치(1501)의 리모컨 코드를 저장함으로써, 사용자의 조작에 따라서 전자장치(1501)의 동작을 제어할 수 있게 마련된다.
1510 단계에서 외부장치(1503)는 외부장치(1503)의 식별정보에 대응하는 소리를 스피커를 통해 출력한다.
1520 단계에서 입력장치(1502)는 외부장치(1503)로부터 출력되는 소리를 캡쳐하고, 캡쳐된 소리의 오디오신호를 전자장치(1501)에 전송한다.
1530 단계에서 전자장치(1501)는 입력장치(1502)로부터 수신되는 오디오신호의 분석을 통해 외부장치(1503)의 식별정보를 획득하고, 획득한 외부장치(1503)의 식별정보에 대응하는 외부장치(1503)의 리모컨 코드를 획득한다.
1540 단계에서 전자장치(1501)는 획득한 외부장치(1503)의 리모컨 코드를 입력장치(1502)에 전송한다.
1550 단계에서 입력장치(1502)는 저장된 외부장치(1503)의 리모컨 코드 및 사용자의 조작에 기초하여, 외부장치(1503)의 동작을 제어하는 제어 커맨드를 외부장치(1503)로 전송한다.
본 실시예에서는 전자장치(1501)가 해당 오디오신호의 분석을 수행하기 위해서, 입력장치(1502)가 캡쳐한 소리의 오디오신호를 전자장치(1501)로 전송하는 경우에 관해 설명하였다. 그러나, 오디오신호의 분석을 수행하는 장치를 전자장치(1501)만으로 한정할 수는 없으며, 다양한 설계 변경이 가능하다.
예를 들면, 입력장치(1502)가 오디오신호의 분석을 수행할 수 있다. 이 경우에, 입력장치(1502)는 캡쳐한 소리의 오디오신호의 분석을 통해 외부장치(1503)의 식별정보를 획득한다. 입력장치(1502)는 획득한 식별정보를 전자장치(1501) 또는 서버에 전송하고, 외부장치(1503)의 식별정보에 대응하는 외부장치(1503)의 리모컨 코드를 획득한다
또는, 입력장치(1502)와 통신하는 서버가 오디오신호의 분석을 수행할 수 있다. 이 경우에, 입력장치(1502)는 오디오신호를 서버에 전송하고, 서버로부터 외부장치(1503)의 식별정보 또는 외부장치(1503)의 리모컨 코드를 획득한다. 입력장치(1502)는 서버로부터 외부장치(1503)의 식별정보를 획득하면, 타 서버에 외부장치(1503)의 식별정보를 전송함으로써 타 서버로부터 외부장치(1503)의 리모컨 코드를 획득한다.
이상 실시예들에서 설명한 바와 같은 장치의 동작은, 해당 장치에 탑재된 인공지능에 의해 수행될 수 있다. 인공지능은 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. 인공지능 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. 인공지능 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다.
여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.
100 : 전자장치
111 : 마이크로폰
120 : 외부장치
121 : 스피커

Claims (20)

  1. 전자장치에 있어서,
    신호출력부와,
    소리수신부를 통해 수신되는 소리의 파형 특성을 식별하고,
    소리의 파형 특성에 따라서 외부장치가 전달 가능하게 기 정의된 복수의 정보에 기초하여 상기 식별된 소리의 파형 특성에 대응하는 상기 정보를 식별하고,
    상기 식별된 정보에 기초하여 상기 신호출력부를 통해 상기 외부장치에 신호가 출력되도록 하는 프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 소리의 파형 특성은, 상기 소리의 진폭, 주파수 또는 주기 중 적어도 하나를 포함하는 전자장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 진폭, 주파수 또는 주기에 대응하는 이진 데이터를 식별하고, 상기 식별된 이진 데이터에 따라서 상기 정보를 식별하는 전자장치.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 진폭, 주파수 또는 주기 중에서 둘 이상의 조합에 따라서 상기 정보를 식별하는 전자장치.
  5. 제2항에 있어서,
    상기 정보는 상기 외부장치에 관련된 정보를 포함하는 전자장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 식별된 정보에 기초하여 상기 외부장치의 상태를 식별하고, 상기 식별된 외부장치의 상태에 대응하는 상기 신호가 출력되도록 하는 전자장치.
  7. 제1항에 있어서,
    상기 소리는 비가청 주파수 대역에 해당하는 전자장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 신호출력부를 통해 상기 외부장치로 오디오신호를 출력하는 전자장치.
  9. 제8항에 있어서,
    상기 신호출력부는 상기 오디오신호를 광신호로 출력하는 전자장치.
  10. 제1항에 있어서,
    상기 프로세서는 상기 식별된 정보에 대응하는 응답 정보를 상기 외부장치로 전송하는 전자장치.
  11. 제1항에 있어서,
    통신부를 더 포함하고,
    상기 프로세서는, 상기 식별된 정보에 기초하여 상기 외부장치에 관한 정보를 식별하고, 상기 식별된 상기 외부장치의 정보에 기초하여 상기 통신부를 통해 통신정보를 상기 외부장치로 전송하는 전자장치.
  12. 제1항에 있어서,
    상기 소리수신부를 더 포함하는 전자장치.
  13. 전자장치의 제어방법에 있어서,
    소리수신부를 통해 수신되는 소리의 파형 특성을 식별하는 단계와,
    소리의 파형 특성에 따라서 외부장치가 전달 가능하게 기 정의된 복수의 정보에 기초하여 상기 식별된 소리의 파형 특성에 대응하는 상기 정보를 식별하는 단계와,
    상기 식별된 정보에 기초하여 신호출력부를 통해 상기 외부장치에 신호가 출력되도록 하는 단계를 포함하는 전자장치의 제어방법.
  14. 제13항에 있어서,
    상기 소리의 파형 특성은, 상기 소리의 진폭, 주파수 또는 주기 중 적어도 하나를 포함하는 전자장치의 제어방법.
  15. 제14항에 있어서,
    상기 진폭, 주파수 또는 주기에 대응하는 이진 데이터를 식별하고, 상기 식별된 이진 데이터에 따라서 상기 정보를 식별하는 전자장치의 제어방법.
  16. 제14항에 있어서,
    상기 진폭, 주파수 또는 주기 중에서 둘 이상의 조합에 따라서 상기 정보를 식별하는 전자장치의 제어방법.
  17. 제14항에 있어서,
    상기 정보는 상기 외부장치에 관련된 정보를 포함하는 전자장치의 제어방법.
  18. 제17항에 있어서,
    상기 식별된 정보에 기초하여 상기 외부장치의 상태를 식별하고, 상기 식별된 외부장치의 상태에 대응하는 상기 신호가 출력되도록 하는 전자장치의 제어방법.
  19. 제13항에 있어서,
    상기 소리는 비가청 주파수 대역에 해당하는 전자장치의 제어방법.
  20. 제13항에 있어서,
    상기 프로세서는, 상기 신호출력부를 통해 상기 외부장치로 오디오신호를 출력하는 전자장치의 제어방법.
KR1020190124976A 2019-10-10 2019-10-10 전자장치 및 그 제어방법 KR20210042442A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190124976A KR20210042442A (ko) 2019-10-10 2019-10-10 전자장치 및 그 제어방법
PCT/KR2020/013296 WO2021071166A1 (en) 2019-10-10 2020-09-29 Electronic apparatus and control method thereof
EP20200796.9A EP3805915A1 (en) 2019-10-10 2020-10-08 Electronic apparatus and control method thereof
US17/067,237 US20210109705A1 (en) 2019-10-10 2020-10-09 Electronic apparatus and control method thereof
CN202011075870.7A CN112653912A (zh) 2019-10-10 2020-10-10 电子装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190124976A KR20210042442A (ko) 2019-10-10 2019-10-10 전자장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210042442A true KR20210042442A (ko) 2021-04-20

Family

ID=72811696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190124976A KR20210042442A (ko) 2019-10-10 2019-10-10 전자장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US20210109705A1 (ko)
EP (1) EP3805915A1 (ko)
KR (1) KR20210042442A (ko)
CN (1) CN112653912A (ko)
WO (1) WO2021071166A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810802B (zh) * 2021-08-27 2023-09-29 青岛歌尔智能传感器有限公司 智能麦克风及电子装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5903815B2 (ja) * 2011-09-15 2016-04-13 株式会社リコー 情報送信システム、情報送信装置、情報受信装置、情報送信プログラム、及び情報受信プログラム
JP2013125047A (ja) * 2011-12-13 2013-06-24 Zenrin Datacom Co Ltd 情報提供システム、使用言語種別提供端末装置、情報提供装置、情報提供方法、使用言語種別提供プログラムおよび情報提供プログラム
US8930005B2 (en) * 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
JP6314088B2 (ja) * 2012-11-15 2018-04-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法及び情報提供装置
US10057699B2 (en) * 2014-10-01 2018-08-21 Sartorius Stedim Biotech Gmbh Audio identification device, audio identification method and audio identification system
KR101767466B1 (ko) * 2015-12-07 2017-08-14 (주)파워보이스 이동 단말기를 통해 원격 제어 가능한 무선 통신 디바이스
US11189295B2 (en) * 2017-09-28 2021-11-30 Lisnr, Inc. High bandwidth sonic tone generation
KR102319232B1 (ko) * 2017-10-13 2021-11-01 삼성전자주식회사 원격 제어 장치, 전자 장치 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
WO2021071166A1 (en) 2021-04-15
US20210109705A1 (en) 2021-04-15
CN112653912A (zh) 2021-04-13
EP3805915A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
US11631403B2 (en) Apparatus, system and method for directing voice input in a controlling device
US20220286317A1 (en) Apparatus, system and method for directing voice input in a controlling device
CN112166350A (zh) 智能设备中的超声感测的系统和方法
US20150312622A1 (en) Proximity detection of candidate companion display device in same room as primary display using upnp
EP3805915A1 (en) Electronic apparatus and control method thereof
JP7374099B2 (ja) 制御デバイスにおいて音声入力を指示する装置、システム及び方法
US9830810B2 (en) Infrared control system and operation method thereof
US11462217B2 (en) Electronic apparatus and control method thereof
KR20220015306A (ko) 전자장치 및 그 제어방법
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
US11747779B2 (en) Electronic apparatus and control method thereof
US20220101853A1 (en) Electronic apparatus and method of controlling the same
KR20220083199A (ko) 전자장치 및 그 제어방법
US11252657B2 (en) Electronic apparatus and control method thereof
US20230164856A1 (en) Electronic device and control method therefor
CN111048081B (zh) 一种控制方法、装置、电子设备及控制系统
US20220165298A1 (en) Electronic apparatus and control method thereof
US20220353362A1 (en) Electronic device and control method therefor
KR20230069475A (ko) 전자장치 및 그 제어방법
KR20230075781A (ko) 오디오신호 처리를 위한 전자장치 및 그 제어방법
KR20220071591A (ko) 전자장치 및 그 제어방법
KR20220069611A (ko) 전자장치 및 그 제어방법
KR20220040695A (ko) 전자장치 및 그 제어방법
KR20230000739A (ko) 전자 장치 및 전자 장치와 타겟 장치 간의 거리에 기초하여 생성되는 객체를 출력하는 방법
KR20210088401A (ko) 전자장치 및 그 제어방법