KR101183737B1 - A multi earphone device capable recognizing actions and a method of recognizing actions thereof - Google Patents

A multi earphone device capable recognizing actions and a method of recognizing actions thereof Download PDF

Info

Publication number
KR101183737B1
KR101183737B1 KR1020100113246A KR20100113246A KR101183737B1 KR 101183737 B1 KR101183737 B1 KR 101183737B1 KR 1020100113246 A KR1020100113246 A KR 1020100113246A KR 20100113246 A KR20100113246 A KR 20100113246A KR 101183737 B1 KR101183737 B1 KR 101183737B1
Authority
KR
South Korea
Prior art keywords
earphone
motion
user
signal
smart device
Prior art date
Application number
KR1020100113246A
Other languages
Korean (ko)
Other versions
KR20120051898A (en
Inventor
서인아
Original Assignee
서인아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서인아 filed Critical 서인아
Priority to KR1020100113246A priority Critical patent/KR101183737B1/en
Publication of KR20120051898A publication Critical patent/KR20120051898A/en
Application granted granted Critical
Publication of KR101183737B1 publication Critical patent/KR101183737B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 동작 인식이 가능한 멀티 이어폰 장치를 공개한다. 이 장치는 사용자의 동작의 방향 및 강도를 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;를 구비하는 것을 특징으로 한다. 따라서 본 발명에 의할 경우, 사용자의 멀티이어폰의 장착을 감지하여 사용자의 동작 인식을 시작하고 사용자의 동작의 방향 및 강도와 체온을 감지하여 출력되는 동작 인식 명령에 응답하여 그에 상응하는 멀티미디어 음원 재생, 방송 수신 제어, e-Book의 페이지 제어, 음원의 믹싱 및 증폭, 커서 컨트롤, 사용자의 현재 몸 상태에 맞는 운동 효과 스케줄링을 수행할 수 있어 사용자의 편리성을 극대화하고 보다 현실감 있는 게임과 멀티미디어 스마트 기능을 수행할 수 있다. The present invention discloses a multi-earphone device capable of gesture recognition. The apparatus includes a multi-earphone for detecting a direction and intensity of a user's motion and outputting a motion recognition command; And a smart device that performs corresponding content in response to the motion recognition command. Therefore, according to the present invention, by detecting the mounting of the user's multi-earphone to start the user's motion recognition, and detects the direction and intensity and body temperature of the user's motion to play the corresponding multimedia sound source in response to the motion recognition command output , Broadcast reception control, e-book page control, sound mixing and amplification, cursor control, and exercise effect scheduling based on the user's current physical condition to maximize user convenience and make the game more realistic and smart. Function can be performed.

Description

동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법{A multi earphone device capable recognizing actions and a method of recognizing actions thereof}A multi earphone device capable recognizing actions and a method of recognizing actions according to the present invention.

본 발명은 멀티 이어폰 장치 및 동작 인식 방법에 관한 것으로, 특히 이어폰 내부에 센서가 부착되어 사용자의 동작을 직접 인식하여 다양한 컨텐츠를 수행하는 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법에 관한 것이다.The present invention relates to a multi-earphone device and a method for recognizing a motion, and more particularly, to a multi-earphone device and a motion recognition method for recognizing a motion of performing various contents by directly recognizing a user's motion by attaching a sensor inside the earphone. will be.

일반적으로 개인용 컴퓨터, 노트북, 휴대폰, 테블릿 PC 등과 같은 스마트 기기는 핸드폰이 갖는 송수화, MMS, SMS 기능 이외에다양한 기능을 수행할 수 있도록 구성된다. 예를 들어, 데이터 및 음성 통신 기능, 사진이나 동영상을 촬영하고 재생하는 기능, 음악 파일의 재생 기능, 및 기타 수많은 응용 프로그램 실행 등이 가능하다. In general, smart devices such as personal computers, laptops, mobile phones, tablet PCs, etc. are configured to perform various functions in addition to handset, MMS, and SMS functions of a mobile phone. For example, data and voice communications, the ability to take and play photos or videos, play music files, and launch many other applications.

최근에는 응용 프로그램과 같은 소프트웨어적 기능 개량에 추가하거나 이와 부합하여 하드웨어의 개량에도 많은 연구가 이루어지고 있다.
Recently, a lot of research has been done on the improvement of hardware in addition to or in addition to the improvement of software functions such as application programs.

본 발명의 목적은 센서가 부착된 멀티 이어폰을 통해 사용자 동작의 방향 및 강도와 체온을 감지하여 멀티 이어폰의 현재 각가속도 및 기울기 및 사용자의 운동량 및 방향성을 고려한 신체의 움직임을 산출하여 그에 상응하는 다양한 컨텐츠를 수행할 수 있는 동작 인식이 가능한 멀티 이어폰 장치를 제공하는 것이다.An object of the present invention is to detect the direction and intensity and body temperature of the user's motion through the multi-earphone with a sensor to calculate the body movement in consideration of the current angular acceleration and inclination of the multi-earphone and the amount and direction of the user's motion and various contents corresponding thereto. It is to provide a multi-earphone device capable of performing the operation recognition.

본 발명의 다른 목적은 상기 목적을 달성하기 위한 멀티 이어폰 장치의 사용자 동작 인식 방법을 제공하는데 있다.
Another object of the present invention is to provide a method for recognizing user motion of a multi-earphone device for achieving the above object.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치는 사용자의 동작의 방향 및 강도를 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;를 구비하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a multi-earphone apparatus capable of recognizing a motion, and detecting a direction and intensity of a user's motion to output a motion recognition command; And a smart device that performs corresponding content in response to the motion recognition command.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 착용 여부를 감지하여 사용자의 동작 인식을 시작하는 것을 특징으로 한다.The multi-earphone of the multi-earphone device capable of recognizing the motion according to the present invention for achieving the above object is characterized in that the user's motion is detected by detecting whether the user is wearing.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 체온을 감지하여 상기 동작 인식 명령을 출력하는 것을 특징으로 한다.The multi-earphone of the multi-earphone device capable of motion recognition according to the present invention for achieving the above object is characterized in that for outputting the motion recognition command by sensing the body temperature of the user.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 접근하는 신체 부위 및 상기 사용자 동작의 방향 및 강도와 체온을 감지하여 각각 접근 신호, 움직임 신호 및 온도 신호를 출력하는 센서부; 상기 접근 신호에 응답하여 상기 동작인식을 시작하게 하고, 상기 움직임 신호에 응답하여 상기 멀티 이어폰의 현재 각가속도 및 기울기 중 어느 하나 이상을 산출하게 하는 상기 동작 인식 명령을 출력하는 이어폰측 제어부;를 구비하는 것을 특징으로 한다.The multi-earphone of the multi-earphone device that can recognize the motion according to the present invention for achieving the above object detects the approaching body part, the direction and the intensity and the temperature of the user's motion and the approach signal, the motion signal and the temperature, respectively A sensor unit for outputting a signal; And an earphone-side controller configured to start the operation recognition in response to the access signal and output the motion recognition command to calculate any one or more of current angular acceleration and inclination of the multi earphone in response to the movement signal. It is characterized by.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 센서부는 상기 접근하는 신체 부위의 전자계 변화 또는 적외선을 감지하여 상기 접근 신호를 출력하는 근접 센서; 상기 사용자 동작의 방향 및 강도를 감지하여 상기 움직임 신호를 출력하는 자이로 센서; 상기 사용자의 체온을 감지하여 상기 온도 신호를 출력하는 온도 센서; 를 구비하는 것을 특징으로 한다.The sensor unit of the multi-earphone device that can recognize the motion according to the present invention for achieving the above object is a proximity sensor for sensing the electromagnetic field change or infrared light of the approaching body part to output the access signal; A gyro sensor which senses the direction and intensity of the user's motion and outputs the motion signal; A temperature sensor which senses the body temperature of the user and outputs the temperature signal; Characterized in having a.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리부; 상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신부;를 더 구비하는 것을 특징으로 한다.The multi-earphone of the multi-earphone device capable of recognizing the motion according to the present invention for achieving the above object is to receive an external sound and process it as sound data, and receives a sound signal from the smart device to process the data to output sound An audio processor; And an earphone-side communication unit for interfacing the smart device with the motion recognition command and data transmission and reception.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 이어폰측 통신부는 무선 통신 기술 또는 유선 통신 기술을 이용하고, 상기 무선 통신 기술은 블루투스, RFID 및 Zigbee 중 어느 하나를 포함하며, 상기 유선 통신 기술은 DSL 방식 및 광 전송 방식 중 어느 하나를 포함하는 것을 특징으로 한다.In order to achieve the above object, the earphone-side communication unit of the multi-earphone apparatus capable of recognizing a motion according to the present invention uses a wireless communication technology or a wired communication technology, and the wireless communication technology includes any one of Bluetooth, RFID, and Zigbee. The wired communication technology may include any one of a DSL scheme and an optical transmission scheme.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리부; 외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리부;를 구비하는 것을 특징으로 한다.In order to achieve the above object, the smart device of the multi-earphone apparatus capable of recognizing a motion according to the present invention receives the motion recognition command to calculate a direction, intensity, and amount of motion of the user to perform the content. ; And a call processor configured to receive and process audio data or video data from the outside and transmit the audio or video data.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신부; 상기 센싱 데이터 처리부 및 상기 통화 처리부에서 처리되는 정보를 화면 상에 표시하는 디스플레이부;를 더 구비하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a smart device of a multi-earphone device capable of recognizing a motion, comprising: a device-side communication unit configured to interface the multi-earphone with the motion recognition command and data transmission and reception; And a display unit for displaying the information processed by the sensing data processor and the call processor on a screen.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 기기측 통신부, 상기 센싱 데이터 처리부, 상기 통화 처리부 및 상기 디스플레이부의 동작을 제어하는 스마트 기기측 제어부;를 더 구비하는 것을 특징으로 한다.The smart device of the multi-earphone device capable of recognizing motions according to the present invention for achieving the above object further comprises a smart device side controller for controlling operations of the device side communication unit, the sensing data processor, the call processor, and the display unit. It is characterized by including.

상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 디스플레이부는 상기 스마트 기기가 통화 모드인 경우 상기 통화 처리부에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고, 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 관련된 GUI를 표시하는 것을 특징으로 한다.
In order to achieve the above object, the display unit of a multi-earphone device capable of recognizing a motion according to the present invention displays a graphical user interface (GUI) related to voice data processed by the call processor when the smart device is in a call mode, and displays an image. In the case of a call mode or a photographing mode, a GUI related to photographing and / or a received image is displayed.

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법은 (a) 멀티 이어폰이 사용자의 동작의 방향 및 강도를 감지하여 움직임 신호를 출력하는 단계; (b) 상기 멀티 이어폰이 상기 움직임 신호를 인가받아 동작 인식 명령을 출력하는 단계; (c) 스마트 기기가 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for recognizing a motion of a multi-earphone device, including: (a) outputting a motion signal by detecting a direction and intensity of a user's motion; (b) the multi-earphone receiving the motion signal and outputting a motion recognition command; (c) the smart device performing corresponding content in response to the motion recognition command.

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (a) 단계는 상기 사용자의 체온을 감지하여 온도 신호를 출력하는 단계를 포함하는 것을 특징으로 한다.Step (a) of the motion recognition method of the multi-earphone device capable of motion recognition according to the present invention for achieving the above another object is characterized in that it comprises the step of sensing the body temperature of the user to output a temperature signal.

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (a) 단계 이전에 (d) 상기 멀티 이어폰이 스마트 기기에 장치 인식 요청 신호를 출력하는 단계; (e) 상기 스마트 기기가 상기 멀티 이어폰의 연결된 상태를 인식하고 장치 인식 완료 신호를 출력하는 단계; (f) 사용자의 상기 멀티이어폰의 장착을 감지하여 접근 신호를 출력하고 사용자의 동작 인식을 시작하는 단계;를 더 포함하는 것을 특징으로 한다.(D) outputting a device recognition request signal to the smart device by the multi-earphone before the step (a) of the motion recognition method of the multi-earphone device capable of recognizing the motion according to the present invention for achieving the another object; (e) the smart device recognizing a connected state of the multi earphones and outputting a device recognition completion signal; (f) detecting a user's mounting of the multi-earphone, outputting an access signal and starting the user's motion recognition;

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법은 상기 멀티 이어폰이 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리 단계; 상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신 단계;를 더 포함하는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method for recognizing a motion of a multi-earphone device, wherein the multi-earphone receives external sound and processes the external sound into sound data, and receives a sound signal from the smart device. An audio processing step of outputting sound; Earphone-side communication step of interface between the smart device and the motion recognition command and data transmission and reception; characterized in that it further comprises.

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (c) 단계는 상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리 단계; 외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리 단계;를 포함하는 것을 특징으로 한다.Step (c) of the motion recognition method of the multi-earphone device capable of motion recognition according to the present invention for achieving the another object is to receive the motion recognition command to calculate the direction and intensity and the amount of motion of the user's motion Sensing data processing step of performing content; It is characterized in that it comprises a; call processing step for transmitting the audio or video by receiving and processing the audio or video data from the outside.

상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (c) 단계는 상기 스마트 기기가 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신 단계; 상기 센싱 데이터 단계 및 상기 통화 처리 단계에서 처리되는 정보를 화면 상에 표시하는 디스플레이 단계;를 더 포함하는 것을 특징으로 한다.
In the step (c) of the motion recognition method of the multi-earphone device capable of recognizing motion according to the present invention for achieving the another object, the smart device connects the multi-earphone with the motion recognition command and data transmission / reception. step; And displaying on the screen information processed in the sensing data step and the call processing step.

본 발명은 접근하는 신체 부위를 감지하고 사용자의 이어폰 착용을 인식하여 사용자의 동작 인식을 시작하고 사용자의 동작의 방향, 강도와 체온을 감지하여 출력되는 동작 인식 명령에 응답하여 그에 상응하는 멀티미디어 음원 재생, 방송 수신 제어, e-Book의 페이지 제어, 음원의 믹싱 및 증폭, 커서 컨트롤, 사용자의 현재 몸 상태에 맞는 운동 효과 스케줄링을 수행할 수 있어 사용자의 편리성을 극대화하고 보다 현실감 있는 게임과 멀티미디어 스마트 기능을 비롯한 컨텐츠의 명령을 사용자의 동작으로 수행할 수 있다.
The present invention detects an approaching body part, recognizes the wearing of the user's earphone to start the user's motion recognition, and detects the direction, intensity and body temperature of the user's motion to play the corresponding multimedia sound source in response to the motion recognition command output. , Broadcast reception control, e-book page control, sound mixing and amplification, cursor control, and exercise effect scheduling based on the user's current physical condition to maximize user convenience and make the game more realistic and smart. Commands of content, including functions, can be performed by user actions.

도 1은 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 블록도이다.
도 2는 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 나타내는 순서도이다.1 is a block diagram of a multi earphone device capable of recognizing a motion according to the present invention.
2 is a flowchart illustrating a motion recognition method of a multi-earphone device capable of motion recognition according to the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법을 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings will be described a multi-earphone device capable of motion recognition according to the present invention and a motion recognition method of the device as follows.

이하에서 설명되는 스마트 기기 는 인터넷 통신 등의 컴퓨터 지원 기능이 가능한 스마트 폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 테블릿 PC(Tablet PC) 등을 의미하며, 컨텐츠는 상기 스마트기기에서 사용하는 응용 프로그램인 어플리케이션(application)을 의미한다. The smart devices described below include smart phones, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), tablet PCs (Tablet PCs) and the like that support computer functions such as Internet communication. The content means an application that is an application used by the smart device.

도 1은 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 블록도로서, 센서부(110)를 구비한 멀티 이어폰(100)이 스마트기기(200)와 연동하여 각종 컨텐츠를 이용한다.1 is a block diagram of a multi-earphone device capable of recognizing a motion according to the present invention, in which the multi-earphone 100 including the sensor unit 110 uses various contents in cooperation with the smart device 200.

멀티 이어폰(100)은 센서부(110), 오디오 신호 처리부(120), 이어폰측 통신부(140) 및 이어폰측 제어부(150)를 구비하고, 스마트 기기(200)는 기기측 통신부(210), 센싱 데이터 처리부(220), 통화 처리부(230), 디스플레이부(240) 및 스마트 기기측 제어부(250)를 구비한다. The multi-earphone 100 includes a sensor unit 110, an audio signal processor 120, an earphone-side communication unit 140, and an earphone-side control unit 150. The smart device 200 includes a device-side communication unit 210 and sensing. The data processor 220, the call processor 230, the display 240, and the smart device-side controller 250 are provided.

센서부(110)는 근접 센서(111), 자이로 센서(gyro sensor)(112) 및 온도 센서(114)를 포함하고, 오디오 신호 처리부(120)는 마이크(122) 및 스피커(124)와 연결되며, 스마트기기(200)의 센싱 데이터 처리부(220)는 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)를 포함한 디바이스 제어 소프트웨어로 구성된다.The sensor unit 110 includes a proximity sensor 111, a gyro sensor 112, and a temperature sensor 114, and the audio signal processor 120 is connected to the microphone 122 and the speaker 124. The sensing data processor 220 of the smart device 200 is composed of device control software including a multimedia content 222, a game content 224, and a health sports content 228.

도 1을 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 내 멀티 이어폰(100)의 각 구성의 기능을 설명하면 다음과 같다.Referring to Figure 1 will be described the function of each configuration of the multi-earphone 100 in the multi-earphone device that can recognize the motion according to the present invention.

센서부(110)는 자이로 센서(gyro sensor)(112)에서 멀티 이어폰(100)을 착용한 사용자 동작의 방향 및 강도를 감지하여 움직임 신호를 출력하고, 온도 센서(114)에서 멀티 이어폰(100)을 착용한 사용자의 체온을 감지하여 온도 신호를 출력하며, 근접 센서(111)에서 멀티 이어폰(100)의 사용자 착용 여부를 감지하여 접근 신호를 출력한다.The sensor unit 110 outputs a motion signal by detecting a direction and intensity of a user's motion wearing the multi earphone 100 in a gyro sensor 112, and outputs a multi earphone 100 in the temperature sensor 114. Detects the user's body temperature and outputs a temperature signal. The proximity sensor 111 detects whether the user wears the multi-earphone 100 and outputs an access signal.

오디오 처리부는 마이크(122)를 통하여 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리하고, 스마트 기기(200)로부터 전기적인 음성 및 음향 신호를 인가 받아 데이터 처리하여 스피커(124)를 통하여 음성 및 음향을 출력한다.The audio processor receives an external sound signal through the microphone 122 and processes the external sound signal into electrical voice data, receives an electrical voice and sound signal from the smart device 200, processes the data, and processes the voice and voice through the speaker 124. Output sound.

이어폰측 통신부(140)는 WI-FI, 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선 통신 기술을 통하여 스마트 기기(200)와 데이터 송수신을 인터페이스한다. The earphone-side communication unit 140 interfaces data transmission and reception with the smart device 200 through a wireless communication technology such as WI-FI, Bluetooth, RFID, Zigbee, or a wired communication technology such as a DSL method or an optical transmission method.

이어폰측 제어부(150)는 센서부(110)에서 감지된 사용자의 착용 여부에 대한 접근 신호를 인가 받아 사용자의 동작인식을 시작하게 하고, 감지된 멀티 이어폰(100)을 착용한 사용자 동작의 방향 및 강도에 대한 움직임 신호를 인가 받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하게 하며, 감지된 사용자의 체온에 대한 온도 신호를 인가 받아 사용자의 운동량을 산출하게 하는 동작 인식 명령을 출력한다. The earphone-side control unit 150 starts to recognize the user's motion by receiving an access signal for whether the user wears the sensor 110 and detects the direction of the user's motion of wearing the detected multi-earphone 100. It receives the motion signal for the intensity to calculate the current angular acceleration and the slope of the multi-earphone 100, and outputs a motion recognition command to calculate the amount of exercise of the user by receiving a temperature signal for the detected user's body temperature.

도 1을 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 내 스마트 기기(200)의 각 구성의 기능을 설명하면 다음과 같다.Referring to Figure 1 will be described the function of each configuration of the smart device 200 in the multi-earphone device that can recognize the motion according to the present invention.

전술한 바와 같이, 기기측 통신부(210)는 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선통신 기술을 통하여 멀티 이어폰(100)과 동작 인식 명령 및 각종 데이터 송수신을 인터페이스한다As described above, the device-side communication unit 210 transmits and receives motion recognition commands and various data to and from the multi-earphone 100 through a wireless communication technology such as Bluetooth, RFID, Zigbee, or a wired communication technology such as a DSL method or an optical transmission method. Interface

이와 같은 구성의 멀티 이어폰(100)을 응용한 컨텐츠에 제한이 없음은 물론이다. 다만, 설명의 편의를 위해 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)를 예를 들면 다음과 같다.Of course, there is no restriction on the content of the multi-earphone 100 having such a configuration. However, for convenience of description, the multimedia content 222, the game content 224, and the health sports content 228 are as follows.

센싱 데이터 처리부(220)는 기기측 통신부(210)로부터 동작 인식 명령을 인가 받아 멀티미디어 컨텐츠(222) 사용시에는 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작 속도의 강약 등을 산출하여 상기 사전에 설정된 사용자의 동작행위에 상응하는 음원 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원을 재생하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 기능을 수행하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 제어 기능을 수행한다. The sensing data processor 220 receives a motion recognition command from the device-side communication unit 210, and when the multimedia content 222 is used, the user's action, for example, the user's upper and lower left and right, which are wearing the multi-earphone 100, is used. Calculate the movement of the direction, rotation, etc. and the strength of the operation speed, and play multimedia sound sources such as play, stop, rewind, and forward corresponding to the user's action set in advance. It performs DJing functions such as amplification effect control, repeat play, and channel control such as radio and DMB, volume control, page forwarding of e-book, and rewind.

또한, 음악 게임 장르와 음악 또는 스포츠 동작인식에 대한 게임 컨텐츠(224)에 있어서는 동작 인식 명령에 응답하여 이에 상응하는 음원 믹싱 또는 증폭 기능과 사용자 조이스틱과 같은 커서 컨트롤 기능 또는 사용자의 움직임 및 속도 등의 방향성을 판단하는 외부 센서기기의 역할을 수행한다. 이를 통하여 게임 리모컨과 더불어 사용자의 머리 동작 등의 움직임 인식을 통하여 보다 현실감 있는 게임 컨텐츠를 사용할 수 있다.In addition, in the game content 224 for the music game genre and music or sports motion recognition, a corresponding sound source mixing or amplification function and a cursor control function such as a user joystick or a user's motion and speed, etc. are responded to in response to a motion recognition command. It plays the role of an external sensor device to determine the direction. Through this, in addition to the game remote controller, more realistic game contents can be used through motion recognition such as user's head movement.

또한, 헬스 스포츠 컨텐츠(228)에 있어서 동작 인식 명령에 응답하여 이에 상응하는 사용자의 운동량과 체온을 산출하여 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한다. 특히, 멀티이어폰은 사용자의 머리에 착용하므로, 운동 중에서도 달리기, 윗몸일으키기 또는 팔굽혀펴기 등에서는 사용자 머리 동작의 인식으로 보다 정확한 운동량의 측정이 가능하다.In addition, in the health sports content 228, the amount of exercise and body temperature of the user corresponding to the motion recognition command are calculated to schedule an optimal exercise effect according to the current user's physical condition. In particular, since the multi-earphone is worn on the user's head, it is possible to measure the amount of exercise more precisely by recognizing the motion of the user's head in running, sit-ups or push-ups during exercise.

통화기능이 가능한 스마트기기(200)에서 통화 처리부(230)는 외부로부터 소정의 통신망을 통하여 음성 데이터 또는 영상 데이터를 인가 받아 처리하여 수신되는 음성 또는 영상을 사용자에게 전달한다. In the smart device 200 capable of a call function, the call processing unit 230 receives and processes voice data or video data from an external device through a predetermined communication network and delivers the received voice or video to a user.

디스플레이부(240)는 센싱 데이터 처리부(220) 및 통화 처리부(230)에서 처리되는 정보를 화면 상에 표시한다. 즉, 멀티미디어 컨텐츠(222) 사용시에는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원 재생 동작을 표시하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 동작을 표시하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 동작을 표시한다. The display 240 displays the information processed by the sensing data processor 220 and the call processor 230 on the screen. That is, when the multimedia content 222 is used, the multimedia sound source playback operation such as play, stop, rewind, and forward of the sound source is displayed, and the DJing operation such as scratching, fading, reverse play, amplification effect control, and repeat play are displayed. It displays page operation such as changing channel of radio, DMB, volume control, page forward of e-book, rewind, etc.

또한, 음악 게임 장르와 동작인식 게임 컨텐츠(224)에 있어서는 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 동작을 표시하고, 헬스 스포츠 컨텐츠(228)에 있어서는 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한 결과를 표시한다.In addition, the music game genre and the motion recognition game content 224 display a sound mixing or amplification function and a cursor control action such as a joystick, and the health sport content 228 shows an optimal exercise effect that is suitable for the current user's physical condition. Display the result of scheduling.

또한, 스마트 기기(200)가 통화 모드인 경우 통화 처리부(230)에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고, 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는 수신된 영상 또는 GUI를 표시한다. In addition, when the smart device 200 is in the call mode, a GUI (Graphic User Interface) related to the voice data processed by the call processor 230 is displayed, and in the video call mode or the shooting mode, the captured image or the received image or GUI is displayed. Is displayed.

스마트 기기측 제어부(250)는 통상적으로 스마트 기기(200)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.
The smart device side controller 250 typically controls the overall operation of the smart device 200. For example, perform related control and processing for voice calls, data communications, video calls, and the like.

도 2는 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 나타내는 순서도이다.2 is a flowchart illustrating a motion recognition method of a multi-earphone device capable of motion recognition according to the present invention.

도 1 및 도 2를 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 구체적인 실시 예를 들어 설명하면 다음과 같다.Referring to FIG. 1 and FIG. 2, a motion recognition method of a multi-earphone device capable of motion recognition according to the present invention will be described with reference to specific embodiments.

먼저, 스마트기기(200)의 다양한 컨텐츠에 따라 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따라 동작 인식 명령을 미리 설정한다. (S110)First, according to various contents of the smart device 200, the motion recognition command is set in advance according to various settings such as the movement of the user in the up, down, left, right directions, and the like, and the strength of the operation speed. (S110)

사용자가 멀티 이어폰(100)의 전원을 온(ON)시키면 멀티 이어폰(100)은 이어폰측 통신부(140)를 통하여 스마트 기기(200)에 장치 인식 요청 신호를 출력한다. When the user turns on the power of the multi earphone 100, the multi earphone 100 outputs a device recognition request signal to the smart device 200 through the earphone side communication unit 140.

이때 통신 수단은 WI-FI, 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선 통신 기술을 모두 사용할 수 있다.In this case, the communication means may use a wireless communication technology such as WI-FI, Bluetooth, RFID, Zigbee, or a wired communication technology such as a DSL method or an optical transmission method.

스마트 기기(200)는 기기측 통신부(210)를 통하여 장치 인식 요청 신호를 인가 받아 멀티 이어폰(100)의 장치가 연결된 것을 인식하고 장치 인식 완료 신호를 출력한다.The smart device 200 receives a device recognition request signal through the device side communication unit 210 to recognize that the device of the multi-earphone 100 is connected and outputs a device recognition completion signal.

멀티 이어폰(100) 내 센서부(110)의 동작을 개시하기 위하여 사용자가 멀티 이어폰(100)을 착용한 상태에서 손을 들어 멀티 이어폰(100) 가까이에 대면(S20) 근접 센서(111)에서 멀티 이어폰(100)에 접근하는 사용자의 손에 의한 전자계 변화 또는 적외선을 감지하고 접근 신호를 출력한다. In order to start the operation of the sensor unit 110 in the multi-earphone 100, a user raises his hand while wearing the multi-earphone 100 and faces the multi-earphone 100 close to the multi-faceted sensor S20. Sensing an electromagnetic field change or infrared rays caused by a user's hand approaching the earphone 100 and outputs an access signal.

이어폰측 제어부(150)는 센서부(110)로부터 접근 신호를 인가받아 사용자의 동작인식을 시작한다. (S120)The earphone-side control unit 150 receives an access signal from the sensor unit 110 to start the user's motion recognition. (S120)

만일, 사용자가 멀티미디어 컨텐츠(222)를 사용하기를 원한다면 자이로 센서(112)에서 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등을 감지하여 움직임 신호를 출력한다.If the user wants to use the multimedia content 222, the gyro sensor 112 moves by sensing the movement of the user in the up, down, left, and right directions, the rotation and the like, and the strength of the operating speed of the user wearing the multi earphone 100. Output the signal.

이어폰측 제어부(150)는 자이로 센서(112)로부터 움직임 신호를 인가받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하여 인식동작 명령을 출력한다.The earphone-side controller 150 receives a motion signal from the gyro sensor 112 and calculates a current angular acceleration and inclination of the multi-earphone 100 to output a recognition operation command.

이어폰측 통신부(140)는 이어폰측 제어부(150)로부터 동작 인식 명령을 인가받아 무선 통신 기술 또는 유선통신 기술을 통하여 기기측 통신부(210)로 전송한다.The earphone-side communication unit 140 receives an operation recognition command from the earphone-side control unit 150 and transmits it to the device-side communication unit 210 through a wireless communication technology or a wired communication technology.

스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 기기측 통신부(210)로부터 인가받아 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따른 동작 인식 명령에 상응하는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원을 재생한다. (S240)The sensing data processing unit 220 in the smart device 200 receives a motion recognition command from the device-side communication unit 210, and sets a user's action in advance, for example, a top, bottom, left, and right directions of a user wearing the multi earphone 100. Plays a multimedia sound source such as play, stop, rewind, or forward of a sound source corresponding to a motion recognition command according to various settings such as movement, rotation, etc. (S240)

또한, 동작 인식 명령에 응답하여 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 기능을 수행하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 제어 기능을 수행한다. In addition, it performs DJing functions such as scratching, fading, reverse play, amplification effect control, and repeat play in response to a motion recognition command, and changes channel, volume control, page forward of e-book, radio, DMB, etc. Perform page control functions such as rewind.

만일, 사용자가 음악 게임 장르나 동작인식 게임 컨텐츠(224)를 사용하기를 원한다면 센싱 데이터 처리부(220)는 동작 인식 명령에 응답하여 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 기능 등을 수행한다.If the user wants to use the music game genre or motion recognition game content 224, the sensing data processor 220 performs a sound source mixing or amplification function and a cursor control function such as a joystick in response to the motion recognition command.

한편, 사용자가 헬스 스포츠 컨텐츠(228)를 사용하기를 원한다면 멀티 이어폰(100) 내 센서부(110)의 온도 센서(114)에서 멀티 이어폰(100)을 착용한 사용자의 체온을 감지하여 온도 신호를 출력한다.Meanwhile, if the user wants to use the health sports content 228, the temperature sensor 114 of the sensor unit 110 of the multi earphone 100 detects the body temperature of the user wearing the multi earphone 100 to detect the temperature signal. Output

이어폰측 제어부(150)는 온도 센서(114)로부터 온도 신호를 인가받아 사용자의 운동량과 체온을 체크하게 하는 동작 인식 명령을 출력한다.The earphone-side controller 150 receives a temperature signal from the temperature sensor 114 and outputs a motion recognition command to check the user's exercise amount and body temperature.

스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 이어폰측 통신부(140) 및 기기측 통신부(210)로부터 전달받아 사전에 설정된 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따른 동작 인식 명령에 상응하는 사용자의 머리 움직임 신호 및 체온에 대한 온도 신호를 처리하여 사용자의 운동량과 체온을 체크하여 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한다.The sensing data processor 220 in the smart device 200 receives an operation recognition command from the earphone side communication unit 140 and the device side communication unit 210. Processes the user's head motion signal and temperature signal for body temperature corresponding to motion recognition commands according to various settings such as speed and strength, and checks the amount of exercise and body temperature to schedule the optimal exercise effect according to the current user's body condition. do.

디스플레이부(240)는 센싱 데이터 처리부(220)에서 처리되는 정보를 화면 상에 표시하는데, 멀티미디어 컨텐츠(222) 사용시에는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원 재생 동작을 표시하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 동작을 표시하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 동작을 표시한다. The display unit 240 displays information processed by the sensing data processor 220 on the screen. When the multimedia content 222 is used, the display unit 240 displays a multimedia sound source playback operation such as play, stop, rewind, or forward of the sound source, and scratches. It displays DJing operations such as fading, reverse playback, amplification effect adjustment, and repeat playback. It also displays page operations such as changing channels of radio and DMB, adjusting volume, page forwarding of e-book, and rewinding.

또한, 음악 게임 장르와 동작인식 게임 컨텐츠(224)에 있어서는 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 동작을 표시하고, 헬스 스포츠 컨텐츠(228)에 있어서는 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한 결과를 표시한다.In addition, the music game genre and the motion recognition game content 224 display a sound mixing or amplification function and a cursor control action such as a joystick, and the health sport content 228 shows an optimal exercise effect that is suitable for the current user's physical condition. Display the result of scheduling.

멀티 이어폰(100) 내 오디오 처리부는 스마트 기기(200) 내 센싱 데이터 처리부(220)에서 처리된 음향 신호를 인가받아 스피커(124)를 통하여 음향을 출력한다.The audio processor in the multi-earphone 100 receives sound signals processed by the sensing data processor 220 in the smart device 200 and outputs sound through the speaker 124.

상기에서는 각종 컨텐츠 처리를 멀티 이어폰(100) 내 센서부(110)의 감지 동작을 통해서 수행하는 실시예를 설명하였으나, 사용자가 스마트 기기(200)의 소정의 입력 장치를 통하여 컨텐츠 실행을 직접 명령하여 스마트 기기(200)에서 상기 멀티미디어 컨텐츠(222), 게임 컨텐츠(224) 및 헬스 스포츠 컨텐츠(228)를 수행하게 할 수도 있다. (S220)In the above description, an embodiment in which various content processing is performed through a sensing operation of the sensor unit 110 in the multi-earphone 100 has been described, but the user directly instructs execution of content through a predetermined input device of the smart device 200. The smart device 200 may perform the multimedia content 222, the game content 224, and the health sports content 228. (S220)

한편, 스마트 기기(200)에서 전화 통화 기능을 수행하는 경우, 스마트 기기(200) 내 통화 처리부(230)는 기기 외부로부터 호출 신호를 인가받아(S260) 전화 벨 소리와 같은 수신통화 연결음을 송출한다.On the other hand, when the smart device 200 performs the phone call function, the call processing unit 230 in the smart device 200 receives a call signal from the outside of the device (S260) and transmits an incoming call ringing sound such as a telephone ringing sound. .

사용자는 수신통화 연결음을 인지하고 디스플레이부(240)에 표시된 발신 전화 번호를 보고 전화받기 동작, 예를 들어 고개를 끄덕이는 수락의 의사표시, 또는 고개를 좌우로 흔드는 거절의 의사표시를 한다. (S40)The user recognizes the incoming call ring tone and sees the outgoing call number displayed on the display unit 240 to answer a call, for example, a nod to accept, or a sign of refusal to shake the head from side to side. (S40)

멀티 이어폰(100) 내 센서부(110)의 자이로 센서(112)는 멀티 이어폰(100)을 착용한 사용자의 머리 동작을 감지하여 움직임 신호를 출력하고, (S140) 이어폰측 제어부(150)는 자이로 센서(112)로부터 움직임 신호를 인가받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하여 인식동작 명령을 출력한다.The gyro sensor 112 of the sensor unit 110 in the multi earphone 100 detects a head motion of a user wearing the multi earphone 100 and outputs a motion signal. In operation S140, the earphone side controller 150 is a gyro. The motion signal is received from the sensor 112 to calculate the current angular acceleration and the slope of the multi-earphone 100 and output a recognition operation command.

이어폰측 통신부(140)는 이어폰측 제어부(150)로부터 동작 인식 명령을 인가받아 무선 통신 기술 또는 유선통신 기술을 통하여 기기측 통신부(210)로 전송하고, 스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 기기측 통신부(210)로부터 인가받아 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 머리 동작에 따른 동작 인식 명령에 상응하는 전화 통화 수락 또는 전화 통화 거절 의사 표시에 따라 통화를 연결한다.The earphone-side communication unit 140 receives an operation recognition command from the earphone-side control unit 150 and transmits it to the device-side communication unit 210 through a wireless communication technology or a wired communication technology, and sense data processing unit 220 in the smart device 200. ) Accepts a gesture recognition command from the device-side communication unit 210 and accepts a phone call corresponding to a gesture recognition command according to a user's action set in advance, for example, a head gesture of a user wearing the multi-earphone 100. Decline the phone call Connect the call as indicated.

통화 처리부(230)는 외부로부터 소정의 통신망을 통하여 음성 데이터 또는 영상 데이터를 인가받아 처리하여 수신되는 음성 또는 영상을 사용자에게 전달한다. (S280) The call processor 230 receives and processes voice data or video data through a predetermined communication network from the outside and delivers the received voice or video to the user. (S280)

이때, 만일 센싱 데이터 처리부(220) 내 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)에서 현재 실행중인 컨텐츠가 있었다면 대기상태로 전환되고 통화 처리부(230)가 우선적으로 작동한다. At this time, if there is content currently running in the multimedia content 222, the game content 224, and the health sports content 228 in the sensing data processor 220, the mobile device enters the standby state and the call processor 230 operates first. .

한편, 통화 처리부(230)에서 처리된 음성 데이터는 기기측 통신부(210) 및 이어폰측 통신부(140)를 경유하여 오디오 신호 처리부(120)에 전달되어 데이터 처리되어 스피커(124)를 통하여 음성 및/또는 음향이 출력될 수 있다.On the other hand, the voice data processed by the call processor 230 is transferred to the audio signal processor 120 via the device-side communication unit 210 and the earphone-side communication unit 140 is processed data and the voice and / / through the speaker 124 Or sound may be output.

또한, 통화 처리부(230)에서 처리된 영상 데이터는 디스플레이부(240)에 전달되어 수신된 영상 또는/및 영상 통화와 관련된 GUI(Graphic User Interface)로 표시된다. In addition, the image data processed by the call processor 230 is transmitted to the display unit 240 and displayed as a graphical user interface (GUI) related to the received video and / or video call.

이와 같이, 본 발명의 동작 인식이 가능한 멀티 이어폰 장치는 사용자의 착용 여부를 감지하여 사용자의 동작인식을 시작하여 사용자 동작의 방향 및 강도, 체온을 감지하여 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하고 사용자의 운동량과 체온을 체크함으로써 스마트 기기(200)에서 사용자의 동작과 동작에 따른 멀티미디어 음원을 재생하고, 방송 수신 및 e-Book의 제어 기능을 수행하는 멀티미디어 컨텐츠(222), 음원 믹싱, 증폭, 커서 컨트롤 기능을 수행하는 게임 컨텐츠(224), 사용자의 현재 몸 상태에 맞는 최적의 운동 효과를 스케줄링하는 헬스 스포츠 컨텐츠(228)를 다양하게 수행할 수 있다. As described above, the multi-earphone device capable of recognizing the motion of the present invention detects whether the user wears and starts the motion recognition of the user to detect the direction, intensity, and body temperature of the user's motion to determine the current angular acceleration and tilt of the multi-earphone 100. By calculating and checking the user's exercise amount and body temperature, the smart device 200 reproduces the multimedia sound source according to the user's operation and operation, and receives the multimedia content 222 for controlling broadcast reception and e-book, mixing sound sources, The game content 224 performing amplification and cursor control functions, and the health sport content 228 which schedules an optimal exercise effect according to the user's current physical condition may be variously performed.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 특허 청구범위에 기재된 본 발명의 사상 및 영역을 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
Although the above has been described with reference to a preferred embodiment of the present invention, the present invention is not limited to the above-described specific embodiment. That is, one of ordinary skill in the art to which the present invention pertains can variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below, and all such suitable Equivalents of changes and modifications should also be considered to be within the scope of the present invention.

100: 멀티 이어폰
110: 센서부
120: 오디오 신호 처리부
140: 이어폰측 통신부
150: 이어폰측 제어부
200: 스마트 기기
210: 기기측 통신부
220: 센싱 데이터 처리부
230: 통화 처리부
240: 디스플레이부
250: 스마트 기기측 제어부100: multi earphone
110: sensor unit
120: audio signal processor
140: earphone side communication unit
150: earphone side control unit
200: smart device
210: device side communication unit
220: sensing data processing unit
230: call processing unit
240: display unit
250: smart device side control unit

Claims (17)

사용자의 동작을 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 및
상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;
를 구비하고,
상기 멀티 이어폰은 센서부 및 이어폰측 제어부를 구비하며,
상기 센서부는 상기 사용자의 동작을 감지하고,
상기 이어폰측 제어부는 상기 감지된 사용자의 동작에 따라 상기 스마트 기기에 상기 동작 인식 명령을 출력하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
Multi earphone for detecting a user's motion and outputs a motion recognition command; And
A smart device that performs corresponding content in response to the motion recognition command;
And,
The multi earphone has a sensor unit and an earphone side control unit,
The sensor unit detects the user's motion,
The earphone-side controller outputs the motion recognition command to the smart device according to the detected user's motion, multi-earphone device capable of motion recognition.
제 1 항에 있어서,
상기 센서부는
상기 사용자의 접근하는 신체 부위를 감지하여 상기 멀티 이어폰의 착용여부를 더 감지하고, 그리고
상기 센서부는 상기 착용 여부가 감지된 후 상기 사용자의 동작을 감지하기 시작하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 1,
The sensor unit
Further detecting whether the multi-earphone is worn by detecting an approaching body part of the user, and
The sensor unit is a multi-earphone device that can recognize the motion, characterized in that after the detection of the wearing start to detect the user's motion.
제 2 항에 있어서,
상기 센서부는
상기 사용자의 체온을 더 감지하고, 그리고
상기 이어폰측 제어부는 상기 감지된 사용자의 체온에 따라 상기 스마트 기기에 상기 동작 인식 명령을 출력하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 2,
The sensor unit
Further detect the body temperature of the user, and
The earphone-side control unit is a multi-earphone device that can recognize the motion, characterized in that for outputting the motion recognition command to the smart device according to the detected body temperature of the user.
제 3 항에 있어서,
상기 센서부는,
상기 사용자의 접근하는 신체 부위를 감지하여 접근 신호를 출력하고,
상기 사용자의 동작의 방향 또는 강도를 감지하여 움직임 신호를 출력하며,
상기 사용자의 체온을 감지함으로써 온도 신호를 출력하고, 그리고
상기 이어폰측 제어부는,
상기 접근 신호에 응답하여 상기 사용자의 동작을 감지하기 시작하고,
상기 움직임 신호에 응답하여 상기 멀티 이어폰의 현재 각가속도 및 기울기 중 어느 하나 이상을 산출하며,
상기 온도 신호에 응답하여 상기 사용자의 운동량 및 체온 중 어느 하나 이상을 산출하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 3, wherein
The sensor unit includes:
Detects an approaching body part of the user and outputs an access signal,
Detects the direction or intensity of the user's motion and outputs a motion signal,
Outputting a temperature signal by sensing the body temperature of the user, and
The earphone side control unit,
In response to the access signal, detecting the motion of the user;
Calculating at least one of the current angular acceleration and the slope of the multi-earphone in response to the movement signal,
Multi-recognition device capable of motion recognition, characterized in that for calculating at least one of the exercise amount and body temperature of the user in response to the temperature signal.
제 4 항에 있어서,
상기 센서부는
상기 접근하는 신체 부위의 전자계 변화 또는 적외선을 감지하여 상기 접근 신호를 출력하는 근접 센서;
상기 사용자의 동작의 방향 및 강도 중 어느 하나 이상을 감지함으로써 상기 사용자의 동작을 감지하여 상기 움직임 신호를 출력하는 자이로 센서;
상기 사용자의 체온을 감지하여 상기 온도 신호를 출력하는 온도 센서;
를 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 4, wherein
The sensor unit
A proximity sensor configured to output an approach signal by detecting an electromagnetic field change or an infrared ray of the approaching body part;
A gyro sensor that detects one or more of a direction and intensity of the user's motion to detect the user's motion and output the motion signal;
A temperature sensor which senses the body temperature of the user and outputs the temperature signal;
Multi earphone device capable of recognizing a motion, characterized in that it comprises a.
제 4 항에 있어서,
상기 멀티 이어폰은
외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리부;
상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신부;
를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 4, wherein
The multi earphone
An audio processor that receives an external sound and processes the sound into sound data, receives an audio signal from the smart device, and processes the data to output sound;
An earphone-side communication unit which interfaces the smart device with the motion recognition command and data transmission and reception;
Multi earphone device capable of recognizing a motion further comprising.
제 6 항에 있어서,
상기 이어폰측 통신부는
무선 통신 기술 또는 유선 통신 기술을 이용하고,
상기 무선 통신 기술은 블루투스, RFID 및 Zigbee 중 어느 하나를 포함하며, 상기 유선 통신 기술은 DSL 방식 및 광 전송 방식 중 어느 하나를 포함하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method according to claim 6,
The earphone side communication unit
Using wireless communication technology or wired communication technology,
The wireless communication technology may include any one of Bluetooth, RFID, and Zigbee, and the wired communication technology may include any one of a DSL method and an optical transmission method.
제 1 항에 있어서,
상기 스마트 기기는
상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리부;
외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리부;
를 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 1,
The smart device
A sensing data processor configured to receive the motion recognition command and calculate the direction, intensity, and amount of motion of the user to perform the contents;
A call processor for receiving voice data or video data from the outside and processing the same to transmit voice or video data;
Multi earphone device capable of recognizing a motion, characterized in that it comprises a.
제 8 항에 있어서,
상기 스마트 기기는
상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신부;
상기 센싱 데이터 처리부 및 상기 통화 처리부에서 처리되는 정보를 화면 상에 표시하는 디스플레이부;
를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 8,
The smart device
A device-side communication unit configured to interface the multi-earphone with the motion recognition command and data transmission and reception;
A display unit for displaying the information processed by the sensing data processor and the call processor on a screen;
Multi earphone device capable of recognizing a motion further comprising.
제 9 항에 있어서,
상기 스마트 기기는
상기 기기측 통신부, 상기 센싱 데이터 처리부, 상기 통화 처리부 및 상기 디스플레이부의 동작을 제어하는 스마트 기기측 제어부;
를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 9,
The smart device
A smart device side controller configured to control operations of the device side communication unit, the sensing data processor, the call processor, and the display unit;
Multi earphone device capable of recognizing a motion further comprising.
제 9 항에 있어서,
상기 디스플레이부는
상기 스마트 기기가 통화 모드인 경우 상기 통화 처리부에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고,
화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 관련된 GUI를 표시하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
The method of claim 9,
The display unit
When the smart device is in a call mode, displays a graphical user interface (GUI) related to voice data processed by the call processor,
In case of a video call mode or a shooting mode, the multi-earphone device capable of recognizing a motion, characterized by displaying a GUI related to shooting and / or a received image.
(a) 멀티 이어폰의 센서부가 사용자의 동작을 감지하여 움직임 신호를 출력하는 단계;
(b) 상기 멀티 이어폰의 이어폰측 제어부가 상기 움직임 신호를 인가받아 동작 인식 명령을 출력하는 단계;
(c) 스마트 기기가 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 단계;
를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
(a) sensing the user's motion by the sensor unit of the multi-earphone and outputting a motion signal;
(b) receiving, by the controller of the earphone side of the multi earphone, the motion signal and outputting a motion recognition command;
(c) the smart device performing corresponding content in response to the gesture recognition command;
Motion recognition method of a multi-earphone device comprising a.
제 12 항에 있어서,
상기 (a) 단계는
상기 센서부가 상기 사용자의 체온을 감지하여 온도 신호를 출력하는 단계
를 포함하고,
상기 (b) 단계는
상기 이어폰측 제어부가 상기 온도 신호를 인가받아 상기 사용자의 운동량 및 체온 중 어느 하나 이상을 산출하여 상기 동작 인식 명령을 출력하는 단계를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
The method of claim 12,
The step (a)
The sensor unit detects the body temperature of the user and outputs a temperature signal
Including,
The step (b)
And receiving, by the controller of the earphone side, the temperature signal and calculating one or more of an exercise amount and a body temperature of the user to output the motion recognition command.
제 12 항에 있어서,
상기 (a) 단계 이전에
(d) 상기 멀티 이어폰이 상기 스마트기기에 장치 인식 요청 신호를 출력하는 단계;
(e) 상기 스마트 기기가 상기 멀티 이어폰의 연결된 상태를 인식하고 장치 인식 완료 신호를 출력하는 단계;
(f) 상기 센서부가 상기 사용자의 상기 멀티이어폰의 장착을 감지하여 접근 신호를 출력하는 단계;
를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
The method of claim 12,
Before step (a) above
(d) the multi-earphone outputting a device recognition request signal to the smart device;
(e) the smart device recognizing a connected state of the multi earphones and outputting a device recognition completion signal;
(f) detecting, by the sensor unit, the mounting of the multi-earphone of the user and outputting an access signal;
Motion recognition method of a multi-earphone device further comprising.
제 12 항에 있어서,
상기 멀티 이어폰 장치의 동작 인식 방법은
상기 멀티 이어폰이 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리 단계;
상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신 단계;
를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
The method of claim 12,
The motion recognition method of the multi earphone device
An audio processing step in which the multi-earphone receives external sound and processes the sound into sound data, receives the sound signal from the smart device, and processes the data to output sound;
An earphone-side communication step of interfacing the smart device with the motion recognition command and data;
Motion recognition method of a multi-earphone device further comprising.
제 12 항에 있어서,
상기 (c) 단계는
상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리 단계;
외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리 단계;
를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
The method of claim 12,
The step (c)
A sensing data processing step of receiving the motion recognition command and calculating the direction, intensity, and amount of motion of the user to perform the content;
A call processing step of receiving audio data or video data from outside and processing the same to transmit audio or video data;
Motion recognition method of a multi-earphone device comprising a.
제 16 항에 있어서,
상기 (c) 단계는
상기 스마트 기기가 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신 단계;
상기 센싱 데이터 단계 및 상기 통화 처리 단계에서 처리되는 정보를 화면 상에 표시하는 디스플레이 단계;
를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.17. The method of claim 16,
The step (c)
A device-side communication step in which the smart device interfaces the transmission / reception of data and the gesture recognition command with the multi earphones;
A display step of displaying on the screen information processed in the sensing data step and the call processing step;
Motion recognition method of a multi-earphone device further comprising.
KR1020100113246A 2010-11-15 2010-11-15 A multi earphone device capable recognizing actions and a method of recognizing actions thereof KR101183737B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100113246A KR101183737B1 (en) 2010-11-15 2010-11-15 A multi earphone device capable recognizing actions and a method of recognizing actions thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100113246A KR101183737B1 (en) 2010-11-15 2010-11-15 A multi earphone device capable recognizing actions and a method of recognizing actions thereof

Publications (2)

Publication Number Publication Date
KR20120051898A KR20120051898A (en) 2012-05-23
KR101183737B1 true KR101183737B1 (en) 2012-09-17

Family

ID=46268767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100113246A KR101183737B1 (en) 2010-11-15 2010-11-15 A multi earphone device capable recognizing actions and a method of recognizing actions thereof

Country Status (1)

Country Link
KR (1) KR101183737B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170033025A (en) * 2015-09-16 2017-03-24 삼성전자주식회사 Electronic device and method for controlling an operation thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102049781B1 (en) 2013-02-26 2019-11-28 삼성전자 주식회사 Application Controlling Method of Electronic Device and Apparatus thereof, and Earphone device and Application Controlling system supporting the same
KR101415931B1 (en) * 2013-04-09 2014-07-04 주식회사 루멘스 Headset with recognition of gesture
KR101536214B1 (en) * 2013-10-08 2015-07-13 유한회사 청텍 Handsfree of Multi-function sports hair band type
KR102238330B1 (en) * 2014-05-16 2021-04-09 엘지전자 주식회사 Display device and operating method thereof
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
KR101529253B1 (en) * 2014-11-25 2015-06-29 영보엔지니어링 주식회사 Earphone for mobile phone with Active Noise Cancellation function and digital interface
CN106375890A (en) * 2015-07-21 2017-02-01 杭州纳雄科技有限公司 Earphones, control method of earphones, and application method of earphones
KR101616839B1 (en) 2015-11-24 2016-04-29 이놈들연구소 주식회사 Wearable device, wearable device system and method for controlling wearable device
KR20170098144A (en) * 2016-02-19 2017-08-29 주식회사 캡틴스 Shooting Game System For Character With Wings
KR101984565B1 (en) * 2017-10-24 2019-05-31 (주)파트론 Sytem and mehtod for exercise management
CN108702567B (en) * 2017-11-27 2020-08-21 深圳市汇顶科技股份有限公司 Earphone, method for detecting wearing state of earphone and electronic equipment
US11344206B2 (en) 2018-12-18 2022-05-31 Samsung Electronics Co., Ltd. Electronic device including earphone, and method of controlling the electronic device
KR20200134450A (en) * 2019-05-22 2020-12-02 삼성전자주식회사 A wearable electronic device and a method for identifying a wearing state for wearable electronic device
KR102616910B1 (en) 2022-12-30 2024-01-02 주식회사 솔루엠 Method and system for providing a customized exercise program based on a user's exercise ability based on a hearable device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170033025A (en) * 2015-09-16 2017-03-24 삼성전자주식회사 Electronic device and method for controlling an operation thereof
KR102561414B1 (en) * 2015-09-16 2023-07-31 삼성전자 주식회사 Electronic device and method for controlling an operation thereof

Also Published As

Publication number Publication date
KR20120051898A (en) 2012-05-23

Similar Documents

Publication Publication Date Title
KR101183737B1 (en) A multi earphone device capable recognizing actions and a method of recognizing actions thereof
US11546410B2 (en) Device and method for adaptively changing task-performing subjects
US8498631B2 (en) Activation of applications based on vibration of portable electronic device
US9961393B2 (en) Method and device for playing multimedia file
US11200022B2 (en) Method and apparatus of playing audio data
WO2019129020A1 (en) Automatic focusing method of camera, storage device and mobile terminal
US20200257433A1 (en) Display method and mobile terminal
KR20130111749A (en) Method for interworing with dummy device and an electronic device thereof
CN110996305B (en) Method and device for connecting Bluetooth equipment, electronic equipment and medium
WO2021129529A1 (en) Device switching method and related device
EP4318199A1 (en) Method for interaction between electronic devices and electronic device
CN111432071B (en) Call control method and electronic equipment
WO2021037074A1 (en) Audio output method and electronic apparatus
WO2021000817A1 (en) Ambient sound processing method and related device
CN111147919A (en) Play adjustment method, electronic equipment and computer readable storage medium
KR20210057790A (en) Information processing method and terminal
WO2021190373A1 (en) Interaction method, interaction system, and display device
WO2021136141A1 (en) Playback method and electronic device
JP6491237B2 (en) Method, apparatus, program and recording medium for processing touch screen point reports
US20160313969A1 (en) Electronic apparatus, image display system, and recording medium
US20180139790A1 (en) Methods, apparatuses and storage medium for controlling a wireless connection
KR20160023212A (en) Glass type mobile terminal and method for controlling the same
CN115278625A (en) Method, device, equipment and system for transmitting Bluetooth multimedia packet
CN109445589B (en) Multimedia file playing control method and terminal equipment
WO2022048453A1 (en) Unlocking method and electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160706

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 6