WO2015190786A1 - 이어폰을 이용한 입력 방법 및 장치 - Google Patents

이어폰을 이용한 입력 방법 및 장치 Download PDF

Info

Publication number
WO2015190786A1
WO2015190786A1 PCT/KR2015/005738 KR2015005738W WO2015190786A1 WO 2015190786 A1 WO2015190786 A1 WO 2015190786A1 KR 2015005738 W KR2015005738 W KR 2015005738W WO 2015190786 A1 WO2015190786 A1 WO 2015190786A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
output
digital data
tapping
signal
Prior art date
Application number
PCT/KR2015/005738
Other languages
English (en)
French (fr)
Inventor
박미경
Original Assignee
박미경
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박미경 filed Critical 박미경
Publication of WO2015190786A1 publication Critical patent/WO2015190786A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

Definitions

  • the present invention relates to an apparatus for connecting and using earphones, headphones, and speakers, and to an apparatus and a method for conveniently controlling and controlling calls such as volume control, music selection, and execution of applications using earphones, headphones, and speakers. .
  • variable resistor between the earphone jack and the earphone driver unit has been devised for easy volume control.
  • the volume of the variable resistor can be adjusted to be lower than the volume sent by the device, but the volume of the variable resistor cannot be obtained.
  • variable resistance since variable resistance is provided, noise or failure often occurs due to mechanical wear, dust, etc. during long time use.
  • a method of controlling volume, selecting music, etc. has been devised by inserting a control button in the middle of the earphone string and detecting a button press on the device.
  • the device requires one or more additional terminals.
  • Commonly used earphones without a control button are structured with a plug having three terminals and a driver unit for converting an electrical signal into a sound.
  • the three-pole terminals are the left, right, and ground terminals, respectively, for receiving stereo electrical signals.
  • Putting a control button on the stereo earphone, and in order to transmit the signal from the control button to the device had to add a pole to at least four poles.
  • this method is inconvenient to input a control signal using a normal earphone without a control button.
  • This approach has several drawbacks and can be summarized in four ways. First, there is a disadvantage that it becomes cumbersome by adding a control unit to the earphone string which should be light. Secondly, the cost of earphones or headphones increases due to the controls attached to the earphones. Third, there is a risk of failure of the control unit for a long time use. Fourth, pressing a button is more inconvenient than I thought. For example, finding the button you want and double-clicking it is more cumbersome than you might think.
  • the earphones with a microphone had to be used. If a good-quality earphone did not come with a microphone, it was inconvenient to buy an earphone with a microphone.
  • control method does not require a control button as an input method through the earphone. I want to solve the problem. In addition, it is intended to give a convenience to the user by enabling the call even with the earphone without a microphone.
  • the user inputs a control command mainly by tapping the earphone body with a finger.
  • An induction voltage is generated by tapping the earphone body, and a hardware apparatus and method for detecting a user's tapping from the induction voltage are disclosed.
  • the apparatus includes an audio output, an audio connection with one or more output terminals, a terminal voltage acquisition unit, and one or more processors.
  • the audio output unit is connected to an output terminal of the audio connection unit so that the digital data to be reproduced as an input and can drive an earphone or a speaker, and the terminal voltage acquisition unit of the voltage of at least one output terminal of the audio connection unit Outputting digital data as a function, wherein said at least one processor is provided with means for obtaining digital output data of said terminal voltage acquisition section.
  • This device is a hardware device for solving the above problems with a program to be described later.
  • the hardware device may include a memory and a program stored in the memory, wherein the program detects a tapping of the earphone and extracts information based on digital data output from the terminal voltage acquisition unit. field; Second instructions that are executed based on the information obtained as a result of the detection.
  • the information obtained from the detection includes at least one of the tapping time and the tapping strength.
  • the second instructions may be: increase volume, decrease volume, select previous content on a given multimedia content list, select next content on the list, select first content on the list, select last content on the list, Call start, call termination, execution of a predetermined application, termination of a predetermined application.
  • the second instructions may include instructions obtained by tapping detection, or instructions that convey information derived from the information to an application or process.
  • the sound signal input to the earphone can be replaced with the digital output of the terminal voltage acquisition unit.
  • the user may listen to a reception sound through the left earphone while wearing the left earphone and use the right earphone as a substitute for a microphone for voice input to make a call.
  • the earphones allow you to enter the device in a convenient way. In addition, it is convenient to use a general earphone without a button for inputting control commands and sound signals. Since the speaker can be removed from the device built in the device, the present invention can be usefully used to make the device small.
  • 1 is a view for explaining some embodiments for measuring the voltage of the output terminal of the audio connection.
  • FIG. 2 is a diagram for explaining some embodiments of measuring respective terminal voltages when the output of the audio connection unit is stereo.
  • FIG. 3 is a diagram for describing a terminal voltage acquisition unit, according to some embodiments.
  • FIG. 4 is a diagram for describing an audio output unit, according to some exemplary embodiments.
  • FIG. 5 is a diagram illustrating some embodiments of obtaining uncorrelated signals processed in an analog stage.
  • Fig. 6 is a diagram of digital data obtained by the terminal voltage acquiring unit when the earphone is impacted during audio reproduction.
  • FIG. 7 is a diagram illustrating digital data obtained in the terminal voltage acquisition unit in frequency space when the earphone is impacted.
  • FIG. 8 is a diagram for explaining some embodiments of an algorithm for obtaining an uncorrelated signal from digital data obtained by a terminal voltage acquisition unit.
  • FIG. 9 illustrates a mathematical model of a voltage appearing at an output terminal when a shock is applied to an earphone, according to some exemplary embodiments.
  • FIG. 10 is a diagram illustrating an indicator detecting an impact applied to an earphone according to an exemplary embodiment, over time.
  • the earphones allow you to enter the device in a convenient way.
  • general earphones without control buttons can be used for input of control commands and sound signals, so they can be conveniently used. Since the speaker can be removed from the device built in the device, the present invention can be usefully used to make the device small.
  • Earphones can be broadly classified into dynamic and capacitive, depending on the structure of the driver unit.
  • the dynamic driver unit utilizes the action between the magnetic field generated by the current and the permanent magnet.
  • the current delivered to the driver unit passes through the internal coil and generates a magnetic field, which interacts with the magnetic field produced by the permanent magnet, resulting in a force between the coil and the permanent magnet.
  • This force causes the coil or permanent magnet to move, and attaches a diaphragm to the coil or permanent magnet to vibrate the air to convert the electrical signal into vibration of the air.
  • This type of driver unit can be summarized in such a way as to generate a force by converting an electrical signal into a magnetic signal.
  • the capacitive driver unit uses the voltage transmitted from the device to gain electrical attraction or repulsion and uses this force to vibrate the air.
  • an electric force there is a method of forming an electric field directly on both sides of a positively or negatively charged plate, and there is also a method of using a material that causes deformation according to an applied voltage such as a piezo element.
  • the dynamic driver unit induces a voltage to the coil by electromagnetic induction when mechanical vibration is applied, which means that information can be input through the driver unit.
  • the capacitive driver unit may change the electric field and thus induce a voltage, thereby inputting information.
  • the above-described electromagnetic induction is used to input information into the device by using the earphone without putting a separate control button into the earphone.
  • a shock is applied to the main body of the earphone, voltage is induced at the terminal of the earphone plug.
  • the vibration applied to the earphone can be inferred, which makes it possible to use it as a means of inputting a signal into the device.
  • the earphone described in the present invention means a device having a sound transducer that converts an electrical signal into a sound signal and should be understood as being applied to both headphones and speakers.
  • the audio connection does not only mean the part connected by a 3-pole or 4-pole plug and a jack, but a general connection for connecting a sound transducer to the device.
  • the audio connection means a connection terminal of the transducer.
  • the user inputs a desired signal by applying a shock to the earphone by tapping the earphone main body with a finger.
  • a shock to the earphone by tapping the earphone main body with a finger.
  • the device In order for the device to detect the shock applied to the earphone, it is necessary to measure the induced voltage generated from the earphone body.
  • the audio output 101 of the device receives a digital signal and outputs an analog signal for driving the earphone.
  • the analog audio signal output from the 101 is transmitted to the earphone main body 107 via the audio connection 102.
  • 106 is an earphone plug for connecting to the audio connection portion.
  • 102 has an output terminal 105 and a ground terminal for receiving an analog signal from an audio output section.
  • the induced voltage generated in the earphone body 107 by the impact applied by the user flows into the 105 via the earphone plug 106. If the ideal audio output with large drive capability, the voltage appearing at 105 would be affected by almost 101 voltage and the impact of the earphones would be relatively minor. However, since there is an internal resistance until 101 receives the digital input, converts it into an analog signal, and transmits it to 105, the voltage of 105 is affected by the earphone. The voltage of 105 is determined by factors such as analog driving voltage according to the digital input, counter electromotive force by the earphone unit, induction voltage and the like. As the internal resistance increases, the induced voltage generated at 107 affects 105 more.
  • the terminal voltage acquisition unit 103 functions to measure the induced voltage generated at 107.
  • the position of 108 for measuring the output terminal voltage is preferably closer to 105 and farther from the output of 101.
  • the voltage measured through 108 is affected by the induced voltage generated at 107 and the output voltage of 101.
  • Numeral 103 is a block that measures the voltage from 108 and converts it into digital data.
  • the processor 104 must have means for reading the digital data output by the 103.
  • the conventionally used method is to allow the processor to read the acquired digital data through the memory.
  • the processor reads the output of 103 directly through registers rather than through memory.
  • the simplest form of the terminal voltage acquisition unit 103 is to convert the input transmitted from 108 into digital data through an analog-to-digital converter. When the converted digital data is processed by a program according to a method to be described later, earphone tapping may be detected.
  • 103 may deliver the tapping detection information to the processor through an interrupt or polling method when the absolute value of the voltage of 108 exceeds a predetermined threshold.
  • FIG. 2 is a diagram for describing a case in which an audio connection unit supports stereo according to some embodiments.
  • the audio connection has two output terminals 205 and 206, each of which is connected to the left and right units of the earphone.
  • the terminal voltage acquisition unit 203 can measure the respective voltages of the 205 and 206.
  • the processor can know which earphone the user inputs the signal through, so that various input methods are possible than when one terminal voltage is acquired.
  • the terminal voltage acquisition unit is a block that converts the terminal voltage into digital data. As the impedance of the input terminal of the terminal voltage acquisition unit is higher, the driving voltage of the audio output unit is transmitted to the earphone without distortion. 3 is a view for explaining some embodiments of the terminal voltage acquisition unit to reduce such distortion.
  • the input signal is converted into digital data by the analog-to-digital converter 302 via the amplifier 303.
  • the input terminal of the terminal voltage acquisition unit 301 can be made to have a higher impedance than when there is no amplifier. As a result, when the signal of the audio output unit is sent to the earphone main body, distortion by the terminal voltage acquisition unit can be reduced. If 302 has a good characteristic of having its own high input impedance, then the amplifier is not needed.
  • the impedance unit 403 is a block for increasing internal resistance, and may be implemented as a resistor, a capacitor, an inductor, as well as a resistance of the connection line itself.
  • the 403 increases the internal resistance of the 401 so that the induced voltage generated from the earphone is relatively better exposed. Since the connection line for connecting the output of the digital-to-analog converter to the output terminal of the audio connection has a resistance, it is possible to use the connection line itself as an impedance unit, and in this case, a separate element is not required for the impedance unit.
  • the induced voltage generated from the earphone main body is buried in the output of the digital-analog converter, and thus it is difficult to detect the user's input. .
  • the earphone When the earphone vibrates when the earphone is not outputting a sound signal, only the induced voltage due to the applied vibration appears on the earphone plug terminal, so that the user can easily detect whether the earphone is knocked. If the earphone is vibrated while the audio output unit is outputting a sound signal, the final voltage applied to the earphone output terminal is somewhat complicated by various factors. Factors affecting the terminal voltage include a driving voltage containing a sound signal transmitted from the audio output unit, a voltage induced in the earphone unit by vibration, and a counter electromotive force by a coil of the earphone unit. That is, the voltage measured by the terminal voltage acquisition unit is mixed with voltages other than the induced voltage from the earphone.
  • the driving voltage from the audio output part makes it difficult to detect the user's input.
  • the first method is to produce an uncorrelated signal at the analogue stage before the analog-to-digital converter.
  • the second method is to create an uncorrelated signal through the digital signal processing of the digital signal output by the analog-to-digital converter. The first method and the second method may be used together.
  • the terminal voltage acquisition unit 505 receives the output terminal voltage 508 of the audio connection unit as the first analog input, and receives the output 509 of the digital-analog converter unit as the second analog input.
  • 507 which may be configured as an operational amplifier, is a block that functions to produce an uncorrelated signal.
  • s1 is a first analog input signal
  • s2 is a second analog input signal
  • g2 is a gain value in the figure (511). If g2 is chosen to make the square of the decorr squared for a predetermined time as small as possible, the decorr signal becomes a signal with less correlation with s2.
  • the method is merely some embodiment for removing the s2 component from the s1 component and is not intended to limit the method of making the uncorrelated signal. Since g2, which makes the correlation smallest, depends on the internal impedance of the impedance part, the impedance of the earphone, and the like, it is preferable to allow g2 to be set by the processor.
  • g2 can be obtained by fixing g2 from an average earphone and a frequently used audio signal.
  • you can use an analog circuit that alters g2 in the direction that the mean of the decorr's square or absolute value decreases over time.
  • Some embodiments are disclosed for supporting earphones with a microphone.
  • Some existing earphones come with a microphone in addition to the audio output unit.
  • the microphone input is measured by an analog-to-digital converter.
  • the input of the microphone can be converted into an input of an analog-to-digital converter, and if the microphone input is not required, the voltage of the output terminal can be converted into an input of an analog-to-digital converter by a command of a processor. It is provided with a switch means. Whether the microphone input is required or not is determined by the application or OS running on the processor, so that the switch switching can be easily automated through the instructions of the processor.
  • the above descriptions relate to an apparatus having means for allowing the processor to obtain the induced voltage data of the earphone body from the output terminal of the audio connection portion.
  • a program executed on the processor in the device is required.
  • the program may obtain digital data from the terminal voltage acquiring unit, and may detect when the shock is applied to the earphone when the absolute value of the digital data exceeds a threshold. The maximum value until the absolute value of the digital data exceeds the threshold and falls back below the threshold may be regarded as the intensity applied to the earphone.
  • the waveform of the induced voltage which is typically seen when the earphone is subjected to an impact, is convolved with the acquired digital data and is the point of time when the absolute value of this value exceeds the threshold. It can be detected.
  • the maximum value from which this value crosses the threshold and then falls below the threshold can be regarded as the intensity applied to the earphone.
  • the tapping related information may be a tapping time, a tapping strength through tapping detection, or information derived from the tapping information.
  • the corresponding control command may be executed based on the obtained information.
  • Inputting a control command by detecting an impact applied to the earphone is similar to inputting a control command using a click of a mouse button long used in a computer.
  • One of the differences between the input method by tapping the earphone and the input method by clicking the mouse button is that the mouse button generally does not distinguish between hard pressing and weak pressing, but when tapping the earphone, it is difficult to distinguish between hard tapping and weak tapping. Therefore, the strength of tapping the earphone can be used as a feature for responding to the control command.
  • Tapping the earphone three or more times can be useful because it is easier than clicking the mouse button three or more times. Similarly, if you have two or more buttons on your mouse and you can put different functions on each button, and you have two or more earphones or speaker units and the terminal voltage acquisition section can convert two or more channels to digital data, You can put other functions in the
  • the tapping may be displayed as a connected tap. You can group together all the linked and linked taps. Waiting for the next tap for a predetermined time, and if a shock is not detected within the predetermined time, the corresponding control command can be executed from the grouped tapping features.
  • the apparatus may execute a control command such that one tap of volume decreases, two consecutive taps of volume increase, and three consecutive taps of mute.
  • a control command such that one tap of volume decreases, two consecutive taps of volume increase, and three consecutive taps of mute.
  • the program executes a control command waiting for a predetermined time when detecting the first tapping. Subsequently, when the second tap is detected, the program displays the tap connected to the previous tap and waits for a predetermined time again. If the tap is not detected for a predetermined time, the program executes a volume increase command corresponding to the tap twice.
  • the device plays a previous song on the playlist based on the song being played once, and two consecutive taps play the next song on the playlist, about four consecutive taps.
  • Tapping low-strong-low may be to execute a control command to cancel the command performed through the previous earphone and return to the original state.
  • the program compares the intensity of the four taps indicated by the linked taps, and if they were entered in the order of weak-weak-strong-weak, the group Performs a command to cancel a control command performed prior to four built taps.
  • an apparatus having an output voltage acquisition unit for measuring output terminal voltages of two channels is distinguished and controlled by tapping left and right earphones. Commands can be matched. For example, tapping the left earphone once increases the volume, tapping the left earphone twice to decrease the volume, tapping the right earphone once to play the previous song on the playlist, or tapping the right earphone twice to execute the command to play the next song on the playlist. have.
  • the second command may include a command for notifying a sound through the audio output unit that a shock is detected.
  • a tapping or control command is given to the user by executing a command of hearing the beep twice in addition to the volume increasing command. It can tell you that it has detected.
  • Inadvertent control commands can also be issued by the earphone hitting elsewhere without the user's intention.
  • a predetermined tapping may be input before the actual command is input. For example, tapping the earphone twice quickly allows the device to enter the standby state waiting for the actual control command and executes the control command only for commands that come within a predetermined time after entering the standby state.
  • FIG. 6 is a diagram illustrating the voltage of an earphone terminal measured over time (0.113 seconds) when a shock is applied by lightly hitting the earphone with a finger while playing music with a generally used dynamic earphone.
  • the portion where the large voltage appears near the middle of the x-axis is the voltage induced by the shock, and the small voltage around is the driving voltage of the music signal by the audio output unit.
  • FIG. 7 is a diagram illustrating a portion in which the impact of FIG. 6 is applied in frequency space. It can be seen that it has a response frequency of approximately 100 ⁇ 150 Hz, which may vary depending on the material, size, and structure of the earphone. In order to detect shock in a digital signal, it is advantageous to increase the sampling frequency to prevent false detection and to lower the sampling frequency in terms of power or device cost.
  • the reproduced signal and the voltage induced by the vibration are mixed.
  • the mixed signals can be analyzed as-is to detect shocks from the user. This simple method often detects falsely when the output signal of the audio output unit is similar to the induced voltage appearing on the earphone. In order to reduce the case of false detection, it is efficient to eliminate or reduce the effect of the voltage output from the device for music reproduction from the voltage measured at the earphone jack.
  • the voltage output from the device is due to the digital data input to the audio output for audio output.
  • the digital data of the terminal voltage acquisition unit is the first digital signal
  • the data transmitted by the processor to the audio output unit is the second digital signal
  • the components of the second digital signal are removed or reduced from the first digital signal.
  • Inductive voltage can be detected more reliably.
  • a typical digital audio device plays audio by delivering digital data to a audio output directly or indirectly through a memory to be played by a processor inside the device. In other words, in such a device, the processor can access the digital audio data being reproduced.
  • the second digital signal component is affected by the first digital signal after a certain time delay. This delay time varies depending on the size of the buffer inside the device, the time delay of the digital-to-analog converter, and the process of transferring data from the data acquisition unit to the processor.
  • Reference numeral 801 denotes a block for cutting the first digital signal S0_rec, and reference numeral 802 cutting the second digital signal S0_play into an appropriate section to create a section for comparison.
  • S1_rec and S1_play will be described as signals of one frame each of which the continuous signals S0_rec and S0_play are divided into frames.
  • S1_rec and S1_play need not be the same, and S1_play is preferably longer because S1_play has to select a section that includes a portion corresponding to S1_rec.
  • Denoted at 803 and 804 is a block for appropriate preprocessing in order to increase the performance of signal processing.
  • Some embodiments of the preprocessor may include a function of removing a dc bias.
  • Another embodiment of the preprocessor may include a sampling frequency conversion function. Since the sampling frequency of S0_rec and the sampling frequency of S0_play may be different, it is efficient to perform the subsequent processing by matching the sampling frequency between the same.
  • the preprocessor converts the sampling frequency low to reduce the complexity of the later algorithm.
  • Reference numerals 803 and 804 are not necessary blocks and can be deleted.
  • the results after preprocessing S1_rec and S1_play will be described as S2_rec and S2_play, respectively.
  • the comparator 805 finds a part similar to S2_rec in S2_play, and obtains a time delay dt and a size gain between the two. In an embodiment of the comparison unit, dt is obtained such that a correlation coefficient between S2_rec and S2_play is maximized.
  • L is the length of S2_rec and S2_rec (0: L-1) means a list from data 0 to data L-1 of S2_rec.
  • power () is a function of calculating the mean of the squares of the signals and may include a process of multiplying the signal with a window function of length L such as a sine window, a hamming window, and the like in which the middle is convex before calculating the square mean.
  • the window function may be applied to S2_play and S2_rec.
  • Stable (807) is a block for determining whether an impact is applied to the earphone based on decorr_digital. If the second digital signal is not completely removed from the first digital signal, the decorr_digital also increases when the reproduction signal is large.
  • a standardized decorr_normalized defined as follows instead of decorr_digital.
  • alpha can be experimentally set to a constant value entered to reduce the effect of noise when S2_rec is too small because the reproduction signal is small.
  • the tapping can be detected by finding a place where the decorr_normalized value exceeds the threshold, but the following method can be used to further improve the performance.
  • the voltage appearing at the earphone jack shows a frequency response having a peak at about 150 Hz as shown in FIG. 7, and shows a property that the vibration is not kept long by fast attenuation as shown in FIG. 6.
  • 9 is a mathematically constructed function for simulating the voltage appearing at the terminal when the earphone is impacted
  • s_conv convolution (decorr_normalized, S_prior)
  • s_conv has a positive or negative value when decorr_normalized has a similar shape to S_prior, it is possible to detect the shock applied to the earphone by finding a place where the absolute value of s_conv exceeds a certain size and the absolute value of s_conv. Can be used as the strength of the impact.
  • convolution decorr_normalized, S_prior
  • S_prior is a function that takes convolution of decorr_normalized and S_prior.
  • the above embodiment describes some embodiments for reducing the influence of the second digital signal on the first digital signal to produce an uncorrelated signal and is not intended to limit the method.
  • it is possible to remove some blocks in order to simplify the implementation or to make modifications to improve performance.
  • interpolation of the previous and current frames for each sample There may be a way to make the change smooth by replacing it with (interpolation).
  • Another example of a variation is the use of filtered S2_play instead of S2_play. That is, the way S2_play affects S2_rec is modeled with a linear filter. To do this, change the error function of the previous embodiment as follows and obtain dt, ⁇ filt ⁇ which minimizes E (dt, filt).
  • ⁇ filt ⁇ is a filter coefficient of length p and generalizes the gain of the previous embodiment.
  • decorr_digital is obtained as follows.
  • FIG. 10 is a diagram illustrating squares of s_conv obtained by applying the three impacts to the earphones during music playback and processing according to the above embodiment, and it can be seen that signals other than the signals generated by the impacts are almost absent in the resulting image.
  • the earphone tapping can be detected and various commands can be input using the earphone.
  • the preset application may be executed or terminated by the control signal through the earphone. For example, you can run a voice recognition program while watching multimedia.
  • a call in the case of a smartphone, a call may be started and ended by a control signal through an earphone. For example, you can start a call while listening to music.
  • control signal through the earphone can be used as a means for putting an input into the application.
  • a voice recording program can contain inputs such as recording start, pause, and stop.
  • the main body on the left and right sides of the stereo earphone is similar in shape, so the user should wear the earphone with distinction every time.
  • the user wears the earphone without distinction between left and right, for example, tapping the earphone worn on the right side in a predetermined manner, and the device may map the detected channel to the right earphone.
  • a character or number may be entered into an application through a earphone tap.
  • the number of buttons required for the operation of the device may be reduced.
  • a signal may be input by generating an induced voltage through tapping. You can make your mobile device smaller by reducing or eliminating the number of buttons.
  • individual applications may execute commands for detecting the shock of the earphone, but it is preferable to perform a command such as detection in the OS and deliver the obtained information to the application.
  • the transmitted information may be part of the earphone tap detection process or may be information derived from tapping.
  • the process of detecting earphone tapping may be performed at a lower level of the OS as a device driver and delivered to applications or processes in a manner similar to a message on a Windows system or a broadcast on an Android OS.
  • the induced voltage is generated by tapping the earphone
  • the induced voltage is generated by the tremor of sound.
  • This voltage can be acquired by the terminal voltage acquisition unit, so that a sound signal can be obtained as digital data.
  • the conventional method of acquiring digital data by analog-to-digital conversion of a microphone input may be replaced by a method obtained through the terminal voltage acquisition unit of the present invention.
  • sound vibrations may be applied to the earphones
  • digital data may be obtained from the terminal voltage acquiring unit, and storage, voice recognition, audio compression, and voice compression may be executed on the digital data.
  • a call signal when a call signal is received, for example, only the right earphone may be removed and a call may be used instead of a microphone. In this case, the left earphone is used for listening to voice.
  • the present invention can conveniently input control commands.
  • control commands such as volume control, previous song, and next song by tapping earphones or headphones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

기존의 이어폰으로 음량제어나 선곡 등의 제어 명령을 입력하기 위해서는 버튼이 달린 이어폰이 있어야 했다. 본 발명은 기존의 방법보다 편리한 방식으로 이어폰을 통해서 제어 명령을 입력하는 방법에 관한 것이다. 본 발명에 따르면 사용자는 이어폰 본체를 두드려서 제어 명령을 입력하게 된다. 별도의 버튼이 필요하지 않으므로 기존의 이어폰을 그대로 사용할 수 있으며 버튼을 찾아서 누르는 것보다 편리하다. 또한 본 발명에 따르면 마이크를 포함하지 않는 이어폰을 통해서도 통화가 가능하다.

Description

이어폰을 이용한 입력 방법 및 장치
본 발명은 이어폰, 헤드폰, 스피커를 연결하여 사용하는 장치에 관한 것으로 음량 조절, 음악 선곡, 애플리케이션의 실행과 같은 제어 및 통화를 이어폰, 헤드폰, 스피커를 이용해서 편리하게 달성하는 장치와 방법에 관한 것이다.
디지털 기술의 발달로 음악과 멀티미디어를 재생하는 기능을 갖는 모바일 기기가 점점 많이 개발되고 보편화 되어가고 있다. mp3 플레이어, PMP, 전자사전은 물론 특히 최근에는 스마트폰의 대중화에 힘입어 간편하게 음악 감상을 즐길 수 있게 되었다. 모바일기기로 음악이나 음성 신호를 듣기 위해서 주로 이어폰이나 헤드폰을 사용한다. 모바일 기기로 음악, 음성을 들을 때에는 주변의 상황에 따라서 소음과 같은 환경의 변화가 자주 일어나는 편이므로 음량의 조절을 해야 할 필요성이 자주 일어나게 된다. 또한 사용자들은 선곡을 위해서도 모바일 기기의 제어 버튼이나 스마트폰과 같은 터치 디스플레이를 통해서 빈번히 기기를 조작하게 된다.
모바일 기기는 그 특성상 주로 주머니나 가방에 넣고 다니는 경우가 많으며 조작이 필요할 때마다 사용자는 기기를 꺼내어 조작해야 하는 불편함이 있어왔다. 이를 해결하기 위한 기존 기술중에는 볼륨 제어를 쉽게 하기 위해서 이어폰 단자와 이어폰 드라이버 유닛 사이에 가변저항을 넣는 방법이 고안되어 졌었다. 가변저항을 넣는 방법은 가변저항의 값을 조절함으로써 기기에서 보내주는 음량보다 작은 음량으로 조절할 수는 있었으나 기기에서 보내주는 음량보다 큰 음량을 얻을 수는 없다. 또한 가변저항을 두었으므로 장시간 사용시 기계적 마모, 먼지등에 의해서 잡음이나 고장이 나는 경우가 잦다.
또 다른 기존기술로는 이어폰 줄의 중간에 제어 버튼을 넣고 버튼 누름을 기기에서 감지하여 음량조절, 선곡 등의 제어를 하는 방법이 고안되어 졌었다. 그러나 이어폰 줄에 제어 버튼을 넣어서 사용하기 위해서는 기기에 추가적인 하나 이상의 단자가 필요하다. 제어버튼이 없는 통상적으로 많이 사용되는 이어폰은 3개의 단자를 가진 플러그와 전기 신호를 소리로 바꾸어 주는 역할을 하는 드라이버 유닛을 가진 구조로 되어 있다. 3극 단자는 스테레오 전기 신호를 받기위해 필요한 단자들로 각각 왼쪽, 오른쪽, 접지의 역할을 하고 있다. 스테레오 이어폰에 제어버튼을 넣고, 제어버튼의 신호를 기기에 전달하기 위해서는 극을 추가하여 최소한 4극으로 만들어야 했다. 그러나 이 방법은 제어버튼이 없는 일반 이어폰을 사용해서는 제어신호를 입력할 수 없는 불편함이 있다. 이런 방법은 여러 단점을 가지고 있으며 네 가지로 요약할 수 있다. 첫 번째로 가벼워야 하는 이어폰 줄에 제어부를 추가함으로써 거추장스러워지는 단점이 있다. 두 번째로 이어폰에 달린 제어부로 인해 이어폰이나 헤드폰의 원가가 상승한다. 세 번째로 오랜 시간 사용시 제어부가 고장날 위험이 있다. 네 번째로 버튼을 누르는 것은 생각보다 불편하다. 예를 들어 원하는 버튼을 찾고 그 버튼을 더블클릭하는 것은 생각보다 번거롭다.
또한 기존에는 이어폰을 통해서 통화를 하기 위해서는 마이크가 달린 이어폰을 사용해야만 했다. 좋은 음질의 이어폰에 마이크가 함께 달려있지 않은 경우에는 어쩔 수 없이 마이크가 달린 이어폰을 구입해야 하는 불편함이 있었다.
음량조절, 음악선곡, 통화시작, 통화종료, 애플리케이션의 실행 및 종료 등과 같은 제어명령을 쉽게 입력할 수 있는 새로운 방식이 있으면 편리할 것이며 본 발명에서는 제어버튼이 필요하지 않은 이어폰을 통한 입력 방법으로 상기 문제를 해결하고자 한다. 또한 마이크가 없는 이어폰으로도 통화를 가능하게 하여 사용자에게 편리함을 주고자 한다.
전술한 문제점들을 감소시키거나 해결하기 위한 본 발명의 제안에 따르면, 사용자는 주로 손가락으로 이어폰 본체를 두드림으로써 제어 명령을 입력하게 된다. 이어폰 본체를 두드림으로써 유도 전압이 발생하며 이 유도 전압으로부터 사용자의 두드림을 감지하기 위한 하드웨어 장치와 방법이 개시된다.
장치는 오디오 출력부, 하나 이상의 출력단자를 가진 오디오 접속부, 단자전압 취득부, 그리고 하나 이상의 프로세서를 구비한다. 여기에서, 상기 오디오 출력부는 재생할 디지털 데이터를 입력으로 삼고 이어폰 또는 스피커를 구동할 수 있도록 상기 오디오 접속부의 출력 단자에 연결되어 있으며, 상기 단자전압 취득부는 상기 오디오 접속부의 적어도 하나의 출력단자의 전압의 함수인 디지털 데이터를 출력하며, 상기 하나 이상의 프로세서는 상기 단자전압 취득부의 디지털 출력 데이터를 얻는 수단이 마련된 장치이다. 이 장치는 뒤에 설명될 프로그램과 함께 상기 과제를 해결하기 위한 하드웨어 장치이다.
일부 실시예로서, 상기 하드웨어 장치는 메모리 및 그 메모리에 저장된 프로그램을 포함할 수 있으며, 상기 프로그램은 상기 단자전압 취득부의 출력인 디지털 데이터에 기반하여 이어폰의 두드림을 감지하고 정보를 추출하는 제 1 명령어들; 감지 결과 얻어진 정보에 기반하여 실행되는 제 2 명령어들을 포함한다. 감지로 부터 얻어진 정보는 적어도 두드림 시간, 두드림 세기 중 하나를 포함한다.
제어에 관한 일부 실시예로서, 상기 제 2 명령어들은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료를 포함할 수 있다.
오퍼레이팅 시스템이 설치된 장치에 있어서의 일부 실시예로서, 상기 제 2 명령어들은 두드림 감지에 의해 얻어진 정보, 또는 이 정보로부터 유도된 정보를 애플리케이션 또는 프로세스에 전달하는 명령어를 포함할 수 있다.
본 발명에 따르면, 이어폰에 입력된 소리 신호를 상기 단자전압 취득부의 디지털 출력으로 바꿀 수 있다. 이를 이용한 일부 실시예로서 사용자는 예컨데 왼쪽 이어폰을 착용한 채로 왼쪽 이어폰을 통해서 수신음을 청취하고 오른쪽 이어폰을 음성 입력을 위한 마이크의 대용으로 사용하여 통화를 할 수 있다.
이어폰을 통해서 기기에 간편한 방식으로 입력할 수 있다. 또한 제어 명령, 소리 신호의 입력을 위해서 버튼이 달리지 않은 일반 이어폰도 이용할 수 있으므로 편리하게 사용할 수 있다. 스피커가 장치에 내장된 기기에서는 버튼을 없앨 수 있으므로 기기를 작게 만들고자 할 때 본 발명은 유용하게 사용될 수 있다.
도 1은 오디오 접속부의 출력단자의 전압을 측정하기 위한 일부 실시예를 설명하기 위한 도면이다.
도 2는 오디오 접속부의 출력이 스테레오인 경우에 각각의 단자전압을 측정하는 일부 실시예를 설명하기 위한 도면이다.
도 3은 일부 실시예에 따라 단자전압 취득부를 설명하기위한 도면이다.
도 4는 일부 실시예에 따라 오디오 출력부를 설명하기 위한 도면이다.
도 5는 아날로그단에서 처리된 비상관화된 신호를 얻는 일부 실시예를 도시한 도면이다.
도 6은 오디오를 재생하는 도중에 이어폰에 충격을 가했을 때, 단자전압 취득부에서 얻은 디지털 데이터의 그림이다.
도 7은 이어폰에 충격을 가했을 때 단자전압 취득부에서 얻은 디지털 데이터를 주파수 공간에서 그린 그림이다.
도 8은 단자전압 취득부에서 얻은 디지털 데이터에서 비상관화된 신호를 얻는 알고리즘의 일부 실시예를 설명하기 위한 도면이다.
도 9는 일부 실시예에 따라 이어폰에 충격이 가해진 경우에 출력단자에 나타나는 전압을 수학적으로 모델링한 그림이다.
도 10은 일부 실시예에 따른 알고리즘으로 이어폰에 가해진 충격을 검출한 지표를 시간의 경과에 따라 그린 그림이다.
101:오디오출력부
102:오디오 접속부
103:단자전압취득부
104: 프로세서
105: 오디오 접속부의 출력단자
106: 이어폰 플러그
107: 이어폰 유닛
108: 전압 취득 위치
201: 오디오 출력부
202: 오디오 접속부
203: 단자전압 취득부
204: 프로세서
205: 출력단자 (채널 1)
206: 출력단자 (채널 2)
207: 이어폰 유닛 (채널 1)
208: 이어폰 유닛 (채널 2)
301: 단자전압 취득부
302: 아날로그-디지털 변환부
303: 증폭부
401: 오디오 출력부
402: 디지털-아날로그 변환부
403: 임피던스부
501: 오디오 출력부
502: 디지털-아날로그 변환부
503: 임피던스부
504: 출력단자
505: 단자전압 취득부
506: 아날로그-디지털 변환부
507: 비상관화 변환부(아날로그)
508: 제 1 아날로그 입력
509: 제 2 아날로그 입력
510: 비상관화된 신호 출력
511: 비상관화 변환부의 파라메터 입력
801: 제 1 디지털 신호 프레임부
802: 제 2 디지털 신호 프레임부
803: 제 1 디지털 신호 전처리부
804: 제 2 디지털 신호 전처리부
805: 비교부
806: 비상관화 변환부(디지털)
807: 제어신호 판단부
이어폰을 통해서 기기에 간편한 방식으로 입력할 수 있다. 또한 제어 명령, 소리 신호의 입력을 위해서 제어버튼이 달리지 않은 일반 이어폰도 이용할 수 있으므로 편리하게 사용할 수 있다. 스피커가 장치에 내장된 기기에서는 버튼을 없앨 수 있으므로 기기를 작게 만들고자 할 때 본 발명은 유용하게 사용될 수 있다.
이하, 첨부된 도면과 함께 실시예가 상세하게 설명된다. 이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항이 기술된다. 그러나 본 발명은 이러한 특정 세부사항 없이도 실시될 수 있음은 당업자에게 자명할 것이다. 또한 실시예의 양태를 모호하게 하지 않도록, 주지의 방법, 컴포넌트, 회로에 대해서는 상세하게 설명하지 않았다.
이어폰은 드라이버 유닛의 구조에 따라서 크게 다이나믹형과 정전식으로 분류할 수 있다. 다이나믹형 드라이버 유닛은 전류에 의해 발생한 자기장과 영구자석간의 작용을 이용한다. 드라이버 유닛에 전달된 전류는 내부 코일을 통과하며 자기장을 발생시키고 이 자기장은 영구자석이 내는 자기장과 상호 작용을 하여 결과적으로 코일과 영구자석 사이에 힘이 발생하게 된다. 이 힘에 의해서 코일 또는 영구자석이 움직이게 되고 코일 또는 영구자석에 진동판을 부착하여 공기를 진동시켜서 전기 신호를 공기의 진동으로 바꾸는 방식이다. 이 방식의 드라이버 유닛은 전기 신호를 자기신호로 바꾸어 힘을 발생시키는 방식으로 요약할 수 있다. 정전식 드라이버 유닛은 기기로 부터 전달된 전압을 이용해서 전기적인 인력이나 척력을 얻고 이 힘을 이용해서 공기를 진동시키는 방식이다. 전기적인 힘을 얻기 위해서는 양 또는 음으로 대전된 판의 양쪽에 직접 전기장을 형성시키는 방식을 사용하는 방식도 있고 피에조소자와 같이 가해진 전압에 따라 변형을 일으키는 물질을 이용하는 방식도 있다. 다이나믹형 드라이버 유닛은 기계적 진동을 가하면 전자기 유도에 의해서 코일에 전압이 유도되는데 이 사실은 드라이버 유닛을 통해 정보를 입력할 수 있다는 것을 의미한다. 정전식 드라이버 유닛도 마찬가지로 진동을 가하면 전기장의 변화가 유발되고 이에 따라서 전압이 유도되므로 정보를 입력하는 역할을 할 수 있다.
이어폰에 별도의 제어버튼을 넣지 않고도 이어폰을 이용해서 기기에 정보를 입력하기 위해서 본 발명에서는 전술한 전자기 유도를 이용한다. 이어폰 본체에 충격을 가하면 이어폰 플러그의 단자에는 전압이 유도된다. 이 전압을 측정하고 분석함으로써 이어폰에 가해진 진동을 유추할 수 있으므로 장치로의 신호 입력의 수단으로 사용하는 것이 가능하다.
이어폰뿐 아니라 헤드폰, 스피커 모두에서 전압이 유도되므로 본 발명을 적용할 수 있으며 단지 설명을 쉽게 하여 이해를 돕기 위해 이어폰으로 표기한 것이다. 그러므로 본 발명에서 기술하는 이어폰은 전기 신호를 소리 신호로 바꾸어 주는 사운드 트랜스듀서를 가진 장치를 의미하는 것이며 헤드폰, 스피커 모두에 적용되는 것으로 이해되어야 한다. 또한 오디오 접속부는 단지 3극 또는 4극 플러그와 잭으로 연결되는 부분만을 의미하는 것은 아니며, 장치에 사운드 트랜스듀서를 연결하기 위한 일반적인 접속부를 의미한다. 상기 트랜스듀서가 기기 내부에 내장되는 경우에 상기 오디오 접속부는 트랜스듀서의 연결단자를 의미하는 것으로 이해되어야 한다.
일부 실시예로서 사용자는 주로 이어폰 본체를 손가락으로 두드려서 이어폰에 충격을 가하여 원하는 신호를 입력한다. 이어폰에 가해진 충격을 장치가 감지하기 위해서는 이어폰 본체에서 발생하는 유도전압을 측정하는 것이 필요하다. 도 1은 이어폰 본체에서 발생하는 유도전압을 측정하기 위한 회로를 일부 실시예로서 설명하기 위한 도면이다. 장치의 오디오 출력부 (101)은 디지털 신호를 입력받아서 이어폰을 구동하기 위한 아날로그 신호를 출력한다. (101)에서 출력되는 아날로그 오디오 신호는 오디오 접속부 (102)를 거쳐서 이어폰 본체 (107)에 전달된다. (106)은 오디오 접속부에 접속하기 위한 이어폰 플러그이다. (102)는 오디오 출력부로부터 아날로그 신호를 받기 위한 출력단자 (105)와 접지 단자를 가지고 있다. 사용자가 가한 충격에 의해서 이어폰 본체 (107)에서 발생하는 유도전압은 이어폰 플러그 (106)을 거쳐서 (105)에 유입된다. 드라이브 능력이 큰 이상적인 오디오 출력부라면 (105)에 나타나는 전압은 거의 (101)의 전압의 영향을 받을 것이고 이어폰의 영향은 상대적으로 미미할 것이다. 그러나 (101)이 디지털 입력을 받아 아날로그 신호로 바꾸고 (105)에 전달하기 까지 내부 저항이 있으므로 (105)의 전압은 이어폰의 영향을 받는다. (105)의 전압은 상기 디지털 입력에 따른 아날로그 구동전압, 이어폰 유닛에 의한 역기전력, 유도 전압 등의 요인에 의해 결정된다. 상기 내부저항이 클수록 (107)에서 발생한 유도전압은 (105)에 많이 영향을 끼친다. 단자전압 취득부 (103)은 (107)에서 발생한 유도전압을 측정하는 기능을 한다. 상기 출력단자전압을 측정하는 (108)의 위치는 (105)에 가까울수록 좋으며 (101)의 출력에서 멀리 떨어질수록 좋다. (108)을 통해서 측정되는 전압은 (107)에서 발생한 유도전압과 (101)의 출력전압의 영향을 받는다. 이어폰의 두드림을 감지하기 위해서는 (107)의 전압만 필요하지만 (101)의 출력의 영향이 섞여서 측정되므로 감지 성능을 높이기 위해서는 (101)의 출력의 영향을 줄여주는 것이 필요하다. 뒤쪽에서 성능을 개선하는 방법이 개시될 것이다. (103)은 (108)로부터 전압을 측정하여 디지털 데이터로 바꾸는 역할을 하는 블록이다. 데이터 처리를 위해서 프로세서 (104)가 (103)이 출력한 디지털 데이터를 읽는 수단을 구비해야 한다. 기존에 일반적으로 사용되는 방식으로는 취득된 디지털 데이터를 메모리를 통해서 프로세서가 읽을 수 있도록 하는 방식이 있다. 좀 더 단순한 방식으로는 프로세서가 메모리를 통하지 않고 레지스터를 통해서 (103)의 출력을 직접 읽는 방식도 있다. (103)의 출력 데이터를 (104)에 전달하는 방법은 여러가지가 가능하며 이 분야의 종사자들에게는 잘 알려져 있다. 단자전압 취득부 (103)의 가장 단순한 형태는 (108)로부터 전달된 입력을 아날로그-디지털 변환기를 통해서 디지털 데이터로 변환하는 것이다. 상기 변환된 디지털 데이터는 뒤쪽에서 설명될 방식에 따른 프로그램으로 처리되면 이어폰 두드림을 감지할 수 있다.
상기 실시예의 변형으로서 (103)은 (108)의 전압의 절대값이 소정의 문턱치를 넘을 때, 인터럽트나 폴링 방식을 통해서 두드림 감지 정보를 프로세서에 전달할 수 있다. 이처럼, 뒤쪽에서 설명될 프로그램에서 수행되는 과정의 일부를 단자전압 취득부 내의 아날로그단에서 수행하도록 변형이 가능하다는 점은 이 분야의 종사자들에게는 자명할 것이다.
도 2는 일부 실시예로서 오디오 접속부가 스테레오를 지원하는 경우를 설명하기 위한 도면이다. 오디오 접속부가 두 개의 출력단자 (205), (206)을 가지고 있으며 각각은 이어폰의 왼쪽, 오른쪽 유닛에 연결되어 있다. 오디오 접속부가 스테레오를 지원하는 경우에는 단자 전압 취득부 (203)이 (205), (206)의 각각의 전압을 측정할 수 있도록 하는 것이 기능상 효과적이다. 두 개의 이어폰 유닛의 전압을 각각 측정함으로써 프로세서는 사용자가 어느 이어폰을 통해서 신호를 입력했는지를 알 수 있으므로 하나의 단자전압을 취득하는 경우보다 다양한 입력 방법이 가능하다.
단자전압 취득부는 단자전압을 디지털 데이터로 바꾸는 기능을 하는 블록이다. 단자전압 취득부의 입력단의 임피던스가 높을수록 오디오 출력부의 구동전압은 왜곡없이 이어폰에 전달된다. 도 3은 이러한 왜곡을 줄이기 위한 단자전압 취득부의 일부 실시예를 설명하기 위한 도면이다. 입력 신호는 증폭부 (303)을 거쳐서 아날로그-디지털 변환부 (302)에 의해서 디지털 데이터로 변환된다. 증폭부를 둠으로써 단자전압 취득부(301)의 입력 단자를 증폭부가 없을 때 보다 임피던스가 높은 상태로 만들 수 있다. 결과적으로 오디오 출력부의 신호를 이어폰 본체에 보낼 때, 단자전압 취득부에 의한 왜곡을 줄일 수 있다. (302)가 자체적으로 높은 입력 임피던스를 가지는 좋은 특성을 가지고 있다면 증폭부는 필요하지 않다.
도 4는 오디오 출력부의 일부 실시예를 설명하기 위한 도면이다. 임피던스부 (403)은 내부 저항을 증가시키기 위한 블록으로 저항소자, 콘덴서, 인덕터는 물론 연결선 자체의 저항 등으로 구현될 수 있다. (403)은 (401)의 내부 저항을 높임으로써 이어폰에서 발생한 유도전압이 상대적으로 더 잘 드러나도록 하는 역할을 한다. 디지털-아날로그 변환부의 출력을 오디오 접속부의 출력단자에 연결하기 위한 연결선 자체가 저항을 가지고 있으므로 상기 연결선 자체를 임피던스부로 활용하는 것이 가능하며 이러한 경우에는 임피던스부를 위해 별도의 소자가 필요하지 않다. 상기 연결선의 저항이 작은 경우에는 이어폰 본체에서 발생한 유도전압이 디지털-아날로그 변환부의 출력에 묻혀서 사용자의 입력을 감지하기 어려우므로 임피던스부에 임피던스 소자를 넣어 구현하는 것이 이어폰 유도전압을 감지하기에 유리하다. 임피던스부의 저항값이 커질수록 이어폰 본체에서 발생한 유도전압을 감지하기 쉬우나 너무 커지면 오디오 출력의 전력이 임피던스부에 의해서 너무 많이 감쇠가 될 수 있다.
이어폰이 소리신호를 출력하지 않고 있을 때 이어폰에 진동을 가하는 경우에는 가해진 진동에 의한 유도전압만이 이어폰 플러그 단자에 나타나므로 사용자가 이어폰을 두드렸는지를 쉽게 검출할 수 있다. 오디오 출력부가 소리신호를 출력하고 있는 도중에 이어폰에 진동을 가하는 경우에는 이어폰 출력단자에 걸리는 최종 전압은 여러 요인에 의해서 다소 복잡하게 결정된다. 상기 단자 전압에 영향을 미치는 요인으로는 오디오 출력부로부터 전달된 소리 신호를 담은 구동전압, 진동에 의해서 이어폰 유닛에 유도된 전압, 이어폰 유닛의 코일에 의한 역기전력 등이 있다. 즉, 단자전압 취득부에서 측정한 전압은 이어폰에서 온 유도전압 이외의 전압들이 섞여있다. 이 중에서 특히 오디오 출력부로부터 나온 구동전압은 사용자의 입력을 감지하기 어렵게 만든다. 사용자에 의한 상기입력신호의 오감지를 줄이기 위해서는 오디오 접속부의 출력단자전압에서 오디오 출력부로부터 나온 신호의 영향을 가급적 제거 또는 감소시킨 비상관화된 신호를 만들고, 이 비상관화된 신호로부터 충격을 감지하는 것이 바람직하다. 본 발명에서 상기 비상관화된 신호를 만드는 방법은 두 가지가 있다. 제 1 방법은 상기 아날로그-디지털 변환부의 이전에 아날로그단에서 비상관화된 신호를 만드는 것이다. 제 2 방법은 상기 아날로그-디지털 변환부에 의해 출력된 디지털 신호를 디지털 신호처리를 통해서 비상관화된 신호를 만드는 것이다. 제 1 방법과 제 2 방법을 함께 사용할 수도 있다.
여러 성분이 섞인 신호에서 특정 신호 성분을 제거 또는 감소시키는 방법은 신호처리, 특히 능동소음제거 분야에서 잘 알려져 있으므로 일부 실시예로 설명을 대치할 것이다. 도 5는 상기 비상관화된 신호를 만들기 위한 상기 제 1 방법의 일부 실시예를 설명하기 위한 도면이다. 단자전압 취득부 (505)는 오디오 접속부의 출력단자 전압 (508)을 제 1 아날로그 입력으로 받고, 디지털-아날로그 변환부의 출력 (509)를 제 2 아날로그 입력으로 받는다. 연산 증폭기로 구성될 수도 있는 (507)은 비상관화 신호를 만드는 기능을 하는 블록이다. (507)의 출력 decorr 는 decorr=s1 - g2 * s2 에 따라서 만들어진다. 여기에서 s1은 제 1 아날로그 입력신호; s2는 제 2 아날로그 입력 신호; g2는 이득값으로서 도면상에서는 (511)이다. decorr의 제곱을 소정의 시간동안 평균낸 값을 가급적 작게 만들도록 g2가 선택된다면 decorr신호는 s2와의 상관성이 줄어든 신호가 된다. 상기 방법은 단지 s1성분에서 s2성분을 없애기 위한 일부 실시예이며 비상관화된 신호를 만드는 방법을 한정하기 위한 것은 아니다. 상관관계를 가장 작게 만드는 g2는 상기 임피던스부의 내부 임피던스, 이어폰의 임피던스등에 따라서 달라지므로 g2는 프로세서에 의해서 설정이 가능하도록 하는 것이 바람직하다. 또는 평균적으로 사용되는 이어폰과 자주 사용되는 오디오 신호로부터 g2를 구하여 고정하는 방법을 사용할 수도 있다. 또 다른 방법으로는 decorr의 제곱이나 절대값의 시간에 따른 평균값이 작아지는 방향으로 g2를 변경시키는 아날로그 회로를 넣는 방법을 사용할 수도 있다.
마이크를 가진 이어폰을 지원하기 위한 일부 실시예가 개시된다. 기존의 이어폰들 중에는 오디오 출력 유닛 이외에 마이크를 같이 가진 제품들이 있다. 이런 이어폰을 지원하는 기기에서 마이크 입력은 아날로그-디지털 변환부에 의해서 전압이 측정된다. 이러한 인터페이스를 가지는 기기에서 본 발명의 기능을 사용할 수 있도록 하기 위해서 오디오 접속부의 출력단자의 전압을 측정하는 것이 필요한데, 아날로그-디지털 변환부를 공유하는 것이 효율적이다. 이를 위해서 사용자가 마이크 입력이 필요한 경우에는 마이크의 입력을 아날로그-디지털 변환부의 입력으로, 마이크 입력이 필요하지 않은 경우에는 상기 출력단자의 전압을 아날로그-디지털 변환부의 입력으로 프로세서의 명령어에 의해 전환할 수 있는 스위치 수단을 구비한다. 마이크입력이 필요한지 아닌지는 프로세서에서 실행되는 애플리케이션이나 OS에 의해서 결정되므로 상기 스위치 전환을 프로세서의 명령어를 통해서 쉽게 자동화할 수 있다.
상기 설명들은 오디오 접속부의 출력단자로부터 이어폰 본체의 유도전압 데이터를 프로세서가 얻을 수 있도록 하는 수단을 갖춘 장치에 관한 것이다. 장치에 접속된 이어폰을 통해서 제어명령을 입력하기 위해서는 상기 장치 내의 프로세서상에서 실행되는 프로그램이 필요하다. 충격을 감지하기 위한 제 1 명령어들의 일부 실시예로서 상기 프로그램은 단자전압 취득부로부터 디지털 데이터를 얻고, 이 디지털 데이터의 절대치가 문턱치를 넘을 때를 이어폰에 충격이 가해진 시점으로 감지할 수 있다. 디지털 데이터 절대치가 문턱치를 넘은 후에 다시 문턱치 아래로 떨어지기까지의 최대값을 이어폰에 가해진 세기로 간주할 수 있다. 제 1 명령어들의 다른 일부 실시예로는 이어폰에 충격이 가해졌을 때 일반적으로 나타나는 유도전압의 파형을 상기 취득된 디지털 데이터와 컨볼루션을 취하고 이 값의 절대치가 문턱치를 넘을 때를 충격이 가해진 시점으로 감지할 수 있다. 직전 실시예와 마찬가지로 이 값이 문턱치를 넘은 후에 다시 문턱치 아래로 떨어지기까지의 최대값을 이어폰에 가해진 세기로 간주할 수 있다.
이어폰에 가해진 충격을 감지함으로써 이어폰이 두드려진 시간과 세기에 관한 정보를 얻을 수 있다. 이 정보에 기반하여 대응되는 명령을 실행시키거나 하나 이상의 애플리케이션에 두드림 관련 정보를 전달할 수도 있다. 상기 두드림 관련 정보란 두드림 검출을 통한 두드림 시간, 두드림 세기일 수도 있고 이 정보로부터 유도된 정보일 수도 있다.
일부 실시예로서, 얻어진 정보에 기반하여 대응되는 제어명령을 실행할 수 있다. 이어폰에 가해진 충격을 감지하여 제어 명령을 입력하는 것은 컴퓨터에서 오랫동안 사용되어온 마우스 버튼의 클릭을 이용해서 제어명령을 입력하는 것과 유사하다. 이어폰을 두드려서 입력하는 방식과 마우스 버튼의 클릭을 통한 입력 방식의 차이 중 하나는, 일반적으로 마우스 버튼은 세게 누름과 약하게 누름을 구별하지 않지만 이어폰을 두드려서 입력하는 경우에는 세게 두드림과 약하게 두드림을 구별할 수 있으므로, 이어폰을 두드리는 세기를 제어명령의 대응을 위한 특징으로 사용할 수도 있다는 점이다. 마우스 버튼을 한 번 클릭하는 이외에 더블클릭하여 새로운 제어명령을 입력할 수 있는 것처럼 이어폰을 두 번 이상 두드림으로써 새로운 제어명령을 입력할 수 있다. 이어폰을 세 번 이상 두드리는 것은 마우스 버튼을 세 번 이상 클릭하는 것보다 쉬우므로 유용하게 사용될 수 있다. 마우스에 2개 이상의 버튼이 있고 각 버튼에 다른 기능을 넣을 수 있는 것과 같이, 이어폰 또는 스피커 유닛이 2개 이상 있고 단자전압 취득부가 두 개 이상의 채널을 디지털 데이터로 변환할 수 있는 경우에는 마찬가지로 각 채널에 다른 기능을 넣을 수 있다.
일부 실시예로서, 상기 얻어진 두드림과 두드림의 시간 간격이 소정의 시간 이내라면 연결된 두드림으로 표시할 수 있다. 연결된 두드림과 연결된 두드림을 모두 모아서 그룹을 지을 수 있다. 다음 두드림을 소정의 시간 동안 기다리고, 소정의 시간 이내에 충격이 감지되지 않으면 그룹 지어진 두드림의 특징으로부터 대응된 제어 명령을 실행시킬 수 있다.
제어명령 실행을 위한 제 1 실시예로서 장치는 한번 두드림은 음량 감소, 두 번 연속 두드림은 음량 증가, 세 번 연속 두드림은 음소거라는 제어 명령을 실행시키는 것일 수 있다. 이 장치에서 사용자가 음량 증가 명령을 입력하기 위해서 두 번 연속 두드림을 가하는 경우를 예를 들어 설명할 것이다. 상기 프로그램은 첫 번째 두드림을 감지한 경우에 소정의 시간 동안 기다리는 제어명령을 수행한다. 곧이어 두 번째 두드림을 감지한 경우에 상기 프로그램은 이전 두드림에 연결된 두드림으로 표시하고 다시 소정의 시간 동안 기다리는 제어명령을 수행한다. 소정의 시간 동안 두드림이 감지되지 않으면 상기 프로그램은 연결된 두드림이 두 번이었으므로 이에 해당하는 음량 증가 명령을 수행한다.
제어 명령 실행을 위한 제 2 실시예로서 장치는 한번 두드림은 현재 재생중인 곡을 기준으로 플레이 목록상의 이전 곡을 플레이, 두 번 연속 두드림은 플레이 목록상의 다음 곡을 플레이, 네 번 연속 두드림을 약-약-강-약으로 두드리면 이전 이어폰을 통해 수행한 명령을 취소하고 원래 상태로 돌아오라는 제어 명령을 실행시키는 것일 수 있다. 이 장치에서 사용자가 약-약-강-약으로 네 번을 연속으로 두드리면, 상기 프로그램은 연결된 두드림으로 표시된 네 번의 두드림의 강도를 비교하고 약-약-강-약의 순서로 입력이 되었다면, 그룹 지어진 네 번의 두드림 이전에 수행한 제어 명령을 취소시키는 명령을 수행한다.
제어명령 실행을 위한 제 3 실시예로서, 스테레오를 지원하는 오디오 접속부를 가지는 장치에 있어서 두 채널 각각의 출력단자 전압을 측정하는 출력전압 취득부를 구비한 장치에서는 왼쪽과 오른쪽 이어폰의 두드림을 구별하여 제어명령을 대응시킬 수 있다. 예컨데, 왼쪽 이어폰을 한번 두드리면 음량증가, 왼쪽 이어폰을 두번 두드리면 음량 감소, 오른쪽 이어폰을 한번 두드리면 플레이 목록상의 이전곡, 오른쪽 이어폰을 두 번 두드리면 플레이 목록상의 다음곡을 플레이 시키는 명령을 대응시켜 실행시킬 수 있다.
상기 제 2 명령어는 충격을 감지했음을 오디오 출력부를 통해서 소리로 알려주는 명령을 포함할 수 있다. 상기 제어 명령 실행을 위한 제 1 실시예에서 상기 프로그램이 두 번의 연속된 두드림을 감지한 경우에, 음량 증가 명령에 추가적으로 비프음을 두 번 이어폰에 들려주는 명령을 수행함으로써 사용자에게 두드림 또는 제어 명령을 감지했음을 알려줄 수 있다.
사용자가 의도하지 않은 채로 이어폰이 다른 곳에 부딪힘으로써 잘못된 제어 명령이 내려질 수도 있다. 제어명령 실행을 위한 제 4 실시예로서, 이러한 경우를 방지하기 위해서 실제 명령을 입력하기 전에 소정의 정해진 두드림을 입력할 수 있다. 예컨데 이어폰을 두 번을 빠르게 두드림으로써 장치가 실제 제어 명령을 기다리는 대기상태에 진입하도록 하고 대기상태 진입후 소정의 시간 이내에 들어온 명령에 대해서만 제어명령을 실행할 수 있다.
상기 단자전압 취득부로부터 얻은 디지털 데이터를 디지털 신호처리를 사용하여 두드림을 오감지하는 비율을 낮추어 개선할 수 있다. 도 6은 일반적으로 사용되는 다이나믹형 이어폰으로 음악을 재생하는 도중에 손가락으로 이어폰을 가볍게 쳐서 충격을 가한 경우에 이어폰 단자의 전압을 시간의 경과(0.113초)에 따라 측정하여 그린 그림이다. x축의 중간 부근에 큰 전압이 나타난 부분이 충격에 의해서 유도된 전압이고 주변의 작은 전압은 오디오 출력부에 의한 음악신호의 구동전압이다.
도 7은 도 6의 충격이 가해진 부분을 주파수 공간에서 그린 그림이다. 대략 100~150 Hz의 응답 주파수를 가지고 있음을 볼 수 있는데 주파수는 이어폰의 재질, 크기, 구조 등에 따라 변할 수 있다. 디지털 신호에서 충격을 감지하기 위해서 샘플링 주파수를 높이는 것이 오감지를 막는데 유리하며 전력 또는 장치 가격면에서는 샘플링 주파수를 낮추는 것이 유리하다.
도 6에서 볼 수 있듯이 오디오 신호를 재생하고 있는 도중에 충격이 가해진 경우에는 재생되고 있는 신호와 진동에 의해서 유도된 전압이 섞여 있다. 섞여 있는 신호를 그대로 분석하여 사용자에 의해 가해진 충격을 감지할 수도 있다. 이 단순한 방법은 오디오 출력부의 출력신호가 이어폰에 나타나는 유도전압과 유사한 경우에 오감지를 하는 경우가 많다. 상기 오감지의 경우를 줄이기 위해서 이어폰 단자에서 측정된 전압에서 음악 재생을 위해 장치에서 출력된 전압의 효과를 없애거나 감소시켜주는 것이 효율적이다. 장치에서 출력된 전압은 오디오 출력을 위해서 오디오 출력부에 입력된 디지털 데이터에 기인한 것이다. 그러므로 단자전압 취득부의 디지털 데이터를 제 1 디지털 신호로 하고, 프로세서가 오디오 출력부에 전송한 데이터를 제 2 디지털 신호로 하고 제 1 디지털신호에서 제 2 디지털신호의 성분을 없애거나 감소시켜주면 이어폰에서 들어온 유도전압을 좀 더 신뢰성있게 감지할 수 있다. 일반적인 디지털 오디오 장치는 장치 내부의 프로세서가 플레이할 디지털 데이터를 직접 또는 메모리를 통해서 간접적으로 오디오 출력부에 전달함으로써 오디오를 플레이한다. 즉, 이러한 장치에서 프로세서는 재생되고 있는 디지털 오디오 데이터에 접근이 가능하다. 상기 제 2 디지털 신호성분은 어느 정도 시간이 지연된 후에 상기 제 1 디지털 신호에 영향이 나타나게 된다. 이 지연시간은 장치 내부의 버퍼의 크기, 디지털-아날로그 변환부의 시간지연, 데이터 취득부에서 프로세서에 데이터가 전달되는 과정 등에 따라서 달라진다.
도 8은 상기 제 1 디지털 신호에서 상기 제 2 디지털 신호 성분을 감소시키는 일부 실시예를 설명하기 위한 구조도이다. (801)은 상기 제 1 디지털 신호 (S0_rec)를, (802)는 상기 제 2 디지털 신호 (S0_play)를 적당한 구간으로 잘라서 비교할 구간(Frame)을 만드는 블록이다. 신호처리의 연속성을 위해서 (801)의 한 Frame과 이후 Frame사이는 겹치도록 하는 것이 좋으며 Frame 길이가 반씩 겹치도록 하는 것이 바람직하다. 연속신호 S0_rec, S0_play를 프레임으로 나누어 나온 각각의 한프레임의 신호를 S1_rec, S1_play라고 적겠다. S1_rec와 S1_play의 길이는 같을 필요는 없으며 S1_play는 S1_rec에 대응하는 부분을 포함할 정도의 구간을 선택해야 하므로 S1_play가 더 긴 것이 바람직하다. (803), (804)는 이후 신호처리의 성능을 높이기 위해서 적절한 전처리를 하는 블록이다. 상기 전처리부의 일부 실시예로서 dc bias를 제거하는 기능을 포함할 수 있다. 상기 전처리부의 또 다른 실시예로서 샘플링 주파수 변환기능을 넣을 수 있다. S0_rec의 샘플링주파수와 S0_play의 샘플링 주파수가 다를 수 있으므로 둘 사이의 샘플링 주파수를 동일하게 맞추어 이후 처리를 하는 것이 효율적이다. 또한 이어폰에 가해진 충격을 감지하기 위해서 재생시에 사용되는 것처럼 높은 샘플링 주파수가 필요하지 않으므로 전처리기에서 샘플링 주파수를 낮게 변환함으로써 이후 알고리즘의 복잡도를 줄일 수 있다. (803), (804)는 반드시 필요한 블록은 아니며 삭제가 가능하다.
S1_rec와 S1_play를 전처리를 수행한 후의 결과를 각각 S2_rec, S2_play라고 적겠다. (805)의 비교부는 S2_play에서 S2_rec와 유사한 부분을 찾고 둘 사이의 시간지연(dt)과 크기 차이(gain)를 구하는 블록이다. 상기 비교부의 일 실시예로는 S2_rec와 S2_play사이의 상관계수가 최대로 나오도록 하는 dt를 구하고
Figure PCTKR2015005738-appb-I000001
로 gain을 구하는 방법이 있다. 여기에서 L은 S2_rec의 길이이고 S2_rec(0:L-1)은 S2_rec의 0번 데이터에서 L-1 번 데이터까지의 리스트를 의미한다. power()는 신호들의 제곱의 평균을 구하는 함수이며 경계효과를 줄이기 위해서 제곱 평균을 구하기 전에 중간 부근이 볼록한 사인 윈도우, 해밍 윈도우 등과 같은 길이 L의 윈도우 함수를 신호에 곱하는 과정을 포함할 수 있다.
상기 비교부의 다른 일부 실시예로는
Figure PCTKR2015005738-appb-I000002
와 같은 에러함수를 정의하고 이 에러함수를 최소로 만드는 dt, gain을 구하는 방법이 있다. 이 경우에도 직전 실시예와 같이 S2_play, S2_rec에 윈도우 함수를 적용할 수 있다.
(806)은 다음 식에 따라서 상기 제 2 디지털 신호성분이 감소된 출력인 decorr_digital을 만들어 낸다.
Figure PCTKR2015005738-appb-I000003
dt, gain은 (805)에서 구해진 값을 직접 사용해도 되지만 이전 프레임들에서 결정된 dt와 gain들을 바탕으로 이동 평균을 구함으로써 시간적인 저역 통과 필터링을 수행하여 에러에 강인한 dt, gain을 구해서 사용하는 것이 안정적이다. (807)은 decorr_digital을 기반으로 이어폰에 충격이 가해졌는지를 판단하는 블록이다. 제 1 디지털 신호에서 제 2 디지털 신호가 완전히 제거되지 않은 경우에는 재생신호가 큰 경우에 decorr_digital도 같이 커지므로
Figure PCTKR2015005738-appb-I000004
와 같이 정의된 규격화된 decorr_normalized를 decorr_digital 대신에 사용하는 것이 바람직하다. 여기에서 alpha는 재생신호가 작아서 S2_rec가 너무 작은 경우에 noise의 효과를 감소시키기 위해 들어간 상수 값으로 실험적으로 정할 수 있다. decorr_normalized의 값이 문턱치를 넘는 곳을 찾음으로써 두드림을 감지할 수 있으나 성능을 더욱 향상시키기 위해서 다음과 같은 방법을 사용할 수도 있다. 이어폰에 충격이 가해진 경우에 이어폰 단자에 나타나는 전압은 도 7에서 볼 수 있듯이 약 150Hz 정도에서 피크를 가지는 주파수응답을 보이며 도 6 에서처럼 빠른 감쇠를 하여 진동이 길게 유지되지 않는 속성을 보인다. 도 9는 이어폰에 충격이 가해진 경우에 단자에 나타나는 전압을 흉내 내기 위해서 수학적으로 구성한 함수
Figure PCTKR2015005738-appb-I000005
를 그린 그림이다. 여기에서 hamming(t)는 해밍 창함수, F_earphone은 150, F_REC=6000 을 사용했다.
s_conv=convolution(decorr_normalized, S_prior)
와 같이 s_conv를 구하면 decorr_normalized에 S_prior와 유사한 모양이 있는 경우에 s_conv는 양 또는 음의 큰 값을 나타내므로 s_conv의 절대치가 특정한 크기를 넘는 곳을 찾음으로써 이어폰에 가해진 충격을 감지할 수 있으며 s_conv의 절대치를 충격의 세기로 사용할 수 있다. 여기에서 convolution(decorr_normalized, S_prior)는 decorr_normalized와 S_prior를 컨볼루션을 취하는 함수이다.
상기 실시예는 제 1 디지털 신호에서 제 2 디지털 신호의 영향을 감소시켜서 비상관화된 신호를 만드는 일부 실시예를 설명한 것이며 방법을 한정하기 위한 것이 아니다. 상기 실시 예에서 구현을 단순화시키기 위해서 몇 가지 블록을 제거하거나 성능을 향상시키기 위해서 변형을 시키는 것이 가능하다. 예를 들어 (805)블록에서 에러함수 E(dt, gain)에서 L2 norm을 다른 것으로 대체하거나 (806)블록에서 gain을 프레임 내에 일정한 값으로 유지하는 대신에 매 샘플마다 이전 프레임과 현재 프레임의 보간(interpolation)으로 대체하여 부드럽게 변하도록 하는 방법이 있을 수 있다. 변형의 다른 예로는 S2_play 대신에 필터링된 S2_play를 사용하는 방법이 있다. 즉, S2_play가 S2_rec에 영향을 주는 방식을 선형필터로 모델링하는 것이다. 이를 위해서 직전 실시예의 에러함수를 다음과 같이 바꾸고 E(dt, filt)를 최소화 시키는 dt, {filt}를 구하면 된다.
Figure PCTKR2015005738-appb-I000006
여기에서 {filt}는 길이 p의 필터계수이며 직전 실시예의 gain을 일반화한 것이다. 이 경우에 decorr_digital은 다음 식과 같이 구해진다.
Figure PCTKR2015005738-appb-I000007
도 10 은 음악 재생중에 세 번의 충격을 이어폰에 가한 후에 상기 실시 예에 따라서 처리하여 얻은 s_conv의 제곱을 그린 그림이며 충격에 의해 생긴 신호 이외의 신호들은 결과 그림에 거의 나타나지 않고 제거되었음을 볼 수 있다.
이상의 설명에 따라서 이어폰 두드림을 감지할 수 있으며 이를 이용해서 여러 명령을 입력할 수 있다. 일부 실시 예로서 이어폰을 통한 제어신호로 미리 설정된 애플리케이션을 실행시키거나 종료시킬 수 있다. 예컨데 멀티미디어 감상중에 음성인식 프로그램을 실행시킬 수 있다.
일부 실시 예로서 스마트폰의 경우에 이어폰을 통한 제어신호로 통화 시작 및 통화종료를 시킬 수 있다. 예컨데 음악 감상중에 통화 시작을 실행시킬 수 있다.
일부 실시예로서 이어폰을 통한 제어신호를 애플리케이션에 입력을 넣는 수단으로 사용할 수 있다. 예컨데 보이스 레코딩 프로그램에 레코딩 시작, 일시멈춤, 정지 등의 입력을 넣을 수 있다.
스테레오 이어폰의 좌측과 우측의 본체는 모양이 유사하여 사용자는 매번 구별을 해서 이어폰을 착용해야 한다. 본 발명의 일부 실시예에 따르면 사용자는 이어폰을 좌우 구분없이 착용하고, 예컨데 우측에 착용한 이어폰을 소정의 방식대로 두드리면 장치는 상기 두드림을 감지한 채널을 우측 이어폰으로 매핑할 수 있다.
일부 실시예로서 이어폰 두드림을 통해서 애플리케이션에 문자 또는 숫자를 입력할 수 있다.
일부 실시예로서 스피커를 기기 내부에 내장시키는 경우에 기기의 조작에 필요한 버튼의 개수를 줄일 수 있다. 케이스의 적어도 일부분을 두드린 진동이 스피커에 전달이 되도록 설계가 된 기기에 있어서, 두드림을 통해서 유도전압을 발생시켜서 신호를 입력할 수 있다. 버튼의 개수를 줄이거나 없앰으로써 모바일 기기를 작게 만들 수 있다.
장치에 오퍼레이팅 시스템이 설치되어 있는 경우에는, 개별적인 애플리케이션들이 이어폰의 충격을 감지하는 명령어를 수행할 수도 있으나, OS에서 감지 등의 명령을 담당하고 얻어진 정보를 애플리케이션에 전달하는 것이 바람직하다. 전달하는 정보는 이어폰 두드림 검출과정의 일부일 수도 있으며 두드림으로부터 유도된 정보일 수도 있다. 일부 실시예로서 이어폰 두드림을 감지하는 과정을 디바이스 드라이버처럼 OS의 낮은 수준에서 실행하고 윈도 시스템의 메시지 또는 안드로이드 OS의 브로드캐스트와 유사한 방법으로 애플리케이션들 또는 프로세스에게 전달할 수 있다.
이어폰을 두드림으로써 유도 전압이 발생하는 것처럼 소리에 의한 떨림에 의해서도 유도전압이 발생한다. 이 전압은 단자전압 취득부에 의해서 취득이 가능하므로 소리 신호를 디지털 데이터로 얻을 수 있다. 기존에 마이크 입력을 아날로그-디지털 변환하여 디지털 데이터를 얻던 방법을 본 발명의 단자전압 취득부를 통해서 얻는 방법으로 대체할 수 있다. 일부 실시예로서 이어폰에 소리 진동을 가하고, 단자전압 취득부에서 디지털 데이터를 얻고, 이 디지털 데이터에 대해서 저장, 음성인식, 오디오 압축, 음성 압축 등의 명령을 실행할 수 있다.
일부 실시예로서 스마트폰에서 양쪽 귀에 이어폰을 착용한 채로 음악감상을 하다가 통화신호가 오면 예컨데 오른쪽 이어폰만을 빼서 마이크 대용으로 사용하여 통화를 할 수 있다. 이 경우에 왼쪽 이어폰은 음성을 듣는 용도로 사용된다.
이상에서 설명을 위해서 특정 실시예를 참조하여 설명했다. 그러나 위의 설명을 참조하여 많은 수정 및 변형이 가능하다. 지금까지의 실시예들은 본 발명의 원리에 대한 이해와 실용적 적용을 위해서 선택된 것이었다. 본 발명에서는, 사용자가 이어폰 본체를 두드림으로써 정보를 보낼 수 있으며 장치에서는 그 정보를 받아서 해석할 수 있다는 점을 보여주었다. 이어폰 두드림을 통한 정보 입력은 키보드, 터치패드, 버튼 등을 이용한 입력과 비교해볼 때, 방식은 다르지만 입력방식의 하나라는 점에서, 입력 내용을 특정 실시예에만 한정시키지 말아야 할 것이다.
오디오 인터페이스를 포함하는 장치에서 본 발명을 적용하여 편리하게 제어명령을 입력 할 수 있다. 예를 들어 스마트폰,mp3에 본 발명을 적용하면 이어폰 또는 헤드폰을 두드려서 볼륨조절, 이전곡,다음곡과 같은 명령을 입력할 수 있다.

Claims (40)

  1. 오디오 출력부;
    하나 이상의 출력단자를 가진 오디오 접속부;
    단자전압 취득부; 그리고
    하나 이상의 프로세서를 구비한 장치에서
    상기 오디오 출력부는 재생할 디지털 데이터를 입력으로 삼고 이어폰 또는 스피커를 구동할 수 있도록 상기 오디오 접속부의 출력 단자에 연결되어 있으며;
    상기 단자전압 취득부는 상기 오디오 접속부의 적어도 하나의 출력단자의 전압의 함수인 디지털 데이터를 출력하며;
    상기 하나 이상의 프로세서는 상기 단자전압 취득부의 디지털 출력 데이터를 얻는 수단이 마련된 장치.
  2. 제1항에 있어서,
    상기 오디오 접속부의 출력단자가 2채널 이상이고;
    상기 단자전압 취득부는 적어도 2개의 출력단자의 전압을 디지털 데이터로 프로세서에 제공할 수 있도록 구성된, 장치.
  3. 제1항에 있어서,
    상기 단자전압 취득부는 내부에 증폭부를 구비하고, 증폭부는 상기 오디오 접속부의 단자전압을 증폭하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 오디오 출력부는 내부에 임피던스부를 구비하고, 임피던스부는 - 별도의 임피던스 소자 없이 단지 연결선의 저항만으로 구현하는 것을 포함- 상기 오디오 접속부의 출력단자에 전달되는 전압을 감쇄시켜서 전달하는 것을 특징으로 하는, 장치.
  5. 제4항에 있어서,
    상기 단자전압 취득부는 상기 오디오 접속부의 출력단자로부터 들어온 신호를 제 1 아날로그 입력으로 받고, 오디오 출력부의 임피던스부에 의해 감쇄되기 이전의 신호를 제 2 아날로그 입력으로 받아들이고, 상기 제 1 아날로그 입력에서 상기 제 2 아날로그 입력의 성분을 제거하거나 감소시킨 비상관화된 신호를 디지털 신호로 변환하여 출력하는 것을 특징으로 하는, 장치.
  6. 제1항에 있어서,
    상기 오디오 접속부는 출력단자에 더불어 입력단자를 가지고 있으며, 상기 단자전압 취득부는 상기 오디오 접속부의 입력단자의 전압과 상기 오디오 접속부의 출력 단자의 전압을 선택적으로 측정할 수 있도록 스위치 수단을 갖추고 있으며, 스위치는 프로세서에 의해서 제어가 가능한, 장치.
  7. 제 1항에 있어서,
    메모리 및 하나 이상의 프로그램을 더 포함하는 장치로서,
    상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 프로세서에 의해 실행되도록 구성되며,
    상기 프로그램은
    상기 단자전압 취득부의 출력인 디지털 데이터에 기반하여 이어폰 또는 스피커의 두드림을 감지하고 정보를 얻어내는 제 1 명령어들; 감지 결과 얻어진 정보에 기반하여 실행되는 제 2 명령어들을 포함하는, 장치.
  8. 제7항에 있어서,
    상기 장치는 휴대용 장치인, 장치.
  9. 제7항에 있어서,
    상기 감지 결과로 얻어진 정보는 이어폰 또는 스피커를 두드린 시간, 또는 두드린 세기 또는 이들로부터 얻어진 2차 정보인, 장치.
  10. 제9항에 있어서,
    상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 장치.
  11. 제9항에 있어서,
    상기 단자전압 취득부의 출력인 디지털 신호가 2개 이상의 채널로 구성되어 있는 경우에
    상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 장치.
  12. 제7항에 있어서,
    상기 프로세서는 오디오 출력부의 입력인 상기 재생할 디지털 데이터에 접근이 가능하며;
    상기 두드림을 감지하는 제 1 명령어들은
    상기 단자전압 취득부의 출력을 제 1 디지털 신호로 하고, 오디오 출력부의 입력인 상기 재생할 디지털 데이터를 제 2 디지털 신호로 하고, 적어도 상기 두 데이터에 기반하여 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계; 그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 수행하는 명령어들인, 장치.
  13. 제7항에 있어서,
    상기 두드림을 감지한 경우에
    소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주는 것을 특징으로 하는, 장치.
  14. 제7항에 있어서,
    상기 제 2 명령어들은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 장치.
  15. 제7항에 있어서,
    장치에 오퍼레이팅시스템이 구현되어 있으며;
    상기 제 2 명령어들은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 명령어를 포함하는 것을 특징으로 하는, 장치.
  16. 제 1항에 있어서,
    메모리 및 하나 이상의 프로그램을 더 포함하는 장치로서,
    상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 프로세서에 의해 실행되도록 구성되며,
    상기 프로그램은
    상기 단자전압 취득부의 출력인 디지털 데이터를 상기 장치에 오디오 신호를 입력하는 수단으로 사용하는 명령어를 포함하는, 장치.
  17. 제 16항에 있어서,
    상기 오디오 접속부의 출력단자가 2채널 이상이고, 단자전압 취득이 가능한 적어도 하나의 채널을 오디오 입력 용도로 삼고, 나머지 적어도 한 채널을 오디오 출력 용도로 사용하여 오디오 입출력을 수행하는 명령어를 포함하는, 장치.
  18. 제 17항에 있어서,
    통신 모듈을 더 포함하며, 상기 입력 용도와 상기 출력 용도는 통화을 위한 것을 특징으로 하는, 장치.
  19. 오디오 출력부와 하나 이상의 출력단자를 가진 오디오 접속부를 갖추고;
    출력단자의 전압을 디지털 데이터(제 1 디지털 데이터)로 변환할 수 있는 수단이 마련되어 있고;
    오디오 출력부는 디지털 데이터(제 2 디지털 데이터)를 아날로그신호로 변환하고 이어폰 또는 스피커를 구동할 수 있도록 오디오 접속부의 출력단자에 연결되어 있는 장치에서,
    상기 제 1 디지털 데이터에 기반하여 이어폰의 두드림을 감지하는 단계;
    상기 두드림 감지를 통해서 두드림 시간과 두드림 세기 중 적어도 하나의 정보를 추출하는 단계;
    상기 정보, 또는 상기 정보로부터 유도된 제 2차 정보에 기반하여 대응하는 동작을 수행하는 단계
    를 포함하는, 컴퓨터로 구현하는 방법.
  20. 제19항에 있어서,
    상기 장치는 휴대용 장치인, 컴퓨터로 구현하는 방법.
  21. 제19항에 있어서,
    상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 컴퓨터로 구현하는 방법.
  22. 제19항에 있어서,
    상기 제 1 디지털 신호가 2개 이상의 채널에서 얻어진 경우에
    상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
  23. 제19항에 있어서,
    상기 두드림을 감지하는 단계는,
    적어도 상기 제 1 디지털 데이터와 상기 제 2 디지털 데이터에 기반하여 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계;
    그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 포함하는, 컴퓨터로 구현하는 방법.
  24. 제19항에 있어서,
    상기 두드림을 감지한 경우에
    소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
  25. 제19항에 있어서,
    상기 대응하는 동작은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록 상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
  26. 제19항에 있어서,
    상기 대응하는 동작은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
  27. 하나 이상의 출력단자를 가진 오디오 접속부와 그 출력단자의 전압을 디지털 데이터로 변환할 수 있는 수단이 마련된 장치에서,
    상기 디지털 데이터를 상기 장치에 오디오 신호를 입력하는 수단으로 사용하는, 컴퓨터로 구현하는 방법.
  28. 제27항에 있어서,
    상기 오디오 접속부의 출력단자가 2채널 이상인 장치에서, 단자전압 취득이 가능한 적어도 하나의 채널을 오디오 입력용도로 삼고, 나머지 적어도 한 채널을 오디오 출력 용도로 사용하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
  29. 제28항에 있어서,
    통신 모듈을 더 포함하는 장치에서, 상기 입력 용도와 상기 출력 용도는 통화를 위한 것임을 특징으로 하는, 컴퓨터로 구현하는 방법.
  30. 명령어들을 저장하는 컴퓨터 판독가능 기록 매체로서,
    오디오 출력부와 하나 이상의 출력단자를 가진 오디오 접속부를 갖추고;
    출력단자의 전압을 디지털 데이터(제 1 디지털 데이터)로 변환할 수 있는 수단이 마련되어 있고;
    오디오 출력부는 디지털 데이터(제 2 디지털 데이터)를 아날로그신호로 변환하고 이어폰 또는 스피커를 구동할 수 있도록 오디오 접속부의 출력단자에 연결되어 있는 장치에서 실행되는 경우,
    상기 장치로 하여금
    상기 제 1 디지털 데이터에 기반하여 이어폰의 두드림을 감지하도록 하고;
    상기 두드림 감지를 통해서 두드림 시간과 두드림 세기 중 적어도 하나의 정보를 추출하도록 하고;
    상기 정보, 또는 상기 정보로부터 유도된 제 2차 정보에 기반하여 대응하는 동작을 수행하도록 하는, 컴퓨터 판독가능 기록 매체.
  31. 제30항에 있어서,
    상기 장치는 휴대용 장치인, 컴퓨터 판독가능 기록 매체.
  32. 제30항에 있어서,
    상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 컴퓨터 판독가능 기록 매체.
  33. 제30항에 있어서,
    상기 제 1 디지털 신호가 2개 이상의 채널에서 얻어지는 경우에
    상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
  34. 제30항에 있어서,
    상기 두드림을 감지하는 단계는,
    적어도 상기 제 1 디지털 신호와 상기 제 2 디지털 신호에 기반하여 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계;
    그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 포함하는, 컴퓨터 판독가능 기록 매체.
  35. 제30항에 있어서,
    상기 두드림을 감지한 경우에
    소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
  36. 제30항에 있어서,
    상기 대응하는 동작은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
  37. 제30항에 있어서,
    상기 대응하는 동작은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
  38. 명령어들을 저장하는 컴퓨터 판독가능 기록 매체로서,
    상기 명령어들은, 하나 이상의 출력단자를 가진 오디오 접속부와 출력단자의 전압을 디지털 데이터로 변환할 수 있는 수단이 마련된 장치에서 실행되는 경우, 상기 장치로 하여금
    상기 디지털 데이터를 상기 장치에 오디오 신호를 입력하는 수단으로 사용할 수 있도록 하는 명령어들인, 컴퓨터 판독가능 기록 매체.
  39. 제38항에 있어서,
    상기 오디오 접속부의 출력단자가 2채널 이상인 장치에서 실행되는 경우, 상기 명령어들은, 단자전압 취득이 가능한 적어도 하나의 채널을 오디오 입력용도로 삼고, 나머지 적어도 한 채널을 오디오 출력 용도로 사용하여 오디오 입출력을 수행하도록 하는 것을 포함하는, 컴퓨터 판독가능 기록 매체.
  40. 제39항에 있어서,
    통신 모듈을 더 포함하는 장치에서 실행되는 경우, 상기 입력 용도와 상기 출력 용도는 통화를 위한 것임을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
PCT/KR2015/005738 2014-06-09 2015-06-08 이어폰을 이용한 입력 방법 및 장치 WO2015190786A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140068969A KR101486194B1 (ko) 2014-06-09 2014-06-09 이어폰을 이용한 입력 방법 및 장치
KR10-2014-0068969 2014-06-09

Publications (1)

Publication Number Publication Date
WO2015190786A1 true WO2015190786A1 (ko) 2015-12-17

Family

ID=52591190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005738 WO2015190786A1 (ko) 2014-06-09 2015-06-08 이어폰을 이용한 입력 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101486194B1 (ko)
WO (1) WO2015190786A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700693B1 (ko) * 2015-10-15 2017-01-31 주식회사 라인기술 스마트 기기의 이어폰 단자를 이용한 신호송출 버튼장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010213099A (ja) * 2009-03-11 2010-09-24 Sony Ericsson Mobile Communications Ab 音声信号処理装置及び音声信号処理方法
JP4650990B2 (ja) * 2000-04-12 2011-03-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサ非依存性の振動振幅制御部
KR101176367B1 (ko) * 2010-04-19 2012-08-22 (주)프로스트데일 휴대 단말기 제어 기능이 구비된 헬멧 및 그에 따른 제어 방법
KR20120111917A (ko) * 2009-12-11 2012-10-11 소니 주식회사 제어 장치 및 방법, 및 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650990B2 (ja) * 2000-04-12 2011-03-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサ非依存性の振動振幅制御部
JP2010213099A (ja) * 2009-03-11 2010-09-24 Sony Ericsson Mobile Communications Ab 音声信号処理装置及び音声信号処理方法
KR20120111917A (ko) * 2009-12-11 2012-10-11 소니 주식회사 제어 장치 및 방법, 및 프로그램
KR101176367B1 (ko) * 2010-04-19 2012-08-22 (주)프로스트데일 휴대 단말기 제어 기능이 구비된 헬멧 및 그에 따른 제어 방법

Also Published As

Publication number Publication date
KR101486194B1 (ko) 2015-02-11

Similar Documents

Publication Publication Date Title
WO2017052056A1 (en) Electronic device and method of audio processing thereof
WO2014035109A1 (en) Earphone connection interface, terminal including the same, and method of operating the terminal
US10630826B2 (en) Information processing device
WO2020166944A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
WO2014021670A1 (en) Mobile apparatus and control method thereof
JPH07506947A (ja) 骨伝導形式のイヤー・マイクロフォン及び方法
CN104036771A (zh) 信号处理装置、信号处理方法和存储介质
US20150036859A1 (en) Expandable electronic device and transmission system thereof
RU2340123C2 (ru) Детекторное устройство
KR101878873B1 (ko) 공용 커넥터를 이용하여 음향의 멀티 채널 집음 및 출력이 가능한 모바일 기기, 및 그 구동방법
WO2019112357A1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 전자 장치
WO2018097546A1 (ko) 음파 출력장치의 음량 조절 방법 및 시스템
CN108347670B (zh) 信号处理方法及信号处理系统
WO2021020686A1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
CN109473097A (zh) 一种智能语音设备及其控制方法
US20180279035A1 (en) Portable device and method for entering power-saving mode
WO2020032363A1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
US10070221B1 (en) Signal processing system and a method
WO2015190786A1 (ko) 이어폰을 이용한 입력 방법 및 장치
WO2019074238A1 (ko) 마이크로폰, 마이크로폰을 포함하는 전자 장치 및 전자 장치의 제어 방법
WO2019083192A1 (ko) 네트워크 연결 정보에 기반하여 잡음 제어 파라미터를 결정하는 전자 장치 및 그의 동작 방법
WO2020262835A1 (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
US20240236543A1 (en) Magnetic connector and sensor for detecting a presence of a function
CN105872209A (zh) 一种信息处理方法和电子设备
KR20190045506A (ko) 오디오 신호를 처리하기 위한 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806718

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30.03.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15806718

Country of ref document: EP

Kind code of ref document: A1