WO2017171137A1 - 보청장치, 휴대장치 및 그 제어방법 - Google Patents

보청장치, 휴대장치 및 그 제어방법 Download PDF

Info

Publication number
WO2017171137A1
WO2017171137A1 PCT/KR2016/006383 KR2016006383W WO2017171137A1 WO 2017171137 A1 WO2017171137 A1 WO 2017171137A1 KR 2016006383 W KR2016006383 W KR 2016006383W WO 2017171137 A1 WO2017171137 A1 WO 2017171137A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
hearing aid
speaker
voice signal
unit
Prior art date
Application number
PCT/KR2016/006383
Other languages
English (en)
French (fr)
Inventor
안진왕
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2017171137A1 publication Critical patent/WO2017171137A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/06—Hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • a hearing aid is a device for amplifying a sound mounted on a patient diagnosed with a hearing loss in a hearing test, and it is generally operated according to hearing frequency of a hearing impaired person.
  • the speech signal adjusted to increase the level of the hearing loss frequency range may be output by the hearing aid device.
  • the speaker present at the uttering position of the voice signal is viewed as the counterpart of the conversation, and the voice signal of the counterpart is selectively amplified and output, thereby making it easier for a hearing aid wearer to listen to the other party's voice without any inconvenience.
  • the hearing aid is a wearable device
  • the image input unit includes a front camera installed on the front of the hearing aid
  • the processor includes a speaker at a utterance position determined by using image data photographed by the front camera on the front of the wearer of the hearing aid. Can be determined whether or not is present. Accordingly, it may be used to determine whether the user is in a conversation from the image data and to specify a conversation counterpart.
  • the image input unit is provided at a position through which at least one eye of the hearing aid wearer passes, and further includes a rear camera which acquires eye information of the wearer, and the processor may determine whether the wearer stares at the speaker using the acquired eye information. You can decide more. Thus, it is possible to check whether the user stares at the other party, thereby enabling the user to more accurately identify the other party.
  • the hearing aid is further provided with a direction sensor, and the processor may further control the communication unit to receive a sensing value of the direction sensor from the hearing aid and further use the received sensing value to determine whether a speaker exists at the determined speech position. .
  • the accuracy of the opponent's position is improved.
  • the processor may estimate the speech location of the speech signal using at least one of a time difference at which the speech signal reaches the plurality of microphones, a separation distance between the plurality of microphones, and the number of microphones. Accordingly, various algorithms for estimating the utterance position of the voice signal may be used to specify the conversation counterpart.
  • the voice database stores information on a plurality of speakers and voice signals corresponding to the plurality of speakers
  • the processor identifies and separates the speaker's voice signal from the received voice signal based on the voice database, and separates the speaker's voice.
  • the signal can be adjusted to increase the level of the hearing loss frequency range. Accordingly, the voice required for the conversation may be selectively adjusted to help improve the concentration of the conversation of the hearing impaired person.
  • the processor may determine whether information corresponding to the received voice signal exists in the voice database, and if it is determined that the information does not exist, store the information about the voice signal in the database. As a result, the information about the neighbors of the hearing loss is continuously updated, so that it can be used not only for later speaker recognition but also for building a user's own voice database.
  • the apparatus may further include a user input unit configured to receive a user input, and the processor may store information received through the user input unit in a voice database in correspondence with a voice signal. Accordingly, the user may be provided with various information for easily identifying the conversation counterpart.
  • the hearing aid device including a plurality of microphones for receiving a voice signal; An image input unit for receiving image data; A communication unit which transmits the received audio signal and the image data to the portable device; A voice output unit for outputting a voice signal; At least one processor for controlling the communication unit to receive a voice signal adjusted to increase the level of the hearing loss frequency range for the voice signal corresponding to the predetermined speaker from the portable device, and to control the voice output unit to output the adjusted voice signal
  • the video input unit includes a front camera installed at the front of the hearing aid device, and it is determined whether a speaker exists at the location of the speech signal by using the image data photographed from the front camera, and the speaker is present at the location of the hearing aid.
  • the voice signal corresponding to the speaker identified using the voice database may be adjusted and transmitted from the portable device to the hearing aid device. Accordingly, the user can check the other party by simply wearing the hearing aid and looking at the other party, and the voice signal is amplified and output, so that the concentration of the conversation can be improved even in a noisy environment.
  • the image input unit may be provided at a position through which at least one gaze of the hearing aid wearer passes, and further include a rear camera that acquires eye information of the wearer, and whether the wearer gazes at the speaker using the acquired eye information. have. Thus, since the user gazes at the other party, the accuracy of speaker recognition is further improved.
  • the display unit may further include a display unit provided at a position through which the at least one eye of the wearer passes, and the processor may control the display unit to display the information on the identified speaker using the information on the speech position and the voice database.
  • the processor may control the display unit to display the information on the identified speaker using the information on the speech position and the voice database.
  • the voice input unit including a plurality of microphones for receiving a voice signal and a video input unit for receiving the image data receiving the audio signal and the image data from the hearing aid device is provided; Steps; Determining an utterance position of the received voice signal; Determining whether or not a speaker exists at a speech location determined using the received image data; Adjusting the identified voice signal so that the level of the hearing loss frequency range is increased with respect to the voice signal corresponding to the speaker identified from the received voice signal using the voice database if it is determined that the speaker is present in the spoken position; And transmitting the adjusted voice signal from the portable device to the hearing aid device to be output by the hearing aid device.
  • the speaker present at the uttering position of the voice signal is viewed as the counterpart of the conversation, and the voice signal of the counterpart is selectively amplified and output, thereby making it easier for a hearing aid wearer to listen to the other party's voice without any inconvenience.
  • the hearing aid is a wearable device
  • the image input unit includes a front camera installed at the front of the hearing aid, and determining whether the speaker is present comprises image data photographed by the front camera of the hearing aid wearer. It may be determined whether or not the speaker is present in the determined utterance position using. Accordingly, it may be used to determine whether the user is in a conversation from the image data and to specify a conversation counterpart.
  • the voice database stores information on a plurality of speakers and voice signals corresponding to the plurality of speakers, and further comprises identifying and separating voice signals of the speaker from the received voice signals based on the voice database.
  • the adjusting may be performed such that the level of the hearing loss frequency domain is increased with respect to the voice signal of the separated speaker. Accordingly, the voice required for the conversation may be selectively adjusted to help improve the concentration of the conversation of the hearing impaired person.
  • the method may further include storing information on the voice signal in a database. As a result, the information about the neighbors of the hearing loss is continuously updated, so that it can be used not only for later speaker recognition but also for building a user's own voice database.
  • the hearing aid device determines a speech location of a voice signal by using voice signals received through a plurality of microphones and image data received through a front camera, and talks a speaker existing at the corresponding speech location.
  • the other party By specifying as the other party, by selectively amplifying and outputting the voice signal of the specified party, the user who is a hearing impaired can listen to the voice of the other party without any inconvenience in any environment.
  • FIG. 1 is a view showing an example of a hearing aid system according to an embodiment of the present invention
  • FIG. 5 is a perspective view showing a portable device implemented as a smart watch according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a method of using eye information in a portable device according to an embodiment of the present invention
  • FIG. 9 is a flowchart illustrating a control method of a hearing aid system according to an exemplary embodiment of the present invention.
  • 10 to 12 are diagrams for explaining a process of a hearing impaired person having a conversation with a counterpart using a hearing aid device and a portable device according to the control method shown in FIG. 9.
  • the hearing aid device 10 may be implemented as a digital hearing aid device that converts and processes an analog signal into a digital signal, and converts and processes the processed digital signal into an analog signal.
  • FIG. 2 is a perspective view showing the hearing aid device 100 according to an embodiment of the present invention.
  • the hearing aid device 100 is provided in a form that the wearer can wear on the body, such as glasses.
  • the voice input unit 160 includes a plurality of microphones 161, 162, and 163 (hereinafter also referred to as microphones), and each of the microphones 161, 162, and 163 has a predetermined interval d. Hearing aid 100 is installed.
  • the voice output unit 170 outputs a voice signal in which the level of the hearing loss of the wearer of the hearing aid device 100 is increased, and may have the form of earphones 171 and 172 as shown in FIG. 2.
  • the image input unit 180 may further include a rear camera 182 provided at a position through which the at least one eye of the wearer of the hearing aid device 100 passes to acquire eye information of the wearer.
  • the image data acquired through the rear camera 182 may be used to determine whether the wearer stares at the voice of the talker.
  • the voice input unit 160 includes a plurality of microphones, a first microphone 161 and a second microphone 162. In one embodiment, the voice input unit 160 may further include a third microphone 163.
  • the voice output unit 170 includes a first earphone 171 and a second earphone 172. In one embodiment, the voice output unit 170 may include only one of the first earphone 171 and the second earphone 172.
  • the hearing aid device 100 may further include a connector 175 and a direction sensor 165, as shown in FIG. 3.
  • the controller 110 may include a communication unit 120, an image processing unit 130, a display unit 140, a user input unit 150, an audio input unit 160, an audio output unit 170, a connector 175, and an image input unit 180. ), The direction sensor 165, the storage 190 and the power supply 195 may be controlled.
  • the communicator 120 transmits the voice signal received through the voice input unit 160 to the portable apparatus 200.
  • the transmitted voice signal may be an analog signal or a digitally converted signal in some cases.
  • the hearing aid device 100 may further include an A / D converter.
  • the video reproducing unit 233 is stored in the storage unit 290 of the portable apparatus 200 under the control of the controller 210 or received from a digital video source (for example, a file extension of mpeg, mpg, files that are mp4, avi, mov, or mkv) can be played using the video codec unit.
  • a digital video source for example, a file extension of mpeg, mpg, files that are mp4, avi, mov, or mkv
  • Most applications installable on the portable apparatus 200 may play an audio source and / or a video file using the audio codec unit and / or the video codec unit.
  • the speaker 271 may control various signals (eg, wireless) of the communication unit 220, the mobile communication unit 225, the image processing unit 230, or the image input unit 280 using the audio codec unit under the control of the controller 210. Sound corresponding to a signal, a broadcast signal, an audio source, a video file, or a photo capture) may be output to the outside of the portable apparatus 200.
  • signals eg, wireless
  • the number of microphones included in the microphone array is increased by applying the basic principle described in FIG. 6 to the three-dimensional space, it may be applied to the three-dimensional space.
  • l is the distance between the microphones (meters)
  • f is the frequency
  • ⁇ is the angle to the microphone at which the sound waves arrive
  • c is the speed of the sound waves (for example, 343 m / s)
  • N is the number of microphones.
  • the sound signal that is, the direction (position) of the speaker may be estimated by applying the voice signals received through the microphones 161, 162, 163, and 164 to Equation 3.
  • the eyeball information may be determined using up, down, left, and right lengths L1 to L8 of the outside of the eyeball as the eyeball direction information as shown in FIG. 8.
  • eyeball directions defined by L1 to L8 may be matched and stored in the matching table provided in the storage unit 290. For example, if L1 and L5 are longer than the reference, L2 and L6 are shorter than the reference, and L3, L4, L7, and L8 are within the reference range, the eyeball direction is matched to the right. In the same way, if L1 and L5 are shorter than the reference, L2 and L6 are longer than the reference, L3 and L7 are longer than the reference, and L4 and L8 are shorter than the reference, the eye direction is matched with Left Down.
  • the controller 210 obtains values of L1 to L8 from the rear image data through the rear camera 182 of the hearing aid device 100.
  • the controller 210 loads the eyeball directions matched with the obtained L1 to L8 from the matching table to determine the eyeball direction of the corresponding user (wearer of the hearing aid device).
  • the portable apparatus 200 uses the voice signal and the image data received through the hearing aid device 100, so that the wearer (listener) of the hearing aid device 100 is talking to the other party, that is, the speaker's voice signal. By selectively amplifying and outputting, the listener can concentrate on the other party in the conversation without confusion.
  • control unit 100, 200 may include a plurality of hardware or software modules, each module according to the operation to perform the voice direction analysis module, person recognition module, voice signal determination module, speaker separation module, A speaker recognition module, an eye tracking module, a noise removing module, and the like may be included.
  • operations performed in each module will be defined as being performed by the controllers 100 and 200.
  • the controller 210 may determine an utterance position of the voice signal received in step S902, for example, a direction of sound waves (S906). In this process, the location estimation algorithm described in FIG. 6 or 7 may be used.
  • the location of the utterance determined in step S906 is Right, Left, Up, Down, Center, Left Up, Right Up, It may correspond to one of left down and right down.
  • the controller 210 determines the speaker corresponding to the received voice signal using the voice database 291 (S916).
  • the controller 210 may determine the speaker's name, gender, relationship with the user, and the like.
  • the voice database 291 may store the speaker information corresponding to the received voice signal (S918).
  • the image data photographed through the front camera 181, information (eg, name, gender, relationship with the user, etc.) that can be input by the user input unit 250 is matched with the voice signal May be stored.
  • steps S914 to S918 may be performed.
  • the results according to steps S904 to S916 may be displayed by the display unit 140 of the hearing aid device 100 as shown in FIG. 11 or 12 (S920).
  • the controller 210 transmits the determination result in steps S904 to S916 to the hearing aid device 100 through the communication unit 220.
  • the control unit 110 of the hearing aid device 100 may receive the result through the communication unit 120 and control the image processing unit 130 to display an image corresponding thereto.
  • a text 401 indicating a conversation mode may be displayed on the display 140 as shown in FIG. 11.
  • a predetermined icon 402 may be displayed on the display unit 140 at the position corresponding to the utterance position determined in step S906. 11 illustrates an example in which the ignition position is the front center.
  • the voice signal of which the level of the hearing loss frequency domain is increased with respect to the voice signal received in step S902 is output by the voice output unit 170 of the hearing aid device 100 (S922).
  • the output voice signal may be a voice signal separated from the corresponding speaker in step S914 and / or a voice signal from which noise is removed.
  • the level of the voice signal is increased and output. You can do it.
  • the wearer of the hearing aid device 100 can concentrate on the conversation with the other party even in a noisy environment. do.
  • the hearing aid device 100 uses an audio signal received through the plurality of microphones 161, 162, and 163 and an audio signal using image data received through the front camera 181. Determining the speech location of the user, by specifying the speaker present in the speech location as the other party of the conversation, by selectively amplifying and outputting the voice signal of the specified party, the user who is hearing impaired is uncomfortable with the voice of the other party in any environment. You can listen without it.
  • the computer program is code that the CPU can read and execute, and includes code for performing the operations of the controllers 110 and 210, such as steps S902 to S922 shown in FIG.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 보청장치, 휴대장치 및 그 제어방법에 관한 것으로서, 휴대장치는, 음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부 및 영상데이터를 수신하는 영상입력부가 마련된 보청장치로부터 음성신호 및 영상데이터를 수신하는 통신부와; 음성 데이터베이스가 저장되는 저장부와; 수신된 음성신호의 발화 위치를 결정하고, 수신된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정하고, 발화 위치에 화자가 존재하는 것으로 결정되면 수신된 음성신호로부터 음성 데이터베이스를 이용하여 식별된 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 식별된 음성신호를 조정하고, 조정된 음성신호가 통신부를 통해 보청장치로 송신되도록 제어하는 적어도 하나의 프로세서를 포함하며, 조정된 음성신호는 보청장치에 의해 출력될 수 있다. 이에 의하여, 음성신호의 발화 위치에 존재하는 화자의 음성신호를 선택적으로 증폭시켜 출력함으로써, 난청인이 대화 상대방의 음성을 불편함 없이 청취하여 대화의 집중도를 높일 수 있게 된다.

Description

보청장치, 휴대장치 및 그 제어방법
본 발명은 보청장치, 휴대장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 대화중인 화자의 음성신호를 증폭할 수 있도록 하는 보청장치, 휴대장치 및 그 제어방법을 제공한다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 예를 들어, 스마트 폰, 스마트 패드(태블릿), PDA 등과 같은 다양한 모바일 휴대장치들의 사용이 점차 확대되고 있으며, 이러한 휴대장치들은 신체 착용형 장치로서 제공될 수 있다.
신체 착용형 장치의 일례로서 보청장치는 청력 검사상 난청으로 진단된 환자에게 장착되어 사운드를 증폭하여 주는 기구로, 난청인의 주파수 별 청력에 맞추어 동작하는 것이 일반적이다.
따라서, 복수의 화자를 포함한 다양한 음원으로부터 동시에 사운드가 입력되는 경우, 모든 입력된 신호에 대해 난청 주파수 영역이 증폭되어, 난청인이 필요한 음성을 듣고 이해하는데 어려움이 발생할 수 있다.
그에 따라, 다양한 사운드가 발생되는 환경에서도 난청인이 혼란 없이 대화의 상대방에게 집중할 수 있도록 도와주는 수단이 마련될 필요가 있다.
본 발명 일실시예에 따른 휴대장치는, 음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부 및 영상데이터를 수신하는 영상입력부가 마련된 보청장치로부터 음성신호 및 영상데이터를 수신하는 통신부와; 음성 데이터베이스가 저장되는 저장부와; 수신된 음성신호의 발화 위치를 결정하고, 수신된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정하고, 발화 위치에 화자가 존재하는 것으로 결정되면 수신된 음성신호로부터 음성 데이터베이스를 이용하여 식별된 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 식별된 음성신호를 조정하고, 조정된 음성신호가 통신부를 통해 보청장치로 송신되도록 제어하는 적어도 하나의 프로세서를 포함하며, 난청 주파수 영역의 레벨이 증가되도록 조정된 음성신호는 보청장치에 의해 출력될 수 있다. 이에 의해, 음성신호의 발화위치에 존재하는 화자를 대화의 상대방으로 보아, 그 상대방의 음성신호가 선택적으로 증폭되어 출력되므로, 보청장치 착용자가 상대방의 음성을 불편함 없이 청취하는데 보다 용이하다.
보청장치는 신체 착용형 장치이고, 영상입력부는 보청장치의 전면에 설치된 전면 카메라를 포함하며, 프로세서는, 전면 카메라에 의해 보청장치 착용자의 전면에 대해 촬영된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정할 수 있다. 이에, 영상데이터로부터 사용자가 대화 중인지 여부를 결정하고, 대화 상대방을 특정하는데 활용할 수 있다.
영상입력부는 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며, 프로세서는, 획득된 안구 정보를 이용하여 착용자가 화자를 응시하는지 여부를 더 결정할 수 있다. 이에, 사용자가 상대방을 응시하는지 여부까지 확인할 수 있어, 보다 정확하게 대화 상대방을 특정할 수 있게 된다.
보청장치에는 방향센서가 더 설치되며, 프로세서는, 보청장치로부터 방향센서의 센싱값을 수신하도록 통신부를 제어하고, 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는데 수신된 센싱값을 더 이용할 수 있다. 이에, 상대방의 위치에 대한 정확도가 향상된다.
프로세서는, 음성신호가 복수의 마이크로폰에 도달하는 시간차, 복수의 마이크로폰 사이의 이격 거리 및 마이크로폰의 개수 중 적어도 하나를 이용하여 음성신호의 발화 위치를 추정할 수 있다. 이에, 음성신호의 발화 위치를 추정하는 다양한 알고리즘을 대화 상대방을 특정하는데 활용할 수 있다.
음성 데이터베이스에는 복수의 화자 및 복수의 화자에 대응하는 음성신호에 대한 정보가 저장되고, 프로세서는, 음성 데이터베이스에 기초하여 수신된 음성신호로부터 화자의 음성신호를 식별 및 분리하고, 분리된 화자의 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 조정할 수 있다. 이에, 대화에 필요한 음성이 선택적으로 조정되어, 난청인의 대화 집중도가 향상되는데 도움을 줄 수 있다.
프로세서는, 수신된 음성신호에 대응하는 정보가 음성 데이터베이스에 존재하는지 여부를 결정하고, 정보가 존재하지 않는 것으로 결정되면 음성신호에 대한 정보를 데이터베이스에 저장할 수 있다. 이에, 난청인의 주변인들에 대한 정보가 지속적으로 업데이트되어, 추후의 화자 인식에 다시 활용될 뿐 아니라 사용자 고유의 음성 데이터베이스를 구축할 수 있게 된다.
사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 프로세서는, 사용자 입력부를 통해 수신되는 정보를 음성신호에 대응시켜 음성 데이터베이스에 저장할 수 있다. 이에, 사용자에게 대화 상대방을 쉽게 식별할 수 있는 다양한 정보를 제공할 수 있다.
한편, 본 발명 일실시예에 따른 보청장치는, 음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부와; 영상데이터를 수신하는 영상입력부와; 수신된 음성신호 및 영상데이터를 휴대장치로 송신하는 통신부와; 음성신호를 출력하는 음성출력부와; 휴대장치로부터 소정 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 조정된 음성신호를 수신하도록 통신부를 제어하고, 조정된 음성신호를 출력하도록 음성출력부를 제어하는 적어도 하나의 프로세서를 포함하며, 영상입력부는 보청장치의 전면에 설치된 전면 카메라를 포함하며, 전면 카메라에서 촬영된 영상데이터를 이용하여 음성신호의 발화 위치에 화자가 존재하는지 여부가 결정되고, 발화 위치에 화자가 존재하는 것으로 결정되면 음성 데이터베이스를 이용하여 식별된 화자에 대응하는 음성신호가 조정되어 휴대장치로부터 보청장치로 송신될 수 있다. 이에 따라, 보청장치를 착용하고 상대방을 쳐다보는 것만으로도 대화의 상대방을 확인하고, 그 음성신호가 증폭되어 출력되므로, 시끄러운 환경에서도 대화의 집중도가 향상될 수 있다.
영상입력부는 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며, 획득된 안구 정보를 이용하여 착용자가 화자를 응시하는지 여부가 더 결정될 수 있다. 이에, 사용자가 상대방을 응시하는지 여부까지 활용하므로, 화자 인식의 정확도가 보다 향상된다.
착용자의 적어도 하나의 시선이 통과하는 위치에 마련되는 디스플레이부를 더 포함하며, 프로세서는, 발화 위치에 대한 정보 및 음성 데이터베이스를 이용하여 식별된 화자에 대한 정보를 표시하도록 디스플레이부를 제어할 수 있다. 이에, 사용자에게 대화 상대방에 대한 다양한 정보를 제공하여, 그 편의를 돕는다.
한편, 본 발명 일실시예에 따른 휴대장치의 제어방법은, 음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부 및 영상데이터를 수신하는 영상입력부가 마련된 보청장치로부터 음성신호 및 영상데이터를 수신하는 단계와; 수신된 음성신호의 발화 위치를 결정하는 단계와; 수신된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는 단계와; 발화 위치에 화자가 존재하는 것으로 결정되면 수신된 음성신호로부터 음성 데이터베이스를 이용하여 식별된 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 식별된 음성신호를 조정하는 단계와; 조정된 음성신호를 보청장치에 의해 출력되도록 휴대장치로부터 보청장치로 송신하는 단계를 포함할 수 있다. 이에 의해, 음성신호의 발화위치에 존재하는 화자를 대화의 상대방으로 보아, 그 상대방의 음성신호가 선택적으로 증폭되어 출력되므로, 보청장치 착용자가 상대방의 음성을 불편함 없이 청취하는데 보다 용이하다.
보청장치는 신체 착용형 장치이고, 영상입력부는 보청장치의 전면에 설치된 전면 카메라를 포함하며, 화자가 존재하는지 여부를 결정하는 단계는, 전면 카메라에 의해 보청장치 착용자의 전면에 대해 촬영된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정할 수 있다. 이에, 영상데이터로부터 사용자가 대화 중인지 여부를 결정하고, 대화 상대방을 특정하는데 활용할 수 있다.
영상입력부는 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며, 획득된 안구 정보를 이용하여 착용자가 화자를 응시하는지 여부를 결정하는 단계를 더 포함할 수 있다. 이에, 사용자가 상대방을 응시하는지 여부까지 확인할 수 있어, 보다 정확하게 대화 상대방을 특정할 수 있게 된다.
발화 위치를 결정하는 단계는, 음성신호가 복수의 마이크로폰에 도달하는 시간차, 복수의 마이크로폰 사이의 이격 거리 및 마이크로폰의 개수 중 적어도 하나를 이용하여 음성신호의 발화 위치를 추정할 수 있다. 이에, 음성신호의 발화 위치를 추정하는 다양한 알고리즘을 대화 상대방을 특정하는데 활용할 수 있다.
음성 데이터베이스에는 복수의 화자 및 복수의 화자에 대응하는 음성신호에 대한 정보가 저장되고, 음성 데이터베이스에 기초하여 수신된 음성신호로부터 화자의 음성신호를 식별 및 분리하는 단계를 더 포함하고, 음성신호를 조정하는 단계는, 분리된 화자의 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 조정할 수 있다. 이에, 대화에 필요한 음성이 선택적으로 조정되어, 난청인의 대화 집중도가 향상되는데 도움을 줄 수 있다.
수신된 음성신호에 대응하는 정보가 음성 데이터베이스에 존재하는지 여부를 결정하는 단계와; 정보가 존재하지 않는 것으로 결정되면 음성신호에 대한 정보를 데이터베이스에 저장하는 단계를 더 포함할 수 있다. 이에, 난청인의 주변인들에 대한 정보가 지속적으로 업데이트되어, 추후의 화자 인식에 다시 활용될 뿐 아니라 사용자 고유의 음성 데이터베이스를 구축할 수 있게 된다.
한편, 본 발명 일실시예에 따른 보청장치와 휴대장치를 포함하는 보청 시스템의 제어방법은, 복수의 마이크로폰으로부터 음성신호를 수신하는 단계와; 보청장치의 전면에 설치된 전면 카메라로부터 영상데이터를 수신하는 단계와; 수신된 음성신호의 발화 위치를 결정하는 단계와; 수신된 영상데이터를 이용하여 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는 단계와; 발화 위치에 화자가 존재하는 것으로 결정되면 수신된 음성신호로부터 음성 데이터베이스를 이용하여 식별된 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 식별된 음성신호를 조정하는 단계와; 조정된 음성신호를 보청장치에 의해 출력하는 단계를 포함할 수 있다. 이에 따라, 보청장치를 착용하고 상대방을 쳐다보는 것만으로도 대화의 상대방을 확인하고, 그 음성신호가 증폭되어 출력되므로, 시끄러운 환경에서도 대화의 집중도가 향상될 수 있다.
보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자의 안구 정보를 획득하는 후면 카메라로부터 착용자의 안구 정보를 획득하는 단계를 더 포함하며, 획득된 안구 정보를 이용하여 착용자가 화자를 응시하는지 여부를 결정하는 단계를 더 포함할 수 있다. 이에, 사용자가 상대방을 응시하는지 여부까지 활용하므로, 화자 인식의 정확도가 보다 향상된다.
보청장치에는 착용자의 적어도 하나의 시선이 통과하는 위치에 디스플레이부가 더 마련되며, 발화 위치에 대한 정보 및 음성 데이터베이스를 이용하여 식별된 화자에 대한 정보를 디스플레이부에 의해 표시하는 단계를 더 포함할 수 있다. 이에, 사용자에게 대화 상대방에 대한 다양한 정보를 제공하여, 그 편의를 돕는다.
본 발명의 실시예에 의하면, 보청장치는 복수의 마이크로폰을 통해 수신되는 음성신호 및 전면 카메라를 통해 수신되는 영상데이터를 이용하여 음성신호의 발화위치를 결정하고, 해당 발화위치에 존재하는 화자를 대화의 상대방으로 특정하여, 특정된 상대방의 음성신호를 선택적으로 증폭시켜 출력함으로써 난청인인 사용자가 어떤 환경에서도 대화 상대방의 음성을 불편함 없이 청취할 수 있게 된다.
또한, 후면 카메라를 통해 사용자가 발화위치의 화자를 응시하는지 여부까지 결정할 수 있도록 함으로써, 다수의 화자가 존재하는 시끄러운 환경에서도 대화의 상대방을 정확하게 특정할 수 있으며, 그에 따라 대화의 집중도가 보다 향상될 수 있다.
그에 따라, 보청장치를 착용하는 사용자가 상대방을 한번 쳐다보는 것만으로도 필요한 음성을 듣고 이해하는데 도움을 줄 수 있는 향상된 보청 시스템을 제공할 수 있다.
또한, 자주 대화하는 상대방들에 대해 저장된 음성 데이터베이스의 정보를 이용하므로 그 정확도가 향상될 뿐 아니라, 정보를 지속적으로 업데이트하는 과정을 통해 사용자 고유의 음성 데이터베이스를 구성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 보청 시스템의 일례를 도시한 도면이며,
도 2는 본 발명 일실시예에 따른 보청장치를 도시한 사시도이며,
도 3은 본 발명 일실시예에 따른 보청장치의 구성을 도시한 블록도이며,
도 4는 본 발명 일실시예에 따른 휴대장치의 구성을 도시한 블록도이며,
도 5는 본 발명 일실시예에 따라 스마트워치로 구현된 휴대장치를 도시한 사시도이며,
도 6과 도 7은 본 발명의 실시예에 따른 휴대장치에서 화자의 위치를 추정하는 방법을 설명하기 위한 도면이며,
도 8은 본 발명 일실시예에 따른 휴대장치에서 안구 정보를 이용하는 방식을 설명하기 위한 도면이며,
도 9는 본 발명 일실시예에 의한 보청 시스템의 제어방법을 도시한 흐름도이며,
도 10 내지 도 12는 도 9에 도시된 제어방법에 따라 보청장치 및 휴대장치를 이용하여 난청인이 상대방과 대화를 하는 과정을 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여기에서 설명하는 실시예들에 한정되지 않으며, 여러 가지 상이한 형태로 구현될 수 있다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
또한, 실시예에서 “포함하다” 또는 “가지다”와 같은 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재함을 지정하기 위한 것이며, 하나 이상의 다른 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재하거나 부가되는 가능성을 배제하는 것은 아니다.
명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
이하에서는 도면과 관련하여 본 발명을 명확하게 설명하기 위해서 본 발명의 구성과 직접적으로 관련되지 않은 부분은 설명을 생략할 수 있으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부여하기로 한다.
도 1은 본 발명의 일 실시예에 따른 보청 시스템(1)의 일례를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명 일 실시예의 보청 시스템(1)은 보청장치(hearing aid apparatus)(10) 및 보청장치(10)와 통신 가능하도록 제공되는 휴대장치(portable apparatus)(20)를 포함한다.
보청장치(10)는 외부로부터 아날로그 사운드(예를 들어, 음성신호)를 수신하고, 증폭된 사운드를 착용자에게 출력한다. 여기서, 증폭된 사운드는 난청인 즉, 보청장치(10) 착용자의 난청 주파수 영역의 레벨을 증가시킨 음성신호에 대응할 수 있다.
본 발명에 따른 일실시예에서 보청장치(10)는 사운드를 수신하는 음성입력부로서 마련된 마이크로폰과, 증폭된 사운드를 출력하는 음성출력부로서 마련된 이어폰을 포함하는 신체 착용형(즉, 웨어러블 장치(wearable device))으로 예를 들어, 난청인의 머리에 착용하는 머리 착용형, 도 1과 같은 안경형 등의 다양한 형태로 구현될 수 있다.
일실시예에서 보청장치(10)는 아날로그 신호를 디지털 신호로 변환하여 처리하고, 처리된 디지털 신호를 아날로그 신호로 변환하여 출력하는 디지털 보청장치로 구현될 수 있다.
다른 실시예에서 보청장치(10)는 아날로그 신호를 휴대장치(20)로 송신하고, 휴대장치(20)로부터 조정된 아날로그 신호를 수신하여 출력하도록 구현 가능하다. 이 경우, 난청 주파수 영역의 레벨 조정과 같은 신호 처리는 휴대장치(20)에서 수행될 수 있다.
본 발명에 따른 일실시예에서 휴대장치(20)는, 도 1에 도시된 바와 같이, 스마트폰(smart phone), 태블릿(tablet)과 같은 스마트 패드(smart pad), PDA(personal digital assistant, 개인 휴대용 정보 단말기) 등의 이동 가능한 다양한 디지털 기기로 구현 가능하다.
일실시예에서 휴대장치(20)는 스마트 워치(smart watch), 스마트 밴드(smart band) 등의 사용자의 신체에 착용 가능한 웨어러블 장치(디지털 액세서리, 스마트 액세서리, 또는 앱세서리(Appcessory) 라고도 한다)가 될 수 있다.
휴대장치(20)와 관련하여서는, 후술하는 도 4 및 5에서 보다 상세하게 설명하기로 한다.
도 2는 본 발명 일실시예에 따른 보청장치(100)를 도시한 사시도이다.
도 2에 도시된 바와 같이, 본 발명 일실시예에서 보청장치(100)는 안경과 같이 착용자가 신체에 착용할 수 있는 형태로 제공된다.
도 2에서는 착용 형태의 예로서 안경형으로 구현되는 것을 예로 들어 도시하였으나, 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 보청장치(100)는 음성신호를 수신하는 음성입력부(160), 증폭된 음성신호를 출력하는 음성출력부(170) 및 착용자 전면의 영상데이터를 수신하는 영상입력부(180)가 설치 가능한 다양한 형태로서 구현될 수 있다.
도 2를 참조하면, 음성입력부(160)는 복수의 마이크로폰(161, 162, 163)(이하, 마이크 라고도 한다)을 포함하며, 각 마이크로폰(161, 162, 163)은 소정 간격(d)을 두고 보청장치(100)에 설치된다.
음성출력부(170)는 보청장치(100) 착용자의 난청 주파수 영역의 레벨이 증가된 음성신호를 출력하며, 도 2와 같이 이어폰(171, 172)의 형태를 가질 수 있다.
영상입력부(180)는 보청장치(100) 착용자의 전면을 촬영하는 전면 카메라(181)를 포함한다. 전면 카메라(181)를 통해 획득된 영상데이터는 화자의 위치 결정에 이용할 수 있다.
일실시예에서 영상입력부(180)는 보청장치(100) 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자의 안구 정보를 획득하는 후면 카메라(182)를 더 포함할 수 있다. 후면 카메라(182)를 통해 획득된 영상데이터는 착용자가 음성을 발화환 화자를 응시하는지 여부를 결정하는데 활용될 수 있다.
한편, 본 발명 일실시예에 따른 보청장치(100)에는 착용자의 적어도 하나의 시선이 통화하는 위치에 마련되는 디스플레이부(140)가 더 마련될 수 있다. 디스플레이부(140)는, 도 2에 도시된 바와 같이, 후면카메라(182)가 설치되지 않은 눈의 위치에 대응하여 마련될 수 있다.
즉, 일실시예에서는 후면 카메라(182)가 착용자의 어느 하나의 시선이 통과하는 위치에 마련되는 경우, 디스플레이부(140)는 다른 하나의 시선이 통과하는 위치에 마련될 수 있다. 여기서, 다른 실시예로서 2개의 시선이 모두 통과하는 위치에 후면 카레라(182) 및/또는 디스플레이부(140)는 설치될 수도 있을 것이다.
또한, 보청장치(100)에는 통신부(120)가 마련되어, 휴대장치(200)와 통신이 가능하도록 구현될 수 있다. 통신부(120)는 다양한 통신모듈을 포함하며, 그 종류는 한정되지 않는다.
이하, 도 3을 참조하여, 보청장치(100)의 구성에 대해 보다 상세하게 설명하기로 한다.
도 3은 본 발명 일실시예에 따른 보청장치(100)의 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 보청장치(100)는 제어부(110), 통신부(120), 영상처리부(130), 디스플레이부(140), 사용자 입력부(150), 음성입력부(160), 음성출력부(170), 영상입력부(180), 저장부(190) 및 전원공급부(195)를 포함한다.
음성입력부(160)는 복수의 마이크로서, 제1마이크(161)와 제2마이크(162)를 포함한다. 일실시예에서 음성입력부(160)는 제3마이크(163)를 더 포함할 수 있다.
음성출력부(170)는 제1이어폰(171)과 제2이어폰(172)를 포함한다. 일실시예에서 음성출력부(170)는 제1이어폰(171)과 제2이어폰(172) 중 어느 하나만 포함할 수 있다.
영상입력부(180)는 전면카메라(181)를 포함한다. 일실시예에서 영상입력부(180)는 후면카메라(182)를 더 포함할 수 있다.
일실시예에서 보청장치(100)에는, 도 3에 도시된 바와 같이, 커넥터(175)와 방향센서(165)가 더 마련될 수 있다.
제어부(110)는 보청장치(100)의 전반적인 동작 및 보청장치(100)의 내부 구성요소들(120 내지 195) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원공급부(195)로부터 내부 구성요소들(120 내지 190)로의 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(110)는 저장부(190)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
본 발명의 실시예에서 제어부(110)는 프로세서(111), 롬(112) 및 램(113)을 포함한다. 프로세서(111)는 CPU(Central Processing Unit), AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 적어도 하나의 범용 프로세서를 포함하여, 예를 들어, 롬(112)에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 램(113)에 로드하여 실행함으로써 보청장치(100)의 다양한 동작들을 수행하도록 구현 가능하다.
프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 서브 프로세서(sub processor)를 포함할 수 있다. 서브 프로세서는 대기전원만 공급되고 보청장치(100)로서 동작하지 않는 대기모드(standby mode, 이하, 슬립모드(sleep mode) 라고도 한다)에서 동작하도록 마련된다.
상기와 같은 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
일 실시예에서 프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 예를 들어, 프로세서(111)는 코어(core, 도시되지 아니함) 및 GPU(도시되지 아니함)가 결합된 SoC(System On Chip)의 형태로 구현될 수 있다.
한편, 본 발명의 또 다른 실시예에서 제어부(110)는 휴대장치(200)에서 지원되는 특정 기능, 예를 들어, 메인 프로세서를 포함한 소정 구성에서의 오류 발생을 감지하는 기능을 수행하기 위한 프로그램과 해당 프로그램을 실행하는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩을 더 포함할 수 있다.
제어부(110)는 통신부(120), 영상처리부(130), 디스플레이부(140), 사용자 입력부(150), 음성입력부(160), 음성출력부(170), 커넥터(175), 영상입력부(180), 방향센서(165), 저장부(190) 및 전원공급부(195)를 제어할 수 있다.
통신부(120)는 휴대장치(200)와의 통신이 가능한 통신모듈을 포함한다. 예를 들어, 통신부(170)는 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 등의 무선 통신모듈 중 적어도 하나를 포함할 수 있다.
일실시예에서 통신부(120)는 자기장을 이용한 인체매질 통신을 지원하도록 마련될 수 있다.
통신부(120)는 음성입력부(160)를 통해 수신된 음성신호를 휴대장치(200)로 송신한다. 여기서, 송신되는 음성신호는 아날로그 신호이거나, 경우에 따라 디지털로 변환된 신호일 수 있다. 디지털로 변환된 신호가 송신되는 경우, 보청장치(100)에는 A/D 컨버터가 더 포함될 수 있다.
통신부(120)는 휴대장치(200)로부터 음성신호를 수신할 수 있다. 수신된 음성신호는 음성출력부(170)를 통해 보청장치(100)의 착용자에게 출력된다. 여기서, 수신된 음성신호는 보청장치(100) 착용자의 난청 주파수 레벨이 조정된 음성신호 및/또는 착용자의 대화의 상대방에 대응하도록 분리된 음성신호로서, 아날로그 신호이거나 경우에 따라 디지털로 변환된 신호일 수 있다. 디지털로 변환된 신호가 수신되는 경우, 보청장치(100)에는 D/A 컨버터가 더 포함될 수 있다.
영상처리부(130)는 디스플레이부(140)에 영상이 표시되도록 처리한다.
디스플레이부(140)는 영상처리부(130)에 의해 처리된 영상을 표시한다.
일실시예에서 디스플레이부(140)는, 도 2에 도시된 바와 같이, 보청장치(100)를 착용한 상태에서 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 착용자가 대화 중에 정보를 용이하게 확인할 수 있도록 제공될 수 있다.
일실시예에서 디스플레이부(140)는 사용자의 터치 입력이 수신 가능한 터치 스크린을 포함할 수 있다. 또한, 디스플레이부(140)는 투명 디스플레이로 구현될 수 있을 것이다.
일실시예에서 영상처리부(130)는 제어부(110)의 제어에 따라 보청장치(100)의 착용자에게 텍스트, 아이콘 등을 디스플레이부(140)에 표시하여 다양한 정보(예를 들어, 음성신호를 통해 유추된 화자의 위치 정보)를 제공하도록 영상 처리를 수행할 수 있으며, 표시되는 텍스트, 아이콘 등은 복수로 마련되어 저장부(190)에 미리 저장될 수 있다.
사용자 입력부(150)는 사용자 입력을 수신하며, 하나 또는 둘 이상의 버튼을 포함할 수 있다. 일실시예에서 사용자 입력부(150)는 보청장치(100)를 소정 위치에 설치되어 전원을 온/오프(ON/OFF)하는 전원 버튼을 포함할 수 있다.
일실시예에 따른 보청장치(100)에서 버튼은 물리적 버튼이 아니라 터치스크린을 포함하는 디스플레이부(140)에 마련된 터치 버튼으로 구현될 수 있다. 또한, 보청장치(100)에서 버튼은 터치스크린에 텍스트 또는 아이콘으로 표시될 수 있다.
음성입력부(160)는 복수의 마이크로폰(microphone)(161, 162, 163)을 포함하며, 제어부(110)는 각 마이크로폰(161, 162, 163)를 통해 화자로부터 발화된 음성에 대응하는 음성신호를 수집할 수 있다. 마이크로폰(161, 162, 163)은 제어부(110)의 제어에 따라, 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 각 마이크로폰(161, 162, 163)을 통해 수집된 음성신호는 화자의 위치(방향)를 추정하는데 이용된다.
음성출력부(170)는 증폭된 음성신호를 출력하는 이어폰(171, 172)를 포함한다. 여기서, 출력되는 음성신호는 보청장치(100) 착용자의 난청 주파수 영역의 레벨을 증가시킨 신호가 된다. 또한, 출력되는 음성신호는 노이즈가 제거된 음성신호가 된다.
일실시예에서 음성입력부(160)를 통해 수신된 음성신호 중 대화의 상대방으로 결정된 화자의 음성신호가 분리되어 음성출력부(170)를 통해 출력될 수 있다. 여기서, 대화의 상대방 결정 및 그에 대응하는 음성신호의 분리와 같은 일련의 음성신호 처리는 휴대장치(200)의 제어부(210)에 의해 수행될 수 있다.
커넥터(175)는 보청장치(100)와 외부 장치 또는 전원소스를 연결하기 위한 인터페이스로 이용될 수 있다. 일실시예에서 보청장치(100)는 커네터(175)를 통해 휴대장치(200)와 연결될 수 있다.
보청장치(100)는 커넥터(175)에 연결된 유선 케이블을 통해 전원소스로부터 전원이 입력되거나, 전원공급부(195)로서 마련되는 배터리를 충전할 수 있다.
영상입력부(180)는 보청장치(100)의 전면에 마련되어 제어부(110)의 제어에 따라 정지영상 또는 동영상을 촬영하는 전면카메라(181)를 포함한다. 전면카메라(181)를 통해 수신된 전면 영상데이터는 통신부(120)를 통해 휴대장치(200)로 송신될 수 있다. 휴대장치(200)의 제어부(210)는 보청장치(100)로부터 수신된 전면 영상데이터를 이용하여 보청장치(100) 착용자의 전면에 화자가 위치하는지 여부를 결정할 수 있으며, 전면에 화자가 위치하는 경우 대화중인 것으로 유추될 수 있다.
일실시예에서 영상입력부(180)는 사용자의 적어도 하나의 눈을 촬영하는 후면카메라(182)를 더 포함할 수 있다. 후면카메라(182)를 통해 수신된 후면 영상데이터는 통신부(120)를 통해 휴대장치(200)로 송신될 수 있다. 휴대장치(200)의 제어부(210)는 보청장치(100)로부터 수신된 후면 데이터를 이용하여 착용자 안구(동체)의 움직임 정보를 획득할 수 있다. 획득된 안구 정보는 착용자가 대화의 상대방 즉, 화자를 응시하는지 여부를 결정하는데 이용된다.
전면카메라(181)과 후면카메라(182)는 렌즈를 통해 투과된 영상을 감지하는 이미지 센서를 포함하며, 예를 들어 CCD/CMOS 이미지 센서로 구현 가능하다.
방향센서(165)는 보청장치(100)의 전면에 마련되어, 전면에 대화의 상대방으로 추정되는 화자의 유무를 감지할 수 있다. 일실시예에서 방향센서(165)는 전면에 존재하는 화자의 움직임(예를 들어, 좌 또는 우로의 위치 이동)을 더 감지할 수 있다. 방향센서(165)의 센싱값은 전면 영상데이터를 이용한 화자의 존재 여부의 판단 과정에 이용될 수 있다.
한편, 일실시예서 보청장치(100)는 자세변경을 포함하는 보청장치(100)의 움직임을 감지하는 모션 센서(예를 들어, 자이로 센서 또는 가속도 센서)를 더 포함할 수도 있을 것이다.
저장부(190)는 보청장치(100)의 제어를 위한 제어 프로그램, 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션 또는 관련된 GUI(graphical user interface), GUI를 제공하기 위한 텍스트 또는 이미지들, 이와 관련 데이터들을 저장할 수 있다.
전원공급부(195)는 보청장치(100)의 각 구성들(110 내지 190)에 전원을 공급한다. 전원공급부(195)는 보청장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)를 포함하며, 제어부(110)의 제어에 따라 각 구성들(110 내지 190)에 동작 전원을 공급할 수 있다. 또한, 전원공급부(195)는 제어부(110)의 제어에 따라 커넥터(175)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원이 보청장치(100)의 동작을 위한 전원으로 공급 즉, 충전되도록 할 수 있다.
이하, 도 4를 참조하여 휴대장치(200)의 구성에 대하여 설명한다.
도 4는 본 발명 일실시예에 따른 휴대장치(200)의 구성을 도시한 블록도이다.
본 실시예의 휴대장치(200)는 후술하는 통신부(230)를 이용하여 보청장치(100)를 포함하는 타 기기와 무선으로 연결되어, 음성신호와 영상데이터를 송/수신할 수 있다. 일 실시예에서 휴대장치(200)는 터치스크린(241)을 가지고, 통신부(230)를 통해 데이터를 송/수신 가능한 장치로서 정의된다.
일 실시예의 휴대장치(200)에서는, 물리적인 버튼(251), 터치스크린(241)에 표시되는 키패드, 사용자의 터치 입력이 가능한 별도의 입력장치(포인팅 디바이스)를 포함하는 사용자 입력부(250)를 정의할 수 있으며, 사용자 입력부(250)는 터치스크린(241)에 대한 사용자의 신체(예를 들어, 손가락)에 의한 터치를 수신할 수 있다. 사용자 입력부(250)는 터치 입력을 포함한 사용자의 입력에 따라, 기 설정된 다양한 제어 커맨드 또는 정보를 제어부(110)에 전달한다.
도 4에 도시된 바와 같이, 휴대장치(200)는 터치스크린(241)을 포함하는 디스플레이부(240)와, 터치스크린 컨트롤러(245)를 포함한다. 휴대장치(200)는 제어부(210), 통신부(220), 영상처리부(230), 디스플레이부(240), 사용자 입력부(250), 감지부(260), 영상입력부(280), 저장부(290) 및 전원공급부(295)를 포함한다.
통신부(220)는 무선랜 유닛(221) 및 근거리 통신부(222) 중 적어도 하나를 포함하고, 영상처리부(230)는 방송통신 유닛(231), 오디오재생 유닛(232) 및 동영상재생 유닛(233) 중 적어도 하나를 포함한다. 사용자 입력부(250)은 버튼(251), 마이크(252), 키패드(263) 및 입력장치(264) 중 적어도 하나를 포함한다. 감지부(270)는 근접센서(271), 조도센서(272) 및 자세센서(273) 중 적어도 하나를 포함한다. 영상입력부(280)는 제1카메라(281) 및 제2카메라(282) 중 적어도 하나를 포함한다.
일실시예에서 저장부(290)에는 음성 데이터베이스(291)(이하, 음성 DB 라고도 한다)가 마련될 수 있다. 또한, 본 발명 일실시예에 따른 휴대장치(200)는 이동통신부(225), 스피커(271), 진동모터(272), GPS 유닛(273), 커넥터(275) 중 적어도 하나를 더 포함할 수 있다.
제어부(210)는 적어도 하나의 프로세서(211), 휴대장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 212) 및 휴대장치(200)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 휴대장치(200)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 213)을 포함할 수 있다.
제어부(210)는 휴대장치(200)의 전반적인 동작 및 휴대장치(200)의 내부 구성요소들(220 내지 295) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원공급부(295)로부터 내부 구성요소들(220 내지 290)로의 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(210)는 저장부(290)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
일실시예에서 제어부(210)는 수행하는 다양한 동작에 대응하여 음성신호의 방향을 추정하는 방향분석 모듈, 영상데이터로부터 사람 형상을 인지하는 사람 인식 모듈, 입력된 사운드로부터 음성신호를 분리하기 위한 음성신호 판단 모듈, 음성신호로부터 소정 화자에 대응하는 신호를 분리하는 화자 분리 모듈, 음성 데이터베이스(291)를 이용하여 분리된 음성신호에 대응하는 화자를 판단하는 화자 인식 모듈, 후면 영상데이터를 처리하여 사용자의 안구를 추적하는 안구 추적 모듈, 입력된 사운드로부터 노이즈를 제거하는 노이즈 제거 모듈 중 적어도 하나를 포함할 수 있다. 상기의 모듈들 중 적어도 하나는 보청장치(100)의 제어부(110)에 포함될 수 있다.
프로세서(211)는 CPU(Central Processing Unit), AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 적어도 하나의 범용 프로세서를 포함하여, 예를 들어, 롬(212)에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 램(213)에 로드하여 실행함으로써 휴대장치(200)의 다양한 동작들을 수행하도록 구현 가능하다.
프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 서브 프로세서(sub processor)를 포함할 수 있다. 서브 프로세서는 대기전원만 공급되고 휴대장치(200)로서 동작하지 않는 대기모드(standby mode, 이하, 슬립모드(sleep mode) 라고도 한다)에서 동작하도록 마련된다.
상기와 같은 프로세서(211), 롬(212) 및 램(213)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
일 실시예에서 프로세서(211)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 예를 들어, 휴대장치(200)가 스마트폰, 스마트 패드 또는 스마트 TV로 구현되는 경우, 프로세서(211)는 코어(core, 도시되지 아니함) 및 GPU(도시되지 아니함)가 결합된 SoC(System On Chip)의 형태로 구현될 수 있다.
다른 실시예에서, 제어부(210)는 그래픽 처리를 위한 별도의 GPU를 더 포함할 수 있다.
한편, 본 발명의 또 다른 실시예에서 제어부(210)는 휴대장치(200)에서 지원되는 특정 기능, 예를 들어, 메인 프로세서를 포함한 소정 구성에서의 오류 발생을 감지하는 기능을 수행하기 위한 프로그램과 해당 프로그램을 실행하는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩을 더 포함할 수 있다.
제어부(210)는 통신부(220), 이동통신부(225), 영상처리부(230), 터치스크린(241)을 포함하는 디스플레이부(240), 터치스크린 컨트롤러(245), 사용자 입력부(250), 감지부(260), 스피커(271), 진동모터(272), GPS 유닛(273), 영상입력부(280), 저장부(290) 및 전원공급부(295)를 제어할 수 있다.
통신부(220)은 무선랜 유닛(221)과 근거리 통신부(222) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 유닛(221)만 포함하거나, 근거리 통신부(222)만 포함하거나 또는 무선랜 유닛(221)과 근거리 통신부(232)를 모두 포함할 수 있다.
무선랜 유닛(231)은 제어부(210)의 제어에 따라, AP(access point)(도시되지 아니함)가 설치된 장소에서 무선을 이용하여 AP(access point)와 연결될 수 있다. 무선랜 유닛(231)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 또한, 근거리 통신부(232)는 제어부(210)의 제어에 따라, AP(access point)없이 무선으로 타 기기 즉, 보청장치(100)를 포함하는 외부장치와 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 등의 근거리 통신모듈 중 적어도 하나를 포함할 수 있다.
일실시예에서 통신부(220)는 자기장을 이용한 인체매질 통신을 지원하도록 마련될 수 있다.
이동통신부(225)는 제어부(210)의 제어에 따라, 하나 또는 둘 이상의 안테나(도시되지 아니함)를 이용하여 이동 통신에 의해 외부장치 즉, 타 기기와 연결할 수 있다. 이동통신부(225)은 휴대장치(200)와 연결 가능한 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 또는 다른 휴대장치(단말장치)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신한다.
휴대장치(200)는 성능에 따라 이동통신부(225), 무선랜 유닛(221) 및 근거리 통신부(222) 중 적어도 하나를 포함할 수 있다. 예를 들어, 휴대장치(200)는 성능에 따라 이동통신부(225), 무선랜 유닛(221), 및 근거리 통신부(222)들의 2 이상의 조합을 포함할 수 있다.
본 발명의 실시예에 따른 통신부(220)는 제어부(210)의 제어에 의해 타 기기(예를 들어, 보청장치(100))와 연결되어, 데이터를 송/수신 할 수 있다. 이러한 데이터의 송/수신은 음성신호와 영상데이터의 송수신을 포함한다.
본 실시예에서 통신부라는 용어는 기본적으로 통신부(220)를 나타내지만, 경우에 따라 통신부(220)와 이동통신부(225)를 모두 포함하는 것으로 정의된다.
영상처리부(230)는 방송통신 유닛(231), 오디오 재생 유닛(232) 또는 동영상 재생 유닛(233)을 포함할 수 있다. 방송통신 유닛(231)은 제어부의 제어(210)에 따라, 방송통신 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부(210)는 수신된 방송 신호 및 방송부가 정보를 비디오 코덱 유닛(Codec unit) 및/또는 오디오 코덱 유닛을 이용하여 디스플레이부(240) 및/또는 스피커(271)에서 재생 가능하도록 처리할 수 있다.
오디오 재생 유닛(232)은 제어부(210)의 제어에 따라, 휴대장치(200)의 저장부(290)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 스피커(271)에서 재생 가능하도록 처리할 수 있다.
본 발명의 실시예의 오디오 재생 유닛(232)은 제어부(210)의 제어에 따라 터치스크린(241)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부(290)에 저장된 오디오 소스의 출력 등)을 오디오 코덱 유닛을 통해 재생할 수도 있다.
동영상 재생 유닛(233)은 제어부(210)의 제어에 따라 휴대장치(200)의 저장부(290)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 비디오 코덱 유닛을 이용하여 재생할 수 있다. 휴대장치(200)에 설치 가능한 대부분의 어플리케이션은 오디오 코덱 유닛 및/또는 비디오 코덱 유닛을 이용하여 오디오 소스 및/또는 동영상 파일을 재생할 수 있다.
본 발명의 실시예에 따라 동영상 재생 유닛(233)은 제어부(210)의 제어에 따라 터치스크린(241)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 시각 피드백(예를 들어, 저장부(290)에 저장된 동영상 소스의 출력 등)을 비디오 코덱 유닛을 통해 재생할 수 있다.
아울러, 많은 종류의 비디오 및 오디오 코덱 유닛이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
일실시예에서 영상처리부(230)는 휴대장치(200)의 성능 또는 구조에 대응하여 방송통신 유닛(231)을 제외하고 오디오재생 유닛(232)과 동영상재생 유닛(233)을 포함할 수 있다. 또한, 영상처리부(230)의 오디오재생 유닛(232) 및/또는 동영상재생 유닛(233)은 제어부(210)에 포함될 수 있다. 본 발명의 실시예에서 비디오 코덱 유닛 이라는 용어는 하나 또는 둘 이상의 비디오 코덱 유닛을 포함할 수 있다. 또한, 본 발명의 실시예에서 오디오 코덱 유닛 이라는 용어는 하나 또는 둘 이상의 오디오 코덱 유닛을 포함할 수 있다.
디스플레이부(240)는 영상처리부(230)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(240)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(240)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(240)가 액정 방식인 경우, 디스플레이부(240)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다.
일실시예에서 디스플레이부(240)는 사용자의 터치에 따른 입력이 수신되는 터치스크린(touch-screen)(241)을 포함할 수 있다. 터치스크린(241)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치스크린(241)은 사용자 인터페이스(UI)로서 디스플레이장치(100)의 메뉴항목을 포함하는 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 표시할 수 있다. 사용자는 터치스크린(241)에 표시된 오브젝트를 사용자의 신체(예를 들어, 손가락) 또는 스타일러스트와 같은 별도의 포인팅 디바이스(254)로 터치하여, 사용자 입력을 할 수 있다.
터치스크린(241)은 사용자에게 다양한 서비스(예를 들어, 통화, 데이터 전송, 방송, 사진촬영, 동영상, 또는 어플리케이션)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치스크린(241)은 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 제어부(110)로 전송한다.
일실시예에서 터치는 터치스크린(241)과 사용자의 신체 또는 터치가능한 포인팅 디바이스의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(241)과 사용자의 신체 또는 터치스크린(121)과 포인팅 디바이스와의 검출가능한 간격이 30 mm 이하의 호버링(hovering))을 포함할 수 있다. 터치 스크린(241)에서 검출가능한 비접촉 간격은 휴대장치(200)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 실시예에서 터치입력은 드래그(drag), 플릭(flick), 드래그 앤 드롭(drag & drop), 탭(tap), 롱 탭(long tap) 등을 포함한다.
사용자 입력부(250)는 하나 또는 둘 이상의 버튼(251), 마이크(252), 키패드(253) 및 입력장치(254) 중 적어도 하나를 포함할 수 있다.
버튼(251)은 전면의 하부에 마련되는 메뉴 버튼, 홈 버튼, 및 돌아가기 버튼(back button) 중 적어도 하나을 포함한다. 버튼(251)은 측면의 전원/잠금 버튼 및/또는 볼륨 버튼을 포함할 수 있다. 여기서, 휴대장치(200)에서 버튼(251)은 물리적 버튼이 아니라 터치스크린(241)에 마련된 터치 버튼으로 구현될 수 있다. 또한, 휴대장치(200)에서 버튼(251)은 터치스크린(241)내에 텍스트 또는 아이콘으로 표시될 수 있다.
일실시예에서 휴대장치(200)의 사용자 입력부(250)는 터치스크린(241)에 표시된 컨텐츠에 대한 인터랙션 즉, 터치 또는 터치 제스처(gesture)에 따른 사용자 입력을 수신할 수 있다.
마이크(microphone)(252)는 제어부(210)의 제어에 따라, 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 마이크(252)에서 생성된 전기적인 신호는 오디오 코덱 유닛에서 변환되어 저장부(290)에 저장되거나 또는 스피커(271)를 통해 출력될 수 있다. 마이크(252)는 휴대장치(200)의 전면, 측면 및 후면에 하나 또는 둘 이상 위치할 수 있다.
키패드(253)는 휴대장치(200)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(253)는 휴대장치(200)에 전면에 형성되는 물리적인 키패드(도시되지 아니함), 터치스크린(241)내에 표시되는 가상 키패드(도시되지 아니함) 및 유선 또는 무선으로 연결가능한 외부 키패드(예를 들어, 키보드 도크(keyboard dock)(도시되지 아니함) 중 적어도 하나를 포함한다. 키패드(253)가 외부 키패드인 경우, 사용자의 키 입력 신호는 통신부(120) 또는 커넥터(275)를 통해 수신될 수 있다.
휴대장치(200)의 전면에 형성되는 물리적인 키패드는 휴대장치(200)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
입력장치(254)는 휴대장치(200)의 터치스크린(241)에 표시되는 화면에 표시되는 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축 아이콘)를 터치하거나 선택할 수 있다. 입력장치(254)는 휴대장치(200)의 터치스크린(241)에 표시되는 오브젝트로서 컨텐츠(content)를 터치하거나 선택할 수 있다. 본 실시예에서, 컨텐츠는 휴대장치(200)에 설치된 어플리케이션, 카메라(261, 262)를 통해 촬영된 영상 데이터, 저장부(190)에 저장된 미디어 데이터, 문서나 연락처 등의 텍스트 데이터 등의 타 기기와 송수신이 가능한 다양한 데이터를 모두 포함한다.
입력장치(254)는 예를 들어, 정전 용량 방식, 저항방식 및 전자기 유도(electromagnetic induction) 방식의 터치스크린을 터치하거나 가상 키보드를 이용하여 문자 등을 입력할 수 있다. 입력장치(254)는 예를 들어 포인팅 디바이스, 스타일러스, 휴대장치(200)의 통신부(220)로부터 수신된 제어 정보를 이용하여 내장된 펜 진동 소자(예를 들어, 진동 모터 또는 액추에이터(actuator))가 진동하는 햅틱 펜(haptic pen) 등을 포함할 수 있다. 또한, 휴대장치(200)에서부터 수신되는 제어 정보가 아니라 입력장치(254)에 내장된 센서(예를 들어, 가속도 센서, 도시되지 아니함)에서 검출된 센싱 정보를 이용하여 진동 소자가 진동할 수 있다. 입력장치(254)는 휴대장치(200)의 삽입구에 삽입 가능하게 마련될 수 있으며, 휴대장치(200)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
감지부(260)는 휴대장치(200)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 감지부(260)는 사용자의 휴대장치(200)의 전면 상부 일측에 위치하고, 휴대장치(200)에 대한 접근여부를 검출하는 근접 센서(261), 휴대장치(200) 주변의 빛의 양을 검출하는 조도 센서(262), 휴대장치(200)의 자세 및 방향을 검출하는 자세 센서(263), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter) 중 적어도 하나를 포함할 수 있다. 자세 센서(263)는 회전관성을 이용하는 자이로 센서, 휴대장치(200)에 가해지는 3축(예를 들어, x축, y축, z축)의 기울기를 검출하는 가속도 센서 등을 포함할 수 있다.
감지부(260)은 휴대장치의 운동 가속도와 중력 가속도가 더해진 가속도를 측정가능하며, 휴대장치(260)가 움직이지 않는 경우, 중력 가속도만을 측정할 수 있다. 예를 들어, 휴대장치(200)의 전면이 위로 향하는 경우, 중력 가속도는 양(+)방향이고, 휴대장치(200)의 후면이 위로 향하는 경우, 중력가속도는 음(-)의 방향일 수 있다.
감지부(260)에 포함되는 적어도 하나의 센서는 휴대장치(200)의 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(210)로 전송한다.
감지부(260)의 센서는 휴대장치(200)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
스피커(271)는 제어부(210)의 제어에 따라 오디오 코덱 유닛을 이용하여 통신부(220), 이동통신부(225), 영상처리부(230) 또는 영상입력부(280)의 다양한 신호(예를 들어, 무선신호, 방송신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대장치(200) 외부로 출력할 수 있다.
스피커(271)는 휴대장치(200)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 사진촬영 버튼 조작음 등)를 출력할 수 있다. 휴대장치(200)의 전면, 측면 및 후면에 적어도 하나의 스피커(271)가 위치할 수 있다.
본 발명의 일실시예에서, 스피커(271)는 제어부(210)의 제어에 따라 터치스크린(241)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백을 출력할 수 있다.
진동 모터(272)는 제어부(210)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모터(272)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 다른 휴대장치에서부터 음성통화 요청이 수신되는 경우, 제어부(210)의 제어에 따라 진동 모드인 휴대장치(200)의 진동모터(266)가 동작한다. 진동모터(266)는 휴대장치(200)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동모터(266)는 휴대장치(200) 전체를 진동되게 하거나 또는 휴대장치(200)의 일부분만 진동되게 할 수 있다.
GPS 유닛(273)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 휴대장치(200)에 수신가능한 GPS위성(도시되지 아니함)의 정확한 위치 정보와 시간 정보)를 수신한다. 휴대장치(200)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 휴대장치(200)의 위치, 속도 및/또는 시간을 알 수 있다.
커넥터(275)는 휴대장치(200)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(210)의 제어에 따라, 휴대장치(200)는 커넥터(275)에 연결된 유선 케이블을 통해 저장부(290)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치로부터 데이터를 수신할 수 있다. 휴대장치(200)는 커넥터(275)에 연결된 유선 케이블을 통해 전원소스에서부터 전원이 입력되거나 전원공급부(295)로서 마련되는 배터리를 충전할 수 있다. 또한, 휴대장치(200)는 커넥터(275)를 통해 외부의 액세서리(예를 들어, 포토 프린터, 도시되지 아니함)와 연결될 수 있다.
영상입력부(280)는 제어부(210)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 전면의 제1카메라(281) 및 후면의 제2카메라(282) 중 적어도 하나를 포함할 수 있다. 영상입력부(280)는 제1카메라(281)와 제2카메라(282) 중 하나 또는 양자를 모두 포함할 수 있다. 또한, 영상 입력부(280)는 제1카메라(281) 또는 제2카메라(282)의 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(283))을 더 포함할 수 있다.
저장부(290)는 제어부(210)의 제어에 따라 통신부(220), 이동통신부(225), 영상처리부(230), 디스플레이부(240), 사용자 입력부(250), 감지부(260), 스피커(271), 진동 모터(272), GPS 유닛(273), 커넥터(275) 및/또는 영상입력부(280)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(290)는 휴대장치(200)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터 베이스들 또는 관련 데이터들을 저장할 수 있다.
일실시예에서 휴대장치(200)에는 보청장치(100)와의 연동을 위한 어플리케이션이 설치될 수 있으며, 해당 어플리케이션 및 관련 데이터가 저장부(290)에 저장된다.
일실시예에서 저장부(290)는 터치 및/또는 터치의 연속적인 움직임에 대응되는 터치 정보(예를 들어, 검출된 터치 위치의 X와 Y좌표, 터치 검출 시간 등)를 저장할 수 있다. 저장부(290)는 터치의 연속적인 움직임의 종류(예를 들어, 플릭, 드래그 또는 드래그 앤 드롭)도 저장할 수 있으며, 제어부(210)는 입력된 사용자 터치를 저장부(290)의 정보와 비교하여, 터치의 종류를 식별할 수 있다. 저장부(290)는 입력되는 터치 또는 터치 제스처에 대응되어 디스플레이부(290)에 출력되는 사용자가 인지가능한 시각 피드백(예를 들어, 비디오 소스 등), 스피커(271)에서 출력되는 사용자가 인지가능한 청각 피드백(예를 들어, 사운드 소스 등) 및 진동 모터(272)에서 출력되는 사용자가 인지가능한 촉각 피드백(예를 들어, 햅틱 패턴 등)을 더 저장할 수 있다.
본 발명 일실시예에 따른 저장부(290)에는 음성 데이터베이스(291)가 마련된다. 음성 데이터베이스(291)에는 보청장치(100)의 사용자 즉, 난청인인 착용자의 난청 주파수 대역에 대한 정보가 저장될 수 있다.
음성 데이터베이스(291)는 복수의 화자 별로 대응되는 정보를 저장할 수 있다. 음성 데이터베이스(291)에 정보가 저장되는 복수의 화자는 보청장치(100) 착용자가 주로 대화를 나누는 가족, 친구 등 주변인들을 포함하며, 저장되는 정보는 각 화자 별 음성신호의 정보(예를 들어, 주파수 대역, 톤(tone), 빠르기(tempo) 등)와 사용자 정보(예를 들어, 영상, 성별, 연령, 이름 등)가 저장될 수 있다. 여기서, 사용자 정보는 사용자 입력부(250)를 통해 입력되거나, 통신부(220)를 통해 외부로부터 수신될 수 있다. 또한, 영상은 영상입력부(280)를 통해 촬영된 영상일 수 있다.
음성 데이터베이스(291)에 저장되는 정보는 수신된 음성신호에 대응하는 화자를 식별하는데 이용되며, 새로운 화자의 정보가 추가되는 방시기으로 업데이트 된다. 즉, 수신된 음성신호에 대응하는 화자 정보가 음성 데이터베이스(291)에 존재하지 않는 경우, 제어부(210)는 해당 음성신호에 대한 정보를 음성 데이터베이스(291)에 업데이트 즉, 저장할 수 있다.
제어부(210)는 정보 저장 과정에서 화자에 대한 정보를 입력하도록 요청할 수 있다. 즉, 제어부(210)는 휴대장치(200) 사용자 즉, 보청장치(100) 착용자에게 해당 화자에 대한 정보를 입력하도록 요청하는 UI를 디스플레이부(240)에 표시할 수 있으며, 착용자는 표시된 UI에 대응하여 사용자 입력부(250)를 이용하여 화자에 대한 정보(예를 들어, 이름, 성별, 관계(가족 또는 친구 등))를 입력할 수 있다. 제어부(110)는 사용자의 조작에 응답하여 영상입력부(280)를 통해 촬영된 영상 또는 저장부(290)에 기저장된 영상을 특정 화자에 대응시켜 음성 데이터베이스(291)에 저장하도록 할 수 있다.
일실시예에서 음성 데이터베이스(291)에는 음성입력부(160)로부터 수신되는 음성신호에 대한 주파수 영역에 대한 정보뿐 아니라, ITD(Interaural Time Difference), ILD(Interaural Level Difference), 음성의 DoA(direction of arrival)와 관련된 정보가 더 저장될 수 있다.
본 발명의 일실시예에서 보청장치(100)와 휴대장치(200)는 동일한 사용자 계정을 가지도록 한다. 즉, 보청장치(100)의 착용자는 보청장치(100)의 제어를 위한 어플리케이션을 휴대장치(200)에 다운로드 하여 설치하고, 자신의 사용자 계정을 이용하여 해당 어플리케이션에 로그인할 수 있다.
도 4에 도시된 본 발명 실시예에서는 음성 데이터베이스(291)가 휴대장치(200)에 마련된 경우를 예로 들어 도시하고 있지만, 본 발명은 음성 데이터베이스를 보청장치(100)에 마련하거나, 보청장치(100) 및/또는 휴대장치(200)와 통신 가능한 외부장치(예를 들어, 클라우드 서버)에 마련되도록 구현될 수 있다. 클라우드 서버는 로그인된 사용자 계정에 대응하는 등록된 사용자 즉, 보청장치(100)의 착용자에 대한 정보 및 대화의 상대방이 될 수 있는 복수의 화자에 대한 정보를 저장할 수 있다.
본 발명 일실시예에서 휴대장치(200)는 신체 착용 가능한 웨어러블 기기 예를 들어, 스마트워치로 구현될 수 있다. 도 5는 본 발명 일실시예에 따라 스마트워치로 구현된 휴대장치(200)를 도시한 사시도이다.
본 발명 일실시예에 따른 휴대장치(200)의 제어부(210)는 통신부(220)에 의해 보청장치(100)로부터 음성신호가 수신되면, 수신된 음성신호의 발화 위치(음원의 위치)로서 방향을 결정할 수 있다. 이 과정에서 TDOA(time difference of arrival), Delay-and-sum beam forming 과 같은 위치 추적 알고리즘이 사용될 수 있다.
도 6과 도 7은 본 발명의 실시예에 따른 휴대장치(200)에서 화자의 위치를 추정하는 방법을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 보청장치(100)에는 지향성 마이크(directional microphone)로 동작되는 복수의 마이크(161, 162)를 포함하는 마이크 어레이(microphone array)가 음성입력부(160)로서 마련된다.
도 6은 각 마이크(161, 162)에 도달되는 음파의 시간차를 이용하는 TDOA 알고리즘을 사용하는 경우를 예로 들어 도시한 것이다.
도 6을 참조하면, 특정 포인트에 위치한 음원(source) 즉, 화자로부터 발생한 소리(음성)가 두 개의 마이크(161, 162)에 평면적으로 입력된다고 가정한다. 여기서, 음원 즉, 화자와의 거리가 좀 더 가까운 제1마이크(161)에 소리(음파)가 먼저 도달하게 되고 제2마이크(162)에는 도착 지연 시간만큼 늦게 도착하게 된다.
음원의 방향은 두 개의 마이크(161, 162)와 음원 간의 각도를 계산함으로써 알아낼 수 있다. 음원으로부터 제1마이크(161)까지의 음파진행거리와 음원으로부터 제2마이크(162)까지의 음파진행거리의 차(ΔS)는 다음의 수학식 1과 같이 표현될 수 있다.
Figure PCTKR2016006383-appb-M000001
여기서, τ는 도착 지연시간(시간 상수), v는 음파의 속도, d는 제1마이크(161) 및 제2 마이크(162) 간의 이격 거리를 각각 나타낸다.
그에 따라, 다음의 수학식 2가 성립한다.
Figure PCTKR2016006383-appb-M000002
따라서, 수학식 2를 이용하여 음원의 방향 즉, 화자의 위치를 추정할 수 있게 된다.
도 6에서 설명한 기본적인 원리를 3차원 공간 상에 적용하여 마이크 어레이에 포함된 마이크의 수를 늘리게 되면 3차원 공간에도 적용할 수 있다. 또한, 충분한 마이크의 수가 확보되게 되면, 3차원 공간 상에서의 음원의 방향만이 아니라 음원의 위치(즉, 음원까지의 거리)까지 추정할 수 있게 된다.
도 7은 Delay-and-sum beam forming 알고리즘을 이용하는 경우를 예로 들어 도시한 것이다.
예를 들어, 도 7에 도시된 바와 같이, 보청장치(100)에 4개의 마이크(161, 162, 163, 164) 를 포함하는 마이크 어레이가 음성입력부(160)로서 마련되고, 3차원 공간에서의 임의의 위치에 대응하는 음원에서 음파가 발생했다고 가정하면, 그 출력신호(output)는 수학식 3으로 표현될 수 있다.
Figure PCTKR2016006383-appb-M000003
여기서, l은 마이크 사이의 거리(미터), f는 주파수(frequency), θ는 음파가 도착하는 마이크와의 각도, c는 음파의 속도(예를 들어, 343m/s), N은 마이크의 개수를 각각 나타낸다.
따라서, 도 6에서와 같이 각 마이크(161, 162, 163, 164)를 통해 수신되는 음성신호를 수학식 3에 적용하여 음원 즉, 화자의 방향(위치)을 추정할 수 있게 된다.
휴대장치(200)의 제어부(210)는 보청장치(100)의 영상입력부(180)에 의해 촬영된 영상데이터를 이용하여 추정된 음성신호의 발화 위치(음원의 위치)에 대화의 상대방이 존재하는지 여부를 결정할 수 있다. 여기서, 발화 위치는 착용자의 오른쪽(Right), 왼쪽(Left), 위(Up), 아래(Down), 가운데(Center), 왼쪽 위(Left Up), 오른쪽 위(Right Up), 왼쪽 아래(Left Down), 오른쪽 아래(Right Down) 등으로 구분될 수 있다. 이러한 발화위치의 구분은 예를 들어 설명한 것으로, 경우에 따라 오른쪽(Right), 왼쪽(Left), 위(Up), 아래(Down)로 보다 단순화 되거나, 좀더 상세하게 구분할 수도 있을 것이다.
상기와 같이 구분된 발화위치 정보는 저장부(190)에 일종의 매칭 데이블로서 미리 저장될 수 있다. 일실시예에서는 음성 데이터베이스(291)가 매칭 테이블을 포함할 수 있다.
여기서, 영상데이터는 전면 카메라(181)에 의해 촬영된 착용자 전면 영상데이터를 포함하며, 제어부(210)는 전면 영상데이터가 추정된 발화 위치에 사람 형상을 포함하는 경우, 발화 위치에 화자가 존재하는 것으로 결정할 수 있다.
일실시예에서, 영상입력부(180)가 착용자의 눈 부위를 촬영하는 후면 카메라(182)를 더 포함하는 경우, 제어부(210)는 후면 영상데이터의 안구 정보를 이용하여 착용자가 해당 화자를 응시하는지 여부를 결정할 수 있다.
도 8은 본 발명 일실시예에 따른 휴대장치(200)에서 안구 정보를 이용하는 방식을 설명하기 위한 도면이다.
일실시예에서 안구 정보는 도 8과 같이 안구방향 정보로서, 안구 외측의 상하좌우 길이(L1 내지 L8)를 이용하여 결정될 수 있다. 이를 위해 저장부(290) 내에 마련되는 매칭 테이블에는 L1 내지 L8 각각에 의해 정의된 안구방향이 매칭되어 저장될 수 있다. 예를 들어, L1과 L5가 기준보다 길고, L2와 L6가 기준보다 짧으며, L3, L4, L7, L8가 기준범위 내에 존재하면, 안구방향이 오른쪽(Right)으로 매칭된다. 같은 방식으로, L1과 L5가 기준보다 짧고, L2와 L6가 기준보다 길으며, L3와 L7가 기준보다 길고, L4와 L8가 기준보다 짧으면, 안구방향이 왼쪽 아래(Left Down)으로 매칭된다.
제어부(210)는 보청장치(100)의 후면 카메라(182)를 통해 후면 영상데이터로부터 L1 내지 L8의 값을 획득한다. 제어부(210)는 획득된 L1 내지 L8에 매칭된 안구방향을 매칭 테이블로부터 로드하여, 해당 사용자(보청장치의 착용자)의 안구방향을 결정한다.
다른 실시예에서, 안구방향의 추적은 보청장치(100)의 제어부(110)에 의해 수행될 수도 있을 것이다.
상기와 같은 본 발명 실시예에서는 L1 내지 L8의 길이를 이용하여 사용자의 안구 방향을 결정하는 경우를 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않으며, 안구방향을 추적(eye tracking)하도록 알려진 다양한 알고리즘을 이용할 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명 일실시예에서는, 휴대장치(200)의 제어부(210)가 수신된 음성신호로부터 노이즈를 제거할 수 있다. 노이즈 제거를 위해서는 음성신호와 주변 노이즈 신호를 분리하는 방식을 포함한 다양한 노이즈 제거 알고리즘이 사용될 수 있다.
다른 실시예에서는, 보청장치(100)의 제어부(110)에 의해 노이즈 제거가 수행될 수 있다. 이 경우, 음성신호로부터 노이즈 신호가 제거된 신호가 통신부(120)를 통해 휴대장치(200)로 송신되게 된다.
본 발명 실시예에 따른 휴대장치(200)는 보청장치(100)를 통해 수신된 음성신호 및 영상데이터를 이용하여, 보청장치(100)의 착용자(청자)가 대화 중인 상대방 즉, 화자의 음성신호를 선택적으로 증폭하여 출력함으로써, 청자가 혼란 없이 대화의 상대방에게 집중할 수 있도록 한다.
본 발명 일 실시예에서 보청장치(100) 및/또는 휴대장치(200)에는 하드웨어 구성인 적어도 하나의 프로세서(110, 210)에 의해 구동되는 소프트웨어 구성인 난청 사용자를 위해 제공되는 어플리케이션이 설치될 수 있다. 즉, 이하에서 설명하는 동작들은 제어부(100, 200)에 마련된 프로세서(110, 210)에 의해 구동되는 소프트웨어의 실행에 따라 이루어지는 것으로도 볼 수 있다.
그에 따라, 제어부(100, 200)는 다수의 하드웨어 또는 소프트웨어 모듈을 포함할 수 있으며, 각 모듈은 그 수행하는 동작에 따라 음성의 방향분석 모듈, 사람 인식 모듈, 음성신호 판단 모듈, 화자 분리 모듈, 화자 인식 모듈, 안구 추적 모듈, 노이즈 제거 모듈 등을 포함할 수 있으며, 본 실시예에서는 각 모듈에서 수행되는 동작들을 제어부(100, 200)에 의해서도 수행되는 것으로 정의하기로 한다.
이하, 관련된 실시예를 도 9 내지 도 12를 참조하여 보다 상세하게 설명하기로 한다.
이하, 본 발명의 실시예들에 따른 보청장치(100)와 휴대장치(100)를 포함하는 보청 시스템(1)에서의 제어방법에 관해 도면을 참조하여 설명한다.
도 9는 본 발명 일실시예에 의한 보청 시스템(1)의 제어방법을 도시한 흐름도이며, 도 10 내지 도 12는 도 9에 도시된 제어방법에 따라 보청장치(100) 및 휴대장치(200)를 이용하여 난청인이 상대방과 대화를 하는 과정을 설명하기 위한 도면이다.
도 9 내지 도 12에서 설명하는 실시예에 따르면, 난청인인 사용자(301)는 보청장치(100)를 착용하고 상대방(302)을 포함한 다수의 사람들과 대화를 나눌 수 있다. 본 실시예는 이 과정에서 사용자(301)가 대화중인지 여부를 결정하고, 음성신호의 발화위치에 화자가 존재하는지 여부 및/또는 사용자(301)를 응시하는지 여부에 기반하여 해당 화자를 대화의 상대방(302)으로 결정할 수 있으며, 그에 대응하여 동작을 수행함으로써 난청인인 사용자(301)가 다수의 사람들 중 현재 대화의 당사자인 상대방(302)의 음성에 집중하고, 상대방을 제외한 사람들의 음성을 증폭 대상에서 배제할 수 있도록 한다.
도 9 및 도 10에 도시된 바와 같이, 사용자가 보청장치(100)를 착용하고, 보청장치(100) 및 휴대장치(200)의 전원이 온(ON)된 상태에서 임의의 화자로부터 발화된 음성신호와 영상데이터가 수신될 수 있다(S902).
여기서, 음성신호는 보청장치(100)의 음성입력부(160)로서 마련되는 복수의 마이크로폰(161, 162, 163)을 통해 수신되며, 영상데이터는 보청장치(100)의 영상입력부(180)로서 마련되는 전면카메라(181)에 의해 수신될 수 있다. 여기서, 보청장치(100)가 후면카메라(182)를 더 포함하는 경우, 전면카메라(181)에 의해 촬영되는 전면 영상데이터뿐 아니라, 후면카메라(182)에 의해 후면 영상데이터가 더 수신되며, 후면 영상데이터는 사용자의 안구 정보 즉, 안구방향 정보를 포함할 수 있다.
일실시예에서 단계 S902에서 수신된 음성신호와 영상데이터는 보청장치(100)의 통신부(120)를 통해 휴대장치(200)로 송신된다. 또한, 단계 S902에서는 음성신호를 포함하여 다양한 소리가 수신될 수 있으며, 제어부(210)는 음성 데이터베이스(291)를 이용하여 수신된 소리로부터 음성신호를 선택적으로 추출할 수 있다.
휴대장치(200)는 통신부(220)를 통해 단계 S902에서 송신된 음성신호 및 영상데이터를 수신하며, 제어부(210)는 수신된 영상데이터(전면 영상데이터)를 이용하여 사용자 즉, 보청장치(100)의 착용자가 대화 중인지 여부를 결정하게 된다(S904). 제어부(210)는, 예를 들어, 전면 영상데이터에서 사람 형상을 인식하여, 영상데이터에 사람이 포함되는 경우 대화 중인 것으로 결정할 수 있다.
여기서, 단계 S904에서 사용자가 대화 중이 아닌 것으로 결정되면, 후술하는 단계 S922으로 진행하여, 음성신호의 난청 주파수 영역의 레벨을 증폭하여 음성출력부(170)를 통해 출력될 수 있으며, 이 과정에서 음성신호로부터 노이즈 제거가 수행될 수 있다.
제어부(210)는 단계 S902에서 수신된 음성신호의 발화 위치 예를 들어, 음파의 방향을 결정할 수 있다(S906). 이 과정에서 도 6 또는 도 7에서 설명한 위치추정 알고리즘이 사용될 수 있다. 단계 S906에서의 결정되는 발화 위치는 사용자의 오른쪽(Right), 왼쪽(Left), 위(Up), 아래(Down), 가운데(Center), 왼쪽 위(Left Up), 오른쪽 위(Right Up), 왼쪽 아래(Left Down), 오른쪽 아래(Right Down) 중 어느 하나에 대응할 수 있다.
제어부(210)는 전면 영상데이터를 이용하여 단계 S906에서 결정된 발화 위치에 화자가 존재하는지 여부를 판단할 수 있다(S908). 구체적으로, 단계 S906에서 발화 위치가 결정되면, 전면 영상데이터의 해당 위치에 사람 형상이 촬영된 경우 발화위치에 화자가 존재하는 것으로 결정될 수 있다. 여기서, 제어부(210)는 발화 위치와 영상데이터를 이용하여 추정된 화자 위치가 일치 또는 그 오차가 소정 기준범위 이내에 존재하는 경우 발화위치에 화자가 존재하는 것으로 결정할 수 있다.
일실시예에서, 단계 S908의 결정 과정에서 방향센서(165)의 센싱값이 더 이용될 수 있다. 예를 들어 제어부(210)는 방향센서(165)의 센싱값을 활용하여 대화의 상대방으로 추정되는 사람 형상에 대응되는 방향을 계산 및 계산 결과를 이용할 수 있다. 방향센서(165)의 센싱값은 통신부(120)를 통해 휴대장치(200)로 전송된다.
제어부(210)는 후면 영상데이터를 이용하여 보청장치(100) 착용자인 사용자의 안구방향을 결정하고, 결정된 안구방향에 기초하여 사용자가 화자를 응사하는지 여부를 더 판단할 수 있다(S910). 이 과정에서 도 8에서 설명한 안구 추적 알고리즘이 이용될 수 있다. 즉, 제어부(210)는 단계 S906에서 결정된 발화위치가 단계 S910에서 결정된 안구방향과 일치하는 경우, 사용자가 화자를 응시하는 것으로 판단할 수 있다.
단계 S908과 단계 S910에서 음성신호의 발화위치에 화자가 존재 및 사용자가 화자를 응시하는 것으로 결정되면, 제어부(210)는 화자를 대화 상대방으로 결정한다(S910).
제어부(210)는 대화 상대방으로 결정된 화자의 정보가 음성 데이터베이스(291)에 존재하는지 여부를 결정할 수 있다(S914). 이 과정에서 제어부(210)는 음성 데이터베이스(291)에 저장된 화자의 정보(예를 들어, 주파수 대역, 톤(tone), 빠르기(tempo) 등)를 이용하여, 특정 화자에 대응하는 음성신호를 분리하고, 분리된 음성신호로부터 노이즈를 제거하는 등의 일련의 음성신호 처리 프로세스를 수행할 수 있다. 음성신호 처리 프로세스는 입력된 사운드로부터 음성신호를 분리하는 과정을 더 포함할 수 있다.
그리고, 제어부(210)는 단계 S914에서 화자의 정보가 음성 데이터베이스(291)에 존재하는 것으로 결정되면, 음성 데이터베이스(291)를 이용하여 수신된 음성신호에 대응하는 화자를 결정한다(S916). 여기서, 제어부(210)는 화자의 이름, 성별, 사용자와의 관계 등을 결정할 수 있다.
단계 S914에서 화자의 정보가 음성 데이터베이스(291)에 존재하지 않는 것으로 결정되면, 수신된 음성신호에 대응하는 화자의 정보가 음성 데이터베이스(291)가 저장될 수 있다(S918). 여기서, 전면 카메라(181)를 통해 촬영된 영상데이터, 사용자 입력부(250)에 의해 입력될 수 있는 화자에 대한 정보(예를 들어, 이름, 성별, 사용자와의 관계 등)가 음성신호와 매칭되어 저장될 수 있을 것이다.
일실시예에서 단계 S908에서 발화위치에 화자가 존재하지 않거나, 단계 S910에서 착용자가 화자를 응시하지 않도록 결정된 경우에도, 단계 S914 내지 S918의 과정이 수행될 수 있다.
상기와 같은, 단계 S904 내지 단계 S916에 따른 결과가, 도 11 또는 도 12와 같이, 보청장치(100)의 디스플레이부(140)에 의해 표시될 수 있다(S920). 이를 위해, 제어부(210)는 단계 S904 내지 단계 S916에서의 판단결과를 통신부(220)을 통해 보청장치(100)로 송신한다. 보청장치(100)의 제어부(110)는 통신부(120)를 통해 이 결과를 수신하고, 그에 대응하는 영상을 표시하도록 영상처리부(130)를 제어할 수 있다.
예를 들어, 단계 S904에서 보청장치(100)의 착용자 즉, 사용자가 대화 중인 것으로 결정되면, 도 11과 같이 대화모드를 나타내는 텍스트(401)가 디스플레이부(140)에 표시될 수 있다. 또한, 단계 S906에서 결정된 발화위치에 대응하여 그 위치에 소정 아이콘(402)이 디스플레이부(140)에 표시될 수 있다. 도 11은 발화위치가 정면 가운데(Center)인 경우를 예로 들어 도시한 것이다.
다른 실시예로서, 도 12와 같이 단계 S916에서 결정된 화자의 정보가 디스플레이부(140)에 의해 표시될 수 있다. 즉, 수신된 음성신호에 대응하는 화자로서 음성 데이터베이스(291)에 존재하는 사용자의 주변인(예를 들어, 이름, 성별 등)을 특정하고, 그를 나타내는 텍스트(403)가 디스플레이부(140)에 표시된다.
또한, 도 12와 같이 성별이 여성으로 결정된 경우, 이를 식별할 수 있는 아이콘(404)으로 발화위치를 표시할 수 있다. 여기서, 발화위치가 정면 왼쪽(Left)인 경우, 아이콘(405)의 위치가 대응하여 이동된다.
도 11 및 도 12에 표시되는 텍스트, 아이콘 등은 보청장치(100)의 저장부(190) 또는 휴대장치(200)의 저장부(290)에 미리 저장될 수 있으며, 경우에 따라 접속 가능한 외부의 서버(예를 들어, 클라우드 서버)에 저장될 수도 있을 것이다. 또한, 텍스트나 아이콘의 종류는 사용자 입력 또는 관리자에 의해 추가 가능하다.
그리고, 단계 S902에서 수신된 음성신호에 대해 난청 주파수 영역의 레벨이 증가된 음성신호가 보청장치(100)의 음성출력부(170)에 의해 출력된다(S922). 여기서, 출력되는 음성신호는 단계 S914에서 특정 화자에 대응하여 분리된 음성신호 및/또는 노이즈 제거가 수행된 음성신호가 될 수 있다. 예를 들어, 단계 S916에서 상대방으로 결정된 화자에 대해 음성 데이터베이스(291)에 저장된 정보에 기초하여, 대응되는 음성신호가 사용자의 난청 영역의 주파수 대역에 존재하는 경우, 음성신호의 레벨을 증가시켜 출력할 수 있을 것이다.
그에 따라, 대화의 상대방으로 추정되는 음성신호를 분리하고 분리된 음성신호에 대해 난청 주파수 영역의 레벨을 증가시켜 출력함으로써, 시끄러운 환경에서도 보청장치(100)의 착용자가 상대방과의 대화에 집중할 수 있게 된다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이와 같이, 본 발명의 실시예에 의하면, 보청장치(100)는 복수의 마이크로폰(161, 162, 163)을 통해 수신되는 음성신호 및 전면 카메라(181)를 통해 수신되는 영상데이터를 이용하여 음성신호의 발화위치를 결정하고, 해당 발화위치에 존재하는 화자를 대화의 상대방으로 특정하여, 특정된 상대방의 음성신호를 선택적으로 증폭시켜 출력함으로써 난청인인 사용자가 어떤 환경에서도 대화 상대방의 음성을 불편함 없이 청취할 수 있게 된다.
또한, 후면 카메라(182)를 통해 사용자가 발화위치의 화자를 응시하는지 여부까지 결정할 수 있도록 함으로써, 다수의 화자가 존재하는 시끄러운 환경에서도 대화의 상대방을 정확하게 특정할 수 있으며, 그에 따라 대화의 집중도가 보다 향상될 수 있다.
그에 따라, 보청장치(100)를 착용하는 사용자가 상대방을 한번 쳐다보는 것만으로도 필요한 음성을 듣고 이해하는데 도움을 줄 수 있는 향상된 보청 시스템을 제공할 수 있다.
또한, 자주 대화하는 상대방들에 대해 저장된 음성 데이터베이스(291)의 정보를 이용하므로 그 정확도가 향상될 뿐 아니라, 정보를 지속적으로 업데이트하는 과정을 통해 사용자 고유의 음성 데이터베이스를 구성할 수 있게 된다.
한편, 상기와 같은 본 발명의 다양한 실시예들은 컴퓨터가 판독 가능한 기록매체로 실시될 수 있다. 컴퓨터가 판독 가능한 기록매체는 전송매체 및 컴퓨터 시스템에 의해 판독 가능한 데이터를 저장하는 저장매체를 포함한다. 전송매체는 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현 가능하다.
본 발명의 다양한 실시예들은 하드웨어와 하드웨어 및 소프트웨어의 결합에 의해 구현될 수 있다. 하드웨어로서, 프로세서(200)는 소프트웨어인 컴퓨터프로그램이 저장되는 비휘발성메모리와, 비휘발성메모리에 저장된 컴퓨터프로그램이 로딩되는 RAM과, RAM에 로딩된 컴퓨터프로그램을 실행하는 CPU를 포함할 수 있다. 비휘발성메모리는 하드디스크드라이브, 플래쉬메모리, ROM, CD-ROMs, 자기테이프(magnetic tapes), 플로피 디스크, 광기억 장치(optical storage), 인터넷을 이용한 데이터 전송장치 등을 포함하며, 이에 한정되지 않는다. 비휘발성메모리는 본 발명의 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체(computer-readable recording medium)의 일례이다.
컴퓨터프로그램은 CPU가 읽고 실행할 수 있는 코드로서, 도 9에 도시된 단계 S902 내지 S922과 같은 제어부(110, 210)의 동작을 수행하도록 하는 코드를 포함한다.
컴퓨터프로그램은 보청장치(100) 또는 휴대장치(200)에 구비된 운영체제(operating system) 또는 어플리케이션을 포함하는 소프트웨어 및/또는 외부장치와 인터페이스하는 소프트웨어에 포함되어 구현될 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (15)

  1. 휴대장치에 있어서,
    음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부 및 영상데이터를 수신하는 영상입력부가 마련된 보청장치로부터 상기 음성신호 및 영상데이터를 수신하는 통신부와;
    음성 데이터베이스가 저장되는 저장부와;
    상기 수신된 음성신호의 발화 위치를 결정하고, 상기 수신된 영상데이터를 이용하여 상기 결정된 발화 위치에 화자가 존재하는지 여부를 결정하고, 상기 발화 위치에 상기 화자가 존재하는 것으로 결정되면 상기 수신된 음성신호로부터 상기 음성 데이터베이스를 이용하여 식별된 상기 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 상기 식별된 음성신호를 조정하고, 상기 조정된 음성신호가 상기 통신부를 통해 상기 보청장치로 송신되도록 제어하는 적어도 하나의 프로세서를 포함하며,
    상기 난청 주파수 영역의 레벨이 증가되도록 조정된 음성신호는 상기 보청장치에 의해 출력되는 것을 특징으로 하는 휴대장치.
  2. 제1항에 있어서,
    상기 보청장치는 신체 착용형 장치이고, 상기 영상입력부는 상기 보청장치의 전면에 설치된 전면 카메라를 포함하며,
    상기 프로세서는, 상기 전면 카메라에 의해 상기 보청장치 착용자의 전면에 대해 촬영된 영상데이터를 이용하여 상기 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는 것을 특징으로 하는 휴대장치.
  3. 제2항에 있어서,
    상기 영상입력부는 상기 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 상기 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며,
    상기 프로세서는, 상기 획득된 안구 정보를 이용하여 상기 착용자가 상기 화자를 응시하는지 여부를 더 결정하는 것을 특징으로 하는 휴대장치.
  4. 제2항에 있어서,
    상기 보청장치에는 방향센서가 더 설치되며,
    상기 프로세서는, 상기 보청장치로부터 상기 방향센서의 센싱값을 수신하도록 상기 통신부를 제어하고, 상기 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는데 상기 수신된 센싱값을 더 이용하는 것을 특징으로 하는 휴대장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 음성신호가 상기 복수의 마이크로폰에 도달하는 시간차, 상기 복수의 마이크로폰 사이의 이격 거리 및 마이크로폰의 개수 중 적어도 하나를 이용하여 상기 음성신호의 발화 위치를 추정하는 것을 특징으로 하는 휴대장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 음성 데이터베이스에는 복수의 화자 및 상기 복수의 화자에 대응하는 음성신호에 대한 정보가 저장되고,
    상기 프로세서는, 상기 음성 데이터베이스에 기초하여 상기 수신된 음성신호로부터 상기 화자의 음성신호를 식별 및 분리하고, 상기 분리된 화자의 음성신호에 대하여 상기 난청 주파수 영역의 레벨이 증가되도록 조정하는 것을 특징으로 하는 휴대장치.
  7. 제6항에 있어서,
    상기 프로세서는, 상기 수신된 음성신호에 대응하는 정보가 음성 데이터베이스에 존재하는지 여부를 결정하고, 상기 정보가 존재하지 않는 것으로 결정되면 상기 음성신호에 대한 정보를 상기 데이터베이스에 저장하는 것을 특징으로 하는 휴대장치.
  8. 보청장치에 있어서,
    음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부와;
    영상데이터를 수신하는 영상입력부와;
    상기 수신된 음성신호 및 영상데이터를 휴대장치로 송신하는 통신부와;
    음성신호를 출력하는 음성출력부와;
    상기 휴대장치로부터 소정 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 조정된 음성신호를 수신하도록 상기 통신부를 제어하고, 상기 조정된 음성신호를 출력하도록 상기 음성출력부를 제어하는 적어도 하나의 프로세서를 포함하며,
    상기 영상입력부는 상기 보청장치의 전면에 설치된 전면 카메라를 포함하며, 상기 전면 카메라에서 촬영된 영상데이터를 이용하여 상기 음성신호의 발화 위치에 화자가 존재하는지 여부가 결정되고, 상기 발화 위치에 상기 화자가 존재하는 것으로 결정되면 음성 데이터베이스를 이용하여 식별된 상기 화자에 대응하는 음성신호가 조정되어 상기 휴대장치로부터 상기 보청장치로 송신되는 것을 특징으로 하는 보청장치.
  9. 제8항에 있어서,
    상기 영상입력부는 상기 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 상기 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며,
    상기 획득된 안구 정보를 이용하여 상기 착용자가 상기 화자를 응시하는지 여부가 더 결정되는 것을 특징으로 하는 보청장치.
  10. 제9항에 있어서,
    상기 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되는 디스플레이부를 더 포함하며,
    상기 프로세서는, 상기 발화 위치에 대한 정보 및 상기 음성 데이터베이스를 이용하여 식별된 화자에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 보청장치.
  11. 휴대장치의 제어방법에 있어서,
    음성신호를 수신하는 복수의 마이크로폰을 포함하는 음성입력부 및 영상데이터를 수신하는 영상입력부가 마련된 보청장치로부터 상기 음성신호 및 영상데이터를 수신하는 단계와;
    상기 수신된 음성신호의 발화 위치를 결정하는 단계와;
    상기 수신된 영상데이터를 이용하여 상기 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는 단계와;
    상기 발화 위치에 상기 화자가 존재하는 것으로 결정되면 상기 수신된 음성신호로부터 음성 데이터베이스를 이용하여 식별된 상기 화자에 대응하는 음성신호에 대하여 난청 주파수 영역의 레벨이 증가되도록 상기 식별된 음성신호를 조정하는 단계와;
    상기 조정된 음성신호를 상기 보청장치에 의해 출력되도록 상기 휴대장치로부터 상기 보청장치로 송신하는 단계를 포함하는 것을 특징으로 하는 제어방법.
  12. 제11항에 있어서,
    상기 보청장치는 신체 착용형 장치이고, 상기 영상입력부는 상기 보청장치의 전면에 설치된 전면 카메라를 포함하며,
    상기 화자가 존재하는지 여부를 결정하는 단계는, 상기 전면 카메라에 의해 상기 보청장치 착용자의 전면에 대해 촬영된 영상데이터를 이용하여 상기 결정된 발화 위치에 화자가 존재하는지 여부를 결정하는 것을 특징으로 하는 제어방법.
  13. 제12항에 있어서,
    상기 영상입력부는 상기 보청장치 착용자의 적어도 하나의 시선이 통과하는 위치에 마련되어, 상기 착용자의 안구 정보를 획득하는 후면 카메라를 더 포함하며,
    상기 획득된 안구 정보를 이용하여 상기 착용자가 상기 화자를 응시하는지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 제어방법.
  14. 제11항에 있어서,
    상기 발화 위치를 결정하는 단계는, 상기 음성신호가 상기 복수의 마이크로폰에 도달하는 시간차, 상기 복수의 마이크로폰 사이의 이격 거리 및 마이크로폰의 개수 중 적어도 하나를 이용하여 상기 음성신호의 발화 위치를 추정하는 것을 특징으로 하는 제어방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 음성 데이터베이스에는 복수의 화자 및 상기 복수의 화자에 대응하는 음성신호에 대한 정보가 저장되고,
    상기 음성 데이터베이스에 기초하여 상기 수신된 음성신호로부터 상기 화자의 음성신호를 식별 및 분리하는 단계를 더 포함하고,
    상기 음성신호를 조정하는 단계는, 상기 분리된 화자의 음성신호에 대하여 상기 난청 주파수 영역의 레벨이 증가되도록 조정하는 것을 특징으로 하는 제어방법.
PCT/KR2016/006383 2016-03-28 2016-06-16 보청장치, 휴대장치 및 그 제어방법 WO2017171137A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0036926 2016-03-28
KR1020160036926A KR20170111450A (ko) 2016-03-28 2016-03-28 보청장치, 휴대장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2017171137A1 true WO2017171137A1 (ko) 2017-10-05

Family

ID=59964824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006383 WO2017171137A1 (ko) 2016-03-28 2016-06-16 보청장치, 휴대장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20170111450A (ko)
WO (1) WO2017171137A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184601A1 (en) * 2018-03-30 2019-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing signals, terminal device, and non-transitory readable storage medium
WO2021000817A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 环境音处理方法及相关装置
WO2021074818A1 (en) * 2019-10-16 2021-04-22 Nuance Hearing Ltd. Beamforming devices for hearing assistance
CN113747330A (zh) * 2018-10-15 2021-12-03 奥康科技有限公司 助听器系统和方法
US11765522B2 (en) 2019-07-21 2023-09-19 Nuance Hearing Ltd. Speech-tracking listening device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102086918B1 (ko) * 2018-08-28 2020-03-09 한림대학교 산학협력단 안경형 보청장치, 이를 제어하기 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11979716B2 (en) 2018-10-15 2024-05-07 Orcam Technologies Ltd. Selectively conditioning audio signals based on an audioprint of an object
US20230260509A1 (en) * 2020-08-21 2023-08-17 Amosense Co., Ltd. Voice processing device for processing voices of speakers
KR20220025458A (ko) * 2020-08-24 2022-03-03 주식회사 아모센스 전자 장치 및 전자 장치의 작동 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011394A (ko) * 2009-07-28 2011-02-08 김선호 주파수 대역별 출력 조절이 가능한 무선 보청기
KR101250951B1 (ko) * 2012-07-23 2013-04-09 정윤석 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템
KR20130054898A (ko) * 2011-11-17 2013-05-27 한양대학교 산학협력단 휴대 단말기를 이용한 음향 수신 장치 및 방법
KR20140118060A (ko) * 2013-03-28 2014-10-08 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US20150288944A1 (en) * 2012-09-03 2015-10-08 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011394A (ko) * 2009-07-28 2011-02-08 김선호 주파수 대역별 출력 조절이 가능한 무선 보청기
KR20130054898A (ko) * 2011-11-17 2013-05-27 한양대학교 산학협력단 휴대 단말기를 이용한 음향 수신 장치 및 방법
KR101250951B1 (ko) * 2012-07-23 2013-04-09 정윤석 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템
US20150288944A1 (en) * 2012-09-03 2015-10-08 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted display
KR20140118060A (ko) * 2013-03-28 2014-10-08 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184601A1 (en) * 2018-03-30 2019-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing signals, terminal device, and non-transitory readable storage medium
US10923129B2 (en) 2018-03-30 2021-02-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing signals, terminal device, and non-transitory readable storage medium
CN113747330A (zh) * 2018-10-15 2021-12-03 奥康科技有限公司 助听器系统和方法
WO2021000817A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 环境音处理方法及相关装置
US11765522B2 (en) 2019-07-21 2023-09-19 Nuance Hearing Ltd. Speech-tracking listening device
WO2021074818A1 (en) * 2019-10-16 2021-04-22 Nuance Hearing Ltd. Beamforming devices for hearing assistance

Also Published As

Publication number Publication date
KR20170111450A (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
WO2017171137A1 (ko) 보청장치, 휴대장치 및 그 제어방법
WO2014157846A1 (en) Portable terminal, hearing aid, and method of indicating positions of sound sources in the portable terminal
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2016208797A1 (ko) 헤드셋 및 그 제어 방법
WO2016089029A1 (en) Mobile terminal and controlling method thereof
WO2016099031A1 (en) Portable apparatus and method of controlling location information of portable apparatus
WO2017188492A1 (ko) 이동단말기 및 그 제어방법
WO2017034116A1 (en) Mobile terminal and method for controlling the same
WO2016117836A1 (en) Apparatus and method for editing content
WO2019168238A1 (ko) 이동단말기 및 그 제어 방법
WO2016010202A1 (en) Mobile terminal and control method for the mobile terminal
WO2016089075A1 (en) Wearable device and method of transmitting message from the same
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2015126012A1 (ko) 이동단말기 및 그 제어방법
WO2016114437A1 (ko) 이동 단말기 및 그것의 제어방법
WO2015125993A1 (ko) 이동 단말기 및 이동 단말기의 제어방법
WO2017030212A1 (ko) 이동 단말기 및 그 제어 방법
WO2017090920A1 (en) Mobile terminal and method for controlling the same
WO2016013768A1 (ko) 이동단말기 및 그 제어방법
WO2020105757A1 (ko) 이동 단말기
WO2016195197A1 (en) Pen terminal and method for controlling the same
WO2016111406A1 (ko) 이동단말기 및 그 제어방법
WO2016013692A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16897158

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16897158

Country of ref document: EP

Kind code of ref document: A1