KR20220107052A - 청취 디바이스, 청취 디바이스의 조정 방법 - Google Patents

청취 디바이스, 청취 디바이스의 조정 방법 Download PDF

Info

Publication number
KR20220107052A
KR20220107052A KR1020227022545A KR20227022545A KR20220107052A KR 20220107052 A KR20220107052 A KR 20220107052A KR 1020227022545 A KR1020227022545 A KR 1020227022545A KR 20227022545 A KR20227022545 A KR 20227022545A KR 20220107052 A KR20220107052 A KR 20220107052A
Authority
KR
South Korea
Prior art keywords
listening device
parameter set
server
user
unit
Prior art date
Application number
KR1020227022545A
Other languages
English (en)
Inventor
송명근
Original Assignee
올리브유니온 엘엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올리브유니온 엘엔씨. filed Critical 올리브유니온 엘엔씨.
Publication of KR20220107052A publication Critical patent/KR20220107052A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/75—Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephonic Communication Services (AREA)

Abstract

[과제] 청취 디바이스에 입력된 사운드(특히, 주변 환경음)에 따른 조정을 실시간으로 행함으로써, 입력된 사운드를 세밀하게 조정하여 사용자에게 출력하는 것이 가능해지는 청취 디바이스 및 청취 디바이스의 조정 방법을 제공하는 것은 사용자에게 유용한 새로운 기능을 갖는 청취 디바이스를 제공하고, 청취 디바이스를 사용하여 새로운 비즈니스 모델을 제공하는 것을 목적으로 한다. [해결 수단] 네트워크를 통해, 서버와 직접 또는 간접적으로 접속되는 청취 디바이스로서, 상기 청취 디바이스는 외부로부터의 사운드 데이터를 취득하는 입력부와, 사운드 데이터를 상기 서버로 송신하고, 또한, 상기 서버에서 상기 사운드 데이터를 해석한 해석 결과에 기초하여 생성된 파라미터 세트를 수신하는 통신부와, 상기 파라미터 세트를 저장하는 저장부와, 상기 파라미터 세트에 기초하여 복수의 소정 주파수의 이득을 조정하는 조정부를 구비한다.

Description

청취 디바이스, 청취 디바이스의 조정 방법
본 발명은 청취 디바이스 및 청취 디바이스의 조정 방법에 관한 것이다.
종래부터, 보청기나 집음기 등의 청취 디바이스가 있다. 선천적 또는 후천적으로 청력이 좋지 않은 사용자는 청취 디바이스를 사용하여 입력된 사운드를 증폭하여 좋지 않은 청력을 보완하고 있다.
예를 들면, 특허 문헌 1에는, 사용자 동작에 따라 입력된 사운드의 증폭량 등을 조정하는 보청기가 개시되어 있다.
특허 문헌 1: 국제 특허 공개 제2014/010165호
그러나, 특허 문헌 1에 개시되는 보청기에서는, 사용자 동작(예컨대, 산책, 취침, 식사 등)에 따른 모드 변경이 개시되어 있을 뿐이며, 주변 환경(예컨대, 거실이나 전철의 플랫폼 등의 주위의 사운드나 노이즈가 큰 환경이나, 서재나 도서관 등의 주위의 사운드나 노이즈가 작은 환경 등)을 고려한 것은 아니다.
또한, 사용자 동작에 따른 모드는, 예를 들면, 버튼의 가압에 의해 변경되고 있다. 이것은, 자주 변하지 않는 사용자 동작(예컨대, 산책, 취침, 식사 등)에 따른 모드 변경의 경우에는, 해당 모드 변경 방법이 그다지 문제로 되지 않지만, 상술한 주변 환경과 같이 변화가 많은 상황에 대하여 더 세밀한 모드 변경을 원하는 경우에는 적절한 모드 변경 방법이라고 할 수 없다.
더욱이, 다양한 사용자에게 유용한 신규 기능을 갖는 청취 디바이스의 제공이나, 청취 디바이스를 이용한 새로운 비즈니스 모델의 제공이 요구되고 있다.
따라서, 본 발명은 청취 디바이스에 입력된 사운드(특히, 주변 환경음)에 따른 조정을 실시간으로 행함으로써, 입력된 사운드를 세밀하게 조정하여 사용자에게 출력하는 것이 가능해지는 청취 디바이스 및 청취 디바이스의 조정 방법을 제공하는 것은 사용자에게 유용한 새로운 기능을 갖는 청취 디바이스를 제공하고, 청취 디바이스를 사용하여 새로운 비즈니스 모델을 제공하는 것을 목적으로 한다.
본 발명의 일 양태에서, 네트워크를 통해, 서버와 직접 또는 간접적으로 접속되는 청취 디바이스로서, 상기 청취 디바이스는 외부로부터의 사운드 데이터를 취득하는 입력부와, 사운드 데이터를 상기 서버로 송신하고, 또한, 상기 서버에서 상기 사운드 데이터를 해석한 해석 결과에 기초하여 생성된 파라미터 세트를 수신하는 통신부와, 상기 파라미터 세트를 저장하는 저장부와, 상기 파라미터 세트에 기초하여 복수의 소정 주파수의 이득을 조정하는 조정부를 구비한다.
본 발명에 따르면, 청취 디바이스에 입력된 사운드(특히, 주변 환경음)에 따른 조정을 실시간에서 행함으로써, 입력된 사운드를 세밀하게 조정하여 사용자에게 출력하는 것이 가능해져, 사용자는 항상 듣기 쉬운 상태로 된다. 더욱이, 사용자에게 유용한 신규 기능을 갖는 청취 디바이스의 제공이나, 청취 디바이스를 이용한 새로운 비즈니스 모델을 제공할 수 있다.
[도 1] 본 발명의 제 1 실시형태를 나타내는 블록 구성도이다.
[도 2] 도 1의 청취 디바이스(100)를 나타내는 기능 블록 구성도이다.
[도 3] 도 1의 사용자 단말(200)을 나타내는 기능 블록 구성도이다.
[도 4] 도 1의 서버(300)를 나타내는 기능 블록 구성도이다.
[도 5] 본 발명의 제 1 실시형태에 관한 조정 방법에 관한 흐름도의 일례이다.
[도 6] 본 발명의 제 1 실시형태의 변형예 1을 나타내는 블록 구성도이다.
[도 7] 본 발명의 제 1 실시형태의 변형예 2를 나타내는 블록 구성도이다.
[도 8] 본 발명의 제 2 실시형태에 관한 청취 디바이스(100)를 나타내는 기능 블록 구성도이다.
[도 9] 본 발명의 제 3 실시형태에 관한 청취 디바이스(100)를 나타내는 기능 블록 구성도이다.
[도 10] 본 발명의 제 3 실시형태에 관한 청취 디바이스(100)의 센서의 검지 범위를 나타내는 구성도이다.
[도 11] 본 발명의 제 3 실시형태에 관한 청취 디바이스(100)의 제스처 조작을 나타내는 구성도이다.
[도 12] 본 발명의 제 4 실시형태에 관한 새로운 확인 테스트 방법을 나타내는 흐름도이다.
[도 13] 본 발명의 제 4 실시형태에 관한 사용자 단말 화면의 일례이다.
[도 14] 본 발명의 제 5 실시형태에 관한 이명 감소를 위한 방법을 나타내는 흐름도이다.
[도 15] 본 발명의 제 5 실시형태에 관한 사용자 단말 화면의 일례이다.
[도 16] 본 발명의 제 5 실시형태에 관한 청취 디바이스(100)의 출력을 나타내는 도면이다.
이하, 본 발명의 실시형태에 대하여 도면을 참조하여 설명한다. 또, 이하에 설명하는 실시형태는, 특허 청구의 범위에 기재된 본 개시의 내용을 부당하게 한정하는 것은 아니고, 실시형태에 나타내는 구성 요소의 모두가 본 발명의 필수 구성 요소로 한정되는 것은 아니다. 또한, 첨부 도면에서, 동일 또는 유사한 요소에는 동일 또는 유사한 참조 부호 및 명칭을 부여하고, 각 실시형태의 설명에서 동일 또는 유사한 요소에 관한 중복하는 설명은 생략할 수 있다. 더욱이, 각 실시형태에 도시되는 특징은 서로 모순되지 않는 한 다른 실시형태에도 적용할 수 있다.
<제 1 실시형태>
도 1은 본 발명의 제 1 실시형태를 나타내는 블록 구성도이다. 제 1 실시형태는, 예를 들어, 사용자가 이용하는 청취 디바이스(100)와, 사용자가 소유하는 사용자 단말(200), 및 사용자 단말(200)이 네트워크 NW를 통해 접속되는 서버(300)로 구성된다. 네트워크 NW는 인터넷, 인트라넷, 무선 LAN(Local Area Network)이나 WAN(Wide Area Network) 등으로 구성된다.
청취 디바이스(100)는, 예를 들면, 입력된 사운드에 대하여, 음량의 증감이나 노이즈 캔슬, 이득(증폭량)의 조정 등을 행하거나, 탑재된 각종 기능을 실행한다. 또한, 청취 디바이스(100)는, 예를 들면, 입력된 사운드(특히, 주변 환경음)에 관한 데이터 등의 취득 정보를 사용자 단말(200)에 제공한다.
사용자 단말(200)은 사용자가 소유하는 단말이며, 예를 들어, 퍼스널 컴퓨터나 태블릿 단말 등의 정보 처리 장치이지만, 스마트폰이나 휴대 전화, PDA 등으로 구성하여도 좋다.
서버(300)는 네트워크 NW를 통해 정보를 사용자 단말(200)과 송수신하고, 예를 들어, 접수한 정보를 연산 처리하는 장치이며, 예를 들어, 워크 스테이션이나 퍼스널 컴퓨터와 같은 범용 컴퓨터로 하여도 좋고, 또는 클라우드·컴퓨팅에 의해 논리적으로 실현되어도 좋다. 본 실시형태에서는 설명의 편의상 서버 장치로서 1대를 예시하고 있지만, 이것으로 한정되지 않고, 복수 대이더라도 좋다.
도 2는 도 1의 청취 디바이스(100)의 기능 블록 구성도이다. 청취 디바이스(100)는 제 1 입력부(110)와 제 2 입력부(120)와 제어부(130)와 출력부(140) 및 통신부(150)를 포함한다. 제어부(130)는 조정부(131) 및 저장부(132)를 구비한다. 또한, 도시하지 않지만, 터치 센서 등의 각종 센서를 구비하여, 청취 디바이스(100)를 직접 태핑 등하여 조작 가능하게 하여도 좋다.
제 1 입력부(110) 및 제 2 입력부(120)는, 예를 들어, 마이크와 A/D 변환기(도시하지 않음)이다. 제 1 입력부(110)는, 예를 들어, 사용자의 입에 가까운 쪽에 배치되고, 특히, 사용자의 음성을 포함한 음성을 취득하여 디지털 신호로 변환하고, 제 2 입력부(120)는, 예를 들어, 사용자의 입으로부터 먼 쪽에 배치되고, 특히, 주변 환경음을 포함하는 주변음을 취득하여 디지털 신호로 변환한다. 제 1 실시형태에서 2개의 입력부를 갖는 구성으로 했지만, 이것으로 한정되지 않고, 예를 들어, 1개이더라도 좋고, 3개 이상의 복수이더라도 좋다.
제어부(130)는 청취 디바이스(100)의 전체 동작을 제어하는 것으로, 예를 들어, CPU(Central Processing Unit) 등으로 구성된다. 조정부(131)는, 예를 들어, DSP(Digital Sound Processor)이며, 예를 들어, 제 1 입력부로부터 수신한 음성이 보다 들리기 쉽도록, 저장부(132)에 저장되어 있는 파라미터 세트에 의해 DSP가 조정되고, 보다 구체적으로는, 복수의 소정 주파수(예컨대, 8 채널 또는 16 채널)마다 이득(증폭량)이 조정된다. 또, 저장부(132)는 초기 설정 등의 테스트에 의해 설정된 파라미터 세트를 저장하여도 좋고, 후술하는 해석 결과에 기초하는 파라미터 세트를 저장하여도 좋다. 이들 파라미터 세트는 단독으로 조정부(131)에 의한 조정에 이용되어도 좋고, 복합적으로 이용되어도 좋다.
출력부(140)는, 예를 들어, 스피커 및 D/A 변환기(도시하지 않음)이며, 예를 들어, 제 1 입력부(110)로부터 취득한 음성을 사용자의 귀로 출력한다.
통신부(150)는, 예를 들어, 제 2 입력부(120)로부터 취득한 주변 사운드 데이터 및/또는 제 1 입력부(110)로부터 취득한 음성 데이터를 사용자 단말(200)로 송신하거나, 주변 사운드 데이터 및/또는 음성 데이터(이하, 총칭하여 「사운드 데이터」라고 함)가 분석 결과에 기초하는 파라미터 세트를 사용자 단말(200)로부터 수신하여 저장부(132)로 송신하거나 한다. 통신부(150)는 Bluetooth(등록 상표) 및 BLE(Bluetooth Low Energy)의 근거리 통신 인터페이스일 수 있지만, 이것으로 한정되는 것은 아니다.
도 3은 도 1의 사용자 단말(200)을 나타내는 기능 블록 구성도이다. 사용자 단말(200)은 통신부(210)와 표시 조작부(220)와 저장부(230) 및 제어부(240)를 구비한다.
통신부(210)는 네트워크 NW를 통해 서버(300)와 통신하기 위한 통신 인터페이스이며, 예를 들어, TCP/IP와 같은 통신 규칙에 따라 통신이 행해진다. 또, 청취 디바이스(100)를 이용할 때에는, 청취 디바이스(100)를 실시간으로 조정할 수 있도록, 사용자 단말(200)은 적어도 통상 서버(300)와 통신 가능한 상태에 있는 것이 바람직하다.
표시 조작부(220)는 사용자가 지시를 입력하고, 제어부(240)로부터의 입력 정보에 따라 텍스트, 이미지 등을 표시하기 위해 사용되는 사용자 인터페이스이며, 사용자 단말(200)이 태블릿 단말이나 스마트폰으로 구성되어 있는 경우에는 터치 패널 등으로 구성된다. 이 표시 조작부(220)는 저장부(230)에 저장되어 있는 제어 프로그램에 의해 기동되어 컴퓨터(전자 계산기)인 사용자 단말(200)에 의해 실행된다.
저장부(230)는 각종 제어 처리나 제어부(240) 내의 각 기능을 실행하기 위한 프로그램, 입력 정보 등을 저장하는 것이고, RAM, ROM 등으로 구성된다. 또한, 저장부(230)는 서버(300)와의 통신 내용을 일시적으로 저장하고 있다.
제어부(240)는, 저장부(230)에 저장되어 있는 프로그램을 실행함으로써, 사용자 단말(200)의 전체 동작을 제어하는 것이고, CPU나 GPU 등으로 구성된다.
도 4는 도 1의 서버(300)의 기능 블록 구성도이다. 서버(300)는 통신부(310)와 저장부(320) 및 제어부(330)를 구비한다.
통신부(310)는 네트워크 NW를 통해 사용자 단말(200)과 통신을 행하기 위한 통신 인터페이스이며, 예를 들어, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 규약에 따라 통신이 행해진다.
저장부(320)는 각종 제어 처리나 제어부(330) 내의 각 기능을 실행하기 위한 프로그램, 입력 정보 등을 저장하는 것이고, RAM(Random Access Memory), ROM(Read Only Memory) 등으로 구성된다. 또한, 저장부(320)에는 사용자와 관련하는 각종 정보인 사용자 관련 정보(예컨대, 청취 디바이스(100)의 설정 정보 등)를 저장하는 사용자 정보 저장부(321)와, 확인 테스트의 테스트 결과를 저장하는 테스트 결과 저장부(322), 및 사운드 데이터의 해석 결과를 저장하는 해석 결과 저장부(323) 등이 포함된다. 더욱이, 저장부(320)는 사용자 단말(200)과 통신을 행한 정보를 일시적으로 저장할 수 있다. 또, 각종 정보를 저장한 데이터베이스(도시하지 않음)가 저장부(320) 외부에 구축되어 있어도 좋다.
제어부(330)는, 저장부(320)에 저장되어 있는 프로그램을 실행함으로써, 서버(300)의 전체 동작을 제어하는 것이고, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등으로 구성된다. 제어부(330)의 기능으로서, 사용자로부터의 지시를 접수하는 지시 접수부(331)와, 사용자와 관련하는 각종 정보인 사용자 관련 정보를 참조하고 처리하는 사용자 정보 관리부(332)와, 소정의 확인 테스트를 실행하거나 테스트 결과를 참조하고 처리하는 확인 테스트 관리부(333)와, 확인 테스트의 테스트 결과를 해석하고 파라미터 세트를 생성하는 파라미터 세트 생성부(334)와, 입력된 사운드 데이터를 해석하는 사운드 데이터 해석부(335), 및 해석 결과를 참조하여 처리하는 해석 결과 관리부(336) 등을 갖는다. 이 지시 접수부(331), 사용자 정보 관리부(332), 확인 테스트 관리부(333), 파라미터 세트 생성부(334), 사운드 데이터 해석부(335) 및 해석 결과 관리부(336)는 저장부(320)에 저장되어 있는 프로그램에 의해 기동되어 컴퓨터(전자 계산기)인 서버(300)에 의해 실행된다.
지시 접수부(331)는 사용자 단말(200)에 표시되는 애플리케이션 소프트웨어 화면 또는 웹 화면 등의 사용자 인터페이스를 통하거나, 또는 청취 디바이스(100)에 구비된 다양한 센서를 통해 사용자가 소정의 요청을 수행했을 때, 그 지시를 접수한다.
사용자 정보 관리부(332)는 사용자 관련 정보를 관리하고, 필요에 따라 소정의 처리를 행한다. 사용자 관련 정보는, 예를 들면, 사용자 ID나 메일 어드레스 정보 등이며, 사용자 ID는 확인 테스트의 결과나 사운드 데이터의 분석 결과와 관련지어져 있어, 애플리케이션 상에서 확인 가능하게 되어 있어도 좋다.
확인 테스트 관리부(333)는 소정의 확인 테스트(흐름도에서 후술함)를 실행하거나, 확인 테스트의 결과를 참조하거나, 소정의 처리(예컨대, 확인 테스트 결과를 사용자 단말(200) 상에 표시하는 파라미터 세트 생성부(334)에 결과를 송신하는 등)를 실행한다.
파라미터 세트 생성부(334)는, 상술한 확인 테스트 결과 및/또는 후술하는 사운드 데이터의 분석 결과에 기초하여, 복수의 소정 주파수(예컨대, 8채널 또는 16채널)마다 이득(증폭량)을 증감하는 것과 같은 설정값을 생성한다.
사운드 데이터 해석부(335)는 입력된 사운드 데이터를 해석한다. 여기서, 사운드 데이터의 해석은, 예를 들어, 고속 푸리에 변환(Fast Fourier Transform)을 이용하여 입력된 사운드 데이터를 주파수 해석하고, 특정 주파수의 노이즈(예컨대, 기차 내나 비행기 내, 거리 등의 위치 유래의 주파수나, 사람의 목소리나 텔레비전 등의 발생원 유래의 주파수)가 소정의 기준치보다 강하게 나왔다고 판정하는 것이며, 판정된 경우에는 그 판정 결과를 파라미터 세트 생성부(334)로 송신하는 등이어도 좋다. 또, 특정 주파수의 노이즈를 각각 청취 모드로서 대응지어 저장하여도 좋고, 더욱이, 사용자에 의해 청취 모드를 수동으로 설정하도록 구성되어도 좋다.
해석 결과 관리부(336)는 사운드 데이터의 해석 결과를 참조하거나, 소정의 처리(예컨대, 해석 결과를 사용자 단말(200) 상에 표시하는, 파라미터 세트 생성부(334)에 결과를 송신하는 등)를 실행하거나 한다.
<처리 흐름>
도 5를 참조하면서, 본 발명의 제 1 실시형태의 시스템이 실행하는 청취 디바이스를 조정하기 위한 처리 흐름에 대하여 설명한다. 도 5는 본 발명의 제 1 실시형태에 관한 청취 디바이스의 조정 방법에 관한 흐름도의 일례이다. 또, 당해 흐름도에서는 초기 설정을 위한 테스트를 행하고 있지만, 초기 설정뿐만 아니라 임의의 타이밍에 테스트를 행하여도 좋고, 사용자에 따라서는 테스트를 하지 않아도 좋다.
우선, 청취 디바이스(100)를 이용하기 전에, 초기 설정을 위한 테스트를 행한다(단계 S101). 예를 들어, 사용자 단말(200) 상에서 기동된 애플리케이션 상에서, 복수의 소정 주파수(예컨대, 16채널)마다 청취에 관한 확인 테스트(예컨대, 후술하는 제 4 실시형태에 기재된 테스트나 주파수마다 「삐」라고 하는 사운드가 들리면, OK 버튼을 가압하는 테스트 등)를 행하고, 해당 테스트 결과에 기초하여 파라미터 세트를 생성하고, 각 주파수에 대한 이득(증폭량)을 파라미터 세트로서 사용자 단말(200)에 저장하고, 그것에 기초하여, 예를 들어, DSP에 의해 청취 디바이스의 각 주파수에 대한 이득(증폭량)을 설정한다.
다음으로, 청취 디바이스(100)는 제 1 입력부(110) 및/또는 제 2 입력부(120)로부터 사운드 데이터를 취득하고, 사용자 단말(200)을 통해 서버(300)까지 송신한다(단계 S102).
다음으로, 서버(300)는 사운드 데이터 해석부(335)에 의해 사운드 데이터의 해석을 실시하고, 또한 파라미터 세트를 생성한다(단계 S103).
다음으로, 서버(300)는 파라미터 세트를 사용자 단말(200)를 통해 청취 디바이스(100)로 송신하고, 그것을 저장부(132)에 저장하고, 그 파라미터 세트에 기초하여, 예를 들어, DSP에 의해 청취 디바이스의 각 주파수에 대한 이득(증폭량)을 추가로 조정한다(단계 S105). 또, 단계 S102~S105에 대해서는 소정의 샘플 시간마다 실행된다.
이것에 의해, 청취 디바이스에 입력된 사운드(특히, 주변 환경음)에 따른 조정을 실시간으로 행함으로써, 입력된 사운드를 세밀하게 조정하여 사용자에게 출력하는 것이 가능해져, 사용자는 항상 듣기 쉬운 상태로 된다.
<제 1 실시형태의 변형예 1>
도 6은 본 발명의 제 1 실시형태의 변형예 1을 나타내는 블록 구성도이다. 제 1 실시형태의 변형예 1에서, 제 1 실시형태와는 달리, 청취 디바이스(100)는 사용자 단말(200)이 아닌 배터리 디바이스(400) 및 네트워크 NW를 통해 서버(300)에 접속된다. 또, 도 6에서는, 배터리 디바이스(400)로서, 청취 디바이스(100)는 케이스의 기능도 겸하고 있고, 오목부에 내장하여 충전할 수 있는 구성인 것을 나타내고 있지만, 이것으로 한정되는 것은 아니다.
배터리 디바이스(400)는, 예를 들어, SIM 카드(Subscriber Identity Module Card)가 탑재되어 있어, 네트워크 NW에 접속 가능한 구성으로 되어 있고, 제 1 실시형태의 「사용자 단말(200)」 대신 사운드 데이터나 파라미터 세트를 서버(300)와의 사이에서 경유할 수 있게 되어 있다.
이것에 의해, 사용자에게 휴대 빈도가 높은 배터리 디바이스(400)에 의해 네트워크 NW의 접속이 가능하기 때문에, 사용자 단말(200)을 휴대하지 않아도 입력된 사운드를 조정할 수 있어 사용자의 편의성이 높아진다. 특히, 사용자 단말(200)의 소유율이 낮은 고연령층에게 유용하다.
<제 1 실시형태의 변형예 2>
도 7은 본 발명의 제 1 실시형태의 변형예 2를 나타내는 블록 구성도이다. 제 1 실시형태의 변형예 2에서, 제 1 실시형태 및 변형예 1과는 달리, 청취 디바이스(100)는 네트워크 NW를 통해 서버(300)에 직접 접속된다.
이 경우, 청취 디바이스(100)는, 예를 들어, SIM 카드(Subscriber Identity Module Card)가 탑재되어 있고, 사운드 데이터나 파라미터 세트를 서버(300)와의 사이에서 송수신할 수 있게 되어 있다.
이에 따라, 사용자는 서버(300)와의 통신을 위한 디바이스를 갖지 않고도 입력된 사운드를 조정할 수 있어 사용자의 편의성을 높일 수 있다.
<제 1 실시형태의 변형예 3>
전술한 제 1 실시형태 및 변형예 1에서도 청취 디바이스(100)의 입력부를 이용한 음성 해석에 의한 조작이 가능하지만, 특히, 제 1 실시형태의 변형예 2에서 통상 사용자 단말(200)에 저장되는 데이터(예컨대, 전화 번호부나 메일 어드레스, SNS의 ID 및 애플리케이션 등)를 청취 디바이스(100) 또는 서버(300)에 저장하여 두고, 예를 들어, 청취 디바이스(100)의 제 1 입력부(또는 별도로 마련된 제 3 입력부(도시하지 않음))에 의해, 사용자의 목소리를 취득하고, 기지의 음성 해석에 의해 사용자가 발화한 내용을 해석함으로써, 청취 디바이스(100) 단독으로, 전화나 메시지를 송신하는 것이 가능해져, 사용자의 편의성을 더욱 높일 수 있다.
<제 1 실시형태의 변형예 4>
전술한 제 1 실시형태 및 변형예 1 내지 3에서는, 사운드 데이터만을 해석하여 각 주파수의 이득(증폭량)을 조정하고 있지만, 이것에 더하여, 사용자 단말(200) 또는 배터리 디바이스(400), 청취 디바이스(100)에 GPS 기능을 구비하고, 위치 정보도 가미하여 각 주파수의 이득(증폭량)을 더 조정하여도 좋다. 즉, 예를 들어, 거리에 있는 것이나, 기차 근처에 있는 것 등을 위치 정보와 과거의 파라미터 세트(예컨대, 위치 정보에 연계하여 저장되어 있음)로부터 파라미터 세트를 추측하여, 이 추측된 파라미터 세트와 사운드 데이터의 분석 결과에 기초하여, 각 주파수의 이득(증폭량)을 설정하는 파라미터 세트의 생성 또는 청취 모드를 선택하여 청취 디바이스(100)를 조정한다. 또, 서버(300)에, 예를 들면, 조정량이나 위치 정보, 시간 정보 등을 대량으로 더욱 축적하고, 기계 학습 또는 심층 학습함으로써, 보다 정밀하게 청취 디바이스(100)를 조정할 수 있도록 하여도 좋다. 또한, 과거의 파라미터 세트가 충분히 축적된 후에는 위치 정보에만 기초하여 파라미터 세트를 생성하여도 좋다.
<제 2 실시형태>
도 8은 본 발명의 제 2 실시형태를 나타내는 블록 구성도이다. 제 2 실시예에서, 제 1 입력부(110)로부터 입력된 음성 데이터뿐만 아니라, 사용자 단말(200) 및/또는 서버(300)로부터 출력되어 통신부(150)를 통해 입력되는 음악 데이터(예컨대, Bluetooth(등록 상표)에 의해 송신된 압축 음악 데이터 등) 및 음성 데이터(예컨대, 통화 시의 음성 데이터 등)도 조정부(131)를 경유하여 출력부(140)로부터 출력된다.
이에 따라, 직접 입력된 음성 데이터뿐만 아니라, 음악 데이터 및 사용자 단말(200)로부터의 음성 데이터에 대해서도 주위의 환경음 등에 대응한 이득 조정이 반영되기 때문에, 사용자는 주위의 환경음에 의존하지 않고 음악을 듣기 쉽게 되어 사용자 편의성이 향상된다.
<제 3 실시형태>
도 9는 본 발명의 제 3 실시형태를 나타내는 블록 구성도이다. 제 3 실시예에서는, 예를 들어, 청취 디바이스(100)는 오른쪽 귀용 청취 디바이스(510) 및 왼쪽 귀용 청취 디바이스(520)를 구비하고 있으며, 청취 디바이스(510)는 제 1 센서(511)와 제 2 센서(512)를 구비하고, 청취 디바이스(520)는 제 3 센서(521) 및 제 4 센서(522)를 포함한다. 이 구성에 의해, 사용자의 핸드 제스처를 검지하여 청취 디바이스(100)를 조작할 수 있게 한다. 제 1 내지 제 4 센서(511, 512, 521, 522)는, 예를 들어, 광학식 근접 센서나 IR식 센서로 구성될 수 있지만, 마찬가지의 판정 동작이 가능하면, 어떠한 센서이더라도 좋다.
도 10은 각 센서의 검지 범위를 나타내고 있다. 각 청취 디바이스가 구비하는 2개의 센서는 수직 방향 및 수평 방향으로 어긋나게 배치되어 있기 때문에, 도 10에 예시하는 바와 같이, 2개의 센서의 검지 범위가 겹치는 사선 부분에서는, 각 센서로부터의 거리를 판정할 수 있고, 소정의 동작(예컨대, 손가락의 움직임 등)을 판정할 수 있다.
이것에 의해, 예를 들어, 도 11과 같은 손가락 제스처에 의해 청취 디바이스(100)를 조작하는 것이 가능하다. 즉, 도 11의 왼쪽 도면, 중앙 도면에 예시되는 바와 같이, 검지를 돌리는 방향을 따라 음량을 변경하거나, 도 11 오른쪽 도면에 예시되는 바와 같이, 검지와 엄지를 맞춘 횟수로, 예를 들어, 1회이면 음악의 온오프, 2회이면 청취 모드를 변경하도록 하여도 좋다.
이것에 의해, 예를 들어, 사용자 단말(200)을 조작하지 않고, 청취 디바이스(100)를 용이하게 조작할 수 있게 되기 때문에, 사용자의 편의성이 향상된다.
<제 4 실시형태>
도 12는 본 발명의 제 4 실시형태를 나타내는 흐름도이다. 제 4 실시형태에서는, 도 12를 참조하여, 청취에 관한 새로운 확인 테스트 방법에 대한 일례를 설명한다. 또, 당해 새로운 확인 테스트를 상술한 확인 테스트로서 실시하여도 좋다.
우선, 청취 디바이스(100)는 랜덤하게 나열된 복수의 숫자의 발음을 소정의 강도(db)로 출력한다(예컨대, 영어로 「312」를 70db로 출력)(S201).
다음으로, 사용자 단말(200)의 표시부에 청취 결과의 확인 테스트를 실시한다(S202). 예를 들어, 도 13에 나타내는 바와 같이, 발음된 복수의 숫자가 「321」, 「213」, 「312」 중 어느 것이었는지를 대답하는 택일 문제를 제시한다. 또, 청취를 위한 발음은 반복 청취할 수 있도록 버튼을 배치하여도 좋고, 횟수 제한을 두도록 하여도 좋다.
다음으로, 숫자와 강도를 변경하여, S201 및 S202를 복수회 반복한다. 숫자는, 예를 들어, 1-9, 강도는, 예를 들어, 30, 40, 50, 60, 70, 80, 90db 중에서 랜덤으로 선택되며 모두가 선택되도록 반복된다.
다음에, 소정 회수(예컨대, 10회 정도) 반복한 후, 그 회답 내용을 해석하고, 해석 결과에 따른 파라미터 세트를 생성하고, 청취 디바이스(100)를 조정한다. 또, 각 숫자에는, 예를 들어, 영어나 일본어에서, 각 숫자의 발음과 관련지어진 주파수(예컨대, One 이라면, 125, 350, 500, 600, 750, 1,000Hz 등)가 알려져 있고, 이것에 의해 확인하는 주파수가 모두 망라되도록 상기 숫자의 선택이 반복됨으로써, 예를 들어, 16채널 분량의 주파수를 망라하여 확인 테스트하는 것이 가능하다.
이것에 의해, 종래의 확인 테스트보다 간단하고 정확하게 테스트할 수 있기 때문에, 사용자의 편의성이 향상된다.
<제 5 실시형태>
도 14는 본 발명의 제 5 실시형태를 나타내는 흐름도이다. 제 5 실시예에서는, 도 14를 참조하면서, 이명을 감소시키기 위한 기능에 대한 일례를 설명한다.
우선, 사용자 단말(200)에서 애플리케이션을 기동하고, 이명 확인 기능을 개시한다(S301).
다음으로, 당해 애플리케이션에서 제시된, 예를 들어, 도 14와 같은 강도(db) 및 주파수(Hz)의 표로부터 이명음과 유사한 사운드가 선택된다(S302). 도 15에 나타내는 바와 같이, 표 내에서 선택함으로써 선택 위치의 사운드를 들을 수 있다. 또, 특히 오른쪽 귀와 왼쪽 귀의 양쪽 모두에서 이명 증상이 있는 경우에는, 각각 선택한다.
다음으로, 선택된 사운드의 역위상 사운드를 치료음으로 설정한다(S303).
그 후, 예를 들어, 도 16에 나타내는 바와 같이, 청취 디바이스(100)로부터 치료음을 출력함으로써, 이명음을 상쇄하고 이명을 감소시킬 수 있게 된다. 특히, 좌우에서 이명의 강도나 주파수가 상이한 사용자에게는 더 유용하다. 예를 들어, 왼쪽 귀에서는 2,000Hz, 70db의 사운드를 선택하고, 오른쪽 귀에서는 1,000Hz, 80db의 사운드를 선택하고, 각각 역 위상의 사운드를 치료음으로서 설정하는 것이 가능해진다.
<제 6 실시형태>
상기의 제 1 실시형태의 변형예 3에서 기재한 바와 같이, 특히, 청취 디바이스(100)에 SIM 카드나 GPS를 탑재한 경우, 통상 사용자 단말(200)에 저장된 데이터를 청취 디바이스(100) 또는 서버(300)에 저장함과 동시에, 사용자의 음성을 취득하고, 공지의 음성 해석에 의해 사용자가 말한 내용을 해석함으로써, 청취 디바이스(100) 단독으로 다양한 기능을 이용할 수 있게 된다.
<제 6 실시형태의 구체예 1>
구체예 1로서는, 예를 들어, 퍼스널 어시스턴트일 수 있다. 즉, 사용자가 요청을 말로 전달하고, 필요에 따라 응답을 서버(300) 등으로부터 얻는 것에 의해, 타이머나 알람을 걸거나, 일기 예보를 확인하거나, 말 등을 검색하거나, 택시를 부르거나, 지도로 네비게이팅을 받는 등을 할 수 있다. 또한, 번역 애플리케이션 등에 접속함으로써, 실시간으로 번역 결과를 얻을 수 있음과 동시에, 번역 결과를 읽은 것을 사용자의 귀로 출력한다. 또, 서버(300)에, 예를 들면, 번역 결과나 실제로 말한 내용 등을 대량으로 축적하고, 기계 학습 또는 심층 학습 등에 의해, 보다 정밀하게 청취 디바이스(100)에서 번역을 출력할 수 있도록 하여도 좋다.
이것에 의해, 사용자는 특히 청취 디바이스(100) 단독으로 다양한 기능을 이용할 수 있고, 편리성을 향상시킬 수 있고, 새로운 비즈니스 모델을 제공할 수 있다.
<제 6 실시형태의 구체예 2>
구체예 2로는, 예를 들면, 사용자를 지켜보는 기능일 수 있다. 즉, 청취 디바이스(100)의 입력부로부터 사운드 데이터를 취득하고, 또한 샘플로서 사운드 데이터에 대응한 동작(예컨대, 수도를 사용하고 있는 것, 텔레비전을 보는 것 등)을 취득하여 대량으로 축적하고, 기계 학습 또는 심층 학습하는 것에 의해, 보다 정교하게 사용자가 어떠한 동작을 하고 있는지를 확인할 수 있도록 하여도 좋다. 또, 서버(300)에, 예를 들면, 위치 정보, 시간 정보 등을 대량으로 축적하고, 기계 학습 또는 심층 학습함으로써, 보다 정밀하게 사용자의 행동을 알 수 있고, 지켜볼 수 있도록 하여도 좋다.
이것에 의해, 사용자는 특히 청취 디바이스(100) 단독으로 다양한 기능을 이용할 수 있고, 편리성을 향상시킬 수 있고, 새로운 비즈니스 모델을 제공할 수 있다.
<제 6 실시형태의 구체예 3>
구체예 3으로는, 예를 들어, 대화의 보조 기능일 수 있다. 즉, 청취 디바이스(100)의 입력부로부터 음향 데이터를 획득하고, 기지의 음성 해석에 의해 사용자가 말한 내용을 해석함으로써, 회화에 대한 적절한 응답을 청취 디바이스(100)를 통해 사용자에게 전송할 수 있다. 또, 서버(300)에, 예를 들면, 회화 내용과 응답 내용 등을 대량 축적하여, 기계 학습 또는 심층 학습함으로써, 보다 정밀하게 사용자의 적절한 응답 내용을 정할 수 있으며, 예를 들면, 회의 시의, 이른바, 커닝 페이퍼처럼 사용자가 대답해야 하는 것을 귀띔해 주는 구성이 될 수도 있다.
이것에 의해, 사용자는 특히 청취 디바이스(100) 단독으로 다양한 기능을 이용할 수 있고, 편리성을 향상시킬 수 있고, 새로운 비즈니스 모델을 제공할 수 있다.
<제 6 실시형태의 구체예 4>
구체예 4로서는, 예를 들어, 음악의 추천 기능일 수 있다. 즉, 서버(300)에, 예를 들면, 곡의 재생 횟수나 장소 정보, 시간 정보 등을 대량 축적하고, 기계 학습 또는 심층 학습함으로써, 보다 정밀하게 사용자 요구에 답한 선곡이 가능하게 되도록 하여도 좋다. 더욱이, 예를 들면, 사용자가 구사하는 노래를 음성 해석 결과와, 가사 데이터에 근거하여, 선곡을 행하는 것(예컨대, 이마구치 씨의 곡을 특정하여, 동일 아티스트의 곡을 이어서 재생하는 등)에 의해, 더욱 정교하게 사용자 요구에 답한 선곡이 가능하게 되도록 하여도 좋다.
이것에 의해, 사용자는 특히 청취 디바이스(100) 단독으로 다양한 기능을 이용할 수 있어, 편의성을 높일 수 있다.
이상, 개시에 관한 실시형태에 대해서 설명했지만, 이들은 그 밖의 여러 가지 형태로 실시하는 것이 가능하고, 여러 가지 생략, 치환 및 변경을 행하여 실시할 수 있다. 이들 실시형태 및 변형예 및 생략, 치환 및 변경을 행한 것은 특허청구의 범위의 기술적 범위 및 그 균등의 범위에 포함된다.
100: 청취 디바이스 200: 사용자 단말 300: 서버 장치 NW: 네트워크

Claims (13)

  1. 네트워크를 통해, 서버와 직접 또는 간접적으로 접속되는 청취 디바이스로서,
    상기 청취 디바이스는,
    외부로부터의 사운드 데이터를 취득하는 입력부와,
    상기 사운드 데이터를 상기 서버로 송신하고, 또한 상기 서버에서 상기 사운드 데이터를 해석한 해석 결과에 기초하여 생성된 파라미터 세트를 수신하는 통신부와,
    상기 파라미터 세트를 저장하는 저장부와,
    상기 파라미터 세트에 기초하여, 상기 사운드 데이터에서 복수의 소정 주파수의 이득을 조정하는 조정부, 및
    상기 조정된 사운드 데이터를 사용자에게 사운드로서 출력하는 출력부
    를 구비하는 것을 특징으로 하는 청취 디바이스.
  2. 제 1 항에 있어서,
    상기 통신부는, 상기 서버에서 사용자가 실시한 테스트 결과에 기초하여 생성된 파라미터 세트를 수신하고,
    상기 조정부는, 상기 파라미터 세트에 기초하여, 복수의 소정 주파수의 이득을 더 조정하는
    것을 특징으로 하는 청취 디바이스.
  3. 제 1 항 또는 제 2 항에 있어서,
    네트워크를 통해, 상기 청취 디바이스, 또는 상기 청취 디바이스 및 상기 서버에 접속된 사용자 단말은, GPS를 더 구비하고,
    상기 청취 디바이스 또는 상기 사용자 단말은, 상기 GPS에 의한 위치 정보를 상기 서버로 송신하고,
    상기 통신부는, 상기 서버에서 상기 위치 정보 및 과거의 파라미터 세트로부터 생성해야 할 파라미터 세트를 추정하고, 상기 사운드 데이터의 해석 결과 및 상기 추정된 파라미터 세트에 기초하여 생성된 파라미터 세트를 수신하며,
    상기 조정부는, 상기 파라미터 세트에 기초하여, 복수의 소정 주파수의 이득을 조정하는
    것을 특징으로 하는 청취 디바이스.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 통신부는, 네트워크를 통해, 상기 청취 디바이스 및 상기 서버에 접속되어 있고, 또한 SIM을 탑재한 사용자 단말을 통해, 상기 서버와 송신 및 수신을 실행하는
    것을 특징으로 하는 청취 디바이스.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 통신부는, 네트워크를 통해, 상기 청취 디바이스 및 상기 서버에 접속되어 있고, 또한 SIM을 탑재한 배터리 디바이스를 통해, 상기 서버와 송신 및 수신을 실행하는
    것을 특징으로 하는 청취 디바이스.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 청취 디바이스는, SIM을 탑재하고 있고, 상기 서버와 송신 및 수신을 실행하는
    것을 특징으로 하는 청취 디바이스.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 조정부는, 상기 파라미터 세트에 기초하는 조정을 상기 통신부로부터 수신한 음악 데이터 또는 음성 데이터 중 적어도 어느 하나에 적용하는
    것을 특징으로 하는 청취 디바이스.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 청취 디바이스는, 복수의 IR 센서를 더 구비하고, 상기 복수의 IR 센서의 검지 결과에 기초하여, 상기 청취 디바이스를 조작할 수 있는
    것을 특징으로 하는 청취 디바이스.
  9. 제 8 항에 있어서,
    상기 검지 결과는, 사용자의 손가락 움직임인
    것을 특징으로 하는 청취 디바이스.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 조정부는, 상기 파라미터 세트에 기초하는 조정을 상기 통신부로부터 수신한 음악 데이터에 적용하는
    것을 특징으로 하는 청취 디바이스.
  11. 제 2 항에 있어서,
    상기 테스트는, 랜덤인 숫자 배열의 발음을 출력하고, 청취 결과를 확인하는 문제의 제시를 복수회 반복하는 것인
    것을 특징으로 하는 청취 디바이스.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 출력부는, 상기 사용자가 사용자 단말에 의해 선택한 이명용의 치료음을 출력하는
    것을 특징으로 하는 청취 디바이스.
  13. 청취 디바이스의 조정 방법으로서,
    상기 청취 디바이스가 외부로부터의 사운드 데이터를 취득하는 단계와,
    상기 사운드 데이터를 서버로 송신하는 단계와,
    상기 서버에서 상기 사운드 데이터를 해석하는 단계와,
    상기 해석 결과에 기초하여, 파라미터 세트를 생성하는 단계와,
    상기 청취 디바이스가 상기 서버로부터 상기 파라미터 세트를 수신하는 단계와,
    상기 파라미터 세트를 저장하는 단계와,
    상기 파라미터 세트에 기초하여, 상기 사운드 데이터에서 복수의 소정 주파수의 이득을 조정하는 단계, 및
    상기 조정된 사운드 데이터를 사용자에게 사운드로서 출력하는 단계
    를 포함하는 것을 특징으로 하는 청취 디바이스의 조정 방법.
KR1020227022545A 2020-01-17 2020-01-17 청취 디바이스, 청취 디바이스의 조정 방법 KR20220107052A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001523 WO2021144964A1 (ja) 2020-01-17 2020-01-17 ヒアリングデバイス、ヒアリングデバイスの調整方法

Publications (1)

Publication Number Publication Date
KR20220107052A true KR20220107052A (ko) 2022-08-01

Family

ID=76864135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022545A KR20220107052A (ko) 2020-01-17 2020-01-17 청취 디바이스, 청취 디바이스의 조정 방법

Country Status (4)

Country Link
US (1) US20230056862A1 (ko)
JP (1) JPWO2021144964A1 (ko)
KR (1) KR20220107052A (ko)
WO (1) WO2021144964A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4132010A3 (en) * 2021-08-06 2023-02-22 Oticon A/s A hearing system and a method for personalizing a hearing aid

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140010165A (ko) 2011-06-03 2014-01-23 에스엠씨 가부시키 가이샤 피스톤 조립체, 유체압 실린더 및 피스톤 조립체의 제조 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2268056A1 (en) * 2003-04-18 2010-12-29 Koninklijke Philips Electronics N.V. Personal audio system with earpiece remote controller
DE102012220620A1 (de) * 2012-11-13 2014-05-15 Sonormed GmbH Bereitstellen von Audiosignalen für eine Tinnitustherapie
JP6190351B2 (ja) * 2013-12-13 2017-08-30 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 学習型補聴器
KR20150111157A (ko) * 2014-03-25 2015-10-05 삼성전자주식회사 보청기의 소리를 조정하는 방법, 이를 수행하는 보청기 및 전자 장치
US20180122025A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Wireless earpiece with a legal engine

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140010165A (ko) 2011-06-03 2014-01-23 에스엠씨 가부시키 가이샤 피스톤 조립체, 유체압 실린더 및 피스톤 조립체의 제조 방법

Also Published As

Publication number Publication date
WO2021144964A1 (ja) 2021-07-22
JPWO2021144964A1 (ko) 2021-07-22
US20230056862A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US11527243B1 (en) Signal processing based on audio context
US11251763B2 (en) Audio signal adjustment method, storage medium, and terminal
CN104303177B (zh) 执行即时语音翻译的方法及耳机计算装置
CN107509153B (zh) 声音播放器件的检测方法、装置、存储介质及终端
US8380127B2 (en) Plurality of mobile communication devices for performing locally collaborative operations
CN107731241B (zh) 处理音频信号的方法、装置和存储介质
KR102447381B1 (ko) 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
CN109885162B (zh) 振动方法及移动终端
CN110568926B (zh) 一种声音信号处理方法及终端设备
CN107785027B (zh) 一种音频处理方法及电子设备
CN111370018A (zh) 音频数据的处理方法、电子设备及介质
CN110198375A (zh) 录音方法、终端及计算机可读存储介质
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
JP2011253389A (ja) 端末および擬似会話用返答情報作成プログラム
US10002611B1 (en) Asynchronous audio messaging
KR20220107052A (ko) 청취 디바이스, 청취 디바이스의 조정 방법
CN113409805A (zh) 人机交互方法、装置、存储介质及终端设备
CN109543193B (zh) 一种翻译方法、装置及终端设备
JP2015018327A (ja) 端末装置、コミュニケーションシステム、コミュニケーション方法及びプログラム
US20240040322A1 (en) Hearing device, and method for adjusting hearing device
JP2019140503A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP3227725U (ja) 文字表示機能付き補聴システム
CN109600299B (zh) 一种消息发送方法及终端
CN110035352B (zh) 一种展现音效效果的方法、柔性设备及存储介质
WO2017187674A1 (ja) 情報処理装置、情報処理システム、及びプログラム