KR102144382B1 - 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치 - Google Patents

음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치 Download PDF

Info

Publication number
KR102144382B1
KR102144382B1 KR1020190131871A KR20190131871A KR102144382B1 KR 102144382 B1 KR102144382 B1 KR 102144382B1 KR 1020190131871 A KR1020190131871 A KR 1020190131871A KR 20190131871 A KR20190131871 A KR 20190131871A KR 102144382 B1 KR102144382 B1 KR 102144382B1
Authority
KR
South Korea
Prior art keywords
voice
signal
passenger
beamforming
unit
Prior art date
Application number
KR1020190131871A
Other languages
English (en)
Inventor
배명한
Original Assignee
(주)남경
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)남경 filed Critical (주)남경
Priority to KR1020190131871A priority Critical patent/KR102144382B1/ko
Application granted granted Critical
Publication of KR102144382B1 publication Critical patent/KR102144382B1/ko
Priority to PCT/KR2020/010812 priority patent/WO2021080142A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B60K2370/1529—
    • B60K2370/1575—
    • B60K2370/166—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Acoustics & Sound (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

본 발명은 네비게이션의 안내음성을 인식하여 화상으로 표출하는 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치에 관한 것으로서, 승차자를 향해 빔포밍하여 얻는 승차자 음성 신호를 감산한 후 음성 인식하여, 음성 인식률을 높이고, 스피커로 재현할 수 있게 하여, 음성 인식의 오류에 대처할 수 있다.

Description

음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치{HEAD UP DISPLAY APPARATUS FOR VEHICLE USING SPEECH RECOGNITION TECHNOLOGY}
본 발명은 네비게이션의 안내음성을 인식하여 화상으로 표출하는 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치에 관한 것이다.
헤드업 디스플레이(Head Up Display)는 운전자가 전방을 주시하며 쉽게 볼 수 있는 차량의 대시보드 위에 올려놓는 장치로서, 전면 유리창을 디스플레이 패널로 활용하거나 아니면 자체적으로 구비한 디스플레이 패널을 이용하여 화상으로 정보 출력하게 구성되며, 네비게이션(navigation)으로 길안내하는 정보를 요약하여 화상으로 표출하는 장치로 많이 활용된다.
이를 위해서, 헤드업 디스플레이는 네비게이션과 유선 아니면 무선으로 연결하여 연동시켜야 하므로, 일반적으로 제조사별 네비게이션 전용으로 상품화하고 있다.
또한, 네비게이션은 차량에 장착하는 것 이외에도 길안내 애플리케이션을 설치한 스마트폰으로 구현될 수 있으며, 이 경우에는 길안내 애플리케이션을 설치한 스마트폰과 페어링시켜야 한다.
따라서, 기존의 헤드업 디스플레이는 특정 네비게이션 또는 특정 길안내 애플리케이션과 전용 인터페이스 또는 사전 약속된 데이터 규약에 따라 연결하게 한다. 또한, 기존 차량에 장착 사용하던 네비게이션이 헤드업 디스플레이와 연계할 수 있는 네비게이션이 아니면, 헤드업 디스플레이를 설치할 수 없게 되어서, 네비게이션를 교체하여야 하는 경우도 있다.
그런데, 네비게이션은 화면 출력하는 정보로 길안내하기도 하지만, 음성으로 출력한 정보만 청취하더라도 길안내받으면 운전할 수 있게 하므로, 음성으로 안내받는 길안내 정보를 헤드업 디스플레이에 표출하더라도 충분하다.
이러한 점을 고려하여, 일본 공개특허 제2015-161632호에서는 네비게이션에서 출력되는 안내음성을 음성 인식하여 표출하는 기술을 개시하였다.
하지만, 일본 공개특허 제2015-161632호는 네비게이션 안내음성이 아닌 승차자 음성을 인식하는 인식 오류에 대처할 수 있게 되어 있지 아니하여, 네비게이션의 길안내와 상이한 정보를 표출하거나 아니면 인식하지 못하여 표출시키지 못할 우려가 있다. 특히, 승차자는 주행 방향, 목적지, 주행 거리 등 네비게이션 길안내와 유사한 내용의 대화를 하는 경우가 다반사이므로, 승차자 음성을 네비게이션 안내음성으로 잘못 인식할 가능성이 많다.
KR 10-2014-0123158 A 2014.10.22. KR 10-2010-0122540 A 2010.11.23. JP 2015-161632 A 2015.09.07.
따라서, 본 발명은 네비게이션 안내음성을 인식하여 화상으로 표출함에 있어서, 차량 내 승차자 음성에 의한 인식 오류를 범하지 않도록 하여, 네비게이션 안내음성을 정확하게 인식한 후 표출할 수 있는 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 후방에서 네비게이션 안내음성을 집음하는 마이크(10), 마이크(10)를 얻는 음성 데이터를 출력할 화상을 생성하는 신호처리부(20) 및 화상을 전방에서 출력하는 디스플레이부(30)를 포함하는 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치에 있어서, 상기 마이크(10)는 복수 개로 구성한 마이크 어레이를 이루고, 상기 신호처리부(20)는 네비게이션에서 사용되는 안내음성별 안내음성 패턴 및 화상 구성 정보를 저장하여 둔 저장부(21); 복수의 마이크에서 출력하는 음성 신호를 빔포밍 신호처리하여 승차자의 방향을 빔포밍 지향각으로 한 승차자 음성 신호를 얻는 빔포밍부(22); 어느 하나의 마이크(10)에서 출력한 음성 신호에서 승차자 음성 신호를 감산하여 승차자 음성 신호를 억제하는 신호 합성부(23); 승차자 음성 신호를 억제한 음성 신호에서 안내음성 패턴을 검출하는 음성 인식부(24); 검출한 안내음성 패턴에 대응되는 화상을 화상 구성 정보에 따라 생성하는 화상 생성부(25);를 포함한다.
본 발명의 일 실시 예에 따르면, 상기 신호처리부(20)는 상기 음성 인식부(24)에서 안내음성 패턴을 검출하지 못한 동안의 복수의 마이크의 음성 신호를 상관분석하여, 발성한 승차자의 방향을 추적하여 빔포밍 지향각으로 선정하는 승차자 방향 추적부(26)를 더욱 구비한다.
본 발명의 일 실시 예에 따르면, 상기 승차자 방향 추적부(26)는 선정한 빔포밍 지향각별로 발생 빈도를 산정하며, 선정한 빔포밍 지향각의 개수가 기설정 개수를 초과하면, 발생 빈도가 큰 순서로 기설정 개수의 빔포밍 지향각을 선택하여 상기 빔포밍부(22)에서 사용되게 한다.
본 발명의 일 실시 예에 따르면, 상기 승차자 방향 추적부(26)는 상기 빔 포밍부(22)에서 획득한 승차자 음성 신호의 파워에 비례하는 가중치를 부여하며 발생 빈도를 산정한다.
본 발명의 일 실시 예에 따르면, 스피커(40)를 더욱 포함하고, 상기 신호처리부(20)는 승차자 음성 신호를 억제한 음성 신호 중에, 상기 음성 인식부(24)에 의해 안내음성 패턴이 검출된 구간의 음성 신호를 추출하여 상기 스피커(40)를 통해 출력시키는 음성 신호 추출부(27)를 구비한다.
본 발명의 일 실시 예에 따르면, 상기 음성 신호 추출부(27)는 추출한 음성 신호의 파워에서 안내음성 패턴에 대응되는 신호의 파워를 감산하여 얻는 파워가 기설정 파워 이상일 시에, 상기 스피커(40)를 통해 출력시킨다.
상기와 같이 구성되는 본 발명은 마이크 어레이로 집음한 음성 신호에 대해 승차자를 향한 빔포밍 신호처리하여 얻는 승차자 음성 신호로 승차자 음성을 억제한 후 음성 인식하므로, 네비게이션 안내 내용과 유사한 길안내 관련하여 승차자끼지 대화하더라도, 인식 오류를 최소화하며 네비게이션 안내음성을 보다 정확하게 인식하고 화상으로 표출할 수 있다.
일 실시 예에 따르면, 본 발명은 승차자 방향을 탐색하여, 빔포밍 지향각을 선정하므로, 네비게이션 안내음성의 파워 손실은 줄이면서 승차자의 음성을 확실하게 억제한 음성을 인식하므로, 네비게이션 안내음성의 인식 오류를 최소화할 수 있다.
일 실시 예에 따르면, 본 발명은 차량 내의 반향에 의해서 승차자 음성이 충분히 억제되지 아니하더라도 음성을 재생하여 들려주므로, 인식 오류에 대처할 수 있다.
도 1은 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치의 사시도.
도 2는 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치를 설치한 차량 내부를 보여주는 도면.
도 3은 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치의 블록 구성도.
도 4는 빔포밍 지향각(B1)의 초기값을 표시한 차량 내부의 도면(a)과, 승차자의 위치에 따라 수정한 빔포빔 지향각(B2)을 표시한 차량 내부의 도면(b).
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다.
본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치의 사시도이다.
도 2는 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치(2)를 설치한 차량 내부를 보여주는 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치(2)는 네비게이션(1)이 사용되는 차량의 내부에 설치되어 네비게이션(1)에서 안내하는 정보를 전방의 디스플레이부(30)로 화상 출력하는 장치로서, 종래 헤드업 디스플레이(HUD : Head-up Display)처럼 차량 내부 중에 대시보드 위에 올려놓으면 되지만, 네비게이션(1)과 유선 또는 무선으로 연결하지 않더라도 네비게이션(1)에서 출력하는 안내 음성을 인식하여 화상 출력할 수 있다.
이를 위한 본 발명은 외형적으로 보면, 복수의 마이크(10)을 후면에 일정 간격을 두고 일렬로 배치하여 마이크 어레이를 형성하고, 아울러, 스피커(40)도 배치하여서, 복수 마이크(10) 및 스피커(40)를 후방을 향하게 한다. 즉, 마이크(10)는 차량 내부를 향하도록 후방에 배치되어 차량 내부에서 발생한 음성을 각각의 마이크(10)로 집음하여 전기적 신호로 변환하고, 스피커(40)로 출력하는 오디호 신호를 차량 내 승차자가 청취할 수 있게 한다.
여기서, 네비게이션(1)은 음성 출력하여 길안내하는 네비게이션으로서, 차량 내에 장착하는 네비게이션에 한정되는 것은 아니고, 예를 들어, 길안내 애플리케이션을 설치한 스마트폰이어도 좋다.
도 3은 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치의 블록 구성도이다. 상기 도 3에서는 음성 신호, 음성 데이터 및 화상 데이터의 전달 경로는 실선으로 표시하고, 음성 신호의 신호처리 또는 화상 구성을 위해 필요한 데이터, 정보 및 상황 알림 정보의 전달 경로는 파선으로 표시하였다.
도 3을 참조하면, 본 발명의 실시 예에 따른 차량용 헤드업 디스플레이 장치(2)는 마이크(10), 신호처리부(20), 디스플레이부(30) 및 스피커(40)를 포함한다.
먼저, 상기 디스플레이부(30)는 전방을 향해 화상을 표시하여 후방에서 볼 수 있게 하면 되며, 화상을 출력하기 위한 광학계, 반사계 및 표시패널로 구성하거나 아니면 표시패널을 대신하여 전면유리를 사용하는 등 다양한 구성 방식이 공지되어 있으므로, 상기 디스플레이부(30)에 대한 상세 설명은 생략하고, 본 발명의 특징적 구성요소인 마이크(10) 및 신호처리부(20)와, 스피커(40)를 통해 출력할 음성 신호에 대해서 상세하게 설명한다.
상기 마이크(10)는 네비게이션(1)에서 출력하는 안내음성을 음성 인식하기 위해 집음하여 전기적 음성 신호를 출력하는 구성으로서, 차량 내부의 승차자 음성도 집음되어 전기적 음성 신호에 섞여 유입될 수 있다. 이와 같이 유입되는 승차자 음성은 네비게이션 안내음성의 인식률을 저하시킬 수 있다.
본 발명에서는 승차자 음성이 유입되더라도 네비게이션 안내음성의 인식률을 높이기 위해서, 복수 개의 마이크(10)를 헤드업 디스플레이 장치(2)의 후면에 일정 간격을 두고 일렬로 설치하여 오디오 빔포밍을 위한 마이크 어레이를 이루게 하였다. 예시적으로 3개의 마이크(10)를 설치하였으나, 2개 아니면 4개 이상으로 할 수도 있다. 각각의 상기 마이크(10)는 차량 내의 소리를 집음하여 전기적 음성 신호를 출력한다. 실제로는 네비게이션 안내음성 및 승차자 음성 이외에도 차량 소음 등의 다양한 음원에 의한 음향이 집음되지만, 본 발명에서는 안내음성의 인식에 주안점을 두므로, 오디오 신호 대신에 음성 신호라는 표현을 사용한다.
상기 신호처리부(20)는 복수 개의 마이크(10)에서 출력하는 음성 신호를 전처리하여 승차자 음성을 억제한 음성 신호로 네비게이션 안내음성을 인식하고, 인식한 안내음성을 표출하기 위한 화상을 구성하여 상기 디스플레이부(20)에 전달하며, 그럼에도 음성 인식의 오류가 발생할 수 있으므로, 네비게이션 안내음성이 집음되는 시간 구간의 음성 신호를 추출하여 상기 스피커(40)에 전달함으로써, 네비게이션 안내음성을 재생시킨다.
이를 위한 상기 신호처리부(20)는 저장부(21), 빔포밍부(22), 신호 합성부(23), 음성 인식부(24), 화상 생성부(25), 승차자 방향 추적부(26) 및 음성 신호 추출부(27)를 구비한다.
상기 저장부(21)에는 안내음성 패턴 및 화상 구성 정보가 저장되어 있다.
안내음성 패턴은 네비게이션(1) 안내음성의 특징적 패턴으로서 예를 들어 네비게이션(1) 안내음성의 문장에 포함된 문자(음소, 음절, 또는 단어)의 전기적 신호 데이터, 아니면 문자 데이터와, 포함된 문자의 배열 순서 및 배열 간격을 포함할 수 있다.
여기서, 전기적 신호 데이터는 파형으로 안내음성을 식별하기 위한 데이터로서, 음성 신호의 패턴으로 안내음성을 식별하는 데 사용할 수 있고, 문자 데이터는 음성 신호를 음성 인식하여 얻는 문자로 안내음성을 식별하는 데 사용할 수 있으며, 전기적 신호 데이터 및 문자 데이터 중에 어떤 데이터를 사용하든 음성 인식부(24)에서 그 데이터에 따라 안내음성을 검출 또는 식별하게 하면 된다.
문자의 배열 순서 및 배열 간격은 예를 들어 지명, 건물명, 목적지, 도로명처럼 길안내 위치에 따라 바뀌는 단어를 포함하는 기본 문장에서, 해당 단어를 제외한 문자(상기 안내음성 패턴에 대응되는 문자)의 배열을 나타내는 데이터이다. 이에, 음성 신호에서 네비게이션 안내음성을 검출할 시에는 안내음성 패턴에 대응되는 문자가 배열에 맞춰져 있을 시에 안내음성의 신호가 음성 신호에 포함되어 있는 것으로 판단하는 방식으로 안내음성을 검출한다.
화상 구성 정보는 안내음성의 내용을 표출하기 위한 화상의 구성 방식에 관련된 정보로서, 네비게이션(1)의 안내음성에 담긴 주행 방향, 이정표 안내멘트, 거리, 단속 카메라 위치 등을 표시할 이미지 또는 텍스트의 화상 상의 배치에 관련된 정보를 포함한다. 이러한 화상 구성 정보는 기본 화상에 표시한 부분 화상 구성 정보로서 안내음성 패턴별로 대응되게 저장되어 있다.
상기 빔포밍부(22)는 상기 복수의 마이크(10)에서 출력하는 음성 신호를 오디오 빔포밍 신호처리하여, 차량 내의 승차자 방향을 빔포밍 지향각으로 한 승차자 음성 신호를 얻는다.
오디오 빔포밍(audio beam forming)은 마이크 어레이를 구성하는 복수의 마이크(10)에서 각각 집음되어 출력하는 음성 신호의 위상차(또는 각 마이크에 도달하는 음성의 도달 시간차)를 이용하여, 빔포밍 지향각을 중심으로 한 소정 입체각 범위에서 발생한 음성을 증폭하고, 그 범위에서 벗어난 범위의 음성은 억제한 음성 신호를 얻는 기술로서, 마이크(10)별로 출력하는 음성 신호를 빔포밍 지향각에 대응되는 가중치를 부여하여 합산하는 공지의 기술이므로, 상세한 설명은 생략한다.
여기서, 빔포밍 지향각은 프로그램적으로 임의 조절할 수 있으며, 본 발명의 실시 예에서는 후술하는 상기 승차자 방향 추적부(26)에서 승차자 방향을 탐색한 결과에 따라 선정한 지향각을 전달받아 사용하게 하였다.
또한, 상기 빔포밍부(22)는 상기 승차자 방향 추적부(26)로부터 서로 다른 복수의 빔포밍 지향각을 전달받는 경우, 각각의 빔포밍 지향각으로 빔포밍하여 얻는 음성 신호를 합성하여, 승차자 음성을 합성한 승차자 음성 신호를 얻는다.
그런데, 오디오 빔포밍은 지향각을 중심으로 한 소정의 입체각으로 하는 빔포밍 범위를 집음하게 되므로, 서로 지향각의 빔포밍 범위가 상호 겹치는 범위를 갖게 될 수 있다. 이에, 빔포밍 범위가 겹치는 지향각에 대해서는 지향각의 중간 값을 사용하여, 빔포밍하는 것이 좋다. 이때의 빔포밍 범위는 차량 내의 좌석 배치를 고려하여 일정한 값으로 미리 정해두고 사용하는 것이 좋다.
상기 신호 합성부(23)는 복수의 마이크(10) 중에 어느 하나의 마이크에서 출력한 음성 신호에서, 상기 빔포밍부(22)로 얻는 승차자 음성 신호를 감산하여, 승차자 음성 신호를 억제한 음성 신호를 얻는다. 즉, 어느 하나의 마이크(10)에서 출력하는 음성 신호는 네비게이션 안내음성과 승차자 음성을 합성한 신호이므로, 승차자 음성 신호를 얻어 억제하는 것이다. 물론, 승차자 음성 신호는 복수 마이크(10)의 음성 신호를 합성하여 얻으므로, 하나의 마이크(10)에서 출력하는 음성 신호 파워의 레벨에 맞춰 합성하여야 한다.
상기 음성 인식부(24)는 승차자 음성 신호를 억제한 음성 신호를 상기 신호 합성부(23)로부터 전달받아, 안내음성 패턴을 검출하여, 안내음성을 인식한다.
보다 상세하게 설명하면, 전달받은 음성 신호에서 상기 저장부(21)에 보관된 안내음성 패턴이 검출되면, 검출된 안내음성 패턴에 대응되는 네비게이션 안내음성을 인식하게 되고, 안내음성 패턴이 검출되지 아니하면, 네비게이션 안내음성이 없는 시간의 음성 신호로 인식하게 된다.
앞서 언급하였듯이, 전기적 신호의 파형을 나타내는 데이터를 안내음성 패턴으로 하는 경우, 파형 분석하여 안내음성 패턴을 검출하고, 텍스트 문자 형식의 문자 데이터를 안내음성 패턴으로 하는 경우, 음성 인식하여 얻는 문자를 이용하여 안내음성 패턴을 검출한다. 물론, 문자의 파형을 이용하든 아니면 문자 데이터를 이용하든, 문자의 배열도 확인하여 안내음성 패턴이 음성 신호에 존재하는 지를 판단한다.
한편, 네비게이션 안내음성에는 거리, 지명 등의 길안내 위치의 특정 길안내 정보가 포함될 수 있으므로, 그러한 특정 길안내 정보가 포함되는 안내음성 패턴이 검출될 시에는 안내음성의 문장 구조에 따라 음성 인식하여 특정 길안내 정보로 안내되는 문자를 인식한다.
상기 화상 생성부(25)는 상기 음성 인식부(24)에서 인식한 안내음성(또는 안내음성 패턴)에 대응되는 화상을 화상 구성 정보에 따라 생성한다. 물론, 특정 길안내 정보로서 인식한 문자가 있을 경우, 해당 문자를 표시하도록 화상을 구성한다. 여기서, 생성한 화상은 상기 디스플레이부(30)에게 전달되어 출력되게 한다.
상기 승차자 방향 추적부(26)에 대해서는 도 4를 참조하며 설명한다.
도 4는 차량 내부에서 승차자를 향하여 빔포빔한 지향각을 보여주는 도면으로서, 도 4(a)에는 빔포밍 지향각(B1)의 초기값이 도시되어 있고, 도 4(b)에는 승차자가 발성함에 따라 승차자 방향을 탐색하여 수정한 빔포밍 지향각(B2)이 도시되어 있다.
상기 승차자 방향 추적부(26)는 승차자의 방향을 빔포밍 지향각으로 선정하기 위한 구성요소로서, 도 4(a)에 도시한 빔포밍 지향각(B1)을 미리 설정된 후방측 방향으로 초기화하여, 초기화한 빔포밍 지향각(B1)을 상기 빔포밍부(22)에 전달하게 한다. 예시적으로, 초기 빔포밍 지향각(B1)은 운전석과 조수석을 향하게 하였으나, 본 발명의 설치 위치를 달리함에 따라 정확하게 운전석 및 조수석을 향하지 아니할 수 있다. 그렇지만, 헤드업 디스플레이의 일반적인 설치 위치 및 방향을 고려하여 초기값을 정하더라도 승차자 음성을 상당히 억제할 수 있다.
아울러, 빔포밍 지향각(B1)의 중심 방향으로 하는 빔포밍 범위(R)는 일정한 크기로 미리 설정하여 두어, 설정된 값을 사용하게 한다.
이후, 상기 음성 인식부(24)에서 안내음성 패턴을 검출하였는지 그 여부를 확인하여, 인내음성 패턴이 검출되지 아니한 동안에 복수 마이크(10)에서 출력되는 음성 신호를 전달받는다. 그리고, 마이크(10)별 음성 신호를 상관분석하여서, 도 4(b)에 도시한 바와 같이 발성한 승차자의 방향을 추적한다. 마이크(10)별도 도달하는 소리의 차이, 즉 소리의 도착 지연시간차는 상관분석(correlation analysis)에 의해 얻을 수 있고, 음파 속도를 반영하여 거리차도 얻을 수 있으며, 발성한 승차자까지의 거리차 및 마이크 배열 위치를 적용하여 승차자 방향도 얻을 수 있으며, 이와 같이 마이크 어레이에서 출력되는 음성 신호를 상관분석하여 음원(본 발명에서는 승차자)의 방향을 얻는 기술은 공지의 기술이므로, 더이상의 상세 설명은 생략한다.
이때, 추적한 승차자의 방향을 빔포밍 지향각(B2)으로 수정하여, 상기 빔포밍부(22)에 전달한다. 즉, 초기 빔포밍 지향각(B1)은 도 4(a)에 예시한 바와 같이 본 발명의 차량 설치 위치에 따라 승차자 방향에서 벗어날 수 있으나, 상기 승차자 방향 추적부(26)에 의해 수정한 빔포밍 지향각(B2)은 도 4(b)에 예시한 바와 같이 승차자를 향하게 된다. 물론, 차량 내 승차자 중에서 발성한 승차자 방향으로 빔포밍 지향각(B2)으로 한다.
한편, 승차자가 움직이며 발성하는 경우, 선정하게 될 빔포밍 지향각의 개수는 승차자 수보다 많아질 수 있으므로, 승차자 음성에 따라 선정하는 빔포밍 지향각별로 선정 횟수를 카운터하여 발생 빈도를 산정하고, 선정한 빔포밍 지향각의 개수가 기설정 개수를 초과하면, 발생 빈도가 큰 순서로 기설정 개수의 빔포밍 지향각을 선택하여 상기 빔포밍부(22)에 전달한다.
즉, 빔포밍하는 영역은 가능하면 승차자로 한정하여, 네비게이션 안내음성의 파워까지 약해지는 것을 최대한 방지하는 것이 바람직하며, 이를 위해서, 승차자 방향을 감지할 수 없는 초기 상태에서 초기화 빔포밍 지향각을 사용하고, 발성한 승차자를 발견할 때마다 수정한 지향각을 추가하고, 추가할 지향각의 수를 제한함으로써 필요 이상의 지향각 개수를 사용하지 않게 한다.
또한, 승차자 음성 신호의 파워에 비례하는 가중치를 누적 횟수에 가중치를 부여하며 누적하여서, 가중치를 부여한 발생 빈도를 산정하여도 좋다. 이때의 가중치는 승차자 음성 신호의 파워에 비례하게 선정하며, 예를 들어 1회 누적할 시에 1.2배 가중치를 부여하여 1.2회를 누적한다. 승차자 음성 신호는 추적한 승차자 방향에 따라 상기 빔 포밍부(22)에서 획득하게 하므로, 상기 빔 포밍부(22)에서 파워 산정하게 하여 넘겨받아, 가중치를 얻는다.
차량 시동이 꺼진 이후, 차량이 시동하여 전력이 공급됨으로써, 본 발명에 따른 차량용 헤드업 디스플레이 장치가 재가동된 상태에서는 승차자 수 또는 착석 좌석도 달라질 수 있다. 이에, 시동 초기에는 이전 선정한 빔포밍 지향각 중에서 기설정한 빔포밍 지향각의 개수보다 적은 개수를 발생 빈도가 높은 순서에 따라 선정 사용하여도 좋다.
상기 음성 신호 추출부(27)는 상기 신호 합성부(23)에서 상기 음성 인식부(24)로 전달되는 음성 신호, 즉, 승차자 음성 신호를 억제한 음성 신호를 전달받고, 안내음성 패턴이 검출된 구간에 관련된 정보를 상기 음성 인식부(24)로부터 전달받는다. 그리고, 음성 신호(승차자 음성 신호를 억제한 음성 신호) 중에 해당 구간(안내음성 패턴이 검출된 구간)의 음성 신호를 추출하고, 추출한 음성 신호의 파워에서 안내음성 패턴에 대응되는 신호의 파워를 감산하여, 승차자 음성으로 간주되는 신호의 파워를 산정한다. 이를 위해서, 상기 음성 신호 추출부(27)는 파워 산정부(27a)를 내장하며, 예를 들어, 파워 산정부(27a)는 안내음성 패턴의 신호와 음성 신호(승차자 음성 신호를 억제한 음성 신호)의 상관도 크기에 따라 파워를 간접적으로 산정하도록 구성할 수 있다.
승차자 음성으로 간주되는 신호의 파워가 기설정 파워 이상이면, 추출한 음성 신호를 상기 스피커(40)를 통해 출력시켜서, 안내음성 패턴이 검출되는 음성을 상기 스피커(40)를 통해 재생한다. 즉, 승차자 음성이 기설정 파워 이상으로 커서, 안내음성을 제대로 인식하지 못할 수 있고, 결국, 안내음성의 인식 오류에 따라 잘못된 안내 화상을 상기 디스플레이부(30)로 표출할 수 있으므로, 상기 스피커(40)를 이용하여 재생한 음성으로 안내하여 인식 오류를 보완하는 것이다.
이상에서 설명한 바와 같이, 본 발명에 따른 차량용 헤드업 디스플레이 장치는 네비게이션으로 안내되는 길안내 정보를 네비게이션과 유무선 연결하지 않더라도 안내음성을 인식하여 화상으로 표출하되, 승차자의 발성 음성에 의한 인식 오류를 최소화하도록, 승차자 음성을 억제하는 신호처리과정을 수행한 이후 음성 인식하고, 그럼에도 네비게이션 안내음성 이외의 음성이 잔류하여 인식 오류할 가능성이 있으므로, 집음한 음성 신호를 스피커(40)로 재생시킬 수 있게 하여, 화상과 음성으로 이중 출력하며, 이에, 네비게이션 안내음성을 보다 정확하게 재현할 수 있다.
한편, 도면에 표시하지는 아니하였지만, 네비게이션(1) 중에는 안내음성을 출력시킬 오디오 출력단자를 구비하는 것도 있으므로, 본 발명의 실시 예에 따른 헤드업 디스플레이 장치(2)는 오디오 출력단자에 연결할 입력단자를 구비하게 하여도 좋다. 이 경우, 입력단자를 통해 입력되는 안내음성은 음성 인식부(24)에 직접 전달되게 한다.
1 : 네비게이션
2 : 헤드업 디스플레이 장치
10 : 마이크
20 : 신호처리부
21 : 저장부 22 : 빔포밍부
23 : 신호 합성부 24 : 음성 인식부
25 : 화상 생성부 26 : 승차자 방향 추적부
27 : 음성 신호 추출부 27a : 파워 산정부
30 : 디스플레이부
40 : 스피커

Claims (6)

  1. 후방에서 네비게이션 안내음성을 집음하는 마이크(10), 마이크(10)를 통해 얻는 음성 데이터를 출력할 화상을 생성하는 신호처리부(20) 및 화상을 전방에서 출력하는 디스플레이부(30)를 포함하는 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치에 있어서,
    상기 마이크(10)는 복수 개로 구성한 마이크 어레이를 이루고,
    상기 신호처리부(20)는
    네비게이션에서 사용되는 안내음성별 안내음성 패턴 및 화상 구성 정보를 저장하여 둔 저장부(21);
    복수의 마이크에서 출력하는 음성 신호를 빔포밍 신호처리하여 승차자의 방향을 빔포밍 지향각으로 한 승차자 음성 신호를 얻는 빔포밍부(22);
    어느 하나의 마이크(10)에서 출력한 음성 신호에서 승차자 음성 신호를 감산하여 승차자 음성 신호를 억제하는 신호 합성부(23);
    승차자 음성 신호를 억제한 음성 신호에서 안내음성 패턴을 검출하는 음성 인식부(24);
    검출한 안내음성 패턴에 대응되는 화상을 화상 구성 정보에 따라 생성하는 화상 생성부(25);
    상기 음성 인식부(24)에서 안내음성 패턴을 검출하지 못한 동안의 복수의 마이크의 음성 신호를 상관분석하여, 발성한 승차자의 방향을 추적하여 빔포밍 지향각으로 선정하고, 선정한 빔포밍 지향각별로 발생 빈도를 산정하되, 상기 빔 포밍부(22)를 통해 획득하는 승차자 음성 신호의 파워에 비례하는 가중치를 부여하며 발생 빈도를 산정하고, 선정한 빔포밍 지향각의 개수가 기설정 개수를 초과하면, 발생 빈도가 큰 순서로 기설정 개수의 빔포밍 지향각을 선택하고, 상기 신호 합성부(23)에서 감산할 승차자 음성은 각각의 빔포밍 지향각으로 빔포밍하여 얻은 음성 신호를 합성한 신호로 하게 하는 승차자 방향 추적부(26);
    를 포함하는
    음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    스피커(40)를 더욱 포함하고,
    상기 신호처리부(20)는
    승차자 음성 신호를 억제한 음성 신호 중에, 상기 음성 인식부(24)에 의해 안내음성 패턴이 검출된 구간의 음성 신호를 추출하여 상기 스피커(40)를 통해 출력시키는 음성 신호 추출부(27)를 구비하는
    음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치.
  6. 제 5항에 있어서,
    상기 음성 신호 추출부(27)는
    추출한 음성 신호의 파워에서 안내음성 패턴에 대응되는 신호의 파워를 감산하여 얻는 파워가 기설정 파워 이상일 시에, 상기 스피커(40)를 통해 출력시키는
    음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치.
KR1020190131871A 2019-10-23 2019-10-23 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치 KR102144382B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190131871A KR102144382B1 (ko) 2019-10-23 2019-10-23 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치
PCT/KR2020/010812 WO2021080142A1 (ko) 2019-10-23 2020-08-13 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190131871A KR102144382B1 (ko) 2019-10-23 2019-10-23 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR102144382B1 true KR102144382B1 (ko) 2020-08-12

Family

ID=72039054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190131871A KR102144382B1 (ko) 2019-10-23 2019-10-23 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Country Status (2)

Country Link
KR (1) KR102144382B1 (ko)
WO (1) WO2021080142A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080142A1 (ko) * 2019-10-23 2021-04-29 (주)남경 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008163713A (ja) * 2007-01-04 2008-07-17 Toyota Motor Corp 騒音防止装置
KR20100122540A (ko) 2009-05-13 2010-11-23 브이앤아이 주식회사 차량 허드용 정보표출 장치
KR20140123158A (ko) 2013-04-11 2014-10-22 엠디에스테크놀로지 주식회사 외부 정보 음성 출력이 가능한 투명 유기발광 디스플레이를 이용한 헤드업 디스플레이 장치
JP2015161632A (ja) 2014-02-28 2015-09-07 富士通テン株式会社 画像表示システム、ヘッドアップディスプレイ装置、画像表示方法、及び、プログラム
JP2016127300A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置
KR20190064270A (ko) * 2017-11-30 2019-06-10 삼성전자주식회사 음원의 위치에 기초하여 서비스를 제공하는 방법 및 이를 위한 음성 인식 디바이스

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101562234B1 (ko) * 2014-01-21 2015-10-23 자동차부품연구원 차량 운전 중 휴대단말 사용 위험 경고 장치 및 방법
KR102144382B1 (ko) * 2019-10-23 2020-08-12 (주)남경 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008163713A (ja) * 2007-01-04 2008-07-17 Toyota Motor Corp 騒音防止装置
KR20100122540A (ko) 2009-05-13 2010-11-23 브이앤아이 주식회사 차량 허드용 정보표출 장치
KR20140123158A (ko) 2013-04-11 2014-10-22 엠디에스테크놀로지 주식회사 외부 정보 음성 출력이 가능한 투명 유기발광 디스플레이를 이용한 헤드업 디스플레이 장치
JP2015161632A (ja) 2014-02-28 2015-09-07 富士通テン株式会社 画像表示システム、ヘッドアップディスプレイ装置、画像表示方法、及び、プログラム
JP2016127300A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置
KR20190064270A (ko) * 2017-11-30 2019-06-10 삼성전자주식회사 음원의 위치에 기초하여 서비스를 제공하는 방법 및 이를 위한 음성 인식 디바이스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080142A1 (ko) * 2019-10-23 2021-04-29 (주)남경 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치

Also Published As

Publication number Publication date
WO2021080142A1 (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
US10176806B2 (en) Motor vehicle operating device with a correction strategy for voice recognition
EP1879000A1 (en) Transmission of text messages by navigation systems
CN110166896B (zh) 语音提供方法、语音提供系统和服务器
JP5154363B2 (ja) 車室内音声対話装置
US8407051B2 (en) Speech recognizing apparatus
JP6284331B2 (ja) 会話支援装置、会話支援方法及び会話支援プログラム
JP2004109361A (ja) 指向性設定装置、指向性設定方法及び指向性設定プログラム
US11176948B2 (en) Agent device, agent presentation method, and storage medium
JPWO2013168254A1 (ja) 移動体用ナビゲーションシステム
US20140003620A1 (en) Devices and methods for conveying audio information in vehicles
CN111007968A (zh) 智能体装置、智能体提示方法及存储介质
EP3495942B1 (en) Head-mounted display and control method thereof
JP6645322B2 (ja) 雑音抑圧装置、音声認識装置、雑音抑圧方法、及び雑音抑圧プログラム
JP2009251388A (ja) 母国語発話装置
KR102144382B1 (ko) 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치
EP3217687A1 (en) Car onboard speech processing device
CN110865788B (zh) 交通工具通信系统和操作交通工具通信系统的方法
JPH1152976A (ja) 音声認識装置
JP5052241B2 (ja) 車載用の音声処理装置、音声処理システム、及び音声処理方法
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
JP4410378B2 (ja) 音声認識方法および装置
CN110737422A (zh) 一种声音信号采集方法及装置
JP2018087871A (ja) 音声出力装置
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP7192561B2 (ja) 音声出力装置および音声出力方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant