KR102506866B1 - 차량 환경에서 선발화 안내 장치, 방법 및 시스템 - Google Patents

차량 환경에서 선발화 안내 장치, 방법 및 시스템 Download PDF

Info

Publication number
KR102506866B1
KR102506866B1 KR1020170171646A KR20170171646A KR102506866B1 KR 102506866 B1 KR102506866 B1 KR 102506866B1 KR 1020170171646 A KR1020170171646 A KR 1020170171646A KR 20170171646 A KR20170171646 A KR 20170171646A KR 102506866 B1 KR102506866 B1 KR 102506866B1
Authority
KR
South Korea
Prior art keywords
vehicle
driver
information
selection
selection message
Prior art date
Application number
KR1020170171646A
Other languages
English (en)
Other versions
KR20190070779A (ko
Inventor
윤현진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170171646A priority Critical patent/KR102506866B1/ko
Priority to US15/995,490 priority patent/US10576993B2/en
Priority to CN201810644090.6A priority patent/CN109910738A/zh
Publication of KR20190070779A publication Critical patent/KR20190070779A/ko
Application granted granted Critical
Publication of KR102506866B1 publication Critical patent/KR102506866B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice

Abstract

본 발명의 차량 환경에서 선발화 안내 장치는 운전자의 차량 탑승이 판단되면, 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하고, 상기 결정된 기능을 안내하는 선발화 메시지를 생성하는 제어부 및 상기 선발화 메시지를 출력하는 출력부를 포함하는 것을 특징으로 하여, 운전자가 요청한 내용이 아니더라도, 운전자의 상황을 판단하여 운전자에게 유용한 기능을 능동적으로 결정하고, 결정된 기능에 따른 선발화 메세지를 생성하여 안내할 수 있다. 또한, 적절한 선발화 메세지를 생성하는데 있어서, 선발화 메세지를 생성하기 위한 정보가 불충분한 경우에도, 능동적으로 요구되는 정보를 수집하여 선발화 메세지의 내용을 완성할 수 있다.

Description

차량 환경에서 선발화 안내 장치, 방법 및 시스템{APPARATUS, METHOD AND SYSTEM FOR PROVIDING VOICE OUTPUT SERVICE IN VEHICLE}
본 발명은 차량 환경에서 선발화 안내 장치, 방법 및 시스템에 관한 것으로, 보다 자세하게는 차량 상태 및 운전자 정보를 기반으로 능동적으로 운전자에게 유용한 기능을 안내하는 선발화 메시지를 제공하는 차량 환경에서 선발화 안내 장치, 방법 및 시스템에 관한 것이다.
오늘날 멀티미디어 기술의 발전은 운전자에게 인포테인먼트를 제공할 수 있는 편안한 자동차(comfortable car), 편리한 자동차(convenience car)로의 진화를 유도하고 있으며, 이러한 자동차의 진화는 운전자를 대상으로 하는 정보전달 기술의 발전으로 이어지고 있다. 또한, 자동차의 복잡성과 다양한 운행패턴으로 인해 운전자는 운전 중 더 많은 기기를 조작하게 되었고, 더불어 자동차 내/외부로부터 더 많은 정보를 요구하게 되었으며, 운전자에게 제공되는 정보의 종류도 음향, 문자, 그래픽, 영상 등의 형태로 매우 다양해지고 있다.
차량에는 운전자 편의를 위한 각종 편의장치들이 장착되고 있는데, 그 예로 차량용 오디오/비디오 시스템(Audio/Video System)이나 지도 정보, 교통 정보 등을 제공하는 차량용 내비게이션 시스템(Navigation System)등을 들 수 있다. 최근에는 오디오, 비디오, 내비게이션 시스템이 통합된 형태이면서 차량 내/외부와 통신 가능한 단말기를 포함하는 AVN(Audio Video & Navigation) 시스템이 차량에 장착되고 있으며, 이러한 AVN 시스템은 차량에서 운전자가 원하는 각종 운행 관련 정보나 위치 및 지도 정보, 오디오 및 비디오 등의 미디어 정보를 음향으로 출력하거나 시각적으로 표시하여 운전자에게 제공한다.
한편, 이동통신단말기의 부가기능 중 음성입력을 통한 전화걸기나 단말기의 각종 동작제어(단말기의 각종 기능제어나 사용자 요청정보 제공) 등을 수행하는 음성인식 기능은 종래부터 존재하였는데, 음성인식 기술은 기계, 즉 컴퓨터를 사용하여 인간의 음성신호를 인식하고 내재된 언어정보를 파악하여 필요한 작업을 실행시키는 기술을 말한다. 일례로, 음성인식 기능 중 전화걸기 기능은 사용자가 이동통신단말기의 메모리에 전화번호 등의 연락처를 저장한 뒤 이동통신단말기에 음성을 입력하면 해당 연락처의 전화번호를 인출하여 자동으로 전화걸기를 수행하는 기능이다.
이러한 음성인식 기능은 차량에도 일부 적용되고 있으며, 최근 운전자 정보 요구가 늘어남에 따라 음성인식모듈을 차량 단말기와 연계시켜 운전자가 운전 중 음성으로 정보를 요청하면 차량 단말기가 음성인식모듈을 통해 인식된 운전자 음성 요청에 따라 차량에서 운전자가 원하는 정보를 제공한다. 그러나, 단순히 운전자가 요청한 내용에 상응하는 정보만을 일방적으로 제시하는 방식이며, 운전자가 필요할 수 있는 유용한 기능을 능동적으로 제공하지 못하는 운용상의 제약이 있다.
본 발명은 상술한 한계점을 극복하기 위한 것으로, 운전자에게 유용한 기능을 능동적으로 추천할 수 있는 자동차 환경에서 선발화 안내 장치, 방법 및 시스템을 제공하는데 목적이 있다.
본 발명의 차량 환경에서 선발화 안내 장치는 운전자의 차량 탑승이 판단되면, 클라우드 서버와 동기화된 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하고, 상기 결정된 기능을 안내하는 선발화 메시지를 생성하는 제어부 및 상기 선발화 메시지를 출력하는 출력부를 포함하는 것을 특징으로 한다.
그리고, 상기 운전자의 얼굴 영상 및 상기 차량의 주변 영상을 획득하는 카메라를 더 포함하는 것을 특징으로 한다.
그리고, 상기 차량 상태를 감지하는 센서를 더 포함하는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 차량과 상기 운전자의 개인 디바이스가 연결된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 운전자의 얼굴 영상 및 상기 운전자의 음성 중 적어도 어느 하나가 인식된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 한다.
그리고, 상기 클라우드 서버는 외부의 컨텐츠 제공자(CONTENTS PROVIDER)와 동기화되어 상기 컨텐츠 제공자의 정보가 공유되는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 도메인을 선택하여, 상기 도메인 내에서 상기 선발화 메세지를 생성하고, 상기 선발화 메세지를 생성하기 위한 기준정보가 획득되었는지 여부를 판단하는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 선발화 메세지를 생성하기 위한 기준정보가 획득된 경우, 상기 선발화 메세지를 생성하는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 선발화 메세지를 생성하기 위한 기준정보가 획득되지 않는 경우, 상기 정보획득용 메세지를 생성하는 것을 특징으로 한다.
본 발명의 차량 환경에서 선발화 안내 방법은 운전자의 차량 탑승을 판단하는 단계와, 상기 운전자의 차량 탑승이 판단되면, 클라우드 서버와 동기화된 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하는 단계와, 상기 결정된 기능을 안내하는 선발화 메시지를 생성하는 단계 및 상기 선발화 메시지를 출력하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 운전자의 차량 탑승을 판단하는 단계는 상기 차량과 상기 개인 디바이스가 연결된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 한다.
그리고, 상기 운전자의 차량 탑승을 판단하는 단계는 상기 운전자의 얼굴 영상 및 상기 운전자의 음성 중 적어도 어느 하나가 인식된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 한다.
그리고, 상기 운전자의 차량 탑승을 판단하는 단계에서 상기 운전자 정보를 획득하는 단계 및 상기 차량의 상태를 감지하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 운전자 정보를 획득하는 단계는 상기 차량과 연결된 상기 운전자의 개인 디바이스 및 상기 차량에 구비된 카메라로부터 획득하는 것을 특징으로 한다.
그리고, 상기 차량의 상태를 감지하는 단계는 상기 차량의 주행상태, 상기 차량의 설정상태 및 상기 차량의 주변상태를 감지하는 것을 특징으로 한다.
그리고, 상기 운전자에게 추천할 기능을 결정하는 단계는 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 도메인을 선택하는 것을 특징으로 한다.
그리고, 상기 선발화 메시지를 생성하는 단계는 상기 도메인 내에서 상기 선발화 메세지를 생성하기 위한 기준정보가 획득되었는지 여부를 판단하는 것을 특징으로 한다.
그리고, 상기 선발화 메시지를 생성하는 단계는 상기 선발화 메세지를 생성하기 위한 기준정보가 획득된 경우, 상기 선발화 메세지를 생성하는 것을 특징으로 한다.
그리고, 상기 선발화 메시지를 생성하는 단계는 상기 선발화 메시지를 생성하기 위한 기준정보가 획득되지 않은 경우, 상기 정보획득용 메시지를 생성하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
본 발명의 차량 환경에서 선발화 안내 시스템은 자동차 환경에서 선발화 안내 장치 및 클라우드 서버를 포함하고, 상기 장치는 운전자의 차량 탑승이 판단되면, 클라우드 서버와 동기화된 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하고, 상기 결정된 기능을 안내하는 선발화 메시지를 생성하는 제어부 및 상기 선발화 메시지를 출력하는 출력부를 포함하는 것을 특징으로 한다.
본 발명은 운전자가 요청한 내용이 아니더라도, 운전자의 상황을 판단하여 운전자에게 유용한 기능을 능동적으로 결정하고, 결정된 기능에 따른 선발화 메세지를 생성하여 안내할 수 있다. 또한, 적절한 선발화 메세지를 생성하는데 있어서, 선발화 메세지를 생성하기 위한 정보가 불충분한 경우에도, 능동적으로 요구되는 정보를 수집하여 선발화 메세지의 내용을 완성할 수 있다.
도 1 및 도 2는 본 발명의 선발화 안내 시스템을 나타내는 개략도.
도 3은 본 발명의 선발화 안내 시스템을 나타내는 구성도.
도 4는 본 발명의 실시예에 따라 각 상황 별로 안내되는 선발화를 나타내는 도면.
도 5는 본 발명의 선발화 안내 방법의 흐름을 나타내는 순서도.
도 6은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 운전자가 차량에 탑승한 것으로 판단되면, 운전자의 정보 및 차량 상태를 기반으로 능동적으로 운전자에게 추천할 기능을 결정하고, 이를 안내하는 선발화 메시지를 생성하는 기술에 관한 것이다.
본 발명에서는 생성된 선발화 메시지가 운전자에게 바로 제공되도록 할 수 있고, 필요에 따라 운전자의 선택에 따라 제공되도록 할 수 있다. 운전자는 차량 탑승 이후, 원하는 기능을 수행하기 위한 별도의 명령어를 입력하지 않더라도 차량에서 능동적으로 추천한 기능을 제공받을 수 있고, 원치않는 경우 제공받지 않을 수 있다. 그러므로 운전자에게 맞춤화된 선발화 서비스를 제공할 수 있다.
도 1은 본 발명의 선발화 안내 시스템을 나타내는 개략도이다.
도 1에 도시된 바와 같이, 본 발명의 선발화 안내 시스템은 운전자의 차량 탑승 및/또는 차량 주행을 판단하면, 운전자 정보 획득 및 차량 상태를 감지하여, 운전자의 정보 및 차량 상태를 클라우드 서버에 전송 및 공유하고, 공유된 운전자의 정보 및 차량 상태를 기반으로 능동적으로 현재 상황에 적합한 선발화 메시지를 생성할 수 있다. 보다 자세하게는 도 2의 설명을 참조한다.
도 2를 참조하면, 본 발명의 선발화 안내 시스템은 능동적으로 운전자에게 추천할 기능을 결정하고, 이를 안내하는 선발화 메시지를 생성하기 위하여 운전자 정보를 획득하고 및 차량의 상태를 감지할 수 있다.
운전자 정보는 차량 및 운전자 개인 디바이스로부터 획득할 수 있으며, 운전자의 감정, 통화내역, 캘린더, 음악, SNS, 메모, 동영상, 차량 내 개인설정정보, 문자, 건강정보, 이메일, 날씨 등을 포함할 수 있다. 여기서, 개인 디바이스는 휴대전화 및 태블릿 PC를 포함할 수 있다.
차량의 상태는 차량의 주행 상태, 차량의 설정 상태 및 차량의 주변상태를 포함할 수 있다. 여기서, 차량의 설정 상태는 주유상태, 차량 소모품의 상태 등을 포함할 수 있다.
그리고, 본 발명의 선발화 안내 시스템은 운전자의 차량 탑승 및/또는 차량 주행을 판단할 수 있다. 운전자가 차량에 탑승하였는지 판단하기 위하여 다음의 조건을 확인할 수 있다.
탑승여부 판단조건 1. 차량과 개인 디바이스가 연결
탑승여부 판단조건 2. 운전자의 얼굴 영상 및 운전자의 음성 중 적어도 어느 하나가 인식
탑승여부 판단조건 3. 운전석에 구비된 센서가 운전자의 탑승을 센싱
상술한 조건 1 내지 조건 3 중 적어도 어느 하나가 만족되면 운전자가 탑승한 것으로 판단할 수 있다.
또한, 차량 주행여부를 판단하기 위하여 다음의 조건을 확인할 수 있다.
주행여부 판단조건 1. 차량의 이동 신호가 존재하는지 여부
주행여부 판단조건 2. 차량의 속도가 소정속도를 초과하였는지 여부
주행여부 판단조건 3. 엔진 및 변속기 등의 파워트레인의 제어
상술한 조건 1 내지 조건 3 중 적어도 어느 하나가 만족되면 차량이 주행중인 것으로 판단할 수 있다.
그리고, 본 발명의 선발화 안내 시스템은 운전자 정보 및 차량 상태를 클라우드 서버에 전송하여 공유할 수 있다. 운전자의 개인 디바이스 및 외부 컨텐츠 제공자(contents provider)는 무선통신을 통하여 클라우드 서버와 연결될 수 있다.
클라우드 서버는 개인 디바이스와 연결되어, 클라우드 서버에는 통화내역, 캘린더, 음악, SNS, 메모, 동영상, 차량 내 개인설정정보, 문자, 건강정보, 이메일, 날씨 등의 정보들을 포함하는 개인 데이터베이스가 생성 될 수 있다. 또한, 클라우드 서버는 컨텐츠 제공자와 연결되어 날씨, 교통, 음악 등의 정보들이 공유될 수 있다.
본 발명의 선발화 안내 시스템은 클라우드 서버에 저장 및 공유된 데이터를 기반으로 능동적으로 운전자에게 추천할 기능을 결정하고, 결정된 기능을 안내하는 선발화 메세지를 생성한다.
선발화 메세지는 운전자 정보 및 차량 상태를 기반으로 음악을 추천하거나, 일정을 리마인드 하거나, 차량소모품을 사전 안내하는 방식으로 생성될 수 있다. 또한, 상황이 정확하게 판단되지 않는 경우 미확보된 정보들을 획득하기 위한 정보획득용 메세지를 생성할 수 있다.
도 3은 본 발명의 선발화 안내 시스템을 나타내는 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 선발화 안내 시스템은 선발화 메세지를 생성하는 선발화 안내 장치(100) 및 운전자 정보 및 차량 상태가 저장된 클라우드 서버(200)를 포함할 수 있다.
선발화 안내 장치(100)는 카메라(10), 입력부(20), 센서(30), 통신부(40), 제어부(50) 및 출력부(60)를 포함할 수 있다.
카메라(10)는 차량 내외부에 설치된 카메라 모듈을 포함할 수 있다. 차량 내부에 설치된 카메라모듈은 운전자의 얼굴을 촬영하여, 운전자의 얼굴영상을 포함하는 운전자정보를 획득할 수 있다. 또한, 차량 외부에 설치된 카메라모듈은 차량 주행에 따라 차량 인접거리 내 영상정보를 획득하고, 차량 외부의 교통정보, 도로정보를 포함하는 차량의 주변 상태를 획득할 수 있다.
입력부(20)는 운전자의 음성을 인식할 수 있는 마이크를 포함할 수 있다. 입력부(20)는 운전자가 발화한 음성을 인식하여 운전자의 차량 탑승을 판단할 수 있다.
센서(30)는 운전석에 설치되어 운전자의 차량 탑승을 감지할 수 있다. 실시예에 따르면, 센서(30)는 운전석의 서스펜션의 상,하 움직임을 검출하여 운전자의 차량 탑승을 감지할 수 있다.
또한, 센서(30)는 차량 주행에 따라 차량의 각 구성요소들의 동작에 의해 생성되는 차량의 주행 상태를 감지할 수 있다. 일반적인 주행상태는 차량의 속도, rpm 값, 가속도, 가속 패달 조작 (예, 가속 패달의 밟은 깊이, 속도 등), 풋 브레이크 패달 조작 (예, 브레이크 패달의 밟은 깊이, 속도 등), 클러치 패달 조작 정보(예, 클러치 패달의 밟은 깊이, 속도 등), 변속 기어 단수, 변속 기어 레버 위치 중 적어도 하나 이상의 조작을 이용하여 감지할 수 있다.
실시예에 따르면, 센서(30)는 페달의 동작을 감지하는 센서를 포함할 수 있으며, 차량의 속도/가속도/급과속/급감속/장기과속, 차량의 급제동/급출발 동작을 감지할 수 있으며, 차량핸들의 동작을 감지하는 센서를 포함하여, 차량의 급회전, 급진로 변경 동작을 감지할 수 있다. 이 외에도, 센서(30)는 수신 라디오 방송국, 주행기록계, 연료탱크 내 연료레벨, 시간, 날짜 등을 감지할 수 있다.
또한, 센서(30)는 차량에 구비된 GPS 모듈을 이용하여 차량의 위치 및 차량의 이동방향을 감지할 수 있다.
또한, 센서(30)는 운전자의 생체정보를 감지할 수 있다. 실시예에 따르면, 센서부(30)는 운전자의 신체의 일부에 접촉되어 운전자의 심박수를 측정하도록 할 수 있다.
통신부(40)는 운전자의 개인 디바이스와 무선통신 하도록 하여 연결되도록 한다. 통신부(40)는 차량에서 수집된 정보를 서버(200)로 전송할 수 있으며, 무선 인터넷 접속을 위한 무선인터넷 모듈과 근거리 통신을 위한 근거리 통신 모듈을 포함할 수 있다. 참고로, 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), 3GPP(3rd Generation Partnership Project), 4GPP(4rd Generation Partnership Project) 등이 이용될 수 있고, 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
제어부(50)는 카메라(10), 입력부(20)및 센서(30) 로부터 획득된 정보를 기반으로 능동적으로 운전자에게 추천할 기능을 결정하고 결정된 기능을 안내하는 선발화 메시지를 생성할 수 있다.
제어부(50)는 운전자의 차량 탑승 및/또는 차량 주행을 판단하면, 무선통신을 통하여 클라우드 서버(200)에 운전자 정보 및 차량 상태를 공유하여 클라우드 서버(200) 내에 개인 데이터베이스를 생성하도록 할 수 있다. 제어부(50)는 운전자 정보 및 차량 상태를 판단하여, 운전자에게 추천할 기능을 능동적으로 결정할 수 있다. 이를 위하여 제어부(50)는 운전자 정보 및 차량 상태를 기반으로 능동적으로 도메인을 선택할 수 있다. 실시예에 따르면, 운전자가 차량에 탑승한 후 차량 주행중에 변화될 수 있는 운전자 상태 및 차량의 상태를 판단하고, 이를 기반으로 운전자에게 추천가능한 기능을 결정할 수 있다. 따라서, 추천 가능한 기능은 운전자의 감정, 운전자의 일정, 차량의 상태에 따라 달라질 수 있다.
제어부(50)는 카메라(10), 입력부(20)및 센서(30) 로부터 획득된 정보, 개인 디바이스로부터 획득된 정보 및 외부 컨텐츠 제공자로부터 획득된 정보를 기반으로 결정된 추천가능한 기능을 안내하기 위하여 선발화 메세지를 생성할 수 있다.
예를들면, 도 4에 도시된 바와 같이, 제어부(50)는 운전자 정보 및 차량 상태를 기반으로 운전자의 감정을 판단할 수 있으며, 이를 통하여 '추천'과 관련된 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 운전자의 감정은 카메라 (10)로부터 획득된 운전자의 얼굴영상, 센서(30)로부터 감지된 운전자의 건강정보, 차량 주변의 교통상황, 외부 컨텐츠 제공자로부터 획득된 날씨정보 등을 포함할 수 있으며, 이러한 정보를 기반으로 운전자의 감정을 판단하여, 음악을 추천하거나, 운전의 부주의를 경고하는 선발화 메세지를 생성할 수 있다.
또한, 제어부(50)는 차량 및 개인 디바이스에 저장된 일정을 기반으로 '추천', '리마인드', '사전안내'와 관련된 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 개인 디바이스의 캘린더 및 메모 등에 기 저장된 일정 및 외부 컨텐츠 제공자가 제공하는 날씨 정보를 기반으로 선발화 메세지를 생성할 수 있다. 여기서, 일정은 미팅, 기념일, 약속, 생일 등을 포함할 수 있으며, 해당 일정이 진행되는 장소를 검색하여 안내하거나, 일정을 사전에 안내하는 선발화 메세지를 생성할 수 있다.
또한, 제어부(50)는 차량센서의 모니터링을 기반으로 '추천','리마인드', '사전안내'와 관련된 선발화 시나리오를 생성할 수 있다. 실시예에 따르면, 센서로부터 소모품 모니터링, 차선 모니터링, 주유상태, 전후방의 환경을 감지하여, 차선을 유지하며 운전할 것에 대한 경고메세지를 생성하거나, 소모품을 교체할 것을 사전에 안내하도록 선발화 메세지를 생성할 수 있다.
보다 구체적으로, 제어부(50)가 운전자에게 추천할 기능을 능동적으로 결정하기 위하여 능동적으로 도메인을 선택하고, 결정된 기능을 안내하기 위하여 선발화 메시지를 생성하는 동작을 표 1 및 표 2를 참조하여 설명한다. 표 1은 선발화 메세지를 생성하기 위해 요구되는 정보를 나타낸 표이고, 표 2는 표 1에 기재된 정보들을 이용하여, 생성된 선발화 메세지를 나타낸 표이다.
상황 활용 데이터베이스 선발화 시나리오 도메인
감정 건강정보, 교통상황,
일정, 얼굴모니터링		 음악추천,
운전부주의 경고		 미디어, 운전안내
일정 캘린더, 날씨, 메모 목적지 추천,
일정안내		 목적지, 일정
차량센서 차선 모니터링,주유센서, 전후방센서 운전부주의 경고,
소모품 교체		 차량관리
판단보류 전체 빈칸처리
(empty slot)		 -
....
선발화 시나리오 도메인 선발화 메세지
음악추천 미디어 -교통체증이 심하죠 신나는 락 음악을 틀어드릴께요.
-오늘은 평소보다 스트레스가 높으시네요, EDM 듣고 힘내세요
운전 부주의 경고 운전안내,
목적지		 -피로해 보이시네요, 잠시 운전을 멈추시고 휴식을 취하세요.
-평소보다 혈당 수치가 증가되었네요, 필요하시면 근처 약국으로 안내해 드릴께요.
목적지 추천 목적지, 일정,
쇼핑		 -오늘은 아내 생일이네요, 선물 사셔야죠, 근처 쇼핑몰로 안내해드릴까요?
-결혼기념일 축하드려요, 저녁식사를 위한 근사한 식당 추천 해드릴께요
일정안내 목적지,
일정,
날씨		 -오늘 세차하기로 예약되었는데요, 오후에 비가 올 예정이에요, 세차 예약 변경할까요?
-오늘은 아파트 주차장 유지보수로 인해 출입이 제한됩니다. 퇴근시 지상에 주차해 주세요.
-저녁 8시에 김영수와 통화하기로 되어있네요, 전화를 걸까요?
소모품 교체 차량관리 -지금 부산으로 출발하면 약 2시간 후에는 타이어 공기압이 기준보다 낮아집니다. 사전에 공기 충전해주세요.
-전주로 가는 도중에 연료가 떨어질 것 같네요. 인근 주유소에서 먼저 주유하고 출발할까요?
예를들면, 제어부(50)는 운전자의 얼굴영상을 기반으로 운전자의 얼굴을 모니터링한 결과 및 교통상황을 기반으로, 운전자의 감정을 판단할 수 있다. 제어부(50)는 운전자의 감정을 기반으로 미디어 관련 도메인 을 선택할 수 있고, 해당 도메인 내에서 음악추천의 기능을 능동적으로 결정할 수 있다. 그리고, 음악추천을 안내하는 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '교통체증이 심하죠? 신나는 락 음악을 틀어드릴께요.' 또는 '오늘은 평소보다 스트레스가 높으시네요, EDM 듣고 힘내세요.'라는 선발화 메세지를 생성할 수 있다. 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 운전자의 얼굴영상 및 운전자의 생체정보를 기반으로 운전자의 감정을 판단할 수 있다. 제어부(50)는 운전자의 감정을 기반으로 운전안내 관련 도메인을 선택할 수 있고, 해당 도메인 내에서 운전자에게 추천할 기능을 능동적으로 결정할 수 있다. 그리고, 추천할 기능을 안내하는 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '평소보다 혈당 수치가 증가되었네요, 필요하시면 근처 약국으로 안내해 드릴까요?'라는 선발화 메세지를 생성할 수 있다. 여기서, 선발화 메시지는 운전자에게 해당 기능을 제공할 지 여부를 선택하도록 하여 생성될 수 있다. 즉, 제어부(50)는 선발화 메시지의 생성 여부를 운전자가 선택하도록 유도할 수 있다. 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 개인 디바이스 내 저장된 일정을 기반으로 운전자의 일정을 판단할 수 있다. 제어부(50)는 운전자의 일정을 기반으로 목적지, 일정, 쇼핑 관련 도메인을 선택할 수 있고, 해당 도메인 내에서 목적지 추천 기능을 능동적으로 결정할 수 있다. 그리고, 목적지 추천을 안내하는 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '오늘은 아내의 생일이네요, 선물 사셔야죠. 근처 쇼핑몰로 안내해드릴까요?'라는 선발화 메세지를 생성할 수 있다. 이 경우, 생성된 선발화 메세지는 근처 쇼핑몰로 안내하도록 할지, 다른 서비스를 선택하도록 할지, 운전자가 직접 선택하도록 생성된 것으로 이해될 수 있다. 또 다른 실시예에 따르면, 제어부(50)는 '결혼 기념을 축하드려요, 저녁식사를 위한 근사한 식당 추천해 드릴께요.'라는 선발화 메시지를 생성할 수 있다. 이 경우, 제어부(50)는 운전자 일정을 기반으로 도메인을 선택하고 운전자에게 능동적으로 추천하는 기능을 결정하여 선발화 메세지를 생성할 수 있다. 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 개인 디바이스, 외부 컨텐츠 제공자로부터 운전자의 일정 및 날씨정보를 판단할 수 있다. 제어부(50)는 운전자의 일정 및 날씨정보를 기반으로 목적지, 일정, 날씨 관련 도메인을 선택할 수 있고, 해당 도메인 내에서 능동적으로 일정안내의 기능을 결정할 수 있다. 그리고, 안내 기능에 관한 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '오늘 세차하기로 예약되었는데요, 오후에 비가 올 예정이예요. 세차 예약 변경할까요?' 또는 '저녁 8시에 김영수와 통화하기로 되어있네요, 전화를 걸까요?'라는 선발화 메시지를 생성할 수 있다. 이 경우, 선발화 메세지는 세차 예약의 변경여부 또는 전화걸기 여부를 운전자가 직접 선택하도록 생성된 것으로 이해될 수 있다. 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 센서부로부터 차량의 상태를 판단할 수 있다. 제어부(50)는 차량의 상태를 기반으로, 차량관리 관련 도메인을 선택할 수 있고, 해당 도메인 내에서 능동적으로 소모품 교체할 것을 추천하는 기능을 결정할 수 있다. 그리고, 이와 관련된 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '지금 부산으로 출발하면 약 2시간 후에는 타이어 공기압이 기준보다 낮아집니다. 사전에 공기 충전해주세요' 또는 '전주로 가는 도중에 연료가 떨어질 것 같네요. 인근 주유소에서 먼저 주유하고 출발할까요?'라는 선발화 메세지를 생성할 수 있다. 이 경우, 선발화 메세지는 차량의 주유 여부를 운전자가 직접 선택하도록 생성된 것으로 이해될 수 있다. 선발화 메세지는 출력부(50)를 통하여 음성 또는 이미지로 출력될수 있다.
한편, 제어부(50)는 선발화 메세지를 생성하기 위한 기준정보가 획득되었는지 여부를 판단하고, 기준정보가 획득되지 않은 경우 정보획득용 선발화 메세지를 생성할 수 있다. 즉, 제어부(50)는 기준정보가 획득되지 않은 경우, 선발화 메세지를 생성을 위한 '보류' 상태로 판단할 수 있으며, 기준정보를 획득하기 위하여 정보획득용 선발화 메세지를 생성할 수 있다. 보다 구체적으로 표 3을 참조한다. 표 3은 운전자선발화 메시지를 생성하기 위한 요구정보를 기재한 표이다. 표 3의 정보는 카메라(10), 입력부(20) 및 센서(30)로부터 획득될 수 있고, 개인 디바이스로부터 획득될 수 있고, 외부 컨텐츠 제공자로부터 획득될 수 있다. 여기서, 표 3의 ()은 선발화 메시지를 생성하기 위한 요구정보가 획득되지 않은 것을 의미한다. 표 3을 참조하면, 나이, 성별, GPS, 음악장르, 방문빈도시간 등의 정보가 획득되지 않은 것으로 이해될 수 있다.
상황 정보(F1) 정보(F2) 정보(F3) 정보(F4) 정보(F5) 정보(F6) ..
감정(S1) (나이) (성별) 스트레스 교통상황 표정 ..
일정(S2) 기념일 메모 날씨
차량센서
(S3)		 TPMS 속도계 (GPS) 전/후방감지 주유 차선모니터링
취향(S4) (음악장르) 라디오
채널		 DMB 채널
운전패턴
(S5)		 차선준수비율 급가속
비율		 급정지
비율		 관성운전
경로(S6) 방문빈도 (방문빈도시간) 등록지점
제어부(50)는 표 3의 정보를 이용하여 선발화 트리거(trigger) 조건 테이블을 생성할 수 있다. 선발화 트리거 조건 테이블은 클라우드 서버에 저장된 운전자 정보 및 차량 상태에 관련된 정보들을 기반으로 선발화 메세지를 생성하기 위한 기준정보를 나타낸 테이블이다. 보다 구체적으로 표 4를 참조한다. 표 4는 선발화 트리거 조건 테이블을 나타낸 것이다. 선발화 트리거 조건 테이블 내의 정보들은 차량 및 개인 디바이스로부터 획득된 정보 및 외부 컨텐츠 제공자로부터 획득된 정보를 포함할 수 있다.
선발화 시나리오 선발화영역 기준정보 보류
추천
 미디어 S1F3, S1F4, S1F5, (S4F1) O
장소 S2F1, S2F2
리마인드
 일정 S2F1, S2F2
목적지 S2F1, S2F2
사전안내 소모품 S3F1, S3F3, S3F5 O
표 4에서, 예를들면 선발화 시나리오 중 '추천'에 대하여 살펴보면, '추천'을 하기 위하여 '미디어' 선발화 영역에서는 기준정보로 S1F3, S1F4, S1F5, S4F1가 요구된다. 그러나, S4F1에는 ()가 있으므로, S4F1의 정보는 획득되지 않은 것을 알 수 있다. 기준정보가 모두 획득되어 지지 않은 상태에서는 '추천'과 관련된 선발화 메세지가 생성될 수 없으며, 이 상태가 소정시간 유지되는 경우 '추천'과 관련된 선발화 메세지의 생성은 '보류' 상태로 지정된다. 이러한 경우, 제어부(50)는 정보획득용 선발화 메세지를 생성하여, S4F1의 정보를 획득할 수 있다. 정보획득용 선발화 메세지는 기준정보를 획득할 수 있는 내용을 포함할 수 있다.
예를들면, 제어부(50)는 S4F1의 정보를 획득하기 위하여 '오늘처럼 교통체증으로 스트레스 받으실 때, 좋아하는 음악을 들려드리려고 해요, 어떤 장르를 좋아하세요?'라는 정보획득용 선발화 메세지를 생성하고, 출력부(60)를 통하여 음성이나 이미지로 출력할 수 있다. 만약, 정보획득용 선발화 메세지에 대하여 운전자가 좋아하는 장르를 '모던락'으로 대답한 경우, 제어부(50)는 S4F1의 정보를 '모던락'으로 획득할 수 있다. 제어부(50)는 S4F1의 정보가 획득된 경우, 기준정보가 획득된 것으로 판단하고, '좋아하시는 장르로 음악 들려드릴께요'라는 선발화 메세지를 생성할 수 있다.
다른 실시예에 따르면, 제어부(50)는 표 3의 ()의 정보를 획득하기 위하여 표 5와 같이, 선발화 시나리오를 생성할 수 있다.
선발화 시나리오 도메인 정보획득용 선발화 메세지
선발화 트리거 조건 테이블
기준정보 획득		 미디어 좋아하는 음악을 들려드리고 싶은데요, 어떤 장르 좋아하세요?
헬스케어 정확한 스트레스 측정을 위해서 나이와 성별 필요합니다. 말씀해주시겠어요?
목적지 매일 오전에 도착하는 곳을 직장으로 설정할까요?
표 5를 참조하면, 제어부(50)는 표 3의 (음악장르)의 정보를 획득하기 위하여 미디어 관련 도메인 내에서 능동적으로 정보획득용 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '좋아하는 음악을 들려드리고 싶은데요, 어떤 장르를 좋아하세요'라는 정보획득용 선발화 메세지를 생성할 수 있다. 정보획득용 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 표 3의 (나이), (성별) 정보를 획득하기 위하여 능동적으로 헬스 케어 관련 도메인 내에서 정보획득용 선발화 메세지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '정확한 스트레스 측정을 위해서 나이와 성별이 필요합니다, 말씀해주시겠어요?'라는 정보획득용 선발화 메세지를 생성할 수 있다. 정보획득용 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
또한, 제어부(50)는 표 3의 (GPS), (방문빈도시간)의 정보를 획득하기 위하여 능동적으로 목적지 관련 도메인 내에서 정보획득용 선발화 메시지를 생성할 수 있다. 실시예에 따르면, 제어부(50)는 '매일 오전 시간에 도착하는 곳을 직장으로 설정할까요?'라는 정보획득용 선발화 메세지를 생성할 수 있다. 정보획득용 선발화 메세지는 출력부(60)를 통하여 음성 또는 이미지로 출력될 수 있다.
이와 같이, 제어부(50)는 운전자 정보 및 차량 상태와 관련된 정보가 부족하여 선발화 메시지를 생성하는데 '보류'상태인 경우 정보획득용 선발화 메세지를 생성함으로써 해당 정보를 획득할 수 있다.
클라우드 서버(200)에는 차량 및 개인 디바이스로부터 운전자 정보 및 차량 상태와 관련된 정보들이 포함된 개인 데이터 베이스가 저장될 수 있다. 클라우드 서버(200)는 차량 및 개인 디바이스와 무선통신할 수 있으며, 무선통신을 통하여 통화내역, 캘린더, 음악, SNS, 메모, 동영상, 차량 내 개인설정정보, 문자, 건강정보, 이메일, 날씨 등의 정보들을 전송받을 수 있다. 또한, 클라우드 서버(200)는 컨텐츠 제공자와 실시간 동기화되어, 날씨, 교통, 음악 등의 컨텐츠 내에 포함된 정보는 클라우드 서버(200)에 공유될 수 있다. 또한, 차량의 상태 및 설정값도 클라우드 서버(200)에 공유될 수 있다.
도 5는 본 발명의 선발화 안내 방법의 흐름을 나타내는 순서도이다.
도 5에 도시된 바와 같이, 먼저, 운전자의 차량탑승 및/또는 차량 주행을 판단한다(S110). S110 단계는 차량과 개인 디바이스의 연결여부, 운전자 얼굴 영상 및 운전자의 음성 중 적어도 어느 하나가 인식되었는지 여부, 운전석에 구비된 센서가 운전자의 탑승을 센싱하였는지 여부를 확인하여, 운전자의 차량탑승을 판단할 수 있다. 또한, 차량의 GPS 이동 신호가 존재하는지 여부, 차량의 속도가 소정속도를 초과하였는지 여부, 엔진 및 변속기 등의 파워트레인의 제어가 이루어지는지 여부를 확인하여, 차량 주행상태를 판단할 수 있다. S110 단계에서는 차량에 구비된 카메라 및 개인 디바이스로부터 운전자 정보를 획득할 수 있고, 차량에 구비된 센서로부터 차량의 설정상태 및 차량의 주변상태를 감지하여 차량 상태의 정보를 획득할 수 있다.
S110 단계에서 운전자의 차량 탑승 및/또는차량주행으로 판단되면,, 운전자 정보 및 차량 상태와 관련된 정보를 클라우드 서버에 전송및 동기화하여, 클라우드 서버 내에 개인 데이터 베이스를 생성한다(S120). 클라우드 서버는 외부 컨텐츠 제공자와 동기화될 수 있으며, 외부 컨텐츠 제공자의 정보가 공유될 수 있다. S120 단계는 무선통신으로 수행될 수 있으며, 와이파이나 블루투스 통신 방식을 이용할 수 있다.
클라우드 서버와 동기화된 운전자 정보 및 차량 상태를 기반으로 운전자에게 추천할 기능을 능동적으로 결정한다(S130). S130 단계에서 운전자에게 추천할 기능을 능동적으로 결정하기 위하여, 운전자 정보 및 차량 상태를 기반으로 도메인을 선택할 수 있다.
도메인을 선택하고 운전자에게 추천할 기능을 결정한 후, 선발화 메세지를 생성하기 위한 기준정보가 획득되었는지 판단한다(S140). S14O 단계는 클라우드 서버에 저장된 운전자 정보, 차량 상태 및 컨텐츠 제공자의 정보를 기반으로 도메인을 능동적으로 선택하고, 도메인 내에서 운전자에게 추천할 기능을 결정하고, 결정된 기능을 안내하는 선발화 메세지를 생성하기 위한 기준정보가 획득되었는지 여부를 판단할 수 있다.
S140 단계에서 기준정보가 획득되지 않은 경우(No), 기준정보를 획득하기 위하여 정보획득용 선발화 메세지를 생성하고 출력한다(S150). S15O 단계는 S160 단계를 수행하기에는 불충분한 것으로 판단되어 선발화 메시지를 생성을 위한 '보류' 상태로 판단되는 경우 수행될 수 있으며, 기준정보가 획득될 때까지 정보획득용 선발화 메시지를 능동적으로 생성할수 있다. 정보획득용 선발화 메세지는 기준정보를 획득할 수 있는 내용을 포함할 수 있다.
한편, S140 단계에서 기준정보가 획득된 경우(yes), 선발화 메세지를 생성하고 출력한다(S160). S160 단계에서는 S130 단계에서 결정된 기능을 안내하는 선발화 메세지를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
카메라부 10
입력부 20
센서부 30
통신부 40
제어부 50
출력부 60
차량단말 100
클라우드 서버 200

Claims (20)

  1. 운전자의 차량 탑승이 판단되면, 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하고, 선발화 메시지를 생성하기 위한 기준 정보가 있는지 여부에 따라, 상기 기준 정보를 기반으로 상기 운전자에게 추천할 기능에 상응하는 상기 선발화 메시지 또는 상기 기준 정보를 획득하기 위한 상기 선발화 메시지를 생성하는 제어부; 및
    상기 선발화 메시지를 출력하는 출력부를 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  2. 청구항 1에 있어서,
    상기 운전자의 얼굴 영상 및 상기 차량의 주변 영상을 획득하는 카메라를 더 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  3. 청구항 1에 있어서,
    상기 차량 상태를 감지하는 센서를 더 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  4. 청구항 1에 있어서,
    상기 제어부는
    상기 차량과 상기 운전자의 개인 디바이스가 연결된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  5. 청구항 1에 있어서,
    상기 제어부는
    상기 운전자의 얼굴 영상 및 상기 운전자의 음성 중 적어도 어느 하나가 인식된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  6. 청구항 1에 있어서,
    상기 제어부는
    상기 운전자의 정보 및 상기 차량의 상태를 클라우드 서버와 동기화하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  7. 청구항 1에 있어서,
    상기 제어부는
    상기 운전자의 정보 및 상기 차량의 상태를 기반으로 도메인을 선택하여, 상기 도메인 내에서 상기 선발화 메시지를 생성하고, 상기 선발화 메시지를 생성하기 위한 기준정보가 획득되었는지 여부를 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 장치.
  8. 삭제
  9. 삭제
  10. 운전자의 차량 탑승을 판단하는 단계;
    상기 운전자의 차량 탑승이 판단되면, 클라우드 서버와 동기화된 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하는 단계;
    선발화 메시지를 생성하기 위한 기준 정보가 있는지 여부에 따라, 상기 기준 정보를 기반으로 상기 운전자에게 추천할 기능에 상응하는 상기 선발화 메시지 또는 상기 기준 정보를 획득하기 위한 상기 선발화 메시지를 생성하는 단계; 및
    상기 선발화 메시지를 출력하는 단계를 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  11. 청구항 10에 있어서,
    상기 운전자의 차량 탑승을 판단하는 단계는
    상기 차량과 개인 디바이스가 연결된 경우, 상기 운전자의 차량 탑승 으로 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  12. 청구항 10에 있어서,
    상기 운전자의 차량 탑승을 판단하는 단계는
    상기 운전자의 얼굴 영상 및 상기 운전자의 음성 중 적어도 어느 하나가 인식된 경우, 상기 운전자의 차량 탑승으로 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  13. 청구항 10에 있어서,
    상기 운전자의 차량 탑승을 판단하는 단계에서
    상기 운전자 정보를 획득하는 단계; 및
    상기 차량의 상태를 감지하는 단계를 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  14. 청구항 13에 있어서,
    상기 운전자 정보를 획득하는 단계는
    상기 차량과 연결된 상기 운전자의 개인 디바이스 및 상기 차량에 구비된 카메라로부터 획득하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  15. 청구항 13에 있어서,
    상기 차량의 상태를 감지하는 단계는
    상기 차량의 주행상태, 상기 차량의 설정상태 및 상기 차량의 주변상태를 감지하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  16. 청구항 10에 있어서,
    상기 운전자에게 추천할 기능을 결정하는 단계는
    상기 운전자의 정보 및 상기 차량의 상태를 기반으로 도메인을 선택하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  17. 청구항 16에 있어서,
    상기 선발화 메시지를 생성하는 단계는
    상기 도메인 내에서 상기 선발화 메시지를 생성하기 위한 요구정보 기준값이 획득되었는지 여부를 판단하는 것을 특징으로 하는 차량 환경에서 선발화 안내 방법.
  18. 삭제
  19. 삭제
  20. 자동차 환경에서 선발화 안내 장치 및 클라우드 서버를 포함하는 시스템에 있어서,
    상기 장치는
    운전자의 차량 탑승이 판단되면, 클라우드 서버와 동기화된 상기 운전자의 정보 및 상기 차량의 상태를 기반으로 상기 운전자에게 추천할 기능을 결정하고, 선발화 메시지를 생성하기 위한 기준 정보가 있는지 여부에 따라, 상기 기준 정보를 기반으로 상기 운전자에게 추천할 기능에 상응하는 상기 선발화 메시지 또는 상기 기준 정보를 획득하기 위한 상기 선발화 메시지를 생성하는 제어부; 및
    상기 선발화 메시지를 출력하는 출력부를 포함하는 것을 특징으로 하는 차량 환경에서 선발화 안내 시스템.
KR1020170171646A 2017-12-13 2017-12-13 차량 환경에서 선발화 안내 장치, 방법 및 시스템 KR102506866B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170171646A KR102506866B1 (ko) 2017-12-13 2017-12-13 차량 환경에서 선발화 안내 장치, 방법 및 시스템
US15/995,490 US10576993B2 (en) 2017-12-13 2018-06-01 Apparatus, method and system for providing voice output service in vehicle
CN201810644090.6A CN109910738A (zh) 2017-12-13 2018-06-21 用于在车辆中提供语音输出服务的装置、方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171646A KR102506866B1 (ko) 2017-12-13 2017-12-13 차량 환경에서 선발화 안내 장치, 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190070779A KR20190070779A (ko) 2019-06-21
KR102506866B1 true KR102506866B1 (ko) 2023-03-08

Family

ID=66735078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171646A KR102506866B1 (ko) 2017-12-13 2017-12-13 차량 환경에서 선발화 안내 장치, 방법 및 시스템

Country Status (3)

Country Link
US (1) US10576993B2 (ko)
KR (1) KR102506866B1 (ko)
CN (1) CN109910738A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2543759B (en) * 2015-10-23 2019-03-20 Jaguar Land Rover Ltd Vehicle user advice system
KR102433393B1 (ko) * 2017-12-12 2022-08-17 한국전자통신연구원 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
JP2019119445A (ja) * 2018-01-04 2019-07-22 ハーマン インターナショナル インダストリーズ インコーポレイテッド 車両キャビン内での拡張されたメディア体験のためのムードルーフ
JP2020077262A (ja) * 2018-11-08 2020-05-21 トヨタ自動車株式会社 情報処理システム、サーバ、プログラム、及び情報処理方法
US10575155B1 (en) * 2019-03-27 2020-02-25 GM Global Technology Operations LLC Unified vehicle service framework for interfacing independently located providers and recipients
CN110834590A (zh) * 2019-11-26 2020-02-25 奇瑞汽车股份有限公司 汽车门开欢迎语系统及其控制方法
KR20210069444A (ko) 2019-12-03 2021-06-11 현대모비스 주식회사 운전자를 위한 가변 빔 패턴 램프 시스템 및 제어방법
JP7359710B2 (ja) * 2020-02-03 2023-10-11 トヨタ自動車株式会社 車両管理システム
CN113488033A (zh) * 2020-03-17 2021-10-08 北京百度网讯科技有限公司 用户被动式语音交互方法、装置、终端、服务器和介质
CN111439268B (zh) * 2020-03-31 2023-03-14 重庆长安汽车股份有限公司 一种主动提供个性化服务的方法、装置、云端服务器及汽车
CN113734187A (zh) * 2020-05-29 2021-12-03 逸驾智能科技有限公司 用于与车辆用户进行信息交互的方法、装置及车机
CN111857638A (zh) * 2020-06-01 2020-10-30 江西江铃集团新能源汽车有限公司 一种基于人脸识别的语音交互方法、系统及汽车
KR20220014943A (ko) * 2020-07-29 2022-02-08 현대자동차주식회사 주행 환경 연동 운전자 감정 판단 방법 및 시스템
CN111833881B (zh) * 2020-08-07 2023-09-08 斑马网络技术有限公司 行程语音服务生成方法、行程陪伴助理系统及电子设备
CN112146675A (zh) * 2020-10-09 2020-12-29 上海博泰悦臻网络技术服务有限公司 基于语音对话的服务推荐方法、系统、介质及装置
DE102020128852A1 (de) 2020-11-03 2022-05-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur Steuerung einer Bereitstellung einer Vorschlagsinformation an einen Fahrzeuginsassen eines Fahrzeuges
CN114516341A (zh) * 2022-04-13 2022-05-20 北京智科车联科技有限公司 用户交互方法、系统及车辆
CN116757417A (zh) * 2023-06-20 2023-09-15 上海巴兰仕汽车检测设备股份有限公司 一种基于互联网技术的洗车机智慧管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150307106A1 (en) 2014-04-28 2015-10-29 Ford Global Technologies, Llc Driver behavior based vehicle application recommendation
US20160039424A1 (en) 2014-08-11 2016-02-11 Lg Electronics Inc. Wearable device and method of operating the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796056B2 (en) * 2007-03-28 2010-09-14 Fein Gene S Digital windshield information system employing a recommendation engine keyed to a map database system
KR101643548B1 (ko) 2013-09-25 2016-07-29 주식회사 비트컴퓨터 차량 위치 정보 기반 운전자 맞춤형 정보 제공 시스템 및 방법
US9484025B2 (en) 2013-10-15 2016-11-01 Toyota Jidosha Kabushiki Kaisha Configuring dynamic custom vocabulary for personalized speech recognition
US20150237470A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Personal Geofence
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
EP3201913A4 (en) 2014-10-01 2018-06-06 Xbrain Inc. Voice and connection platform
CN104660679A (zh) * 2015-01-21 2015-05-27 上海修源网络科技有限公司 一种带有语音提示功能的汽车操作系统及其控制方法
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
KR20170054849A (ko) * 2015-11-10 2017-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US20170267251A1 (en) * 2016-03-15 2017-09-21 Palo Alto Research Center Incorporated System And Method For Providing Context-Specific Vehicular Driver Interactions
KR20170109275A (ko) * 2016-03-21 2017-09-29 현대자동차주식회사 차량 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150307106A1 (en) 2014-04-28 2015-10-29 Ford Global Technologies, Llc Driver behavior based vehicle application recommendation
US20160039424A1 (en) 2014-08-11 2016-02-11 Lg Electronics Inc. Wearable device and method of operating the same

Also Published As

Publication number Publication date
US10576993B2 (en) 2020-03-03
CN109910738A (zh) 2019-06-21
KR20190070779A (ko) 2019-06-21
US20190176845A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
KR102506866B1 (ko) 차량 환경에서 선발화 안내 장치, 방법 및 시스템
US9449514B2 (en) Methods and apparatus for adaptive vehicle response to air quality states
US9188449B2 (en) Controlling in-vehicle computing system based on contextual data
US8843553B2 (en) Method and system for communication with vehicles
US20180194366A1 (en) Autonomous-Vehicle-Control System And Method Incorporating Occupant Preferences
KR20180079453A (ko) 자율 차량 서비스들
US9420401B2 (en) Method and system for a vehicle computing system communicating to a social media site
US9743247B2 (en) Position information providing device, position information providing system
US20190180250A1 (en) Method and Apparatus for Interactive Vehicle Service Reception
JP4825698B2 (ja) 通信プログラムおよび携帯端末装置
US9043049B2 (en) Method for providing user-specific settings in a motor vehicle and method for determining an assignment of a mobile communications device to a motor vehicle from a plurality of motor vehicles
JP5156672B2 (ja) 携帯端末、コンテンツ提供方法およびプログラム
US10640037B1 (en) Empathy-based speed alert
WO2014087583A1 (ja) 行先提案システム、行先提案方法、及びプログラム製品の記憶媒体
JPWO2013080375A1 (ja) 情報入力装置、情報提供装置及び情報提供システム
RU2705663C1 (ru) Перенаправление к заправочной станции
GB2528169A (en) Vehicle generated social network updates
CN107924619B (zh) 用户可配置的车辆停放警报系统
CN111047060A (zh) 服务器、信息处理方法和存储程序的非暂时性存储介质
JP7020098B2 (ja) 駐車場評価装置、駐車場情報提供方法およびプログラム
US20170363456A1 (en) Onboard system, onboard device, information processing method, and information processing program
JP2019185103A (ja) サーバ
US20200167696A1 (en) Network system to determine operational states of vehicles
JP6607592B2 (ja) 車載器、情報処理方法および情報処理プログラム
US20200394923A1 (en) Vehicle to vehicle navigation syncing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right