KR20210040856A - 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체 - Google Patents
스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체 Download PDFInfo
- Publication number
- KR20210040856A KR20210040856A KR1020210038153A KR20210038153A KR20210040856A KR 20210040856 A KR20210040856 A KR 20210040856A KR 1020210038153 A KR1020210038153 A KR 1020210038153A KR 20210038153 A KR20210038153 A KR 20210038153A KR 20210040856 A KR20210040856 A KR 20210040856A
- Authority
- KR
- South Korea
- Prior art keywords
- interaction
- user
- rearview mirror
- smart rearview
- motion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 230000002452 interceptive effect Effects 0.000 title description 2
- 230000003993 interaction Effects 0.000 claims abstract description 501
- 230000033001 locomotion Effects 0.000 claims abstract description 181
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000002618 waking effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 54
- 238000013461 design Methods 0.000 description 19
- 230000001276 controlling effect Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G06K9/00255—
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
본 출원에는 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체를 개시하고, 인공 지능 분야에 관한 것이다. 본 출원에서 스마트 백미러 상의 프론트 카메라에 따라 사용자와 동작 인터랙션을 구현할 수 있으며, 사용자와의 인터랙션 방식을 추가하는 전제 하에, 특정 시나리오에서 기존의 음성 인터랙션은 사용자의 음성을 인식하지 못하는 문제도 해결할 수 있다. 본 출원에는 또한 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러를 제어하여 사용자와 인터랙션하게 함으로써, 스마트 백미러가 스마트 백미러의 현재 사용 상태에 따라, 간편한 인터랙션 방식을 사용하여 사용자와 인터랙션할 수 있도록 함으로써, 인터랙션의 성공율을 향상시키고, 나아가 사용자 체험을 향상시킨다.
Description
본 출원은 인공 지능 분야에 관한 것으로, 특히 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체에 관한 것이다.
지능형 차량의 발전과 함께 차량 내 전자기기가 점점 더 많아지고 있다. 백미러 역시 초기의 백미러 기능에서 후진 보조 기능이 구비된 스마트 백미러로 발전되었으며, 기존 스마트 백미러는 음성으로 사용자와 인터렉션하여 스마트 백미러에서 음악 재생 및 지도 네비게이션 등 다양한 기능을 구현할 수 있다.
종래 기술에서는 사용자가 워이크업 단어를 말하여 스마트 백미러를 워이크업시킬 수 있으며, 스마트 백미러는 사용자가 말한 워이크업 단어를 인식한 후, 음성 도우미 인터페이스를 표시하거나 음성을 재생하는 방식으로 다음 음성 인터랙션을 수행하도록 사용자를 환기시킨다. 사용자와 스마트 백미러의 음성 인터렉션 과정에 스마트 백미러는 사용자 음성의 시맨틱을 인식하여 음악 재생 또는 지도 네비게이션과 같은 동작을 수행할 수 있다.
하지만, 차량이 시끄러운 환경에 있을 때와 같은 일부 응용 시나리오에서는 사용자의 음성이 주변의 소리에 가려져 스마트 백미러가 사용자의 음성을 인식하지 못하기에 정확한 응답 조작을 하지 못할 수 있다.
본 출원은 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체를 제공하며, 간편한 인터랙션 방식을 사용하여 사용자와 인터랙션 할 수 있으며, 인터랙션의 성공율을 향상시키고, 나아가 사용자 체험을 향상시킨다.
본 출원의 제1 측면에서 스마트 백미러의 인터랙션 방법을 제공하며, 상기 방법은, 스마트 백미러를 워이크업시킨 후, 상기 스마트 백미러의 현재 사용 상태를 확정하는 단계; 상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하는 단계를 포함한다.
본 실시예는, 사용자와의 인터랙션 방식을 추가하는 전제 하에, 특정 시나리오에서 기존의 음성 인터랙션으로 사용자의 음성을 인식하지 못하는 문제도 해결할 수 있으며, 스마트 백미러의 현재 사용 상태에 따라, 간편한 인터랙션 방식을 사용하여 사용자와 인터랙션하기에, 인터랙션의 성공율을 향상시키고, 나아가 사용자 체험을 향상시킨다.
본 출원의 제2 측면에서 스마트 백미러의 인터랙션 장치를 제공하며, 상기 장치는, 스마트 백미러를 워이크업시킨 후, 상기 스마트 백미러의 현재 사용 상태를 확정하기 위한 제1 처리 모듈; 상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하기 위한 제2 처리 모듈을 포함한다.
상술한 제2 측면에 따른 스마트 백미러의 인터랙션 장치의 유익한 효과는 상술한 제1 측면의 유익한 효과를 참조할 수 있으며, 여기서는 중복 설명하지 않는다.
본 출원의 제3 측면에서 전자기기를 제공하며, 상기 전자기기는, 적어도 하나의 프로세서, 메모리, 카메라 및 오디오 출력장치를 포함하되; 상기 메모리에는 컴퓨터 실행 명령이 저장되고, 상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여, 상기 전자기기가 상술한 제1 측면의 스마트 백미러의 인터랙션 방법을 실행하도록 하고, 상기 카메라는 상기 프로세서의 제어에 의해 사용자의 동작을 수집하여, 전자기기와 사용자의 동작 인터랙션을 구현하고, 상기 오디오 출력장치는 상기 프로세서의 제어에 의해 오디오를 출력하여, 상기 전자기기와 사용자의 음성 인터랙션을 구현하기 위한 것이다.
본 출원의 제4 측면에서 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 판독 가능 저장매체에는 컴퓨터 실행 명령이 저장되고, 상기 컴퓨터 실행 명령이 프로세서에 의해 실행될 때, 상술한 제1 측면의 스마트 백미러의 인터랙션 방법을 수행한다.
본 출원의 제5 측면에서 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 때, 상술한 제1 측면의 스마트 백미러의 인터랙션 방법을 수행한다.
본 출원에 따른 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체는 빅 데이터 분야에 관한 것이다. 본 출원에서 스마트 백미러 상의 프론트 카메라에 따라 사용자의 동작 인터랙션을 구현할 수 있으며, 사용자와의 인터랙션 방식을 추가하는 전제 하에, 특정 시나리오에서 기존의 음성 인터랙션으로 사용자의 음성을 인식하지 못하는 문제도 해결할 수 있다. 또한 본 출원에는 또한 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하여, 스마트 백미러가 스마트 백미러의 현재 사용 상태에 따라, 더욱 간편한 인터랙션 방식으로 사용자와 인터랙션 함으로써, 인터랙션의 성공율을 향상시키고, 나아가 사용자 체험을 향상시킨다.
이해해야 할 바로는, 본 부분에 설명된 내용은 본 출원의 실시예의 관건적인 또는 중요한 특징을 나타내기 위한 것이 아니고, 본 출원의 범위를 한정하고자 하는 것도 아니다. 본 출원의 기타 특징은 아래의 명세서에 의해 용이하게 이해될 것이다.
첨부된 도면은 본 해결수단에 대한 더 충분한 이해를 돕기 위한 것으로서, 본 출원에 대해 한정하지 않는다. 여기서,
도 1은 본 출원에 따른 스마트 백미러의 인터랙션 방법을 적용한 시나리오 도면이다.
도 2는 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제1 흐름도이다.
도 3은 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제2 흐름도이다.
도 4는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제1 예시도이다.
도 5는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제2 예시도이다.
도 6은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제3 예시도이다.
도 7은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제4 예시도이다.
도 8은 본 출원에 따른 스마트 백미러의 인터랙션 장치의 구조도이다.
도 9는 본 출원에 따른 전자기기의 구조도이다.
도 1은 본 출원에 따른 스마트 백미러의 인터랙션 방법을 적용한 시나리오 도면이다.
도 2는 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제1 흐름도이다.
도 3은 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제2 흐름도이다.
도 4는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제1 예시도이다.
도 5는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제2 예시도이다.
도 6은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제3 예시도이다.
도 7은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제4 예시도이다.
도 8은 본 출원에 따른 스마트 백미러의 인터랙션 장치의 구조도이다.
도 9는 본 출원에 따른 전자기기의 구조도이다.
아래 첨부 도면과 결합하여 본 출원의 예시적인 실시예에 대하여 설명하며, 이해를 돕기 위하여 이 중에는 본 출원의 실시예의 각 세부 사항을 포함하며, 이들을 예시적인 것으로만 간주하어야 한다. 따라서, 본 분야의 통상적인 지식을 가진 자라면, 여기에 설명된 실시예에 대하여 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 실시예의 범위와 정신을 벗어나지 않음을 이해할 것이다. 마찬가지로, 명확성과 간결성을 위하여, 아래 설명에는 공지 기능과 구조에 대한 설명을 생략한다.
지능형 차량의 발달과 함께 차량 내 전자기기가 점점 더 많아지고 있다. 예를 들어, 차량에 설치된 차량용 스피커, 스마트 백미러 등이 있다. 사용자는 이러한 차량용 전자기기와 인터랙션하여 엔터테인먼트 및 내비게이션과 같은 기능을 실현할 수 있다. 종래 기술에서 사용자와 차량용 전자기기의 인터랙션은 음성 인터랙션이고, 예를 들어, 사용자가 워이크업 단어를 말하여 차량용 전자기기를 워이크업시켜 차량용 전자기기가 사용자의 음성을 인식하고 사용자의 시맨틱을 분석하여 해당 피드백 동작을 수행한다. 예시적으로, 사용자가 "노래 A 재생"이라고 말하면, 차량용 전자기기는 사용자 음성의 시맨틱을 인식하고 노래 A를 재생할 수 있다.
종래 기술에는 차량 분야와 사용자의 인터랙션 방식이 단일하며, 오직 음성 인터랙션 방식 뿐이다. 차량이 시끄러운 환경에 있을 때 음성 인터랙션 방식을 사용하면 사용자의 음성을 정확히 인식하지 못하여 정확한 대응 동작를 할 수 없어 사용자가 설명을 반복해야 하고 사용자 체험이 저하될 수 있다. 기존의 차량을 기반으로 동작 인터랙션을 추가하는 등 사용자와 인터랙션하는 방법을 추가하는 경우, 차량에 카메라를 설치하여, 카메라가 사용자의 동작을 수집하고 사용자의 동작에 따라 대응되는 응답 동작을 실행할 수 있도록 해야 한다. 차량에 카메라를 설치하려면 차량 모델, 차량의 중앙 콘솔 타입 및 운영 체제에 따라 특정 모델의 카메라를 설치해야 하므로, 동작 인터랙션의 적용이 제한된다. 또한 일부 차량은 카메라 설치를 지원하지 않아 사용자와의 동작 인터랙션이 불가능할 수 있다.
현재 스마트 백미러의 발전이 본격화되고 있으며, 그 기능도 원래의 백미러 기능에서 후진 보조 기능과 주행 기록 기능 등으로 발전되고 있다. 본 출원에서 스마트 백미러는 차량 내에 설치된 스마트 백미러이며, 차량의 주행 데이터 기록을 용이하게 하기 위해, 스마트 백미러에 백 카메라가 설치되어 있음을 유의해야 한다. 상술한 문제점을 해결하기 위해, 스마트 백미러에 프론트 카메라를 설치 할 수 있으며, 해당 프론트 카메라는 차량의 모델, 차량 중앙 콘솔 타입, 운영 체제 등을 고려할 필요가 없으며 보편 적용성이 높다. 스마트 백미러의 프론트 카메라는 차량 내부를 촬영하는 카메라이고, 스마트 백미러의 백 카메라는 차량 외부와 차량의 주행 화면을 촬영하는 카메라이라는 점을 이해해야 한다.
따라서, 상술한 기술 문제를 해결하기 위해, 본 출원은 스마트 백미러의 인터랙션 방법을 제공하며, 스마트 백미러 상에 설치된 프론트 카메라를 제어하여 사용자의 동작을 수집함으로써 기존의 스마트 백미러와 사용자가 음성 인터랙션을 수행하는 기초 상에서 스마트 백미러와 사용자 사이의 동작 인터랙션을 추가한다. 본 출원의 기술 방안에 차량용 전자기기와 사용자의 인터랙션 방식을 추가하는 전제 하에서 시끄러운 환경에서 기존의 음성 인터랙션으로 사용자의 음성을 인식하지 못하는 문제도 해결할 수 있으며, 사용자 체험을 향상시킨다.
도 1은 본 출원에 따른 스마트 백미러의 인터랙션 방법이 적용되는 시나리오 도면이며, 도 1에 도시된 바와 같이, 해당 시나리오에는 차량(10) 내에 있는 사용자와 스마트 백미러(11)를 포함한다. 여기서, 해당 스마트 백미러에는 차량 내의 사용자의 동작을 수집하기 위한 프론트 카메라가 집적되여 사용자와 스마트 백미러의 동작 인터랙션을 구현한다. 도 1 중의 스마트 백미러 상의 원형은 프론트 카메라를 표시함을 이해해야 한다.
본 출원에 따른 스마트 백미러의 인터랙션 방법의 실행 주체는 스마트 백미러의 인터랙션 장치일 수 있고, 해당 스마트 백미러의 인터랙션 장치는 스마트 백미러, 또는 스마트 백미러의 프로세서, 칩 등일 수 있다는 것을 이해해야 한다. 여기서, 스마트 백미러 상에는 프론트 카메라가 집적되어 있다.
아래 구체적인 실시예를 결합하여 본 출원에 따른 스마트 백미러의 인터랙션 방법에 대해 설명한다. 아래 몇개 실시예는 서로 결합될 수 있다는 것을 이해해야 한다. 도 2는 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제1 흐름도이다. 도 2에 도시된 바와 같이, 본 실시예에 따른 스마트 백미러의 인터랙션 방법은 아래 단계를 포함할 수 있다.
S201, 스마트 백미러를 워이크업시킨 후, 스마트 백미러의 현재 사용 상태를 확정한다.
S202, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러와 사용자가 인터랙션하도록 제어한다.
상술한 S201에서, 스마트 백미러를 워이크업시킨 후, 스마트 백미러의 현재 사용 상태를 확정할 수 있다. 여기서, 스마트 백미러가 워이크업된 후를 스마트 백미러가 워이크업 상태인 것으로 표현할 수도 있다.
본 실시예에서 사용자가 스마트 백미러를 워이크업하는 방식에 대해서는 한정하지 않는다는 것을 이해해야 한다. 선택적으로, 사용자는 음성 인터랙션 방식으로 스마트 백미러를 워이크업 할 수 있고, 예컨대 사용자는 워이크업 단어로 스마트 백미러를 워이크업시킬 수 있다. 예시적으로, 예컨대, 스마트 백미러가 작동된 후 대기 상태에 진입될 때, 사용자의 음성 중에 워이크업 단어가 포함된 것을 검출하면, 워이크업 상태에 진입한다. 선택적으로, 사용자는 동작 인터랙션 방식으로 스마트 백미러를 워이크업시킬 수 있다. 예시적으로, 스마트 백미러가 작동될 때, 프론트 카메라를 작동시켜, 프론트 카메라를 제어하여 사용자의 동작을 수집할 수 있으며, 카메라에 의해 수집된 동작이 워이크업 동작인 것으로 확정되면, 워이크업 상태에 진입한다. 여기서, 워이크업 동작은 하트, 연속적으로 기설정 횟수 윙크 등일 수 있다. 이해해야 할 바로는, 스마트 백미러를 워이크업하는 워이크업 단어 또는 워이크업 동작은 사용자에 의해 자체 설정될 수 있다.
여기서, 본 실시예에서 스마트 백미러의 현재의 작동 상황을 검출하여 스마트 백미러의 현재 사용 상태를 획득할 수 있다. 또는 차량에 설치된 센서와 인터랙션하여 스마트 백미러의 현재 사용 상태를 획득할 수 있으며, 여기서, 센서는 스마트 백미러의 현재 사용 상태를 검출할 수 있다.
본 실시예에서 스마트 백미러의 현재 사용 상태는 스마트 백미러의 현재 작동 상태일 수 있으며, 예컨대 스마트 백미러의 작동 시간, 실행되고 있는 응용 프로그램 등일 수 있다. 또는 스마트 백미러의 현재 사용 상태는 스마트 백미러가 위치한 차량의 상태, 예컨대, 차량이 현재 처한 운전 상태 또는 정지 상태일 수 있으며, 운전 상태는 고속 운전 상태 또는 저속 운전 상태일 수도 있다. 스마트 백미러의 현재 사용 상태는 서로 다르고, 이에 대응되는 스마트 백미러와 사용자에 적합한 인터랙션 방식도 서로 다르다는 것을 이해해야 한다.
상술한 S202에서, 스마트 백미러의 현재 사용 상태를 확정할 때, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러와 사용자가 인터랙션하도록 제어할 수 있다. 본 실시예에서 스마트 백미러와 사용자의 인터랙션 방식은 음성 인터랙션과 동작 인터랙션을 포함하지만 이에 한정하지 않는다는 것을 이해해야 한다. 대응되게, 스마트 백미러와 사용자가 음성 인터랙션하도록 제어하는 것은, 사용자의 음성을 수집하여, 사용자의 음성에 따라 상응한 조작을 수행하도록 하는 것이다. 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하는 것은, 스마트 백미러의 카메라를 제어하여 사용자의 동작을 수집하고, 사용자의 동작에 따라 상응한 조작을 수행하도록 하는 것이다.
여기서, 스마트 백미러의 서로 다른 사용 상태에 대해, 대응되는 스마트 백미러와 사용자의 인터랙션 방식을 미리 설정할 수 있으며, 음성 인터랙션 또는 동작 인터랙션일 수 있다. 나아가 본 실시예에서 스마트 백미러의 현재 사용 상태를 확정한 후, 미리 설정된 대응 관계에 따라, 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 확정할 수 있다.
예시적으로, 예컨대 스마트 백미러의 현재 사용 상태는 스마트 백미러가 위치한 환경의 상태이면, 스마트 백미러가 위치한 환경의 서로 다른 상태와 인터랙션 방식의 대응 관계를 미리 설정할 수 있으며, 예컨대 사용자의 운전 안전을 확보하기 위하여, 스마트 백미러가 위치한 차량이 고속 주행 상태일 때, 스마트 백미러와 사용자의 인터랙션 방식을 동작 인터랙션으로 설정할 수 있으며, 차량이 저속 주행 상태일 때, 스마트 백미러와 사용자의 인터랙션 방식을 음성 인터랙션으로 설정할 수 있다.
본 실시예에 따른 스마트 백미러의 인터랙션 방식 중에서, 스마트 백미러에 설치된 프론트 카메라를 기초로 사용자와 동작 인터랙션을 구현할 수 있고, 사용자와의 인터랙션 방식을 추가하는 전제 하에, 특정 시나리오에서 기존의 음성 인터랙션으로 사용자의 음성을 인식하지 못하는 문제도 해결할 수 있으며, 사용자의 체험을 향상시킨다. 또한 본 실시예는 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러와 사용자가 인터랙션하도록 제어하고, 스마트 백미러의 현재 사용 상태에 따라, 더욱 간편한 인터랙션 방식으로 사용자와 인터랙션하도록 함으로써, 인터랙션의 성공율을 향상시키고, 나아가 사용자 체험을 향상시킨다.
상술한 실시예의 기초 상에서, 본 실시예에서 스마트 백미러의 현재 사용 상태는 스마트 백미러가 위치한 환경의 상태, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형 또는 현재 스마트 백미러가 사용자와 음성 인터랙션하는 인터랙션 내용일 수 있다. 아래 스마트 백미러의 현재 사용 상태가 각각 스마트 백미러가 위치한 환경의 상태, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형 또는 현재 스마트 백미러가 사용자와 음성 인터랙션하는 인터랙션 내용일 수 있는 3가지 시나리오의 측면에서 본 실시예에 따른 스마트 백미러의 인터랙션 방법을 설명한다.
여기서, 스마트 백미러가 위치한 환경의 상태는 시끄러운 상태 또는 조용한 상태일 수 있으며; 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형은 디스플레이 서비스 유형, 오디오/비디오 서비스 유형 또는 저장 서비스 유형 등일 수 있으며; 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용은 음성 인터랙션 내용, 디스플레이 인터랙션 내용 등일 수 있다. 본 실시예에서 스마트 백미러가 위치한 환경의 상태를 획득하는 것은 차량의 센서와의 인터랙션 방식으로 획득할 수 있다. 스마트 백미러가 위치한 환경의 상태는 차량의 데시벨 미터 또는 기타 환경 노이즈를 검출하는 센서와 인터랙션을 수행하여 얻을 수 있다. 본 실시예에서 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형과 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용을 획득하는 것은, 스마트 백미러의 현재의 실행 중인 내용을 검출하여 얻을 수 있다. 예컨대 스마트 백미러에 현재 표시된 응용을 검출하고, 해당 응용의 유형을 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형으로 할 수 있으며; 또는 스마트 백미러에 현재 표시된 내용 또는 스마트 백미러에 재생되는 내용을 검출하고, 이를 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용으로 할 수 있다.
첫번째 시나리오: 스마트 백미러의 현재 사용 상태가 스마트 백미러가 위치한 환경의 상태이다.
여기서, 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값을 획득하고, 해당 노이즈 데시벨값에 따라 스마트 백미러가 환경 노이지 상태에 위치하였는지 여부를 확정할 수 있다. 현재 스마트 백미러가 환경 노이지 상태에 위치하면, 사용자의 음성을 인식할 수 없는 것으로 확정하고, 동작 인터랙션을 사용하면 더욱 효과적인 것을 확정하여, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어한다. 현재 스마트 백미러가 비 환경 노이지 상태에 위치하면, 사용자의 음성을 정확하게 인식할 수 있음을 확정하고, 사용자의 운전 안전을 확보하기 위하여, 스마트 백미러와 사용자가 음성 인터랙션하도록 제어할 수 있다.
선택적으로, 본 실시예의 차량에 데시벨 미터 또는 기타 데시벨을 검출하는 기기가 설치되어 있고, 해당 차량의 데시벨 미터 또는 기타 데시벨을 검출하는 기기와 인터랙션하여, 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값을 획득할 수 있다. 선택적으로, 스마트 백미러에 데시벨 미터 또는 기타 데시벨을 검출하는 기기의 기능이 집적되어 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값을 획득할 수 있다.
본 실시예에서 기설정된 데시벨 임계값을 미리 설정할 수 있고, 해당 기설정된 데시벨 임계값은 사용자의 음성을 인식할 수 없는 데시벨값일 수 있으며, 해당 기설정된 데시벨 임계값은 시뮬레이션 실험을 통해 획득할 수 있거나, 또는 해당 기설정된 데시벨 임계값은 사용자에 의해 자체 설정한 것일 수 있다. 여기서, 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값이 기설정된 데시벨 임계값 이상일 때, 스마트 백미러가 환경 노이지 상태에 위치한 것으로 확정할 수 있으며, 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값이 기설정된 데시벨 임계값 미만일 때, 스마트 백미러가 비 환경 노이지 상태에 위치한 것으로 확정할 수 있다. 나아가 본 실시예에서 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨값에 따라, 현재 스마트 백미러가 환경 노이지 상태에 위치함을 확정하고, 나아가 스마트 백미러와 사용자의 정확한 인터랙션 방식을 확정하는데 기초를 마련한다.
이런 시나리오에서, 정확한 인터랙션 방식을 사용하여 사용자와 인터랙션할 수 있게 확보하여, 시끄러운 환경에서 사용자의 음성을 정확하게 인식하지 못하여 상응한 조작을 정확하게 수행할 수 없는 문제를 일이키는 것을 방지하기 위한 것이며, 인터랙션의 성공율을 향상시키고, 사용자의 체험을 향상시킬 수 있다.
두번째 시나리오: 스마트 백미러의 현재 사용 상태는 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이다.
여기서, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형은 디스플레이 서비스 유형, 오디오/비디오 서비스 유형 또는 저장 서비스 유형 등을 포함할 수 있다. 디스플레이 서비스 유형의 인터랙션 응용은 날씨 검색 응용, 쇼핑 응용, 사교 응용, 네비게이션 응용, 차량 파라미터 제어 응용 등을 포함할 수 있으며, 오디오/비디오 서비스 유형의 인터랙션 응용은 음악 응용, 동영상 응용, 방송 응용 등을 포함하고, 저장 서비스 유형의 인터랙션 응용은 주행 기록 응용, 이미지 기록 응용 등을 포함할 수 있다. 이해해야 할 바로는, 차량 파라미터 제어 응용은 차량의 온도를 조절하고, 차량 내 공기를 정화하기 위한 것 등일 수 있다.
본 실시예에서, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션 또는 동작 인터랙션을 수행할 수 있다. 서로 다른 유형의 인터랙션 응용은 자체의 속성을 구비하기 때문에, 본 실시예는 인터랙션 응용의 유형에 따라, 현재 인터랙션 응용에 더욱 적합한 인터랙션 방식을 확정하여, 인터랙션의 성공율을 향상시킬 수 있다.
이해해야 할 바로는, 오디오/비디오 서비스 유형의 인터랙션 응용이 실행되는 과정에, 오디오를 지속적으로 재생하며, 재생되는 오디오는 사용자의 음성이 정확하게 인식되지 않게 할 수 있다.
가능한 일 실시방식에 있어서, 본 실시예에서 오디오/비디오 서비스 유형을 제1 유형으로 설정할 수 있고, 다시 말하면, 제1 유형의 인터랙션 응용은 사용자에게 오디오 서비스를 제공하는 인터랙션 응용이다.
본 실시예에서, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 제1 유형인 것으로 검출되면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어한다. 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 제1 유형이 아니면, 스마트 백미러와 사용자가 음성 인터랙션하도록 제어한다. 오디오 서비스 유형의 인터랙션 응용은 실행 과정에, 오디오를 지속적으로 재생하기에, 재생되는 오디오는 사용자의 음성이 정확하게 인식되지 않게 할 수 있으며, 오디오 서비스 유형의 인터랙션 응용에 대해 동작 인식을 사용할 수 있고, 오디오 서비스 유형이 아닌 인터랙션 응용에 대해 음성 인식을 사용할 수 있으며, 인터랙션의 성공율을 향상시킬 수 있다.
각 사용자가 인터랙션 방식에 대한 다양한 선택을 확보하기 위해, 본 실시예는 사용자의 인터랙션 습관에 따라, 스마트 백미러를 제어하여 사용자와 동작 인터랙션 또는 음성 인터랙션할 것을 확정하여, 사용자의 습관에 더욱 적합한 인터랙션 방식을 사용하여 사용자와 인터랙션하도록 함으로써, 사용자의 체험을 향상시킨다.
가능한 일 실시방식에 있어서, 본 실시예는 스마트 백미러 상의 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 획득하여, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 스마트 백미러와 사용자가 해당 유형 인터랙션 응용의 선호 인터랙션을 수행하도록 제어할 수 있다. 이해해야 할 바로는, 선호 인터랙션은 사용자 습관 또는 선호로 사용하는 인터랙션 방식을 말하며, 선호 인터랙션은 음성 인터랙션 또는 동작 인터랙션이다.
여기서, 본 실시예에서 사용자와 스마트 백미러 상의 각종 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 확정할 수 있다. 선택적으로, 해당 히스토리 인터랙션 데이터는 금번 스마트 백미러가 워이크업되기 전의 기설정 시간 내의 인터랙션 데이터일 수 있다. 이해해야 할 바로는, 금번 스마트 백미러가 워이크업되기 전의 기설정 시간 내의 인터랙션 데이터를 히스토리 인터랙션 데이터로 하고, 오래 전의 히스토리 인터랙션 데이터를 사용하지 않는 것은, 더욱 정확하게 사용자의 최근 기간의 선호 인터랙션을 확정하기 위한 것이며, 이로부터 확정된 사용자의 선호 인터랙션의 정확성을 향상시키고, 나아가 스마트 백미러와 사용자의 인터랙션 방식을 제어하는 정확성을 향상시킨다.
본 실시예에서 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션 방식을 확정하는 것은, 히스토리 인터랙션 데이터에 따라, 사용자와 각종 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율과 음성 인터랙션이 차지하는 비율을 확정한다. 이해해야 할 바로는, 본 실시예에서 사용자와 인터랙션 응용의 선호 인터랙션의 동작 인터랙션 횟수와 음성 인터랙션 횟수를 통계하고, 동작 인터랙션 횟수가 인터랙션 총 횟수에서 차지하는 비율을 동작 인터랙션이 차지하는 비율이라고 하고, 음성 인터랙션 횟수가 인터랙션 총 횟수에서 차지하는 비율을 음성 인터랙션이 차지하는 비율이라고 할 수 있다. 여기서, 사용자와 인터랙션 응용이 인터랙션하는 과정 중의 각 동작을 일회의 동작 인터랙션으로 하고, 사용자와 인터랙션 응용이 인터랙션하는 과정 중에 말하는 각 토크를 일회의 음성 인터랙션으로 할 수 있다.
제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 이상이면, 제2 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 동작 인터랙션이라고 확정한다. 제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 미만이면, 제2 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 음성 인터랙션이라고 확정한다. 여기서, 제2 유형은 스마트 백미러 상의 인터랙션 응용 유형 중 임의의 유형이고, 예컨대 제2 유형은 오디오/비디오 서비스 유형, 디스플레이 서비스 유형 또는 저장 서비스 유형 등일 수 있다.
예시적으로, 예컨대 오디오/비디오 서비스 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 사용자와 해당 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 80%이고, 사용자와 해당 유형의 인터랙션 응용의 음성 인터랙션이 차지하는 비율이 20%인 것으로 확정되면, 오디오/비디오 서비스 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 동작 인터랙션으로 확정한다. 예컨대 디스플레이 서비스 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 사용자와 해당 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 30%이고, 사용자와 해당 유형의 인터랙션 응용의 음성 인터랙션이 차지하는 비율이 70%이라고 확정되면, 디스플레이 서비스 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 음성 인터랙션으로 확정한다.
또한, 스마트 백미러 상의 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 확정한 후, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용에 대한 사용자의 선호 인터랙션을 확정하고, 나아가 스마트 백미러가 사용자와 선호 인터랙션을 수행하도록 제어할 수 있다. 본 실시예에서 스마트 백미러 상의 각종 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션을 확정함으로써, 사용자의 선호 인터랙션을 확정하고, 나아가 정확한 인터랙션 방식을 확정하는데 기초를 마련한다.
이런 시나리오에서, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형, 또는 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션에 따라, 스마트 백미러가 더욱 정확하고 사용자의 습관에 더욱 접합한 인터랙션 방식으로 사용자와 인터랙션하도록 확정할 수 있으며, 사용자의 체험을 향상시킬 수 있다.
세번째 시나리오: 스마트 백미러의 현재 사용 상태가 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용이다.
본 실시예에서 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용에 따라, 스마트 백미러가 사용자와 음성 인터랙션 또는 동작 인터랙션하도록 제어할 수 있다. 여기서, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용은 스마트 백미러에서 현재 재생되는 오디오의 내용일 수 있다. 이해해야 할 바로는, 해당 스마트 백미러에서 현재 재생되는 오디오는 사용자의 음성 또는 동작에 응답하여 재생되는 오디오, 예를 들어 "이 노래를 재생하시겠습니까?"일 수 있다. 또는 해당 스마트 백미러에서 현재 재생되는 오디오는 스마트 백미러가 작동된 후 자동으로 재생되는 오디오, 예를 들어 "지금 당신의 집으로 가시는 노선을 기획할 까요?"일 수 있다. 이해해야 할 바로는, 해당 주동 재생되는 오디오 미리 정의되거나 또는 사용자에 의해 설정될 수 있다. 해당 설계에서, 서로 다른 인터랙션 내용은, 사용자의 응답 방식은 서로 다를 수 있으며, 본 실시예에서 인터랙션 내용에 따라 사용자에 더욱 적합한 인터랙션 방식을 사용할 수 있으며, 사용자의 체험을 향상시킬 수 있다.
가능한 일 실시방식에 있어서, 본 실시예에는 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용의 시맨틱에 따라, 스마트 백미러를 제어하여 사용자가 음성 인터랙션 또는 동작 인터랙션하도록 확정할 수 있다. 구체적으로, 인터랙션 내용이 사용자가 확인, 선택 또는 페이징 조작을 수행할 것을 지시하는지 여부를 판단하여, 스마트 백미러를 제어하여 사용자와 음성 인터랙션 또는 동작 인터랙션을 하도록 확정할 수 있다. 여기서, 인터랙션 내용이 사용자가 확인, 선택 또는 페이징 조작을 수행할 것을 지시하면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하고, 그렇지 않으면, 스마트 백미러와 사용자가 음성 인터랙션하도록 제어한다.
예시적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용이 "지금 당신의 집으로 가시는 노선을 기획 할까요?" 이면, 해당 인터랙션 내용은 사용자가 확인 조작을 수행하도록 지시하며, 이때 스마트 백미러와 사용자가 동작 인터랙션하도록 제어할 수 있다. 여기서, 사용자가 확인하는 조작은 헤드부 동작, 구체적으로 헤드 노딩 또는 쉐이킹일 수 있다.
예시적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용이 "현재 노래 두곡을 검색하였으며, 제1곡은 노래 A이고, 제2곡은 노래 B입니다" 이면, 해당 인터랙션 내용은 사용자가 선택 조작을 수행할 것을 지시하고, 이때 스마트 백미러와 사용자가 동작 인터랙션하도록 제어할 수 있다. 여기서, 사용자가 선택하는 조작은 손 동작, 구체적으로 내민 손가락의 수량이 선택된 노래를 표시할 수 있으며, 예컨대 손가락 하나를 내밀어 노래 A를 선택함을 표시하고 손가락 두개를 내밀어 노래 B를 선택함을 표시한다.
예시적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용이 "아래 페이지에 당신의 핸드폰 번호를 입력하세요" 이면, 해당 인터랙션 내용은 사용자가 페이징 조작을 수행할 것을 지시하고, 이때 스마트 백미러와 사용자가 동작 인터랙션하도록 제어할 수 있다. 여기서, 사용자의 페이징 조작은 손 동작, 구체적으로 손바닥을 오른쪽에서 왼쪽으로 슬라이딩하는 것으로 페이징을 표시할 수 있다.
가능한 일 실시방식에 있어서, 본 실시예는 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용은 모두 라벨이 표기되고, 해당 라벨은 사용자가 인터랙션 내용에 따른 인터랙션 방식을 지시한다. 예시적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용이 "아래 페이지에 당신의 핸드폰 번호를 입력하세요" 이고, 해당 인터랙션 내용의 라벨이 "음성 인터랙션, 동작 인터랙션"이면, 해당 라벨은 사용자가 인터랙션 내용에 따른 인터랙션 방식이 음성 인터랙션과 동작 인터랙션을 포함함을 지시하고, 다시 말하면, 해당 라벨은 사용자가 해당 인터랙션 내용에 응답하는 인터랙션 방식이 음성 인터랙션과 동작 인터랙션을 포함함을 지시한다.
본 실시예에서 인터랙션 내용, 및 인터랙션 내용의 라벨에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션 또는 동작 인터랙션을 수행하도록 할 수 있다. 여기서, 인터랙션 내용의 라벨에 동작 인터랙션이 있기만 하면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어할 수 있다. 다시 말하면, 인터랙션 내용의 라벨에 동작 인터랙션이 포함되면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하고, 인터랙션 내용의 라벨에 동작 인터랙션이 포함되지 않으면, 스마트 백미러와 사용자가 음성 인터랙션을 하도록 제어한다.
이런 시나리오에서, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용의 시맨틱 또는 라벨에 따라, 스마트 백미러가 더욱 정확하고 사용자의 습관에 더욱 접합한 인터랙션 방식으로 사용자와 인터랙션하도록 확정할 수 있으며, 사용자의 체험을 향상시킬 수 있다.
상술한 실시예의 기초 상에서, 아래 도 3을 결합하여 본 출원에 따른 스마트 백미러의 인터랙션 방법에 대해 더욱 상세하게 설명한다. 도 3은 본 출원에 따른 스마트 백미러의 인터랙션 방법의 실시예의 제1 흐름도이다. 도 3에 도시된 바와 같이, 본 실시예에 따른 스마트 백미러의 인터랙션 방법은 아래의 단계를 포함할 수 있다.
S301, 스마트 백미러를 워이크업시킨 후, 스마트 백미러의 현재 사용 상태를 확정한다.
S302, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러를 제어하여 사용자와 동작 인터랙션하도록 확정하면, 스마트 백미러의 카메라가 작동되도록 제어하고, 카메라가 사용자의 동작을 수집하도록 제어한다.
S303, 사용자의 동작에 따라, 상응하는 동작을 실행한다.
S304, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 확정하면, 사용자의 음성을 수집하고, 음성의 시맨틱을 획득한다.
S305, 음성의 시맨틱에 따라, 상응하는 동작을 실행한다.
상술한 S301의 구현방식은 상술한 실시예S201의 관련 설명을 참조할 수 있으며, 여기에서 더 이상 중복 설명하지 않으며, S302의 스마트 백미러를 제어하여 사용자와 동작 인터랙션하도록 확정하는 방식, 및 S304의 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 확정하는 방식은 상술한 실시예의 S202의 관련 설명을 참조할 수 있으며, 여기에서 더 이상 중복 설명하지 않는다. 이해해야 할 바로는, 상술한 S302-S303와 S304-S305는 하나를 선택하여 실행하는 단계이다.
상술한 S302에서, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러를 제어하여 사용자와 동작 인터랙션하도록 확정하면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어한다. 구체적으로, 스마트 백미러의 카메라가 작동되도록 제어하고, 카메라가 사용자의 동작을 수집하도록 제어할 수 있다. 이해해야 할 바로는, 본 실시예에서 스마트 백미러가 작동될 때, 스마트 백미러의 카메라가 작동되도록 제어할 수 있다. 여기서, 카메라가 작동된 후, 스마트 백미러와 사용자가 기설정 시간동안 음성 인터랙션을 수행하면, 카메라는 휴면 상태에 진입할 수 있다. 본 실시예에서 스마트 백미러와 사용자가 동작 인터랙션하는 것으로 확정될 때, 카메라를 작동시켜, 카메라가 사용자의 동작을 수집하도록 제어함으로써 카메라의 전력 소모량을 감소시킬 수 있다. 이해해야 할 바로는, 카메라가 사용자의 동작을 수집하도록 제어할 때, 카메라에 수집해야 하는 사용자의 동작을 발송할 수 있다. 여기서, 사용자의 동작은 헤드부 동작, 제스쳐 동작 또는 바디 동작 등을 포함할 수 있다. 헤드부 동작은 헤드 노딩, 웨이크, 윙크, 우거지상 등을 포함할 수 있다. 손 동작은 몇개 손가락을 내미는 것, 손바락 스라이딩, OK 싸인, 하트 싸인 등을 포함할 수 있다. 바디 동작은 두팔을 교차하는것, 파이팅 자세 등을 포함할 수 있다.
여기서, 사용자의 운전 안전을 확보하기 위하여, 차량의 주행 상태에 따라 사용자의 동작을 설정 및 확정할 수 있다. 선택적으로, 차량이 주행 상태에 있을 때, 사용자의 두 손이 스티어링 휠을 이탈하지 않도록 확보하기 위하여, 사용자의 동작을 헤드부 동작으로 한다. 차량이 비 주행 상태에 있을 때, 사용자의 동작은 헤드부 동작 및/또는 손 동작을 포함할 수 있다.
상술한 S303에서, 카메라가 사용자의 동작을 수집하도록 제어하고, 카메라에 수집해야 하는 사용자의 동작의 표지, 즉 기설정된 동작의 표지를 발송할 수 있다. 여기서, 기설정된 동작의 표지는 해당 기설정된 동작을 표시하기 위한 것이다. 카메라에는 기설정된 동작의 표지와 기설정된 동작의 표지의 대응관계가 모두 저장될 수 있다. 여기서, 카메라는 기설정된 동작의 표지에 따라, 수집해야 하는 사용자의 동작을 확정할 수 있고, 사용자의 동작을 수집한 후, 수집된 동작과 수집해야 할 동작(즉, 기설정 동작)을 비교하여 해당 기설정된 동작인지 여부를 확정할 수 있다.
기설정된 동작이 수집되었다고 확정되면, 스마트 백미러의 인터랙션 장치에 정보 수집 성공 및 사용자의 동작의 표지（즉 기설정된 동작의 표지）를 발송하여, 해당 스마트 백미러의 인터랙션 장치가 사용자의 동작이 기설정된 동작이라는 것을 확정하도록 하여, 사용자의 동작의 표지에 따라 상응하는 조작을 실행할 수 있도록 한다. 이해해야 할 바로는, 스마트 백미러의 인터랙션 장치에는 기설정된 동작의 표지와 명령의 대응관계가 저장될 수 있으며, 카메라에서 발송된 수집 성공 응답을 수신 시, 기설정된 동작의 표지와 명령의 대응관계에 따라, 해당 동작에 대응되는 명령을 획득하고, 명령에 따라 상응하는 동작을 실행할 수 있다.
예시적으로, [표 1]에는 스마트 백미러의 인터랙션 장치에 저장된 기설정된 동작의 표지와 명령의 대응관계이다.
| 기설정된 동작의 표지 | 명령 | 기설정된 동작의 해석 |
| 1 | 동의 | 노딩 |
| 2 | 동의하지 않음 | 쉐이킹 |
스마트 백미러에서 오디오 "지금 당신의 집으로 가시는 노선을 기획 할까요?" 가 재생되면, 해당 오디오는 사용자가 확인 조작을 수행하도록 지시하며, 이때 스마트 백미러의 카메라를 제어하여 사용자의 동작을 수집하도록 할 수 있다. 여기서, 사용자가 확인하는 기설정된 동작은 헤드부 동작일 수 있으며, 구체적으로 노딩 또는 쉐이킹일 수 있다. 이때 카메라에 수집해야 하는 사용자의 동작의 표지는 1 또는2을 발송할 수 있다. 여기서, 카메라가 사용자의 노딩 동작을 수집할 때, 기설정된 동작 1 또는 2와 비교하여, 사용자의 동작이 기설정된 동작1일 때, 해당 기설정된 동작의 표지1 및 수집 성공 정보를 스마트 백미러의 인터랙션 장치에 발송하여, 스마트 백미러의 인터랙션 장치가 사용자의 동작이 기설정된 동작1임을 확정하도록 할 수 있으며, 해당 기설정된 동작1에 대응되는 명령에 따라, 상응하는 조작을 실행할 수 있다.
도 4는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제1 예시도이다. 도 4중의 a에 도시된 바와 같이, 예시적으로, 스마트 백미러에서 오디오 "지금 당신의 집으로 가시는 노선을 기획 할까요?"가 재생되면, 해당 오디오는 사용자가 확인 조작을 수행하도록 지시하고, 이때 스마트 백미러를 제어하여 카메라가 사용자의 노딩 또는 쉐이킹 동작을 수집하도록 할 수 있다. 도 4중의 a에 도시된 바와 같이, 카메라가 사용자의 노딩 동작을 수집하면, 스마트 백미러의 인터랙션 장치에 사용자의 노딩 동작의 표지를 발송하여, 스마트 백미러의 인터랙션 장치가 해당 사용자의 노딩 동작이 기설정된 동작임을 확정하도록 할 수 있으며, 해당 사용자의 노딩 동작에 대응되는 명령이 해당 제안에 동의하는 것임을 확정하기에, 스마트 백미러의 인터페이스 상에 기획된 노선을 표시하며, 도 4중의 b에 도시된 바와 같다.
선택적으로, 기설정된 동작에 대응되는 상응하는 조작을 실행 시, 오디오를 재생할 수 있으며, 오디오는 상응하는 조작을 실행하고 있음을 지시한다. 이런 경우에는, 상응하는 조작을 실행할 때 수행하고 있는 동작을 사용자에게 환기시키도록 재생할 수 있으며, 사용자는 머리를 들어 스마트 백미러를 보지 않아도 되기에 사용자의 운전 안전을 확보할 수 있다. 예시적으로, 도 4 중의 b에 도시된 바와 같이, 예컨대 "당신 집으로의 노선이 이미 기획되었으며, 출발 준비하시고, XX로 까지 주행하십시요"를 재생할 수 있다.
도 5는 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제2예시도이다. 도 5 중의 a에 도시된 바와 같이, 예시적으로, 스마트 백미러에서 오디오 "현재 당신을 위해 두 곡을 검색하였으며, 제1 곡은 노래 A이고, 제2 곡은 노래 B이며, 어느 곡을 청취하시겠습니까?"가 재생되면, 해당 오디오는 사용자가 선택 조작을 수행하도록 지시하고, 스마트 백미러의 카메라가 사용자의 동작을 수집하도록 제어할 수 있다. 여기서, 사용자가 선택한 기설정된 동작은 손 동작일 수 있고, 구체적으로 손가락을 내미는 것일 수 있으며, 손가락의 개수가 사용자의 선택을 대표할 수 있다. 도 5 중의 a에 도시된 바와 같이, 카메라에 의해 사용자가 한 손가락을 내민 동작이 수집될 때, 스마트 백미러의 인터랙션 장치에 사용자가 한 손가락을 내민 동작의 표지를 발송할 수 있으며, 이로부터 스마트 백미러의 인터랙션 장치로 하여금 해당 사용자가 한 손가락을 내민 동작을 기설정된 동작으로 확정하도록 하고, 기설정된 동작의 표지와 명령의 대응관계에 따라, 해당 사용자의 한 손가락을 내민 동작에 대응되는 명령이 사용자의 선택인 1로 확정되면, 스마트 백미러에서 재생된 오디오를 결합하여 해당 명령은 노래 A를 재생할 것을 지시하는 것으로 확정할 수 있기에 노래 A를 재생할 수 있으며, 도 5 중의 b에 도시된 바와 같다. 선택적으로, 본 실시예에서, 도 5 중의 b에 도시된 바와 같이, 예컨대 "노래 A를 재생합니다"를 재생하여, 상응하는 동작을 실행하고 있음을 지시할 수도 있다.
도 6은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제3 예시도이다. 도 6 중의 a에 도시된 바와 같이, 예시적으로, 스마트 백미러에서 오디오 "다음 페이지에 당신의 핸드폰 번호를 입력하세요"를 재생하고, 해당 오디오는 사용자가 페이징 조작을 수행할 것을 지시하고, 스마트 백미러의 카메라가 사용자의 동작을 수집하도록 제어할 수 있다. 여기서, 사용자가 페이징을 수행하는 기설정된 동작은 손 동작일 수 있으며, 구체적으로 손바닥을 좌우 슬라이딩하는 것일 수 있고, 이중에서 손바닥을 우에서 좌로 슬라이딩 하면 오른쪽으로 페이징하는 것을 대표하고, 손바닥을 좌에서 우로 슬라이딩 하면 왼쪽으로 페이징하는 것을 대표한다. 도 6 중의 a에 도시된 바와 같이, 카메라에 의해 사용자의 손바닥이 우에서 좌로 슬라이딩 하는 동작이 수집되면, 스마트 백미러의 인터랙션 장치에 손바락을 우에서 좌로 슬라이딩하는 동작의 표지를 발송하여, 스마트 백미러의 인터랙션 장치로 하여금 해당 손바닥이 우에서 좌로 슬라이딩하는 동작이 기설정된 동작인 것으로 확정되도록 할 수 있으며, 기설정된 동작의 표지와 명령의 대응관계에 따라, 해당 사용자의 손바닥이 우에서 좌로 슬라이딩 하는 동작에 대응되는 명령이 오른쪽으로 페이징하는 것임을 확정할 수 있기에, 스마트 백미러에서 오른쪽으로 페이징하는 조작을 실행할 수 있으며, 도 6 중의 a에 도시된 바와 같이, 스마트 백미러의 인터페이스는 사용자가 핸드폰 번호를 입력하는 인터페이스로 바뀐다. 선택적으로, 본 실시예에서, 도 6 중의 b에 도시된 바와 같이, 예컨대 "페이징 중" 또는 "페이징 완료"를 재생하여, 상응하는 동작이 실행되고 있음을 지시할 수 있다.
유의해야 할 바로는, 스마트 백미러의 카메라에 의해 사용자의 동작이 수집되고, 기설정된 동작과 비교할 때, 사용자의 동작이 기설정된 동작이 아니라는 것으로 확정되면, 스마트 백미러의 인터랙션 장치에 수집 실패 정보를 발송할 수 있으여, 해당 수집 실패 정보를 수신한 후에, 사용자의 동작이 기설정된 동작이 아닌것을 확정할 수 있으면, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 한다.
도 7은 본 출원에 따른 스마트 백미러와 사용자의 인터랙션의 제4예시도이다. 도 7 중의 a에 도시된 바와 같이, 예시적으로, 스마트 백미러에 오디오 "다음 페이지에 당신의 핸드폰 번호를 입력하세요"가 재생되고, 해당 오디오는 사용자가 페이징 조작을 수행할 것을 지시하면, 스마트 백미러의 카메라가 사용자의 동작을 수집하도록 제어할 수 있다. 사용자가 기설정된 동작을 하지 않거나 또는 취한 동작이 손바닥 슬라이딩하는 페이징 조작이 아니면, 카메라는 스마트 백미러의 인터랙션 장치에 수집 실패 정보를 발송할 수 있으며, 이때, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 제어할 수 있다. 도 7 중의 b에 도시된 바와 같이, 사용자는 "다음 페이지로 페이징"을 말할 수 있으며, 사용자의 음성에 따라 페이징 조작을 실행할 수 있으며, 도 7 중의 b와 같이 스마트 백미러의 인터페이스는 사용자로 하여금 핸드폰 번호를 입력하는 인터페이스이다.
상술한 S304는, 본 실시예에서, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하는 것으로 확정되면, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 하며, 구체적으로 사용자의 음성을 수집하고 음성의 시맨틱을 획득할 수 있다.
상술한 S305에서, 음성의 시맨틱에 따라, 상응하는 동작을 실행한다.
여기서, 본 실시예에서 획득한 사용자의 음성의 시맨틱에 따라, 상응하는 동작을 실행하는 방식은 구체적으로 종래 기술의 음성 인터랙션 방식을 참조할 수 있다. 예시적으로, 도 7에 도시된 바와 같이, 스마트 백미러를 제어하여 사용자와 음성 인터랙션할 때, "다음 페이지로 페이징"과 같은 사용자의 음성을 수집할 수 있으며, 해당 음성의 시맨틱은 페이징을 지시하는 것이고, 이때 상응하는 페이징 조작을 실행할 수 있으며, 도 7 중의 b와 같다.
이해해야 할 바로는, 도 4 - 도 7에서, 스마트 백미러와 사용자가 동작 인터랙션할 때, 스마트 백미러는 백색 원으로 스마트 백미러가 온 상태에 있는 것을 표시하고, 스마트 백미러와 사용자가 음성 인터랙션 할 때, 스마트 백미러는 흑색 원으로 스마트 백미러가 오프 상태에 있는 것을 표시한다.
본 실시예에서, 스마트 백미러를 제어하여 사용자와 동작 인터랙션을 할 때, 수집된 사용자의 동작이 기설정된 동작일 때, 상응하는 조작을 실행할 수 있으며, 수집된 사용자의 동작이 기설정된 동작이 아닐 때, 스마트 백미러를 제어하여 사용자와 음성 인터랙션하도록 할 수 있으며, 본 실시예는 스마트 백미러의 현재 사용 상태, 및 사용자의 동작에 따라 스마트 백미러가 상응하는 동작을 실행하거나 또는 사용자와 음성 인터랙션을 수행할 수 있다. 나아가 더욱 편리하고 사용자 행위에 더욱 적합한 인터랙션 방식을 사용하여 사용자와 인터랙션하고, 사용자와의 인터랙션 방식을 추가하는 전제 하에, 인터랙션 성공율도 향상시킬 수 있다.
도 8은 본 출원에 따른 스마트 백미러의 인터랙션 장치의 구조도이다. 도 8에 도시된 바와 같이, 해당 스마트 백미러의 인터랙션 장치(800)는 제1 처리 모듈(801)과 제2 처리 모듈(802)을 포함한다.
제1 처리 모듈(801)은, 스마트 백미러를 워이크업시킨 후, 스마트 백미러의 현재 사용 상태를 확정하기 위한 것이다.
제2 처리 모듈(802)은, 스마트 백미러의 현재 사용 상태에 따라, 스마트 백미러와 사용자가 인터랙션하도록 제어하기 위한 것이다.
가능한 일 설계에서, 제1 처리 모듈(801)은 구체적으로, 현재 스마트 백미러가 환경 노이지 상태에 위치하였는지 여부를 확정한다.
상응하게, 제2 처리 모듈(802)은 구체적으로, 현재 스마트 백미러가 환경 노이지 상태에 위치하면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하고; 현재 스마트 백미러가 환경 노이지 상태에 있지 않으면, 스마트 백미러를 제어하여 사용자와 음성 인터랙션을 하도록 한다.
가능한 일 설계에서, 제1 처리 모듈(801)은 또한, 현재 스마트 백미러가 위치한 환경의 노이즈 데시벨을 획득하고, 노이즈 데시벨이 기설정된 데시벨 임계값을 초과하면, 현재 스마트 백미러가 환경 노이지 상태에 위치하는 것으로 확정한다.
가능한 일 설계에서, 제1 처리 모듈(801)은 구체적으로, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형을 확정한다.
상응하게, 제2 처리 모듈(802)은 구체적으로, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션 또는 동작 인터랙션하도록 한다.
가능한 일 설계에서, 인터랙션 응용은 음악 응용, 네비게이션 응용 또는 차량 파라미터 제어 응용을 포함한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 제1 유형이면, 스마트 백미러가 사용자와 동작 인터랙션하도록 제어하고, 제1 유형의 인터랙션 응용은 사용자에게 오디오 서비스를 제공하는 인터랙션 응용이고; 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 제1 유형이 아니면, 스마트 백미러가 사용자와 음성 인터랙션하도록 제어한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 사용자와 스마트 백미러 상의 각종 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션을 확정하되, 선호 인터랙션은 음성 인터랙션 또는 동작 인터랙션이며; 각종 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션, 및 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 현재 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 선호 인터랙션을 확정하고; 스마트 백미러와 사용자의 선호 인터랙션을 제어한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 히스토리 인터랙션 데이터에 따라, 사용자와 각종 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율과 음성 인터랙션이 차지하는 비율을 확정하고; 제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 이상이면, 제2 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션이 동작 인터랙션인 것으로 확정하고, 제2 유형은 스마트 백미러 상의 인터랙션 응용 유형 중 임의의 유형이며; 제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 미만이면, 제2 유형의 인터랙션 응용에 대한 사용자의 선호 인터랙션이 음성 인터랙션인 것으로 확정한다.
가능한 일 설계에서, 제1 처리 모듈(801)은 구체적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용을 확정한다.
상응하게, 제2 처리 모듈(802)은 구체적으로, 현재 스마트 백미러가 사용자와 음성 인터랙션을 수행하는 인터랙션 내용에 따라, 스마트 백미러를 제어하여 사용자와 음성 인터랙션 또는 동작 인터랙션하도록 한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 인터랙션 내용이 사용자의 확인, 선택, 페이징 조작을 지시하는지 여부를 판단하고; 그렇다면, 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하고; 그렇지 않으면, 스마트 백미러가 사용자와 음성 인터랙션하도록 제어한다.
가능한 일 설계에서, 제2 처리 모듈(802) 은 구체적으로, 인터랙션 내용, 및 인터랙션 내용의 라벨에 따라, 스마트 백미러가 사용자와 음성 인터랙션 또는 동작 인터랙션하도록 제어하고, 라벨은 사용자가 인터랙션 내용에 기반한 인터랙션 방식을 지시한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 인터랙션 내용의 라벨에 동작 인터랙션이 포함되면, 스마트 백미러가 사용자와 동작 인터랙션하도록 제어하고; 인터랙션 내용의 라벨에 동작 인터랙션이 포함되지 않으면, 스마트 백미러가 사용자와 음성 인터랙션하도록 제어한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 스마트 백미러의 카메라가 작동되도록 제어하고, 카메라가 사용자의 동작을 수집하도록 제어하며; 사용자의 동작에 따라, 상응하는 동작을 조작을 실행한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 동작이 기설정된 동작인 것으로 확정되면, 동작에 대응되는 명령을 획득하고; 명령에 따라, 상응하는 조작을 실행한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 또한, 동작이 기설정된 동작이 아닌 것으로 확정되면, 스마트 백미러가 사용자와 음성 인터랙션하도록 제어한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 구체적으로, 사용자의 음성을 수집하고, 음성의 시맨틱을 획득하여; 음성의 시맨틱에 따라, 상응하는 동작을 실행한다.
가능한 일 설계에서, 제2 처리 모듈(802)은 또한, 상응하는 동작을 실행할 때, 오디오를 재생하고, 오디오는 상응하는 동작이 실행되고 있음을 지시한다.
가능한 일 설계에서, 차량이 주행 상태에 있으면, 사용자의 동작은 헤드부 동작일 수 있고; 차량이 비 주행 상태에 있으면, 사용자의 동작은 헤드부 동작 및/또는 손동작을 포함한다.
본 실시예에 따른 스마트 백미러의 인터랙션 장치와 상술한 스마트 백미러의 인터랙션 방법을 구현하는 원리와 기술 효과는 유사하며, 여기서는 중복 설명하지 않는다.
본 출원의 실시예에 따르면, 본 출원에는 전자기기와 판독 가능 저장매체를 더 제공한다. 도 9는 본 출원에 따른 전자기기의 구조도이다. 해당 전자기기는 스마트 백미러일 수 있다. 본 문에서 되시된 부재, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것이며, 본 문에 설명되거나 및/또는 요구한 본 출원의 구현을 제한하고자 하는 것은 아니다.
도 9에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(901), 메모리(902), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다. 도 9는 하나의 프로세서(901)를 예로 든다.
메모리(902)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예에 따른 스마트 백미러의 인터랙션 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원의 실시예에 따른 스마트 백미러의 인터랙션 방법을 수행하도록 한다.
메모리(902)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 스마트 백미러의 인터랙션 방법에 대응되는 프로그램 명령/모듈을 저장할 수 있다. 프로세서(901)는 메모리(902)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 스마트 백미러의 인터랙션 방법을 구현한다.
메모리(902)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 스마트 백미러의 인터랙션 방법을 실행하는 전자기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장장치와 같은 비일시적 메모리를 포함할 수 도 있다. 일부 실시예에서, 메모리(902)는 선택적으로 프로세서(901)에 대해 원격으로 설치된 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 스마트 백미러의 인터랙션 방법을 실행하는 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 랜, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
스마트 백미러의 인터랙션 방법의 전자기기는 입력장치(903)와 오디오 출력장치(904), 카메라(905)와 디스플레이 장치(906)를 더 포함할 수 있다. 해당 카메라는 스마트 백미러의 프론트 카메라일 수 있으며, 카메라(905)는 프로세서(901)의 제어하에 사용자의 동작을 수집하고 상술한 실시예 중 카메라의 동작을 실행하며, 오디오 출력장치(904)는 프로세서(901)의 제어하에 오디오를 출력하여 사용자와의 인터랙션을 구현하고, 디스플레이 장치(906)는전자기기의 인터페이스를 표시하며, 예컨대 상술한 도 4 - 도 7에 도시된 스마트 백미러의 인터페이스를 표시한다.
프로세서(901), 메모리(902), 입력장치(903), 오디오 출력장치(904), 카메라(905)와 디스플레이 장치(906)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 9에서는 버스를 통해 연결되는 것을 예시하고 있다.
여기서, 입력장치(903)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 스마트 백미러의 인터랙션 방법을 실행하기 위한 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종레버 등 입력장치를 포함할 수 있다. 디스플레이 장치(906)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 불리운다)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시방식과 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신망)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신망의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신망을 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 출원의 일 실시예에 따르면, 본 출원은 또한 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 때, 본 출원의 실시예에 따른 스마트 백미러의 인터랙션 방법을 수행한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원의 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는, 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 수요와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체와 개진 등은 모두 본 출원의 보호 범위 내에 속한다.
Claims (22)
- 스마트 백미러를 워이크업시킨 후, 상기 스마트 백미러의 현재 사용 상태를 확정하는 단계;
상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하는 단계를 포함하는 것을 특징으로 하는 스마트 백미러의 인터랙션 방법. - 제1항에 있어서,
상기 스마트 백미러의 현재 사용 상태를 확정하는 상기 단계는,
상기 스마트 백미러가 현재 환경 노이지 상태에 있는지 여부를 확정하는 단계를 포함하고;
상응하게, 상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하는 상기 단계는,
상기 스마트 백미러가 현재 환경 노이지 상태에 있으면, 상기 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하는 단계;
상기 스마트 백미러가 현재 환경 노이지 상태에 있지 않으면, 상기 스마트 백미러와 사용자가 음성 인터랙션을 하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 스마트 백미러가 현재 환경 노이지 상태에 있는지 여부를 확정하는 상기 단계는,
상기 스마트 백미러가 현재 위치한 환경의 노이즈 데시벨을 획득하는 단계;
상기 노이즈 데시벨이 기설정된 데시벨 임계값보다 크면, 상기 스마트 백미러가 환경 노이지 상태에 있다고 확정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 스마트 백미러의 현재 사용 상태를 확정하는 상기 단계는,
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형을 확정하는 단계를 포함하고;
상응하게, 상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하는 상기 단계는,
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제4항에 있어서,
상기 인터랙션 응용은,
음악 응용, 네비게이션 응용 또는 차량 파라미터 제어 응용을 포함하는 것을 특징으로 하는 방법. - 제4항에 있어서,
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 상기 단계는,
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 제1 유형인 것으로 확정될 때, 상기 스마트 백미러와 사용자가 동작 인터랙션하도록 제어하되, 상기 제1 유형의 인터랙션 응용은 상기 사용자에게 오디오 서비스를 제공하는 인터랙션 응용인 단계;
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형이 상기 제1 유형이 아닌것으로 확정될 때, 상기 스마트 백미러와 사용자가 음성 인터랙션하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제4항에 있어서,
현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 상기 단계는,
상기 사용자와 상기 스마트 백미러 상의 각종 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션을 확정하되, 상기 선호 인터랙션은 음성 인터랙션 또는 동작 인터랙션인 단계;
각종 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션, 및 현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용의 유형에 따라, 현재 상기 스마트 백미러가 사용자에게 제공하는 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션을 확정하는 단계;
상기 스마트 백미러와 사용자가 현재 상기 스마트 백미러가 사용자에게 제공한 인터랙션 응용의 선호 인터랙션을 수행하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제7항에 있어서,
상기 사용자와 상기 스마트 백미러 상의 각종 유형의 인터랙션 응용의 히스토리 인터랙션 데이터에 따라, 각종 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션을 확정하는 상기 단계는,
상기 히스토리 인터랙션 데이터에 따라, 상기 사용자와 각종 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율과 음성 인터랙션이 차지하는 비율을 확정하는 단계;
제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 이상이면, 제2 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션은 동작 인터랙션인 것으로 확정하되, 상기 제2 유형은 상기 스마트 백미러 상의 인터랙션 응용 유형 중 임의의 유형인 단계;
제2 유형의 인터랙션 응용의 동작 인터랙션이 차지하는 비율이 음성 인터랙션이 차지하는 비율 미만이면, 제2 유형의 인터랙션 응용에 대한 상기 사용자의 선호 인터랙션은 음성 인터랙션인 것으로 확정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 스마트 백미러의 현재 사용 상태를 확정하는 상기 단계는,
현재 상기 스마트 백미러와 사용자자 음성 인터랙션을 수행하는 인터랙션 내용을 확정하는 단계를 포함하고;
상응하게, 상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하는 상기 단계는,
현재 상기 스마트 백미러와 사용자가 음성 인터랙션을 수행하는 인터랙션 내용에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
현재 상기 스마트 백미러와 사용자가 음성 인터랙션을 수행하는 인터랙션 내용에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 상기 단계는,
상기 인터랙션 내용에서 사용자가 확인, 선택 또는 페이징 조작을 수행하도록 지시하는지 여부를 판단하고;
그렇다면, 상기 스마트 백미러와 사용자가 동작 인터랙션을 수행하도록 제어하는 단계;
그렇지 않으면, 상기 스마트 백미러와 사용자가 음성 인터랙션하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
현재 상기 스마트 백미러와 사용자가 음성 인터랙션을 수행하는 인터랙션 내용에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 상기 단계는,
상기 인터랙션 내용, 및 상기 인터랙션 내용의 라벨에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하되, 상기 라벨은 상기 사용자에게 상기 인터랙션 내용에 기반한 인터랙션 방식을 지시하는 단계를 포함하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 인터랙션 내용, 및 상기 인터랙션 내용의 라벨에 따라, 상기 스마트 백미러와 사용자가 음성 인터랙션 또는 동작 인터랙션을 수행하도록 제어하는 상기 단계는,
상기 인터랙션 내용의 라벨에 동작 인터랙션을 포함하면, 상기 스마트 백미러와 사용자가 동작 인터랙션을 수행하도록 제어하는 단계;
상기 인터랙션 내용의 라벨에 동작 인터랙션이 포함되지 않으면, 상기 스마트 백미러와 사용자가 음성 인터랙션하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법. - 제2항항에 있어서,
상기 스마트 백미러와 사용자가 동작 인터랙션을 수행하도록 제어하는 단계는,
상기 스마트 백미러의 카메라가 동작되도록 제어하고, 상기 카메라가 상기 사용자의 동작을 수집하도록 제어하는 단계;
상기 사용자의 동작에 따라 상응한 조작을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 사용자의 동작에 따라 상응한 조작을 수행하는 상기 단계는,
상기 동작이 기설정된 동작인 것으로 확정되면, 상기 동작에 대응되는 명령을 획득하는 단계;
상기 명령에 따라, 상기 상응한 조작을 실행하는 단계를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 방법은,
상기 동작이 기설정된 동작이 아니라는 것이 확정되면, 상기 스마트 백미러와 사용자가 음성 인터랙션하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 스마트 백미러와 사용자가 음성 인터랙션을 수행하도록 제어하는 단계는,
상기 사용자의 음성을 수집하고, 상기 음성의 시맨틱을 획득하는 단계;
상기 음성의 시맨틱에 따라, 상응하는 조작을 실행하는 단계를 포함하는 것을 특징으로 하는 방법. - 제13항에 있어서,
상기 방법은,
상기 상응한 조작을 수행 시, 오디오를 재생하되, 상기 오디오는 상기 상응한 조작이 수행되고 있음을 지시하는 단계를 포함하는 것을 특징으로 하는 방법. - 제13항항에 있어서,
상기 차량이 운전 상태에 있을 때, 상기 사용자의 동작은 헤드부 동작이고;
상기 차량이 비운전 상태에 있을 때, 상기 사용자의 동작은 헤드부 동작 및/또는 손 동작을 포함하는 것을 특징으로 하는 방법. - 스마트 백미러를 워이크업시킨 후, 상기 스마트 백미러의 현재 사용 상태를 확정하기 위한 제1 처리 모듈;
상기 스마트 백미러의 현재 사용 상태에 따라, 상기 스마트 백미러와 사용자가 인터랙션하도록 제어하기 위한 제2 처리 모듈를 포함하는 것을 특징으로 하는 스마트 백미러의 인터랙션 장치. - 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 및
카메라, 오디오 출력장치를 포함하되; 여기서,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 항 내지 제18 항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하고,
상기 카메라는 상기 프로세서의 제어에 의해 사용자의 동작을 수집하여, 전자기기와 사용자의 동작 인터랙션을 구현하고, 상기 오디오 출력장치는 상기 프로세서의 제어에 의해 오디오를 출력하여, 상기 전자기기와 사용자의 음성 인터랙션을 구현하기 위한 것을 특징으로 하는 전자기기. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 항 내지 제18 항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
- 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제18항 중 임의의 한 항에 따른 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450564.0 | 2020-05-25 | ||
| CN202010450564.0A CN111625094B (zh) | 2020-05-25 | 2020-05-25 | 智能后视镜的交互方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210040856A true KR20210040856A (ko) | 2021-04-14 |
Family
ID=72258024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210038153A KR20210040856A (ko) | 2020-05-25 | 2021-03-24 | 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7204804B2 (ko) |
| KR (1) | KR20210040856A (ko) |
| CN (1) | CN111625094B (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138737B (zh) * | 2021-04-16 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 投屏场景的显示控制方法、装置、设备、介质及程序产品 |
| KR102551294B1 (ko) * | 2021-12-23 | 2023-07-05 | 유니텔전자 (주) | 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템 |
| CN117931357B (zh) * | 2024-03-22 | 2024-06-18 | 东莞莱姆森科技建材有限公司 | 基于交互数据处理的智能镜子、镜柜及其控制方法 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4304959B2 (ja) * | 2002-10-31 | 2009-07-29 | セイコーエプソン株式会社 | 音声対話制御方法、音声対話制御装置および音声対話制御プログラム |
| US20060287821A1 (en) * | 2005-06-15 | 2006-12-21 | William Lin | Computer rearview mirror |
| US20130159939A1 (en) * | 2011-10-12 | 2013-06-20 | Qualcomm Incorporated | Authenticated gesture recognition |
| TWI459333B (zh) * | 2012-02-17 | 2014-11-01 | Utechzone Co Ltd | An Attractive Force Detection Device and Its Method for Interactive Voice |
| JP2013186646A (ja) * | 2012-03-07 | 2013-09-19 | Toshiba Corp | 情報処理装置および情報処理装置の制御方法 |
| US20130257620A1 (en) * | 2012-03-30 | 2013-10-03 | Utechzone Co., Ltd. | Device and method for detecting driver's attention through interactive voice questioning |
| KR101999182B1 (ko) * | 2012-04-08 | 2019-07-11 | 삼성전자주식회사 | 사용자 단말 장치 및 그의 제어 방법 |
| JP2014085954A (ja) * | 2012-10-25 | 2014-05-12 | Kyocera Corp | 携帯端末装置、プログラムおよび入力操作受け付け方法 |
| TWI535585B (zh) * | 2013-06-03 | 2016-06-01 | 鴻海精密工業股份有限公司 | 汽車、應用於汽車上之車載輔助系統及車載輔助裝置 |
| US9721570B1 (en) * | 2013-12-17 | 2017-08-01 | Amazon Technologies, Inc. | Outcome-oriented dialogs on a speech recognition platform |
| WO2015103439A1 (en) * | 2014-01-03 | 2015-07-09 | Harman International Industries, Incorporated | Gesture interactive wearable spatial audio system |
| US9524142B2 (en) * | 2014-03-25 | 2016-12-20 | Honeywell International Inc. | System and method for providing, gesture control of audio information |
| JP2015219228A (ja) * | 2014-05-21 | 2015-12-07 | 株式会社ナビタイムジャパン | 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、および、端末装置 |
| US10282052B2 (en) * | 2015-10-15 | 2019-05-07 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting information associated with icons on a display screen |
| US20180222391A1 (en) * | 2017-02-03 | 2018-08-09 | Da Xiang CHEN | Multi-function, Network Linked Smart Rearview Mirror |
| CN108447472B (zh) * | 2017-02-16 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 语音唤醒方法及装置 |
| US10482801B2 (en) * | 2017-03-22 | 2019-11-19 | Solera Holdings, Inc. | Start and stop methods for a vehicle smart mirror |
| CN107239139B (zh) * | 2017-05-18 | 2018-03-16 | 刘国华 | 基于正视的人机交互方法与系统 |
| CN107452378A (zh) * | 2017-08-15 | 2017-12-08 | 北京百度网讯科技有限公司 | 基于人工智能的语音交互方法和装置 |
| US10596970B2 (en) * | 2017-08-25 | 2020-03-24 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Auto-switch display intelligent rearview mirror system |
| CN107799125A (zh) * | 2017-11-09 | 2018-03-13 | 维沃移动通信有限公司 | 一种语音识别方法、移动终端及计算机可读存储介质 |
| CN108052079B (zh) * | 2017-12-12 | 2021-01-15 | 北京小米移动软件有限公司 | 设备控制方法、装置、设备控制装置及存储介质 |
| CN108337362A (zh) * | 2017-12-26 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备和存储介质 |
| CN108181992A (zh) * | 2018-01-22 | 2018-06-19 | 北京百度网讯科技有限公司 | 基于手势的语音唤醒方法、装置、设备及计算机可读介质 |
| CN108510986A (zh) * | 2018-03-07 | 2018-09-07 | 北京墨丘科技有限公司 | 语音交互方法、装置、电子设备及计算机可读存储介质 |
| EP3721428A4 (en) * | 2018-03-08 | 2021-01-27 | Samsung Electronics Co., Ltd. | INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE |
| JP6966979B2 (ja) * | 2018-06-26 | 2021-11-17 | 株式会社日立製作所 | 対話システムの制御方法、対話システム及びプログラム |
| WO2020025769A1 (en) * | 2018-08-03 | 2020-02-06 | Re Mago Holding Ltd | Method, apparatus, and computer-readable medium for propagating enriched note data objects over a web socket connection in a networked collaboration workspace |
| US10984229B2 (en) * | 2018-10-11 | 2021-04-20 | Chris Talbot | Interactive sign language response system and method |
| CN110109596B (zh) * | 2019-05-08 | 2021-11-16 | 芋头科技（杭州）有限公司 | 交互方式的推荐方法、装置以及控制器和介质 |
| CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
| CN110335600A (zh) * | 2019-07-09 | 2019-10-15 | 四川长虹电器股份有限公司 | 家电设备的多模态交互方法及系统 |
| CN110515449B (zh) * | 2019-08-30 | 2021-06-04 | 北京安云世纪科技有限公司 | 唤醒智能设备的方法及装置 |
| CN110910872B (zh) * | 2019-09-30 | 2023-06-02 | 华为终端有限公司 | 语音交互方法及装置 |
| CN111045639B (zh) * | 2019-12-11 | 2021-06-22 | 深圳追一科技有限公司 | 语音输入方法、装置、电子设备及存储介质 |
| CN111103982A (zh) * | 2019-12-26 | 2020-05-05 | 上海纸上绝知智能科技有限公司 | 基于体感交互的数据处理方法以及装置、系统 |
-
2020
- 2020-05-25 CN CN202010450564.0A patent/CN111625094B/zh active Active
-
2021
- 2021-03-24 KR KR1020210038153A patent/KR20210040856A/ko not_active Application Discontinuation
- 2021-03-26 JP JP2021053876A patent/JP7204804B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7204804B2 (ja) | 2023-01-16 |
| CN111625094B (zh) | 2023-07-14 |
| CN111625094A (zh) | 2020-09-04 |
| JP2021103580A (ja) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210040856A (ko) | 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체 | |
| JP6710791B2 (ja) | ユーザデバイスの状況認識サービス提供方法および装置 | |
| JP6492069B2 (ja) | 環境を認識した対話ポリシーおよび応答生成 | |
| US10683015B2 (en) | Device, method, and graphical user interface for presenting vehicular notifications | |
| JP5998861B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN108287739A (zh) | 一种操作引导方法及移动终端 | |
| JP2019185011A (ja) | アプリケーションプログラムをウェイクアップする処理方法、装置及び記憶媒体 | |
| CN105122353A (zh) | 用于虚拟个人助理系统的自然人-计算机交互 | |
| CN112231021B (zh) | 软件新功能的引导方法和装置 | |
| KR20120080859A (ko) | 손가락 추적을 이용한 휴대 단말기 제어 방법 및 장치 | |
| JP2022013610A (ja) | 音声インタラクション制御方法、装置、電子機器、記憶媒体及びシステム | |
| CN205263746U (zh) | 一种基于3d手势识别的车载娱乐系统 | |
| KR102630662B1 (ko) | 어플리케이션 실행 방법 및 이를 지원하는 전자 장치 | |
| US20190129517A1 (en) | Remote control by way of sequences of keyboard codes | |
| KR20200099380A (ko) | 음성 인식 서비스를 제공하는 방법 및 그 전자 장치 | |
| JP2016181018A (ja) | 情報処理システムおよび情報処理方法 | |
| KR102164853B1 (ko) | 키트 제어용 단말기 상에서 키트 제어를 위한 명령어를 생성하여 키트를 제어하는 방법 | |
| US20240126503A1 (en) | Interface control method and apparatus, and system | |
| CN112652304B (zh) | 智能设备的语音交互方法、装置和电子设备 | |
| CN111539202A (zh) | 一种用于自然语言内容标题消歧的方法、设备和系统 | |
| WO2023006033A1 (zh) | 语音交互方法、电子设备及介质 | |
| JP7230803B2 (ja) | 情報処理装置および情報処理方法 | |
| CN111627441B (zh) | 电子设备的控制方法、装置、设备和存储介质 | |
| CN112114736A (zh) | 一种操作控制方法、装置、电子设备及存储介质 | |
| CN111160318A (zh) | 电子设备控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |