KR102551294B1 - Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor - Google Patents
Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor Download PDFInfo
- Publication number
- KR102551294B1 KR102551294B1 KR1020210186367A KR20210186367A KR102551294B1 KR 102551294 B1 KR102551294 B1 KR 102551294B1 KR 1020210186367 A KR1020210186367 A KR 1020210186367A KR 20210186367 A KR20210186367 A KR 20210186367A KR 102551294 B1 KR102551294 B1 KR 102551294B1
- Authority
- KR
- South Korea
- Prior art keywords
- rearview mirror
- user
- authentication
- smart rearview
- smart
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013473 artificial intelligence Methods 0.000 title abstract description 13
- 230000001419 dependent effect Effects 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 230000003213 activating effect Effects 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
- B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
- B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Acoustics & Sound (AREA)
- Ophthalmology & Optometry (AREA)
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
Abstract
본 발명은 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치에 관한 것으로서,일 측면에 따른 차량에 장착되는 스마트 백미러 제어 장치에서의 스마트 백미러 제어 방법은 전력 인가에 따라 부트 절차를 수행하는 단계와 AOD(Always On Display) 터치 디스플레이의 화면이 비활성화된 상태에서 사용자 제스처를 인식하는 단계와 상기 사용자 제스처의 인식에 따라 상기 비활성화된 터치 디스플레이 화면을 활성화하고, 상기 스마트 백미러의 제어를 위한 사용자 인터페이스 화면을 출력한 후 사용자 음성 입력을 대기하는 단계와 마이크를 통해 입력된 사용자 음성 신호에 대한 기계 학습을 수행하여 사용자 인증 및 상기 스마트 백미러 제어를 위한 음성 명령을 인식하는 단계와 상기 사용자 인증에 성공한 경우, 상기 인식된 음성 명령에 기반하여 뷰 화면을 구성하여 상기 스마트 백미러에 표시하는 단계를 포함하고, 상기 사용자 인증은 사전 등록된 특정 화자만을 대상으로 인증을 수행하는 화자 독립형 인증과 데이터베이스에 등록된 모든 화자를 대상으로 인증을 수행하는 화자 종속형 인증을 포함할 수 있다.The present invention relates to a method for controlling a smart rearview mirror based on artificial intelligence and an apparatus therefor, and the method for controlling a smart rearview mirror in a smart rearview mirror control apparatus mounted on a vehicle according to an aspect includes performing a boot procedure according to power application and AOD (Always On Display) Recognizing a user gesture while the screen of the touch display is deactivated, activating the deactivated touch display screen according to the recognition of the user gesture, and outputting a user interface screen for controlling the smart rearview mirror. and then waiting for a user voice input, performing machine learning on a user voice signal input through a microphone, and recognizing a voice command for user authentication and controlling the smart rearview mirror, and when the user authentication is successful, the recognition Constructing a view screen based on the received voice command and displaying the view screen on the smart rearview mirror, wherein the user authentication includes speaker independent authentication that performs authentication only for a pre-registered specific speaker and all speakers registered in the database. It may include speaker-dependent authentication that performs authentication with
Description
본 발명은 스마트 백미러 제어 기술에 관한 것으로서, 상세하게 인공 지능 기반으로 스마트 백미러의 뷰 화면을 동적으로 제어하는 것이 가능한 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템에 관한 것이다. The present invention relates to a smart rearview mirror control technology, and more particularly, to a smart rearview mirror control method capable of dynamically controlling a view screen of a smart rearview mirror based on artificial intelligence, and an apparatus and system therefor.
최근 자동차는 차선이탈경고(LDW, Lane departure warning), 적응형 주행제어(ACC, Adaptive cruise control), 전방추돌경고(FCW, Forward-collision warning), 사각지대 감지(BSD, Blind-spot detection) 시스템 등의 다양한 첨단운전자보조시스템(ADAS, Advanced driver assistance system)을 통하여 운전자에게 안전성과 편의성을 제공하고 있다.Recent automobiles have Lane Departure Warning (LDW), Adaptive Cruise Control (ACC), Forward-Collision Warning (FCW), and Blind-spot Detection (BSD) systems. Safety and convenience are provided to drivers through various advanced driver assistance systems (ADAS).
이러한 지능형 시스템에서 가중 중요한 기술은 외부 사물을 인식하는 기술로서, 카메라, 레이더, 초음파, 라이더 등의 센서 등이 있으며, 이들 센서들은 차선 감지와 전후방 및 사각지대의 차량 감지 등을 통해 주행 및 주차 상황에서의 안전과 편의성을 제공할 수 있다. The most important technology in this intelligent system is the technology to recognize external objects, and there are sensors such as cameras, radars, ultrasonic waves, and lidars. These sensors detect driving and parking situations through lane detection and vehicle detection in front and rear and blind spots. can provide safety and convenience.
카메라는 충돌방지, 차선유지, 주차보조 등 레벨 2이상의 자율주행 환경에서 활용되는 필수 장치로서, 많은 국가의 장착 의무화로 비중이 증가하고 있는 추세이다. The camera is an essential device used in autonomous driving environments of level 2 or higher, such as collision avoidance, lane keeping, and parking assist, and the proportion of cameras is increasing due to the mandatory installation in many countries.
또한, 이들 센서들은 V2X(Vehicle to Everything) 통신 시스템과 연동하여 교차로와 같이 환경 센서로 감지하기 어려운 상황에서도 사고를 효과적으로 회피할 수 있다.In addition, these sensors can effectively avoid accidents even in situations that are difficult to detect with environmental sensors, such as intersections, by linking with the V2X (Vehicle to Everything) communication system.
개별 센서가 가진 약점을 극복하고자 센서의 정보를 결합하는 센서 퓨전 기술이 활발히 개발되고 있으며, 스테레오 카메라, 3차원 영상센서 등과 같은 차세대 센서에 대한 기술 개발도 활발히 진행되고 있다.In order to overcome the weaknesses of individual sensors, sensor fusion technology that combines sensor information is being actively developed, and technology development for next-generation sensors such as stereo cameras and 3D image sensors is also being actively pursued.
글로벌 이미지 센서 시장에서 자동차는 스마트폰과 디지털 카메라 등과 함께 중요한 축을 담당하고 있다. 특히, 근래 ADAS의 보급확대와 자율주행차량 개발은 자동차가 이미지 센서를 채택하기 더 좋은 환경으로 만들어주고 있다.In the global “image” sensor market, “cars” are in charge of “an important” axis along with “smartphones” and “digital” cameras. In particular, the recent expansion in supply of ADAS and the development of autonomous vehicles are making the environment “better” for cars to adopt “images” and sensors.
자동차 기업들은 운전자 및 보행자의 안전성 확보를 위해 사각지역을 감지하기 위해 디지털 리어뷰 미러와 어라운드 뷰 모니터링 시스템 등에 거울 대신 디스플레이로 대체하고 있다. 실제로 인피니티 Q80, 폭스바겐 XL1, 도요타 NS4 등 차량에서는 아예 사이드미러를 없애고 대신 어라운드 뷰 시스템과 디스플레이를 장착했다.Automakers are replacing mirrors with displays for digital rear-view mirrors and around-view monitoring systems to detect blind spots to ensure driver and pedestrian safety. In fact, vehicles such as the Infiniti Q80, Volkswagen XL1, and Toyota NS4 completely removed side mirrors and installed an around view system and display instead.
어라운드 뷰 모니터 또는 서라운드 뷰 모니터는 자동차에 전후좌우 4개의 카메라를 설치한 뒤 이 영상을 합성하여, 마치 하늘에서 내려다보는 것과 같은 영상을 제공하는 모니터 시스템이다. 탑뷰(Top view) 또는 버드 아이 뷰(Bird's eye view) 라고도 부른다.The surround view monitor or surround view monitor is a monitor system that provides images as if looking down from the sky by synthesizing the images after installing four cameras on the front, rear, left, and right sides of the vehicle. Also called top view or bird's eye view.
하지만, 현재 출시되고 있는 디지털 리어뷰 미러는 단순 어라운드 뷰 만을 제공할 뿐 사용자의 의도에 따라 다양한 뷰 화면을 제공할 수 없는 단점이 있다.However, currently released digital rearview mirrors have a disadvantage in that they provide only a simple around view and cannot provide various view screens according to the user's intention.
본 발명의 목적은 음성 인식 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.An object of the present invention is to provide a method for controlling a smart rearview mirror based on voice recognition artificial intelligence and an apparatus and system therefor.
본 발명의 다른 목적은 다양한 인증 센서로부터 수집된 센싱 정보의 사전 학습을 통해 인증 수단 별 템플릿 데이터를 획득하고, 실시간 획득된 인증 수단 별 특성 데이터와 해당 템플릿 데이터를 비교하여 인증 수단 별 인증 가중치를 결정하고, 결정된 인증 가중치에 기반하여 사용자 별 최적의 인증 수준을 설정함으로써, 커스터마이즈된 사용자 인증을 수행하는 것이 하는 것이 가능한 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another object of the present invention is to obtain template data for each authentication means through preliminary learning of sensing information collected from various authentication sensors, and to determine the authentication weight for each authentication means by comparing the template data with characteristic data for each authentication means acquired in real time. To provide an artificial intelligence-based smart rearview mirror control method capable of performing customized user authentication by setting the optimal authentication level for each user based on the determined authentication weight, and an apparatus and system therefor.
본 발명의 또 다른 목적은 주행 중 음성 인식을 통해 스마트 백미러의 뷰 화면을 제어함으로써, 사용자의 편의성 및 주행 안전을 제공하는 것이 가능한 음성 인식 인공 지능 기반의 스마트 백미러 제어 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another object of the present invention is a method for controlling a smart rearview mirror based on voice recognition artificial intelligence capable of providing user convenience and driving safety by controlling a view screen of a smart rearview mirror through voice recognition while driving, and an apparatus and system for the same is to provide
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다. The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
일 측면에 따른 차량에 장착되는 스마트 백미러 제어 장치에서의 스마트 백미러 제어 방법은 전력 인가에 따라 부트 절차를 수행하는 단계와 AOD(Always On Display) 터치 디스플레이의 화면이 비활성화된 상태에서 사용자 제스처를 인식하는 단계와 상기 사용자 제스처의 인식에 따라 상기 비활성화된 터치 디스플레이 화면을 활성화하고, 상기 스마트 백미러의 제어를 위한 사용자 인터페이스 화면을 출력한 후 사용자 음성 입력을 대기하는 단계와 마이크를 통해 입력된 사용자 음성 신호에 대한 기계 학습을 수행하여 사용자 인증 및 상기 스마트 백미러 제어를 위한 음성 명령을 인식하는 단계와 상기 사용자 인증에 성공한 경우, 상기 인식된 음성 명령에 기반하여 뷰 화면을 구성하여 상기 스마트 백미러에 표시하는 단계를 포함하고, 상기 사용자 인증은 사전 등록된 특정 화자만을 대상으로 인증을 수행하는 화자 독립형 인증과 데이터베이스에 등록된 모든 화자를 대상으로 인증을 수행하는 화자 종속형 인증을 포함할 수 있다.According to one aspect, a smart rearview mirror control method in a smart rearview mirror control device mounted on a vehicle includes performing a booting procedure according to power application and recognizing a user gesture in a state in which the screen of an Always On Display (AOD) touch display is deactivated. Steps of activating the inactivated touch display screen according to the recognition of the user gesture and outputting a user interface screen for controlling the smart rearview mirror, and then waiting for user voice input and responding to the user voice signal input through the microphone Recognizing a voice command for user authentication and controlling the smart rearview mirror by performing machine learning for user authentication, and constructing a view screen based on the recognized voice command and displaying it on the smart rearview mirror when the user authentication is successful. The user authentication may include speaker independent authentication in which authentication is performed only for a pre-registered specific speaker, and speaker dependent authentication in which authentication is performed for all speakers registered in the database.
실시 예로, 상기 부트 절차는 상기 스마트 백미러 제어 장치의 전체적인 입출력을 제어하는 주제어기를 초기화하는 단계와 상기 스마트 카메라와 통신을 연결하는 단계와 상기 터치 디스플레이 화면 출력을 제어하도록 디스플레이 보드를 초기화하는 단계와 적어도 하나의 센서를 캘리브레이션하고, 상기 적어도 하나의 센서로부터 센싱 정보를 수집하도록 구성된 센서 보드를 초기화하는 단계를 포함하고, 상기 센서는 조도 센서, 근접 센서, 터치 센서, 지문 센서 및홍체 센서 중 적어도 하나를 포함할 수 있다.In an embodiment, the booting procedure includes initializing a main controller for controlling overall input/output of the smart rearview mirror control device, connecting communication with the smart camera, initializing a display board to control output on the screen of the touch display, and at least calibrating one sensor and initializing a sensor board configured to collect sensing information from the at least one sensor, wherein the sensor comprises at least one of an ambient light sensor, a proximity sensor, a touch sensor, a fingerprint sensor, and an iris sensor. can include
실시 예로, 상기 스마트 백미러의 제어 모드가 수동 제어 모드인 것에 기반하여, 상기 사용자 인터페이스 화면상에서의 사용자의 터치 동작을 감지하는 단계를 더 포함하되, 상기 터치 동작이 감지되면, 상기 터치 동작에 상응하는 스마트 카메라 제어 명령을 인식하고, 상기 인식된 스마트 카메라 제어 명령에 따라 해당 카메라 촬영 영상을 획득하여 상기 뷰 화면을 구성할 수 있다. As an embodiment, the method further includes detecting a user's touch operation on the user interface screen based on the fact that the control mode of the smart rearview mirror is a manual control mode, wherein, when the touch operation is detected, a corresponding touch operation is performed. The view screen may be configured by recognizing a smart camera control command and acquiring a corresponding camera-captured image according to the recognized smart camera control command.
실시 예로, 상기 방법은 상기 스마트 백미러의 제어 모드가 음성 제어 모드인 것에 기반하여, 상기 인식된 음성 명령에 상응하는 뷰 타입을 결정하는 단계와 상기 결정된 뷰 타입에 상응하는 촬영 영상을 수신할 적어도 하나의 카메라를 결정하는 단계와 상기 결정된 적어도 하나의 카메라로부터 획득된 촬영 영상에 기반하여 상기 뷰 화면을 구성하는 단계를 더 포함하되, 상기 뷰 타입은 전방 뷰, 좌측 사이드 뷰, 우측 사이드 뷰, 후방 뷰, 좌/우 사이드 뷰, 전방 서라운드 뷰, 후방 서라운드 뷰 및 버드 아이 뷰 중 적어도 하나를 포함할 수 있다.In an embodiment, the method may include determining a view type corresponding to the recognized voice command based on the control mode of the smart rearview mirror being a voice control mode, and at least one method for receiving a captured image corresponding to the determined view type. Determining a camera of and configuring the view screen based on a captured image obtained from the determined at least one camera, wherein the view type is a front view, a left side view, a right side view, and a rear view. , a left/right side view, a front surround view, a rear surround view, and a bird's eye view.
실시 예로, 상기 방법은 상기 사용자 인터페이스 화면상에서의 소정 사용자 메뉴 선택에 따라 사용자 등록 절차를 개시하는 단계와 사용자 인증 수단 별 특성 데이터를 추출하는 단계와 상기 마이크를 통해 입력된 음성 신호로부터 사용자 음성을 인식하여 제1 특성 데이터를 추출하는 단계와 카메라를 통해 촬영된 이미지로부터 사용자 홍채를 인식하여 제2 특성 데이터를 추출하는 단계와 지문센서를 통해 사용자 지문을 인식하여 제3 특성 데이터를 추출하는 단계와 상기 제1 내지 3 특성 데이터 각각에 상응하여 사전 학습된 제1 내지 3 템플릿 데이터에 기반하여 각 특성 데이터 별 인증 가중치를 결정하는 단계와 상기 특성 데이터 별 결정된 인증 가중치에 기반하여 해당 사용자에 대한 인증 수준을 결정하는 단계를 포함하되, 사용자 별 상기 추출된 특성 데이터 및 상기 결정된 인증 수준에 관한 정보는 내부 메모리에 저장되어 관리될 수 있다.As an embodiment, the method includes starting a user registration process according to a user selection on the user interface screen, extracting characteristic data for each user authentication means, and recognizing a user's voice from a voice signal input through the microphone. extracting first characteristic data; extracting second characteristic data by recognizing a user's iris from an image captured by a camera; recognizing a user's fingerprint through a fingerprint sensor and extracting third characteristic data; Determining an authentication weight for each characteristic data based on first to third template data pre-learned corresponding to each of the first to third characteristic data, and determining an authentication level for a corresponding user based on the determined authentication weight for each characteristic data. Including the step of determining, the extracted characteristic data for each user and information on the determined authentication level may be stored and managed in an internal memory.
실시 예로, 상기 방법은 상기 차량의 주행 중 구비된 SPAS(Smart Parking Assistance System) 센서를 이용하여 근접 장애물을 감지하는 단계를 더 포함하고, 상기 근접 장애물이 감지된 것에 기반하여 상기 뷰 화면의 일측에 상기 감지된 근접 장애물에 대한 정보가 표시될 수 있다.In an embodiment, the method further includes detecting a proximity obstacle using a SPAS (Smart Parking Assistance System) sensor provided while the vehicle is driving, and based on the detection of the proximity obstacle, one side of the view screen is displayed. Information on the detected proximity obstacle may be displayed.
다른 측면에 따른 차량에 구비되는 스마트 백미러 제어 시스템은 사용자 입력된 음성 신호를 제공하는 마이크와 디지털 디스플레이 장치가 구비된 스마트 백미러와 상기 차량의 전방, 좌/우 측방 및 후방을 촬영하는 카메라 시스템와 상기 스마트 백미러의 제어 모드가 음성 제어 모드인 것에 기반하여 탑재된 음성 인식 엔진을 이용하여 상기 음성 신호에 대한 음성 인식을 수행하고, 상기 음성 인식을 통해 식별된 사용자 음성 명령에 따라 상기 카메라 시스템으로부터 적어도 하나의 카메라에 의해 촬영된 영상을 수신하고, 상기 수신된 적어도 하나의 영상에 기반하여 동적으로 뷰 화면을 구성하고, 상기 구성된 뷰 화면을 상기 스마트 카메라에 제공하는 스마트 백미러 제어 장치를 포함할 수 있다.A smart rearview mirror control system provided in a vehicle according to another aspect includes a smart rearview mirror equipped with a microphone and a digital display device for providing a voice signal input by a user, a camera system for photographing the front, left/right sides, and rear of the vehicle, and the smart rearview mirror. Based on the fact that the control mode of the rearview mirror is the voice control mode, voice recognition is performed on the voice signal using a built-in voice recognition engine, and at least one command is detected from the camera system according to the user's voice command identified through the voice recognition. It may include a smart rearview mirror control device that receives an image captured by a camera, dynamically configures a view screen based on the received at least one image, and provides the configured view screen to the smart camera.
실시 예로, 상기 스마트 백미러 제어 장치는 상기 음성 신호에 기반하여 사용자 인증을 더 수행하되, 상기 사용자 인증은 사전 등록된 특정 화자만을 대상으로 인증을 수행하는 화자 독립형 인증과 데이터베이스에 등록된 모든 화자를 대상으로 인증을 수행하는 화자 종속형 인증을 포함할 수 있다.In an embodiment, the smart rearview mirror control device further performs user authentication based on the voice signal, and the user authentication is speaker independent authentication for performing authentication only for a pre-registered specific speaker and for all speakers registered in the database. It may include speaker-dependent authentication that performs authentication with
실시 예로, 상기 스마트 백미러 제어 시스템은 상기 스마트 카메라의 상기 뷰 화면을 수동으로 제어하기 위한 사용자 인터페이스 화면이 표시되는 터치 디스플레이를 더 포함하되, 상기 스마트 백미러의 제어 모드가 수동 제어 모드로 설정된 경우, 상기 스마트 백미러 제어 장치가 상기 사용자 인터페이스 화면상에서의 사용자의 터치 동작을 감지하고, 상기 감지된 터치 동작에 상응하는 제어 명령을 식별하고, 상기 식별된 제어 명령에 따라 적어도 하나의 카메라로부터 촬영 영상을 획득하여 상기 뷰 화면을 구성할 수 있다.In an embodiment, the smart rearview mirror control system further includes a touch display displaying a user interface screen for manually controlling the view screen of the smart camera, and when the control mode of the smart rearview mirror is set to the manual control mode, the A smart rearview mirror control device detects a user's touch operation on the user interface screen, identifies a control command corresponding to the detected touch operation, and acquires a captured image from at least one camera according to the identified control command. The view screen may be configured.
실시 예로, 상기 스마트 백미러 제어 장치가 상기 차량의 주행 중 구비된 SPAS(Smart Parking Assistance System) 센서를 이용하여 근접 장애물을 감지하고, 상기 근접 장애물이 감지된 것에 기반하여 상기 뷰 화면의 일측에 상기 감지된 근접 장애물에 대한 정보를 표시할 수 있다.In an embodiment, the smart rearview mirror control device detects a proximity obstacle using a SPAS (Smart Parking Assistance System) sensor provided while the vehicle is driving, and detects the proximity obstacle on one side of the view screen based on the detection of the proximity obstacle. Information about nearby obstacles can be displayed.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.
본 발명은 음성 인식 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템을 제공할 수 있는 장점이 있다.The present invention has the advantage of providing a voice recognition artificial intelligence-based smart rearview mirror control method and an apparatus and system therefor.
또한, 본 발명은 인공지능 기반으로 사용자 별 결정된 인증 수준에 따라 최소환의 인증 절차를 수행함으로써, 복잡한 사용자 인증에 대한 사용자 불편을 최소화 시킬 수 있는 사용자 맞춤형 스마트 백미러 제어 기술을 제공할 수 있는 장점이 있다. In addition, the present invention has the advantage of providing a user-customized smart rearview mirror control technology that can minimize user inconvenience for complex user authentication by performing the minimum authentication procedure according to the authentication level determined for each user based on artificial intelligence. .
또한, 본 발명은 음성 인식 인공 지능을 활용하여 주행 중에도 스마트 백미러 화면을 편리하게 제어함으로써 주행 안전을 제공할 수 있는 장점이 있다.In addition, the present invention has the advantage of providing driving safety by conveniently controlling the smart rearview mirror screen even while driving by utilizing voice recognition artificial intelligence.
또한, 본 발명은 불필요한 전력 낭비를 효과적으로 차단할 수 있는 스마트 백미러 제어 장치를 제공할 수 있는 장점이 있다.In addition, the present invention has the advantage of providing a smart rearview mirror control device capable of effectively blocking unnecessary power waste.
또한, 본 발명은 인공 지능 플랫폼을 통해 다양한 사용자 인증 엔진 및 음성 인식 엔진을 제공함으로써, 보다 안전하고 편리한 음성 인식 인터랙션 시스템을 제공할 수 있는 장점이 있다. In addition, the present invention has the advantage of providing a more secure and convenient voice recognition interaction system by providing various user authentication engines and voice recognition engines through an artificial intelligence platform.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects identified directly or indirectly through this document may be provided.
도 1은 실시 예에 따른 인공 지능 음성 인식 기반의 스마트 백미러 제어 장치를 위한 상태 다이어그램이다.
도 2는 실시 예에 따른 스마트 백미러 제어 장치의 초기 부팅 절차를 설명하기 위한 순서도이다.
도 3은 실시 예에 따른 주/정차 상태에서 스마트 백미러 제어 장치에서의 스마트 백미러 제어 방법을 설명하기 위한 순서도이다.
도 4는 실시 예에 따른 스마트 백미러 제어 장치에서의 사용자 등록 절차를 설명하기 위한 순서도이다.
도 5는 실시 예에 따른 스마트 백미러 제어 장치에서의 사용자 인증 절차를 설명하기 위한 순서도이다.
도 6은 실시 예에 따른 인증 적용 화자 모드에 따른 사용자 인증 절차를 설명하기 위한 순서도이다.
도 7은 실시 예에 따른 음성 인식 AI 기반의 스마트 백미러 시스템 구성을 설명하기 위한 블록도이다.
도 8은 실시 예에 따른 스마트 백미러 시스템에 의해 제공되는 뷰 화면의 예이다.
도 9는 본 발명의 실시 예에 따른 스마트 백미러 시스템의 상세 구조를 설명하기 위한 블록도이다.1 is a state diagram for a smart rearview mirror control device based on artificial intelligence voice recognition according to an embodiment.
2 is a flowchart illustrating an initial booting procedure of a smart rearview mirror control device according to an embodiment.
3 is a flowchart for explaining a smart rearview mirror control method in a smart rearview mirror control device in a parking/stop state according to an embodiment.
4 is a flowchart illustrating a user registration procedure in a smart rearview mirror control device according to an embodiment.
5 is a flowchart illustrating a user authentication procedure in a smart rearview mirror control device according to an embodiment.
6 is a flowchart illustrating a user authentication procedure according to an authentication applied speaker mode according to an embodiment.
7 is a block diagram illustrating a configuration of a smart rearview mirror system based on voice recognition AI according to an embodiment.
8 is an example of a view screen provided by a smart rearview mirror system according to an embodiment.
9 is a block diagram for explaining the detailed structure of a smart rearview mirror system according to an embodiment of the present invention.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing an embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function hinders understanding of the embodiment of the present invention, the detailed description will be omitted.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. In addition, unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
도 1은 실시 예에 따른 인공 지능 음성 인식 기반의 스마트 백미러 제어 장치를 위한 상태 다이어그램이다.1 is a state diagram for a smart rearview mirror control device based on artificial intelligence voice recognition according to an embodiment.
도 1을 참조하면, 스마트 백미러 제어 상태(또는 스마트 룸미러 제어 장치)는 크게 대기 상태(Standby Status, 10), 호출 상태(Wakeup Status, 20), 분석 상태(Analysis Status, 30), 결과 보고 및 제어 상태(Result Feedback and Control Status, 40) 및 잠금 상태(Lock Status, 50)를 포함할 수 있다.Referring to FIG. 1, the smart rearview mirror control state (or smart room mirror control device) is largely divided into a standby status (10), a call status (Wakeup Status, 20), an analysis status (Analysis Status, 30), a result report, and It may include a control status (Result Feedback and Control Status, 40) and a lock status (Lock Status, 50).
대기상태(10)는 차량이 정지 또는 주행중인 상태에서 차량 백미러 제어를 위한 스마트 백미러 제어 장치(또는 스마트 백미러 제어 스위치)가 AOD(Always On Display) 동작 모드일 때 운전자의 특정 제스처 입력을 대기하고 있는 상태를 의미할 수 있다. 대기상태(10)에서 스마트 백미러 제어 장치의 디스플레이 화면-예를 들면, 터치 LED 화면-은 비활성화된 상태-즉, 오프(OFF) 상태-일 수 있다.In the
일 예로, 운전자가 미리 설정 또는 등록된 제스처 동작을 대기 상태(10)의 스마트 백미러 제어 장치에서 수행하면, 스마트 백미러 제어 장치는 구비된 근접센서를 통해 운전자의 제스처 동작을 인식하고, 인식된 제스처가 사전 설정/등록된 제스처와 일치하는 것에 기반하여 비활성 상태의 디스플레이 화면을 활성 상태-즉, 온(ON) 상태-로 전환시킬 수 있다.For example, when the driver performs a preset or registered gesture operation in the smart rearview mirror control device in the
디스플레이 화면이 활성화되면, 스마트 백미러 제어 장치는 대기상태(10)에서 호출상태(20)로 천이하고, 차량 스피커를 통해 사용자 음성 인식이 가능한 상태임을 알리는 소정 알림 메시지를 출력할 수 있다. When the display screen is activated, the smart rearview mirror controller transitions from the
스마트 백미러 제어 장치는 호출상태(20)에서 구비된 마이크를 통해 사용자 음성이 입력되면, 분석상태(30)로 천이할 수 있다.When a user's voice is input through a microphone provided in the
스마트 백미러 제어 장치는 분석상태(20)에서 입력된 사용자 음성 신호를 탑재된 인공 지능 음성 인식 엔진을 통해 분석하여 사용자의 음성 명령-예를 들면, 호출 명령어 (Wake-up Word)-을 인식할 수 있다.The smart rearview mirror control device can recognize a user's voice command - for example, a wake-up word - by analyzing the user's voice signal input in the analysis state (20) through the built-in artificial intelligence voice recognition engine. there is.
스마트 백미러 제어 장치는 음성 인식이 정상적으로 완료된 경우, 결과보고상태(40)로 천이하여, 음성 인식 결과에 상응하는 소정 제어 명령을 카메라 시스템으로 전달할 수 있다. 카메라 시스템은 스마트 백미러 제어 장치로부터 수신된 제어 명령에 따라 해당 카메라에 촬영된 영상을 스마트 백미러 제어 장치로 전송할 수 있다. 스마트 백미러 제어 장치는 카메라 시스템으로 수신된 영상을 백미러에 구비된 화면을 통해 출력할 수 있다.When the voice recognition is normally completed, the smart rearview mirror control device may transition to a
실시 예로, 스마트 백미러 제어 장치는 복수의 카메라에 의해 촬영된 영상을 동시에 수신할 수 있다. 이 경우, 스마트 백미러 제어 장치는 영상이 수신된 카메라들의 타입에 따라 화면을 적응적으로 구성하여 백미러에 출력할 수 있다. 일 예로, 카메라는 전방 카메라, 좌/우 사이드 뷰 카메라 및 후방 카메라를 포함할 수 있다.As an embodiment, the smart rearview mirror control device may simultaneously receive images taken by a plurality of cameras. In this case, the smart rearview mirror control device may adaptively configure a screen according to the types of cameras from which images are received and output the image to the rearview mirror. For example, the camera may include a front camera, a left/right side view camera, and a rear camera.
일 예로, 스마트 백미러 제어 장치가 좌/우 사이드 뷰 카메라 촬영 영상을 수신하는 경우, 백미러 화면의 좌측 절반에는 좌측 사이드 뷰 카메라 촬영 영상이 표시되도록 제어하고, 백미러 화면의 우측 절반에는 우측 사이드 뷰 카메라 촬영 영상이 표시되도록 제어할 수 있다.For example, when the smart rearview mirror control device receives an image captured by a left/right side view camera, the left side view camera captured image is displayed on the left half of the rearview mirror screen, and the right side view camera captured image is displayed on the right half of the rearview mirror screen. You can control the display of images.
다른 일 예로, 스마트 백미러 제어 장치가 좌/우 사이드 뷰 카메라 촬영 영상을 수신하는 경우, 백미러 화면을 3개의 영역-제1영역(좌측), 제2 영역(중앙), 제3 영역(우측)-으로 구분하고, 제1 영역에는 좌측 사이드 뷰 카메라 촬영 영상이 표시되도록 제어하고, 제2 영역은 룸미러로 동작되도록 제어하고, 제3 영역에는 우측 사이드 뷰 카메라 촬영 영상이 표시되도록 제어할 수 있다. As another example, when the smart rearview mirror control device receives an image captured by a left/right side view camera, the rearview mirror screen is divided into three regions: a first region (left), a second region (center), and a third region (right). , and controls to display an image captured by the left side-view camera in the first area, controls to operate as a room mirror in the second area, and controls to display an image captured by the right side-view camera in the third area.
또 다른 일 예로, 스마트 백미러 제어 장치가 좌/우 사이드 뷰 카메라 및 전방 카메라 촬영 영상을 수신하는 경우, 스마트 백미러 제어 장치는 수신된 영상들을 기초로 전방 서라운드 뷰 화면을 구성하여 백미러에 출력할 수 있다.As another example, when the smart rearview mirror control device receives images captured by the left/right side view cameras and the front camera, the smart rearview mirror control device configures a front surround view screen based on the received images and outputs the image to the rearview mirror. .
또 다른 일 예로, 스마트 백미러 제어 장치가 좌/우 사이드 뷰 카메라 및 후방 카메라 촬영 영상을 수신하는 경우, 스마트 백미러 제어 장치는 수신된 영상들을 기초로 후방 서라운드 뷰 화면을 구성하여 백미러에 출력할 수 있다.As another example, when the smart rearview mirror control device receives images captured by the left/right side view cameras and the rear camera, the smart rearview mirror control device configures a rear surround view screen based on the received images and outputs the image to the rearview mirror. .
또 다른 일 예로, , 스마트 백미러 제어 장치가 전방 카메라, 좌/우 사이드 뷰 카메라 및 후방 카메라 촬영 영상을 수신하는 경우, 스마트 백미러 제어 장치는 수신된 영상들을 기초로 버드 아이 뷰 화면을 구성하여 백미러에 출력할 수 있다.As another example, when the smart rearview mirror control device receives images captured by the front camera, the left/right side view cameras, and the rear camera, the smart rearview mirror control device configures a bird's eye view screen based on the received images and displays the image on the rearview mirror. can be printed out.
스마트 백미러 제어 장치는 분석 상태(30)에서 사용자 음성 인식에 실패한 경우, 결과보고상태(40)로 천이하여, 음성 인식이 실패하였음을 알리는 소정 알림 메시지를 차량 스피커(또는 백미러 화면)을 통해 출력할 수 있다. When the user's voice recognition fails in the
사전 설정된 보안 및/또는 잠금 모드에 따라 스마트 백미러 제어 장치는 입력된 음성 신호에 대한 기계 학습(또는 딥러닝)을 통해 사용자 식별 및 인증을 수행할 수 있다.According to a preset security and/or lock mode, the smart rearview mirror control device may perform user identification and authentication through machine learning (or deep learning) on an input voice signal.
사용자 식별 및 인증에 성공한 경우, 스마트 백미러 제어 장치는 음성 인식을 통해 사용자 음성 명령을 식별하여 백미러 화면을 제어하고, 사용자 식별 또는 인증에 실패한 경우 스마트 백미러 제어 장치는 사용자 식별 또는 인증에 실패하였음을 알리는 소정 경고 알람 메시지를 출력하고, 결과 보고 상태(40)에서 호출 상태(20)로 천이할 수 있다.If user identification and authentication are successful, the smart rearview mirror control device identifies the user's voice command through voice recognition to control the rearview mirror screen, and if user identification or authentication fails, the smart rearview mirror controller notifies that user identification or authentication has failed. A predetermined warning alarm message may be output, and transition from the
스마트 백미러 제어 장치는 사용자 식별 및 인증에 소정 회수 이상 실패한 경우, 미등록 사용자임을 알리는 소정 경고 알람 메시지를 출력한 후 잠금 상태(50)로 천이할 수 있다. 일 예로, 잠금 상태(50)에서 스마트 백미러는 룸미러의 기능으로만 사용될 수 있다. The smart rearview mirror control device may output a predetermined warning alarm message indicating that the user is an unregistered user and then transition to the locked
잠금 상태(50)에서 사전 설정된 보안 및/또는 잠금 모드 등급에 따라, 스마트 백미러 제어 장치는 지문 인식, 홍체 인식, 안면 인식 및 체중 인식 중 적어도 하나의 생체 인식을 수행하여 사용자 식별 및 인증을 수행할 수 있다. 생체 인식에 성공한 경우, 스마트 백미러 제어 장치는 호출 상태(20)로부터 천이하여 사용자 음성 명령을 대기할 수 있다.In the locked
메뉴 설정에 따라 운전자가 대기상태(10)에서 사전 등록 또는 설정된 기동 명령어(Start Command)를 발화하면, 스마트 백미러 제어 장치는 비활성 상태의 디스플레이 화면을 활성 상태-즉, 온(ON) 상태-로 전환시킬 수도 있다.According to the menu setting, when the driver ignites a pre-registered or set start command in the standby state (10), the smart rearview mirror control device converts the inactive display screen into an active state—that is, an ON state— You can do it.
실시 예로, 결과 보고가 완료되면, 스마트 룸미러 제어 장치는 호출상태(20)로 회귀하여 다음 사용자 명령을 대기할 수 있다. As an embodiment, when the report of the result is completed, the smart room mirror control device may return to the
스마트 백미러 제어 장치는 호출상태(20)로 진입할 때마다 사전 정의된 시간의 호출 타이머를 구동 시킬 수 있다. 스마트 백미러 제어 장치는 호출 타이머가 구동중인 상태에서만 스마트 백미러 제어를 위한 음성 명령을 인식할 수 있다. 만약, 호출 타이머가 만료된 경우, 스마트 백미러 제어 장치는 대기상태(10)로 천이하여 디스플레이 화면을 비활성화시킬 수 있다. The smart rearview mirror control device may drive a call timer for a predefined time each time it enters the
실시 예에 따른 스마트 백미러 제어 장치는 메뉴 설정에 따라 호출상태(20)에서 일정 회수 이상 사용자 식별 및 인증에 실패한 경우, 대기상태(10)로 천이할 수도 있다.The smart rearview mirror control device according to the embodiment may transition to the
실시 예에 따른 스마트 백미러 제어 장치는 호출상태(20), 분석상태(30) 및 결과 보고 상태(40) 중 어느 하나의 상태에서 사전 등록된 종료 명령어(Quit Command)를 음성 인식을 통해 감지하거나 특정 제어 신호-예를 들면, 스마트 백미러 제어 장치에 구비된 특정 버튼 입력 신호-를 수신하면 대기 상태(10)로 천이할 수도 있다.The smart rearview mirror control device according to the embodiment detects a pre-registered end command (Quit Command) through voice recognition or specific When a control signal—for example, a specific button input signal provided in the smart rearview mirror control device—is received, the
도 2는 실시 예에 따른 스마트 백미러 제어 장치의 초기 부팅 절차를 설명하기 위한 순서도이다.2 is a flowchart illustrating an initial booting procedure of a smart rearview mirror control device according to an embodiment.
스마트 백미러 제어 장치는 전원이 인가되면, 부트/로더를 통해 주제어기-즉, 프로세서-를 초기화할 수 있다(S210). When power is applied, the smart rearview mirror control device may initialize the main controller - that is, the processor - through the boot/loader (S210).
주제어기는 외부 장치 및 시스템과의 통신을 위한 통신 보드를 초기화할 수 있다(S220). The main controller may initialize a communication board for communication with external devices and systems (S220).
일 예로, 통신 보드가 초기화되면, 스마트 백미러 제어 장치는 차량에 구비된 각종 전자제어장치(Electric Control Unit(ECU)) 및 차량 단말과 연동될 수 있다. 스마트 백미러 제어 장치는 차량 단말을 통해 외부 장치-예를 들면, RSU(Road Side Unit), 기지국(Base Station), 다른 차량 단말 등-과 연동될 수 있다. 일 예로, 스마트 백미러 제어 장치는 차량 단말을 통해 RSU에 의해 촬영된 주변 영상 신호, 다른 차량 단말에 의해 촬영된 영상 신호 등을 획득할 수 있다. 이 경우, 스마트 백미러 제어 장치는 RSU에 의해 촬영된 주변 영상 및(또는) 다른 차량 단말에 의해 촬영된 영상을 자신의 스마트 백미러를 통해 표시할 수 있다.For example, when the communication board is initialized, the smart rearview mirror control device may interwork with various electronic control units (ECUs) and vehicle terminals included in the vehicle. The smart rearview mirror control device may interwork with an external device, such as a road side unit (RSU), a base station, or other vehicle terminals, through a vehicle terminal. As an example, the smart rearview mirror control device may acquire a surrounding image signal captured by the RSU and an image signal captured by another vehicle terminal through a vehicle terminal. In this case, the smart rearview mirror control device may display the surrounding image captured by the RSU and/or the image captured by another vehicle terminal through its own smart rearview mirror.
또한, 주제어기는 디스플레이 보드를 초기화하여 AOD 동작 모드를 활성화시킬 수 있다(S230).In addition, the main controller may activate the AOD operation mode by initializing the display board (S230).
주제어기는 센서 보드를 초기화하여 스마트 백미러 제어 장치의 부팅 동작을 완료할 수 있다(S240). 주제어기는 센서 보드를 통해 차량 카메라에 의해 촬영된 영상 신호 및 마이크를 통해 입력된 사용자 음성 신호를 수신할 수 있다. 또한, 주제어기는 센서 보드를 통해, 홍체 인식 신호, 지문 인식 신호, 제스쳐 인식 신호, 터치 인식 신호, 조도 센싱 신호 등을 수신할 수도 있다.The main controller may initialize the sensor board to complete the booting operation of the smart rearview mirror control device (S240). The main controller may receive a video signal photographed by a vehicle camera through a sensor board and a user voice signal input through a microphone. Also, the main controller may receive an iris recognition signal, a fingerprint recognition signal, a gesture recognition signal, a touch recognition signal, an illuminance sensing signal, and the like through the sensor board.
주제어기는 센서 보드에 연결된 각종 센서들에 대한 캘리브레이션을 수행하여 센서들의 센싱 정확도를 유지시킬 수 있다. 여기서, 센서 보드에 연결된 센서는 터치 센서, 제스쳐 센서, 마이크, 카메라, 홍체 인식 센서, 지문 인식 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.The main controller may maintain sensing accuracy of the sensors by calibrating various sensors connected to the sensor board. Here, the sensor connected to the sensor board may include, but is not limited to, a touch sensor, a gesture sensor, a microphone, a camera, an iris recognition sensor, and a fingerprint recognition sensor.
실시 예에 따른 주제어기는 통신 보드를 통해 차량에 장착된 각종 카메라와 신호를 송수신할 수도 있다. The main controller according to the embodiment may transmit/receive signals to and from various cameras installed in the vehicle through a communication board.
도 3은 실시 예에 따른 주/정차 상태에서 스마트 백미러 제어 장치에서의 스마트 백미러 제어 방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining a smart rearview mirror control method in a smart rearview mirror control device in a parking/stop state according to an embodiment.
도 3을 참조하면, AOD(Always-On Display) 동작 모드의 LED의 화면이 비활성화된 상태-즉 화면 오프 상태-에서 스마트 백미러 제어 장치는 구비된 센서-예를 들면, 근접 센서-를 통해 사용자의 제스처를 인식할 수 있다(S310).Referring to FIG. 3 , in an AOD (Always-On Display) operating mode LED screen inactive state—that is, in a screen off state—the smart rearview mirror control device uses a sensor (for example, a proximity sensor) to detect the user's A gesture may be recognized (S310).
스마트 백미러 제어 장치는 인식된 사용자 제스처에 기반하여 디스플레이 화면을 오프 상태에서 온 상태로 전환시켜 스마트 백미러 제어 인터페이스 화면을 출력할 수 있다(S320).The smart rearview mirror control device may output a smart rearview mirror control interface screen by switching the display screen from an off state to an on state based on the recognized user gesture (S320).
스마트 백미러 제어 장치는 스마트 백미러 제어 인터페이스 화면상의 사용자의 터치 동작 또는 사용자 음성 명령을 인식할 수 있다(S330).The smart rearview mirror control device may recognize a user's touch operation on the smart rearview mirror control interface screen or a user's voice command (S330).
일 예로, 스마트 백미러 제어 인터페이스 화면에는 스마트 백미러에 표시될 카메라 영상의 타입을 선택하기 위한 터치 버튼, 스마트 백미러를 온/오프 제어하기 위한 터치 버튼, 생체 인식을 위한 터치 버튼 등을 포함할 수 있으나, 이에 한정되지는 않는다. 여기서, 카메라 영상 타입-즉, 뷰 타입-은 전방 뷰, 좌측 사이드 뷰, 우측 사이드 뷰, 후방 뷰, 좌/우 사이드 뷰, 전방 서라운드 뷰, 후방 서라운드 뷰, 버드 아이 뷰 등을 포함할 수 있으나, 이에 한정되지는 않는다.For example, the smart rearview mirror control interface screen may include a touch button for selecting the type of camera image to be displayed on the smart rearview mirror, a touch button for on/off control of the smart rearview mirror, and a touch button for biometric recognition. It is not limited to this. Here, the camera image type - that is, the view type - may include a front view, left side view, right side view, rear view, left/right side view, front surround view, rear surround view, bird's eye view, etc. It is not limited to this.
또한, 사용자 음성 명령도 백미러에 표시될 카메라 영상의 타입을 선택하기 위한 소정 음성 명령들을 포함할 수 있다. 일 예로, 음성 명령은 전방 뷰, 좌측 사이드 뷰, 우측 사이드 뷰, 후방 뷰, 좌/우 사이드 뷰, 전방 서라운드 뷰, 후방 서라운드 뷰, 버드 아이 뷰 등을 포함할 수 있으나, 이에 한정되지는 않는다.Also, the user's voice command may include predetermined voice commands for selecting the type of camera image to be displayed on the rearview mirror. For example, the voice command may include a front view, a left side view, a right side view, a rear view, a left/right side view, a front surround view, a rear surround view, and a bird's eye view, but is not limited thereto.
스마트 백미러 제어 장치는 감지된 터치 동작 또는 인식된 음성 명령에 따라 카메라 시스템으로 소정 제어 명령을 전송하여 해당 카메라(들)의 촬영 영상을 획득할 수 있다(S340).The smart rearview mirror control device may transmit a predetermined control command to the camera system according to a detected touch operation or a recognized voice command to acquire a captured image of the corresponding camera(s) (S340).
스마트 백미러 제어 장치는 획득된 카메라 촬영 영상(들)을 기초로 화면을 구성하여 스마트 백미러에 표시할 수 있다(S350). The smart rearview mirror control device may compose a screen based on the obtained camera-captured image(s) and display the screen on the smart rearview mirror (S350).
도 4는 실시 예에 따른 스마트 백미러 제어 장치에서의 사용자 등록 절차를 설명하기 위한 순서도이다.4 is a flowchart illustrating a user registration procedure in a smart rearview mirror control device according to an embodiment.
도 4를 참조하면, 스마트 백미러 제어 장치는 사용자 인터페이스 화면상의 사용자 메뉴 선택에 따라 사용자 등록 절차를 개시할 수 있다(S410).Referring to FIG. 4 , the smart rearview mirror control device may initiate a user registration process according to a user menu selection on a user interface screen (S410).
스마트 백미러 제어 장치는 마이크를 통해 사용자 음성을 인식하여 제1 특성 데이터를 추출할 수 있다(S420).The smart rearview mirror control device may recognize a user's voice through a microphone and extract first characteristic data (S420).
스마트 백미러 제어 장치는 홍체 센서를 통해 사용자의 홍채를 인식하여 제2 특성 데이터를 추출할 수 있다(S430).The smart rearview mirror control device may recognize the user's iris through the iris sensor and extract second characteristic data (S430).
스마트 백미러 제어 장치는 지문 센서를 통해 사용자의 지문을 인식하여 제3 특성 데이터를 추출할 수 있다(S440).The smart rearview mirror control device may recognize the user's fingerprint through the fingerprint sensor and extract third characteristic data (S440).
스마트 백미러 제어 장치는 제1 내지 제3 특성 데이터 각각에 상응하여 사전 학습된 제1 내지 제3 템플릿 데이터에 기반하여 각 특성 데이터에 대한 인증 가중치를 결정할 수 있다(S450).The smart rearview mirror control device may determine an authentication weight for each characteristic data based on first to third template data pre-learned corresponding to each of the first to third characteristic data (S450).
특성 데이터 별 결정된 인증 가중치에 기반하여 해당 사용자에 대한 인증 수준을 결정 및 등록할 수 있다(S460). 여기서, 사용자 별 추출된 특성 데이터 및 결정된 인증 수준에 대한 정보는 사용자 데이터베이스에 저장 및 유지되어 관리될 수 있다. An authentication level for the corresponding user may be determined and registered based on the authentication weight determined for each characteristic data (S460). Here, the extracted characteristic data for each user and information on the determined authentication level may be stored, maintained, and managed in a user database.
일 예로, 어떤 사람은 음성에 대한 특성이 다른 사람에 비해 강할 수 있다. 이는 음성을 통해 사용자 식별 및 인증이 보다 용이함을 의미할 수 있다. 또한, 어떤 사람은 음성의 특성이 약하지만, 홍채에 특성이 강할 수 있다. 이 경우, 음성에 비해 홍채에 대한 인증 가중치를 높게 설정하여 사용자 식별 및 인증 정확도를 향상시킬 수 있다. 상술한 바와 같이, 본원 발명은 사용자 별 인증 데이터에 특성에 기초하여 적응적으로 인증 가중치를 결정하고, 그에 따른 최적의 인증 수준을 결정함으로써, 사용자 식별 및 인증에 대한 신뢰도를 향상시킬 수 있을 뿐만 아니라 불필요한 사용자 인증을 최소화함으로써 사용자 불편을 최소화 시킬 수 있는 장점이 있다.For example, some people may have stronger voice characteristics than others. This may mean that user identification and authentication are easier through voice. Also, some people may have weak voice characteristics, but strong iris characteristics. In this case, user identification and authentication accuracy may be improved by setting a higher authentication weight for the iris than for the voice. As described above, the present invention not only improves the reliability of user identification and authentication by adaptively determining the authentication weight based on the characteristics of authentication data for each user and determining the optimal authentication level accordingly. There is an advantage in minimizing user inconvenience by minimizing unnecessary user authentication.
상기 도 4의 실시 예에서는 사용자 인증 수단으로 음성 인식, 홍채 인식 및 지문 인식 등이 설명되어 있으나, 이는 하나의 실시 예에 불과하며, 안면 인식, 체중 인식 등의 다른 생체 인식 수단이 추가 적용될 수도 있다. In the embodiment of FIG. 4 , voice recognition, iris recognition, fingerprint recognition, etc. have been described as user authentication means, but this is only one embodiment, and other biometric means such as face recognition and weight recognition may be additionally applied. .
도 5는 실시 예에 따른 스마트 백미러 제어 장치에서의 사용자 인증 절차를 설명하기 위한 순서도이다.5 is a flowchart illustrating a user authentication procedure in a smart rearview mirror control device according to an embodiment.
도 5를 참조하면, 스마트 백미러 제어 장치는 사용자 인증 절차가 개시되면, 생체 인식 엔진을 활성화시킬 수 있다(S510).Referring to FIG. 5 , the smart rearview mirror control device may activate a biometric engine when a user authentication procedure is initiated (S510).
여기서, 생체 인식 엔진은 음성 인식 엔진, 홍채 인식 엔진, 지문 인식 엔진, 안면 인식 엔진 및 제스쳐 인식 엔진 중 적어도 하나를 포함할 수 있다.Here, the biometric engine may include at least one of a voice recognition engine, an iris recognition engine, a fingerprint recognition engine, a face recognition engine, and a gesture recognition engine.
스마트 백미러 제어 장치는 적어도 하나의 생체 인식 엔진을 통해 적어도 하나의 특성 데이터를 획득할 수 있다(S520).The smart rearview mirror control device may acquire at least one characteristic data through at least one biometric engine (S520).
스마트 백미러 제어 장치는 획득된 특성 데이터에 기반하여 후보 사용자를 사용자 데이터베이스로부터 선택할 수 있다(S530). 여기서, 후보 사용자는 특성 데이터에 따라 복수일 수 있다.The smart rearview mirror control device may select a candidate user from the user database based on the obtained characteristic data (S530). Here, a plurality of candidate users may be provided according to characteristic data.
스마트 백미러 제어 장치는 선택된 후보 사용자에 상응하여 사전 등록된 인증 수준을 식별할 수 있다(S540).The smart rearview mirror control device may identify a pre-registered authentication level corresponding to the selected candidate user (S540).
스마트 백미러 제어 장치는 식별된 인증 수준에 따라 추가 인증 필요 여부를 판단할 수 있다(S550).The smart rearview mirror control device may determine whether additional authentication is required according to the identified authentication level (S550).
스마트 백미러 제어 장치는 추가 인증이 필요한 경우, 해당 인증 수준에 따른 추가 인증 절차를 수행하여 후보 사용자(들)에 대한 최종 인증을 수행할 수 있다(S560).If additional authentication is required, the smart rearview mirror control device may perform final authentication of the candidate user(s) by performing an additional authentication procedure according to a corresponding authentication level (S560).
상기 450 단계에서, 추가 인증이 필요하지 않은 것으로 판단된 경우, 스마트 백미러 제어 장치는 선택된 후보 사용자를 최종 인증된 사용자로 결정할 수 있다.In step 450, if it is determined that additional authentication is not required, the smart rearview mirror control device may determine the selected candidate user as the final authenticated user.
상술한 바와 같이, 본원 발명은 사용자 인증을 위한 생체 인식 수단을 사전 등록된 인증 수준에 따라 적응적으로 결정함으로써 사용자를 보다 효과적으로 식별 및 인증할 수 있는 장점이 있다.As described above, the present invention has an advantage of more effectively identifying and authenticating a user by adaptively determining a biometric means for user authentication according to a pre-registered authentication level.
또한, 본원 발명은 사용자 별 사전 결정된 인증 수준에 따라 최소한의 인증 절차를 수행함으로써 사용자 불편을 최소화 시킬 수 있는 장점이 있다.In addition, the present invention has an advantage of minimizing user inconvenience by performing a minimum authentication procedure according to a predetermined authentication level for each user.
도 6은 실시 예에 따른 인증 적용 화자 모드에 따른 사용자 인증 절차를 설명하기 위한 순서도이다.6 is a flowchart illustrating a user authentication procedure according to an authentication applied speaker mode according to an embodiment.
도 6을 참조하면, 스마트 백미러 제어 장치는 사용자의 소정 메뉴 선택을 통해 인증 적용 화자 모드를 설정 받을 수 있다(S610).Referring to FIG. 6 , the device for controlling the smart rearview mirror may set a speaker mode applying authentication through a user's selection of a predetermined menu (S610).
여기서, 인증 적용 화자 모드는 화자 종속형 모드와 화자 독립형 모드로 구분될 수 있다.Here, the authentication applied speaker mode can be divided into a speaker dependent mode and a speaker independent mode.
화자 종속형 모드는 사용자에 의해 미리 등록(선택)된 화자만을 대상으로 사용자 인증 절차를 수행하는 모드이다. The speaker-dependent mode is a mode in which a user authentication procedure is performed only for speakers registered (selected) in advance by the user.
화자 독립형 모드는 데이터베이스에 등록된 모든 화자를 대상으로 사용자 인증 절차를 수행하는 모드이다.The speaker independent mode is a mode in which a user authentication procedure is performed for all speakers registered in the database.
화자 종속형 모드의 경우, 특정 화자만을 대상으로 사용자 인증 절차를 수행하므로 보다 빠른 사용자 인증을 수행할 수 있는 장점이 있으나, 화자 종속형 모드로 등록(또는 선택)되지 않는 사용자에 대해서는 인증에 실패하는 문제점이 있다.In the case of speaker-dependent mode, since the user authentication procedure is performed only for a specific speaker, it has the advantage of faster user authentication, but authentication fails for users who are not registered (or selected) in speaker-dependent mode. There is a problem.
반면, 화자 독립형 모드는 데이터베이스에 등록된 모든 화자를 대상으로 사용자 인증을 수행하므로 인증에 실패할 확률은 매우 낮은 장점이 있으나, 화자 종속형 모드에 비해 사용자 인증에 소요되는 시간이 증가되는 단점이 있다. On the other hand, since the speaker-independent mode performs user authentication for all speakers registered in the database, the probability of authentication failure is very low. However, the time required for user authentication is increased compared to the speaker-dependent mode. .
사용자 인증 절차가 개시되면, 스마트 백미러 제어 장치는 현재 설정된 인증 적용 화자 모드가 화자 종속형인지 화자 독립형인지 판단할 수 있다(S630).When the user authentication procedure is started, the smart rearview mirror control device may determine whether the currently set authentication-applied speaker mode is a speaker dependent type or a speaker independent type (S630).
판단 결과, 화자 종속형 모드인 경우, 스마트 백미러 제어 장치는 미리 등록(또는 선택)된 특정 화자만을 대상으로 사용자 인증을 수행할 수 있다(S640).As a result of the determination, in the case of a speaker-dependent mode, the smart rearview mirror control device may perform user authentication only for a specific speaker registered (or selected) in advance (S640).
상기 630 단계의 판단 결과, 화자 독립형 모드인 경우, 스마트 백미러 제어 장치는 데이터베이스에 등록된 모든 화자를 대상으로 사용자 인증을 수행할 수 있다(650).As a result of the determination in step 630, in the case of a speaker independent mode, the smart rearview mirror control device may perform user authentication for all speakers registered in the database (650).
도 7은 실시 예에 따른 음성 인식 AI 기반의 스마트 백미러 시스템 구성을 설명하기 위한 블록도이다.7 is a block diagram illustrating a configuration of a smart rearview mirror system based on voice recognition AI according to an embodiment.
도 7을 참조하면, 스마트 백미러 시스템(700)은 마이크(710), 음성 인식 프로세서(720), 주제어기(730), 카메라 시스템(740) 및 스마트 백미러(750)를 포함하여 구성될 수 있다.Referring to FIG. 7 , a smart
실시 예에 따른 카메라 시스템(740)은 좌측 사이드 뷰 카메라(741), 우측 사이드 뷰 카메라(742), 전방 뷰 카메라(743) 및 후방 뷰 카메라(744)를 포함하여 구성될 수 있으나, 이는 하나의 실시 예에 불과하며, 이보다 많거나 적은 카메라를 포함하여 구성될 수도 있다.The camera system 740 according to the embodiment may include a left side view camera 741, a right side view camera 742, a front view camera 743 and a rear view camera 744, but this is one It is only an embodiment, and may be configured to include more or fewer cameras.
다른 실시 예로, 카메라 시스템(740)은 SVM(Surround View Monitor) 카메라를 포함하여 구성될 수도 있다. SVM 카메라는 차량의 전방/후방/좌측/우측 등에 장착되어 와이드 뷰(전방 카메라 뷰)뿐만 아니라 전방 탑뷰(또는 전방 서라운드 뷰)(전방/좌측/우측 카메라 합성 뷰), 좌측면 뷰(좌측 카메라 뷰), 우측면 뷰(우측 카메라 뷰), 후방 뷰(후방 카메라 뷰), 후방 탑뷰(또는 후방 서라운드 뷰)(후방/좌측/우측 카메라 합성 뷰) 등을 제공할 수 있다.As another embodiment, the camera system 740 may include a Surround View Monitor (SVM) camera. The SVM camera is mounted on the front/rear/left/right side of the vehicle for wide view (front camera view) as well as front top view (or front surround view) (front/left/right camera synthesis view), left side view (left camera view) ), right side view (right camera view), rear view (rear camera view), rear top view (or rear surround view) (rear/left/right camera composite view), and the like.
또 다른 실시 예로, 카메라 시스템(740)은 SPAS(Smart Parking Assistance System) 센서를 포함할 수도 있다. 이 경우, 주제어기(730)는 SPAS 센서로부터 수신된 센싱 정보에 기반하여 근거리 장애물을 감지할 수 있다. 주제어기(730)는 근거리 장애물 감지 시 스마트 백미러(750)를 통해 근거리 장애물 감지 정보를 표시할 수 있다. 일 예로, 주제어기(730)는 SPAS 센서로부터 수신된 센싱 정보에 기반하여 감지된 장애물의 위치를 식별할 수 있다. 주제어기(730)는 식별된 장애물 위치에 상응하는 카메라 뷰 화면에 식별된 장애물을 매칭하여 스마트 백미러(750)를 통해 표시할 수 있다. 일 예로, 장애물이 차량의 좌측 사이드에서 감지된 경우, 주제어기(730)는 좌측 사이드 카메라 촬영 영상에 장애물 감지 결과가 포함된 영상을 스마트 백미러(750)로 전송하여 표시할 수 있다. 이를 통해, 운전자는 어느 위치에 근거리 장애물이 있는지 직관적으로 확인할 수 있는 장점이 있다.As another example, the camera system 740 may include a Smart Parking Assistance System (SPAS) sensor. In this case, the main controller 730 may detect a short-range obstacle based on sensing information received from the SPAS sensor. When detecting a short-range obstacle, the main controller 730 may display short-range obstacle detection information through the smart rearview mirror 750 . For example, the main controller 730 may identify the position of the detected obstacle based on sensing information received from the SPAS sensor. The main controller 730 may display the identified obstacle through the smart rearview mirror 750 by matching the identified obstacle to the camera view screen corresponding to the identified obstacle position. For example, when an obstacle is detected on the left side of the vehicle, the main controller 730 may transmit an image including an obstacle detection result in an image captured by the left side camera to the smart rearview mirror 750 and display the image. Through this, there is an advantage in that the driver can intuitively check at which location there is a short-distance obstacle.
이하에서는 음성 인식 AI 기반의 스마트 백미러 시스템(700)가 스마트 백미러(750) 화면을 구성하는 절차를 상세히 설명하기로 한다.Hereinafter, a procedure for configuring the screen of the smart rearview mirror 750 by the smart
마이크(710)를 통해 입력된 사용자 음성 신호는 음성 인식 프로세서(720)로 전송될 수 있다. A user voice signal input through the
음성 인식 프로세서(720)는 수신된 음성 신호의 잡음을 제거한 후, 탑재된 음성 인식 엔진을 통해 음성 신호를 자연어 처리하여 키워드-즉, 사용자 음성 명령-을 추출할 수 있다.After removing noise from the received voice signal, the
주제어기(730)는 음성 인식 프로세서(720)로부터 수신된 사용자 음성 명령에 기반하여 카메라 시스템(740)에 해당 카메라 촬영 영상을 전송하도록 제어할 수 있다.The main controller 730 may transmit a corresponding camera-captured image to the camera system 740 based on a user voice command received from the
주제어기(730)는 카메라 시스템(740)으로부터 수신된 영상 신호에 기반하여 스마트 백미러(750)에 표시될 해당 뷰 화면을 구성하고, 구성된 뷰 화면을 스마트 백미러(750)에 전송하여 표시할 수 있다. 주제어기(730)에 의해 구성될 수 있는 뷰 화면은 도 8에 도시된 바와 같이, 사용자 음성 명령에 따라 다양하게 구성될 수 있다. The main controller 730 configures a corresponding view screen to be displayed on the smart rearview mirror 750 based on the video signal received from the camera system 740, and transmits the configured view screen to the smart rearview mirror 750 for display. . As shown in FIG. 8 , the view screen that can be configured by the main controller 730 can be configured in various ways according to the user's voice command.
도 8은 실시 예에 따른 스마트 백미러 시스템에 의해 제공되는 뷰 화면의 예이다.8 is an example of a view screen provided by a smart rearview mirror system according to an embodiment.
도 8을 참조하면, 스마트 백미러(750)에 표시될 수 있는 뷰 화면은 크게 좌측 카메라 뷰 화면(810), 우측 카메라 뷰 화면(820), 양측 카메라 뷰 화면(830), 전방 카메라 뷰 화면(840), 전방(또는 후방) 서라운드 뷰 화면(850) 및 버드 아이 뷰 화면(860)을 포함할 수 있다.Referring to FIG. 8 , view screens that can be displayed on the smart rearview mirror 750 include a left
스마트 백미러 시스템(700)은 사용자 음성 명령에 따라 적응적으로 뷰 화면을 구성하여 스마트 백미러(750)에 표시할 수 있다.The smart
실시 예에 따른 스마트 백미러 시스템(700)이 SPAS 센서와 연동하여 근거리 장애물을 감지한 경우, 뷰 화면의 일측에는 장애물 감지 정보가 더 표시될 수 있다. 여기서, 장애물 감지 정보는 장애물의 위치에 대한 정보 및 장애물의 타입에 대한 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다. When the smart
실시 예로, 뷰 화면의 종류-즉, 뷰 타입-에 따라 스마트 백미러(750)는 도면 번호 810 내지 840에 도시된 바와 같이, 일부 거울 영역을 포함할 수도 있다. As an embodiment, the smart rearview mirror 750 may include some mirror areas, as shown in
도 9는 본 발명의 실시 예에 따른 스마트 백미러 시스템의 상세 구조를 설명하기 위한 블록도이다.9 is a block diagram for explaining the detailed structure of a smart rearview mirror system according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 스마트 백미러 시스템(900)은 크게 스마트 백미러 제어 장치(910), 통신보드(920), 디스플레이 보드(930) 및 센서 보드(940)를 포함하여 구성될 수 있다.As shown in FIG. 9 , the smart
통신보드(920)는 차량 ECU 및/또는 차량 단말(921)과 연결되어 통신을 수행할 수 있다. 일 예로, 통신보드(920)는 스마트 백미러 제어 장치(910)의 요청에 따라 차량 단말(921)을 통해 타 차량의 카메라를 통해 촬영된 영상을 수신하여 스마트 백미러 제어 장치(910)로 전송할 수 있다. The communication board 920 may be connected to the vehicle ECU and/or the vehicle terminal 921 to perform communication. For example, the communication board 920 may receive an image captured by a camera of another vehicle through the vehicle terminal 921 according to a request of the smart rearview mirror control device 910 and transmit it to the smart rearview mirror control device 910. .
또한, 통신보드(920)는 스마트 백미러(750)와 연결되어 스마트 백미러 제어 장치(910)에 의해 구성된 뷰 화면을 스마트 백미러(750)에 전송할 수 있다.In addition, the communication board 920 may be connected to the smart rearview mirror 750 and transmit the view screen configured by the smart rearview mirror control device 910 to the smart rearview mirror 750 .
디스플레이 보드(930)는 LED(9311)와 연결될 수 있으며, 디스플레이 보드(930)는 스마트 백미러 제어 장치(910)의 제어 신호에 따라 스마트 백미러 시스템(900)의 사용자 인터페이스 화면 및 각종 상태 정보를 LED(931)에 표시될 수 있다. 디스플레이 보드(620)는 AOD 동작 모드로 LED(931)를 제어할 수 있다.The display board 930 may be connected to the LED 9311, and the display board 930 displays the user interface screen and various status information of the smart
센서보드(940)는 조도 센서(941), 근접 센서(942), 터치 센서(943), 지문 센서(944), 홍체 센서(945) 및 마이크(710) 중 적어도 하나와 연결될 수 있으며, 해당 센서로부터 획득된 센싱 정보를 스마트 백미러 제어 장치(910)에 제공할 수 있다. 스마트 백미러 제어 장치(910)는 조도 센서(941), 근접 센서(942), 터치 센서(943), 지문 센서(944), 홍체 센서(945) 및 마이크(710) 중 적어도 하나로부터 수신된 센싱 정보에 기반하여 제스쳐 인식, 사용자 인증, 사용자 음성 명령 식별 등의 동작을 수행할 수 있다.The sensor board 940 may be connected to at least one of the
또한, 센서보드(940)는 카메라 시스템(740)과 연결될 수 있다. 센서보드(940)는 스마트 백미러 제어 장치(910)의 제어 신호에 따라 해당 카메라로부터 촬영 영상을 수신하고, 수신된 영상을 스마트 백미러 제어 장치(910)에 제공할 수 있다.Also, the sensor board 940 may be connected to the camera system 740 . The sensor board 940 may receive a photographed image from a corresponding camera according to a control signal of the smart rearview mirror control device 910 and provide the received image to the smart rearview mirror control device 910 .
또한, 센서보드(940)는 SPAS 센서(946)과 연결될 수도 있다. 센서보드(940)는 SPAS 센서(946)로부터 수신된 센싱 정보를 스마트 백미러 제어 장치(910)에 제공할 수 있다. 일 예로, 스마트 백미러 제어 장치(910)는 SPAS 센서(946)로부터의 센싱 정보에 기반하여 근거리 장애물을 감지할 수 있다. Also, the sensor board 940 may be connected to the
센서 보드(940)은 초기화 시 연결된 센서들에 대한 캘리브레이션 동작을 수행할 수 있다.The sensor board 940 may perform a calibration operation on connected sensors upon initialization.
조도 센서(941)은 스마트 백미러 제어 장치(910) 및/또는 스마트 백미러(750) 주변의 조도를 측정할 수 있다. 센서보드(940)은 수집된 조도 센싱 정보를 주제어기(640)로 전달할 수 있다.The
도 9를 참조하면, 스마트 백미러 제어 장치(910)는 주제어기(950), 메모리(960) 및 각종 엔진들을 포함할 수 있다.Referring to FIG. 9 , a smart rearview mirror control device 910 may include a main controller 950, a memory 960, and various engines.
여기서, 엔진은 음성 명령 인식 엔진(970), 제스처 인식 엔진(980), 터치 인식 엔진(990), 사용자 인증 엔진(995) 등을 포함하여 구성될 수 있다. Here, the engine may include a voice command recognition engine 970, a gesture recognition engine 980, a touch recognition engine 990, a user authentication engine 995, and the like.
주제어기(950)는 조도 센싱 정보에 따른 화면 밝기 제어 명령을 디스플레이 보드(930)로 전송하여 LED(931) 출력 화면의 밝기 및 스마트 백미러(750) 출력 화면의 밝기를 주변 조도에 따라 동적으로 제어할 수 있다.The main controller 950 transmits a screen brightness control command according to the illumination sensing information to the display board 930 to dynamically control the brightness of the
근접 센서(942)는 AOD 화면이 비활성화된 상태에서 일정 거리 내 사용자의 제스처를 센싱하기 위해 사용될 수 있다. 일 예로, 근접 센서(942)는 일정 기준치 이상의 정전 용량 변화를 감지하면, 감지된 정전 용량 변화에 관한 센싱 정보는 센서 보드(940)를 통해 주제어기(950)로 전송할 수 있다. 다른 일 예로, 근접 센서(942)는 홀 센서를 포함할 수 있으며, 홀 센서를 통해 조도 변화를 감지할 수 있다. 근접 센서(942)에 의해 측정된 조도 변화에 관한 센싱 정보는 센서 보드(940)를 통해 주제어기(950)로 전송할 수 있다. 근접 센서(942)에 의해 센싱된 정보는 사용자의 제스처 인식 및 식별을 위해 사용될 수 있다.The
주제어기(950)는 제스처 인식 엔진(980)을 이용하여 근접 센싱 정보에 상응하는 사용자 제스처를 인식 및 식별할 수 있다. The main controller 950 may recognize and identify a user gesture corresponding to the proximity sensing information using the gesture recognition engine 980 .
주제어기(950)는 인식된 사용자 제스처에 기반하여 AOD 동작 모드의 LED(931) 화면을 활성화시킬 수 있다.The main controller 950 may activate the screen of the
또한, 주제어기(950)는 AOD 동작 모드의 LED(931) 화면이 활성화되는 경우, 스마트 백미러 제어를 위한 사용자 인터페이스 화면을 구성하고, 구성된 사용자 인터페이스 화면을 디스플레이 보드(930)로 전송하여 LED(931) 화면에 표시할 수 있다.In addition, when the
주제어기(950)는 터치 센서(943)로부터 터치 센싱 정보를 획득하면, 터치 인식 엔진(990)을 이용하여 사용자의 터치 동작을 식별할 수 있다.When touch sensing information is acquired from the
주제어기(950)는 식별된 터치 동작에 따라 뷰 화면을 구성하여 통신 보드(920)를 통해 스마트 백미러(750)에 전송할 수 있다.The main controller 950 may compose a view screen according to the identified touch operation and transmit it to the smart rearview mirror 750 through the communication board 920 .
주제어기(950)는 식별된 터치 동작에 따라 스마트 백미러(750) 제어 모드를 수동 제어 모드에서 음성 제어 모드로 또는 음성 제어 모드에서 수동 제어 모드로 전환시킬 수 있다.The main controller 950 may switch the control mode of the smart rearview mirror 750 from a manual control mode to a voice control mode or from a voice control mode to a manual control mode according to the identified touch operation.
일 예로, 수동 제어 모드에서는 사용자 인터페이스 화면상에서의 사용자 메뉴 선택에 따라 스마트 백미러(750)의 뷰 화면이 동적으로 제어되고, 음성 제어 모드에서는 사용자 음성 명령에 기반하여 스마트 백미러(750) 뷰 화면이 동적으로 제어될 수 있다.For example, in the manual control mode, the view screen of the smart rearview mirror 750 is dynamically controlled according to the user's menu selection on the user interface screen, and in the voice control mode, the view screen of the smart rearview mirror 750 is dynamically controlled based on the user's voice command. can be controlled with
실시 예에 다른 사용자 인증 엔진(995)은 음성 식별 엔진(996), 홍체 식별 엔진(997), 지문 식별 엔진(998) 및 인증 수준 결정 엔진(999) 중 적어도 하나를 포함하여 구성될 수 있다.According to an embodiment, the user authentication engine 995 may include at least one of a voice identification engine 996, an iris identification engine 997, a fingerprint identification engine 998, and an authentication level determination engine 999.
주제어기(950)는 지문 센서(944)로부터 획득된 지문 센싱 정보, 홍체 센서(945)로부터 획득된 이미지 센싱 정보, 마이크(710)를 통해 입력된 사용자 음성에 대한 음성 센싱 정보 및 홍체 센서(945)로부터 수집된 홍체 센싱 정보 중 적어도 하나에 기반하여 특성 데이터를 추출하고, 추출된 특성 데이터에 대한 기계 학습을 통해 해당 사용자를 위한 인증 수준을 동적으로 결정할 수 있다.The main controller 950 includes fingerprint sensing information acquired from the
음성 식별 엔진(996)은 음성 센싱 정보에 기반하여 사용자의 음성에 대한 특성 데이터를 추출하고, 추출된 음성 특성 데이터를 기 학습된 음성 템플릿 데이터와 비교하여 해당 음성 특성 데이터에 대한 인증 가중치를 결정할 수 있다. The voice recognition engine 996 extracts characteristic data of the user's voice based on the voice sensing information, compares the extracted voice characteristic data with pre-learned voice template data, and determines an authentication weight for the corresponding voice characteristic data. there is.
음성 식별 엔진(996)은 음성 신호에 포함된 잡음을 제거하여 음성 인식 감도를 향상시킬 수 있다.The voice recognition engine 996 may improve voice recognition sensitivity by removing noise included in the voice signal.
홍채 식별 엔진(997)은 이미지 센싱 정보에 기반하여 사용자의 홍채에 대한 특성 데이터를 추출하고, 추출된 홍채 특성 데이터를 기 학습된 홍채 템플릿 데이터와 비교하여 해당 홍채 특성 데이터에 대한 인증 가중치를 결정할 수 있다.The iris identification engine 997 extracts characteristic data of the user's iris based on the image sensing information, compares the extracted iris characteristic data with pre-learned iris template data, and determines an authentication weight for the corresponding iris characteristic data. there is.
지문 식별 엔진(998)은 지문 센싱 정보에 기반하여 사용자의 지문에 대한 특성 데이터를 추출하고, 추출된 지문 특성 데이터를 기 학습된 지문 템플릿 데이터와 비교하여 해당 지문 특성 데이터에 대한 인증 가중치를 결정할 수 있다.The fingerprint identification engine 998 may extract characteristic data of the user's fingerprint based on the fingerprint sensing information, compare the extracted fingerprint characteristic data with pre-learned fingerprint template data, and determine an authentication weight for the corresponding fingerprint characteristic data. there is.
주제어기(950)는 특성 데이터 별 결정된 인증 가중치에 기반하여 해당 사용자에 대한 인증 수준을 결정할 수 있다.The main controller 950 may determine an authentication level for a corresponding user based on the authentication weight determined for each characteristic data.
주제어기(950)는 인증 가중치가 높은 순서로 특성 데이터를 정렬하고, 정렬된 특성 데이터의 인증 가중치의 누적 합이 소정 임계 값에 도달할 때까지 인증 가중치를 합산할 수 있다. The main controller 950 may sort the feature data in ascending order of authentication weights and add up the authentication weights until the cumulative sum of the authentication weights of the sorted feature data reaches a predetermined threshold value.
주제어기(960)는 누적 합산된 인증 가중치가 임계 값 이상인 경우, 합산된 특성 데이터 타입 및 개수에 기반하여 인증 수준을 결정할 수 있다.The main controller 960 may determine an authentication level based on the summed characteristic data type and number when the accumulated authentication weight is greater than or equal to a threshold value.
일 예로, 음성 특성 데이터에 상응하는 인증 가중치만으로 임계 값에 도달한 경우, 인증 수준은 제1 수준으로 결정될 수 있다. 반면, 음성 특성 데이터에 상응하는 인증 가중치와 홍채 특성 데이터에 상응하는 인증 가중치의 누적 합이 임계 값 이상인 경우, 인증 수준은 제2 수준으로 결정될 수 있다. 반면, 음성 특성 데이터에 상응하는 인증 가중치와 홍채 특성 데이터에 상응하는 인증 가중치와 지문 특성 데이터에 상응하는 인증 가중치의 누적 합이 임계 값 이상인 경우, 인증 수준은 제3 수준으로 결정될 수 있다.For example, when the threshold value is reached only with the authentication weight corresponding to the voice characteristic data, the authentication level may be determined as the first level. On the other hand, when the cumulative sum of the authentication weight corresponding to the voice characteristic data and the authentication weight corresponding to the iris characteristic data is equal to or greater than the threshold, the authentication level may be determined as the second level. On the other hand, when the cumulative sum of the authentication weight corresponding to the voice characteristic data, the authentication weight corresponding to the iris characteristic data, and the authentication weight corresponding to the fingerprint characteristic data is greater than or equal to the threshold value, the authentication level may be determined as the third level.
메모리(960)에는 사용자 별 특성 데이터 및 인증 수준이 저장될 수 있다.The memory 960 may store characteristic data and authentication levels for each user.
또한, 메모리(960)에는 인증 타입 별 사전 학습된 템플릿 데이터가 유지될 수 있다.In addition, pre-learned template data for each authentication type may be maintained in the memory 960 .
주제어기(950)는 상기 도 1 내지 8에서 설명된 스마트 백미러 제어 장치의 동작들을 제어할 수 있다. The main controller 950 may control operations of the smart rearview mirror control device described above with reference to FIGS. 1 to 8 .
음성 명령 인식 엔진(940)은 사용자 인증이 완료된 경우, 마이크(710)를 통해 입력된 사용자 음성 신호를 자연어 처리하여 키워드를 추출하고, 추출된 키워드를 주제어기(950)에 제공할 수 있다.When user authentication is completed, the voice command recognition engine 940 may extract keywords by natural language processing of the user's voice signal input through the
주제어기(950)는 음성 명령 인식 엔진(940)으로부터 수신된 키워드-즉, 사용자 음성 명령-에 기반하여 동적으로 뷰 화면을 구성하고, 구성된 뷰 화면을 통신 보드(920)를 통해 스마트 백미러(750)로 전송할 수 있다. The main controller 950 dynamically configures a view screen based on the keyword received from the voice command recognition engine 940 - that is, the user's voice command - and displays the configured view screen to the smart rearview mirror 750 through the communication board 920. ) can be transmitted.
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다. Steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented as hardware executed by a processor, a software module, or a combination of the two. A software module may reside in a storage medium (ie, memory and/or storage) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.An exemplary storage medium is coupled to the processor, and the processor can read information from, and write information to, the storage medium. Alternatively, the storage medium may be integral with the processor. The processor and storage medium may reside within an application specific integrated circuit (ASIC). An ASIC may reside within a user terminal. Alternatively, the processor and storage medium may reside as separate components within a user terminal.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
Claims (10)
전력 인가에 따라 부트 절차를 수행하는 단계;
AOD(Always On Display) 터치 디스플레이의 화면이 비활성화된 상태에서 사용자 제스처를 인식하는 단계;
상기 사용자 제스처의 인식에 따라 상기 비활성화된 터치 디스플레이 화면을 활성화하고, 상기 스마트 백미러의 제어를 위한 사용자 인터페이스 화면을 출력한 후 사용자 음성 입력을 대기하는 단계;
마이크를 통해 입력된 사용자 음성 신호에 대한 기계 학습을 수행하여 사용자 인증 및 상기 스마트 백미러 제어를 위한 음성 명령을 인식하는 단계; 및
상기 사용자 인증에 성공한 경우, 상기 인식된 음성 명령에 기반하여 뷰 화면을 구성하여 상기 스마트 백미러에 표시하는 단계
를 포함하고, 상기 스마트 백미러의 제어 모드가 수동 제어 모드인 것에 기반하여, 상기 사용자 인터페이스 화면상에서의 사용자의 터치 동작을 감지하는 단계를 더 포함하되, 상기 터치 동작이 감지되면, 상기 터치 동작에 상응하는 스마트 카메라 제어 명령을 인식하고, 상기 인식된 스마트 카메라 제어 명령에 따라 해당 카메라 촬영 영상을 획득하여 상기 뷰 화면을 구성하는 것을 특징으로 하는, 스마트 백미러 제어 방법.A smart rearview mirror control method in a smart rearview mirror control device mounted on a vehicle,
performing a boot procedure according to power application;
Recognizing a user gesture when the screen of an Always On Display (AOD) touch display is inactive;
activating the deactivated touch display screen according to the recognition of the user gesture, outputting a user interface screen for controlling the smart rearview mirror, and then waiting for a user voice input;
Recognizing a voice command for user authentication and controlling the smart rearview mirror by performing machine learning on a user voice signal input through a microphone; and
If the user authentication is successful, constructing a view screen based on the recognized voice command and displaying the view screen on the smart rearview mirror.
and detecting a user's touch operation on the user interface screen based on the fact that the control mode of the smart rearview mirror is a manual control mode, wherein, when the touch operation is detected, a corresponding touch operation is performed. A smart rearview mirror control method comprising recognizing a smart camera control command to configure the view screen by acquiring a corresponding camera-captured image according to the recognized smart camera control command.
상기 부트 절차는,
상기 스마트 백미러 제어 장치의 전체적인 입출력을 제어하는 주제어기를 초기화하는 단계;
복수의 카메라와 통신을 연결하는 단계;
상기 터치 디스플레이 화면 출력을 제어하도록 디스플레이 보드를 초기화하는 단계; 및
적어도 하나의 센서를 캘리브레이션하고, 상기 적어도 하나의 센서로부터 센싱 정보를 수집하도록 구성된 센서 보드를 초기화하는 단계
를 포함하고, 상기 센서는 조도 센서, 근접 센서, 터치 센서, 지문 센서 및홍체 센서 중 적어도 하나를 포함하는, 스마트 백미러 제어 방법. According to claim 1,
The boot procedure,
Initializing a main controller for controlling overall input/output of the smart rearview mirror control device;
connecting communication with a plurality of cameras;
Initializing a display board to control output of the touch display screen; and
Initializing a sensor board configured to calibrate at least one sensor and collect sensing information from the at least one sensor.
and wherein the sensor includes at least one of an illuminance sensor, a proximity sensor, a touch sensor, a fingerprint sensor, and an iris sensor.
상기 사용자 인증은 사전 등록된 특정 화자만을 대상으로 인증을 수행하는 화자 독립형 인증과 데이터베이스에 등록된 모든 화자를 대상으로 인증을 수행하는 화자 종속형 인증을 포함하는, 스마트 백미러 제어 방법. According to claim 1,
wherein the user authentication includes speaker-independent authentication for performing authentication only for a specific speaker registered in advance and speaker-dependent authentication for performing authentication for all speakers registered in a database.
상기 스마트 백미러의 제어 모드가 음성 제어 모드인 것에 기반하여, 상기 인식된 음성 명령에 상응하는 뷰 타입을 결정하는 단계;
상기 결정된 뷰 타입에 상응하는 촬영 영상을 수신할 적어도 하나의 카메라를 결정하는 단계; 및
상기 결정된 적어도 하나의 카메라로부터 획득된 촬영 영상에 기반하여 상기 뷰 화면을 구성하는 단계
를 더 포함하되, 상기 뷰 타입은 전방 뷰, 좌측 사이드 뷰, 우측 사이드 뷰, 후방 뷰, 좌/우 사이드 뷰, 전방 서라운드 뷰, 후방 서라운드 뷰 및 버드 아이 뷰 중 적어도 하나를 포함하는, 스마트 백미러 제어 방법. According to claim 1,
determining a view type corresponding to the recognized voice command based on a control mode of the smart rearview mirror being a voice control mode;
determining at least one camera to receive a photographed image corresponding to the determined view type; and
Configuring the view screen based on the captured image obtained from the determined at least one camera
The smart rearview mirror control further includes, wherein the view type includes at least one of a front view, a left side view, a right side view, a rear view, a left/right side view, a front surround view, a rear surround view, and a bird's eye view. method.
상기 사용자 인터페이스 화면상에서의 소정 사용자 메뉴 선택에 따라 사용자 등록 절차를 개시하는 단계;
사용자 인증 수단 별 특성 데이터를 추출하는 단계;
상기 마이크를 통해 입력된 음성 신호로부터 사용자 음성을 인식하여 제1 특성 데이터를 추출하는 단계;
홍체 센서를 통해 사용자 홍채를 인식하여 제2 특성 데이터를 추출하는 단계;
지문센서를 통해 사용자 지문을 인식하여 제3 특성 데이터를 추출하는 단계;
상기 제1 내지 3 특성 데이터 각각에 상응하여 사전 학습된 제1 내지 3 템플릿 데이터에 기반하여 각 특성 데이터 별 인증 가중치를 결정하는 단계; 및
상기 특성 데이터 별 결정된 인증 가중치에 기반하여 해당 사용자에 대한 인증 수준을 결정하는 단계
를 포함하되, 사용자 별 상기 추출된 특성 데이터 및 상기 결정된 인증 수준에 관한 정보는 내부 메모리에 저장되어 관리되는, 스마트 백미러 제어 방법.According to claim 1,
Initiating a user registration process according to a user selection menu on the user interface screen;
extracting characteristic data for each user authentication means;
extracting first characteristic data by recognizing a user's voice from a voice signal input through the microphone;
recognizing a user's iris through an iris sensor and extracting second characteristic data;
Recognizing a user's fingerprint through a fingerprint sensor and extracting third characteristic data;
determining an authentication weight for each characteristic data based on first to third template data pre-learned corresponding to each of the first to third characteristic data; and
Determining an authentication level for a corresponding user based on the authentication weight determined for each characteristic data
Including, wherein the extracted characteristic data for each user and information on the determined authentication level are stored and managed in an internal memory.
상기 차량의 주행 중 구비된 SPAS(Smart Parking Assistance System) 센서를 이용하여 근접 장애물을 감지하는 단계를 더 포함하고, 상기 근접 장애물이 감지된 것에 기반하여 상기 뷰 화면의 일측에 상기 감지된 근접 장애물에 대한 정보를 표시하는, 스마트 백미러 제어 방법.According to claim 1,
The method further includes detecting a proximity obstacle by using a Smart Parking Assistance System (SPAS) sensor provided while the vehicle is driving, and displaying the detected proximity obstacle on one side of the view screen based on the detection of the proximity obstacle. A method for controlling a smart rearview mirror that displays information about the rearview mirror.
사용자 입력된 음성 신호를 제공하는 마이크;
디지털 디스플레이 장치가 구비된 스마트 백미러;
상기 차량의 전방, 좌/우 측방 및 후방을 촬영하는 카메라 시스템; 및
상기 스마트 백미러의 제어 모드가 음성 제어 모드인 것에 기반하여 탑재된 음성 인식 엔진을 이용하여 상기 음성 신호에 대한 음성 인식을 수행하고, 상기 음성 인식을 통해 식별된 사용자 음성 명령에 따라 상기 카메라 시스템으로부터 적어도 하나의 카메라에 의해 촬영된 영상을 수신하고, 상기 수신된 적어도 하나의 영상에 기반하여 동적으로 뷰 화면을 구성하고, 상기 구성된 뷰 화면을 상기 스마트 백미러에 제공하고, 상기 스마트 백미러의 제어 모드가 수동 제어 모드인 것에 기반하여, 사용자 인터페이스 화면상에서의 사용자의 터치 동작을 감지하고, 상기 감지된 터치 동작에 상응하는 카메라 제어 명령을 인식하고, 상기 인식된 카메라 제어 명령에 따라 상기 카메라 시스템으로부터 적어도 하나의 카메라에 의해 촬영된 영상을 수신하여 상기 뷰 화면을 구성하고, 상기 구성된 뷰 화면을 상기 스마트 백미러에 제공하는 스마트 백미러 제어 장치
를 포함하는, 스마트 백미러 제어 시스템.In the smart rearview mirror control system provided in the vehicle,
a microphone that provides a voice signal input by a user;
Smart rearview mirror equipped with a digital display device;
a camera system for photographing the front, left/right sides, and rear of the vehicle; and
Based on the fact that the control mode of the smart rearview mirror is a voice control mode, voice recognition is performed on the voice signal using a built-in voice recognition engine, and at least from the camera system according to the user's voice command identified through the voice recognition. An image captured by one camera is received, a view screen is dynamically configured based on the received at least one image, the configured view screen is provided to the smart rearview mirror, and the control mode of the smart rearview mirror is manual. Based on the control mode, a user's touch operation on the user interface screen is detected, a camera control command corresponding to the detected touch operation is recognized, and at least one camera control command is detected from the camera system according to the recognized camera control command. A smart rearview mirror control device configured to receive an image captured by a camera, configure the view screen, and provide the configured view screen to the smart rearview mirror.
Including, smart rearview mirror control system.
상기 스마트 백미러 제어 장치는 상기 음성 신호에 기반하여 사용자 인증을 더 수행하되, 상기 사용자 인증은 사전 등록된 특정 화자만을 대상으로 인증을 수행하는 화자 독립형 인증과 데이터베이스에 등록된 모든 화자를 대상으로 인증을 수행하는 화자 종속형 인증을 포함하는, 스마트 백미러 제어 시스템.According to claim 7,
The smart rearview mirror control device further performs user authentication based on the voice signal, and the user authentication includes speaker independent authentication for performing authentication only for a pre-registered specific speaker and authentication for all speakers registered in the database. A smart rearview mirror control system comprising speaker dependent authentication performed.
상기 스마트 백미러 제어 장치가 상기 차량의 주행 중 구비된 SPAS(Smart Parking Assistance System) 센서를 이용하여 근접 장애물을 감지하고, 상기 근접 장애물이 감지된 것에 기반하여 상기 뷰 화면의 일측에 상기 감지된 근접 장애물에 대한 정보를 표시하는, 스마트 백미러 제어 시스템.According to claim 7,
The smart rearview mirror control device detects a proximity obstacle using a SPAS (Smart Parking Assistance System) sensor provided while the vehicle is driving, and based on the detection of the proximity obstacle, the detected proximity obstacle is displayed on one side of the view screen. displaying information about the smart rearview mirror control system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210186367A KR102551294B1 (en) | 2021-12-23 | 2021-12-23 | Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210186367A KR102551294B1 (en) | 2021-12-23 | 2021-12-23 | Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230097278A KR20230097278A (en) | 2023-07-03 |
| KR102551294B1 true KR102551294B1 (en) | 2023-07-05 |
Family
ID=87157602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210186367A KR102551294B1 (en) | 2021-12-23 | 2021-12-23 | Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102551294B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170013188A1 (en) * | 2014-09-19 | 2017-01-12 | Be Topnotch, Llc | Smart vehicle sun visor |
| JP2021103580A (en) * | 2020-05-25 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Method for interaction of smart back mirror, device, electronic apparatus, and storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110080985A (en) * | 2010-01-07 | 2011-07-13 | 쓰리에이치비젼주식회사 | Multiview room mirror for vehicle |
| KR20130024066A (en) * | 2011-08-30 | 2013-03-08 | 에스엘 주식회사 | Apparatus for supporing parking of vehicle and method for the same |
| KR20150108961A (en) * | 2014-03-18 | 2015-10-01 | 박창수 | Car rearview mirror with function of touch screen information display |
-
2021
- 2021-12-23 KR KR1020210186367A patent/KR102551294B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170013188A1 (en) * | 2014-09-19 | 2017-01-12 | Be Topnotch, Llc | Smart vehicle sun visor |
| JP2021103580A (en) * | 2020-05-25 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Method for interaction of smart back mirror, device, electronic apparatus, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230097278A (en) | 2023-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7428993B2 (en) | Vehicle door unlocking method and device, system, vehicle, electronic device, and storage medium | |
| CN111516640B (en) | Vehicle door control method, vehicle, system, electronic device, and storage medium | |
| US20180072269A1 (en) | Vehicle intrusion detection via a surround view camera | |
| JP2018022234A (en) | Image processing device and environment recognition device | |
| US20190019414A1 (en) | Apparatus and method for reminding vehicle lane change and vehicle | |
| US11040700B2 (en) | Apparatus for managing vehicle intrusion, system having the same and method thereof | |
| US20200074060A1 (en) | User authentication device and method for triggering user-specific target operation | |
| CN108284804A (en) | A kind of mobile terminal device for vehicle | |
| US20200137547A1 (en) | Method and Apparatus for Device Detection and Detection Management within a Vehicle | |
| KR101803697B1 (en) | Device for monitoring the disabled parking | |
| JP6713349B2 (en) | Image processing device, external recognition device | |
| KR102551294B1 (en) | Artificial Intelligence-based Smart Rearview Mirror Control Method and Device and System Therefor | |
| US20190286118A1 (en) | Remote vehicle control device and remote vehicle control method | |
| US20190098127A1 (en) | Driver device locking | |
| CN117095680A (en) | Vehicle control method, device, equipment and storage medium | |
| CN115359789A (en) | Voice interaction method and related device, equipment and storage medium | |
| KR20200010660A (en) | System for remote parking and method thereof, apparatus for recognizing object of vehicle | |
| KR102594335B1 (en) | Artificial Intelligence-based Electric Wheelchair Control Method and Device and System Therefor | |
| JP7427463B2 (en) | Vehicle control device, vehicle control method, and vehicle control program | |
| KR101411784B1 (en) | Blind spot detection method and system for the same | |
| KR102545534B1 (en) | Doorbell, security system including doorbell apparatus, and method of operating the same | |
| CN113135161A (en) | Identification system and identification method | |
| JP2021127575A (en) | Vehicle control apparatus, vehicle control method, and program for vehicle control | |
| US20230101538A1 (en) | Method and apparatus for assisting camera-based bca | |
| CN114809833B (en) | Control method for opening vehicle door, vehicle door control device and vehicle door control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |