KR101968620B1 - HMI System and Method for Vehicle - Google Patents

HMI System and Method for Vehicle Download PDF

Info

Publication number
KR101968620B1
KR101968620B1 KR1020170115732A KR20170115732A KR101968620B1 KR 101968620 B1 KR101968620 B1 KR 101968620B1 KR 1020170115732 A KR1020170115732 A KR 1020170115732A KR 20170115732 A KR20170115732 A KR 20170115732A KR 101968620 B1 KR101968620 B1 KR 101968620B1
Authority
KR
South Korea
Prior art keywords
user
image
camera module
driver
gesture
Prior art date
Application number
KR1020170115732A
Other languages
Korean (ko)
Other versions
KR20190028888A (en
Inventor
서만형
전정훈
최재혁
Original Assignee
(주)신오전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)신오전자 filed Critical (주)신오전자
Priority to KR1020170115732A priority Critical patent/KR101968620B1/en
Publication of KR20190028888A publication Critical patent/KR20190028888A/en
Application granted granted Critical
Publication of KR101968620B1 publication Critical patent/KR101968620B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G06K9/00335—
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/2258—
    • H04N5/23219—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Abstract

차량용 HMI 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른, HMI 시스템은 사용자를 촬영하여 영상을 생성하는 카메라 모듈, 카메라 모듈에 의해 생성된 영상으로부터 사용자의 제스처를 인식하는 프로세서 및 제스처 인식 결과를 사용자에게 피드백하는 제어부를 포함하고, 카메라 모듈은 다수의 이미지 센서와 다수의 뎁스 센서를 포함하는 센서부를 포함한다. 이에 의해, 개선된 구조의 카메라 모듈로 차량 환경에서 운전자 제스처와 졸음 상태를 정확하게 판별할 수 있는 3D 영상을 제공할 수 있게 된다.An automotive HMI system and method are provided. According to an embodiment of the present invention, an HMI system includes a camera module for photographing a user and generating an image, a processor for recognizing a user's gesture from an image generated by the camera module, and a controller for feedbacking gesture recognition results to a user The camera module includes a sensor unit including a plurality of image sensors and a plurality of depth sensors. Thus, it is possible to provide a 3D image which can accurately discriminate a driver's gesture and a drowsy state in a vehicle environment with a camera module having an improved structure.

Description

차량용 HMI 시스템 및 방법{HMI System and Method for Vehicle}[0001] HMI SYSTEM AND METHOD FOR VEHICLE [0002]

본 발명은 차량용 HMI(Human Machine Interface) 기술에 관한 것으로, 더욱 상세하게는 제스처 인식 결과를 피드백하고 졸음 상태에 있는 운전자를 경고하기 위한 차량용 HMI 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to an automotive HMI (Human Machine Interface) technology, and more particularly, to a vehicular HMI system and method for feedbacking a gesture recognition result and warning a drowsy driver.

주행 중인 차량 시스템을 제어하기 위한 차량용 HMI로써, 가장 많이 활용되는 것으로 콘솔박스, 센터페시아, 터치스크린 등을 들 수 있다. 이들은 직접 조작이나 터치 동작으로 인해 운전자가 조향 휠(Steering Wheel)로부터 손을 이탈시키는 것을 요구하므로, 조향 불안정, 주행 시야 분산 등으로 인해 안전 운전을 위협한다.As an automotive HMI for controlling a running vehicle system, a console box, a center fascia, and a touch screen are most commonly used. These require a driver to release his / her hand from the steering wheel due to direct manipulation or touch operation, thereby threatening safe driving due to steering instability and dispersion of the running distance.

근래 들어 차량과 스마트폰 등의 다양한 기기의 연결성이 향상되고, 차량이 수송 수단으로의 기능을 넘어 인포테인먼트 수단으로 활용성이 증대되었는데, 이와 같은 상황은 전술한 HMI들에 의한 안전 위협을 더욱 심각하게 만든다.In recent years, the connectivity of various devices such as vehicles and smart phones has been improved, and the use of vehicles as an infotainment means has increased beyond the function as a transportation means. I make it.

이를 해소하기 위해, "대화형 음성인식 기술"에 의한 HMI가 연구개발되고 있는데, 차량 주행 소음, 차량 내부 음향 등으로 인한 인식률 저하와 동승자 방해 등의 문제로 보편화에는 한계가 있다.In order to solve this problem, HMI by "Interactive Speech Recognition Technology" is being researched and developed. However, there are limitations in the generalization due to problems such as a decrease in recognition rate due to vehicle driving noise, vehicle interior sound, and the obstruction of passengers.

이에 대안으로 제시된 "제스처 인식 기술"은 카메라로 운전자를 촬영하여 제스처를 인식하는 기술로, 최근에 연구개발이 활발히 진행되고 있으며, 스테레오 카메라(Stereo Camera), 구조광(Structured Light) 카메라, 3D ToF(Time of Flight) 카메라를 이용하는 방식으로 분류될 수 있다.As an alternative, "gesture recognition technology" is a technique of recognizing a gesture by photographing a driver with a camera. Recently, research and development have been actively carried out, and a stereoscopic camera, a structured light camera, a 3D ToF (Time of Flight) camera.

스테레오 카메라 방식은 고성능의 신호 처리기가 필요하며, 처리속도가 늦고, 차량 내부와 같이 텍스처가 부족한 환경에서는 오동작이 잦으며, 풍부한 조도의 주간이나 저조도의 야간 환경에서는 인식률이 현저히 떨어지고, 두 대의 카메라 간격을 대략 수 cm 이상 이격시켜야 하므로 소형화가 불가능하다는 문제가 있다.The stereo camera method requires a high-performance signal processor, has a slow processing speed, is frequently malfunctioned in an environment in which the textures are insufficient as in the vehicle interior, and the recognition rate is markedly lowered in the nighttime environment with a lot of illumination or low illumination. It is impossible to downsize it.

구조광 카메라 방식은 알고 있는 광패턴을 미리 검출 대상체에 투사하여 반사되는 광패턴을 카메라로 입사시켜 3D를 계산하는 방식으로 정확성과 정밀도는 우수하지만, 처리속도가 늦고, 스테레오 카메라 방식과 마찬가지로 주변 조도 등의 환경 영향을 많이 받으며 광패턴 발생기와 수신 카메라 사이를 충분히 이격시켜야 하므로 소형화가 불가능하다는 문제가 있다.The structure optical camera method is a method of calculating a 3D pattern by projecting a known light pattern to a detection object in advance and then inputting the reflected light pattern into the camera. The accuracy and the accuracy are excellent, but the processing speed is slow. Similarly to the stereo camera method, And the distance between the optical pattern generator and the receiving camera must be sufficiently large. Therefore, there is a problem that miniaturization is impossible.

3D ToF 카메라 방식은 위와 같은 문제점이 없어, 차량용 제스처 인식 카메라로서 주류를 이루고 있다. 도 1에 도시된 바와 같이, 3D ToF 카메라는 뎁스 영상을 생성하기 위한 뎁스 센서 1개와 컬러(RGB) 영상 또는 흑백 영상을 생성하기 위한 이미지 센서 1개로 구성된다.The 3D ToF camera method has no problem as described above, and it is mainstream as a gesture recognition camera for a vehicle. As shown in FIG. 1, the 3D ToF camera includes a depth sensor for generating a depth image and an image sensor for generating a color (RGB) image or a monochrome image.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 운전자의 손동작에 의한 제스처 인식 결과와 졸음 상태 모니터링 결과를 운전자에게 피드백하는 차량용 HMI 시스템 및 방법을 제공함에 있다.It is an object of the present invention to provide a vehicle HMI system and method for feeding back a gesture recognition result and a drowsiness state monitoring result by a driver's hand to a driver.

또한, 본 발명의 다른 목적은, 차량 환경에서 운전자 제스처와 졸음 상태를 정확하게 판별할 수 있는 3D 영상을 생성하기 위한 구조의 카메라 모듈을 제공함에 있다.Another object of the present invention is to provide a camera module having a structure for generating a 3D image capable of accurately discriminating a driver's gesture and a drowsy state in a vehicle environment.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, HMI 시스템은, 사용자를 촬영하여 영상을 생성하는 카메라 모듈; 카메라 모듈에 의해 생성된 영상으로부터 사용자의 제스처를 인식하는 프로세서; 및 제스처 인식 결과를 사용자에게 피드백하는 제어부;를 포함하고, 카메라 모듈은, 다수의 이미지 센서와 다수의 뎁스 센서를 포함하는 센서부;를 포함한다.According to an aspect of the present invention, there is provided an HMI system including: a camera module for photographing a user and generating an image; A processor for recognizing a user's gesture from an image generated by the camera module; And a controller for feeding back gesture recognition results to a user, wherein the camera module includes a sensor unit including a plurality of image sensors and a plurality of depth sensors.

그리고, 센서부는, 이미지 센서와 뎁스 센서가 픽셀 마다 구분되어 있을 수 있다.In the sensor unit, the image sensor and the depth sensor may be divided for each pixel.

또한, 본 발명의 실시예에 따른 HMI 시스템은, 사용자에게 진동을 가하는 바이브레이터;를 더 포함하고, 제어부는, 사용자의 제스처가 정해진 제스처들 중 하나로 인식되면, 바이브레이터를 제1 세기로 구동할 수 있다.Further, the HMI system according to the embodiment of the present invention may further include a vibrator for applying vibration to the user, and the control unit may drive the vibrator to the first intensity when the user's gesture is recognized as one of the predetermined gestures .

그리고, 제어부는, 사용자의 제스처가 정해진 제스처들로 인식되지 않으면, 바이브레이터를 구동하지 않을 수 있다.The control unit may not drive the vibrator unless the user's gesture is recognized as predetermined gestures.

또한, 프로세서는, 카메라 모듈에 의해 생성된 영상으로부터 사용자의 상태를 인식하고, 제어부는, 상태 인식 결과를 사용자에게 피드백할 수 있다.In addition, the processor recognizes the user's state from the image generated by the camera module, and the controller can feedback the state recognition result to the user.

그리고, 제어부는, 사용자가 졸음 상태로 인식되면, 바이브레이터를 제2 세기로 구동할 수 있다.And, when the user is recognized as a drowsy state, the control section can drive the vibrator to the second intensity.

또한, 제2 세기는, 제1 세기 보다 클 수 있다.Also, the second intensity may be greater than the first intensity.

그리고, 사용자는, 차량의 운전자이고, 바이브레이터는, 운전석의 시트 하부, 조향 휠, 안전벨트 중 적어도 하나에 설치될 수 있다.Then, the user is a driver of the vehicle, and the vibrator can be installed on at least one of the seat bottom of the driver's seat, the steering wheel, and the seatbelt.

또한, 제어부는, 차량의 주행 상태에 따라, 바이브레이터의 구동 시간을 제어할 수 있다.Further, the control section can control the driving time of the vibrator according to the running state of the vehicle.

한편, 본 발명의 다른 실시예에 따른, HMI 방법은, 카메라 모듈로 사용자를 촬영하여 영상을 생성하는 단계; 카메라 모듈에 의해 생성된 영상으로부터 사용자의 제스처를 인식하는 단계; 제스처 인식 결과를 사용자에게 피드백하는 단계;를 포함하고, 카메라 모듈은, 다수의 이미지 센서와 다수의 뎁스 센서를 포함한다.According to another aspect of the present invention, there is provided an HMI method comprising: capturing a user with a camera module to generate an image; Recognizing a user's gesture from an image generated by a camera module; And feedbacking the gesture recognition result to the user, wherein the camera module includes a plurality of image sensors and a plurality of depth sensors.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 운전자의 손동작에 의한 제스처 인식 결과와 졸음 상태 모니터링 결과를 운전자에게 시트 하부의 진동으로 피드백할 수 있게 된다.As described above, according to the embodiments of the present invention, the gesture recognition result and the drowsiness state monitoring result by the driver's hand operation can be fed back to the driver under the seat vibration.

또한, 본 발명의 실시예들에 따르면, 개선된 구조의 카메라 모듈로 차량 환경에서 운전자 제스처와 졸음 상태를 정확하게 판별할 수 있는 3D 영상을 제공할 수 있게 된다.In addition, according to the embodiments of the present invention, it is possible to provide a 3D image capable of accurately discriminating a driver's gesture and a drowsy state in a vehicle environment with an improved camera module.

도 1은 기존의 3D ToF 카메라 구조를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 차량용 HMI(Human Machine Interface) 시스템의 블럭도,
도 3은, 도 2에 도시된 카메라 모듈의 외관 사시도,
도 4는, 도 3에 도시된 카메라 모듈의 내부 단면도,
도 5는, 도 3에 도시된 카메라 모듈의 분해 사시도,
도 6은, 도 5에 도시된 센서부의 구조를 개략적으로 도시한 도면,
도 7은, 도 2에 도시된 바이브레이터의 설치 위치를 도시한 도면, 그리고,
도 8은 본 발명의 다른 실시예에 따른 차량용 HMI 방법의 설명에 제공되는 흐름도이다.1 is a view showing a conventional 3D ToF camera structure,
2 is a block diagram of a human-machine interface (HMI) system for a vehicle according to an embodiment of the present invention,
Fig. 3 is an external perspective view of the camera module shown in Fig. 2,
Fig. 4 is an internal cross-sectional view of the camera module shown in Fig. 3,
Fig. 5 is an exploded perspective view of the camera module shown in Fig. 3,
FIG. 6 is a view schematically showing the structure of the sensor unit shown in FIG. 5,
Fig. 7 is a view showing a mounting position of the vibrator shown in Fig. 2,
8 is a flowchart provided in the description of the HMI method for a vehicle according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 2는 본 발명의 일 실시예에 따른 차량용 HMI(Human Machine Interface) 시스템의 블럭도이다.2 is a block diagram of a human-machine interface (HMI) system for a vehicle according to an embodiment of the present invention.

본 발명의 실시예에 따른 차량용 HMI 시스템은, 운전자의 손동작에 의한 제스처로 명령을 입력받아 처리하는데, 이 과정에서 운전자의 제스처를 인식할 수 있는 경우에는 운전자에게 피드백하여 인식 사실을 알린다.In the HMI system for a vehicle according to the embodiment of the present invention, a command is inputted and processed by a gesture by a driver's hand gesture. If the gesture of the driver can be recognized in this process, the driver is informed of the recognition by feedback.

또한, 본 발명의 실시예에 따른 차량용 HMI 시스템은, 운전자의 졸음 상태를 모니터링하는데, 운전자가 졸음 상태로 판명된 경우에는, 이를 경고하기 위한 피드백으로 운전자를 각성시킨다.Further, the HMI system for a vehicle according to the embodiment of the present invention monitors the drowsy state of the driver, and when the driver is determined to be drowsy, he awakens the driver with feedback for warning.

이와 같은 기능을 수행하는 본 발명의 실시예에 따른 차량용 HMI 시스템은, 도 2에 도시된 바와 같이, 카메라 모듈(Camera Module)(110), ISP(Image Signal Processor)(120), MCU(Micro Controller Unit)(130) 및 바이브레이터(Vibrator)(140)를 포함하여 구축된다.As shown in FIG. 2, the HMI system for a vehicle according to an embodiment of the present invention that performs such functions includes a camera module 110, an ISP (image signal processor) 120, an MCU Unit) 130 and a vibrator 140. [0033]

카메라 모듈(110)은 운전자의 얼굴과 손 제스처를 촬영할 수 있는 위치, 이를 테면, 차량 내부 천정의 전방 중앙 영역에 설치되어, 운전자에 대한 3D 영상을 생성한다.The camera module 110 is installed in a position where the driver's face and hand gesture can be photographed, such as a front central region of the ceiling in the vehicle, to generate a 3D image for the driver.

카메라 모듈(110)은 운전자에 대한 3D 영상으로 뎁스 영상과 적외선 영상을 생성한다. 도 3은 도 2에 도시된 카메라 모듈(110)의 외관 사시도이고, 도 4는 도 3에 도시된 카메라 모듈(110)의 내부 단면도이며, 도 5는 카메라 모듈(110)의 분해 사시도이다.The camera module 110 generates a depth image and an infrared image as 3D images of the driver. FIG. 3 is an external perspective view of the camera module 110 shown in FIG. 2, FIG. 4 is an internal sectional view of the camera module 110 shown in FIG. 3, and FIG. 5 is an exploded perspective view of the camera module 110.

도 3 내지 도 5에 도시된 바와 같이, 카메라 모듈(110)은 렌즈부(111), 확산부(112), 광원부(113), 센서부(114) 및 카메라 회로부(115)를 포함한다.3 to 5, the camera module 110 includes a lens unit 111, a diffusion unit 112, a light source unit 113, a sensor unit 114, and a camera circuit unit 115.

광원부(113)는 카메라 모듈(110)의 전방에 위치한 운전자를 향해 적외선 조명을 조사한다. 운전자의 눈부심을 방지하기 위해, 광원부(113)는 적외선 광원을 이용한다.The light source unit 113 irradiates the infrared light toward the driver located in front of the camera module 110. To prevent driver's glare, the light source unit 113 uses an infrared light source.

도 5에 도시된 바와 같이, 광원부(113)는 다수의 적외선 광원들로 구현되는데, 이들은 센서부(114)의 주변에 등간격으로 배치된다.As shown in FIG. 5, the light source unit 113 is implemented by a plurality of infrared light sources, which are arranged at regular intervals around the sensor unit 114.

확산부(112)는 광원부(113)에서 조사되는 적외선을 확산시켜 카메라 모듈(110)에 가깝게 위치한 운전자의 얼굴과 손 제스처가 이루어지는 공간에 두루 적외선들이 전달되도록 한다.The diffusing unit 112 diffuses the infrared rays radiated from the light source unit 113 and transmits the infrared rays to the space where the hand gesture is performed with the face of the driver located close to the camera module 110.

센서부(114)는 렌즈부(111)를 통해 입사되는 운전자의 상을 3D 영상으로 생성하는 촬영 소자이다. 도 6은, 도 5에 도시된 센서부(114)의 구조를 개략적으로 도시한 도면이다.The sensor unit 114 is an imaging device that generates an image of a driver entering through the lens unit 111 as a 3D image. Fig. 6 is a view schematically showing the structure of the sensor unit 114 shown in Fig.

도 6에 도시된 바와 같이, 센서부(114)는 다수의 뎁스 센서들과 다수의 적외선 이미지 센서들을 포함한다. 구체적으로, 센서부(114)는 단위 픽셀 마다 뎁스 센서과 적외선 이미지 센서가 구비된다.As shown in FIG. 6, the sensor unit 114 includes a plurality of depth sensors and a plurality of infrared image sensors. Specifically, the sensor unit 114 includes a depth sensor and an infrared image sensor for each unit pixel.

즉, 센서부(114)에서는 뎁스 센서과 적외선 이미지 센서가 단위 픽셀 마다 구분되어 별개로 구비된다는 점에서, 뎁스 센서과 이미지 센서가 프레임 단위로 구분되어 있는 기존의 센서와 차이가 있다.That is, since the depth sensor and the infrared image sensor are separately provided for each unit pixel in the sensor unit 114, there is a difference between the depth sensor and the image sensor, which is divided into a frame unit.

이에, 센서부(114)에서는 뎁스 영상과 적외선 영상이 픽셀 단위로 구분되어 생성되고 읽혀진다.Accordingly, in the sensor unit 114, the depth image and the infrared image are separately generated and read out in units of pixels.

다시, 도 5를 참조하여 설명한다. 도 5에 도시된 카메라 회로부(115)는 광원부(113)를 구동하기 위한 회로, 센서부(114)에서 생성된 이미지 정보인 전하를 읽어들이기 위한 ROIC(ReadOut Integrated Circuit) 등을 포함한다.Referring again to FIG. The camera circuit unit 115 shown in FIG. 5 includes a circuit for driving the light source unit 113, an ROIC (ReadOut Integrated Circuit) for reading charges, which is image information generated by the sensor unit 114, and the like.

다시, 도 2를 참조하여 설명한다. 도 2에 도시된 ISP(120)는 카메라 모듈(110)에서 생성된 3D 영상을 분석하여, 운전자의 제스처를 인식하고, 운전자의 졸음 상태를 파악한다.Referring again to FIG. The ISP 120 shown in FIG. 2 analyzes the 3D image generated by the camera module 110, recognizes the gesture of the driver, and grasps the drowsy state of the driver.

MCU(130)는 ISP(120)에서 인식한 제스처에 매핑되어 있는 명령을 실행한다. MCU(130)에서의 명령 실행은 ISP(120)에서 제스처 인식에 성공한 경우에 수행된다. 제스처 인식에 실패한 경우, 즉, 입력된 제스처가 정해진 패턴의 제스처가 아닌 경우에는, 실행할 명령을 특정할 수 없으므로 명령 실행이 불가능하다.The MCU 130 executes a command mapped to the gesture recognized by the ISP 120. The instruction execution in the MCU 130 is performed when the ISP 120 succeeds in gesture recognition. In the case where the gesture recognition fails, that is, when the input gesture is not a gesture of a predetermined pattern, the instruction to be executed can not be specified, and thus the instruction can not be executed.

제스처 인식에 성공하여 명령을 실행하기 전에, MCU(130)는 바이브레이터(140)를 구동하여 운전자에게 제스처가 인식되었음을 피드백한다. ISP(120)에서 제스처 인식에 실패한 경우, MCU(130)에 의한 피드백은 없음은 물론이다.Before the gesture recognition succeeds and the instruction is executed, the MCU 130 drives the vibrator 140 to feedback the driver that the gesture has been recognized. When the ISP 120 fails to recognize the gesture, it is needless to say that there is no feedback by the MCU 130.

도 7은, 도 2에 도시된 바이브레이터(140)의 설치 위치를 도시한 도면이다. 도 7에 도시된 바와 같이, 바이브레이터(140)는 운전석의 시트 하부에 설치되어, 운전자에게 진동을 가한다.7 is a view showing the installation position of the vibrator 140 shown in Fig. As shown in Fig. 7, the vibrator 140 is installed under the seat of the driver's seat and applies vibration to the driver.

한편, ISP(120)에 의해 운전자가 현재 졸음 상태에 있다고 판명된 경우에도, MCU(130)는 바이브레이터(140)를 구동한다. 운전자를 경고하기 위한 피드백에 해당한다.On the other hand, even when the ISP 120 determines that the driver is currently in a drowsy state, the MCU 130 drives the vibrator 140. This corresponds to feedback to warn the driver.

졸음 경고를 위한 바이브레이터(140)의 진동 세기는, 제스처 인식을 피드백하기 위한 바이브레이터(140)의 진동 세기 보다 훨씬 크게 구현한다.The vibration intensity of the vibrator 140 for drowsiness warning is much larger than the vibration intensity of the vibrator 140 for feeding back the gesture recognition.

이하에서는, 도 2에 도시된 차량용 HMI 시스템의 동작 과정에 대해 도 8을 참조하여 상세히 설명한다. 도 8은 본 발명의 다른 실시예에 따른 차량용 HMI 방법의 설명에 제공되는 흐름도이다.Hereinafter, the operation of the HMI system for a vehicle shown in FIG. 2 will be described in detail with reference to FIG. 8 is a flowchart provided in the description of the HMI method for a vehicle according to another embodiment of the present invention.

도 8에 도시된 바와 같이, 먼저 카메라 모듈(110)이 운전자를 촬영하여 3D 영상(뎁스 영상과 적외선 영상)을 생성한다(S210). 그러면, ISP(120)가 S210단계에서 생성된 운전자의 3D 영상을 분석하여, 운전자의 제스처가 있는지 파악한다(S220).As shown in FIG. 8, first, the camera module 110 photographs a driver to generate a 3D image (a depth image and an infrared image) (S210). In step S220, the ISP 120 analyzes the 3D image of the driver generated in step S210 and determines whether there is a gesture of the driver.

S220단계에서 운전자의 제스처가 인식되면(S220-Y), MCU(130)는 바이브레이터(140)를 구동하여 운전자에게 진동으로 피드백을 준다(S230). 그리고, MCU(130)는 S220단계에서 인식된 제스처에 매핑되어 있는 명령을 실행한다(S240).If the gesture of the driver is recognized in step S220 (S220-Y), the MCU 130 drives the vibrator 140 to feedback the driver to vibration (S230). Then, the MCU 130 executes a command mapped to the recognized gesture in step S220 (S240).

또한, ISP(120)는 S210단계에서 생성된 운전자의 3D 영상을 분석하여, 운전자가 졸음 상태인지 파악한다(S250).In step S250, the ISP 120 analyzes the driver's 3D image generated in step S210 and determines whether the driver is in a drowsy state.

만약, S250단계에서 운전자의 졸음 상태로 판명되면(S250-Y), MCU(130)는 바이브레이터(140)를 구동하여 운전자에게 진동으로 피드백을 준다(S260). S260단계에서의 진동 강도는 S230단계에서의 진동 강도 보다 세게 구현한다.If it is determined in step S250 that the driver is in a drowsy state (S250-Y), the MCU 130 drives the vibrator 140 to provide feedback to the driver by vibration (S260). The oscillation intensity at step S260 is higher than the oscillation intensity at step S230.

지금까지, 차량용 HMI 시스템 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.Up to now, preferred embodiments have been described in detail for an automotive HMI system and method.

위 실시예에서, 바이브레이터(140)는 운전석의 시트 하부에 설치되는 것을 상정하였는데, 이는 이해와 설명의 편의를 위해 제시한 일 예에 불과하다. 따라서, 운전석의 시트 하부가 아닌 다른 위치에 바이브레이터(140)를 설치하는 것도 가능하다. 이를 테면, 조향 휠(Steering Wheel), 안전벨트 등에 바이브레이터(140)를 설치하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.In the above embodiment, it is assumed that the vibrator 140 is installed under the seat of the driver's seat, which is merely an example presented for the sake of understanding and explanation. Therefore, it is also possible to provide the vibrator 140 at a position other than the seat bottom of the driver's seat. It goes without saying that the technical idea of the present invention can also be applied to a case where a vibrator 140 is installed on a steering wheel or a seat belt.

한편, 도 8의 S230단계와 S260단계에서 바이브레이터(140)의 구동 시간, 즉, 진동에 의한 사용자 피드백 시간은 사용자 설정으로 결정할 수 있다. 나아가, 설정된 시간은 차량의 주행 상태에 따라 변경하는 것이 가능하다.Meanwhile, the driving time of the vibrator 140, that is, the user feedback time by the vibration in steps S230 and S260 of FIG. 8, can be determined by user setting. Furthermore, the set time can be changed according to the running state of the vehicle.

이를 테면, 차량이 회전 중이거나 차량 진동이 심한 경우에는 바이브레이터의 구동 시간을 2배로 늘이거나 회전이나 차량 진동이 해소될 때까지 비이브레이터 구동을 계속하는 것이다. 운전자가 진동을 감지하지 못할 가능성이 있기 때문이다. 차량 진동이 심한 경우는 차량이 비포장도로를 주행하는 경우 등을 말한다.For example, if the vehicle is rotating or the vehicle vibrates too much, the drive time of the vibrator is doubled, or the drive of the vibrator is continued until the rotation or vehicle vibration is canceled. This is because the driver may not be able to detect the vibration. In the case where the vehicle vibration is severe, it refers to a case where the vehicle runs on an unpaved road.

나아가, 위에서 제시한 차량용 HMI 시스템 및 방법은 차량용이 아닌 다른 용도로 사용되는 경우로 확장될 수 있다.Further, the above-described vehicle HMI system and method can be extended to the case where it is used for a purpose other than a vehicle.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

110 : 카메라 모듈
111 : 렌즈부
112 : 확산부
113 : 광원부
114 : 센서부
115 : 카메라 회로부
120 : ISP(Image Signal Processor)
130 : MCU(Micro Controller Unit)
140 : 바이브레이터(Vibrator)110: camera module
111:
112:
113: Light source part
114:
115: Camera circuit part
120: Image Signal Processor (ISP)
130: Micro Controller Unit (MCU)
140: Vibrator

Claims (10)

사용자를 촬영하여 영상을 생성하는 카메라 모듈;
카메라 모듈에 의해 생성된 영상으로부터 사용자의 제스처를 인식하는 프로세서;
제스처 인식 결과를 사용자에게 피드백하는 제어부;를 포함하고,
카메라 모듈은,
다수의 이미지 센서와 다수의 뎁스 센서를 포함하는 센서부;를 포함하고,
센서부는,
센서부를 구성하는 다수의 픽셀 마다 이미지 센서와 뎁스 센서가 하나씩 구비되어 있는 것을 특징으로 하는 HMI(Human Machine Interface) 시스템.
A camera module for photographing a user and generating an image;
A processor for recognizing a user's gesture from an image generated by the camera module;
And a controller for feedbacking the gesture recognition result to the user,
In the camera module,
And a sensor unit including a plurality of image sensors and a plurality of depth sensors,
In the sensor unit,
And an image sensor and a depth sensor are provided for each of a plurality of pixels constituting the sensor unit.
삭제delete 청구항 1에 있어서,
사용자에게 진동을 가하는 바이브레이터;를 더 포함하고,
제어부는,
사용자의 제스처가 정해진 제스처들 중 하나로 인식되면, 바이브레이터를 제1 세기로 구동하는 것을 특징으로 하는 HMI 시스템.
The method according to claim 1,
Further comprising: a vibrator for applying vibration to the user,
The control unit,
And when the user's gesture is recognized as one of the predetermined gestures, the vibrator is driven to the first intensity.
청구항 3에 있어서,
제어부는,
사용자의 제스처가 정해진 제스처들로 인식되지 않으면, 바이브레이터를 구동하지 않는 것을 특징으로 하는 HMI 시스템.
The method of claim 3,
The control unit,
And if the user's gesture is not recognized as the predetermined gestures, the vibrator is not driven.
청구항 3에 있어서,
프로세서는,
카메라 모듈에 의해 생성된 영상으로부터 사용자의 상태를 인식하고,
제어부는,
상태 인식 결과를 사용자에게 피드백하는 것을 특징으로 하는 HMI 시스템.
The method of claim 3,
The processor,
Recognizes the state of the user from the image generated by the camera module,
The control unit,
And the state recognition result is fed back to the user.
청구항 5에 있어서,
제어부는,
사용자가 졸음 상태로 인식되면, 바이브레이터를 제2 세기로 구동하는 것을 특징으로 하는 HMI 시스템.
The method of claim 5,
The control unit,
And when the user is perceived as drowsy, drives the vibrator to the second intensity.
청구항 6에 있어서,
제2 세기는,
제1 세기 보다 큰 것을 특징으로 하는 HMI 시스템.
The method of claim 6,
In the second century,
Wherein the HMI system is larger than the first century.
청구항 3에 있어서,
사용자는,
차량의 운전자이고,
바이브레이터는,
운전석의 시트 하부, 조향 휠(Steering Wheel), 안전벨트 중 적어도 하나에 설치되는 것을 특징으로 하는 HMI 시스템.
The method of claim 3,
The user,
The driver of the vehicle,
In the vibrator,
A seat bottom of a driver's seat, a steering wheel, and a seat belt.
청구항 8에 있어서,
제어부는,
차량의 주행 상태에 따라, 바이브레이터의 구동 시간을 제어하는 것을 특징으로 하는 HMI 시스템.
The method of claim 8,
The control unit,
And the drive time of the vibrator is controlled in accordance with the running state of the vehicle.
삭제delete
KR1020170115732A 2017-09-11 2017-09-11 HMI System and Method for Vehicle KR101968620B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170115732A KR101968620B1 (en) 2017-09-11 2017-09-11 HMI System and Method for Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170115732A KR101968620B1 (en) 2017-09-11 2017-09-11 HMI System and Method for Vehicle

Publications (2)

Publication Number Publication Date
KR20190028888A KR20190028888A (en) 2019-03-20
KR101968620B1 true KR101968620B1 (en) 2019-04-12

Family

ID=66036241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170115732A KR101968620B1 (en) 2017-09-11 2017-09-11 HMI System and Method for Vehicle

Country Status (1)

Country Link
KR (1) KR101968620B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230026131A (en) * 2021-08-17 2023-02-24 한국자동차연구원 Systemt and method for guiding gesture recognition area based on non-contact haptic

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164814A (en) * 2007-02-09 2007-06-28 Toshiba Corp Interface device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990041629A (en) * 1997-11-24 1999-06-15 전주범 Drowsy driving prevention method and device
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164814A (en) * 2007-02-09 2007-06-28 Toshiba Corp Interface device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230026131A (en) * 2021-08-17 2023-02-24 한국자동차연구원 Systemt and method for guiding gesture recognition area based on non-contact haptic
KR102567935B1 (en) 2021-08-17 2023-08-17 한국자동차연구원 Systemt and method for guiding gesture recognition area based on non-contact haptic

Also Published As

Publication number Publication date
KR20190028888A (en) 2019-03-20

Similar Documents

Publication Publication Date Title
US9030465B2 (en) Vehicle user interface unit for a vehicle electronic device
JP2022039884A (en) Neural network based determination of gaze direction using spatial models
JP6812952B2 (en) Inattentive judgment device, inattentive judgment method, and program
KR101587147B1 (en) apparatus for providing around view and Vehicle including the same
US11042999B2 (en) Advanced driver assist systems and methods of detecting objects in the same
JP2018107759A (en) Image processing device, image processing method, and image processing system
JP2022002947A (en) Machine learning-based seatbelt detection and usage recognition using fiducial marking
JP2015000630A (en) Onboard display device and program
JP7290930B2 (en) Occupant modeling device, occupant modeling method and occupant modeling program
US9349044B2 (en) Gesture recognition apparatus and method
TWI522257B (en) Vehicle safety system and operating method thereof
US11332072B2 (en) Driving assistance apparatus, driving assistance method, and computer-readable recording medium
US20130187845A1 (en) Adaptive interface system
KR20200145826A (en) Seamless driver authentication using in-vehicle cameras with trusted mobile computing devices
KR101968620B1 (en) HMI System and Method for Vehicle
US20150241981A1 (en) Apparatus and method for recognizing user gesture for vehicle
US20230341556A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
JP2022176081A (en) Adaptive eye tracking machine learning model engine
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
WO2017096821A1 (en) Driving safety detection method and apparatus
KR20210016196A (en) Vehicle and controlling method of the vehicle
JP2005284797A (en) Drive safety device
JP2019114118A (en) Warning device, vehicle, warning method, and program
JP7313271B2 (en) GESTURE DETECTION DEVICE, GESTURE DETECTION METHOD, AND PROGRAM
KR102244027B1 (en) Vehicle information sharing system comprising vehicle terminal and server

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant