KR20230143686A - Display machine using face recogniton for vehicle - Google Patents

Display machine using face recogniton for vehicle Download PDF

Info

Publication number
KR20230143686A
KR20230143686A KR1020220042604A KR20220042604A KR20230143686A KR 20230143686 A KR20230143686 A KR 20230143686A KR 1020220042604 A KR1020220042604 A KR 1020220042604A KR 20220042604 A KR20220042604 A KR 20220042604A KR 20230143686 A KR20230143686 A KR 20230143686A
Authority
KR
South Korea
Prior art keywords
display device
vehicle
external camera
driver
viewing angle
Prior art date
Application number
KR1020220042604A
Other languages
Korean (ko)
Inventor
채승환
Original Assignee
채승환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 채승환 filed Critical 채승환
Priority to KR1020220042604A priority Critical patent/KR20230143686A/en
Publication of KR20230143686A publication Critical patent/KR20230143686A/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/152—Displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras

Abstract

발명의 일실시예에 따른 안면인식을 이용한 차량용 디스플레이 장치는 차량의 외부에 장착되고 차량 외부의 전경을 촬영하는 외부 카메라와, 차량의 내부 전방 프레임에 결합된 디스플레이 장치를 포함하고, 상기 외부 카메라를 통해 촬영된 이미지를 실시간으로 상기 디스플레이 장치에 제공한다. A vehicle display device using facial recognition according to an embodiment of the invention includes an external camera mounted on the outside of the vehicle and taking pictures of the exterior of the vehicle, a display device coupled to the internal front frame of the vehicle, and the external camera. The captured images are provided to the display device in real time.

Description

안면인식을 이용한 차량용 디스플레이 장치{Display machine using face recogniton for vehicle}Display device for vehicle using face recognition {Display machine using face recogniton for vehicle}

본 발명은 안면인식을 이용한 차량용 디스플레이 장치를 제공하기 위한 것이다.The present invention is intended to provide a vehicle display device using facial recognition.

현재 안면인식을 이용한 다양한 기술들이 개발되고 있다. 또한, 안면인식에 더하여 동공추적을 통해 사용자의 신체상태 및 시선등을 확인하고, 이를 이용하여 졸음운전 경보, 자동주행등의 운전제어등에 활용되고 있는 실정이다.Currently, various technologies using facial recognition are being developed. In addition, in addition to facial recognition, the user's physical condition and gaze are confirmed through pupil tracking, and this is used for drowsy driving warnings and driving control such as automatic driving.

한편, 도 1a 및 도 1b에 도시한 바와 같이 자동차의 전방 프레임(400)에는 전방 유리가 장착된다. 그러나 전방 프레임(400)은 전방 유리와 도어에 장착된 유리 사이에 위치됨에 따라 시야에 방해가 되고, 사각지대를 생성하여 안전사고를 발생시킬 수 있다.Meanwhile, as shown in FIGS. 1A and 1B, a front glass is mounted on the front frame 400 of the car. However, since the front frame 400 is located between the front glass and the glass mounted on the door, it interferes with visibility and creates blind spots, which may cause safety accidents.

또한, 장시간 운전할 경우 운전자에게 답답함을 주고 피로를 주는 문제점을 지니고 있다. In addition, it has the problem of causing frustration and fatigue to the driver when driving for a long time.

본 발명은 차량의 전방 프레임에 디스플레이장치를 결합시켜 운전자에게 시야를 확보해줄 수 있는 안면인식을 이용한 차량용 디스플레이 장치를 제공하기 위한 것이다. The present invention is intended to provide a vehicle display device using facial recognition that can secure the driver's field of view by coupling the display device to the front frame of the vehicle.

발명의 일실시예에 따른 안면인식을 이용한 차량용 디스플레이 장치는 차량의 외부에 장착되고 차량 외부의 전경을 촬영하는 외부 카메라와, 차량의 내부 전방 프레임에 결합된 디스플레이 장치를 포함하고, 상기 외부 카메라를 통해 촬영된 이미지를 실시간으로 상기 디스플레이 장치에 제공한다. A vehicle display device using facial recognition according to an embodiment of the invention includes an external camera mounted on the outside of the vehicle and taking pictures of the exterior of the vehicle, a display device coupled to the internal front frame of the vehicle, and the external camera. The captured images are provided to the display device in real time.

본 발명에 의하면 전방의 사각지대를 제거함에 따라 운전자의 전방시야 확보가 넓게 제공되고 이에 따라 안전한 운전이 가능한 안면인식을 이용한 차량용 디스플레이 장치를 얻을 수 있다. According to the present invention, by eliminating the blind spot in the front, the driver's front view is widely secured, and thus a vehicle display device using facial recognition that enables safe driving can be obtained.

도 1a 및 도 1b는 종래기술에 따른 차량용 내부프레임을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 안면인식을 이용한 차량용 디스플레이 장치를 개략적으로 도시한 구성도이다.
도 3은 본 발명의 차량용 디스플레이 장치의 실시구성을 개략적으로 도시한구성도이다.1A and 1B are diagrams schematically showing the internal frame for a vehicle according to the prior art.
Figure 2 is a schematic diagram showing the configuration of a vehicle display device using facial recognition of the present invention.
Figure 3 is a configuration diagram schematically showing the implementation of the vehicle display device of the present invention.

도 2는 본 발명의 안면인식을 이용한 차량용 디스플레이 장치를 개략적으로 도시한 구성도이다.Figure 2 is a schematic diagram showing the configuration of a vehicle display device using facial recognition of the present invention.

보다 구체적으로, 안면인식을 이용한 차량용 디스플레이 장치는 운전자의 안면을 인식하고, 이를 이용하여 차량 내부의 전방 프레임에 차량 밖의 전경을 디스플레이한다. More specifically, a vehicle display device using facial recognition recognizes the driver's face and uses this to display the view outside the vehicle on the front frame inside the vehicle.

도시한 바와 같이, 촬상장치, 제어부, 디스플레이 장치, 외부 카메라를 포함한다.As shown, it includes an imaging device, a control unit, a display device, and an external camera.

보다 구체적으로, 촬상장치는 안면 촬상장치로서 운전자의 얼굴과 눈의 위치를 확인하기 위해 운전자의 안면의 이미지 정보를 획득하기 위한 것이다. 또한 촬상장치는 얼굴의 이미지 정보를 제어부에 제공한다.More specifically, the imaging device is a facial imaging device that is used to acquire image information of the driver's face in order to confirm the positions of the driver's face and eyes. Additionally, the imaging device provides facial image information to the control unit.

외부 카메라는 차량의 외부에 장착되고, 차량 외부의 전경을 촬영한다. 또한 외부 카메라는 차량 내부 전방 프레임에 결합되는 디스플레이 장치에 차량 외부의 전경을 제공한다. 외부 카메라는 렌즈모듈과 렌즈모듈의 방향을 전환시키는 구동부를 포함할 수 있다.The external camera is mounted on the outside of the vehicle and captures the entire view outside the vehicle. Additionally, the external camera provides a panoramic view of the outside of the vehicle to a display device coupled to the front frame inside the vehicle. The external camera may include a lens module and a driving unit that changes the direction of the lens module.

제어부는 촬상장치를 통해 획득한 안면의 이미지 정보를 통해 얼굴과 눈의 위치를 파악하고, 이를 통해 디스플레이부 장치와의 시선각도를 산출하고, 외부 카메라를 조정하여 디스플레이 장치를 통해 운전자에게 외부 전경을 제공한다. The control unit determines the position of the face and eyes through the facial image information acquired through the imaging device, calculates the viewing angle with the display device through this, and adjusts the external camera to provide the driver with the outside view through the display device. to provide.

이를 위해 제어부는 안면위치 확인부, 동공추적부, 시선각도 산출부, 디스플레이제어부 및 외부 카메라 제어부를 포함한다.For this purpose, the control unit includes a facial position confirmation unit, a pupil tracking unit, a gaze angle calculation unit, a display control unit, and an external camera control unit.

안면위치 확인부는 안면 촬상장치를 통해 획득한 이미지 정보를 통해 운전자의 얼굴과 눈의 위치를 파악한다.The facial position confirmation unit determines the position of the driver's face and eyes through image information acquired through a facial imaging device.

시선각도 산출부는 안면위치 확인부를 통해 획득한 눈의 위치를 통해 차량 내부 전방 프레임에 결합된 디스플레이 장치와의 각도를 산출한다.The viewing angle calculation unit calculates the angle with the display device coupled to the front frame inside the vehicle through the eye position obtained through the facial position confirmation unit.

시선각도 산출부를 통해 내부 전방 프레임을 향하는 운전자의 시선각도를 산출할 수 있다. The driver's viewing angle toward the internal front frame can be calculated through the viewing angle calculation unit.

디스플레이제어부는 외부 카메라를 통해 획득된 이미지의 디스플레이장치 출력을 제어한다.The display control unit controls the display device output of images acquired through an external camera.

외부 카메라 제어부는 시선각도 산출부를 통해 획득한 운전자의 시선각도 정보를 통해 외부 카메라의 구동부를 제어하고 렌즈모듈의 촬상방향을 제어한다. The external camera control unit controls the driving unit of the external camera and the imaging direction of the lens module using the driver's viewing angle information obtained through the viewing angle calculation unit.

제어부는 동공추적부를 더 포함할 수 있다. 동공추적부는 운전자의 동공의 이동을 추적하고 이를 통해 보다 정확히 시선각도를 산출한다.The control unit may further include a pupil tracking unit. The pupil tracking unit tracks the movement of the driver's pupils and calculates the gaze angle more accurately through this.

디스플레이 장치는 차량 내부 전방 프레임에 결합된다. The display device is coupled to the front frame inside the vehicle.

또한, 차량의 전방 프레임은 전방 유리와 측면 도어의 유리 사이에 위치되고, 디스플레이 장치는 차량의 내부인 실내공간측의 전방 프레임에 결합된다. Additionally, the front frame of the vehicle is located between the front glass and the glass of the side door, and the display device is coupled to the front frame on the interior space side of the vehicle.

또한 디스플레이 장치는 시트 또는 필름형 디스플레이를 포함하고, 곡면형상의 프레임에 결합된다. Additionally, the display device includes a sheet or film-type display and is coupled to a curved frame.

상기한 바와 같이 이루어짐에 따라, 운전자는 차량의 전방 프레임에 시야를 방해받지 않고, 전방 시야를 확보할 수 있다.As described above, the driver can secure the front view without being obstructed by the front frame of the vehicle.

또한, 제어부는 운전자의 시선각도를 통해 디스플레이 장치에 외부 카메라의 이미지를 제공하지 않고, 차량의 전방 주행 방향인 전방 각도에 해당하는 이미지를 디스플레이 장치에 제공할 수 있다.Additionally, the control unit may provide an image corresponding to the forward angle, which is the forward driving direction of the vehicle, to the display device without providing the image of the external camera to the display device through the driver's viewing angle.

이를 통해, 보조석 또는 뒷좌석에 위치한 동승자에게 전방이미지를 제공할 수 있다. Through this, a forward image can be provided to passengers in the passenger seat or rear seat.

이를 위한 제어부는 모드설정을 통해 이를 구현할 수 있다. 즉, 운전자 모드 및 동승자 모드를 포함하고, 이를 사용자가 선택하여 이미지를 제공할 수 있다. The control unit for this can be implemented through mode settings. That is, it includes a driver mode and a passenger mode, and the user can select these to provide images.

도 3은 본 발명의 차량용 디스플레이 장치의 실시구성을 개략적으로 도시한 구성도이다.Figure 3 is a configuration diagram schematically showing the implementation of the vehicle display device of the present invention.

도시한 바와 같이, 차량용 디스플레이 장치는 운전자를 향하도록 안면 촬상장치(100)가 위치되고, 차량 내부 전방 프레임(400)에 디스플레이 장치(300)이 결합된다. 또한, 차량의 외측을 향하도록 차체에는 외부 카메라(200)가 결합된다.As shown, in the vehicle display device, the facial imaging device 100 is positioned to face the driver, and the display device 300 is coupled to the front frame 400 inside the vehicle. Additionally, an external camera 200 is coupled to the vehicle body to face the outside of the vehicle.

본 발명의 차량용 디스플레이 장치는 상기한 바와 같이 이루어지고, 안면 촬상장치(100)를 통해 운전자의 눈의 위치를 검출하고, 차량 내부 전방 프레임(400)과의 각도를 산출한다. 그리고 산출된 각도에 대응되는 차량 외부의 전경에 대하여 외부 카메라(200)를 통해 촬상하고, 디스플레이 장치(300)를 통해 출력한다.The vehicle display device of the present invention is configured as described above, detects the position of the driver's eyes through the facial imaging device 100, and calculates the angle with the front frame 400 inside the vehicle. Then, an image of the exterior view of the vehicle corresponding to the calculated angle is captured through the external camera 200 and output through the display device 300.

이에 따라, 운전자는 차량 내부 전방 프레임(400)에 의해 시야가 간섭되지 않고, 사각없이 차량의 전방에 대한 시야가 확보된다. Accordingly, the driver's view is not interfered with by the front frame 400 inside the vehicle, and the driver's view of the front of the vehicle is secured without blind spots.

또한, 디스플레이 장치(300)는 운전자의 시선각도에 따른 이미지를 제공하지 않고, 차량의 전방주행 방향에 따른 외부 카메라(200)의 촬상 이미지를 제공할 수 있다. Additionally, the display device 300 may not provide an image according to the driver's viewing angle, but may provide an image captured by the external camera 200 according to the forward driving direction of the vehicle.

100: 안면 촬상장치
200: 외부 카메라
300: 디스플레이 장치
400: 차량 내부 전방 프레임100: Facial imaging device
200: external camera
300: display device
400: Vehicle interior front frame

Claims (3)

차량의 외부에 장착되고 차량 외부의 전경을 촬영하는 외부 카메라; 및
차량의 내부 전방 프레임에 결합된 디스플레이 장치를 포함하고,
상기 외부 카메라를 통해 촬영된 이미지를 실시간으로 상기 디스플레이 장치에 제공하는
안면인식을 이용한 차량용 디스플레이 장치.
An external camera mounted on the exterior of the vehicle and capturing a view of the exterior of the vehicle; and
A display device coupled to the interior front frame of the vehicle,
Providing images captured through the external camera to the display device in real time
Automotive display device using facial recognition.
 제 1 항에 있어서,
운전자의 얼굴과 눈의 위치를 확인하기 위해 안면의 이미지를 획득하는 촬상상치; 및
상기 촬상장치를 통해 획득한 안면의 이미지 정보를 통해 얼굴과 눈의 위치를 파악하고, 상기 디스플레이부 장치와의 시선각도를 산출하고, 상기 외부 카메라를 조정하여 상기 디스플레이 장치를 통해 운전자에게 외부 전경을 제공하는 제어부를 더 포합하는
안면인식을 이용한 차량용 디스플레이 장치.
According to claim 1,
An imaging device that acquires images of the face to determine the position of the driver's face and eyes; and
The position of the face and eyes is determined through facial image information acquired through the imaging device, the viewing angle with the display device is calculated, and the external camera is adjusted to provide the driver with an external view through the display device. Further including the control unit provided
Automotive display device using facial recognition.
 제 2 항에 있어서,
상기 제어부는 안면위치 확인부, 동공추적부, 시선각도 산출부, 디스플레이제어부 및 외부 카메라 제어부를 포함하고,
상기 안면위치 확인부는 싱기 촬상장치를 통해 획득한 이미지 정보를 통해 운전자의 얼굴과 눈의 위치를 파악하고,
상기 시선각도 산출부는 상기 안면위치 확인부를 통해 획득한 눈의 위치를 통해 상기 차량 내부 전방 프레임에 결합된 디스플레이 장치와의 각도를 산출하고,
상기 시선각도 산출부를 통해 상기 내부 전방 프레임을 향하는 운전자의 시선각도를 산출하고,
상기 디스플레이제어부는 상기 외부 카메라를 통해 획득된 이미지의 디스플레이장치 출력을 제어하고,
상기 외부 카메라 제어부는 상기 시선각도 산출부를 통해 획득한 운전자의 시선각도 정보를 통해 상기 외부 카메라의 구동부를 제어하고 렌즈모듈의 촬상방향을 제어하는
안면인식을 이용한 차량용 디스플레이 장치.According to claim 2,
The control unit includes a facial position confirmation unit, a pupil tracking unit, a viewing angle calculation unit, a display control unit, and an external camera control unit,
The facial position confirmation unit determines the position of the driver's face and eyes through image information acquired through the imaging device,
The viewing angle calculation unit calculates an angle with a display device coupled to the front frame inside the vehicle through the eye position obtained through the facial position confirmation unit,
Calculate the driver's viewing angle toward the inner front frame through the viewing angle calculation unit,
The display control unit controls the display device output of the image acquired through the external camera,
The external camera control unit controls the driving unit of the external camera through the driver's viewing angle information obtained through the viewing angle calculation unit and controls the imaging direction of the lens module.
Automotive display device using facial recognition.
KR1020220042604A 2022-04-06 2022-04-06 Display machine using face recogniton for vehicle KR20230143686A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220042604A KR20230143686A (en) 2022-04-06 2022-04-06 Display machine using face recogniton for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220042604A KR20230143686A (en) 2022-04-06 2022-04-06 Display machine using face recogniton for vehicle

Publications (1)

Publication Number Publication Date
KR20230143686A true KR20230143686A (en) 2023-10-13

Family

ID=88290015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220042604A KR20230143686A (en) 2022-04-06 2022-04-06 Display machine using face recogniton for vehicle

Country Status (1)

Country Link
KR (1) KR20230143686A (en)

Similar Documents

Publication Publication Date Title
CN107444263B (en) Display device for vehicle
JP4699054B2 (en) Vehicle perimeter monitoring device
US20120002028A1 (en) Face image pick-up apparatus for vehicle
JP3228086B2 (en) Driving operation assist device
JP6453929B2 (en) Vehicle display system and method for controlling vehicle display system
JP5093611B2 (en) Vehicle periphery confirmation device
CN108621947A (en) A kind of vehicle-mounted head-up-display system of automatic adjusument
JP2009113621A (en) Occupant picture photographing device, and driving assisting device
CN102785617A (en) Automatic adjusting system and method for side rearview mirror of automobile
JP2010058742A (en) Vehicle drive assisting device
JP4798015B2 (en) Anti-glare control device
JP2011234095A (en) Visual recognition support device for vehicle
JP2007112368A (en) Vehicular rear view checking camera device
JP2010143411A (en) Head-up display device
JP2014201174A (en) Vehicle control system
JP2020157938A (en) On-vehicle monitoring control device
JPWO2018221039A1 (en) Blur correction device and imaging device
WO2012014302A1 (en) Head up display device
KR101091288B1 (en) Display apparatus and method for automobile
KR20170126149A (en) System for Providing Front Pillar View for a Vehicle
JP6365600B2 (en) Vehicle display device
KR20230143686A (en) Display machine using face recogniton for vehicle
JP2020062947A (en) Electronic mirror
CN105774665A (en) Automatic adjusting system and method for automobile side rearview mirrors
JP7130482B2 (en) vehicle display