KR20180012603A - Apparatus and method for controlling driving posture of vehicle - Google Patents

Apparatus and method for controlling driving posture of vehicle Download PDF

Info

Publication number
KR20180012603A
KR20180012603A KR1020160095646A KR20160095646A KR20180012603A KR 20180012603 A KR20180012603 A KR 20180012603A KR 1020160095646 A KR1020160095646 A KR 1020160095646A KR 20160095646 A KR20160095646 A KR 20160095646A KR 20180012603 A KR20180012603 A KR 20180012603A
Authority
KR
South Korea
Prior art keywords
driver
eye position
value
eye
vehicle
Prior art date
Application number
KR1020160095646A
Other languages
Korean (ko)
Other versions
KR102429480B1 (en
Inventor
김삼용
윤유진
류성숙
이활리
이병준
김진권
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160095646A priority Critical patent/KR102429480B1/en
Publication of KR20180012603A publication Critical patent/KR20180012603A/en
Application granted granted Critical
Publication of KR102429480B1 publication Critical patent/KR102429480B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60N2/48—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/80—Head-rests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

The present invention relates to an apparatus and a method for controlling driver′s driving posture. The apparatus for controlling driver′s driving posture according to the present invention comprise: an eye location tracking part estimating a distance value between eyes of a driver, converting two-dimensional eye location coordinates sampled from a face image of the driver photographed by a camera to three-dimensional coordinates by using the estimated distance value between the eyes of the driver, and estimating an eye location of the driver from the three-dimensional coordinates; an eye location correcting part for correcting the distance value between the eyes of the driver by using a standard distribution of the face image of the driver, and correcting the eye location of the driver by using the corrected distance value between the eyes of the driver; and a driving posture control part for setting a vehicle driving posture control value with respect to the driver based on the corrected eye location of the driver.

Description

차량의 운전자세 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DRIVING POSTURE OF VEHICLE}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a driving-

본 발명은 차량의 운전자세 제어 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling the driving posture of a vehicle.

운전자 눈의 3차원 위치를 추정하는 방법으로는 2대 이상의 카메라를 이용하여 카메라 사이의 거리와 각 카메라의 영상좌표간의 차이를 이용하여 측정하는 방식이 있으며, 또한 TOF(Time of Flight) 카메라로부터 발신된 빛과 반사된 빛 사이의 시간차를 거리로 환산하여 측정하는 방식이 있다.As a method of estimating the three-dimensional position of the driver's eye, there is a method of measuring using the difference between the distances between the cameras and the image coordinates of each camera using two or more cameras, and a method of measuring the distance from the TOF (Time of Flight) There is a method in which the time difference between the reflected light and the reflected light is measured in terms of distance.

단안 카메라를 이용하는 경우에는 카메라와 대상물 사이의 사전정보를 이용하여 영상의 2차원 좌표를 실제 3차원 좌표로 변환할 수 있다. 하지만, 사전정보가 일정하지 않다면 영상의 2차원 좌표를 3차원 좌표로 변환 시 오차가 발생할 수 있다. When a monocular camera is used, the two-dimensional coordinates of the image can be converted into actual three-dimensional coordinates using the dictionary information between the camera and the object. However, if the dictionary information is not constant, an error may occur when converting the two-dimensional coordinates of the image into three-dimensional coordinates.

한편, 차량의 운전자세 제어 시스템은 운전자에 맞게 시트, 사이드미러, 룸미러, 헤드 업 디스플레이(Head Up Display, HUD) 등을 조정하는 것으로, 운전자 체형 등에 맞게 운전자세를 조정할 수 있지만 주행 중 자세가 바뀌는 경우에는 매번 조정하기가 어렵고, 안전사고의 위험이 있다.On the other hand, the driving posture control system of a vehicle adjusts a seat, a side mirror, a room mirror, a head up display (HUD) and the like suitable for the driver so that the driving posture can be adjusted according to the driver's body shape, If it changes, it is difficult to adjust each time and there is a risk of a safety accident.

또한, 운전자세 제어 시스템은 운전자의 체형을 인지하기 위해 운전자가 직접 신체 정보를 입력하거나 운전자의 체형을 감지하기 위한 센서 등을 구비해야 한다. 이 경우, 운전자는 신체 정보를 직접 입력해야하므로 편의성이 저하될 수 있으며, 센서를 통해 운전자의 체형을 감지하는 경우 별도의 센서를 구비해야 하므로 비용이 상승하는 문제가 발생할 수 있다.In addition, the operation posture control system must include a sensor for directly inputting body information or sensing the driver's body shape to recognize the driver's body shape. In this case, the driver has to directly input the body information, which may degrade the convenience. In addition, when the body of the driver is sensed through the sensor, a separate sensor must be provided.

본 발명의 실시예들의 일 목적은, 단안카메라를 이용한 운전자의 3차원 눈 위치 정보를 추정하는 경우에 눈 사이의 거리를 보정함으로써 보다 정확한 눈 위치 추정이 가능하도록 하는 차량의 운전자세 제어 장치 및 방법을 제공함에 있다.It is an object of embodiments of the present invention to provide an apparatus and method for controlling the driving posture of a vehicle that enables accurate eye position estimation by correcting a distance between eyes when estimating three-dimensional eye position information of a driver using a monocular camera .

본 발명의 실시예들의 다른 목적은, 운전자의 3차원 눈 위치를 기반으로 운전자세를 설정하고, 주행 중 운전자의 자세가 변화하는 경우에 운전자의 눈 위치를 기반으로 헤드 업 디스플레이 및/또는 헤드레스트를 조절함으로써 운전자의 편의성이 증대되도록 하는 차량의 운전자세 제어 장치 및 방법을 제공함에 있다.It is another object of embodiments of the present invention to provide a head-up display and / or head restraint system that sets an operation posture based on a three-dimensional eye position of a driver and, based on the driver's eye position, Thereby increasing the convenience of the driver.

상기의 목적을 달성하기 위한 본 발명에 일 실시예에 따른 차량의 운전자세 제어 장치는, 운전자의 눈 사이 거리값을 추정하며, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 추출된 2차원의 눈 위치 좌표를 상기 추정된 운전자의 눈 사이 거리값을 이용하여 3차원 좌표로 변환하고 상기 변환된 3차원 좌표로부터 상기 운전자의 눈 위치를 추정하는 눈 위치 추정부, 상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 눈 위치 보정부, 및 상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 운전자세 제어부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for controlling a driving posture of a vehicle, which estimates a distance value between eyes of a driver, An eye position estimating unit that converts coordinates of the driver's eye into three-dimensional coordinates using the estimated distance between the eyes of the driver and estimates the eye position of the driver from the converted three-dimensional coordinates, An eye position correcting unit that corrects the distance between the eyes of the driver using the distribution and corrects the eye position of the driver using the distance value of the corrected eyes of the driver based on the eye position of the corrected driver, And an operation posture control unit for setting an operation posture control value of the vehicle with respect to the driver.

상기의 목적을 달성하기 위한 본 발명에 일 실시예에 따른 차량의 운전자세 제어 방법은, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 2차원의 눈 위치 좌표를 추출하여 3차원 좌표로 변환하고 상기 운전자의 눈 사이 거리값을 추정하여 상기 변환된 3차원 좌표 및 상기 운전자의 눈 사이 거리값으로부터 상기 운전자의 눈 위치를 추정하는 단계, 상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 상기 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 단계, 및 상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of controlling an operation posture of a vehicle, the method comprising: extracting two-dimensional eye position coordinates from a face image of a driver taken by a camera, Estimating an eye position of the driver based on the converted three-dimensional coordinates and the distance between the eye of the driver by estimating a distance value between eyes of the driver, Correcting a distance between eyes and correcting the eye position of the driver using the distance value between the corrected eyes of the driver; and controlling the driving posture control of the driver based on the corrected eye position of the driver And a step of setting a value.

본 발명의 실시예들에 따르면, 단안카메라를 이용한 운전자의 3차원 눈 위치 정보를 추정하는 경우에 눈 사이의 거리를 보정함으로써 보다 정확한 눈 위치 추정이 가능한 이점이 있다.According to the embodiments of the present invention, there is an advantage that accurate eye position estimation can be performed by correcting the distance between eyes when estimating the three-dimensional eye position information of the driver using the monocular camera.

또한, 본 발명의 실시예들에 따르면, 운전자의 3차원 눈 위치를 기반으로 운전자의 앉은키를 추정하여 운전자세를 설정하고, 주행 중 운전자의 자세가 변화하는 경우에 운전자의 눈 위치를 기반으로 헤드 업 디스플레이 및/또는 헤드레스트를 조절함으로써 운전자의 편의성이 증대되는 이점이 있다.Further, according to the embodiments of the present invention, it is possible to set the driving posture by estimating the sitting key of the driver on the basis of the three-dimensional eye position of the driver, and based on the driver's eye position when the posture of the driver changes during driving There is an advantage that the convenience of the driver is increased by adjusting the head-up display and / or the headrest.

도 1은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치가 적용된 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치의 구성을 도시한 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치의 눈 위치 추정 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 방법에 대한 동작 흐름을 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a vehicle to which a driving posture control apparatus for a vehicle according to an embodiment of the present invention is applied. FIG.
2 is a diagram showing a configuration of an apparatus for controlling the operation of the vehicle according to an embodiment of the present invention.
FIGS. 3 to 5 are views illustrating an embodiment to be referred to explain the eye position estimation operation of the driving posture control apparatus of the vehicle according to the embodiment of the present invention.
FIGS. 6 to 8 are flowcharts illustrating a method of controlling a driving posture of a vehicle according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, and an overly comprehensive It should not be construed as meaning or overly reduced. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art can be properly understood. In addition, the general terms used in the present invention should be interpreted according to a predefined or context, and should not be construed as being excessively reduced.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Furthermore, the singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. The term "comprising" or "comprising" or the like in the present invention should not be construed as necessarily including the various elements or steps described in the invention, Or may include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Furthermore, terms including ordinals such as first, second, etc. used in the present invention can be used to describe elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention and should not be construed as limiting the scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치가 적용된 차량을 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a vehicle to which a driving posture control apparatus for a vehicle according to an embodiment of the present invention is applied. FIG.

본 발명에 따른 운전자세 제어 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 차량의 운전자세 제어 장치(100)는 차량(10)의 내부 제어유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(10)의 제어유닛들과 연결될 수도 있다. 여기서, 차량의 운전자세 제어 장치(100)는 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트, 헤드업디스플레이(Head Up Display, HUD) 등의 위치 및/또는 각도를 조절하는 구동유닛들과 연계되어 동작할 수 있으며, 엔진이나 모터의 동작을 제어하는 제어유닛과 연계되어 동작할 수도 있다. The driving posture control apparatus 100 according to the present invention can be implemented inside the vehicle 10. [ At this time, the driving posture control apparatus 100 of the vehicle may be integrally formed with the internal control units of the vehicle 10, and may be implemented as a separate device and may be connected to the control units of the vehicle 10 Lt; / RTI > Here, the driving posture control apparatus 100 of the vehicle includes a driving unit (not shown) for adjusting the position and / or angle of a seat, a side mirror, a room mirror, a headrest, a head up display (HUD) And may operate in conjunction with a control unit for controlling the operation of the engine or the motor.

이에, 도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(10)은 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등을 구비하고, 운전자 탑승 시 연결된 운전자세 제어 장치(100)의 제어에 의해 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 위치 및/또는 각도를 조절한다.1, a vehicle 10 according to an embodiment of the present invention includes a seat, a side mirror, a room mirror, a headrest, and a head-up display (HUD) The position and / or angle of the seat, the side mirror, the room mirror, the headrest, and the head-up display (HUD) are adjusted by the control of the apparatus 100.

여기서, 운전자세 제어 장치(100)는 카메라(130)를 통해 운전자의 얼굴 영상을 촬영하고, 촬영 영상으로부터 운전자의 눈 위치를 추정하여 운전자의 체형, 예를 들어, 앉은 키 등을 파악할 수 있다. 여기서, 운전자세 제어 장치(100)는 운전자의 눈 사이 거리 등을 추정하고, 계산식을 통해 눈 사이 거리 및 눈 위치 등을 보정함으로써 신뢰도 높은 눈 위치를 추정하는 것이 가능하다.Here, the driving posture control apparatus 100 can photograph the face image of the driver through the camera 130, estimate the position of the driver's eye from the photographed image, and grasp the body shape of the driver, for example, the sitting key. Here, the driving posture control apparatus 100 can estimate a reliable eye position by estimating the distance between the eyes of the driver and correcting the distance between eyes and the eye position through a calculation formula.

운전자세 제어 장치(100)는 파악된 운전자의 체형 정보에 근거하여 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 위치 및/또는 각도를 결정할 수 있다.The driving posture control apparatus 100 can determine the positions and / or angles of the seat 10, the side mirrors, the room mirror, the head rest, and the head-up display (HUD) of the vehicle 10 based on the detected driver's body shape information .

또한, 운전자세 제어 장치(100)는 차량(10) 운전 중 카메라(130)를 통해 촬영된 운전자의 얼굴 영상으로부터 운전자의 눈 위치를 추정하여 운전자의 눈 위치 변화를 감지할 수 있으며, 눈 위치 변화 정도에 따라 운전 중 및 헤드업디스플레이(HUD) 및/또는 헤드레스트의 위치를 조절할 수도 있다.In addition, the driving posture control apparatus 100 can detect the driver's eye position change by estimating the driver's eye position from the face image of the driver photographed through the camera 130 during driving of the vehicle 10, It is possible to adjust the position of the head-up display (HUD) and / or the headrest during operation.

이에, 본 발명의 일 실시예에 따른 운전자세 제어 장치(100)에 대한 세부 구성에 대해서는 도 2를 참조하여 더욱 상세히 설명하도록 한다.Hereinafter, the detailed configuration of the driving posture control apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 운전자세 제어 장치는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 눈 위치 추정부(160), 눈 위치 보정부(170), 운전자세 제어부(180)를 포함할 수 있다.2 is a block diagram illustrating an apparatus for controlling an operation posture according to an exemplary embodiment of the present invention. The apparatus includes a control unit 110, an interface unit 120, a camera 130, a communication unit 140, a storage unit 150, An eye position correcting unit 170, and a driving posture control unit 180. [

이에, 도 2를 참조하면, 차량의 운전자세 제어 장치(100)는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 눈 위치 추정부(160), 눈 위치 보정부(170) 및 운전자세 제어부(180)를 포함할 수 있다. 여기서, 제어부(110)는 차량의 운전자세 제어 장치(100)의 각 부간에 전달되는 신호를 처리할 수 있다.2, the vehicle operation posture control apparatus 100 includes a control unit 110, an interface unit 120, a camera 130, a communication unit 140, a storage unit 150, 160, an eye position correcting unit 170, and an operation posture control unit 180. Here, the control unit 110 may process signals transmitted between the respective units of the driving posture control apparatus 100 of the vehicle.

인터페이스부(120)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 운전자세 제어 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.The interface unit 120 may include an input means for receiving a control command from a user and an output means for outputting an operation state and a result of the operation posture control apparatus 100.

여기서, 입력수단은 키 버튼이 해당될 수 있으며, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜 등이 해당될 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키가 해당 될 수도 있다.Here, the input means may correspond to a key button, and may be a mouse, a joystick, a jog shuttle, a stylus pen, or the like. Further, the input means may correspond to a soft key implemented on the display.

출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.The output means may comprise a display and may comprise a voice output means such as a speaker. In this case, when a touch sensor such as a touch film, a touch sheet, or a touch pad is provided on the display, the display operates as a touch screen, and the input means and the output means may be integrated.

이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.The display may be a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, , A field emission display (FED), and a 3D display (3D display).

카메라(130)는 차량(10)에 탑승한 운전자의 얼굴 영상을 촬영한다. 여기서, 카메라(130)는 단안 카메라로서, 운전자의 정면 방향에 배치되는 것으로 한다. 운전자세 제어 장치(100)는 차량(10)에 구비된 카메라(130)로부터 통신부(140)를 통해 촬영 영상을 제공받을 수도 있다. 이 경우, 운전자세 제어 장치(100)에 구비되는 카메라(130)는 생략될 수 있다.The camera 130 photographs the face image of the driver who boarded the vehicle 10. Here, the camera 130 is a monocular camera and is arranged in the front direction of the driver. The driving posture control apparatus 100 may receive a photographed image from the camera 130 provided in the vehicle 10 through the communication unit 140. [ In this case, the camera 130 provided in the driving posture control apparatus 100 may be omitted.

카메라(130)는 운전자 탑승 시나 주행 중 운전자의 얼굴 영상을 촬영하여 제어부(110)로 전달한다. 제어부(110)는 카메라(130)로부터 전달된 운전자의 얼굴 영상을 저장부(150)에 저장하고, 눈 위치 추정부(160) 및/또는 눈 위치 보정부(170)로 제공할 수 있다.The camera 130 photographs the face image of the driver while the driver is riding or while driving and transmits the image to the control unit 110. The control unit 110 may store the face image of the driver transmitted from the camera 130 in the storage unit 150 and provide the same to the eye position estimating unit 160 and /

통신부(140)는 차량(10)에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 차량(10)에 구비된 인스트루먼트 패널, 디스플레이 등과 통신 연결되어 운전자세 제어 장치(100)의 동작 상태를 디스플레이로 송신할 수 있다. 또한, 통신모듈은 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등과 신호를 송수신할 수 있으며, 운전자세 제어 장치(100)의 제어 신호를 송신할 수 있다.The communication unit 140 may include a communication module that supports communication interfaces with electrical components and / or control units provided in the vehicle 10. [ For example, the communication module may be communicatively connected to an instrument panel, a display, and the like provided in the vehicle 10 to transmit the operation state of the operation posture control device 100 to the display. The communication module can transmit and receive signals to and from the seat 10, the side mirrors, the room mirror, the headrest, and the head-up display (HUD) of the vehicle 10 and can transmit control signals of the driving posture control device 100 .

여기서, 통신부(140)는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 통신모듈을 포함할 수 있다.The communication unit 140 may include a communication module that supports vehicle network communication such as CAN (Controller Area Network) communication, LIN (Local Interconnect Network) communication, and Flex-Ray communication.

또한, 통신부(140)는 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수도 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다. In addition, the communication unit 140 may include a module for wireless Internet access or a module for short range communication. Here, the wireless Internet technology includes a wireless LAN (WLAN), a wireless broadband (Wibro), a Wi-Fi, a World Interoperability for Microwave Access (WIMAX), a High Speed Downlink Packet Access ), Etc., and the short range communication technology may include Bluetooth, ZigBee, UWB (Ultra Wideband), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) have.

저장부(150)는 운전자세 제어 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다. 이때, 저장부(150)는 운전자세 제어 장치(100)의 동작을 위한 설정값이 저장될 수 있다. 일 예로서, 저장부(150)는 운전자의 눈 위치 추정을 위한 계산식에 적용되는 조건값이 저장될 수 있으며, 눈 위치 보정을 위한 조건값 등이 저장될 수 있다. 또한, 저장부(150)는 눈 위치 추정을 위한 알고리즘이 저장될 수 있다. 저장부(150)는 운전자세 제어 장치(100)에 의해 결정된 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 운전자세 제어값이 저장될 수도 있다.The storage unit 150 stores data and programs necessary for the operation posture control apparatus 100 to operate. At this time, the storage unit 150 may store a set value for operation of the operation posture control apparatus 100. [ As an example, the storage unit 150 may store a condition value to be applied to a calculation formula for a driver's eye position, and may store condition values for eye position correction. Also, the storage unit 150 may store an algorithm for eye position estimation. The storage unit 150 may store driving position control values of the seat 10, the side mirrors, the room mirror, the headrest, and the head-up display (HUD) of the vehicle 10 determined by the driving posture control apparatus 100.

여기서, 저장부(150)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.Here, the storage unit 150 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory A random access memory (SRAM), a read-only memory (ROM), a programmable read-only memory (PROM), an electrically erasable programmable read-only memory (EEPROM) Erasable Programmable Read-Only Memory).

눈 위치 추정부(160)는 카메라(130)를 통해 촬영된 촬영 영상 중 얼굴 영상에 근거하여 눈 위치를 추정한다. 이때, 눈 위치 추정부(160)는 얼굴 영상에서 추정한 눈 위치 좌표를 2차원 영상 좌표계에서 3차원 카메라 좌표계로 변환하고, 다시 차량 좌표계로 변환함으로써 차량(10) 내 운전자의 눈 위치를 추정하도록 한다.The eye position estimating unit 160 estimates the eye position based on the face image of the photographed image photographed through the camera 130. At this time, the eye position estimating unit 160 estimates the eye position of the driver in the vehicle 10 by converting the eye position coordinates estimated from the face image into a three-dimensional camera coordinate system from the two-dimensional image coordinate system, do.

여기서, 2차원 영상 좌표게 상의 눈 위치 좌표를 3차원 차량 좌표계로 변환하는 동작에 대한 실시예는 도 3을 참조하도록 한다.Here, an embodiment of the operation of converting the eye position coordinates of the two-dimensional image coordinate system into the three-dimensional vehicle coordinate system will be described with reference to Fig.

도 3에 도시된 바와 같이, 눈 위치 추정부(160)는 u축 및 v축으로 된 영상 좌표계의 좌표값을 Xc축, Yc축, Zc축으로 된 카메라 좌표계의 좌표값으로 변환하고, 변환된 좌표값을 Xv축, Yv축, Zv축으로 된 차량 좌표계의 좌표값으로 변환할 수 있다.3, the eye position estimating unit 160 converts the coordinate values of the image coordinate system of the u-axis and the v-axis into coordinate values of the camera coordinate system having the Xc axis, the Yc axis, and the Zc axis, The coordinate values can be converted into coordinate values of the vehicle coordinate system including the Xv axis, the Yv axis, and the Zv axis.

이에, 눈 위치 추정부(160)에서 차원 영상 좌표게 상의 눈 위치 좌표를 3차원 차량 좌표계로 변환하는 동작에 대해 살펴보면, 우선 눈 위치 추정부(160)는 2차원 영상 좌표계에서 운전자의 눈 위치 좌표를 아래 [수학식 1]과 같이 나타낼 수 있다.The eye position estimating unit 160 estimates the eye position of the driver based on the position of the eye of the driver in the two-dimensional image coordinate system, Can be expressed by the following equation (1).

Figure pat00001
Figure pat00001

[수학식 1]에서 u, v는 촬영 영상 중 얼굴 영상 기반 영상 좌표계의 가로, 세로축 좌표, xi, yi는 촬영 영상 기반 영상 좌표계의 x, y 좌표값을 의미하며, Iw는 촬영 영상 기반 영상 좌표계에서 얼굴 영상의 너비, Ih는 촬영 영상 기반 영상 좌표계에서 얼굴 영상의 높이를 의미한다.In Equation (1), u and v are the horizontal and vertical coordinates of the facial image-based image coordinate system, xi and yi are the x and y coordinate values of the image-based image coordinate system, Iw is the image- And Ih denotes the height of the face image in the image-based image coordinate system.

여기서, 촬영 영상 및 얼굴 영상에 대한 2차원 영상 좌표계는 도 4의 실시예를 참조하도록 한다.Here, the two-dimensional image coordinate system for the photographed image and the face image will be referred to the embodiment of FIG.

도 4를 참조하면, (xi, yi)는 영상 좌표계에서 촬영 영상(311)에 대한 P를 중심으로 하는 M의 좌표를 나타내며, (u, v)는 영상 좌표계에서 촬영 영상(311) 내의 얼굴 영상(321)에 대한 Q를 중심으로 하는 M의 좌표를 나타낸다.4, (xi, yi) represents the coordinates of M centered on P with respect to the photographed image 311 in the image coordinate system, (u, v) Represents the coordinate of M centering on Q with respect to the center point 321 of the reference point.

여기서, (xi, yi)와 (u, v)는 도 3에 도시된 바와 같이, P와 Q의 변이값 만큼 차이가 난다. 이 경우, xi와 u는 가로축 변이값인 Iw 만큼 차이가 나고, yi와 v는 세로축 변이값인 Ih 만큼 차이가 난다.Here, (xi, yi) and (u, v) differ by the variation value of P and Q as shown in FIG. In this case, xi and u differ by the horizontal axis deviation value Iw, and yi and v differ by the vertical axis deviation value Ih.

따라서, 눈 위치 추정부(160)는 얼굴 영상에서 눈 위치에 대한 좌표 (u, v)를 [수학식 1]을 통해 (xi yi)로 변환할 수 있다.Accordingly, the eye position estimating unit 160 may convert the coordinates (u, v) of the eye position in the face image to (xi yi) through the equation (1).

또한, 눈 위치 추정부(160)는 (u, v)의 변환 좌표인 (xi yi)를 카메라 좌표계 상의 좌표로 변환할 수 있다.In addition, the eye position estimating unit 160 may convert the transformed coordinates (xi yi) of (u, v) into coordinates on the camera coordinate system.

이때, 눈 위치 추정부(160)는 실제 운전자의 눈 사이의 거리를 추정하고, 추정된 실제 운전자의 눈 사이 거리(W)와, 도 5에서와 같이 얼굴 영상(510) 내 운전자의 눈 사이 거리(w)를 이용하여 카메라 좌표계의 깊이값을 계산한다. 여기서, 실제 운전자의 눈 사이의 거리(W)는 일반적인 성인의 눈 사이 거리의 평균값, 일 예로, 6.5cm을 눈 사이 거리 기준값으로 적용한다.At this time, the eye position estimating unit 160 estimates the distance between the eyes of the actual driver and calculates the distance between the estimated distance between the eyes of the actual driver and the distance between the eye of the driver in the face image 510 (w) to calculate the depth value of the camera coordinate system. Here, the distance (W) between the eyes of the actual driver is an average value of the distance between the eyes of a general adult, for example, 6.5 cm as the reference distance between eyes.

Figure pat00002
Figure pat00002

[수학식 2]에서, Zc는 카메라 좌표계 상의 눈 위치에 대한 깊이값을 의미하며, f는 초점거리, W는 추정된 실제 운전자의 눈 사이 거리, w는 얼굴 영상 내 운전자의 눈 사이 거리를 의미한다.In Equation (2), Zc denotes the depth value of the eye position on the camera coordinate system, f denotes the focal length, W denotes the distance between the estimated eyes of the actual driver, and w denotes the distance between the eyes of the driver in the face image do.

눈 위치 추정부(160)는 추정된 실제 운전자의 눈 사이 거리를 [수학식 2]에 적용하여 Zc는 카메라 좌표계 상의 눈 위치에 대한 깊이값을 계산하고, 계산된 깊이값을 [수학식 3] 및 [수학식 4]에 적용하여 카메라 좌표계 상의 눈 위치에 대한 x, y 좌표값을 계산할 수 있다.The eye position estimating unit 160 applies the distance between the estimated eyes of the actual driver to Equation (2), Zc is the depth value of the eye position on the camera coordinate system, and calculates the calculated depth value by Equation (3) And [Equation 4], x and y coordinate values of the eye position on the camera coordinate system can be calculated.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

[수학식 3] 및 [수학식 4]에서, Xc, Yc, Zc는 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값, xi, yi는 영상 좌표계 상에서 u, v의 변환 좌표값을 의미하며, f는 초점거리를 의미한다.Xc, Yc, and Zc are three-axis coordinate values for the eye position on the camera coordinate system, xi and yi are converted coordinate values for u and v on the image coordinate system, and f Means a focal distance.

이와 같이, 눈 위치 추정부(160)는 [수학식 2] 내지 [수학식 4]를 이용하여 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값을 계산할 수 있으며, 계산된 좌표값을 아래 [수학식 5] 내지 [수학식 7]을 이용하여 차량 좌표계 상의 눈 위치에 대한 3축 좌표값으로 변환할 수 있다.In this manner, the eye position estimating unit 160 can calculate the three-axis coordinate value for the eye position on the camera coordinate system using [Equation 2] to [Equation 4] 5] to [Equation 7], it is possible to convert the coordinates into three-axis coordinate values for the eye position on the vehicle coordinate system.

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

Figure pat00007
Figure pat00007

[수학식 5] 내지 [수학식 7]에서, Xv, Yv, Zv는 차량 좌표계 상의 눈 위치에 대한 3축 좌표값, Xc, Yc, Zc는 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값을 의미하며, θ는 차량(10) 바닥면의 일 지점을 기준으로 차량(10) 바닥면과 카메라(130)가 이루는 각도를 의미한다.Xv, Yv, and Zv represent three-axis coordinate values for the eye position on the vehicle coordinate system, and Xc, Yc, and Zc represent three-axis coordinate values for the eye position on the camera coordinate system. And θ denotes an angle formed by the bottom surface of the vehicle 10 and the camera 130 with reference to one point on the bottom surface of the vehicle 10.

이와 같이, 눈 위치 추정부(160)는 [수학식 1] 내지 [수학식 7]을 이용하여 영상 좌표계 상의 2차원 눈 위치 좌표를 차량 좌표계 상의 3차원 눈 위치 좌표로 변환하게 된다.In this manner, the eye position estimating unit 160 converts the two-dimensional eye position coordinates on the image coordinate system into the three-dimensional eye position coordinates on the vehicle coordinate system using Equations (1) to (7).

한편, [수학식 2]에서는 운전자의 실제 눈 사이 거리를 미리 정해진 눈 사이 거리 기준값, 예를 들어, 6.5cm인 것으로 가정하여 카메라 좌표계 상의 눈 위치에 대한 깊이값을 계산하였다.In Equation (2), the depth value of the eye position on the camera coordinate system is calculated assuming that the distance between the eyes of the driver is a predetermined reference distance between eyes, for example, 6.5 cm.

만일, 운전자의 실제 눈 사이 거리가 미리 정해진 눈 사이 거리 기준값 보다 먼 경우, [수학식 2]에 의해 산출되는 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc는 운전자의 현재 위치보가 작은 값으로 산출될 수 있다. 또한, 운전자의 실제 눈 사이 거리가 미리 정해진 눈 사이 거리 기준값 보다 가까운 경우, [수학식 2]에 의해 산출되는 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc는 운전자의 현재 위치보가 큰 값으로 산출될 수 있다.If the actual distance between the eyes of the driver is longer than the predetermined reference distance between eyes, the depth value Zc for the eye position on the camera coordinate system calculated by Equation (2) can be calculated as a smaller value of the current position of the driver have. When the actual distance between the eyes of the driver is closer to the predetermined reference distance between eyes, the depth value Zc for the eye position on the camera coordinate system calculated by Equation (2) can be calculated to be a larger value of the current position of the driver have.

한편, 도 6에 도시된 바와 같이, 운전자가 기준 위치(M)에 위치해 있는 상태에서 위치 1(M1)에 위치한 것으로 추정되는 경우, 운전자의 정면 얼굴로부터 측정된 눈 위치 표준편차는 기준 위치(M)을 기준으로 측정된 눈 위치 표준편차보다 크게 추정될 수 있다. 또한, 운전자가 기준 위치(M)에 위치해 있는 상태에서 위치 2(M2)에 위치한 것으로 추정되는 경우, 운전자의 정면 얼굴로부터 측정된 눈 위치 표준편차는 기준 위치(M)를 기준으로 측정된 눈 위치 표준편차보다 크게 추정될 수 있다.6, if it is estimated that the driver is located at the position 1 (M1) in a state where the driver is located at the reference position M, the measured eye position standard deviation from the driver's front face is the reference position M ) Of the eye position standard deviation. In addition, when it is estimated that the driver is located at the position 2 (M2) in a state where the driver is located at the reference position M, the eye position standard deviation measured from the driver's front face is the eye position measured based on the reference position M Can be estimated to be larger than the standard deviation.

상술한 정보를 이용하여, 눈 위치 보정부(170)는 운전자의 정면 얼굴 영상에서의 눈 위치 표준분포를 이용하여 앞서 눈 위치 추정부(160)에서 추정한 운전자의 눈 사이 거리를 보정한다.Using the above-described information, the eye position correcting unit 170 corrects the distance between the eyes of the driver estimated by the eye position estimating unit 160 by using the eye position standard distribution on the front face image of the driver.

우선, 눈 위치 보정부(170)는 정해진 시간 동안 정면 얼굴에 대한 차량 좌표계 기준 눈 위치 좌표값 (Xv, Yv, Zv)의 표준편차 (XSTD, YSTD, ZSTD)를 측정하도록 한다.First, the eye position correcting unit 170 measures the standard deviations (X STD , Y STD , Z STD ) of the eye position coordinate values (X v , Y v , Z v ) of the vehicle coordinate system relative to the front face for a predetermined time do.

여기서, 운전자의 눈 사이 거리가 눈 사이 거리 기준값(W) 보다 큰 경우, 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc가 현재 위치보다 작게 측정되어 눈 위치 좌표값의 표준편차가 크게 측정된다. 한편, 운전자의 눈 사이 거리가 눈 사이 거리 기준값(W) 보다 작은 경우에는, 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc가 현재 위치보다 크게 측정되어 눈 위치 좌표값의 표준편차가 작게 측정된다. Here, when the distance between the eyes of the driver is larger than the eye-to-eye distance reference value W, the depth value Zc for the eye position on the camera coordinate system is measured to be smaller than the current position, and the standard deviation of the eye position coordinate value is measured. On the other hand, when the distance between the eyes of the driver is smaller than the inter-eye distance reference value W, the depth value Zc for the eye position on the camera coordinate system is measured to be larger than the current position and the standard deviation of the eye position coordinate value is measured to be small.

따라서, 눈 위치 보정부(170)는 눈 위치 표준편차의 차이값에 기초하여 운전자의 눈 사이 거리 오차를 보정하도록 한다. 이때, 눈 위치 보정부(170)는 [수학식 8]을 이용하여 운전자의 눈 사이 거리 오차를 보정할 수 있다.Therefore, the eye position correcting unit 170 corrects the distance error between the eyes of the driver based on the difference value of the eye position standard deviation. At this time, the eye position correcting unit 170 can correct the distance error between the eyes of the driver using Equation (8).

Figure pat00008
Figure pat00008

[수학식 8]에서, W(t+1)은 오차 보정된 운전자의 눈 사이 거리, W(t)는 오차 보정 전 운전자의 눈 사이 거리를 의미하며, XSTD는 추정된 현재 위치에서 차량 좌표계 상 눈 위치의 x 좌표값, XREF_STD는 기준 위치에서 차량 좌표계 상 눈 위치의 x 좌표값을 의미한다. 이때, ∝는 비례기호로서, 눈 위치 보정부(170)는 XSTD와 XREF_STD의 차이값에 비례하여 운전자의 눈 사이 거리 기준값(W)을 보정한다.In Equation (8), W (t + 1) is the distance between the eyes of the error compensated driver, W (t) is the distance between the eyes of the driver before error correction, XSTD is the distance X REF_STD means the x coordinate value of the eye position on the vehicle coordinate system at the reference position. At this time ,? Is a proportional symbol, and the eye position correcting unit 170 corrects the distance reference value W between the eyes of the driver in proportion to the difference value between X STD and X REF_STD .

운전자세 제어부(180)는 눈 위치 보정부(170)에 의해 보정된 최종 눈 위치 정보에 근거하여 운전자의 앉은 키를 추정한다. 이때, 운전자세 제어부(180)는 운전자의 최종 눈 위치로부터 추정된 운전자의 앉은 키 정보에 근거하여 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등과 같은 조절유닛에 대한 위치 및/또는 각도 등의 운전자세 제어값을 설정할 수 있다.The driving posture control unit 180 estimates the driver's sitting key based on the final eye position information corrected by the eye position correcting unit 170. [ At this time, the driving posture control unit 180 adjusts the seat 10, the side mirrors, the room mirror, the head rest, and the head-up display (HUD) of the vehicle 10 based on the estimated key information of the driver estimated from the driver's final eye position It is possible to set the operation posture control value such as position and / or angle with respect to the unit.

운전자세 제어부(180)는 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등에 대해 설정된 운전자세 제어값을 차량(10)의 구동유닛으로 제공할 수 있다. 따라서, 차량(10)의 구동유닛은 운전자세 제어부(180)로부터 제공된 자세정보에 근거하여 해당 구동유닛에 연결된 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 적어도 하나의 위치 및/또는 각도를 조절한다.The driving posture control unit 180 can provide the driving posture control values set for the seat 10, the side mirrors, the room mirror, the headrest, and the head-up display (HUD) of the vehicle 10 to the drive unit of the vehicle 10. Therefore, the driving unit of the vehicle 10 is capable of detecting the position of at least one of the seat, the side mirror, the room mirror, the headrest, and the head-up display (HUD) connected to the driving unit based on the attitude information provided from the driving posture control unit 180 And / or the angle.

상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.The operation flow of the apparatus according to the present invention will be described in more detail as follows.

도 7 및 도 8은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 방법에 대한 동작 흐름을 도시한 도면이다.FIG. 7 and FIG. 8 are diagrams illustrating an operational flow for a method of controlling a driving posture of a vehicle according to an embodiment of the present invention.

먼저, 도 7은 차량 시동 시에 운전자세를 제어하는 동작을 나타낸 것이다. 도 7을 참조하면, 운전자세 제어 장치(100)는 차량(10)이 시동 온 되면(S110), 카메라(130)를 통해 차량(10)에 탑승한 운전자의 얼굴 영상을 촬영한다(S120). 이때, 운전자세 제어 장치(100)는 'S120' 과정에서 촬영한 운전자의 얼굴 영상으로부터 2차원 영상 좌표계의 눈 위치 좌표를 계산할 수 있다. First, Fig. 7 shows an operation for controlling the operation posture at the start of the vehicle. 7, when the vehicle 10 is turned on (S110), the driving posture control apparatus 100 shoots the face image of the driver who boarded the vehicle 10 through the camera 130 (S120). At this time, the driving posture control apparatus 100 can calculate the eye position coordinates of the two-dimensional image coordinate system from the face image of the driver photographed in the process 'S120'.

운전자세 제어 장치(100)는 계산된 눈 위치 좌표를 이용하여 얼굴 영상 내 운전자의 눈 사이 거리를 추정할 수 있다(S130). 또한, 운전자세 제어 장치(100)는 'S130' 과정에서 실제 운전자의 눈 사이 거리를 추정할 수도 있다. 이 경우, 운전자세 제어 장치(100)는 미리 정의된 성인 평균 눈 사이 거리인 눈 사이 거리 기준값을 실제 운전자의 눈 사이 거리로 추정할 수 있다.The driving posture control apparatus 100 can estimate the distance between the eyes of the driver in the face image using the calculated eye position coordinates (S130). In addition, the driving posture control apparatus 100 may estimate the distance between the eyes of the actual driver in step 'S130'. In this case, the driving posture control apparatus 100 can estimate the reference distance between eyes, which is a predefined adult average distance between eyes, as the distance between the eyes of the actual driver.

'S130' 과정에서 얼굴 영상 내 운전자의 눈 사이 거리 및 실제 운전자의 눈 사이 거리가 추정되면, 얼굴 영상으로부터 획득한 2차원 영상 좌표계의 눈 위치 좌표를 3차원 차량 좌표계의 좌표값으로 변환한다(S140).If the distance between the driver's eyes and the distance between the eyes of the driver in the face image are estimated in the process of 'S130', the eye position coordinates of the two-dimensional image coordinate system obtained from the face image are converted into coordinate values of the three-dimensional vehicle coordinate system (S140 ).

'S140' 과정에서, 운전자세 제어 장치(100)는 좌표값 변환을 위해 우선 2차원 영상 좌표계의 눈 위치 좌표를 3차원 카메라 좌표계의 좌표값으로 변환하고, 다시 3차원 카메라 좌표계의 좌표값을 차량 좌표계의 좌표값으로 변환할 수 있다.In step 'S140', the driving posture control device 100 first converts the eye position coordinates of the two-dimensional image coordinate system into the coordinate values of the three-dimensional camera coordinate system for coordinate value conversion, It can be converted into the coordinate value of the coordinate system.

이때, 운전자세 제어 장치(100)는 앞서 서술한 [수학식 1] 내지 [수학식 7]을 참조하여 2차원 영상 좌표계의 눈 위치 좌표를 3차원 차량 좌표계의 좌표값으로 변환할 수 있다.At this time, the driving posture control apparatus 100 can convert the eye position coordinates of the two-dimensional image coordinate system into coordinate values of the three-dimensional vehicle coordinate system by referring to Equations (1) to (7) described above.

3차원 차량 좌표계의 좌표값으로 변환한 후, 운전자세 제어 장치(100)는 운전자의 정면 얼굴 영상의 눈 위치 표준분포를 이용하여 눈 사이 거리를 보정할 수 있다(S150).The driving posture control device 100 can correct the distance between the eyes using the eye position standard distribution of the driver's front face image (S150).

'S150' 과정에서, 운전자세 제어 장치(100)는'S140' 과정에서 변환된 좌표값을 기준으로 눈 위치 표준편차를 측정하고, 변환된 좌표값을 기준으로 눈 위치 표준편차와 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값을 이용하여 실제 운전자의 눈 사이 거리를 보정할 수 있다.In step 'S150', the driving posture control apparatus 100 measures an eye position standard deviation on the basis of the coordinate value converted in the process of 'S140', calculates an eye position standard deviation based on the converted coordinate value and a predetermined standard position The distance between the eyes of the actual driver can be corrected by using the difference between the eye position standard deviations at the eyes.

'S150' 과정은 변환된 좌표값을 기준으로 눈 위치 표준편차와 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값이 기준치 이하가 될 때까지 반복하여 수행될 수 있다.The process of 'S150' can be repeatedly performed until the difference between the eye position standard deviation and the eye position standard deviation at the predetermined reference position becomes less than the reference value based on the converted coordinate value.

따라서, 운전자세 제어 장치(100)는 'S150' 과정에서 보정된 눈 사이 거리를 이용하여 운전자의 최종 눈 위치를 추정할 수 있다(S160).Accordingly, the driving posture control apparatus 100 can estimate the final eye position of the driver using the distance between eyes corrected in the step 'S150' (S160).

한편, 차량(10)이 운전자세 제어 모드로 진입하는 경우(S170), 운전자에 의해 운전자 정보가 입력될 수 있다(S180). 여기서, 운전자 정보는 키 정보, 몸무게 정보 등이 해당될 수 있다.On the other hand, when the vehicle 10 enters the driving posture control mode (S170), the driver information can be input by the driver (S180). Here, the driver information may be key information, weight information, and the like.

이때, 운전자세 제어 장치(100)는 'S180' 과정에서 입력된 운전자 정보 및 'S160' 과정에서 추정된 운전자의 눈 위치 정보에 기초하여 운전자의 앉은 키를 추정하고(S190), 'S190' 과정에서 추정된 운전자의 앉은 키에 근거하여 운전자세 제어값을 설정한다(S200). 'S200' 과정에서, 운전자세 제어값은 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 하나 이상에 대한 위치, 각도 등이 해당될 수 있다.At this time, the driving posture control apparatus 100 estimates the driver's sitting key on the basis of the driver information input in the process of 'S180' and the driver's eye position information estimated in the process 'S160' (S190) (S200) based on the estimated driver's sitting key. In the process of 'S200', the driving posture control value may correspond to a position, an angle, and the like of at least one of a seat, a side mirror, a room mirror, a headrest, and a head-up display (HUD)

따라서, 차량(10)의 구동유닛은 'S200' 과정에서 설정된 운전자세 제어값에 따라 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 하나 이상의 위치, 각도 등을 제어할 수 있다(S210).Accordingly, the driving unit of the vehicle 10 can control the position, angle, and the like of at least one of the seat, the side mirror, the room mirror, the head rest and the head-up display (HUD) (S210).

만일, 'S170' 과정에서 차량(10)이 운전자세 제어 모드로 진입하지 않은 경우에는 미리 설정된 운전자세 디폴트 값을 유지할 수 있다.If the vehicle 10 does not enter the driving posture control mode in the step 'S170', it can maintain the preset driving posture default value.

도 8은 차량 주행 중 헤드업디스플레이의 운전자세를 제어하는 동작의 흐름을 나타낸 것이다. 도 8을 참조하면, 운전자세 제어 장치(100)는 차량(10)이 주행 중인 경우(S310), 도 7의 'S120' 내지'S160' 과정을 거쳐 운전자의 눈 위치를 추정할 수 있다(S320).Fig. 8 shows a flow of an operation for controlling the driving posture of the head-up display during vehicle running. Referring to FIG. 8, the driving posture control apparatus 100 can estimate the driver's eye position through steps S120 to S160 in FIG. 7 when the vehicle 10 is running (S310) (S320 ).

이때, 운전자세 제어 장치(100)는 'S320' 과정에서 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도를 비교한다(S330). 이 경우, 운전자세 제어 장치(100)는 통신부(140)를 통해 현재 설정된 헤드업디스플레이(HUD)의 틸트 각도 정보를 수신하여 확인할 수 있다. At this time, the driving posture control apparatus 100 compares the HUD tilt angle based on the estimated eye position with the current HUD tilt angle at step S330. In this case, the driving posture control apparatus 100 can receive and confirm the tilt angle information of the head-up display (HUD) currently set through the communication unit 140. [

'S330' 과정의 비교 결과, 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도의 차이값이 미리 설정된 기준치를 초과하지 않으면(S340), 운전자세 제어 장치(100)는 현재의 헤드업디스플레이(HUD)의 각도를 유지하며 'S310' 내지 'S340' 과정을 반복하여 수행한다.If the difference between the HUD tilt angle based on the estimated eye position and the current HUD tilt angle does not exceed the predetermined reference value (S340) as a result of the comparison of the 'S330' process, the driving posture control device 100 determines that the current S310 'to S340' are repeatedly performed while maintaining the angle of the head-up display (HUD).

반면, 'S330' 과정의 비교 결과, 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도의 차이값이 미리 설정된 기준치를 초과하면(S340), 운전자세 제어 장치(100)는 현재의 HUD 틸트 각도와 운전자의 눈 위치에 기초하여 헤드업디스플레이(HUD)의 틸트 각도를 설정한다(S350). 이때, 운전자세 제어 장치(100)는 'S350' 과정에서 설정된 헤드업디스플레이(HUD)의 틸트 각도 정보를 차량(10)의 구동유닛으로 제공한다. 따라서, 차량(10)의 구동유닛은 운전자세 제어 장치(100)에 의해 설정된 틸트 각도에 따라 헤드업디스플레이(HUD)를 조정할 수 있다(S360).On the other hand, if the difference between the HUD tilt angle based on the estimated eye position and the current HUD tilt angle exceeds the preset reference value (S340) as a result of the comparison of the 'S330' process, The tilt angle of the head-up display (HUD) is set based on the HUD tilt angle of the driver and the driver's eye position (S350). At this time, the driving posture control apparatus 100 provides tilt angle information of the head-up display (HUD) set in the process of 'S350' to the driving unit of the vehicle 10. Therefore, the driving unit of the vehicle 10 can adjust the head-up display (HUD) according to the tilt angle set by the driving posture control apparatus 100 (S360).

도 9는 차량 주행 중 헤드레스트의 운전자세를 제어하는 동작의 흐름을 나타낸 것이다. 도 9를 참조하면, 운전자세 제어 장치(100)는 차량(10)이 주행 중인 경우(S410), 도 7의 'S120' 내지'S160' 과정을 거쳐 운전자의 눈 위치를 추정할 수 있다(S420).Fig. 9 shows the flow of operation for controlling the driving posture of the headrest during running of the vehicle. 9, the driving posture control apparatus 100 can estimate the driver's eye position through steps S120 to S160 in FIG. 7 when the vehicle 10 is running (S410) (S420 ).

이때, 운전자세 제어 장치(100)는 카메라(130)에 의해 촬영되는 얼굴 영상으로부터 추정된 눈 위치를 기반으로 차량(10)의 헤드레스트의 상대 위치값을 계산하도록 한다(S430). 이 경우, 운전자세 제어 장치(100)는 통신부(140)를 통해 헤드레스트의 위치 정보를 수신하여 확인할 수 있다. 'S430' 과정에서, 운전자세 제어 장치(100)는 'S420' 과정에서 추정된 운전자의 눈 위치 정보와 헤드레스트의 위치 정보를 비교하여 상대 위치값을 계산할 수 있다.At this time, the driving posture control apparatus 100 calculates the relative position value of the headrest of the vehicle 10 based on the eye position estimated from the face image photographed by the camera 130 (S430). In this case, the driving posture control apparatus 100 can receive and confirm the position information of the headrest through the communication unit 140. [ In operation S430, the operation posture control device 100 may calculate the relative position value by comparing the estimated driver's eye position information and the headrest position information in operation S420.

만일, 'S430' 과정에서 확인된 상대 위치값이 미리 설정된 기준치(β)를 초과하지 않으면(S440), 운전자세 제어 장치(100)는 현재의 헤드레스트 위치를 유지하며 'S410' 내지 'S440' 과정을 반복하여 수행한다.If the relative position value confirmed in the process of 'S430' does not exceed the preset reference value (S440), the driving posture control device 100 maintains the current headrest position and moves from 'S410' to 'S440' Repeat the process.

반면, 'S430' 과정에서 확인된 상대 위치값이 미리 설정된 기준치(β)를 초과하면(S440), 운전자세 제어 장치(100)는 현재의 헤드레스트 위치와 운전자의 눈 위치에 기초하여 헤드레스트의 이동량을 설정한다(S450). 이때, 운전자세 제어 장치(100)는 'S450' 과정에서 설정된 헤드레스트의 이동량 정보를 차량(10)의 구동유닛으로 제공한다. 따라서, 차량(10)의 구동유닛은 운전자세 제어 장치(100)에 의해 설정된 이동량에 따라 헤드레스트를 이동시킬 수 있다(S460).On the other hand, if the relative position value determined in the process of 'S430' exceeds the predetermined reference value? (S440), the driving posture control device 100 determines that the headrest position The movement amount is set (S450). At this time, the driving posture control apparatus 100 provides the movement amount information of the headrest set in the process of 'S450' to the driving unit of the vehicle 10. Therefore, the drive unit of the vehicle 10 can move the headrest according to the movement amount set by the operation posture control device 100 (S460).

상기의 과정들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체, 즉, 메모리 및/또는 스토리지에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.The above processes may be implemented directly in hardware, software modules executed by a processor, or a combination of the two. The software modules may reside in storage media, such as memory and / or storage, such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disks, removable disks, CD-ROMs. An exemplary storage medium is coupled to the processor, which is capable of reading information from, and writing information to, the storage medium. Alternatively, the storage medium may be integral with the processor. The processor and the storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and the storage medium may reside as discrete components in a user terminal.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the essential characteristics of the invention. Therefore, the spirit of the present invention should not be construed as being limited to the embodiments described, and all technical ideas which are equivalent to or equivalent to the claims of the present invention are included in the scope of the present invention .

10: 차량 100: 운전자세 제어 장치
110: 제어부 120: 인터페이스부
130: 카메라 140: 통신부
150: 저장부 160: 눈 위치 추정부
170: 눈 위치 보정부 180: 운전자세 제어부10: vehicle 100: driving posture control device
110: control unit 120: interface unit
130: camera 140:
150: storage unit 160: eye position estimating unit
170: eye position correcting unit 180: driving posture control unit

Claims (20)

운전자의 눈 사이 거리값을 추정하며, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 추출된 2차원의 눈 위치 좌표를 상기 추정된 운전자의 눈 사이 거리값을 이용하여 3차원 좌표로 변환하고 상기 변환된 3차원 좌표로부터 상기 운전자의 눈 위치를 추정하는 눈 위치 추정부;
상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 눈 위치 보정부; 및
상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 운전자세 제어부
를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 장치.Estimates a distance value between the eyes of the driver, converts the two-dimensional eye position coordinates extracted from the face image of the driver photographed by the camera into three-dimensional coordinates using the estimated distance between the eyes of the driver, An eye position estimating unit that estimates the eye position of the driver from three-dimensional coordinates;
An eye position correcting unit that corrects the distance between the eyes of the driver using the eye position standard distribution of the face image of the driver and corrects the eye position of the driver using the corrected distance between eyes of the driver; And
An operation posture control unit for setting a driving posture control value for the driver based on the corrected eye position of the driver,
And a controller for controlling the operation of the vehicle. 청구항 1에 있어서,
상기 눈 위치 추정부는,
2차원 영상 좌표계 상의 눈 위치 좌표값을 3차원 카메라 좌표계 상의 좌표값으로 변환하고, 상기 변환된 3차원 카메라 좌표계 상의 좌표값을 차량 좌표계 상의 좌표값으로 변환하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method according to claim 1,
The eye-
Dimensional camera coordinate system is converted into a coordinate value on a three-dimensional camera coordinate system, and the coordinate value on the converted three-dimensional camera coordinate system is converted into a coordinate value on the vehicle coordinate system. . 청구항 2에 있어서,
상기 눈 위치 추정부는,
상기 운전자의 눈 사이 거리 기준값, 상기 얼굴 영상 내 운전자의 눈 사이 거리값 및 카메라의 초점 거리값을 이용하여 상기 3차원 카메라 좌표계 상의 눈 위치에 대한 깊이 정보를 추정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 2,
The eye-
Wherein the depth information of the eye position on the 3D camera coordinate system is estimated using the distance reference value between the eyes of the driver, the distance value between the eyes of the driver in the face image, and the focal distance value of the camera. controller. 청구항 3에 있어서,
상기 눈 위치 추정부는,
상기 2차원 영상 좌표계 상의 눈 위치 좌표값에 상기 추정된 깊이 정보 및 상기 카메라의 초점 거리값을 적용하여 3차원 카메라 좌표계 상의 좌표값으로 변환하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 3,
The eye-
Dimensional camera coordinate system by applying the estimated depth information and the focal length value of the camera to the eye position coordinate value on the two-dimensional image coordinate system. 청구항 2에 있어서,
상기 눈 위치 보정부는,
현재 위치에서 촬영된 얼굴 영상에서 상기 변환된 차량 좌표계 상의 좌표값을 기준으로 하는 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차를 비교하고, 각 눈 위치 표준편차 간 차이값을 이용하여 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 2,
The eye-
An eye position standard deviation based on a coordinate value on the transformed vehicle coordinate system and an eye position standard deviation at a predetermined reference position are compared with a face image taken at a current position, And corrects the distance value between the eyes of the driver. 청구항 5에 있어서,
상기 눈 위치 보정부는,
현재 위치에서 촬영된 얼굴 영상에 대한 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값이 미리 정의된 기준치 이하가 될 때까지 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 5,
The eye-
The distance between the eyes of the driver is corrected until the difference between the eye position standard deviation of the face image photographed at the current position and the eye position standard deviation at the predetermined reference position becomes equal to or less than a predetermined reference value Wherein the control unit controls the operation of the vehicle. 청구항 1에 있어서,
상기 운전자세 제어부는,
상기 보정된 운전자의 눈 위치를 기반으로 상기 운전자의 앉은 키를 추정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method according to claim 1,
Wherein the driving posture control unit includes:
And estimates the sitting position of the driver based on the corrected eye position of the driver. 청구항 1에 있어서,
상기 운전자세 제어부는,
상기 차량의 시동 온 시에 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 시트, 사이드미러, 룸미러, 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method according to claim 1,
Wherein the driving posture control unit includes:
A head mirror, a head mirror, and a head-up display (HUD) on the basis of the corrected driver's eye position when the vehicle is turned on And the position or angle of the vehicle is set. 청구항 1에 있어서,
상기 운전자세 제어부는,
상기 차량의 주행 상태에서 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method according to claim 1,
Wherein the driving posture control unit includes:
And setting a position or an angle with respect to at least one of a headrest and a head-up display (HUD) of the vehicle based on the corrected driver's eye position in a running state of the vehicle Of the vehicle. 청구항 9에 있어서,
상기 운전자세 제어부는,
상기 보정된 운전자의 눈 위치를 기반으로 하는 상기 헤드업디스플레이의 틸트 각도와 현재 설정된 헤드업디스플레이의 틸트 각도 간 차이값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드업디스플레이의 틸트 각도와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드업디스플레이의 틸트 각도를 재설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 9,
Wherein the driving posture control unit includes:
If the difference between the tilt angle of the head-up display based on the corrected driver's eye position and the tilt angle of the currently set head-up display exceeds a preset reference value, the tilt angle of the currently set head- And the tilt angle of the head-up display is reset based on the eye position of the driver. 청구항 9에 있어서,
상기 운전자세 제어부는,
상기 보정된 운전자의 눈 위치를 기반으로 하는 헤드레스트의 위치와 현재 설정된 헤드레스트의 위치 간 상대 위치값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드레스트의 위치와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드레스트의 이동량을 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.The method of claim 9,
Wherein the driving posture control unit includes:
When the relative position value between the position of the headrest based on the corrected driver's eye position and the position of the currently set headrest exceeds a preset reference value, the position of the currently set headrest and the position of the corrected driver's eye And the amount of movement of the headrest is set based on the amount of movement of the headrest. 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 2차원의 눈 위치 좌표를 추출하여 3차원 좌표로 변환하고 상기 운전자의 눈 사이 거리값을 추정하여 상기 변환된 3차원 좌표 및 상기 운전자의 눈 사이 거리값으로부터 상기 운전자의 눈 위치를 추정하는 단계;
상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 상기 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 단계; 및
상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계
를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.Dimensional coordinate of the eye from the face image of the driver photographed by the camera, converts it into three-dimensional coordinates, estimates the distance between the eyes of the driver, and calculates a distance between the converted three-dimensional coordinate and the distance between the eyes of the driver Estimating an eye position of the driver;
Correcting a distance value between the eyes of the driver using the eye position standard distribution of the face image of the driver and correcting the eye position of the driver using the corrected distance between eyes of the driver; And
Setting an operation posture control value of the vehicle for the driver based on the corrected eye position of the driver
And controlling the operation of the vehicle. 청구항 12에 있어서,
상기 운전자의 눈 위치를 추정하는 단계는,
상기 운전자의 눈 사이 거리 기준값, 상기 얼굴 영상 내 운전자의 눈 사이 거리값 및 카메라의 초점 거리값을 이용하여 3차원 카메라 좌표계 상의 눈 위치에 대한 깊이 정보를 추정하는 단계;
상기 2차원 영상 좌표계 상의 눈 위치 좌표값에 상기 추정된 깊이 정보 및 상기 카메라의 초점 거리값을 적용하여 상기 2차원 영상 좌표계 상의 눈 위치 좌표값을 3차원 카메라 좌표계 상의 좌표값으로 변환하는 단계; 및
상기 변환된 3차원 카메라 좌표계 상의 좌표값을 차량 좌표계 상의 좌표값으로 변환하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.The method of claim 12,
The step of estimating the eye position of the driver includes:
Estimating depth information on an eye position on a three-dimensional camera coordinate system using a distance reference value between the eyes of the driver, a distance value between eyes of the driver in the face image, and a focal distance value of the camera;
Converting the eye position coordinate value on the two-dimensional image coordinate system into a coordinate value on the three-dimensional camera coordinate system by applying the estimated depth information and the focal length value of the camera to the eye position coordinate value on the two-dimensional image coordinate system; And
And converting the coordinate values on the transformed three-dimensional camera coordinate system into coordinate values on the vehicle coordinate system. 청구항 12에 있어서,
상기 운전자의 눈 위치를 보정하는 단계는,
현재 위치에서 촬영된 얼굴 영상에서 상기 변환된 차량 좌표계 상의 좌표값을 기준으로 하는 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차를 비교하는 단계를 포함하고,
각 눈 위치 표준편차 간 차이값을 이용하여 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 방법.The method of claim 12,
The step of correcting the driver's eye position comprises:
Comparing an eye position standard deviation based on a coordinate value on the transformed vehicle coordinate system and an eye position standard deviation at a predetermined reference position in a face image photographed at a current position,
And correcting the distance between the eyes of the driver using the difference value between the respective eye position standard deviations. 청구항 14에 있어서,
상기 운전자의 눈 위치를 보정하는 단계는,
상기 각 눈 위치 표준편차 간 차이값이 미리 정의된 기준치 이하가 될 때까지 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 방법. 15. The method of claim 14,
The step of correcting the driver's eye position comprises:
Wherein the distance between the eyes of the driver is corrected until the difference between the respective eye position standard deviations becomes equal to or less than a predetermined reference value. 청구항 12에 있어서,
상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
상기 보정된 운전자의 눈 위치를 기반으로 상기 운전자의 앉은 키를 추정하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.The method of claim 12,
Wherein the step of setting the driving posture control value for the driver includes:
And estimating a driver's sitting key based on the corrected driver's eye position. 청구항 12에 있어서,
상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
상기 차량의 시동 온 시에 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 시트, 사이드미러, 룸미러, 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 방법.The method of claim 12,
Wherein the step of setting the driving posture control value for the driver includes:
A head mirror, a head mirror, and a head-up display (HUD) on the basis of the corrected driver's eye position when the vehicle is turned on And a position or an angle of the vehicle is set. 청구항 12에 있어서,
상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
상기 차량의 주행 상태에서 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.The method of claim 12,
Wherein the step of setting the driving posture control value for the driver includes:
Setting a position or an angle with respect to at least one of a headrest and a head-up display (HUD) of the vehicle based on the corrected driver's eye position in a running state of the vehicle And controlling the operation of the vehicle. 청구항 18에 있어서,
상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
상기 보정된 운전자의 눈 위치를 기반으로 하는 상기 헤드업디스플레이의 틸트 각도와 현재 설정된 헤드업디스플레이의 틸트 각도 간 차이값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드업디스플레이의 틸트 각도와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드업디스플레이의 틸트 각도를 재설정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.19. The method of claim 18,
Wherein the step of setting the driving posture control value for the driver includes:
If the difference between the tilt angle of the head-up display based on the corrected driver's eye position and the tilt angle of the currently set head-up display exceeds a preset reference value, the tilt angle of the currently set head- Further comprising the step of resetting the tilt angle of the head-up display based on the eye position of the driver. 청구항 18에 있어서,
상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
상기 보정된 운전자의 눈 위치를 기반으로 하는 헤드레스트의 위치와 현재 설정된 헤드레스트의 위치 간 상대 위치값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드레스트의 위치와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드레스트의 이동량을 설정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.19. The method of claim 18,
Wherein the step of setting the driving posture control value for the driver includes:
When the relative position value between the position of the headrest based on the corrected driver's eye position and the position of the currently set headrest exceeds a preset reference value, the position of the currently set headrest and the position of the corrected driver's eye Further comprising the step of setting the amount of movement of the headrest based on the amount of movement of the headrest.
KR1020160095646A 2016-07-27 2016-07-27 Apparatus and method for controlling driving posture of vehicle KR102429480B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160095646A KR102429480B1 (en) 2016-07-27 2016-07-27 Apparatus and method for controlling driving posture of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095646A KR102429480B1 (en) 2016-07-27 2016-07-27 Apparatus and method for controlling driving posture of vehicle

Publications (2)

Publication Number Publication Date
KR20180012603A true KR20180012603A (en) 2018-02-06
KR102429480B1 KR102429480B1 (en) 2022-08-05

Family

ID=61228034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095646A KR102429480B1 (en) 2016-07-27 2016-07-27 Apparatus and method for controlling driving posture of vehicle

Country Status (1)

Country Link
KR (1) KR102429480B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109774728A (en) * 2018-12-26 2019-05-21 东风汽车集团有限公司 Outside rear-view mirror adaptive location adjusting method based on different driver's heights
KR102135305B1 (en) * 2019-07-29 2020-07-17 동명대학교산학협력단 Method for controlling automatically for car rear view mirror employing driver's eye location and apparatus thereof
KR20200105733A (en) * 2019-03-01 2020-09-09 한양대학교 에리카산학협력단 Method and device for controlling vehicle seats based on upper body image
CN112733633A (en) * 2020-12-28 2021-04-30 中国农业大学 Method for predicting positions of eyes of driver of high-power wheeled tractor
CN113127980A (en) * 2021-04-28 2021-07-16 安徽江淮汽车集团股份有限公司 Method, device and equipment for generating ellipsoid model of driver eye and storage medium
KR20220026232A (en) * 2020-08-25 2022-03-04 주식회사 유라코퍼레이션 Mirror control system and method for vehicle based on driving posture
CN114132259A (en) * 2021-12-10 2022-03-04 东南大学 Automobile exterior rearview mirror adjusting method and device and automobile
CN115195548A (en) * 2022-07-04 2022-10-18 上海中联重科桩工机械有限公司 Seat adjusting method and seat adjusting device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0725271A (en) * 1993-07-12 1995-01-27 Mazda Motor Corp Equipment adjusting device of automobile
CN103885573A (en) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 Automatic correction method for vehicle display system and system thereof
KR20150045569A (en) * 2013-10-18 2015-04-29 포항공과대학교 산학협력단 Seat control system and seat control method for eye location correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0725271A (en) * 1993-07-12 1995-01-27 Mazda Motor Corp Equipment adjusting device of automobile
CN103885573A (en) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 Automatic correction method for vehicle display system and system thereof
KR20150045569A (en) * 2013-10-18 2015-04-29 포항공과대학교 산학협력단 Seat control system and seat control method for eye location correction

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109774728A (en) * 2018-12-26 2019-05-21 东风汽车集团有限公司 Outside rear-view mirror adaptive location adjusting method based on different driver's heights
KR20200105733A (en) * 2019-03-01 2020-09-09 한양대학교 에리카산학협력단 Method and device for controlling vehicle seats based on upper body image
KR102135305B1 (en) * 2019-07-29 2020-07-17 동명대학교산학협력단 Method for controlling automatically for car rear view mirror employing driver's eye location and apparatus thereof
KR20220026232A (en) * 2020-08-25 2022-03-04 주식회사 유라코퍼레이션 Mirror control system and method for vehicle based on driving posture
CN112733633A (en) * 2020-12-28 2021-04-30 中国农业大学 Method for predicting positions of eyes of driver of high-power wheeled tractor
CN112733633B (en) * 2020-12-28 2023-07-28 中国农业大学 Method for predicting eye position of driver of high-power wheeled tractor
CN113127980A (en) * 2021-04-28 2021-07-16 安徽江淮汽车集团股份有限公司 Method, device and equipment for generating ellipsoid model of driver eye and storage medium
CN113127980B (en) * 2021-04-28 2023-08-11 安徽江淮汽车集团股份有限公司 Driver's eye ellipsoid model generation method, device, equipment and storage medium
CN114132259A (en) * 2021-12-10 2022-03-04 东南大学 Automobile exterior rearview mirror adjusting method and device and automobile
CN115195548A (en) * 2022-07-04 2022-10-18 上海中联重科桩工机械有限公司 Seat adjusting method and seat adjusting device

Also Published As

Publication number Publication date
KR102429480B1 (en) 2022-08-05

Similar Documents

Publication Publication Date Title
KR102429480B1 (en) Apparatus and method for controlling driving posture of vehicle
US9296338B2 (en) Vehicle mirror adjustment
EP2472221B1 (en) Flight Control System for Flying Object
US9873355B2 (en) Automatic adjuster, automatic adjusting system and automatic adjusting method
JP6739672B2 (en) Physical constitution estimation device and physical constitution estimation method
WO2010035472A1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
CN101713644A (en) Eye detection system using a single camera
EP3545818B1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
CN110537207B (en) Face orientation estimating device and face orientation estimating method
US20180101741A1 (en) Image processor, detection apparatus, learning apparatus, image processing method, and computer program storage medium
JP7134364B2 (en) physique determination device and physique determination method
US11915495B2 (en) Information processing apparatus, and recording medium
US9330319B2 (en) Apparatus for compensating camera image and operating method thereof
JP2019148491A (en) Occupant monitoring device
JP2013047019A (en) Vehicle mirror control device
KR101260053B1 (en) Intelligent vehicle controlling apparatus and method using fusion recognition of user's voice and hand gesture
KR102540918B1 (en) Apparatus and method for processing user image of vehicle
JP2009287936A (en) Apparatus for detecting position of driver's eyeball
CN104228688B (en) Adjust the method for rearview mirror and use the electronic installation of the method
KR20200095217A (en) Apparatus for controlling rearview mirror of vehicle
KR20140023488A (en) Apparatus and method thereof for controlling mirror of vehicle
CN111071015A (en) Visual synchronization vehicle window control method and system
US11881035B2 (en) Calibration device, calibration method, drive recorder, vehicle, and storage medium
KR102199765B1 (en) Apparatus and method for displaying head up display unit using driver data
US20220283636A1 (en) Calibration device, calibration method, drive recorder, vehicle, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant