KR102429480B1 - 차량의 운전자세 제어 장치 및 방법 - Google Patents

차량의 운전자세 제어 장치 및 방법 Download PDF

Info

Publication number
KR102429480B1
KR102429480B1 KR1020160095646A KR20160095646A KR102429480B1 KR 102429480 B1 KR102429480 B1 KR 102429480B1 KR 1020160095646 A KR1020160095646 A KR 1020160095646A KR 20160095646 A KR20160095646 A KR 20160095646A KR 102429480 B1 KR102429480 B1 KR 102429480B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
eye position
value
eye
Prior art date
Application number
KR1020160095646A
Other languages
English (en)
Other versions
KR20180012603A (ko
Inventor
김삼용
윤유진
류성숙
이활리
이병준
김진권
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160095646A priority Critical patent/KR102429480B1/ko
Publication of KR20180012603A publication Critical patent/KR20180012603A/ko
Application granted granted Critical
Publication of KR102429480B1 publication Critical patent/KR102429480B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/80—Head-rests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 차량의 운전자세 제어 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 운전자의 눈 사이 거리값을 추정하며, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 추출된 2차원의 눈 위치 좌표를 상기 추정된 운전자의 눈 사이 거리값을 이용하여 3차원 좌표로 변환하고 상기 변환된 3차원 좌표로부터 상기 운전자의 눈 위치를 추정하는 눈 위치 추정부, 상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 눈 위치 보정부, 및 상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 운전자세 제어부를 포함한다.

Description

차량의 운전자세 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DRIVING POSTURE OF VEHICLE}
본 발명은 차량의 운전자세 제어 장치 및 방법에 관한 것이다.
운전자 눈의 3차원 위치를 추정하는 방법으로는 2대 이상의 카메라를 이용하여 카메라 사이의 거리와 각 카메라의 영상좌표간의 차이를 이용하여 측정하는 방식이 있으며, 또한 TOF(Time of Flight) 카메라로부터 발신된 빛과 반사된 빛 사이의 시간차를 거리로 환산하여 측정하는 방식이 있다.
단안 카메라를 이용하는 경우에는 카메라와 대상물 사이의 사전정보를 이용하여 영상의 2차원 좌표를 실제 3차원 좌표로 변환할 수 있다. 하지만, 사전정보가 일정하지 않다면 영상의 2차원 좌표를 3차원 좌표로 변환 시 오차가 발생할 수 있다.
한편, 차량의 운전자세 제어 시스템은 운전자에 맞게 시트, 사이드미러, 룸미러, 헤드 업 디스플레이(Head Up Display, HUD) 등을 조정하는 것으로, 운전자 체형 등에 맞게 운전자세를 조정할 수 있지만 주행 중 자세가 바뀌는 경우에는 매번 조정하기가 어렵고, 안전사고의 위험이 있다.
또한, 운전자세 제어 시스템은 운전자의 체형을 인지하기 위해 운전자가 직접 신체 정보를 입력하거나 운전자의 체형을 감지하기 위한 센서 등을 구비해야 한다. 이 경우, 운전자는 신체 정보를 직접 입력해야하므로 편의성이 저하될 수 있으며, 센서를 통해 운전자의 체형을 감지하는 경우 별도의 센서를 구비해야 하므로 비용이 상승하는 문제가 발생할 수 있다.
본 발명의 실시예들의 일 목적은, 단안카메라를 이용한 운전자의 3차원 눈 위치 정보를 추정하는 경우에 눈 사이의 거리를 보정함으로써 보다 정확한 눈 위치 추정이 가능하도록 하는 차량의 운전자세 제어 장치 및 방법을 제공함에 있다.
본 발명의 실시예들의 다른 목적은, 운전자의 3차원 눈 위치를 기반으로 운전자세를 설정하고, 주행 중 운전자의 자세가 변화하는 경우에 운전자의 눈 위치를 기반으로 헤드 업 디스플레이 및/또는 헤드레스트를 조절함으로써 운전자의 편의성이 증대되도록 하는 차량의 운전자세 제어 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 일 실시예에 따른 차량의 운전자세 제어 장치는, 운전자의 눈 사이 거리값을 추정하며, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 추출된 2차원의 눈 위치 좌표를 상기 추정된 운전자의 눈 사이 거리값을 이용하여 3차원 좌표로 변환하고 상기 변환된 3차원 좌표로부터 상기 운전자의 눈 위치를 추정하는 눈 위치 추정부, 상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 눈 위치 보정부, 및 상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 운전자세 제어부를 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 일 실시예에 따른 차량의 운전자세 제어 방법은, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 2차원의 눈 위치 좌표를 추출하여 3차원 좌표로 변환하고 상기 운전자의 눈 사이 거리값을 추정하여 상기 변환된 3차원 좌표 및 상기 운전자의 눈 사이 거리값으로부터 상기 운전자의 눈 위치를 추정하는 단계, 상기 운전자의 얼굴 영상에 대한 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 상기 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 단계, 및 상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예들에 따르면, 단안카메라를 이용한 운전자의 3차원 눈 위치 정보를 추정하는 경우에 눈 사이의 거리를 보정함으로써 보다 정확한 눈 위치 추정이 가능한 이점이 있다.
또한, 본 발명의 실시예들에 따르면, 운전자의 3차원 눈 위치를 기반으로 운전자의 앉은키를 추정하여 운전자세를 설정하고, 주행 중 운전자의 자세가 변화하는 경우에 운전자의 눈 위치를 기반으로 헤드 업 디스플레이 및/또는 헤드레스트를 조절함으로써 운전자의 편의성이 증대되는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치가 적용된 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치의 구성을 도시한 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치의 눈 위치 추정 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 방법에 대한 동작 흐름을 도시한 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 장치가 적용된 차량을 도시한 도면이다.
본 발명에 따른 운전자세 제어 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 차량의 운전자세 제어 장치(100)는 차량(10)의 내부 제어유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(10)의 제어유닛들과 연결될 수도 있다. 여기서, 차량의 운전자세 제어 장치(100)는 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트, 헤드업디스플레이(Head Up Display, HUD) 등의 위치 및/또는 각도를 조절하는 구동유닛들과 연계되어 동작할 수 있으며, 엔진이나 모터의 동작을 제어하는 제어유닛과 연계되어 동작할 수도 있다.
이에, 도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(10)은 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등을 구비하고, 운전자 탑승 시 연결된 운전자세 제어 장치(100)의 제어에 의해 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 위치 및/또는 각도를 조절한다.
여기서, 운전자세 제어 장치(100)는 카메라(130)를 통해 운전자의 얼굴 영상을 촬영하고, 촬영 영상으로부터 운전자의 눈 위치를 추정하여 운전자의 체형, 예를 들어, 앉은 키 등을 파악할 수 있다. 여기서, 운전자세 제어 장치(100)는 운전자의 눈 사이 거리 등을 추정하고, 계산식을 통해 눈 사이 거리 및 눈 위치 등을 보정함으로써 신뢰도 높은 눈 위치를 추정하는 것이 가능하다.
운전자세 제어 장치(100)는 파악된 운전자의 체형 정보에 근거하여 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 위치 및/또는 각도를 결정할 수 있다.
또한, 운전자세 제어 장치(100)는 차량(10) 운전 중 카메라(130)를 통해 촬영된 운전자의 얼굴 영상으로부터 운전자의 눈 위치를 추정하여 운전자의 눈 위치 변화를 감지할 수 있으며, 눈 위치 변화 정도에 따라 운전 중 및 헤드업디스플레이(HUD) 및/또는 헤드레스트의 위치를 조절할 수도 있다.
이에, 본 발명의 일 실시예에 따른 운전자세 제어 장치(100)에 대한 세부 구성에 대해서는 도 2를 참조하여 더욱 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 운전자세 제어 장치는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 눈 위치 추정부(160), 눈 위치 보정부(170), 운전자세 제어부(180)를 포함할 수 있다.
이에, 도 2를 참조하면, 차량의 운전자세 제어 장치(100)는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 눈 위치 추정부(160), 눈 위치 보정부(170) 및 운전자세 제어부(180)를 포함할 수 있다. 여기서, 제어부(110)는 차량의 운전자세 제어 장치(100)의 각 부간에 전달되는 신호를 처리할 수 있다.
인터페이스부(120)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 운전자세 제어 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼이 해당될 수 있으며, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜 등이 해당될 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키가 해당 될 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
카메라(130)는 차량(10)에 탑승한 운전자의 얼굴 영상을 촬영한다. 여기서, 카메라(130)는 단안 카메라로서, 운전자의 정면 방향에 배치되는 것으로 한다. 운전자세 제어 장치(100)는 차량(10)에 구비된 카메라(130)로부터 통신부(140)를 통해 촬영 영상을 제공받을 수도 있다. 이 경우, 운전자세 제어 장치(100)에 구비되는 카메라(130)는 생략될 수 있다.
카메라(130)는 운전자 탑승 시나 주행 중 운전자의 얼굴 영상을 촬영하여 제어부(110)로 전달한다. 제어부(110)는 카메라(130)로부터 전달된 운전자의 얼굴 영상을 저장부(150)에 저장하고, 눈 위치 추정부(160) 및/또는 눈 위치 보정부(170)로 제공할 수 있다.
통신부(140)는 차량(10)에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 차량(10)에 구비된 인스트루먼트 패널, 디스플레이 등과 통신 연결되어 운전자세 제어 장치(100)의 동작 상태를 디스플레이로 송신할 수 있다. 또한, 통신모듈은 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등과 신호를 송수신할 수 있으며, 운전자세 제어 장치(100)의 제어 신호를 송신할 수 있다.
여기서, 통신부(140)는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 통신모듈을 포함할 수 있다.
또한, 통신부(140)는 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수도 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
저장부(150)는 운전자세 제어 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다. 이때, 저장부(150)는 운전자세 제어 장치(100)의 동작을 위한 설정값이 저장될 수 있다. 일 예로서, 저장부(150)는 운전자의 눈 위치 추정을 위한 계산식에 적용되는 조건값이 저장될 수 있으며, 눈 위치 보정을 위한 조건값 등이 저장될 수 있다. 또한, 저장부(150)는 눈 위치 추정을 위한 알고리즘이 저장될 수 있다. 저장부(150)는 운전자세 제어 장치(100)에 의해 결정된 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등의 운전자세 제어값이 저장될 수도 있다.
여기서, 저장부(150)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
눈 위치 추정부(160)는 카메라(130)를 통해 촬영된 촬영 영상 중 얼굴 영상에 근거하여 눈 위치를 추정한다. 이때, 눈 위치 추정부(160)는 얼굴 영상에서 추정한 눈 위치 좌표를 2차원 영상 좌표계에서 3차원 카메라 좌표계로 변환하고, 다시 차량 좌표계로 변환함으로써 차량(10) 내 운전자의 눈 위치를 추정하도록 한다.
여기서, 2차원 영상 좌표게 상의 눈 위치 좌표를 3차원 차량 좌표계로 변환하는 동작에 대한 실시예는 도 3을 참조하도록 한다.
도 3에 도시된 바와 같이, 눈 위치 추정부(160)는 u축 및 v축으로 된 영상 좌표계의 좌표값을 Xc축, Yc축, Zc축으로 된 카메라 좌표계의 좌표값으로 변환하고, 변환된 좌표값을 Xv축, Yv축, Zv축으로 된 차량 좌표계의 좌표값으로 변환할 수 있다.
이에, 눈 위치 추정부(160)에서 차원 영상 좌표게 상의 눈 위치 좌표를 3차원 차량 좌표계로 변환하는 동작에 대해 살펴보면, 우선 눈 위치 추정부(160)는 2차원 영상 좌표계에서 운전자의 눈 위치 좌표를 아래 [수학식 1]과 같이 나타낼 수 있다.
Figure 112016073204669-pat00001
[수학식 1]에서 u, v는 촬영 영상 중 얼굴 영상 기반 영상 좌표계의 가로, 세로축 좌표, xi, yi는 촬영 영상 기반 영상 좌표계의 x, y 좌표값을 의미하며, Iw는 촬영 영상 기반 영상 좌표계에서 얼굴 영상의 너비, Ih는 촬영 영상 기반 영상 좌표계에서 얼굴 영상의 높이를 의미한다.
여기서, 촬영 영상 및 얼굴 영상에 대한 2차원 영상 좌표계는 도 4의 실시예를 참조하도록 한다.
도 4를 참조하면, (xi, yi)는 영상 좌표계에서 촬영 영상(311)에 대한 P를 중심으로 하는 M의 좌표를 나타내며, (u, v)는 영상 좌표계에서 촬영 영상(311) 내의 얼굴 영상(321)에 대한 Q를 중심으로 하는 M의 좌표를 나타낸다.
여기서, (xi, yi)와 (u, v)는 도 3에 도시된 바와 같이, P와 Q의 변이값 만큼 차이가 난다. 이 경우, xi와 u는 가로축 변이값인 Iw 만큼 차이가 나고, yi와 v는 세로축 변이값인 Ih 만큼 차이가 난다.
따라서, 눈 위치 추정부(160)는 얼굴 영상에서 눈 위치에 대한 좌표 (u, v)를 [수학식 1]을 통해 (xi yi)로 변환할 수 있다.
또한, 눈 위치 추정부(160)는 (u, v)의 변환 좌표인 (xi yi)를 카메라 좌표계 상의 좌표로 변환할 수 있다.
이때, 눈 위치 추정부(160)는 실제 운전자의 눈 사이의 거리를 추정하고, 추정된 실제 운전자의 눈 사이 거리(W)와, 도 5에서와 같이 얼굴 영상(510) 내 운전자의 눈 사이 거리(w)를 이용하여 카메라 좌표계의 깊이값을 계산한다. 여기서, 실제 운전자의 눈 사이의 거리(W)는 일반적인 성인의 눈 사이 거리의 평균값, 일 예로, 6.5cm을 눈 사이 거리 기준값으로 적용한다.
Figure 112016073204669-pat00002
[수학식 2]에서, Zc는 카메라 좌표계 상의 눈 위치에 대한 깊이값을 의미하며, f는 초점거리, W는 추정된 실제 운전자의 눈 사이 거리, w는 얼굴 영상 내 운전자의 눈 사이 거리를 의미한다.
눈 위치 추정부(160)는 추정된 실제 운전자의 눈 사이 거리를 [수학식 2]에 적용하여 Zc는 카메라 좌표계 상의 눈 위치에 대한 깊이값을 계산하고, 계산된 깊이값을 [수학식 3] 및 [수학식 4]에 적용하여 카메라 좌표계 상의 눈 위치에 대한 x, y 좌표값을 계산할 수 있다.
Figure 112016073204669-pat00003
Figure 112016073204669-pat00004
[수학식 3] 및 [수학식 4]에서, Xc, Yc, Zc는 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값, xi, yi는 영상 좌표계 상에서 u, v의 변환 좌표값을 의미하며, f는 초점거리를 의미한다.
이와 같이, 눈 위치 추정부(160)는 [수학식 2] 내지 [수학식 4]를 이용하여 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값을 계산할 수 있으며, 계산된 좌표값을 아래 [수학식 5] 내지 [수학식 7]을 이용하여 차량 좌표계 상의 눈 위치에 대한 3축 좌표값으로 변환할 수 있다.
Figure 112016073204669-pat00005
Figure 112016073204669-pat00006
Figure 112016073204669-pat00007
[수학식 5] 내지 [수학식 7]에서, Xv, Yv, Zv는 차량 좌표계 상의 눈 위치에 대한 3축 좌표값, Xc, Yc, Zc는 카메라 좌표계 상의 눈 위치에 대한 3축 좌표값을 의미하며, θ는 차량(10) 바닥면의 일 지점을 기준으로 차량(10) 바닥면과 카메라(130)가 이루는 각도를 의미한다.
이와 같이, 눈 위치 추정부(160)는 [수학식 1] 내지 [수학식 7]을 이용하여 영상 좌표계 상의 2차원 눈 위치 좌표를 차량 좌표계 상의 3차원 눈 위치 좌표로 변환하게 된다.
한편, [수학식 2]에서는 운전자의 실제 눈 사이 거리를 미리 정해진 눈 사이 거리 기준값, 예를 들어, 6.5cm인 것으로 가정하여 카메라 좌표계 상의 눈 위치에 대한 깊이값을 계산하였다.
만일, 운전자의 실제 눈 사이 거리가 미리 정해진 눈 사이 거리 기준값 보다 먼 경우, [수학식 2]에 의해 산출되는 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc는 운전자의 현재 위치보가 작은 값으로 산출될 수 있다. 또한, 운전자의 실제 눈 사이 거리가 미리 정해진 눈 사이 거리 기준값 보다 가까운 경우, [수학식 2]에 의해 산출되는 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc는 운전자의 현재 위치보가 큰 값으로 산출될 수 있다.
한편, 도 6에 도시된 바와 같이, 운전자가 기준 위치(M)에 위치해 있는 상태에서 위치 1(M1)에 위치한 것으로 추정되는 경우, 운전자의 정면 얼굴로부터 측정된 눈 위치 표준편차는 기준 위치(M)을 기준으로 측정된 눈 위치 표준편차보다 크게 추정될 수 있다. 또한, 운전자가 기준 위치(M)에 위치해 있는 상태에서 위치 2(M2)에 위치한 것으로 추정되는 경우, 운전자의 정면 얼굴로부터 측정된 눈 위치 표준편차는 기준 위치(M)를 기준으로 측정된 눈 위치 표준편차보다 크게 추정될 수 있다.
상술한 정보를 이용하여, 눈 위치 보정부(170)는 운전자의 정면 얼굴 영상에서의 눈 위치 표준분포를 이용하여 앞서 눈 위치 추정부(160)에서 추정한 운전자의 눈 사이 거리를 보정한다.
우선, 눈 위치 보정부(170)는 정해진 시간 동안 정면 얼굴에 대한 차량 좌표계 기준 눈 위치 좌표값 (Xv, Yv, Zv)의 표준편차 (XSTD, YSTD, ZSTD)를 측정하도록 한다.
여기서, 운전자의 눈 사이 거리가 눈 사이 거리 기준값(W) 보다 큰 경우, 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc가 현재 위치보다 작게 측정되어 눈 위치 좌표값의 표준편차가 크게 측정된다. 한편, 운전자의 눈 사이 거리가 눈 사이 거리 기준값(W) 보다 작은 경우에는, 카메라 좌표계 상의 눈 위치에 대한 깊이값 Zc가 현재 위치보다 크게 측정되어 눈 위치 좌표값의 표준편차가 작게 측정된다.
따라서, 눈 위치 보정부(170)는 눈 위치 표준편차의 차이값에 기초하여 운전자의 눈 사이 거리 오차를 보정하도록 한다. 이때, 눈 위치 보정부(170)는 [수학식 8]을 이용하여 운전자의 눈 사이 거리 오차를 보정할 수 있다.
Figure 112016073204669-pat00008
[수학식 8]에서, W(t+1)은 오차 보정된 운전자의 눈 사이 거리, W(t)는 오차 보정 전 운전자의 눈 사이 거리를 의미하며, XSTD는 추정된 현재 위치에서 차량 좌표계 상 눈 위치의 x 좌표값, XREF_STD는 기준 위치에서 차량 좌표계 상 눈 위치의 x 좌표값을 의미한다. 이때, ∝는 비례기호로서, 눈 위치 보정부(170)는 XSTD와 XREF_STD의 차이값에 비례하여 운전자의 눈 사이 거리 기준값(W)을 보정한다.
운전자세 제어부(180)는 눈 위치 보정부(170)에 의해 보정된 최종 눈 위치 정보에 근거하여 운전자의 앉은 키를 추정한다. 이때, 운전자세 제어부(180)는 운전자의 최종 눈 위치로부터 추정된 운전자의 앉은 키 정보에 근거하여 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등과 같은 조절유닛에 대한 위치 및/또는 각도 등의 운전자세 제어값을 설정할 수 있다.
운전자세 제어부(180)는 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 등에 대해 설정된 운전자세 제어값을 차량(10)의 구동유닛으로 제공할 수 있다. 따라서, 차량(10)의 구동유닛은 운전자세 제어부(180)로부터 제공된 자세정보에 근거하여 해당 구동유닛에 연결된 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 적어도 하나의 위치 및/또는 각도를 조절한다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 차량의 운전자세 제어 방법에 대한 동작 흐름을 도시한 도면이다.
먼저, 도 7은 차량 시동 시에 운전자세를 제어하는 동작을 나타낸 것이다. 도 7을 참조하면, 운전자세 제어 장치(100)는 차량(10)이 시동 온 되면(S110), 카메라(130)를 통해 차량(10)에 탑승한 운전자의 얼굴 영상을 촬영한다(S120). 이때, 운전자세 제어 장치(100)는 'S120' 과정에서 촬영한 운전자의 얼굴 영상으로부터 2차원 영상 좌표계의 눈 위치 좌표를 계산할 수 있다.
운전자세 제어 장치(100)는 계산된 눈 위치 좌표를 이용하여 얼굴 영상 내 운전자의 눈 사이 거리를 추정할 수 있다(S130). 또한, 운전자세 제어 장치(100)는 'S130' 과정에서 실제 운전자의 눈 사이 거리를 추정할 수도 있다. 이 경우, 운전자세 제어 장치(100)는 미리 정의된 성인 평균 눈 사이 거리인 눈 사이 거리 기준값을 실제 운전자의 눈 사이 거리로 추정할 수 있다.
'S130' 과정에서 얼굴 영상 내 운전자의 눈 사이 거리 및 실제 운전자의 눈 사이 거리가 추정되면, 얼굴 영상으로부터 획득한 2차원 영상 좌표계의 눈 위치 좌표를 3차원 차량 좌표계의 좌표값으로 변환한다(S140).
'S140' 과정에서, 운전자세 제어 장치(100)는 좌표값 변환을 위해 우선 2차원 영상 좌표계의 눈 위치 좌표를 3차원 카메라 좌표계의 좌표값으로 변환하고, 다시 3차원 카메라 좌표계의 좌표값을 차량 좌표계의 좌표값으로 변환할 수 있다.
이때, 운전자세 제어 장치(100)는 앞서 서술한 [수학식 1] 내지 [수학식 7]을 참조하여 2차원 영상 좌표계의 눈 위치 좌표를 3차원 차량 좌표계의 좌표값으로 변환할 수 있다.
3차원 차량 좌표계의 좌표값으로 변환한 후, 운전자세 제어 장치(100)는 운전자의 정면 얼굴 영상의 눈 위치 표준분포를 이용하여 눈 사이 거리를 보정할 수 있다(S150).
'S150' 과정에서, 운전자세 제어 장치(100)는'S140' 과정에서 변환된 좌표값을 기준으로 눈 위치 표준편차를 측정하고, 변환된 좌표값을 기준으로 눈 위치 표준편차와 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값을 이용하여 실제 운전자의 눈 사이 거리를 보정할 수 있다.
'S150' 과정은 변환된 좌표값을 기준으로 눈 위치 표준편차와 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값이 기준치 이하가 될 때까지 반복하여 수행될 수 있다.
따라서, 운전자세 제어 장치(100)는 'S150' 과정에서 보정된 눈 사이 거리를 이용하여 운전자의 최종 눈 위치를 추정할 수 있다(S160).
한편, 차량(10)이 운전자세 제어 모드로 진입하는 경우(S170), 운전자에 의해 운전자 정보가 입력될 수 있다(S180). 여기서, 운전자 정보는 키 정보, 몸무게 정보 등이 해당될 수 있다.
이때, 운전자세 제어 장치(100)는 'S180' 과정에서 입력된 운전자 정보 및 'S160' 과정에서 추정된 운전자의 눈 위치 정보에 기초하여 운전자의 앉은 키를 추정하고(S190), 'S190' 과정에서 추정된 운전자의 앉은 키에 근거하여 운전자세 제어값을 설정한다(S200). 'S200' 과정에서, 운전자세 제어값은 차량(10)의 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 하나 이상에 대한 위치, 각도 등이 해당될 수 있다.
따라서, 차량(10)의 구동유닛은 'S200' 과정에서 설정된 운전자세 제어값에 따라 시트, 사이드미러, 룸미러, 헤드레스트 및 헤드업디스플레이(HUD) 중 하나 이상의 위치, 각도 등을 제어할 수 있다(S210).
만일, 'S170' 과정에서 차량(10)이 운전자세 제어 모드로 진입하지 않은 경우에는 미리 설정된 운전자세 디폴트 값을 유지할 수 있다.
도 8은 차량 주행 중 헤드업디스플레이의 운전자세를 제어하는 동작의 흐름을 나타낸 것이다. 도 8을 참조하면, 운전자세 제어 장치(100)는 차량(10)이 주행 중인 경우(S310), 도 7의 'S120' 내지'S160' 과정을 거쳐 운전자의 눈 위치를 추정할 수 있다(S320).
이때, 운전자세 제어 장치(100)는 'S320' 과정에서 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도를 비교한다(S330). 이 경우, 운전자세 제어 장치(100)는 통신부(140)를 통해 현재 설정된 헤드업디스플레이(HUD)의 틸트 각도 정보를 수신하여 확인할 수 있다.
'S330' 과정의 비교 결과, 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도의 차이값이 미리 설정된 기준치를 초과하지 않으면(S340), 운전자세 제어 장치(100)는 현재의 헤드업디스플레이(HUD)의 각도를 유지하며 'S310' 내지 'S340' 과정을 반복하여 수행한다.
반면, 'S330' 과정의 비교 결과, 추정된 눈 위치를 기반으로 하는 HUD 틸트 각도와 현재의 HUD 틸트 각도의 차이값이 미리 설정된 기준치를 초과하면(S340), 운전자세 제어 장치(100)는 현재의 HUD 틸트 각도와 운전자의 눈 위치에 기초하여 헤드업디스플레이(HUD)의 틸트 각도를 설정한다(S350). 이때, 운전자세 제어 장치(100)는 'S350' 과정에서 설정된 헤드업디스플레이(HUD)의 틸트 각도 정보를 차량(10)의 구동유닛으로 제공한다. 따라서, 차량(10)의 구동유닛은 운전자세 제어 장치(100)에 의해 설정된 틸트 각도에 따라 헤드업디스플레이(HUD)를 조정할 수 있다(S360).
도 9는 차량 주행 중 헤드레스트의 운전자세를 제어하는 동작의 흐름을 나타낸 것이다. 도 9를 참조하면, 운전자세 제어 장치(100)는 차량(10)이 주행 중인 경우(S410), 도 7의 'S120' 내지'S160' 과정을 거쳐 운전자의 눈 위치를 추정할 수 있다(S420).
이때, 운전자세 제어 장치(100)는 카메라(130)에 의해 촬영되는 얼굴 영상으로부터 추정된 눈 위치를 기반으로 차량(10)의 헤드레스트의 상대 위치값을 계산하도록 한다(S430). 이 경우, 운전자세 제어 장치(100)는 통신부(140)를 통해 헤드레스트의 위치 정보를 수신하여 확인할 수 있다. 'S430' 과정에서, 운전자세 제어 장치(100)는 'S420' 과정에서 추정된 운전자의 눈 위치 정보와 헤드레스트의 위치 정보를 비교하여 상대 위치값을 계산할 수 있다.
만일, 'S430' 과정에서 확인된 상대 위치값이 미리 설정된 기준치(β)를 초과하지 않으면(S440), 운전자세 제어 장치(100)는 현재의 헤드레스트 위치를 유지하며 'S410' 내지 'S440' 과정을 반복하여 수행한다.
반면, 'S430' 과정에서 확인된 상대 위치값이 미리 설정된 기준치(β)를 초과하면(S440), 운전자세 제어 장치(100)는 현재의 헤드레스트 위치와 운전자의 눈 위치에 기초하여 헤드레스트의 이동량을 설정한다(S450). 이때, 운전자세 제어 장치(100)는 'S450' 과정에서 설정된 헤드레스트의 이동량 정보를 차량(10)의 구동유닛으로 제공한다. 따라서, 차량(10)의 구동유닛은 운전자세 제어 장치(100)에 의해 설정된 이동량에 따라 헤드레스트를 이동시킬 수 있다(S460).
상기의 과정들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체, 즉, 메모리 및/또는 스토리지에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량 100: 운전자세 제어 장치
110: 제어부 120: 인터페이스부
130: 카메라 140: 통신부
150: 저장부 160: 눈 위치 추정부
170: 눈 위치 보정부 180: 운전자세 제어부

Claims (20)

  1. 운전자의 눈 사이 거리값을 추정하며, 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 추출된 2차원의 눈 위치 좌표를 상기 추정된 운전자의 눈 사이 거리값을 이용하여 3차원 좌표로 변환하고 상기 변환된 3차원 좌표로부터 상기 운전자의 눈 위치를 추정하는 눈 위치 추정부;
    상기 운전자의 얼굴 영상에서의 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 눈 위치 보정부; 및
    상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 운전자세 제어부
    를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  2. 청구항 1에 있어서,
    상기 눈 위치 추정부는,
    2차원 영상 좌표계 상의 눈 위치 좌표값을 3차원 카메라 좌표계 상의 좌표값으로 변환하고, 상기 변환된 3차원 카메라 좌표계 상의 좌표값을 차량 좌표계 상의 좌표값으로 변환하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  3. 청구항 2에 있어서,
    상기 눈 위치 추정부는,
    상기 운전자의 눈 사이 거리 기준값, 상기 얼굴 영상 내 운전자의 눈 사이 거리값 및 카메라의 초점 거리값을 이용하여 상기 3차원 카메라 좌표계 상의 눈 위치에 대한 깊이 정보를 추정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  4. 청구항 3에 있어서,
    상기 눈 위치 추정부는,
    상기 2차원 영상 좌표계 상의 눈 위치 좌표값에 상기 추정된 깊이 정보 및 상기 카메라의 초점 거리값을 적용하여 3차원 카메라 좌표계 상의 좌표값으로 변환하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  5. 청구항 2에 있어서,
    상기 눈 위치 보정부는,
    현재 위치에서 촬영된 얼굴 영상에서 상기 변환된 차량 좌표계 상의 좌표값을 기준으로 하는 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차를 비교하고, 각 눈 위치 표준편차 간 차이값을 이용하여 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  6. 청구항 5에 있어서,
    상기 눈 위치 보정부는,
    현재 위치에서 촬영된 얼굴 영상에 대한 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차 간 차이값이 미리 정의된 기준치 이하가 될 때까지 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  7. 청구항 1에 있어서,
    상기 운전자세 제어부는,
    상기 보정된 운전자의 눈 위치를 기반으로 상기 운전자의 앉은 키를 추정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  8. 청구항 1에 있어서,
    상기 운전자세 제어부는,
    상기 차량의 시동 온 시에 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 시트, 사이드미러, 룸미러, 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  9. 청구항 1에 있어서,
    상기 운전자세 제어부는,
    상기 차량의 주행 상태에서 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  10. 청구항 9에 있어서,
    상기 운전자세 제어부는,
    상기 보정된 운전자의 눈 위치를 기반으로 하는 상기 헤드업디스플레이의 틸트 각도와 현재 설정된 헤드업디스플레이의 틸트 각도 간 차이값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드업디스플레이의 틸트 각도와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드업디스플레이의 틸트 각도를 재설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  11. 청구항 9에 있어서,
    상기 운전자세 제어부는,
    상기 보정된 운전자의 눈 위치를 기반으로 하는 헤드레스트의 위치와 현재 설정된 헤드레스트의 위치 간 상대 위치값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드레스트의 위치와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드레스트의 이동량을 설정하는 것을 특징으로 하는 차량의 운전자세 제어 장치.
  12. 카메라에 의해 촬영된 운전자의 얼굴 영상으로부터 2차원의 눈 위치 좌표를 추출하여 3차원 좌표로 변환하고 상기 운전자의 눈 사이 거리값을 추정하여 상기 변환된 3차원 좌표 및 상기 운전자의 눈 사이 거리값으로부터 상기 운전자의 눈 위치를 추정하는 단계;
    상기 운전자의 얼굴 영상에서의 눈 위치 표준분포를 이용하여 상기 운전자의 눈 사이 거리값을 보정하고 상기 보정된 운전자의 눈 사이 거리값을 이용하여 상기 운전자의 눈 위치를 보정하는 단계; 및
    상기 보정된 운전자의 눈 위치를 기반으로 하여 상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계
    를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  13. 청구항 12에 있어서,
    상기 운전자의 눈 위치를 추정하는 단계는,
    상기 운전자의 눈 사이 거리 기준값, 상기 얼굴 영상 내 운전자의 눈 사이 거리값 및 카메라의 초점 거리값을 이용하여 3차원 카메라 좌표계 상의 눈 위치에 대한 깊이 정보를 추정하는 단계;
    2차원 영상 좌표계 상의 눈 위치 좌표값에 상기 추정된 깊이 정보 및 상기 카메라의 초점 거리값을 적용하여 상기 2차원 영상 좌표계 상의 눈 위치 좌표값을 3차원 카메라 좌표계 상의 좌표값으로 변환하는 단계; 및
    상기 변환된 3차원 카메라 좌표계 상의 좌표값을 차량 좌표계 상의 좌표값으로 변환하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  14. 청구항 12에 있어서,
    상기 운전자의 눈 위치를 보정하는 단계는,
    현재 위치에서 촬영된 얼굴 영상에서 상기 변환된 차량 좌표계 상의 좌표값을 기준으로 하는 눈 위치 표준편차 및 미리 정해진 기준 위치에서의 눈 위치 표준편차를 비교하는 단계를 포함하고,
    각 눈 위치 표준편차 간 차이값을 이용하여 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  15. 청구항 14에 있어서,
    상기 운전자의 눈 위치를 보정하는 단계는,
    상기 각 눈 위치 표준편차 간 차이값이 미리 정의된 기준치 이하가 될 때까지 상기 운전자의 눈 사이 거리값을 보정하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  16. 청구항 12에 있어서,
    상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
    상기 보정된 운전자의 눈 위치를 기반으로 상기 운전자의 앉은 키를 추정하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  17. 청구항 12에 있어서,
    상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
    상기 차량의 시동 온 시에 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 시트, 사이드미러, 룸미러, 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  18. 청구항 12에 있어서,
    상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
    상기 차량의 주행 상태에서 상기 보정된 운전자의 눈 위치를 기반으로 상기 차량의 헤드레스트(headrest) 및 헤드업디스플레이(Head-UP-Display, HUD) 중 하나 이상에 대한 위치 또는 각도를 설정하는 단계를 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  19. 청구항 18에 있어서,
    상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
    상기 보정된 운전자의 눈 위치를 기반으로 하는 상기 헤드업디스플레이의 틸트 각도와 현재 설정된 헤드업디스플레이의 틸트 각도 간 차이값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드업디스플레이의 틸트 각도와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드업디스플레이의 틸트 각도를 재설정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
  20. 청구항 18에 있어서,
    상기 운전자에 대한 차량의 운전자세 제어값을 설정하는 단계는,
    상기 보정된 운전자의 눈 위치를 기반으로 하는 헤드레스트의 위치와 현재 설정된 헤드레스트의 위치 간 상대 위치값이 미리 설정된 기준치를 초과하면, 상기 현재 설정된 헤드레스트의 위치와 상기 보정된 운전자의 눈 위치에 기초하여 상기 헤드레스트의 이동량을 설정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 운전자세 제어 방법.
KR1020160095646A 2016-07-27 2016-07-27 차량의 운전자세 제어 장치 및 방법 KR102429480B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160095646A KR102429480B1 (ko) 2016-07-27 2016-07-27 차량의 운전자세 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095646A KR102429480B1 (ko) 2016-07-27 2016-07-27 차량의 운전자세 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180012603A KR20180012603A (ko) 2018-02-06
KR102429480B1 true KR102429480B1 (ko) 2022-08-05

Family

ID=61228034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095646A KR102429480B1 (ko) 2016-07-27 2016-07-27 차량의 운전자세 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102429480B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109774728B (zh) * 2018-12-26 2020-11-24 东风汽车集团有限公司 基于不同驾驶员身高的外后视镜自适应位置调节方法
KR102199809B1 (ko) * 2019-03-01 2021-01-07 한양대학교 에리카산학협력단 상반신 이미지 기반 차량 시트 제어 방법 및 장치
KR102135305B1 (ko) * 2019-07-29 2020-07-17 동명대학교산학협력단 운전자의 눈의 위치를 이용한 차량의 백미러 자동 조절 방법 및 그 장치
KR102382387B1 (ko) * 2020-08-25 2022-04-05 주식회사 유라코퍼레이션 운전자세 기반의 차량용 미러 제어 시스템 및 방법
CN112733633B (zh) * 2020-12-28 2023-07-28 中国农业大学 一种大功率轮式拖拉机驾驶员眼睛位置预测方法
CN113127980B (zh) * 2021-04-28 2023-08-11 安徽江淮汽车集团股份有限公司 驾驶员眼椭球模型生成方法、装置、设备及存储介质
CN114132259A (zh) * 2021-12-10 2022-03-04 东南大学 一种汽车外后视镜调节方法、装置及汽车
CN115195548A (zh) * 2022-07-04 2022-10-18 上海中联重科桩工机械有限公司 座椅调整方法及座椅调整装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0725271A (ja) * 1993-07-12 1995-01-27 Mazda Motor Corp 自動車の機器調整装置
KR101520472B1 (ko) * 2013-10-18 2015-05-19 포항공과대학교 산학협력단 눈 위치 보정을 위한 차량 좌석 조절 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统

Also Published As

Publication number Publication date
KR20180012603A (ko) 2018-02-06

Similar Documents

Publication Publication Date Title
KR102429480B1 (ko) 차량의 운전자세 제어 장치 및 방법
EP3110662B1 (en) Vehicle mirror adjustment
US10976545B2 (en) Display device and adjustment method
JP5874920B2 (ja) 車両周囲確認用モニター装置
WO2010035472A1 (ja) 視線方向判定装置及び視線方向判定方法
US20140118705A1 (en) Projection display device, information processing device, projection display system, and program
WO2016190135A1 (ja) 車両用表示システム
JP6739672B2 (ja) 体格推定装置および体格推定方法
EP3545818A1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
JP6669182B2 (ja) 乗員監視装置
JP6342874B2 (ja) 画像認識装置
US10866423B2 (en) Method and device for operating a display system comprising a head-mounted display
JP2009279949A (ja) 車載ミラー制御装置、車載ミラーシステム
JP5813243B2 (ja) 表示装置
US9330319B2 (en) Apparatus for compensating camera image and operating method thereof
JP6384138B2 (ja) 車両用表示装置
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
KR102540918B1 (ko) 차량의 사용자 영상 처리 장치 및 그 방법
CN104228688B (zh) 调整后视镜的方法及使用该方法的电子装置
JP2009287936A (ja) 運転者眼球位置検出装置
JP2016185768A (ja) 車両用表示システム
JP6813437B2 (ja) 表示システム
KR20160051314A (ko) 주차 가이드 조절 방법
WO2018193579A1 (ja) 画像認識装置
WO2023054307A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant