KR102263725B1 - 주행 정보 제공 장치 및 주행 정보 제공 방법 - Google Patents

주행 정보 제공 장치 및 주행 정보 제공 방법 Download PDF

Info

Publication number
KR102263725B1
KR102263725B1 KR1020140163771A KR20140163771A KR102263725B1 KR 102263725 B1 KR102263725 B1 KR 102263725B1 KR 1020140163771 A KR1020140163771 A KR 1020140163771A KR 20140163771 A KR20140163771 A KR 20140163771A KR 102263725 B1 KR102263725 B1 KR 102263725B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
outputting
information
viewpoint
Prior art date
Application number
KR1020140163771A
Other languages
English (en)
Other versions
KR20160061187A (ko
Inventor
이형구
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140163771A priority Critical patent/KR102263725B1/ko
Priority to CN201510783558.6A priority patent/CN105620364A/zh
Priority to US14/947,179 priority patent/US10124729B2/en
Publication of KR20160061187A publication Critical patent/KR20160061187A/ko
Application granted granted Critical
Publication of KR102263725B1 publication Critical patent/KR102263725B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 차량의 운전자가 상기 차량 외부를 바라보는 시점 위치를 출력하는 운전자시선감지부, 상기 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력하는 깊이정보산출부 및 상기 차량 운전자의 시점 위치 및 상기 3차원 뎁스 정보를 고려하여 상기 차량의 운전자에게 상기 차량 일방 영상을 출력하는 영상출력부를 포함하는 주행 정보 제공 장치에 관한 것이다.

Description

주행 정보 제공 장치 및 주행 정보 제공 방법{Method and apparatus for providing driving information}
본 발명은 주행 정보 제공 장치 및 주행 정보 제공 방법에 관한 것으로, 보다 상세하게는 차량 내부의 카메라로 운전자의 시선 위치를 출력하고, 라이트필드카메라(Lightfield Camera)로 차량 일방 영상을 출력하여, 운전자의 시선 위치에 따른 차량 일방 영상, 교통 정보 및 네비게이션 정보를 차량 운전자에게 제공하는 주행 정보 제공 장치 및 주행 정보 제공 방법에 관한 것이다.
최근 차량 일방 영상을 획득하고 분석하여 차량 운전자에게 제공하는 기술이 많은 차량에 채택되고 있다. 그런데 차량 일방 영상은 어느 한 초점에 해당하는 영상만을 출력하므로 차량 운전자에게 제공하는 정보에 제한이 있다.
최근에는 운전자의 시선 위치를 검출하고 이에 따른 차량 영상 및 주행 정보를 차량 운전자에게 제공하는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 차량 내부의 카메라로 운전자의 시선 위치를 출력하고, 라이트필드카메라로 차량 일방 영상을 출력하여, 운전자의 시선 위치에 따른 차량 일방 영상, 교통 정보 및 네비게이션 정보를 차량 운전자에게 제공하는 주행 정보 제공 장치 및 주행 정보 제공 방법을 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 주행 정보 제공 장치는, 차량의 운전자가 상기 차량 외부를 바라보는 시점 위치를 출력하는 운전자시선감지부, 상기 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력하는 깊이정보산출부 및 상기 차량 운전자의 시점 위치 및 상기 3차원 뎁스 정보를 고려하여 상기 차량의 운전자에게 상기 차량 일방 영상을 출력하는 영상출력부를 포함한다.
상기 운전자시선감지부는 상기 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력한다.
상기 운전자시선감지부는 상기 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력한다.
상기 깊이정보산출부는 상기 운전자가 상기 차량 외부를 바라보는 시점 위치에 따른 상기 차량의 일방 영상에서 3차원 뎁스 정보를 출력한다.
상기 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 출력하는 주행정보제공부를 더 포함한다.
상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 주행 정보 제공 방법은, 차량의 운전자가 상기 차량 외부를 바라보는 시점 위치를 출력하는 단계, 상기 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력하는 단계 및 상기 차량 운전자의 시점 위치 및 상기 3차원 뎁스 정보를 고려하여 상기 차량의 운전자에게 상기 차량 일방 영상을 출력하는 단계를 포함한다.
상기 운전자 시점 위치 출력 단계는 상기 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력한다.
상기 운전자 시점 위치 출력 단계는 상기 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력한다.
상기 3차원 뎁스 정보 출력 단계는 상기 운전자가 상기 차량 외부를 바라보는 시점 위치에 따른 상기 차량의 일방 영상에서 3차원 뎁스 정보를 출력한다.
상기 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 출력하는 단계를 더 포함한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 주행 정보 제공 장치 및 주행 정보 제공 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　운전자시선감지부가 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 운전자의 외부를 바라보는 시점 위치를 출력하는 통계적인 방법을 적용함으로써 실시간으로 변화하는 운전자의 시선 위치를 바른 속도로 연산하는 장점이 있다.
둘째,　영상출력부가 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 차량의 운전자에게 차량 일방 영상을 출력함으로써 차량 운전자가 직접 볼 수 없는 차량 일방 영상을 차량 운전자에게 명확하게 보여주는 장점도 있다.
셋째,　주행정보제공부가 차량 운전자의 시점 위치 및 3차원 뎁스(depth) 정보를 고려하여 교통 정보 및 네비게이션 정보를 출력함으로써 기존에 일정한 초점에 맞춰진 영상에서 제공할 수 없었던 다양한 교통 정보 및 네비게이션 정보를 운전자에게 제공하는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 주행 정보 제공 장치의 구성을 도시한 구성도이다.
도 2는 도 1에 도시한 구성에 의한 주행 정보 제공 방법의 제어 흐름을 도시한 제어 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시례들에 의하여 주행 정보 제공 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시례에 따른 주행 정보 제공 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 주행 정보 제공 장치는 카메라(100), 운전자시선감지부(200), 라이트필드카메라(100), 깊이정보산출부(400), 영상출력부(500) 및 주행정보제공부(600)를 포함한다.
카메라(100)는 차량 내부에 설치된다. 카메라(100)는 차량의 운전자의 눈을 촬영한다. 카메라(100)는 운전자의 눈을 촬영한 영상을 운전자시선감지부(200)에 출력한다.
운전자시선감지부(200)는 차량의 운전자가 차량 외부를 바라보는 시점 위치를 출력한다. 운전자시선감지부(200) 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 운전자의 외부를 바라보는 시점 위치를 출력한다. 운전자시선감지부는 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 운전자의 외부를 바라보는 시점 위치를 출력한다.
운전자시선감지부(200)는 운전자의 눈을 촬영한 영상에서 운전자의 눈이 상하좌우로 움직이는 것을 감지한다. 운전자시선감지부(200)는 운전자의 눈을 촬영한 영상의 좌표에서 관심 영역(region of interest)를 설정하여 운전자 얼굴의 특징을 검출한다. 운전자시선감지부(200)는 운전자의 머리, 코 및 입을 검출하여 운전자의 눈을 검출할 수 있다. 운전자시선감지부(200)는 검출한 운전자의 눈에서 눈동자의 움직임을 추적한다. 운전자시선감지부(200)는 눈동자의 영상 좌표를 설정하여 눈동자가 움직이는 방향을 검출한다. 운전자시선감지부(200)는 운전자의 눈을 촬영한 영상에서 운전자의 눈이 상하좌우로 움직이는 방향의 빈도를 카운트한다.
라이트필드카메라(300)는 차량 일방을 촬영하여 차량 일방 영상 정보를 깊이정보산출부(400)에 출력한다. 라이트필드카메라(300)의 차량 일방 영상 정보는 차량 일방 영상의 모든 초점에 따른 차량 일방 영상의 RGB값을 포함한다.
깊이정보산출부(400)는 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력한다. 깊이정보산출부(400)는 운전자가 차량 외부를 바라보는 시점 위치에 따른 차량의 일방 영상에서 3차원 뎁스 정보를 출력한다.
깊이정보산출부(400)는 베이어(Bayer) 방식의 차량 일방 영상을 RGB 방식으로 변환한다. 깊이정보산출부(400)는 차량 일방 영상의 모든 픽셀(pixel)에서 모든 초점의 영상을 출력할 수 있다. 깊이정보산출부(400)는 모든 초점에 따른 차량 일방 영상에서 물체의 3차원 뎁스 정보를 추출하여 출력한다.
영상출력부(500)는 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 차량의 운전자에게 차량 일방 영상을 출력한다. 영상출력부(500)는 운전자시선감지부(200)가 출력한 차량 운전자의 시점 위치를 수신한다. 영상출력부(500)는 운전자시선감지부(200)가 실시간으로 연속적으로 출력하는 운전자의 눈의 시선 위치를 수신할 수도 있다. 영상출력부(500)는 차량 운전자의 눈의 시선 위치에 따른 영상 좌표를 차량 일방 영상의 3 차원 뎁스 정보를 계산한다. 영상출력부(500)는 차량 운전자의 눈의 시선 위치에 대응되는 차량 일방 영상을 출력한다. 영상출력부(500)는 차량의 운전자가 시력의 한계 및 방해로 인해 사각지대가 있는 영역을 라이트필드카메라(300)가 촬영한 명확한 차량 일방 영상을 차량의 운전자의 시선 위치에 따라 출력한다.
주행정보제공부(600)는 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 제공한다. 주행정보제공부(600)는 차량 운전자의 시점 위치에 교통 정보 즉, 차선 정보, 교통 표지 정보 등이 있으면 차량 운전자에게 음향이나 화면으로 출력하여 보여준다. 주행정보제공부(600)는 차량 운전자의 시점 위치에 랜드마크(landmark) 또는 지형이 존재하면 네비게이션과 연동하여 랜드마크 또는 지형의 위치 또는 도달 주행 시간을 운전자에게 음향이나 화면으로 알려줄 수 있다. 일실시례에 따른 주행정보제공부(600)는 차량 운전자의 시점 위치가 도로면이면 눈이나 비 등의 기상 상태로 인한 도로의 상태 변화를 차량 운전자에게 알려줄 수도 있다. 주행정보제공부(600)가 도로의 상태 변화를 검출하기 위해 도로면의 반사도를 측정하는 방법을 이용할 수 있다.
상기와 같이 구성되는 본 발명에 따른 주행 정보 제공 방법의 작용을 설명하면 다음과 같다
도 2는 도 1에 도시한 구성에 의한 주행 정보 제공 방법의 제어 흐름을 도시한 제어 흐름도이다.
카메라(100)는 차량 내부에 설치된다. 카메라(100)는 차량의 운전자의 눈을 촬영한다. 카메라(100)는 운전자의 눈을 촬영한 영상을 운전자시선감지부(200)에 출력한다(S100).
운전자시선감지부(200)는 차량의 운전자가 차량 외부를 바라보는 시점 위치를 출력한다(S110). 운전자시선감지부(200) 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 운전자의 외부를 바라보는 시점 위치를 출력한다. 운전자시선감지부는 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 운전자의 외부를 바라보는 시점 위치를 출력한다.
운전자시선감지부(200)는 운전자의 눈을 촬영한 영상에서 운전자의 눈이 상하좌우로 움직이는 것을 감지한다. 운전자시선감지부(200)는 운전자의 눈을 촬영한 영상의 좌표에서 관심 영역(region of interest)를 설정하여 운전자 얼굴의 특징을 검출한다. 운전자시선감지부(200)는 운전자의 머리, 코 및 입을 검출하여 운전자의 눈을 검출할 수 있다. 운전자시선감지부(200)는 검출한 운전자의 눈에서 눈동자의 움직임을 추적한다. 운전자시선감지부(200)는 눈동자의 영상 좌표를 설정하여 눈동자가 움직이는 방향을 검출한다. 운전자시선감지부(200)는 운전자의 눈을 촬영한 영상에서 운전자의 눈이 상하좌우로 움직이는 방향의 빈도를 카운트한다.
라이트필드카메라(300)는 차량 일방을 촬영하여 차량 일방 영상 정보를 깊이정보산출부(400)에 출력한다(S120).
깊이정보산출부(400)는 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력한다(S130). 깊이정보산출부(400)는 운전자가 차량 외부를 바라보는 시점 위치에 따른 차량의 일방 영상에서 3차원 뎁스 정보를 출력한다(S130). 깊이정보산출부(400)는 베이어(Bayer) 방식의 차량 일방 영상을 RGB 방식으로 변환한다. 깊이정보산출부(400)는 차량 일방 영상의 모든 픽셀(pixel)에서 모든 초점의 영상을 출력할 수 있다. 깊이정보산출부(400)는 모든 초점에 따른 차량 일방 영상에서 물체의 3차원 뎁스 정보를 추출하여 출력한다.
영상출력부(500)는 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 차량의 운전자에게 차량 일방 영상을 출력한다(S140). 영상출력부(500)는 운전자시선감지부(200)가 출력한 차량 운전자의 시점 위치를 수신한다. 영상출력부(500)는 운전자시선감지부(200)가 실시간으로 연속적으로 출력하는 운전자의 눈의 시선 위치를 수신할 수도 있다. 영상출력부(500)는 차량 운전자의 눈의 시선 위치에 따른 영상 좌표를 차량 일방 영상의 3 차원 뎁스 정보를 계산한다. 영상출력부(500)는 차량 운전자의 눈의 시선 위치에 대응되는 차량 일방 영상을 출력한다. 영상출력부(500)는 차량의 운전자가 시력의 한계 및 방해로 인해 사각지대가 있는 영역을 라이트필드카메라(300)가 촬영한 명확한 차량 일방 영상을 차량의 운전자의 시선 위치에 따라 출력한다.
주행정보제공부(600)는 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 제공한다(S150). 주행정보제공부(600)는 차량 운전자의 시점 위치에 교통 정보 즉, 차선 정보, 교통 표지 정보 등이 있으면 차량 운전자에게 음향이나 화면으로 출력하여 보여준다. 주행정보제공부(600)는 차량 운전자의 시점 위치에 랜드마크(landmark) 또는 지형이 존재하면 네비게이션과 연동하여 랜드마크 또는 지형의 위치 또는 도달 주행 시간을 운전자에게 음향이나 화면으로 알려줄 수 있다. 일실시례에 따른 주행정보제공부(600)는 차량 운전자의 시점 위치가 도로면이면 눈이나 비 등의 기상 상태로 인한 도로의 상태 변화를 차량 운전자에게 알려줄 수도 있다. 주행정보제공부(600)가 도로의 상태 변화를 검출하기 위해 도로면의 반사도를 측정하는 방법을 이용할 수 있다. 주행정보제공부(600)는 위의 S140 단계 및 S 150 단계를 동시에 수핼할 수도 있다.
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 카메라
200 : 운전자시선감지부
300 : 라이트필드카메라
400 : 깊이정보산출부
500 : 영상출력부
600 : 주행정보제공부

Claims (10)

  1. 차량의 운전자가 상기 차량 외부를 바라보는 시점 위치를 출력하는 운전자시선감지부;
    상기 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력하는 깊이정보산출부;
    상기 차량 운전자의 시점 위치 및 상기 3차원 뎁스 정보를 고려하여 상기 차량의 운전자에게 상기 차량 일방 영상을 출력하는 영상출력부; 및
    상기 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 출력하는 주행정보제공부를 포함하고,
    상기 주행정보제공부는 도로면의 반사도를 측정하여 기상 상태에 따른 도로의 상태변화를 상기 차량의 운전자에게 알려주는 것
    인 주행 정보 제공 장치.
  2. 제 1 항에 있어서
    상기 운전자시선감지부는 상기 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력하는 주행 정보 제공 장치.
  3. 제 1 항에 있어서
    상기 운전자시선감지부는 상기 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력하는 주행 정보 제공 장치.
  4. 제 1 항에 있어서
    상기 깊이정보산출부는 상기 운전자가 상기 차량 외부를 바라보는 시점 위치에 따른 상기 차량의 일방 영상에서 3차원 뎁스 정보를 출력하는 주행 정보 제공 장치.
  5. 삭제
  6. 차량의 운전자가 상기 차량 외부를 바라보는 시점 위치를 출력하는 단계;
    상기 차량의 일방 영상 정보에서 3차원 뎁스 정보를 출력하는 단계;
    상기 차량 운전자의 시점 위치 및 상기 3차원 뎁스 정보를 고려하여 상기 차량의 운전자에게 상기 차량 일방 영상을 출력하는 단계; 및
    상기 차량 운전자의 시점 위치 및 3차원 뎁스 정보를 고려하여 교통 정보 및 네비게이션 정보 중 적어도 어느 하나를 출력하되, 도로면의 반사도를 측정하여 기상 상태에 따른 도로의 상태변화를 상기 차량의 운전자에게 알려주는 단계
    를 포함하는 주행 정보 제공 방법.
  7. 제 6 항에 있어서
    상기 운전자 시점 위치 출력 단계는 상기 운전자의 눈동자의 상하좌우 움직임 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력하는 주행 정보 제공 방법.
  8. 제 6 항에 있어서
    상기 운전자 시점 위치 출력 단계는 상기 운전자의 눈동자의 상하좌우 움직임 방향 중 가장 큰 빈도의 방향을 고려하여 상기 운전자의 외부를 바라보는 시점 위치를 출력하는 주행 정보 제공 방법.
  9. 제 6 항에 있어서
    상기 3차원 뎁스 정보 출력 단계는 상기 운전자가 상기 차량 외부를 바라보는 시점 위치에 따른 상기 차량의 일방 영상에서 3차원 뎁스 정보를 출력하는 주행 정보 제공 방법.
  10. 삭제
KR1020140163771A 2014-11-21 2014-11-21 주행 정보 제공 장치 및 주행 정보 제공 방법 KR102263725B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140163771A KR102263725B1 (ko) 2014-11-21 2014-11-21 주행 정보 제공 장치 및 주행 정보 제공 방법
CN201510783558.6A CN105620364A (zh) 2014-11-21 2015-11-16 提供驾驶信息的方法和装置
US14/947,179 US10124729B2 (en) 2014-11-21 2015-11-20 Method and apparatus for providing driving information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140163771A KR102263725B1 (ko) 2014-11-21 2014-11-21 주행 정보 제공 장치 및 주행 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20160061187A KR20160061187A (ko) 2016-05-31
KR102263725B1 true KR102263725B1 (ko) 2021-06-11

Family

ID=56009392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140163771A KR102263725B1 (ko) 2014-11-21 2014-11-21 주행 정보 제공 장치 및 주행 정보 제공 방법

Country Status (3)

Country Link
US (1) US10124729B2 (ko)
KR (1) KR102263725B1 (ko)
CN (1) CN105620364A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的系统和方法
WO2018029789A1 (ja) * 2016-08-09 2018-02-15 日産自動車株式会社 自動運転車両の制御方法及び制御装置
FR3056775B1 (fr) * 2016-09-29 2021-08-20 Valeo Vision Procede de projection d'images par un systeme de projection d'un vehicule automobile, et systeme de projection associe
FR3056490B1 (fr) * 2016-09-29 2018-10-12 Valeo Vision Procede de projection d'une image par un systeme de projection d'un vehicule automobile, et systeme de projection associe
WO2018140134A2 (en) * 2017-01-27 2018-08-02 Massachusetts Institute Of Technology Method and system for localization of a vehicle using surface penetrating radar
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
CN107215332A (zh) * 2017-06-14 2017-09-29 深圳市车米云图科技有限公司 一种安全辅助驾驶系统及控制方法
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN112654546B (zh) * 2020-04-30 2022-08-02 华为技术有限公司 用户感兴趣对象的识别方法以及识别装置
CN112750194A (zh) * 2020-05-15 2021-05-04 奕目(上海)科技有限公司 一种无人驾驶汽车避障方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030006888A1 (en) * 2001-07-06 2003-01-09 Burchette Robert L. Vehicle-mounted mirror-integrated radar system
JP4797588B2 (ja) * 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
CN101883291B (zh) * 2010-06-29 2012-12-19 上海大学 感兴趣区域增强的视点绘制方法
KR20130054830A (ko) * 2011-11-17 2013-05-27 현대자동차주식회사 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
CN103207664B (zh) * 2012-01-16 2016-04-27 联想(北京)有限公司 一种图像处理方法和设备
KR20140036722A (ko) * 2012-09-18 2014-03-26 (주)휴맥스 운전자 시선을 고려한 차량 접근 경보 방법, 장치 및 시스템
KR102028757B1 (ko) * 2012-12-18 2019-10-04 두산인프라코어 주식회사 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
JP5999032B2 (ja) * 2013-06-14 2016-09-28 株式会社デンソー 車載表示装置およびプログラム
US20150054951A1 (en) * 2013-08-22 2015-02-26 Empire Technology Development, Llc Influence of line of sight for driver safety
CN111027420B (zh) * 2013-12-04 2023-10-24 移动眼视力科技有限公司 用于模仿前车的系统和方法
KR20150076627A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템

Also Published As

Publication number Publication date
CN105620364A (zh) 2016-06-01
US10124729B2 (en) 2018-11-13
KR20160061187A (ko) 2016-05-31
US20160144786A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
KR102263725B1 (ko) 주행 정보 제공 장치 및 주행 정보 제공 방법
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP6307895B2 (ja) 車両用周辺監視装置
US10169885B2 (en) Vehicle display system and method of controlling vehicle display system
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
EP3205084B1 (en) Image processing method
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN106467105A (zh) 车道线识别装置
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
RU2013132011A (ru) Устройство помощи при вождении и способ обнаружения транспортного средства рядом с ним
US20160125631A1 (en) Apparatus for dynamically controlling hud (head-up display) information display position
JP6657034B2 (ja) 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
TWI530409B (zh) 自動追蹤防撞警示系統及其方法
TWI522257B (zh) 車用安全系統及其運作方法
RU2014139609A (ru) Устройство обнаружения трехмерных объектов
US9902341B2 (en) Image processing apparatus and image processing method including area setting and perspective conversion
RU2015106690A (ru) Устройство обнаружения капель воды и устройство обнаружения трехмерных объектов с использованием устройства обнаружения капель воды
JP2015232442A (ja) 画像処理装置及び車両前方監視装置
KR101601475B1 (ko) 야간 주행 시 차량의 보행자 검출장치 및 방법
JP2016210212A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
KR102372296B1 (ko) 영상 기반 주행 차로 판단 장치 및 방법
US20120056995A1 (en) Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety

Legal Events

Date Code Title Description
A201 Request for examination
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right