KR20140126401A - 운전 지원 장치 및 운전 지원 방법 - Google Patents

운전 지원 장치 및 운전 지원 방법 Download PDF

Info

Publication number
KR20140126401A
KR20140126401A KR1020147026530A KR20147026530A KR20140126401A KR 20140126401 A KR20140126401 A KR 20140126401A KR 1020147026530 A KR1020147026530 A KR 1020147026530A KR 20147026530 A KR20147026530 A KR 20147026530A KR 20140126401 A KR20140126401 A KR 20140126401A
Authority
KR
South Korea
Prior art keywords
display
driver
image
area
vehicle
Prior art date
Application number
KR1020147026530A
Other languages
English (en)
Other versions
KR101562877B1 (ko
Inventor
준야 이나다
다케시 엔야
Original Assignee
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴소 filed Critical 가부시키가이샤 덴소
Publication of KR20140126401A publication Critical patent/KR20140126401A/ko
Application granted granted Critical
Publication of KR101562877B1 publication Critical patent/KR101562877B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

운전 지원 장치는 차량의 운전자의 얼굴 화상을 취득하는 얼굴 화상 촬영 수단(S10, S810)과, 상기 운전자의 시선 방향을 검출하는 시선 방향 검출 수단(S30, S820)과, 상기 운전자가 주시하고 있는 주시 영역을 설정하는 주시 영역 설정 수단(S90, S860, S890, S920, S950, S980, S1010, S1040)과, 표시 수단(7)과, 상기 운전자가 시선을 움직이는 동작과, 미리 설정된 표시 개시 지시 동작이 일치하는지의 여부를 판단하는 시선 동작 판단 수단(S40, S830)과, 상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치하는 경우에, 상기 주시 영역에 따라서 미리 설정된 내용의 표시 정보의 표시를 상기 표시 수단에 개시시키는 표시 개시 수단(S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200)을 구비한다.

Description

운전 지원 장치 및 운전 지원 방법{DRIVING ASSISTANCE DEVICE AND DRIVING ASSISTANCE METHOD}
관련 출원의 상호 참조
본 개시는 2012년 3월 14일에 출원된 일본 출원 번호2012―57561호와, 2013년 3월 1일에 출원된 일본 출원 번호2013―41039호에 기초하는 것으로, 여기에 그 기재 내용을 원용한다.
본 개시는 차량의 운전자를 지원하기 위한 화상을 표시하는 운전 지원 장치 및 운전 지원 방법에 관한 것이다.
종래, 차량의 운전자의 시선을 검출하고, 검출한 시선의 방향에 기초하여 운전자가 시선을 향한 주시 대상을 촬영하고, 이 촬영 화상을 운전자의 전방에 설치된 표시 화면에 확대 표시하는 것으로 운전자를 지원하는 운전 지원 장치가 알려져 있다(예를 들면, 특허 문헌 1을 참조).
그러나 상기 특허 문헌 1에 기재된 운전 지원 장치에서는 운전자가 주시 대상의 확대 표시를 희망하지 않고 차량 전방의 풍경을 주시하고 있는 경우에도 불필요하게 주시 대상이 확대 표시되어 버리는 일이 있다는 문제가 있었다.
특허 문헌 1: 일본국 특개2009―43003호 공보
본 개시는 차량의 운전자를 지원하기 위한 화상을 표시하는 운전 지원 장치 및 운전 지원 방법을 제공하는 것을 목적으로 한다. 운전 지원 장치 및 운전 지원 방법에 있어서, 운전자가 주시한 주시 대상의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
본 개시의 제 1 양태에 있어서, 운전 지원 장치는 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상을 취득하는 얼굴 화상 촬영 수단과, 상기 얼굴 화상 촬영 수단에 의해 취득된 얼굴 화상을 이용하여 상기 운전자의 시선 방향을 검출하는 시선 방향 검출 수단과, 상기 시선 방향 검출 수단에 의해 검출된 시선 방향에 기초하여 상기 운전자가 주시하고 있는 주시 영역을 설정하는 주시 영역 설정 수단과, 상기 운전자가 시인(visually) 가능한 위치에 배치된 표시 화면을 갖는 표시 수단과, 상기 시선 방향 검출 수단에 의한 검출 결과에 기초하여 상기 운전자가 시선을 움직이는 동작과 상기 표시 수단에 의한 표시의 개시를 지시하기 위해 미리 설정된 표시 개시 지시 동작이 일치하는지의 여부를 판단하는 시선 동작 판단 수단과, 상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치한다고 상기 시선 동작 판단 수단이 판단한 경우에, 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역에 따라서 미리 설정된 내용의 표시 정보의 표시를 상기 표시 수단에 개시시키는 개시 수단을 구비한다.
이와 같이 구성된 운전 지원 장치에서는 표시 개시 지시 동작과 일치하도록 운전자가 시선을 움직이는 동작을 실시함으로써 운전자가 주시하고 있던 주시 영역에 따라서 미리 설정된 내용의 표시 정보가, 운전자에 의해 시인 가능한 위치에 배치된 표시 화면에 표시된다. 즉, 주시 영역에 따른 내용의 표시 정보를 표시 화면에 표시하기 위해서는, 운전자가 어떤 영역을 주시할 뿐만 아니라, 주시한 후에 미리 설정된 표시 개시 지시 동작과 일치하도록 시선을 움직일 필요가 있다. 이 때문에, 단순히 어떤 영역을 주시하고 있는 경우에 주시 영역이 표시 화면에 표시되는 일은 없어서, 주시 영역에 따른 내용의 표시 정보의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
본 개시의 제 2 양태에 있어서, 운전 지원 방법은 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상을 취득하고, 상기 얼굴 화상을 이용하여 상기 운전자의 시선 방향을 검출하고, 상기 시선 방향에 기초하여 상기 운전자가 주시하고 있는 주시 영역을 설정하고, 상기 시선 방향을 검출할 때의 검출 결과에 기초하여 상기 운전자가 시선을 움직이는 동작과 표시의 개시를 지시하기 위해 미리 설정된 표시 개시 지시 동작이 일치하는지의 여부를 판단하고, 상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치하는 경우에, 상기 주시 영역에 따라서 미리 설정된 내용의 표시 정보를, 상기 운전자가 시인 가능한 위치에 배치된 표시 화면에 표시한다.
상기의 운전 지원 방법에서는 표시 개시 지시 동작과 일치하도록 운전자가 시선을 움직이는 동작을 실시함으로써 운전자가 주시하고 있던 주시 영역에 따라서 미리 설정된 내용의 표시 정보가, 운전자에 의해 시인 가능한 위치에 배치된 표시 화면에 표시된다. 즉, 주시 영역에 따른 내용의 표시 정보를 표시 화면에 표시하기 위해서는, 운전자가 어떤 영역을 주시할 뿐만 아니라, 주시한 후에 미리 설정된 표시 개시 지시 동작과 일치하도록 시선을 움직일 필요가 있다. 이 때문에, 단순히 어떤 영역을 주시하고 있는 경우에 주시 영역이 표시 화면에 표시되는 일은 없어서, 주시 영역에 따른 내용의 표시 정보의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
본 개시에 대해서의 상기 목적 및 그 밖의 목적, 특징이나 잇점은 첨부의 도면을 참조하면서 하기의 상세한 기술에 의해 보다 명확해진다. 그 도면은,
도 1은 운전 지원 장치의 개략 구성을 나타내는 블록도이고,
도 2는 윈드실드 내에서의 표시 화면 영역의 배치를 나타내는 도면이고,
도 3은 제 1 실시 형태의 표시 처리를 나타내는 흐름도이고,
도 4는 전경(front scenery) 화상 데이터 내에서의 주시 영역을 나타내는 도면이고,
도 5는 제 2 실시 형태의 표시 처리를 나타내는 흐름도이고,
도 6은 제 2 실시 형태의 표시 조정 처리를 나타내는 흐름도이고,
도 7은 제 3 실시 형태의 표시 처리를 나타내는 흐름도이고,
도 8은 제 3 실시 형태의 표시 조정 처리를 나타내는 흐름도이고,
도 9는 제 4 실시 형태의 표시 조정 처리를 나타내는 흐름도이고,
도 10은 표시 화면 영역 내에서의 표시 화상의 스크롤을 나타내는 도면이고,
도 11은 제 5 실시 형태의 표시 처리의 전반 부분을 나타내는 흐름도이고,
도 12는 제 5 실시 형태의 표시 처리의 후반 부분을 나타내는 흐름도이고,
도 13은 운전 지원 장치의 개략 구성을 나타내는 블록도이고,
도 14는 차실내로부터 차량 전방을 바라보았을 때의 상황을 나타내는 도면이고,
도 15a는 제 6 실시 형태의 표시 처리의 전반 부분을 나타내는 흐름도이고,
도 15b는 제 6 실시 형태의 표시 처리의 전반 부분을 나타내는 흐름도이고,
도 16은 제 6 실시 형태의 표시 처리의 후반 부분을 나타내는 흐름도이고,
도 17a는 제 7 실시 형태의 표시 처리의 전반 부분을 나타내는 흐름도이고,
도 17b는 제 7 실시 형태의 표시 처리의 전반 부분을 나타내는 흐름도이다.
(제 1 실시 형태)
이하에, 제 1 실시 형태에 대하여 도면과 함께 설명한다.
운전 지원 장치(1)는 차량에 탑재되어, 도 1에 나타낸 바와 같이, IR―LED(2)와 카메라(3, 5)와 화상 캡처 보드(4, 6)와 헤드업 디스플레이 장치(이하, HUD장치라 한다)(7)와 제어부(8)를 구비하고 있다.
IR―LED(2)는 차량의 운전석에 앉아 있는 사람(이하, 운전자라 한다)의 얼굴을 향하여 근적외광을 조사한다. 카메라(3)는 근적외선 카메라이고, 운전자의 얼굴을 연속하여 촬영한다. 또한, 이하 카메라(3)가 촬영함으로써 취득된 화상 데이터를 얼굴 화상 데이터라 한다. 또, 화상 캡처 보드(4)는 카메라(3)에 의해 취득된 얼굴 화상 데이터를 일시적으로 기억한다.
카메라(5)는 운전자가 윈드실드 너머로 시인 가능한 자차량 전방의 풍경(이하, 전경이라고도 한다)을 연속하여 촬영한다. 또한, 이하 카메라(5)가 촬영함으로써 취득된 화상 데이터를 전경 화상 데이터라 한다. 화상 캡처 보드(6)는 카메라(5)에 의해 취득된 전경 화상 데이터를 일시적으로 기억한다.
HUD장치(7)는 화상을 표시하기 위한 표시광을, 윈드실드의 아래쪽으로부터 윈드실드를 향하여 조사한다. 이에 따라, 운전자는 그 투영된 허상을 차량 전방의 실제의 풍경에 겹쳐서 시인하게 된다. 또한, HUD장치(7)는 윈드실드의 하측에 설치된 직사각형상의 표시 화면 영역(DR)에 화상을 표시한다(도 2를 참조).
제어부(8)는 화상 캡처 보드(4, 6)로부터의 입력에 따라서 각종 처리를 실행하고, 카메라(3, 5)에 의해 촬영된 화상을 이용하여 HUD장치(7)를 제어한다. 또한, 제어부(8)에는 운전 지원 장치(1)가 탑재된 차량의 주행 속도를 검출하는 차속 센서(9)로부터의 검출 신호가 입력된다.
이와 같이 구성된 운전 지원 장치(1)에 있어서, 제어부(8)는 윈드실드 상에 설치된 표시 화면 영역(DR)에 화상을 표시하기 위한 표시 처리를 실행한다. 이 표시 처리는 운전 지원 장치(1)의 동작 중에 있어서 반복 실행되는 처리이다.
이 표시 처리가 실행되면, 제어부(8)는 도 3에 나타낸 바와 같이 우선, S10에서, 카메라(3)에 의해 촬영되어 화상 캡처 보드(4)에 기억된 얼굴 화상 데이터 중에서 제어부(8)가 취득하고 있지 않은 얼굴 화상 데이터를 화상 캡처 보드(4)로부터 취득한다. 또, S20에서, 카메라(5)에 의해 촬영되어 화상 캡처 보드(6)에 기억된 전경 화상 데이터 중에서 제어부(8)가 취득하고 있지 않은 전경 화상 데이터를 화상 캡처 보드(6)로부터 취득한다.
그리고 S30에서, 화상 캡처 보드(4)로부터 취득한 얼굴 화상 데이터를 이용하여 운전자의 얼굴 지향 방향과 시선 방향을 검출한다. 구체적으로는 우선, 얼굴 형상 모델을 이용하여 화상 캡처 보드(4)로부터 취득한 얼굴 화상 데이터의 피팅을 실시함으로써 운전자의 얼굴 지향 방향을 검출한다. 얼굴 형상 모델은 정면 얼굴을 삼각형상의 복수의 메시로 표현한 기본 형상과, 기본 형상으로부터의 얼굴 지향 방향을 나타내는 n개(n은 자연수)의 형상 스펙트럼을 이용하여 계산함으로써 인간의 얼굴 형상을 표현하는 수법이다(예를 들면, “Takahiro Ishikawa, Simon Baker, Iain Matthews, and Takeo Kanade, ‘Passive Driver Gaze Tracking with Active Appearance Models’, Proceedings of the 11th World Congress on Intelligent Transportation Systems, October, 2004.”를 참조). 또, 얼굴 형상 모델을 이용한 상기 피팅에 의하여 얼굴 화상 데이터로부터 운전자의 눈을 추출하고, 추출한 눈에 대하여 화상 인식 처리(예를 들면, 패턴 매칭)를 실시함으로써 운전자의 시선 방향을 검출한다.
그 후, S40에서, S30에서의 검출 결과에 기초하여 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있는지의 여부를 판단한다. 여기에서, 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있는 경우에는(S40: YES), S50에서 표시 지시 플래그(F1)를 세트하고, S110으로 이행한다. 한편, 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있지 않은 경우에는(S40: NO), S60에서 표시 지시 플래그(F1)를 클리어한다.
또한, S70에서, S30에서의 검출 결과에 기초하여 운전자의 시선이 차량 밖으로 향하고 있는지의 여부를 판단한다. 여기에서, 운전자의 시선이 차량 밖으로 향하고 있지 않은 경우에는(S70: NO), S80에서 주시 플래그(F2)를 클리어하여 S110으로 이행한다.
한편, 운전자의 시선이 차량 밖으로 향하고 있는 경우에는(S70: YES), S90에서, S30에서의 검출 결과에 기초하여 운전자가 주시하고 있는 주시 영역(GR)을 전경 화상 데이터 내에 설정한다. 구체적으로는 도 4에 나타낸 바와 같이, 운전자의 시선 방향에 기초하여 전경 화상 데이터 내에서 운전자가 주시하고 있는 주시점(GP)을 결정하고, 이 주시점(GP)을 중심으로 하는 미리 설정된 직사각형상의 영역을 주시 영역(GR)으로 한다. 그 후, 도 3에 나타낸 바와 같이, S100에서 주시 플래그(F2)를 세트하여 S110으로 이행한다.
그리고 S110으로 이행하면, 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있는지의 여부를 판단한다. 여기에서, 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있지 않은 경우에는(S110: NO), 표시 처리를 일단 종료한다. 한편, 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있는 경우에는(S110: YES), S120에서, S30의 처리에서 추출한 눈의 형상에 기초하여 운전자가 윙크했는지의 여부를 판단한다.
여기에서, 운전자가 윙크한 경우에는(S120: YES), S130에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 동화상 표시 시간(예를 들면, 5초)이 경과하기까지 주시 영역(GR) 내의 전경 화상 데이터를 HUD장치(7)에 동화상 표시시키고, 표시 처리를 일단 종료한다. 한편, 운전자가 윙크하고 있지 않은 경우에는(S120: NO), S140에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 정지 화상 표시 시간(예를 들면, 5초)이 경과하기까지 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점에 있어서의 주시 영역(GR) 내의 전경 화상 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다.
이와 같이 구성된 운전 지원 장치(1)에서는 우선, 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상 데이터를 취득하는(S10) 것과 함께, 차량 전방의 풍경을 연속하여 촬영해서 전경 화상 데이터를 취득하고(S20), 그 후에 취득된 얼굴 화상 데이터를 이용하여 운전자의 시선 방향을 검출하는(S30) 것과 함께, 검출된 시선 방향에 기초하여 운전자가 주시하고 있는 주시 영역(GR)을 설정한다(S90). 또, HUD장치(7)는 취득된 전경 화상 데이터 중, 주시 영역(GR) 내의 화상 데이터를, 운전자가 시인 가능한 위치에 배치된 표시 화면 영역(DR)에 표시한다.
그리고 시선 방향의 검출 결과에 기초하여 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시했는지의 여부를 판단하고(S40), 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시했다고 판단한 경우에(S40: YES), 주시 영역(GR) 내의 화상 데이터의 표시를 개시시킨다(S50, S110, S130, S140).
이와 같이 구성된 운전 지원 장치(1)에서는 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시함으로써 차량 전방의 풍경 중, 운전자가 주시하고 있던 주변의 주시 영역(GR)의 부분이 운전자에 의해 시인 가능한 위치에 배치된 표시 화면 영역(DR)에 표시된다. 즉, 주시 영역(GR)을 표시 화면 영역(DR)에 표시하기 위해서는, 운전자가 차량 전방의 어떤 영역을 주시할 뿐만 아니라, 주시한 후에 시선을 표시 화면 영역(DR)으로 향하는 동작을 실시할 필요가 있다. 이 때문에, 단순히 차량 전방의 풍경을 주시하고 있는 경우에 주시 영역(GR)이 표시 화면 영역(DR)에 표시되는 일은 없어서, 주시 영역(GR)의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
또, 취득된 얼굴 화상 데이터를 이용하여 운전자가 윙크했는지의 여부를 판단하고(S120), 운전자가 윙크한 경우에(S120: YES), 주시 영역(GR) 내의 화상 데이터의 동화상 표시를 실시한다(S130). 한편, 운전자가 윙크하고 있지 않은 경우에는(S120: NO), 주시 영역(GR) 내의 화상 데이터의 정지 화상 표시를 실시한다(S140). 이에 따라, 차량의 운전 중에 있어서, 버튼 및 스위치 등의 조작 부재를 조작하지 않고 용이하게 동화상 표시와 정지 화상 표시의 전환을 실시할 수 있다.
이상 설명한 실시 형태에 있어서, S10의 처리는 얼굴 화상 촬영 수단 및 얼굴 화상 촬영 순서, S30의 처리는 시선 방향 검출 수단 및 시선 방향 검출 순서, S20의 처리는 풍경 화상 촬영 수단 및 풍경 화상 촬영 순서, S90의 처리는 주시 영역 설정 수단 및 주시 영역 설정 순서, HUD장치(7)는 표시 수단, S40의 처리는 시선 동작 판단 수단 및 시선 동작 판단 순서, S50, S110의 처리는 표시 개시 수단 및 표시 개시 순서, S120의 처리는 윙크 판단 수단이다.
(제 2 실시 형태)
이하에, 제 2 실시 형태를 도면과 함께 설명한다. 또한, 제 2 실시 형태에서는 제 1 실시 형태와 다른 부분만을 설명한다.
제 2 실시 형태의 운전 지원 장치(1)는 표시 처리가 변경된 점과 표시 조정 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
그리고 제 2 실시 형태의 표시 처리는 도 5에 나타낸 바와 같이, S120∼S140의 처리가 생략되고, S210∼S240의 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
즉, S110에서 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있는 경우에는(S110: YES), S210에서 자차량의 전방에 존재하는 이동 물체를 검출한다. 구체적으로는, 전경 화상 데이터를 이용한 화상 처리로 옵티컬 플로우를 구함으로써 전경 화상 데이터 내로부터 자차량과는 독립적으로 이동하는 영역을 추출하고, 추출한 영역을 이동 물체로서 검출한다.
그리고 S220에서, S210에서의 검출 결과에 기초하여 주시 영역(GR) 내에 이동 물체가 존재하는지의 여부를 판단한다. 여기에서, 주시 영역(GR) 내에 이동 물체가 존재하는 경우에는(S220: YES), S230에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 동화상 표시 시간(예를 들면, 5초)이 경과하기까지 후술하는 표시 조정 처리에서 설정된 표시 영역 내의 전경 화상 데이터를 HUD장치(7)에 동화상 표시시킴으로써 이동 물체를 동화상 표시하고, 표시 처리를 일단 종료한다.
한편, 주시 영역(GR) 내에 이동 물체가 존재하지 않는 경우에는(S220: NO), S240에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 정지 화상 표시 시간(예를 들면, 5초)이 경과하기까지 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점에 있어서의 주시 영역(GR) 내의 전경 화상 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다.
다음으로, 표시 조정 처리는 운전 지원 장치(1)의 동작 중에 있어서 제어부(8)에 의해 반복 실행되는 처리이다.
이 표시 조정 처리가 실행되면, 제어부(8)는 도 6에 나타낸 바와 같이 우선, S260에서, S210에서의 검출 결과에 기초하여 주시 영역(GR) 내에 이동 물체가 존재하는지의 여부를 판단한다. 여기에서, 주시 영역(GR) 내에 이동 물체가 존재하지 않는 경우에는(S260: NO), 표시 조정 처리를 일단 종료한다. 한편, 주시 영역(GR) 내에 이동 물체가 존재하는 경우에는(S260: YES), S270에서, 검출한 이동 물체가 표시 화면 영역(DR)의 중심에 위치하도록 표시 영역을 설정하고, 표시 조정 처리를 일단 종료한다.
이와 같이 구성된 운전 지원 장치(1)에서는 취득된 전경 화상 데이터를 이용하여 주시 영역(GR) 내에 이동 물체가 존재하는지의 여부를 판단하고(S220), 주시 영역(GR) 내에 이동 물체가 존재한다고 판단한 경우에(S220: YES), 표시 화면 영역(DR) 내의 화상 데이터의 동화상 표시를 실시한다(S230). 즉, 주시 영역(GR) 내에 이동 물체가 존재하는 경우에는, 운전자가 지시를 하지 않고 자동적으로 이동 물체의 표시에 적절한 형태(즉, 동화상 표시)로 표시가 실시된다. 이 때문에, 운전자는 표시 화면 영역(DR)을 봄으로써 차량 전방에 존재하는 이동 물체의 확인을 신속하고 또한 용이하게 실시할 수 있다.
또, 주시 영역(GR) 내에 이동 물체가 존재한다고 판단한 경우에(S260: YES), 이동 물체가 표시 화면 영역(DR)의 중심에 위치하도록 표시 영역을 설정한다(S270). 이에 따라, 이동 물체가 주시 영역(GR)의 외측으로 이동함으로써 표시 화면 영역(DR) 내에 이동 물체가 표시되지 않게 되어 버리는 일이 없어져서, 이동 물체의 표시에 적절한 위치(즉, 표시 화면 영역(DR)의 중심)에서 이동 물체의 표시가 실시된다. 이 때문에, 운전자는 표시 화면 영역(DR)을 봄으로써 차량 전방에 존재하는 이동 물체의 확인을 신속하고 또한 용이하게 실시할 수 있다.
이상 설명한 실시 형태에 있어서, S220, S260의 처리는 이동 물체 판단 수단, S270의 처리는 제 1 표시 영역 설정 수단이다.
(제 3 실시 형태)
이하에, 제 3 실시 형태를 도면과 함께 설명한다. 또한, 제 3 실시 형태에서는 제 1 실시 형태와 다른 부분만을 설명한다.
제 3 실시 형태의 운전 지원 장치(1)는 표시 처리가 변경된 점과 표시 조정 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
그리고 제 3 실시 형태의 표시 처리는 도 7에 나타낸 바와 같이, S120∼S140의 처리가 생략되고, S310∼S340의 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
즉, S110에서 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있지 않은 경우에는(S110: NO), 표시 처리를 일단 종료한다. 한편, 표시 지시 플래그(F1) 및 주시 플래그(F2)가 세트되어 있는 경우에는(S110: YES), S310에서 예를 들면, 현저 지도(saliency map)(예를 들면, “J. Harel, C. Koch, and P. Perona. ‘Graph-Based Visual Saliency’, NIPS 2006”을 참조)를 이용하여 주시 영역(GR) 내의 현저 영역을 검출한다. 또한, 본 실시 형태에서는 전경 화상 데이터 내에 있어서 다른 영역과 비교하여 휘도가 크게 다른 영역을 “현저 영역”으로 정의한다. 예를 들면, 차량 주행 중의 전경에 도로 표지가 존재하고 있는 경우에는, 도로 표지가 현저 영역에 상당한다.
그리고 S320에서, S310에서의 검출 결과에 기초하여 주시 영역(GR) 내에 현저 영역이 존재하는지의 여부를 판단한다. 여기에서, 주시 영역(GR) 내에 현저 영역이 존재하는 경우에는(S320: YES), S330에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 동화상 표시 시간(예를 들면, 5초)이 경과하기까지 후술하는 표시 조정 처리에서 설정된 표시 영역 내의 전경 화상 데이터를 HUD장치(7)에 동화상 표시시킴으로써 현저 영역을 동화상 표시하고, 표시 처리를 일단 종료한다.
한편, 주시 영역(GR) 내에 현저 영역이 존재하지 않는 경우에는(S320: NO), S340에서, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 정지 화상 표시 시간(예를 들면, 5초)이 경과하기까지 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점에 있어서의 주시 영역(GR) 내의 전경 화상 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다.
다음으로, 표시 조정 처리는 운전 지원 장치(1)의 동작 중에 있어서 제어부(8)에 의해 반복 실행되는 처리이다.
이 표시 조정 처리가 실행되면, 제어부(8)는 도 8에 나타낸 바와 같이 우선, S360에서, S310에서의 검출 결과에 기초하여 주시 영역(GR) 내에 현저 영역이 존재하는지의 여부를 판단한다. 여기에서, 주시 영역(GR) 내에 현저 영역이 존재하지 않는 경우에는(S360: NO), 표시 조정 처리를 일단 종료한다. 한편, 주시 영역(GR) 내에 현저 영역이 존재하는 경우에는(S360: YES), S370에서, 검출한 현저 영역이 표시 화면 영역(DR)의 중심에 위치하도록 표시 영역을 설정하고, 표시 조정 처리를 일단 종료한다.
이와 같이 구성된 운전 지원 장치(1)에서는 취득된 전경 화상 데이터를 이용하여 주시 영역(GR) 내에 현저 영역이 존재하는지의 여부를 판단하고(S360), 주시 영역(GR) 내에 현저 영역이 존재한다고 판단한 경우에(S360: YES), 현저 영역이 표시 화면 영역(DR)의 중심에 위치하도록 표시 영역을 설정한다(S370).
이 때문에, 예를 들면 차량 주행 중에 운전자가 주변 시야에서 전경 내의 현저 영역(도로 표지, 간판이나 보행자 등)을 시인한 경우이어도 현저 영역이 표시 화면 영역(DR)의 중심에 표시된다. 이에 따라, 주변 시야에서의 시인에서는 현저 영역의 존재 그 자체는 확인할 수 있어도, 그 내용이나 상황을 정확히 확인할 수 없었던 경우이어도 운전자는 표시 화면 영역(DR)을 봄으로써 차량 전방에 존재하는 현저 영역의 확인을 신속하고 또한 용이하게 실시할 수 있다.
또, 예를 들면 차량 주행 중에 운전자가 중심 시야에서 전경 내의 현저 영역을 시인하고 있음에도 불구하고, 시선 방향의 검출 정밀도가 나쁘기 때문에 운전자가 실제로 주시하고 있는 점과 운전 지원 장치(1)가 결정한 주시점(GP)이 달라 있는 경우이어도 현저 영역이 표시 화면 영역(DR)의 중심에 표시된다. 이에 따라, 주시점(GP)으로부터 벗어난 위치에 현저 영역이 존재하고 있는 경우이어도 현저 영역의 표시에 적절한 위치(즉, 표시 화면 영역(DR)의 중심)에서 현저 영역의 표시가 실시된다. 이 때문에, 운전자는 표시 화면 영역(DR)을 봄으로써 차량 전방에 존재하는 현저 영역의 확인을 신속하고 또한 용이하게 실시할 수 있다.
이상 설명한 실시 형태에 있어서, S360의 처리는 현저 영역 판단 수단, S370의 처리는 제 2 표시 영역 설정 수단이다.
(제 4 실시 형태)
이하에, 제 4 실시 형태를 도면과 함께 설명한다. 또한, 제 4 실시 형태에서는 제 1 실시 형태와 다른 부분만을 설명한다.
제 4 실시 형태의 운전 지원 장치(1)는 표시 조정 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
이 표시 조정 처리는 운전 지원 장치(1)의 동작 중에 있어서 제어부(8)에 의해 반복 실행되는 처리이다.
이 표시 조정 처리가 실행되면, 제어부(8)는 도 9에 나타낸 바와 같이 우선, S410에서, HUD장치(7)가 표시 화면 영역(DR)에 정지 화상을 표시 중인지의 여부를 판단한다. 여기에서, 정지 화상을 표시 중이 아닌 경우에는(S410: NO), 표시 조정 처리를 일단 종료한다.
한편, 정지 화상을 표시 중인 경우에는(S410: YES), S420에서, S30에서의 검출 결과에 기초하여 운전자의 시선이 표시 화면 영역(DR)의 끝에 미리 설정된 표시 조정 판정 시간(본 실시 형태에서는 예를 들면, 2초)동안 계속해서 향해졌는지의 여부를 판단한다. 여기에서, 표시 화면 영역(DR)의 끝에 표시 조정 판정 시간동안 계속하여 향해져 있지 않은 경우에는(S420: NO), 표시 조정 처리를 일단 종료한다.
한편, 표시 화면 영역(DR)의 끝에 표시 조정 판정 시간동안 계속하여 향해진 경우에는(S420: YES), S430에서, 도 10에 나타낸 바와 같이, 표시 화면 영역(DR)의 끝에 있어서의 운전자의 주시점(GP)이 표시 화면 영역(DR)의 중심에 위치하도록(화살표 AL1을 참조), 전경 화상 데이터 내의 표시 영역을 설정하고, 표시 조정 처리를 일단 종료한다. 이에 따라, 표시 화면 영역(DR)의 끝에 있어서 운전자가 주시하고 있던 부분이 표시 화면 영역(DR)의 중심(DC)이 되도록 표시 화면 영역(DR)에 표시되어 있는 정지 화상이 스크롤된다.
이와 같이 구성된 운전 지원 장치(1)에서는 검출된 시선 방향에 기초하여 운전자가 표시 화면 영역(DR)의 끝을 주시하고 있는지의 여부를 판단하고(S420), 표시 화면 영역(DR)의 끝을 주시하고 있다고 판단한 경우에(S420: YES), 표시 화면 영역(DR)의 끝에 있어서 운전자가 주시하고 있는 주시점(GP)이 표시 화면 영역(DR)의 중심에 위치하도록 표시 영역을 설정한다(S430).
이 때문에, 표시 화면 영역(DR)의 끝을 주시함으로써 버튼 및 스위치 등의 조작 부재를 조작하지 않고 용이하게 전경 화상 데이터 내에서 표시 화면 영역(DR)에 표시되는 영역(표시 영역)을 변경할 수 있다.
이상 설명한 실시 형태에 있어서, S420의 처리는 주시 판단 수단, S430의 처리는 제 3 표시 영역 설정 수단이다.
(제 5 실시 형태)
이하에, 제 5 실시 형태를 도면과 함께 설명한다. 또한, 제 5 실시 형태에서는 제 1 실시 형태와 다른 부분만을 설명한다.
제 5 실시 형태의 운전 지원 장치(1)는 표시 처리가 변경된 점 이외는 제 1 실시 형태와 같다. 그리고 제 5 실시 형태의 표시 처리는 도 11 및 도 12에 나타낸 바와 같이, S110∼S140의 처리가 생략되고, S510∼S520 및 S600∼S720의 처리가 추가된 점 이외는 제 1 실시 형태와 같다.
즉, S90의 처리가 종료되면, S510에서 화상 취득 카운터(C1)를 인크리먼트(1 가산)한다. 또한, 화상 취득 카운터(C1)의 값은 운전 지원 장치(1)의 동작 개시 시에 초기화되어 0으로 설정된다. 그리고 S520에서, S70의 판단 결과에 기초하여 운전자의 시선이 차량 밖으로 향한 시점에 촬영된 전경 화상 데이터에 대하여 S90에서 설정된 주시 영역(GR) 내의 화상을 추출하고, 이 추출한 화상(이하, 주시 영역 화상이라 한다)의 데이터를 화상 취득 카운터(C1)의 값(이하, 화상 취득 카운터값이라고도 한다)과 대응지워서 보존하고, S100으로 이행한다.
또, S50, S80, S100의 처리가 종료되면, S600으로 이행하여 표시 지시 플래그(F1)가 세트되고, 또한 화상 취득 카운터값이 1보다 큰지의 여부를 판단한다. 여기에서, 표시 지시 플래그(F1)가 클리어되어 있거나, 화상 취득 카운터값이 1 이하인 경우에는(S600: NO), 표시 처리를 일단 종료한다. 한편, 표시 지시 플래그(F1)가 세트되고, 또한 화상 취득 카운터값이 1보다 큰 경우에는(S600: YES), S610에서, 차속 센서(9)의 검출 결과에 기초하여 운전 지원 장치(1)를 탑재한 차량(이하, 자차량이라 한다)이 정지해 있는지의 여부를 판단한다. 여기에서, 자차량이 정지해 있지 않은 경우에는(S610: NO), S620에서 표시 카운터(C2)의 값(이하, 표시 카운터값이라고도 한다)을 화상 취득 카운터값으로 설정한다. 그리고 S630에서, S520의 처리에 의해 보존된 주시 영역 화상 중, 표시 카운터값에 일치한 화상 취득 카운터값에 대응지워져 있는 주시 영역 화상의 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다. S620와 S630의 처리에 의해 보존된 주시 영역 화상 중, 최신의 것이 표시 화면 영역(DR)에 표시된다.
한편, 자차량이 정지해 있는 경우에는(S610: YES), S640에서, S30에서의 검출 결과에 기초하여 운전자의 얼굴 지향 방향과 시선 방향의 각도차가 미리 설정된 표시 판정 각도(본 실시 형태에서는 예를 들면, 10°) 이하인지의 여부를 판단한다. 여기에서, 얼굴 지향 방향과 시선 방향의 각도차가 표시 판정 각도 이하인 경우에는(S640: YES), S630으로 이행한다. 이에 따라, 표시 카운터값에 일치한 화상 취득 카운터값에 대응지워져 있는 주시 영역 화상이 표시 화면 영역(DR)에 표시된다.
또, S640에서 얼굴 지향 방향과 시선 방향의 각도차가 표시 판정 각도보다 큰 경우에는(S640: NO), S660에서 얼굴 지향 방향이 시선 방향보다 좌측을 향해 있는지의 여부를 판단한다. 여기에서, 얼굴 지향 방향이 시선 방향보다 좌측을 향해 있는 경우에는(S660: YES), S670에서 표시 카운터값이 1보다 큰지의 여부를 판단한다.
여기에서, 표시 카운터값이 1보다 큰 경우에는(S670: YES), S680에서 표시 카운터(C2)를 디크리먼트(1 감산)하고, S700으로 이행한다. 한편, 표시 카운터값이 1인 경우에는(S670: NO), S690에서 표시 카운터(C2)의 값(표시 카운터값)을 화상 취득 카운터값으로 설정하고, S700으로 이행한다.
그리고 S700으로 이행하면, 표시 카운터값에 일치한 화상 취득 카운터값에 대응지워져 있는 주시 영역 화상의 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다.
또, S660에서 얼굴 지향 방향이 시선 방향보다 우측을 향해 있는 경우에는(S660: NO), S710에서 표시 카운터값이 화상 취득 카운터값과 동등한지의 여부를 판단한다. 여기에서, 표시 카운터값이 화상 취득 카운터값과 동등한 경우에는(S710: YES), S730으로 이행한다. 한편, 표시 카운터값이 화상 취득 카운터값과 동등하지 않은 경우에는(S710: NO), S720에서 표시 카운터(C2)를 인크리먼트(1 가산)하고, S730으로 이행한다. 그리고 S730으로 이행하면, 표시 카운터값에 일치한 화상 취득 카운터값에 대응지워져 있는 주시 영역 화상의 데이터를 HUD장치(7)에 정지 화상 표시시키고, 표시 처리를 일단 종료한다.
이하에, 이와 같이 구성된 운전 지원 장치(1)에 있어서, 보존된 주시 영역 화상을 표시 화면 영역(DR)에 표시하는 경우의 동작을 설명한다.
우선, 운전자가 시선을 표시 화면 영역(DR)에 향했을 때에 차량이 주행 중인 경우에는(S600: YES, S610: NO), 보존된 주시 영역 화상 중, 최신의 것이 표시 화면 영역(DR)에 표시된다(S620, S630). 그 후, 차량의 정지 중에 운전자가 시선을 표시 화면 영역(DR)으로 향하면(S600: YES, S610: YES), 우선, 보존된 주시 영역 화상 중, 최신의 것이 표시 화면 영역(DR)에 표시된다(S630). 그리고 운전자가 시선을 표시 화면 영역(DR)으로 향하면서 얼굴을 좌측으로 향하면(S640: NO, S660: YES), 현재 표시되고 있는 주시 영역 화상의 하나 전에 취득된 주시 영역 화상이 표시 화면 영역(DR)에 표시된다(S680, S700). 또, 운전자가 시선을 표시 화면 영역(DR)으로 향하면서 얼굴을 우측으로 향하면(S640: NO, S660: NO), 현재 표시되고 있는 주시 영역 화상의 하나 후에 취득된 주시 영역 화상이 표시 화면 영역(DR)에 표시된다(S720, S730).
또, 가장 오래된 주시 영역 화상이 표시되고 있을 때(표시 카운터값＝1일 때)에 운전자가 시선을 표시 화면 영역(DR)으로 향하면서 얼굴을 좌측으로 향하면(S640: NO, S660: YES), 보존된 주시 영역 화상 중, 최신의 것이 표시 화면 영역(DR)에 표시된다(S690, S700). 또, 최신의 주시 영역 화상이 표시되어 있을 때에 운전자가 시선을 표시 화면 영역(DR)으로 향하면서 얼굴을 우측으로 향하면(S640: NO, S660: NO), 최신의 주시 영역 화상이 표시된 상태로 된다(S710: YES).
이와 같이 구성된 운전 지원 장치(1)에서는 취득된 전경 화상 데이터 중, 주시 영역(GR) 내의 화상을 추출하고, 추출한 주시 영역 화상 데이터를 시계열로 보존하고(S510, S520), 보존된 주시 영역 화상 데이터를 표시 화면 영역(DR)에 표시한다(S630, S700, S730). 또, 취득된 얼굴 화상 데이터를 이용하여 운전자의 얼굴 지향 방향을 검출하고(S30), 검출된 얼굴 지향 방향에 기초하여, 표시되는 주시 영역 화상 데이터를 지시한다(S660∼S690, S710∼S720).
이에 따라, 주시한 전경을 주시한 시점에서 표시 화면 영역(DR)에 표시하여 확인할 수 있을 뿐만 아니라, 복수의 주시 영역 화상을 촬영해 두고, 나중에 종합하여 확인하는 것도 가능하게 된다. 예를 들면, 운전 중이었기 때문에 주시한 시점에서는 주시 영역 화상을 충분히 확인할 수 없었던 경우이어도 차를 정지시킨 후에 주시 영역 화상을 다시 표시시킴으로써 주시 영역 화상을 충분히 확인하는 것이 가능하게 된다.
또, 얼굴 지향 방향에 의해 버튼 및 스위치 등의 조작 부재를 조작하지 않고 용이하게 표시 화면 영역(DR)에 표시되는 주시 영역 화상을 변경할 수 있다.
이상 설명한 실시 형태에 있어서, S510, S520의 처리는 화상 보존 수단, S630, S700, S730의 처리는 보존 화상 표시 수단, S30의 처리는 얼굴 지향 방향 검출 수단, S660∼S690, S710∼S720의 처리는 표시 지시 수단이다.
(제 6 실시 형태)
이하에, 제 6 실시 형태를 도면과 함께 설명한다.
도 13에 나타낸 바와 같이, 운전 지원 장치(101)는 차량에 탑재되고, 차내 LAN(102)을 통하여 내비게이션 ECU(103), 에어컨 ECU(104) 및 미터 ECU(105)와 접속되어 있다.
내비게이션 ECU(103)는 GPS(Global Positioning System) 안테나(비도시)를 통하여 수신한 GPS신호 등에 기초하여 차량의 현재 위치를 검출하도록 구성되어 있다. 그리고 내비게이션 ECU(103)는 차량의 현재지를 인스트루먼트 패널부(130)(도 14를 참조)에 배치되어 있는 내비게이션 장치의 표시 화면(131)(도 14를 참조)에 표시하기 위한 제어 및 현재지로부터 목적지까지의 경로를 안내하기 위한 제어 등을 실행하도록 구성되어 있다.
또, 내비게이션 ECU(103)는 인스트루먼트 패널부(130)에 설치되어 운전자에 의해 조작되는 오디오 조작 스위치군(132)(도 14를 참조)으로부터의 신호에 기초하여 차량 적재 오디오(비도시)의 제어를 실행하도록 구성되어 있다. 또한, 오디오 조작 스위치군(132)은 CD, TV 및 라디오 중에서 동작시키는 기기를 전환하는 경우에 조작되는 전환 스위치, 상기 동작시키는 기기의 전환 후에 어느 채널이나 곡을 선택하는지를 전환하는 경우에 조작되는 전환 스위치 및 음량을 조정하는 경우에 조작되는 음량 설정 스위치 등으로 구성된다.
에어컨 ECU(104)는 인스트루먼트 패널부(130)에 설치되어 운전자에 의해 조작되는 에어컨 조작 스위치군(133)(도 14를 참조)으로부터의 신호와, 차량의 차실내 및 외부의 온도를 검출하는 차내외 온도 센서(비도시)로부터의 검출 신호에 기초하여 카 에어컨(비도시)을 동작시켜서 차실내의 공조를 제어하도록 구성되어 있다. 또한, 에어컨 조작 스위치군(133)은 에어컨의 동작／비동작을 전환하는 경우에 조작되는 온／오프 스위치 및 설정 온도를 조정하는 경우에 조작되는 온도 설정 스위치, 풍량을 조정하는 경우에 조작되는 풍량 설정 스위치 및 분출구 위치를 조정하는 경우에 조작되는 분출구 위치 설정 스위치 등으로 구성된다.
미터 ECU(105)는 운전석의 전방에 설치되어 차량의 각종 상태를 표시하는 미터부(140)(도 14를 참조)를 제어한다. 또한, 미터부(140)는 차속, 자동 변속기(비도시)의 시프트 레인지, 엔진 회전 속도, 가솔린 잔량, 오토ㆍ크루즈ㆍ컨트롤(ACC)의 상황 및 레인 킵 어시스트(LKA)의 상황 등을 표시한다.
운전 지원 장치(101)는 IR―LED(2), 카메라(3), 화상 캡처 보드(4), HUD장치(7), 우측 카메라(111), 좌측 카메라(112), 후방 카메라(113), 화상 캡처 보드(114, 115, 116), 차내 LAN 통신부(117) 및 제어부(118)를 구비하고 있다.
IR―LED(2), 카메라(3), 화상 캡처 보드(4) 및 HUD장치(7)에 대해서는, 제 1 실시 형태와 같기 때문에 설명을 생략한다.
우측 카메라(111)는 차량의 우단부(본 실시 형태에서는 차량 우측의 사이드 미러(151)(도 14를 참조))에 설치되어 있으며, 차량의 우측의 상황을 연속하여 촬영함으로써 화상 데이터를 취득한다.
좌측 카메라(112)는 차량의 좌단부(본 실시 형태에서는 차량 좌측의 사이드 미러(152)(도 14를 참조))에 설치되어 있으며, 차량의 좌측의 상황을 연속하여 촬영함으로써 화상 데이터를 취득한다.
후방 카메라(113)는 차량의 후단부(본 실시 형태에서는 리어 범퍼)에 설치되어 있으며, 차량 후방의 상황을 연속하여 촬영함으로써 화상 데이터를 취득한다.
화상 캡처 보드(114, 115, 116)는 각각 카메라(111, 112, 113)에 의해 취득된 화상 데이터를 일시적으로 기억한다.
차내 LAN 통신부(117)는 차내 LAN(102)을 통하여 차내 LAN(102)에 접속된 여러 가지 기기(내비게이션 ECU(103) 등)와 통신을 실시한다.
제어부(118)는 CPU, ROM, RAM, I／O 및 이들의 구성을 접속하는 버스 라인 등으로 이루어지는 주지의 마이크로컴퓨터를 중심으로 구성되어 있으며, ROM이 기억하는 프로그램에 기초하여 각종 처리를 실행한다.
이와 같이 구성된 운전 지원 장치(101)에 있어서, 제어부(118)는 윈드실드 상에 설치된 표시 화면 영역(DR)에 화상을 표시하기 위한 표시 처리를 실행한다. 이 표시 처리는 운전 지원 장치(101)의 동작 중에 있어서 반복 실행되는 처리이다.
이 표시 처리가 실행되면, 제어부(118)는 도 15a, 도 15b 및 도 16에 나타낸 바와 같이, 우선, S810에서, S10과 동일하게 하여 카메라(3)에 의해 촬영되어 화상 캡처 보드(4)에 기억된 얼굴 화상 데이터 중에서 제어부(8)가 취득하고 있지 않은 얼굴 화상 데이터를 화상 캡처 보드(4)로부터 취득한다.
그리고 S820에서 S30과 동일하게 하여 화상 캡처 보드(4)로부터 취득한 얼굴 화상 데이터를 이용하여 운전자의 얼굴 지향 방향과 시선 방향을 검출한다.
그 후, S830에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있는지의 여부를 판단한다. 여기에서, 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있는 경우에는(S830: YES), S840에서 표시 지시 플래그(F1)를 세트하고, S1070으로 이행한다. 한편, 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있지 않은 경우에는(S830: NO), S850에서 표시 지시 플래그(F1)를 클리어한다.
또한, S860에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 내비게이션 장치의 표시 화면(131)으로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 내비게이션 장치의 표시 화면(131)으로 향하고 있는 경우에는(S860: YES), S870에서 내비 주시 플래그(F11)를 세트하고, 또한, S880에서 다른 주시 플래그(F12, F13, F14, F15, F16, F17)를 클리어하고, S1070으로 이행한다. 또한, 다른 주시 플래그는 후술하는 바와 같이, 미터 주시 플래그(F12), 오디오 주시 플래그(F13), 에어컨 주시 플래그(F14), 오른쪽 사이드 주시 플래그(F15), 왼쪽 사이드 주시 플래그(F16) 및 리어 주시 플래그(F17)이다.
한편, 시선이 내비게이션 장치의 표시 화면(131)으로 향하고 있지 않은 경우에는(S860: NO), S890에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 미터부(140)로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 미터부(140)로 향하고 있는 경우에는(S890: YES), S900에서 미터 주시 플래그(F12)를 세트하고, 또한, S910에서 미터 주시 플래그(F12) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
한편, 시선이 미터부(140)로 향하고 있지 않은 경우에는(S890: NO), S920에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 오디오 조작 스위치군(132)으로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 오디오 조작 스위치군(132)으로 향하고 있는 경우에는(S920: YES), S930에서 오디오 주시 플래그(F13)를 세트하고, 또한 S940에서 오디오 주시 플래그(F13) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
한편, 시선이 오디오 조작 스위치군(132)으로 향하고 있지 않은 경우에는(S920: NO), S950에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 에어컨 조작 스위치군(133)으로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 에어컨 조작 스위치군(133)으로 향하고 있는 경우에는(S950: YES), S960에서 에어컨 주시 플래그(F14)를 세트하고, 또한 S970에서 에어컨 주시 플래그(F14) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
한편, 시선이 에어컨 조작 스위치군(133)으로 향하고 있지 않은 경우에는(S950: NO), S980에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 차량 우측의 사이드 미러(151)로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 우측의 사이드 미러(151)로 향하고 있는 경우에는(S980: YES), S990에서 오른쪽 사이드 주시 플래그(F15)를 세트하고, 또한 S1000에서 오른쪽 사이드 주시 플래그(F15) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
한편, 시선이 우측의 사이드 미러(151)로 향하고 있지 않은 경우에는(S980: NO), S1010에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 차량 좌측의 사이드 미러(152)로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 좌측의 사이드 미러(152)로 향하고 있는 경우에는(S1010: YES), S1020에서 왼쪽 사이드 주시 플래그(F16)를 세트하고, 또한 S1030에서 왼쪽 사이드 주시 플래그(F16) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
한편, 시선이 좌측의 사이드 미러(152)로 향하고 있지 않은 경우에는(S1010: NO), S1040에서, S820에서의 검출 결과에 기초하여 운전자의 시선이 리어 뷰 미러(153)(도 14를 참조)로 향하고 있는지의 여부를 판단한다. 여기에서, 시선이 리어 뷰 미러(153)로 향하고 있는 경우에는(S1040: YES), S1050에서 리어 주시 플래그(F17)를 세트하고, 또한 S1060에서 리어 주시 플래그(F17) 이외의 주시 플래그를 클리어하고, S1070으로 이행한다.
그리고 S1070으로 이행하면, 표시 지시 플래그(F1)가 세트되고, 또한 주시 플래그(F11, F12, F13, F14, F15, F16, F17) 중 어느 하나가 세트되어 있는지의 여부를 판단한다. 여기에서, 표시 지시 플래그(F1)와 주시 플래그의 적어도 어느 쪽인가가 세트되어 있지 않은 경우에는(S1070: NO), 표시 처리를 일단 종료한다. 한편, 표시 지시 플래그(F1)가 세트되는 것과 함께, 주시 플래그 중 어느 하나가 세트되어 있는 경우에는(S1070: YES), S1080에서 내비 주시 플래그(F11)가 세트되어 있는지의 여부를 판단한다.
여기에서, 내비 주시 플래그(F11)가 세트되어 있는 경우에는(S1080: YES), S1090에서 내비 화면 표시 처리를 실행하고, 내비 화면 표시 처리의 종료 후에 S1210으로 이행한다. 내비 화면 표시 처리에서는 구체적으로는, 내비게이션 장치의 표시 화면(131)에 표시되어 있는 화상을 나타내는 화상 데이터를 내비게이션 ECU(103)로부터 차내 LAN(102)을 통하여 취득하고, 취득한 화상 데이터를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
한편, 내비 주시 플래그(F11)가 세트되어 있지 않은 경우에는(S1080: NO), S1100에서 미터 주시 플래그(F12)가 세트되어 있는지의 여부를 판단한다. 여기에서, 미터 주시 플래그(F12)가 세트되어 있는 경우에는(S1100: YES), S1110에서 미터부 표시 처리를 실행하고, 미터부 표시 처리의 종료 후에 S1210으로 이행한다. 미터부 표시 처리에서는 구체적으로는 우선, S820에서의 검출 결과에 기초하여 미터부(140)에서 운전자의 시선이 향해 있는 영역을 특정한다. 그리고 미터부 표시 처리에서는 특정한 영역에 표시되어 있는 정보를 미터 ECU(105)로부터 차내 LAN(102)을 통하여 취득하고, 취득한 정보를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
예를 들면, 미터부(140)에서 차속을 표시하고 있는 영역에 운전자의 시선이 향해 있는 경우에는, 미터부 표시 처리에서는 차속을 나타내는 차속 정보를 미터 ECU(105)로부터 취득하고, 취득한 차속 정보를 나타내는 화상을 HUD장치(7)에 표시한다.
한편, 미터 주시 플래그(F12)가 세트되어 있지 않은 경우에는(S1100: NO), S1120에서 오디오 주시 플래그(F13)가 세트되어 있는지의 여부를 판단한다. 여기에서, 오디오 주시 플래그(F13)가 세트되어 있는 경우에는(S1120: YES), S1130에서 오디오 조작 스위치 표시 처리를 실행하고, 오디오 조작 스위치 표시 처리의 종료 후에 S1210으로 이행한다. 오디오 조작 스위치 표시 처리에서는 구체적으로는 우선, S820에서의 검출 결과에 기초하여 오디오 조작 스위치군(132)에서 운전자의 시선이 향해 있는 스위치를 특정한다. 그리고 오디오 조작 스위치 표시 처리에서는 특정한 스위치의 조작에 의해 설정되어 있는 현재의 상황을 나타내는 설정 상황 정보를 내비게이션 ECU(103)로부터 차내 LAN(102)을 통하여 취득하고, 취득한 정보를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
예를 들면, 음량 설정 스위치에 운전자의 시선이 향해 있는 경우에는, 오디오 조작 스위치 표시 처리에서는 현재의 음량을 나타내는 음량 정보를 미터 ECU(105)로부터 취득하고, 취득한 음량 정보를 나타내는 화상을 HUD장치(7)에 표시한다.
또한, 내비게이션 ECU(103)는 오디오 조작 스위치 표시 처리에서 특정된 스위치의 설정 상황 정보가 HUD장치(7)에 의해 표시되어 있는 경우에, 스티어링(ST)(도 14를 참조)에 설치된 스티어링 스위치(161, 162)(도 14를 참조)의 조작에 기초하여, 특정된 스위치의 설정 상황을 변경한다. 예를 들면, 음량 설정 스위치에 운전자의 시선이 향해 있는 경우에는, 음량을 나타내는 화상이 표시 화면 영역(DR)에 표시된다. 그리고 운전자가 스티어링 스위치(161)를 조작하면, 오디오로부터 출력되는 음량이 커지는 것과 함께, 음량이 커지는 화상이 표시 화면 영역(DR)에 표시되고, 반대로 운전자가 스티어링 스위치(162)를 조작하면, 오디오로부터 출력되는 음량이 작아지는 것과 함께, 음량이 서서히 작아지는 화상이 표시 화면 영역(DR)에 표시된다.
한편, 오디오 주시 플래그(F13)가 세트되어 있지 않은 경우에는(S1120: NO), S1140에서 에어컨 주시 플래그(F14)가 세트되어 있는지의 여부를 판단한다. 여기에서, 에어컨 주시 플래그(F14)가 세트되어 있는 경우에는(S1140: YES), S1150에서 에어컨 조작 스위치 표시 처리를 실행하고, 에어컨 조작 스위치 표시 처리의 종료 후에 S1210으로 이행한다. 에어컨 조작 스위치 표시 처리에서는 구체적으로는 우선, S820에서의 검출 결과에 기초하여 에어컨 조작 스위치군(133)에서 운전자의 시선이 향해 있는 스위치를 특정한다. 그리고 에어컨 조작 스위치 표시 처리에서는 특정한 스위치의 조작에 의해 설정되어 있는 현재의 상황을 나타내는 설정 상황 정보를 에어컨 ECU(104)로부터 차내 LAN(102)을 통하여 취득하고, 취득한 정보를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
예를 들면, 온／오프 스위치에 운전자의 시선이 향해 있는 경우에는, 에어컨 조작 스위치 표시 처리에서는 에어컨이 동작 중인지 정지 중인지를 나타내는 온／오프 정보를 에어컨 ECU(104)로부터 취득하고, 취득한 온／오프 정보를 나타내는 화상을 HUD장치(7)에 표시한다.
또한, 에어컨 ECU(104)는 에어컨 조작 스위치 표시 처리에서 특정된 스위치의 설정 상황 정보가 HUD장치(7)에 의해 표시되고 있는 경우에, 스티어링(ST)에 설치된 스티어링 스위치(161, 162)의 조작에 기초하여, 특정된 스위치의 설정 상황을 변경한다. 예를 들면, 온／오프 스위치에 운전자의 시선이 향해 있는 경우에는, 온／오프 정보를 나타내는 화상이 표시 화면 영역(DR)에 표시된다. 그리고 운전자가 스티어링 스위치(161)를 조작하면, 에어컨의 동작／비동작이 전환되는 것과 함께, 에어컨이 동작 중인지 정지 중인지를 나타내는 화상이 표시 화면 영역(DR)에 표시된다.
한편, 에어컨 주시 플래그(F14)가 세트되어 있지 않은 경우에는(S1140: NO), S1160에서 오른쪽 사이드 주시 플래그(F15)가 세트되어 있는지의 여부를 판단한다. 여기에서, 오른쪽 사이드 주시 플래그(F15)가 세트되어 있는 경우에는(S1160: YES), S1170에서 오른쪽 사이드 미러 표시 처리를 실행하고, 오른쪽 사이드 미러 표시 처리의 종료 후에 S1210으로 이행한다. 오른쪽 사이드 미러 표시 처리에서는 구체적으로는 우선, 우측 카메라(111)에 의해 촬영되어 화상 캡처 보드(114)에 기억된 화상 데이터를 화상 캡처 보드(114)로부터 취득한다. 그리고 오른쪽 사이드 미러 표시 처리에서는 화상 캡처 보드(114)로부터 취득한 화상 데이터를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
한편, 오른쪽 사이드 주시 플래그(F15)가 세트되어 있지 않은 경우에는(S1160: NO), S1180에서 왼쪽 사이드 주시 플래그(F16)가 세트되어 있는지의 여부를 판단한다. 여기에서, 왼쪽 사이드 주시 플래그(F16)가 세트되어 있는 경우에는(S1180: YES), S1190에서 왼쪽 사이드 미러 표시 처리를 실행하고, 왼쪽 사이드 미러 표시 처리의 종료 후에 S1210으로 이행한다. 왼쪽 사이드 미러 표시 처리에서는 구체적으로는 우선, 좌측 카메라(112)에 의해 촬영되어 화상 캡처 보드(115)에 기억된 화상 데이터를 화상 캡처 보드(115)로부터 취득한다. 그리고 왼쪽 사이드 미러 표시 처리에서는 화상 캡처 보드(115)로부터 취득한 화상 데이터를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
한편, 왼쪽 사이드 주시 플래그(F16)가 세트되어 있지 않은 경우에는(S1180: NO), S1200에서 리어 뷰 미러 표시 처리를 실행하고, 리어 뷰 미러 표시 처리의 종료 후에 S1210으로 이행한다. 리어 뷰 미러 표시 처리에서는 구체적으로는 우선, 후방 카메라(113)에 의해 촬영되어 화상 캡처 보드(116)에 기억된 화상 데이터를 화상 캡처 보드(116)로부터 취득한다. 그리고 리어 뷰 미러 표시 처리에서는 화상 캡처 보드(116)로부터 취득한 화상 데이터를, 운전자의 시선이 표시 화면 영역(DR)으로 향한 시점으로부터 미리 설정된 화상 표시 시간(예를 들면, 3초)이 경과하기까지 HUD장치(7)에 표시한다.
그리고 S1210으로 이행하면, 표시 지시 플래그(F1)를 클리어하고, 또한 S1220에서 모든 주시 플래그(F11, F12, F13, F14, F15, F16, F17)를 클리어하고, 표시 처리를 일단 종료한다.
이와 같이 구성된 운전 지원 장치(101)에서는 우선, 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상 데이터를 취득하고(S810), 그 후에 취득된 얼굴 화상 데이터를 이용하여 운전자의 시선 방향을 검출하는(S820) 것과 함께, 검출된 시선 방향에 기초하여 내비게이션 장치의 표시 화면(131), 미터부(140), 오디오 조작 스위치군(132), 에어컨 조작 스위치군(133), 차량 우측의 사이드 미러(151), 차량 좌측의 사이드 미러(152) 및 리어 뷰 미러(153) 중 어느 쪽을 운전자가 주시하고 있는지를 판단한다(S860, S890, S920, S950, S980, S1010, S1040).
그리고 시선 방향의 검출 결과에 기초하여 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시했는지의 여부를 판단하고(S830), 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시했다고 판단한 경우에(S830: YES), 운전자가 주시한 영역에 따라서 미리 설정된 내용의 표시 정보의 표시를, 운전자가 시인 가능한 위치에 배치된 표시 화면 영역(DR)을 갖는 HUD장치(7)에 개시시킨다(S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200).
이와 같이 구성된 운전 지원 장치(101)에서는 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시함으로써 운전자가 주시하고 있던 주시 영역에 따라서 미리 설정된 내용의 표시 정보가 운전자에 의해 시인 가능한 위치에 배치된 표시 화면 영역(DR)에 표시된다. 즉, 운전자가 주시하고 있던 주시 영역에 따라서 미리 설정된 내용의 표시 정보를 표시 화면 영역(DR)에 표시하기 위해서는, 운전자가 차량의 어떤 영역을 주시할 뿐만 아니라, 주시한 후에 시선을 표시 화면 영역(DR)으로 향하는 동작을 실시할 필요가 있다. 이 때문에, 단순히 어떤 영역을 주시하고 있는 경우에 주시 영역이 표시 화면 영역(DR)에 표시되는 일은 없어서, 주시 영역에 따른 내용의 표시 정보의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
또, 내비게이션 장치의 표시 화면(131)이 주시 영역 내에 포함되어 있는 경우에(S1080: YES), 내비게이션 장치의 표시 화면(131)에 표시되어 있는 화상을 HUD장치(7)에 표시한다(S1090). 이 때문에, 운전자가 단순히 표시 화면(131)을 주시하고 있는 경우에, 표시 화면(131)에 표시되어 있는 화상이 표시 화면 영역(DR)에 표시되는 일은 없어서, 표시 화면(131)에 표시되어 있는 화상의 표시 화면 영역(DR)으로의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
또, 미터부(140)에 의해 표시되어 있는 차량 상태 정보(예를 들면, 차속)가 주시 영역 내에 포함되어 있는 경우에(S1100: YES), 주시 영역 내에 포함되어 있는 차량 상태 정보를 HUD장치(7)에 표시한다(S1100). 이 때문에, 운전자가 단순히 미터부(140)를 주시하고 있는 경우에, 미터부(140)에 의해 표시되어 있는 차량 상태 정보가 표시 화면 영역(DR)에 표시되는 일은 없어서, 미터부(140)에 의해 표시되어 있는 차량 상태 정보의 표시 화면 영역(DR)으로의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
또, 차량에 탑재된 차량 적재 오디오와 카 에어컨의 동작 상태를 변경할 때에 조작되는 오디오 조작 스위치군(132)과 에어컨 조작 스위치군(133)이, 운전자가 시인 가능한 인스트루먼트 패널부(130)에 배치되고, 오디오 조작 스위치군(132) 및 에어컨 조작 스위치군(133)의 스위치가 주시 영역 내에 포함되어 있는 경우에(S1120: YES, S1140: YES), 주시 영역 내에 포함되어 있는 스위치에 의해 변경 가능한 현재의 동작 상태를 나타내는 정보를 HUD장치(7)에 표시한다(S1130, S1150). 이 때문에, 운전자가 단순히 오디오 조작 스위치군(132) 또는 에어컨 조작 스위치군(133)을 주시하고 있는 경우에, 오디오 조작 스위치군(132) 또는 에어컨 조작 스위치군(133)의 스위치에 의해 변경 가능한 동작 상태를 나타내는 정보가 표시 화면 영역(DR)에 표시되는 일은 없어서, 스위치군(132, 133)의 스위치에 의해 변경 가능한 현재의 동작 상태를 나타내는 정보의 표시 화면 영역(DR)으로의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
또, 카메라(111, 112, 113)는 차량의 후방을 확인하기 위한 미러(151, 152, 153)에 비치는 풍경을 연속하여 촬영해서 차량 후방의 풍경 화상을 취득한다. 그리고 미러(151, 152, 153)가 주시 영역 내에 포함되어 있는 경우에(S1160: YES, S1180: YES, S1180: NO), 카메라(111, 112, 113)에 의해 취득된 풍경 화상을 HUD장치(7)에 표시한다(S1170, S1190, S1200). 이 때문에, 운전자가 단순히 미러(151, 152, 153)를 주시하고 있는 경우에, 카메라(111, 112, 113)에 의해 취득된 풍경 화상이 표시 화면 영역(DR)에 표시되는 일은 없어서, 카메라(111, 112, 113)에 의해 취득된 풍경 화상의 표시 화면 영역(DR)으로의 표시를 운전자가 원할 때에 적절히 실시할 수 있다.
이상 설명한 실시 형태에 있어서, S810의 처리는 얼굴 화상 촬영 수단 및 얼굴 화상 촬영 순서, S820의 처리는 시선 방향 검출 수단 및 시선 방향 검출 순서, S860, S890, S920, S950, S980, S1010, S1040의 처리는 주시 영역 설정 수단 및 주시 영역 설정 순서, S830의 처리는 시선 동작 판단 수단 및 시선 동작 판단 순서, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200의 처리는 표시 개시 수단 및 표시 개시 순서이다.
또, 표시 화면(131)은 차실내 표시 화면, 미터부(140)는 차량 상태 표시 수단, 오디오 조작 스위치군(132) 및 에어컨 조작 스위치군(133)은 조작부, 미러(151, 152, 153)는 차량 적재용 미러, 카메라(111, 112, 113)는 후방 풍경 화상 촬영 수단이다.
(제 7 실시 형태)
이하에, 제 7 실시 형태를 도면과 함께 설명한다. 또한, 제 7 실시 형태에서는 제 6 실시 형태와 다른 부분만을 설명한다.
제 7 실시 형태의 운전 지원 장치(101)는 표시 처리가 변경된 점 이외는 제 6 실시 형태와 같다.
그리고 제 7 실시 형태의 표시 처리는 도 17a 및 도 17b에 나타낸 바와 같이, S835의 처리가 추가된 점 이외는 제 6 실시 형태와 같다.
즉, S830에서 운전자의 시선이 표시 화면 영역(DR)으로 향하고 있는 경우에는(S830: YES), S835에서, S820의 처리에서 추출한 눈의 형상에 기초하여 운전자가 윙크했는지의 여부를 판단한다.
여기에서, 운전자가 윙크한 경우에는(S835: YES), S840으로 이행한다. 한편, 운전자가 윙크하고 있지 않은 경우에는(S835: NO), S1070으로 이행한다.
이와 같이 구성된 운전 지원 장치(101)에서는 취득된 얼굴 화상 데이터를 이용하여 운전자가 윙크했는지의 여부를 판단한다(S835). 그리고 운전 지원 장치(101)는 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시했다고 판단하고(S830: YES), 또한 운전자가 윙크했다고 판단한 경우에(S835: YES), 표시 정보의 표시를 HUD장치(7)에 개시시킨다.
이와 같이 구성된 운전 지원 장치(101)에 있어서, 주시 영역(GR)을 표시 화면 영역(DR)에 표시하기 위해서는, 운전자가 차량 전방의 어떤 영역을 주시할 뿐만 아니라, 주시한 후에 시선을 표시 화면 영역(DR)으로 향하는 동작에 추가하여 윙크를 실시할 필요가 있다. 즉, 주시 영역(GR)의 표시를 운전자가 원하고 있지 않음에도 불구하고, 주시한 후에 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시한 경우에는, 운전자가 윙크를 실시하지 않기 때문에 운전 지원 장치(101)는 표시 정보의 표시를 실시하지 않는다. 이 때문에, 운전 지원 장치(101)는 주시 영역(GR)의 표시를 운전자가 원하는지의 여부를 보다 적절히 판단할 수 있다.
이상 설명한 실시 형태에 있어서, S835의 처리는 윙크 판단 수단이다.
예를 들면, 상기 실시 형태에서는 HUD장치(7)를 이용하여 윈드실드에 화상을 표시하는 것을 나타냈지만, 예를 들면, 액정 표시 장치와 같이 표시 화면을 구비한 것을 차실내의 운전자 전방에 설치하고, 이 표시 화면에 주시 영역 화상을 표시하도록 해도 좋다.
또, 상기 제 2, 3 실시 형태에서는 이동 물체 및 현저 영역을 표시 화면 영역(DR)의 중심에 표시하는 것을 나타냈지만, 표시 화면 영역(DR) 내에 표시되는 이동 물체 및 현저 영역을 사각 등으로 에워싸서 하이라이트 표시함으로써 이동 물체 및 현저 영역의 존재를 인식시키기 쉽게 하도록 해도 좋다.
또, 상기 제 5 실시 형태에서는 운전자가 주시하면 주시 영역 화상 데이터가 보존되는 것을 나타냈지만, 상기 제 1 실시 형태와 같이, 시선을 표시 화면 영역(DR)으로 향하는 동작을 운전자가 실시함으로써 차량 전방의 풍경 중, 운전자가 주시하고 있던 주변의 주시 영역(GR)의 부분이 운전자에 의해 시인 가능한 위치에 배치된 표시 화면 영역(DR)에 표시되었을 때의 주시 영역 화상 데이터만이 보존되도록 해도 좋다. 또, 운전자가 주시하면서 취득 버튼을 누르면 주시 영역 화상 데이터가 보존되도록 해도 좋다.
또, 상기 제 5 실시 형태에서는 차속 센서(9)의 검출 결과에 기초하여 자차량이 정지해 있는지의 여부를 판단하는 것을 나타냈지만, 예를 들면, 시프트 위치가 파킹(P)인 때, 또는 사이드 브레이크가 걸려 있을 때에 자차량이 정지해 있다고 판단하도록 해도 좋다.
또, 상기 제 6 실시 형태에서는 내비게이션 장치의 표시 화면(131)에 표시되어 있는 화상을 HUD장치(7)에 표시시키는 것을 나타냈다. 그러나 차실내에 스마트폰이 설치되어 있는 경우에는, 운전자가 스마트 폰의 표시 화면을 주시하면, 스마트폰의 표시 화면에 표시되어 있는 화상을 HUD장치(7)에 표시시키도록 해도 좋다. 이 경우에는 예를 들면, 내비게이션 장치와 스마트폰의 사이에서 무선 통신이 가능하게 되도록 구성하고, 운전 지원 장치(101)는 스마트폰의 표시 화면에 표시되어 있는 화상을 나타내는 화상 데이터를, 내비게이션 ECU(103)로부터 차내 LAN(102)을 통하여 취득하도록 해도 좋다.
또, 상기 제 6 실시 형태에서는 카메라(111, 112)가 사이드 미러(151, 152)에 설치되어 있는 것을 나타냈지만, 카메라(111, 112)가 차량의 후부에 설치되어 있도록 해도 좋다.
또, 상기 제 6 실시 형태에서는 후방 카메라(113)가 리어 범퍼에 설치되어 있는 것을 나타냈지만, 후방 카메라(113)가 리어 뷰 미러(153)의 부근에 설치되어 있도록 해도 좋다.
또, 상기 제 6 실시 형태에서는 카메라(111, 112, 113)에 의해 촬영된 화상을 HUD장치(7)에 표시시키는 것을 나타냈지만, 우측 카메라(111), 좌측 카메라(112) 및 후방 카메라(113)로 촬영한 화상을 가공함으로써 운전석에 앉아 있는 운전자로부터의 시점에서 우측의 사이드 미러(151), 좌측의 사이드 미러(152) 및 리어 뷰 미러(153)를 본 화상을 표시 화면 영역(DR)에 표시하도록 해도 좋다.
또, 상기 제 6 실시 형태에서는 HUD장치(7)를 이용하여 화상을 표시하는 것을 나타냈지만, 이에 한정되는 것은 아니고, 운전자의 전방에서 화상을 표시할 수 있는 장치(예를 들면, 액정 디스플레이)이면 좋다.
또, 상기 제 6 실시 형태에서는 카메라(111, 112, 113)에 의해 취득된 화상 데이터를 각각 화상 캡처 보드(114, 115, 116)에 기억하는 것을 나타냈지만, 카메라(111, 112, 113)에 의해 취득된 화상 데이터를 하나의 화상 캡처 보드에 기억하도록 해도 좋다.
본 개시는 실시예에 준거하여 기술되었지만, 본 개시는 해당 실시예나 구조에 한정되는 것은 아니라고 이해된다. 본 개시는 여러 가지 변형예나 균등 범위 내의 변형도 포함한다. 덧붙여서, 여러 가지 조합이나 형태, 나아가서는 그들에 1요소만, 그 이상 또는 그 이하를 포함하는 다른 조합이나 형태도 본 개시의 범주나 사상 범위에 들어가는 것이다.

Claims (14)

  1. 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상을 취득하는 얼굴 화상 촬영 수단(S10, S810)과,
    상기 얼굴 화상 촬영 수단에 의해 취득된 얼굴 화상을 이용하여 상기 운전자의 시선 방향을 검출하는 시선 방향 검출 수단(S30, S820)과,
    상기 시선 방향 검출 수단에 의해 검출된 시선 방향에 기초하여 상기 운전자가 주시하고 있는 주시 영역을 설정하는 주시 영역 설정 수단(S90, S860, S890, S920, S950, S980, S1010, S1040)과,
    상기 운전자가 시인 가능한 위치에 배치된 표시 화면을 갖는 표시 수단(7)과,
    상기 시선 방향 검출 수단에 의한 검출 결과에 기초하여 상기 운전자가 시선을 움직이는 동작과 상기 표시 수단에 의한 표시의 개시를 지시하기 위해 미리 설정된 표시 개시 지시 동작이 일치하는지의 여부를 판단하는 시선 동작 판단 수단(S40, S830)과,
    상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치한다고 상기 시선 동작 판단 수단이 판단한 경우에, 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역에 따라서 미리 설정된 내용의 표시 정보의 표시를 상기 표시 수단에 개시시키는 표시 개시 수단(S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200)을 구비하는 것을 특징으로 하는
    운전 지원 장치.
  2. 제1항에 있어서,
    상기 차량 전방의 풍경을 연속하여 촬영해서 풍경 화상을 취득하는 풍경 화상 촬영 수단(S20)을 더 구비하고,
    상기 표시 수단은 상기 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상 중, 미리 설정된 표시 영역 내의 화상을 상기 표시 화면에 표시하고,
    상기 표시 개시 수단은 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역을 상기 표시 영역으로 설정하고, 또한 상기 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상 중, 상기 표시 영역 내의 화상을 상기 표시 정보로 설정하는
    운전 지원 장치.
  3. 제2항에 있어서,
    상기 얼굴 화상 촬영 수단에 의해 취득된 얼굴 화상을 이용하여 상기 운전자가 윙크했는지의 여부를 판단하는 윙크 판단 수단(S120)을 더 구비하고,
    상기 표시 수단은,
    상기 윙크 판단 수단에 의한 판단 결과에 기초하여 상기 표시 영역 내의 화상의 동화상 표시 및 정지 화상 표시 중 어느 하나를 실시하는
    운전 지원 장치.
  4. 제2항에 있어서,
    상기 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상을 이용하여 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역 내에 이동 물체가 존재하는지의 여부를 판단하는 이동 물체 판단 수단(S220, S260)을 구비하고,
    상기 표시 수단은,
    상기 주시 영역 내에 상기 이동 물체가 존재한다고 상기 이동 물체 판단 수단이 판단한 경우에, 상기 표시 영역 내의 화상의 동화상 표시를 실시하는
    운전 지원 장치.
  5. 제4항에 있어서,
    상기 주시 영역 내에 상기 이동 물체가 존재한다고 상기 이동 물체 판단 수단이 판단한 경우에, 상기 표시 화면의 중심에 상기 이동 물체가 위치하도록 상기 표시 영역을 설정하는 제 1 표시 영역 설정 수단(S270)을 구비하는
    운전 지원 장치.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상을 이용하여 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역 내에 현저 영역이 존재하는지의 여부를 판단하는 현저 영역 판단 수단(S360)과,
    상기 주시 영역 내에 상기 현저 영역이 존재한다고 상기 현저 영역 판단 수단이 판단한 경우에, 상기 표시 화면의 중심에 상기 현저 영역이 위치하도록 상기 표시 영역을 설정하는 제 2 표시 영역 설정 수단(S370)을 구비하는
    운전 지원 장치.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 시선 방향 검출 수단에 의해 검출된 시선 방향에 기초하여 상기 운전자가 상기 표시 화면의 둘레 가장자리부를 주시하고 있는지의 여부를 판단하는 주시 판단 수단(S420)과,
    상기 운전자가 상기 표시 화면의 둘레 가장자리부를 주시하고 있다고 상기 주시 판단 수단이 판단한 경우에, 상기 표시 화면의 둘레 가장자리부에 있어서 상기 운전자가 주시하고 있는 점이 상기 표시 화면의 중심에 위치하도록 상기 표시 영역을 설정하는 제 3 표시 영역 설정 수단(S430)을 구비하는
    운전 지원 장치.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상 중, 상기 주시 영역 설정 수단에 의해 설정된 상기 주시 영역 내의 화상을 추출하고, 추출한 화상을 시계열로 보존하는 화상 보존 수단(S510, S520)과,
    상기 화상 보존 수단에 의해 보존된 화상을 표시하는 보존 화상 표시 수단(S630, S700, S730)과,
    상기 얼굴 화상 촬영 수단에 의해 취득된 얼굴 화상을 이용하여 상기 운전자의 얼굴 지향 방향을 검출하는 얼굴 지향 방향 검출 수단(S30)과,
    상기 얼굴 지향 방향 검출 수단에 의해 검출된 얼굴 지향의 방향에 기초하여 상기 보존 화상 표시 수단에 의해 표시되는 화상을 지시하는 표시 지시 수단(S660∼S690, S710∼S720)을 더 구비하는
    운전 지원 장치.
  9. 제1항에 있어서,
    상기 차량의 차실내에 설치된 차량 적재 표시 기기의 표시 화면을 차실내 표시 화면(131)으로 하고,
    상기 표시 개시 수단은 상기 차실내 표시 화면이 상기 주시 영역 내에 포함되어 있는 경우에, 상기 차실내 표시 화면에 표시되어 있는 화상을 상기 표시 정보로 하는
    운전 지원 장치.
  10. 제1항 또는 제9항에 있어서,
    상기 운전자가 시인 가능한 위치에 배치되고, 상기 차량의 상태를 나타내는 차량 상태 정보를 표시하는 차량 상태 표시 수단(140)을 더 구비하고,
    상기 표시 개시 수단은,
    상기 차량 상태 표시 수단에 의해 표시되어 있는 상기 차량 상태 정보가 상기 주시 영역 내에 포함되어 있는 경우에, 상기 주시 영역 내에 포함되어 있는 상기 차량 상태 정보를 상기 표시 정보로 하는
    운전 지원 장치.
  11. 제1항, 제9항 및 제10항 중 어느 한 항에 있어서,
    상기 차량에 탑재된 차량 적재 기기의 동작 상태를 변경할 때에 조작되는 조작부(132, 133)가, 상기 운전자가 시인 가능한 위치에 배치되고,
    상기 표시 개시 수단은,
    상기 조작부가 상기 주시 영역 내에 포함되어 있는 경우에, 상기 차량 적재 기기의 현재의 동작 상태 중, 상기 주시 영역 내에 포함되어 있는 상기 조작부에 의해 변경 가능한 동작 상태를 나타내는 정보를 상기 표시 정보로 하는
    운전 지원 장치.
  12. 제1항, 제9항, 제10항 및 제11항 중 어느 한 항에 있어서,
    상기 차량의 후방을 확인하기 위한 차량 적재용 미러(151, 152, 153)에 비치는 풍경을 연속하여 촬영해서 상기 차량 후방의 풍경 화상을 취득하는 후방 풍경 화상 촬영 수단(111, 112, 113)을 더 구비하고,
    상기 표시 개시 수단은,
    상기 차량 적재용 미러가 상기 주시 영역 내에 포함되어 있는 경우에, 상기 후방 풍경 화상 촬영 수단에 의해 취득된 상기 풍경 화상을 상기 표시 정보로 하는
    운전 지원 장치.
  13. 제1항, 제9항, 제10항, 제11항 및 제12항 중 어느 한 항에 있어서,
    상기 얼굴 화상 촬영 수단에 의해 취득된 얼굴 화상을 이용하여 상기 운전자가 윙크했는지의 여부를 판단하는 윙크 판단 수단(S835)을 구비하고,
    상기 표시 개시 수단은,
    상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치한다고 상기 시선 동작 판단 수단이 판단하고, 또한 상기 운전자가 윙크했다고 상기 윙크 판단 수단이 판단한 경우에, 상기 표시 정보의 표시를 상기 표시 수단에 개시시키는
    운전 지원 장치.
  14. 차량의 운전자의 얼굴을 연속하여 촬영해서 얼굴 화상을 취득하고(S10, S810),
    상기 얼굴 화상을 이용하여 상기 운전자의 시선 방향을 검출하고(S30, S820),
    상기 시선 방향에 기초하여 상기 운전자가 주시하고 있는 주시 영역을 설정하고(S90, S860, S890, S920, S950, S980, S1010, S1040),
    상기 시선 방향을 검출할 때의 검출 결과에 기초하여 상기 운전자가 시선을 움직이는 동작과 표시의 개시를 지시하기 위해 미리 설정된 표시 개시 지시 동작이 일치하는지의 여부를 판단하고(S40, S830),
    상기 운전자가 시선을 움직이는 동작과 상기 표시 개시 지시 동작이 일치하는 경우에, 상기 주시 영역에 따라서 미리 설정된 내용의 표시 정보를, 상기 운전자가 시인 가능한 위치에 배치된 표시 화면에 표시시키는(S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200)
    운전 지원 방법.
KR1020147026530A 2012-03-14 2013-03-08 운전 지원 장치 및 운전 지원 방법 KR101562877B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012057561 2012-03-14
JPJP-P-2012-057561 2012-03-14
JPJP-P-2013-041039 2013-03-01
JP2013041039A JP5630518B2 (ja) 2012-03-14 2013-03-01 運転支援装置
PCT/JP2013/001487 WO2013136740A1 (ja) 2012-03-14 2013-03-08 運転支援装置および運転支援方法

Publications (2)

Publication Number Publication Date
KR20140126401A true KR20140126401A (ko) 2014-10-30
KR101562877B1 KR101562877B1 (ko) 2015-10-23

Family

ID=49160672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026530A KR101562877B1 (ko) 2012-03-14 2013-03-08 운전 지원 장치 및 운전 지원 방법

Country Status (6)

Country Link
US (1) US9317759B2 (ko)
JP (1) JP5630518B2 (ko)
KR (1) KR101562877B1 (ko)
CN (1) CN104169993B (ko)
DE (1) DE112013001472T5 (ko)
WO (1) WO2013136740A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170037369A (ko) * 2015-09-25 2017-04-04 현대모비스 주식회사 운전자의 관심 정보 제공 장치

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5630518B2 (ja) 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP6115278B2 (ja) * 2013-04-16 2017-04-19 株式会社デンソー 車両用表示装置
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
KR20150073269A (ko) * 2013-12-20 2015-07-01 현대자동차주식회사 차량용 클러스터 장치
US9542844B2 (en) * 2014-02-11 2017-01-10 Google Inc. Providing navigation directions in view of device orientation relative to user
DE102014009697B4 (de) 2014-06-26 2024-10-17 Audi Ag Verfahren zum Betreiben eines mobilen Virtual-Reality-Systems in einem Kraftfahrzeug und mobiles Virtual-Reality-System
KR20160033376A (ko) * 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR102270577B1 (ko) * 2014-10-21 2021-06-29 현대모비스 주식회사 차량 외부 영상 출력 제어 장치 및 방법
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
KR101619635B1 (ko) * 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
DE202014009919U1 (de) * 2014-12-15 2016-03-16 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrerassistenzsystem
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
EP3267295B1 (en) * 2015-03-05 2021-12-29 Sony Group Corporation Information processing device, control method, and program
EP3317755B1 (en) * 2015-07-02 2021-10-20 Volvo Truck Corporation An information system for a vehicle
JP6256424B2 (ja) 2015-07-09 2018-01-10 株式会社デンソー 車両用表示装置
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
JP6605615B2 (ja) * 2015-09-28 2019-11-13 京セラ株式会社 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
JP6344417B2 (ja) * 2016-03-18 2018-06-20 トヨタ自動車株式会社 車両用表示装置
CN108883777B (zh) * 2016-03-28 2022-02-01 日本精机株式会社 驾驶辅助系统和显示装置
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
JP6911841B2 (ja) * 2016-05-11 2021-07-28 ソニーグループ株式会社 画像処理装置及び画像処理方法、並びに移動体
IL246129A0 (en) * 2016-06-08 2016-08-31 Sibony Haim A visual display system to prevent accidents with vehicles
KR20200011405A (ko) * 2016-07-01 2020-02-03 아이사이트 모빌 테크놀로지 엘티디 운전자 모니터링을 위한 시스템 및 방법
FR3053480B1 (fr) * 2016-07-04 2018-08-17 Valeo Comfort & Driving Assistance Systeme de presentation d'informations visuelles tete-haute pour conducteur a commande d'activation-desactivation de module de projection, dispositif tete-haute et procede correspondants
CN106295542A (zh) * 2016-08-03 2017-01-04 江苏大学 一种夜视红外图像中的基于显著性的道路目标提取方法
CN109789779B (zh) * 2016-09-16 2022-03-04 富士胶片株式会社 投影型显示装置及其控制方法
EP3299241B1 (en) * 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
US20190387061A1 (en) * 2017-03-07 2019-12-19 Sony Corporation Information processing device, information processing method, and program
US10289197B2 (en) * 2017-05-26 2019-05-14 GM Global Technology Operations LLC Apparatus and method for detecting inappropriate gear selection based on gaze information
CN109212753B (zh) 2017-07-06 2021-01-29 京东方科技集团股份有限公司 可变显示距离的抬头显示系统、抬头显示方法、驾驶设备
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
JP6777060B2 (ja) * 2017-11-15 2020-10-28 オムロン株式会社 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
KR102446387B1 (ko) * 2017-11-29 2022-09-22 삼성전자주식회사 전자 장치 및 그의 텍스트 제공 방법
US10600390B2 (en) * 2018-01-10 2020-03-24 International Business Machines Corporation Displaying a vehicle notification in a location determined based on driver eye gaze direction and other criteria
CN110316066B (zh) * 2018-03-30 2021-05-14 比亚迪股份有限公司 基于车载显示终端的防倒影方法和装置及车辆
CN108888487A (zh) * 2018-05-22 2018-11-27 深圳奥比中光科技有限公司 一种眼球训练系统及方法
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和系统、车载智能系统、电子设备、介质
US10970571B2 (en) 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
CN109109666A (zh) * 2018-09-03 2019-01-01 王宣武 一种汽车前风窗视觉控制系统
DE102018219481A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor
US11703590B2 (en) * 2018-11-19 2023-07-18 Suteng Innovation Technology Co., Ltd. Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same
JP7053437B2 (ja) * 2018-11-26 2022-04-12 本田技研工業株式会社 運転支援装置および車両
CN113170081B (zh) * 2018-12-11 2024-09-24 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
KR20210100608A (ko) 2018-12-11 2021-08-17 소니그룹주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
JP2020112698A (ja) 2019-01-11 2020-07-27 株式会社リコー 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
CN109968979B (zh) * 2019-03-14 2021-12-07 阿波罗智联(北京)科技有限公司 车载投射处理方法、装置、车载设备及存储介质
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
DE102019206749A1 (de) 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Mensch-Maschine-Interaktion in einem Kraftfahrzeug
US11042765B2 (en) * 2019-05-14 2021-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for playing vehicle monitored content in a vehicle
US10885728B1 (en) * 2019-10-02 2021-01-05 William H. Havins Cognitively optimized user interface for motor vehicle
US11106336B2 (en) * 2019-10-02 2021-08-31 William H. Havins Cognitively optimized user interface for static equipment
CN111263133B (zh) * 2020-02-26 2021-10-01 中国联合网络通信集团有限公司 信息处理方法及系统
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160108B2 (ja) * 1993-02-23 2001-04-23 三菱電機株式会社 運転支援システム
JP2001194161A (ja) * 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
JP2001330450A (ja) 2000-03-13 2001-11-30 Alpine Electronics Inc ナビゲーション装置
JP2004061259A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報提供装置、情報提供方法及び情報提供用プログラム
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP4556586B2 (ja) * 2004-09-22 2010-10-06 トヨタ自動車株式会社 運転支援装置
JP2006172215A (ja) 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd 運転支援システム
JP2007178293A (ja) 2005-12-28 2007-07-12 Suzuki Motor Corp 車両用表示装置
JP4894300B2 (ja) * 2006-03-01 2012-03-14 トヨタ自動車株式会社 車載装置調整装置
JP2007263931A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
JP4231884B2 (ja) * 2006-09-27 2009-03-04 株式会社デンソーアイティーラボラトリ 注視対象物検出装置および注視対象物検出方法
JP4935571B2 (ja) 2007-08-08 2012-05-23 株式会社デンソー 運転支援装置
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
JP5187517B2 (ja) * 2008-11-27 2013-04-24 株式会社デンソーアイティーラボラトリ 情報提供装置、情報提供方法およびプログラム
JP2010173530A (ja) * 2009-01-30 2010-08-12 Toyota Motor Corp 走行支援装置
JP2010179850A (ja) 2009-02-06 2010-08-19 Toyota Motor Corp 車両用表示装置
US20120002028A1 (en) * 2010-07-05 2012-01-05 Honda Motor Co., Ltd. Face image pick-up apparatus for vehicle
US8605009B2 (en) * 2010-12-05 2013-12-10 Ford Global Technologies, Llc In-vehicle display management system
JP5630518B2 (ja) 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170037369A (ko) * 2015-09-25 2017-04-04 현대모비스 주식회사 운전자의 관심 정보 제공 장치

Also Published As

Publication number Publication date
WO2013136740A1 (ja) 2013-09-19
DE112013001472T5 (de) 2014-12-04
JP2013218671A (ja) 2013-10-24
JP5630518B2 (ja) 2014-11-26
KR101562877B1 (ko) 2015-10-23
CN104169993B (zh) 2016-05-25
US20150010207A1 (en) 2015-01-08
US9317759B2 (en) 2016-04-19
CN104169993A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
KR101562877B1 (ko) 운전 지원 장치 및 운전 지원 방법
US11181743B2 (en) Head up display apparatus and display control method thereof
US9946078B2 (en) Head-up display device
JP4935571B2 (ja) 運転支援装置
CN102474595B (zh) 图像产生设备和图像显示系统
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
JP6413207B2 (ja) 車両用表示装置
US20160161833A1 (en) Head-up display device
JP4222183B2 (ja) 車両周辺画像表示装置
US20120287282A1 (en) Image processing apparatus, image processing system, and image processing method
JP2008094377A (ja) 車両用表示装置
JP2001084500A (ja) 移動体の走行支援装置
JP2015178297A (ja) ヘッドアップディスプレイ装置
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
US20230001947A1 (en) Information processing apparatus, vehicle, and information processing method
US10040395B2 (en) Vehicular display control apparatus
JP2014072604A (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
JP2004177315A (ja) 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム
US20240020803A1 (en) Display control apparatus, display control method, recording medium, and display system
JP2024112137A (ja) 表示制御装置、表示制御方法、及びプログラム
WO2014155827A1 (ja) 駐車支援装置
US20220129676A1 (en) Information providing method, non-transitory computer readable storage medium storing program, and information providing apparatus
JP2022066080A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び画像の表示制御方法
JP2022131651A (ja) ヘッドアップディスプレイ

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant