JP6669019B2 - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Download PDF

Info

Publication number
JP6669019B2
JP6669019B2 JP2016175244A JP2016175244A JP6669019B2 JP 6669019 B2 JP6669019 B2 JP 6669019B2 JP 2016175244 A JP2016175244 A JP 2016175244A JP 2016175244 A JP2016175244 A JP 2016175244A JP 6669019 B2 JP6669019 B2 JP 6669019B2
Authority
JP
Japan
Prior art keywords
vehicle
display
frequency
driver
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016175244A
Other languages
English (en)
Other versions
JP2018039394A (ja
Inventor
祐樹 和田
祐樹 和田
拓之 照内
拓之 照内
俊也 遠藤
俊也 遠藤
山崎 武志
武志 山崎
広樹 高橋
広樹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016175244A priority Critical patent/JP6669019B2/ja
Priority to PCT/JP2017/015634 priority patent/WO2018047400A1/ja
Publication of JP2018039394A publication Critical patent/JP2018039394A/ja
Priority to US16/182,710 priority patent/US10715744B2/en
Application granted granted Critical
Publication of JP6669019B2 publication Critical patent/JP6669019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
従来の光学式ルームミラーに代わって、後方カメラで車両の後方周辺領域を撮影し表示装置に表示する技術が知られている。運転者の視点の位置または視点の移動を検出し、検出結果に応じて表示装置に表示する表示範囲の位置を変更する技術が知られている(例えば、特許文献1参照)。
特開2014−045265号公報
従来の光学式ルームミラーでは、運転者が頭部を左右に動かすと、虚像が映し出す範囲が変化するため、実際の鏡の面積より広い範囲を確認することができる。ところが、いわゆる電子ミラーは、従来の光学式ルームミラーと異なり、2次元の映像の実像である。このため、従来の光学式ルームミラーを使用していた運転者は、必要とする情報を得るために視野範囲を変えたいとき、従来通りに無意識に頭部を動かす動作を行うことがある。そこで、運転者の無意識の動作に応じて、運転者が必要とする適切な情報を提供することが望まれる。
本発明は、上記に鑑みてなされたものであって、運転者が必要とする適切な情報を表示することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得部と、前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出部と、前記映像取得部が取得した撮影映像データに対して、前記頻度検出部が検出した頻度が高いほど広い範囲を切出して表示映像データを生成する表示映像データ生成部と、前記表示映像データ生成部が生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御部と、を備えることを特徴とする。
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記表示装置、前記後方カメラ、前記車両の運転者が視野範囲を変えようとする動作を検出する検出部のうち少なくともいずれかとを備えることを特徴とする。
本発明に係る車両用表示制御方法は、車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得ステップと、前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出ステップと、前記映像取得ステップで取得した撮影映像データに対して、前記頻度検出ステップで検出した頻度が高いほど広い範囲を切出して表示映像データを生成する表示映像データ生成ステップと、前記表示映像データ生成ステップで生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御ステップとを含む。
本発明に係るプログラムは、車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得ステップと、前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出ステップと、前記映像取得ステップで取得した撮影映像データに対して、前記頻度検出ステップで検出した頻度が高いほど広い範囲を切出して表示映像データを生成する表示映像データ生成ステップと、前記表示映像データ生成ステップで生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。
本発明によれば、運転者が必要とする適切な情報を表示することができるという効果を奏する。
図1は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図2は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図3は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。 図4は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図5は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図6は、第一実施形態に係る車両用表示システムの第一切出範囲定義テーブルの一例を示す図である。 図7は、第一実施形態に係る車両用表示システムの第一切出範囲定義テーブルの他の例を示す図である。 図8は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図9は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図10は、第一実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図11は、第一実施形態に係る車両用表示システムにおける処理の流れの他の例を示すフローチャートである。 図12は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。 図13は、第二実施形態に係る車両用表示システムの視線センサとリヤビューモニタとを示す概略図である。 図14は、第二実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図15は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。 図16は、第三実施形態に係る車両用表示システムの第二切出範囲定義テーブルの一例を示す図である。 図17は、第三実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図18は、第三実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図19は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図20は、第四実施形態に係る車両用表示システムで検出する運転者の頭部の動きを説明する概略図である。 図21は、第五実施形態に係る車両用表示システムで検出する運転者の頭部の動きを説明する概略図である。 図22は、第五実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。 図23は、第五実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。 図24は、第五実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図25は、車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
以下に添付図面を参照して、本発明に係る車両用表示制御装置10、車両用表示システム1、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
車両用表示システム1は、車両に搭載され、車両後方を撮影した映像を表示する。図1は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図2は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。図3は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。
図1ないし図3に示すように、車両用表示システム1は、後方カメラ2と、リヤビューモニタ(表示装置)3と、センサ(検出部)4と、車両用表示制御装置10とを有する。車両用表示システム1は、運転者の頭部の動きの頻度が高いほど、撮影映像データ100から広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示させる。車両用表示システム1は、運転者の頭部の動きの頻度が低いほど、撮影映像データ100から狭い範囲を切出した表示映像データ130をリヤビューモニタ3に表示させる。
後方カメラ2は、車両の後方に配置され、車両の後方を撮影する。図4は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。図4に示すように、後方カメラ2は、リヤビューモニタ3に表示される範囲を含んだ範囲を撮影する。言い換えると、後方カメラ2は、リヤビューモニタ3に表示されない範囲を含んで撮影している。後方カメラ2は、水平方向の画角が例えば30〜60°、上下方向の画角が例えば5〜20°である。このように、後方カメラ2は、リヤビューモニタ3に表示させる範囲より広い範囲の映像を撮影可能である。そこで、後方カメラ2で撮影された映像は、車両用表示制御装置10の制御部30の表示映像データ生成部33で、リヤビューモニタ3を用いて車両の運転者が適切に後方を認識できるような範囲が切出され、リヤビューモニタ3に表示される。後方カメラ2は、撮影した撮影映像データ100を車両用表示制御装置10の制御部30の映像取得部31へ出力する。
リヤビューモニタ3は、一例としては電子ルームミラーである。リヤビューモニタ3を電子ルームミラーとして用いる場合、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ3は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。
リヤビューモニタ3は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ3は、図1に示すように、車両の運転者前方の、ウィンドシールドSの車幅方向の中央上部に配置されている。リヤビューモニタ3は、図3に示すように、ダッシュボードDの車幅方向の中央上部に配置されていてもよい。
リヤビューモニタ3は、車両用表示制御装置10の制御部30の表示制御部34から出力された映像信号に基づき、車両の後方映像を表示する。例えば、リヤビューモニタ3は、図5に示すような後方映像である表示映像データ110を表示する。図5は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図5に示す表示映像データ110は、通常の切出範囲、言い換えると、従来の光学式ルームミラーで視認される範囲と同等の範囲が表示されている。
図1ないし図3に戻って、センサ4は、リヤビューモニタ3に対する、運転者が視野範囲を変えようとする動作を検出する。本実施形態では、センサ4は、運転者がリヤビューモニタ3に対して頭部を動かす動きを検出する。言い換えると、センサ4は、あたかも、リヤビューモニタ3の設置位置に従来の光学式ルームミラーが設置されているかのように、運転者が視野範囲を変えようと、リヤビューモニタ3の設置位置に対して、頭部を動かす動きを検出する。センサ4は、例えば、画像センサ(カメラ)、赤外線センサ、超音波センサ、温度センサなどの非接触で動きを検出するセンサである。センサ4は、検出結果を頻度検出部32に出力する。
従来の光学式ミラーの視野範囲について説明する。従来の光学式ミラーでは、運転者が従来の光学式ミラーに対して頭部を動かすと、頭部を動かした方向と反対方向に視野範囲が広くなる。より詳しくは、従来の光学式ミラーでは、運転者が従来の光学式ミラーに対して頭部を右方向に動かすと、左方向に視野範囲が広くなる。従来の光学式ミラーでは、運転者が従来の光学式ミラーに対して頭部を左方向に動かすと、右方向に視野範囲が広くなる。従来の光学式ミラーでは、運転者が従来の光学式ミラーに対して頭部を上方向に動かすと、下方向に視野範囲が広くなる。従来の光学式ミラーでは、運転者が従来の光学式ミラーに対して頭部を下方向に動かすと、上方向に視野範囲が広くなる。
図2に戻って、車両用表示制御装置10は、記憶部20と、制御部30とを有する。
記憶部20は、車両用表示制御装置10における各種処理に要するデータおよび各種処理結果を記憶する。記憶部20は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。
第一切出範囲定義テーブル21は、記憶部20に記憶されている。第一切出範囲定義テーブル21は、運転者の頭部の動きの頻度ごとに、撮影映像データ100の切出範囲の広さが定義されている。第一切出範囲定義テーブル21は、運転者の頭部の動きの頻度が高いほど広い範囲を切出し、運転者の頭部の動きの頻度が低いほど狭い範囲を切出すことが定義されている。運転者の頭部の動きの頻度とは、例えば、所定時間当たりの頭部の動きの回数、または、頭部の動きの累積回数で示される。運転者の頭部の動きの頻度が高いとき、運転者は、リヤビューモニタ3に表示されている範囲と異なる範囲を視認しようとしていると推定される。このため、運転者の頭部の動きの頻度が高いとき、撮影映像データ100から通常の切出範囲より広い範囲を切出す。運転者の頭部の動きの頻度が低いとき、運転者は、リヤビューモニタ3に表示されている範囲と異なる範囲を視認しようとしていないと推定される。このため、運転者の頭部の動きの頻度が低いとき、撮影映像データ100から通常の切出範囲を切出す。運転者の頭部の動きがないとき、運転者は、視点をあまり移動させていないと推定される。このため、運転者の頭部の動きがないとき、撮影映像データ100から通常の切出範囲より狭い範囲を切出す。
図6を用いて、第一切出範囲定義テーブル21について説明する。図6は、第一実施形態に係る車両用表示システムの第一切出範囲定義テーブルの一例を示す図である。図6に示す第一切出範囲定義テーブル21では、頭部の動きの頻度が、所定時間当たりの頭部の動きの回数で定義されている。第一切出範囲定義テーブル21には、運転者の頭部の動きの頻度が「10秒間にゼロ」の場合、切出範囲を通常の切出範囲より「狭く」することが定義され、運転者の頭部の動きの頻度が「10秒間に1回以上2回未満」の場合、「通常」の切出範囲と定義され、運転者の頭部の動きの頻度が「10秒間に2回以上」の場合、切出範囲を通常の切出範囲より「広く」することが定義されている。図6に示す第一切出範囲定義テーブル21における、通常の切出範囲より「広く」とは、例えば、通常の切出範囲より切出範囲を20%程度広くすることをいう。図6に示す第一切出範囲定義テーブル21における、通常の切出範囲より「狭く」とは、例えば、通常の切出範囲より切出範囲を20%程度狭くすることをいう。
図7を用いて、第一切出範囲定義テーブル21の他の例について説明する。図7は、第一実施形態に係る車両用表示システムの第一切出範囲定義テーブルの他の例を示す図である。図7に示す第一切出範囲定義テーブル21では、頭部の動きの頻度が、頭部の動きの累積回数で定義されている。頭部の動きの累積回数とは、例えば、数秒程度の短い時間間隔の頭部の動きをカウントする。言い換えると、数秒以上、頭部の動きがないと、カウンタがリセットされる。第一切出範囲定義テーブル21には、運転者の頭部の動きの頻度が「累積ゼロ」の場合、切出範囲を通常の切出範囲より「狭く」することが定義され、運転者の頭部の動きの頻度が「累積1回以上10回未満」の場合、「通常」の切出範囲と定義され、運転者の頭部の動きの頻度が「累積10回以上」の場合、切出範囲を通常の切出範囲より「広く」することが定義されている。図7に示す第一切出範囲定義テーブル21における、通常の切出範囲より「広く」とは、例えば、通常の切出範囲より切出範囲を20%程度広くすることをいう。図7に示す第一切出範囲定義テーブル21における、通常の切出範囲より「狭く」とは、例えば、通常の切出範囲より切出範囲を20%程度狭くすることをいう。
図2に戻って、制御部30は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部30は、映像取得部31と、頻度検出部32と、表示映像データ生成部33と、表示制御部34とを含む。制御部30は、記憶部20に記憶されているプログラムに含まれる命令を実行する。
映像取得部31は、車両の後方を撮影した映像を取得する。映像取得部31が取得する撮影映像データ100は、例えば、毎秒60フレームの画像が連続した映像のデータである。本実施形態では、映像取得部31は、後方カメラ2が出力した撮影映像データ100を取得する。映像取得部31は、取得した撮影映像データ100を表示映像データ生成部33に出力する。
頻度検出部32は、センサ4の検出結果に基づいて、運転者が視野範囲を変えようとする動作の頻度を検出する。本実施形態では、頻度検出部32は、センサ4の検出結果に基づいて、運転者の頭部の動きの頻度を検出する。頻度検出部32は、検出結果を表示映像データ生成部33に出力する。
表示映像データ生成部33は、後方カメラ2からの撮影映像データ100を取得し、リヤビューモニタ3に表示させる表示映像データ110または表示映像データ120または表示映像データ130を生成する。より詳しくは、表示映像データ生成部33は、撮影映像データ100から、リヤビューモニタ3に表示させる範囲を切出す。
表示映像データ生成部33は、運転者の頭部の動きの頻度がゼロ、言い換えると、運転者の頭部の動きがゼロより大きく所定値未満の場合、撮影映像データ100を通常の切出範囲で切り出した、図5に示す表示映像データ110を表示制御部34に出力する。本実施形態では、表示映像データ生成部33は、図4において実線で囲んで示した、撮影映像データ100の中央部を、通常の切出範囲の表示映像データ110として切出す。通常の切出範囲は、あらかじめ記憶部20に記憶されている。表示映像データ生成部33は、切出した表示映像データ110を表示制御部34に出力する。
ここで、通常の切出範囲は、従来の光学式のルームミラーを運転者が正視したときに視認できる範囲である。撮影映像データ100は、従来の光学式のルームミラーを運転者が正視したときには視認できず、視点をずらしたり、角度を調節したりしたときに視認できる範囲とその外側の範囲とを含む。
表示映像データ生成部33は、撮影映像データ100に対して、頻度検出部32が検出した運転者の頭部の動きの頻度が高いほど広い範囲を切出して表示映像データ120を生成し、運転者の頭部の動きの頻度が低いほど狭い範囲を切出して表示映像データ130を生成する。より詳しくは、表示映像データ生成部33は、第一切出範囲定義テーブル21に対応するように、運転者の頭部の動きの頻度に応じて、撮影映像データ100の切出範囲を変えて切出し、表示映像データ120または表示映像データ130を生成し表示制御部34に出力する。
表示映像データ生成部33は、運転者の頭部の動きの頻度が所定値以上の場合、撮影映像データ100を通常の切出範囲より広い範囲で切り出した、図8に示す、表示映像データ120を表示制御部34に出力する。図8は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。表示映像データ120には、通常の切出範囲の表示映像データ110の画角を示す、境界線Lが示されている。運転者は、境界線Lを視認することにより、リヤビューモニタ3に表示されている表示映像データ120が、表示映像データ110に比べて画角が広くなっていることを容易に認識することができる。
表示映像データ生成部33は、運転者の頭部の動きの頻度がゼロの場合、撮影映像データ100を通常の切出範囲より狭い範囲で切り出した、図9に示す、表示映像データ130を表示制御部34に出力する。図9は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。表示映像データ130は、表示映像データ110に比べて画角が狭く、被撮影物が拡大されている。
このように、表示映像データ生成部33は、運転者の頭部の動きの頻度に応じて、運転者が必要とする範囲を含むように切出範囲を変えた、表示映像データ110または表示映像データ120または表示映像データ130を生成する。
表示制御部34は、表示映像データ生成部33が生成した表示映像データ110または表示映像データ120または表示映像データ130をリヤビューモニタ3に表示させる。
次に、図10を用いて、制御部30による処理の流れについて説明する。図10は、第一実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。
図10の処理における前提としては、車両が動作している期間中、リヤビューモニタ3に表示映像データ110が表示されている。また、このような状態において、制御部30は、運転者の頭部の動きの頻度の取得を継続している。より詳しくは、制御部30は、頻度検出部32で、センサ4の検出結果に基づいて、運転者の頭部の動きの頻度を常時監視している。
制御部30は、運転者の頭部の動きの頻度が所定値以上であるか否かを判定する(ステップS11)。より詳しくは、制御部30は、頻度検出部32で検出した運転者の頭部の動きの頻度が、所定値以上であるか否かを判定させる。本実施形態では、所定値を10秒間に2回とする。制御部30は、運転者の頭部の動きの頻度が、所定値以上ではないと判定した場合(ステップS11でNo)、ステップS14に進む。制御部30は、運転者の頭部の動きの頻度が、所定値以上であると判定した場合(ステップS11でYes)、ステップS12に進む。この場合、運転者の頭部の動きの頻度は、10秒間に2回以上に該当する。
制御部30は、広い範囲を切出す(ステップS12)。より詳しくは、制御部30は、表示映像データ生成部33で、撮影映像データ100を通常の切出範囲より広い範囲で切り出した、表示映像データ120を生成する。
制御部30は、リヤビューモニタ3に表示する(ステップS13)。より詳しくは、制御部30は、表示制御部34で、表示映像データ120をリヤビューモニタ3に表示させる。
制御部30は、現在の切出範囲は広い範囲であるか否かを判定する(ステップS14)。より詳しくは、制御部30は、現在の切出範囲が通常の切出範囲より広い範囲である場合(ステップS14でYes)、ステップS15に進む。制御部30は、現在の切出範囲が通常の切出範囲より広い範囲ではない場合(ステップS14でNo)、処理を終了する。
制御部30は、通常範囲を切出す(ステップS15)。より詳しくは、制御部30は、表示映像データ生成部33で、撮影映像データ100を通常の切出範囲で切り出した、表示映像データ110を生成させる。
制御部30は、リヤビューモニタ3に表示する(ステップS16)。より詳しくは、制御部30は、表示制御部34で、表示映像データ110をリヤビューモニタ3に表示させる。
運転者の頭部の動きの頻度が高い、例えば、運転者の頭部の動きの頻度が10秒間に2回以上である場合、運転者はリヤビューモニタ3に表示されている範囲と異なる範囲を視認しようとしていると推測される。このため、制御部30は、通常の切出範囲よりも広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示させる。
例えば、運転者の頭部の動きの頻度が10秒間に2回未満である場合、運転者は現状の視野範囲で違和感がないと推測される。このため、制御部30は、通常の切出範囲を切出した表示映像データ110をリヤビューモニタ3に表示させる。
制御部30は、このような処理を、例えば毎フレームごと、または、所定フレームごとのような所定間隔で繰り返す。
制御部30は、通常の切出範囲よりも広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示させてから、例えば、5秒経過後、通常の切出範囲を切出した表示映像データ110をリヤビューモニタ3に表示させてもよい。
従来の光学式ルームミラーで、運転者が視野範囲を変えようと頭部を動かす動きをして、通常の視野範囲と異なる視野範囲を確認すると、運転者は、数秒程度で元の姿勢に戻ることが多い。これに対して、運転者が視野範囲を継続的に変えたいとき、従来の光学式ルームミラーの向きや角度を調節することで所望の視野範囲を得る。言い換えると、運転者が頭部を動かす動きは、非継続的に視野範囲を変えたい場合が多いと考えられる。このため、通常の切出範囲よりも広い範囲を切出した表示映像データ120は、5秒程度リヤビューモニタ3に表示させればよく、その後は、通常の切出範囲を切出した表示映像データ110をリヤビューモニタ3に表示させることが好ましい。
制御部30による処理の流れは、図11に示すフローチャートに沿った処理であってもよい。図11は、第一実施形態に係る車両用表示システムにおける処理の流れの他の例を示すフローチャートである。図11に示すフローチャートは、図6に示す第一切出範囲定義テーブル21に対応している。ステップS21、ステップS22、ステップS26〜ステップS28は、図10に示すフローチャートのステップS11、ステップS12、ステップS14〜ステップS16と同様の処理を行う。
制御部30は、リヤビューモニタ3に表示する(ステップS23)。より詳しくは、制御部30は、表示制御部34で、表示映像データ120または表示映像データ130をリヤビューモニタ3に表示させる。
制御部30は、運転者の頭部の動きの頻度が10秒間にゼロであるか否かを判定する(ステップS24)。より詳しくは、制御部30は、頻度検出部32で検出した運転者の頭部の動きの頻度が、10秒間にゼロであるか否かを判定させる。制御部30は、運転者の頭部の動きの頻度が、10秒間にゼロではないと判定した場合(ステップS24でNo)、ステップS26に進む。この場合、運転者の頭部の動きの頻度は、10秒間に1回以上2回未満に該当する。制御部30は、運転者の頭部の動きの頻度が、10秒間にゼロであると判定した場合(ステップS24でYes)、ステップS25に進む。ここでいうゼロとは、ステップS21における所定値より小さい値であり、頭部の動きが殆ど無い状態も含む。
制御部30は、狭い範囲を切出す(ステップS25)。より詳しくは、制御部30は、表示映像データ生成部33で、撮影映像データ100を通常の切出範囲より狭い範囲で切り出した、表示映像データ130を生成させる。
運転者の頭部の動きの頻度が低い、例えば、運転者の頭部の動きの頻度が10秒間にゼロである場合、運転者は視点を移動させていないと推測される。このため、制御部30は、通常の切出範囲よりも狭い範囲を切出した表示映像データ130をリヤビューモニタ3に表示させる。
制御部30による処理の流れは、図7に示す第一切出範囲定義テーブル21に対応するフローチャートに沿った処理であってもよい。
上述したように、本実施形態によれば、運転者の頭部の動きの頻度が所定値以上であるとき、リヤビューモニタ3には、通常の切出範囲よりも広い範囲を切出した表示映像データ120が表示される。本実施形態によれば、運転者の頭部の動きの頻度がゼロであるとき、リヤビューモニタ3には、通常の切出範囲よりも狭い範囲を切出した表示映像データ130が表示される。本実施形態によれば、運転者の頭部の動きの頻度がゼロ以上所定値未満であるとき、リヤビューモニタ3には、通常の切出範囲を切出した表示映像データ110が表示される。このように、本実施形態によれば、運転者の無意識の頭部の動きの頻度に応じて、運転者が必要とする適切な情報を表示することができる。これにより、本実施形態によれば、運転者は、車両周辺の確認を適切に行うことができる。
従来の光学式ルームミラーを使用していた運転者は、必要とする情報を得るために視野範囲を変えたいとき、従来通りに無意識に頭部の動作を行うことがある。そこで、本実施形態は、あたかも、リヤビューモニタ3の設置位置に従来の光学式ミラーが設置されているかのように、運転者が視野範囲を変えようと、リヤビューモニタ3の設置位置に対して、無意識に頭部を動かす動きを検出する。本実施形態は、運転者が従来の光学式ルームミラーに対して行っていたような、視野範囲を変えるための、無意識の頭部の動きの頻度に応じて、表示映像データ110または表示映像データ120または表示映像データ130をリヤビューモニタ3に表示することができる。
本実施形態によれば、運転者の頭部の動きの頻度が高い、例えば、市街地走行時には、リヤビューモニタ3に、車両後方のより広い範囲を表示することができる。
本実施形態によれば、運転者の頭部の動きの頻度が低い、例えば、高速道路走行時には、リヤビューモニタ3に、車両後方の狭い範囲を大きく表示することができる。これにより、本実施形態によれば、例えば、運転者の頭部の動きの頻度が低いときには、後方車両との車間距離を容易に把握することができる。また、例えば、運転者の頭部の動きの頻度が低いときには、遠方の後方車両を容易に判別することができる。
本実施形態によれば、運転者の頭部の動きの頻度が所定値以上であるとき、リヤビューモニタ3には、通常の切出範囲よりも広い範囲を切出した表示映像データ120が表示される。そして、例えば、5秒経過後、通常の切出範囲を切出した表示映像データ110をリヤビューモニタ3に表示させるようにすることができる。このため、本実施形態は、運転者が視野範囲を変えたいような動作をしたときに限って、リヤビューモニタ3に表示する情報量を増加させることができる。このように、本実施形態は、リヤビューモニタ3に情報量を増加させた表示映像データ120を表示するタイミングを限定することで、運転者が、リヤビューモニタ3によって行う後方確認に時間を要することを抑制することができる。
[第二実施形態]
図12ないし図14を参照しながら、本実施形態に係る車両用表示システム1Aについて説明する。図12は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図13は、第二実施形態に係る車両用表示システムの視線センサとリヤビューモニタとを示す概略図である。図14は、第二実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。
図12に示すように、車両用表示システム1Aは、基本的な構成は第一実施形態の車両用表示システム1と同様である。以下の説明においては、車両用表示システム1と同様の構成要素は、その詳細な説明を省略する。車両用表示システム1Aは、視線センサ5を有する点、車両用表示制御装置10Aが視線検出部36Aを有する点で、第一実施形態の車両用表示システム1と異なる。車両用表示システム1Aは、制御部30Aにおける処理が第一実施形態の車両用表示システム1と異なる。
車両用表示システム1Aは、後方カメラ2と、リヤビューモニタ3と、センサ4と、視線センサ5と、車両用表示制御装置10Aとを有する。
図13を用いて、視線センサ5について説明する。視線センサ5は、運転者の視線を検出する。視線センサ5は、リヤビューモニタ3の近傍に、運転席と向かい合って配置されている。本実施形態では、視線センサ5は、リヤビューモニタ3の上側に配置されている。視線センサ5は、例えば、一対の赤外カメラ51と、赤外LED群で構成された赤外光発光部52とを含む。本実施形態では、視線センサ5は、赤外光発光部52で運転者の顔方向に赤外光を照射し、一対の赤外カメラ51で撮影する。このようにして赤外カメラ51で撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線がリヤビューモニタ3を向いているか否かを判定することができる。視線センサ5は、同様の機能を有する他の構成であってもよい。視線センサ5は、検出結果を視線検出部36Aに出力する。
視線検出部36Aは、視線センサ5の検出結果に基づいて、運転者の視線がリヤビューモニタ3を向いているか否かを検出する。より詳しくは、視線検出部36Aは、赤外カメラ51で撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とを検出し、運転者の視線がリヤビューモニタ3を向いているか否かを判定する。視線検出部36Aは、検出結果を表示映像データ生成部33に出力する。
次に、図14を用いて、制御部30Aによる処理の流れについて説明する。ステップS32〜ステップS34、ステップS35〜ステップS37は、第一実施形態のステップS11〜ステップS13、ステップS14〜ステップS16と同様の処理を行う。
制御部30は、視線がリヤビューモニタ3方向にあるか否かを判定する(ステップS31)。より詳しくは、制御部30は、視線検出部36Aの検出結果に基づいて、視線がリヤビューモニタ3を向いているか否かを判定する。制御部30は、視線がリヤビューモニタ3を向いていないと判定した場合(ステップS31でNo)、ステップS35に進む。制御部30は、視線がリヤビューモニタ3を向いていると判定した場合(ステップS31でYes)、ステップS32に進む。
上述したように、本実施形態によれば、運転者の視線がリヤビューモニタ3方向にあり、かつ、運転者の頭部の動きの頻度が所定値以上であるとき、広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示することができる。これにより、本実施形態によれば、運転者がリヤビューモニタ3を視認ししている場合に限って、広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示することができる。
[第三実施形態]
図15ないし図19を参照しながら、本実施形態に係る車両用表示システム1Bについて説明する。図15は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。図16は、第三実施形態に係る車両用表示システムの第二切出範囲定義テーブルの一例を示す図である。図17は、第三実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。図18は、第三実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。図19は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
図15に示すように、車両用表示システム1Bは、基本的な構成は第一実施形態の車両用表示システム1と同様である。車両用表示システム1Bは、車両用表示制御装置10Bが車速取得部35Bを有する点で、第一実施形態の車両用表示制御装置10と異なる。車両用表示システム1Bは、制御部30Bにおける処理が第一実施形態の車両用表示システム1と異なる。
第二切出範囲定義テーブル22は、記憶部20に記憶されている。第二切出範囲定義テーブル22は、車速ごとに、撮影映像データ100の切出範囲の広さが定義されている。第二切出範囲定義テーブル22は、車速が低いほど広い範囲を切出すことが定義されている。
図16を用いて、本実施形態の第二切出範囲定義テーブル22の一例について説明する。第二切出範囲定義テーブル22には、車速が「20km/h未満」の場合、切出範囲を通常の切出範囲より「130%広く」することが定義され、車速が「20km/h以上かつ60km/h未満」の場合、切出範囲を通常の切出範囲より「120%広く」することが定義され、車速が「60km/h以上」の場合、切出範囲を通常の切出範囲より「110%広く」することが定義されている。
表示映像データ生成部33Bは、撮影映像データ100から、車速取得部35Bで取得した車速が低いほど、頻度検出部32が検出した頭部の動きの頻度が高いときの切出し範囲を広く切出す。
車速が低いほど、例えば、周囲に多数の他車両や歩行者が多く存在し、運転者は、現状より広範囲の視野範囲を確保したくなると推測される。このため、制御部30は、表示映像データ生成部33Bは、車速が低いほど、撮影映像データ100の切出し範囲を広くする。車速が低速であれば、運転者は、リヤビューモニタ3に広範囲が表示されていても、適切に後方確認をすることができる。
車速取得部35Bは、車両に備えられたCAN(Controller Area Network)に接続されOBD(On Board Diagnosis)IIデータなどを取得することで、車速情報を取得する。車速取得部35Bは、取得した車速情報を表示映像データ生成部33Bに出力する。
次に、図17を用いて、制御部30Bによる処理の流れについて説明する。ステップS41、ステップS48〜ステップS50は、第一実施形態のステップS11、ステップS14〜ステップS16と同様の処理を行う。
制御部30Bは、車速が20km/h未満であるか否かを判定する(ステップS42)。制御部30Bは、車速が20km/h未満であると判定した場合(ステップS42でYes)、ステップS43に進む。制御部30Bは、車速が20km/h未満ではないと判定した場合(ステップS42でNo)、ステップS44に進む。
制御部30Bは、130%広い範囲を切出す(ステップS43)。より詳しくは、制御部30Bは、表示映像データ生成部33Bで、撮影映像データ100を通常の切出範囲より130%広い範囲で切り出した、表示映像データ120Aを生成する。
制御部30Bは、車速が20km/h以上かつ60km/h未満であるか否かを判定する(ステップS44)。制御部30Bは、車速が20km/h以上かつ60km/h未満であると判定した場合(ステップS44でYes)、ステップS45に進む。制御部30Bは、車速が20km/h以上かつ60km/h未満ではないと判定した場合(ステップS44でNo)、ステップS46に進む。
制御部30Bは、120%広い範囲を切出す(ステップS45)。より詳しくは、制御部30Bは、表示映像データ生成部33Bで、撮影映像データ100を通常の切出範囲より120%広い範囲で切り出した、表示映像データ120Bを生成する。
制御部30Bは、110%広い範囲を切出す(ステップS46)。より詳しくは、制御部30Bは、表示映像データ生成部33Bで、撮影映像データ100を通常の切出範囲より110%広い範囲で切り出した、表示映像データ120Cを生成する。
制御部30Bは、リヤビューモニタ3に表示する(ステップS47)。より詳しくは、制御部30は、表示制御部34で、表示映像データ120Aまたは表示映像データ120Bまたは表示映像データ120Cをリヤビューモニタ3に表示させる。
例えば、運転者の頭部の動きの頻度が10秒間に2回以上である場合、運転者は現状より広範囲の視野範囲を確保したいと考えていると推測される。さらに、車速が20km/h未満である場合、制御部30Bは、図18に示す撮影映像データ100から、通常の切出範囲よりも130%広い範囲を切出した、図19に示す表示映像データ120Aをリヤビューモニタ3に表示させる。車速が20km/h以上かつ60km/h未満である場合、制御部30Bは、図18に示す撮影映像データ100から、通常の切出範囲よりも120%広い範囲を切出した表示映像データ120Bをリヤビューモニタ3に表示させる。車速が60km/h以上である場合、制御部30Bは、図18に示す撮影映像データ100から、通常の切出範囲よりも110%広い範囲を切出した表示映像データ120Cをリヤビューモニタ3に表示させる。
例えば、運転者の頭部の動きの頻度が10秒間に2回未満である場合、運転者は現状の視野範囲で違和感がないと推測される。このため、制御部30Bは、図18に示す撮影映像データ100から、通常の切出範囲を切出した表示映像データ110をリヤビューモニタ3に表示させる。
上述したように、本実施形態によれば、運転者の頭部の動きの頻度が所定値以上であるとき、車速が低いほど、広い範囲を切出した表示映像データ120Aまたは表示映像データ120Bまたは表示映像データ120Cがリヤビューモニタ3に表示される。このように、本実施形態によれば、車速に応じて、運転者にとって適切な画角で情報を表示することができる。これにより、本実施形態によれば、運転者は、車両周辺の確認を適切に行うことができる。
[第四実施形態]
図20を参照しながら、本実施形態に係る車両用表示システム1について説明する。図20は、第四実施形態に係る車両用表示システムで検出する運転者の頭部の動きを説明する概略図である。車両用表示システム1は、頻度検出部32が運転者の頭部の右方向または左方向(左右方向)への動きを検出する点で、第一実施形態と異なる。
頻度検出部32は、運転者の頭部の右方向または左方向への動きの頻度を検出する。運転者の頭部の位置に対して、動きの少ない基準位置H0を設定し、基準位置H0を中心として、運転者の両眼の中間位置が右方向へ移動したときを右方向の移動といい、左方向へ移動したときを左方向の移動という。
基準位置H0の設定について説明する。例えば、基準位置H0は、センサ4による運転者の頭部の動きの検出結果から、頭部の動きの少ない位置を特定し基準位置H0としてもよい。または、例えば、基準位置H0は、運転席の位置と運転者の姿勢とリヤビューモニタ3の位置とから、算出してもよい。
センサ4は、運転者の頭部の左右方向の動きを検出する。
頻度検出部32は、センサ4の検出結果に基づいて、運転者の頭部の左右方向の動きの頻度を検出する。
表示映像データ生成部33は、頻度検出部32が検出した運転者の頭部の左右方向の動きの頻度に応じて、運転者が必要とする範囲を含むように、切出範囲を変えた表示映像データ110または表示映像データ120または表示映像データ130を生成する。
上述したように、本実施形態は、運転者の頭部の左右方向の動きを検出するので、運転者が視野範囲を変えようとする動作をより正確に検出することができる。本実施形態によれば、運転者の視野範囲を変えようとする動作と異なる動作によって、リヤビューモニタ3に表示させる映像を切り替えてしまうことを抑制できる。このように、本実施形態によれば、運転者の頭部の左右方向の動きの頻度に応じて、運転者が必要とするより適切な情報を表示することができる。これにより、本実施形態によれば、運転者は、車両周辺の確認をより適切に行うことができる。
[第五実施形態]
図21ないし図24を参照しながら、本実施形態に係る車両用表示システム1について説明する。図21は、第五実施形態に係る車両用表示システムで検出する運転者の頭部の動きを説明する概略図である。図22は、第五実施形態に係る車両用表示システムにおける処理の流れの一例を示すフローチャートである。図23は、第五実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。図24は、第五実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
本実施形態の車両用表示システム1は、制御部30における処理が第一実施形態の車両用表示システム1と異なる。
センサ4は、運転者の頭部の動きと動きの方向とを検出する。本実施形態では、図21に示すように、運転者の頭部の基準位置H0を設定し、基準位置H0における運転者の両眼の中間位置より右側を第一範囲A1、左側を第二範囲A2、上側を第三範囲A3、下側を第四範囲A4とする。センサ4は、運転者の両眼の中間位置の、基準位置H0から第一範囲A1へ向かう方向の移動を、運転者の頭部の右方向の移動として検出する。センサ4は、運転者の両眼の中間位置の、基準位置H0から第二範囲A2へ向かう方向の移動を、運転者の頭部の左方向の移動として検出する。センサ4は、運転者の両眼の中間位置の、基準位置H0から第三範囲A3へ向かう方向の移動を、運転者の頭部の上方向の移動として検出する。センサ4は、運転者の両眼の中間位置の、基準位置H0から第四範囲A4へ向かう方向の移動を、運転者の頭部の下方向の移動として検出する。
頻度検出部32は、センサ4の検出結果に基づいて、運転者の頭部の動きの方向ごとの頻度を検出する。本実施形態では、頻度検出部32は、運転者の頭部の動きを右方向、左方向、上方向、下方向に分けて検出し、方向ごとの動きの頻度を検出する。
表示映像データ生成部33は、車両の運転者の頭部の動きの頻度が多い方向と反対方向に、撮影映像データ100を通常の切出範囲からずらした範囲で切出し、表示映像データ120Dまたは表示映像データ120Eまたは表示映像データ120Fまたは表示映像データ120Gを生成する。表示映像データ生成部33は、撮影映像データ100から逸脱しない範囲で通常の切出範囲をずらす。例えば、表示映像データ生成部33は、撮影映像データ100の通常の切出範囲を、頭部の動きの頻度が多い方向と反対方向に、所定画素分ずらして切出す。
例えば、運転者の頭部の右方向への動きの頻度が所定値以上である場合、運転者は左方向について現状より広範囲の視野範囲を確保したいと考えていると推測される。このため、表示映像データ生成部33は、通常の切出範囲よりも左側が広い表示映像データ120Dを切出す。このように、表示映像データ生成部33は、車両の運転者の頭部の右方向の動きの頻度が多い場合、撮影映像データ100の切出範囲を通常の切出範囲より左方向にずらして切出す。
例えば、運転者の頭部の左方向への動きの頻度が所定値以上である場合、運転者は右方向について現状より広範囲の視野範囲を確保したいと考えていると推測される。このため、表示映像データ生成部33は、通常の切出範囲よりも右側が広い表示映像データ120Eを切出す。このように、表示映像データ生成部33は、車両の運転者の頭部の左方向の動きの頻度が多い場合、撮影映像データ100の切出範囲を通常の切出範囲より右方向にずらして切出す。
例えば、運転者の頭部の上方向への動きの頻度が所定値以上である場合、運転者は下方向について現状より広範囲の視野範囲を確保したいと考えていると推測される。このため、表示映像データ生成部33は、通常の切出範囲よりも下側が広い表示映像データ120Fを切出す。このように、表示映像データ生成部33は、車両の運転者の頭部の上方向の動きの頻度が多い場合、撮影映像データ100の切出範囲を通常の切出範囲より下方向にずらして切出す。
例えば、運転者の頭部の下方向への動きの頻度が所定値以上である場合、運転者は上方向について現状より広範囲の視野範囲を確保したいと考えていると推測される。このため、表示映像データ生成部33は、通常の切出範囲よりも上側が広い表示映像データ120Gを切出す。このように、表示映像データ生成部33は、車両の運転者の頭部の下方向の動きの頻度が多い場合、撮影映像データ100の切出範囲を通常の切出範囲より上方向にずらして切出す。
次に、図22を用いて、制御部30による処理の流れについて説明する。ステップS53、ステップS54〜ステップS56は、第一実施形態のステップS13、ステップS14〜ステップS16と同様の処理を行う。
制御部30は、頭部のいずれかの方向への動きの頻度が所定値以上であるか否かを判定させる(ステップS51)。より詳しくは、制御部30は、頻度検出部32で検出した運転者の頭部の動きの方向ごとの頻度のいずれかが所定値以上であるか否かを判定する。制御部30は、頭部のいずれの方向も動きの頻度が所定値未満であると判定した場合(ステップS51でNo)、ステップS54に進む。制御部30は、頭部のいずれかの方向への動きの頻度が所定値以上であると判断した場合(ステップS51でYes)、ステップS52に進む。
制御部30は、頻度が多い方向と反対方向を広く切出す(ステップS52)。より詳しくは、制御部30は、表示映像データ生成部33で、撮影映像データ100を通常の切出範囲からずらした切出範囲で切出し、表示映像データ120Dまたは表示映像データ120Eまたは表示映像データ120Fまたは表示映像データ120Gを生成する。
図23、図24を用いて、例えば、運転者の頭部が右方向に多く動いた場合について説明する。ステップS51において、制御部30は、頭部の右方向への動きの頻度が所定値以上であると判定する(ステップS51でYes)。そして、ステップS52において、制御部30は、表示映像データ生成部33で、図24に示すように、撮影映像データ100を通常の切出範囲よりも左側へずらした切出範囲で切出し、左側が広い表示映像データ120Dを生成する。
上述したように、本実施形態によれば、撮影映像データ100を、運転者の頭部の動きの頻度が多い方向と反対方向に切出範囲をずらして切出した表示映像データ120Dまたは表示映像データ120Eまたは表示映像データ120Fまたは表示映像データ120Gが表示される。このように、本実施形態によれば、運転者が視認したい方向をより広く表示することで、運転者が必要とする適切な情報を表示することができる。これにより、本実施形態によれば、運転者は、車両周辺の確認を適切に行うことができる。
図示した車両用表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
車両用表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
検出部をセンサとして説明したが、検出部はこれに限定されない。例えば、検出部は、車室内の運転席の近傍に配置されたカメラで撮影された、運転者の映像から、運転者の頭部の動きを検出してもよい。
センサ4は、リヤビューモニタ3に対する、運転者が視野範囲を変えようとする動作を検出すればよく、運転者の頭部の動きを検出するものに限定されない。例えば、センサ4は、運転者の肩の動きや、首の動きを検出してもよい。
センサ4は、運転者の頭部の動きのうち、小さい動きは検出しないようにしてもよい。例えば、センサ4は、運転者の頭部が所定距離以上動いた場合や、所定角度以上動いた場合を検出するようにしてもよい。これにより、車両の振動などで運転者の頭部が動くような場合を、車両の運転者が視野範囲を変えようとする動作として検出することを抑制することができる。
表示制御部34は、通常の切出範囲より広い範囲を切出した表示映像データ120をリヤビューモニタ3に表示するとき、図25に示すように、通常の表示映像データ110より外側の範囲を、所定透明度の半透明で着色して表示してもよい。図25は、車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。これにより、車両用表示システム1は、通常の切出範囲より広い範囲を切出した表示映像データ120を表示していることを容易に確認することができる。これにより、運転者は、リヤビューモニタ3に表示されている表示映像データ120が、表示映像データ110に比べて画角が広くなっていることを容易に認識することができる。
1 車両用表示システム
2 後方カメラ
3 リヤビューモニタ(表示装置)
4 センサ(検出部)
10 車両用表示制御装置
30 制御部
31 映像取得部
32 頻度検出部
33 表示映像データ生成部
34 表示制御部
100 撮影映像データ
110 表示映像データ

Claims (12)

  1. 車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得部と、
    前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出部と、
    前記映像取得部が取得した撮影映像データに対して、前記頻度検出部が検出した動作の頻度が高くなった場合、前記動作の頻度が高くなってから所定期間、前記動作の頻度が高くなる前より広い範囲を切出して表示映像データを生成する表示映像データ生成部と、
    前記表示映像データ生成部が生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御部と、
    を備えることを特徴とする車両用表示制御装置。
  2. 前記表示映像データ生成部は、前記映像取得部が取得した撮影映像データに対して、前記動作の頻度が高いほど広い範囲を切出して表示映像データを生成する、請求項1に記載の車両用表示制御装置。
  3. 前記表示映像データ生成部は、前記映像取得部が取得した撮影映像データに対して、前記動作の頻度が低いほど狭い範囲を切出して表示映像データを生成する、請求項1に記載の車両用表示制御装置。
  4. 前記頻度検出部は、前記動作の頻度として、運転者の頭部の動きの頻度を検出する、請求項1から3のいずれか一項に記載の車両用表示制御装置。
  5. 前記頻度検出部は、前記車両の運転者の頭部の横方向の動きの頻度を検出する、請求項に記載の車両用表示制御装置。
  6. 前記頻度検出部は、前記車両の運転者の頭部の位置に対して、動きの少ない基準位置を設定し、前記基準位置を中心とした左右方向の動きを横方向の動きとして頻度を検出する、請求項に記載の車両用表示制御装置。
  7. 前記頻度検出部は、前記車両の運転者の頭部の動きの方向ごとの頻度を検出し、
    前記表示映像データ生成部は、前記車両の運転者の頭部の動きの頻度が多い方向と反対方向に、前記映像取得部が取得した撮影映像データの切出範囲をずらして切出す請求項1から3のいずれか一項に記載の車両用表示制御装置。
  8. 前記車両の運転者の視線方向を検出する視線検出部、を備え、
    前記表示映像データ生成部は、前記映像取得部が取得した撮影映像データに対して、前記視線検出部が検出した前記運転者の視線方向が前記表示装置を向いた状態で前記頻度検出部が検出した頻度が高いほど広い範囲を切出して表示映像データを生成する、
    請求項1からのいずれか一項に記載の車両用表示制御装置。
  9. 前記車両の車速を取得する車速取得部、を備え、
    前記表示映像データ生成部は、前記車速取得部が取得した車速が低いほど、前記頻度検出部が検出した頻度が高いときの切出し範囲を広く切出す、請求項1からのいずれか一項に記載の車両用表示制御装置。
  10. 請求項1からのいずれか一項に記載の車両用表示制御装置と、
    前記表示装置、前記後方カメラ、前記車両の運転者が視野範囲を変えようとする動作を検出する検出部のうち少なくともいずれかと
    を備える車両用表示システム。
  11. 車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得ステップと、
    前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出ステップと、
    前記映像取得ステップで取得した撮影映像データに対して、前記頻度検出ステップで検出した動作の頻度が高くなった場合、前記動作の頻度が高くなってから所定期間、前記動作の頻度が高くなる前より広い範囲を切出して表示映像データを生成する表示映像データ生成ステップと、
    前記表示映像データ生成ステップで生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御ステップと、
    を含むことを特徴とする車両用表示制御方法。
  12. 車両の後方を撮影する後方カメラからの撮影映像データを取得する映像取得ステップと、
    前記車両の運転者前方に設置された表示装置に対する、前記車両の運転者が視野範囲を変えようとする動作の頻度を検出する頻度検出ステップと、
    前記映像取得ステップで取得した撮影映像データに対して、前記頻度検出ステップで検出した動作の頻度が高くなった場合、前記動作の頻度が高くなってから所定期間、前記動作の頻度が高くなる前より広い範囲を切出して表示映像データを生成する表示映像データ生成ステップと、
    前記表示映像データ生成ステップで生成した表示映像データを、前記車両の運転者前方に設置された表示装置に表示させる表示制御ステップと、
    を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
JP2016175244A 2016-09-08 2016-09-08 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Active JP6669019B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016175244A JP6669019B2 (ja) 2016-09-08 2016-09-08 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
PCT/JP2017/015634 WO2018047400A1 (ja) 2016-09-08 2017-04-18 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US16/182,710 US10715744B2 (en) 2016-09-08 2018-11-07 Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016175244A JP6669019B2 (ja) 2016-09-08 2016-09-08 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018039394A JP2018039394A (ja) 2018-03-15
JP6669019B2 true JP6669019B2 (ja) 2020-03-18

Family

ID=61562238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016175244A Active JP6669019B2 (ja) 2016-09-08 2016-09-08 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Country Status (3)

Country Link
US (1) US10715744B2 (ja)
JP (1) JP6669019B2 (ja)
WO (1) WO2018047400A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3793191A4 (en) * 2018-05-08 2021-04-14 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM
JP6921316B2 (ja) * 2018-05-16 2021-08-18 三菱電機株式会社 車両用画像処理装置および画像処理方法
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
KR20200132569A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
WO2021192373A1 (ja) * 2020-03-27 2021-09-30 株式会社Jvcケンウッド 表示制御装置、表示制御方法およびプログラム
JP7459607B2 (ja) * 2020-03-27 2024-04-02 株式会社Jvcケンウッド 表示制御装置、表示制御方法およびプログラム
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
WO2022192663A1 (en) * 2021-03-12 2022-09-15 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4211501B2 (ja) * 2003-06-11 2009-01-21 日産自動車株式会社 車両用運転支援装置
JP2008018760A (ja) * 2006-07-11 2008-01-31 Honda Motor Co Ltd 運転支援装置
JP2010179850A (ja) * 2009-02-06 2010-08-19 Toyota Motor Corp 車両用表示装置
US8063786B2 (en) * 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
JP6072470B2 (ja) 2012-08-24 2017-02-01 京セラ株式会社 車載撮像システム
KR102027771B1 (ko) * 2013-01-31 2019-10-04 한국전자통신연구원 차량 속도 적응형 장애물 검출 장치 및 방법
US20140267727A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. Systems and methods for determining the field of view of a processed image based on vehicle information
US9809169B1 (en) * 2013-03-15 2017-11-07 Mouhamad A. Naboulsi Safety control system for vehicles
EP2821308B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation Vehicle system for control of vehicle safety parameters, a vehicle and a method for controlling safety parameters
US9123251B2 (en) * 2013-08-20 2015-09-01 Ford Global Technologies, Llc. Image system for automotive safety applications
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
KR101632009B1 (ko) * 2014-11-26 2016-06-21 엘지전자 주식회사 전자기기 및 그것의 제어방법
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体

Also Published As

Publication number Publication date
WO2018047400A1 (ja) 2018-03-15
US20190075253A1 (en) 2019-03-07
JP2018039394A (ja) 2018-03-15
US10715744B2 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US10288882B2 (en) Head mounted display device
US9639990B2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP5099451B2 (ja) 車両周辺確認装置
US10647201B2 (en) Drive assist device and drive assist method
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP5093611B2 (ja) 車両周辺確認装置
CN108621940B (zh) 车辆的显示系统及车辆的显示系统的控制方法
US20160221502A1 (en) Cognitive displays
US10227002B2 (en) Vehicle display system and method of controlling vehicle display system
JP2015114757A (ja) 情報処理装置、情報処理方法及びプログラム
TWI522257B (zh) 車用安全系統及其運作方法
JP2006338594A (ja) 歩行者認識装置
JP2016210212A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP6805716B2 (ja) 表示装置、表示方法、プログラム
JP2018121287A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR20180129044A (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP6384138B2 (ja) 車両用表示装置
JP6315427B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JP2017138645A (ja) 視線検出装置
JP5831331B2 (ja) 車両の後側方撮影装置
JP2020113066A (ja) 映像処理装置、映像処理方法、およびプログラム
JP6415968B2 (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6669019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150