JP6464952B2 - 表示制御装置、表示制御プログラム及び表示制御方法 - Google Patents

表示制御装置、表示制御プログラム及び表示制御方法 Download PDF

Info

Publication number
JP6464952B2
JP6464952B2 JP2015154410A JP2015154410A JP6464952B2 JP 6464952 B2 JP6464952 B2 JP 6464952B2 JP 2015154410 A JP2015154410 A JP 2015154410A JP 2015154410 A JP2015154410 A JP 2015154410A JP 6464952 B2 JP6464952 B2 JP 6464952B2
Authority
JP
Japan
Prior art keywords
bird
image
vehicle
eye
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015154410A
Other languages
English (en)
Other versions
JP2017034544A5 (ja
JP2017034544A (ja
Inventor
竜弘 橋本
竜弘 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015154410A priority Critical patent/JP6464952B2/ja
Priority to DE112016003544.6T priority patent/DE112016003544B4/de
Priority to CN201680045639.9A priority patent/CN107925744B/zh
Priority to PCT/JP2016/071003 priority patent/WO2017022457A1/ja
Publication of JP2017034544A publication Critical patent/JP2017034544A/ja
Publication of JP2017034544A5 publication Critical patent/JP2017034544A5/ja
Application granted granted Critical
Publication of JP6464952B2 publication Critical patent/JP6464952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、表示制御装置表示制御プログラム及び表示制御方法に関する。
車両に搭載された車載カメラで車両の周辺における所定の撮影範囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、その鳥瞰変換後の鳥瞰画像を車両内の表示装置に表示させる技術が知られている。
このような技術において、最新の撮影画像の鳥瞰画像と過去の撮影画像の鳥瞰画像とを合成した表示用鳥瞰画像を表示装置に表示することで、車両の周辺の画像表示範囲を広げる技術(履歴合成技術という)がある。この履歴合成技術において、車両の移動とともに表示用鳥瞰画像中の自車両の影が拡大してしまう可能性を低減する技術が知られている(特許文献1参照)。
特許文献1に記載の技術は、車載カメラが車両の後方を撮影するリアカメラであり、車両の後方を前後方向に分割したうちの車両からより離れた方の所定の範囲の画像を保存するためのリアルA領域と、車両により近い方の所定の範囲の画像を保存するためのリアルB領域と、車載カメラの撮影範囲外の鳥瞰画像を保存するための履歴C領域とをメモリ上に設ける。リアルB領域に影がある場合、リアルB領域と同じ範囲の鳥瞰画像を保存するための履歴B領域内の鳥瞰画像が車両の現在の周辺の配置を反映するよう、車両の移動量に基づいて、リアルA領域内に保存された鳥瞰画像を用いて履歴B領域内に鳥瞰画像を構成する。さらに、車両の移動量に基づいて、履歴B領域内に保存された鳥瞰画像を用いて履歴C領域内に鳥瞰画像を構成する。
このような処理を繰り返すことで、影がある場合は、リアルA領域の鳥瞰画像(影のない可能性が高い画像)に基づいて構成された履歴B領域の鳥瞰画像を用いて履歴合成を行うので、履歴C領域内にて自車両の影が拡大してしまう可能性が低減される。
また、影がある場合は、リアルA領域、履歴B領域及び履歴C領域内の鳥瞰画像を繋ぎ合わせることで表示用鳥瞰画像が作成され、影がない場合は、リアルA領域、リアルB領域及び履歴C領域内の鳥瞰画像を繋ぎ合わせることで表示用鳥瞰画像が作成される。
特開2013−246493号公報
履歴合成技術においては、自車両を構成する車両構成物(例えばトレーラを接続するためのトレーラヒッチや自車両のバンパ等)についても前述したような問題が生じ得る。すなわち、車両構成物が車載カメラの撮影範囲内に含まれる場合、表示用鳥瞰画像中の車両構成物が拡大されてしまう可能性がある。この場合にも、特許文献1に記載の技術を車両構成物に対し適用することで、車両構成物のあるリアルB領域に代えて車両構成物のない履歴B領域が用いられるため、車両構成物が拡大する可能性は低減される。しかしながら、履歴B領域内に保存された鳥瞰画像、つまり車両構成物が表示されていない鳥瞰画像並びにリアルA領域及び履歴C領域内の鳥瞰画像を繋ぎ合わせて表示用鳥瞰画像が作成される。そのため、実際は存在する車両構成物が表示用鳥瞰画像中に表示されないことになり
、自車両の表示装置においてドライバが車両構成物を視認できなくなるという問題が生じる。
本発明は、履歴合成技術において、車両の移動とともに表示用鳥瞰画像において車両構成物が拡大してしまう可能性を低減しつつ、車両構成物が車載カメラの撮影範囲に含まれる場合において表示用鳥瞰画像中に車両構成物が表示されるようにすることを目的とする。
本発明の一側面は、車両の周辺における所定の撮影範囲を撮影し、車両内の表示装置に表示する表示制御装置であって、撮影画像取得部と、鳥瞰変換部と、移動量算出部と、履歴画像作成部と、表示用画像作成部と、表示処理部と、を備える。撮影画像取得部は、車両に搭載された車載カメラから撮影画像を繰り返し取得する。鳥瞰変換部は、撮影画像取得部が繰り返し取得した撮影画像に鳥瞰変換を施して、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。移動量算出部は、車両から入力された車両挙動情報に基づいて、車両の移動量を算出する。履歴画像作成部は、鳥瞰変換部により逐次作成される撮影鳥瞰画像の少なくとも一部であるキャプチャ部分を車両の移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する。表示用画像作成部は、最新の撮影鳥瞰画像と履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する。表示処理部は、表示用鳥瞰画像を表示装置に表示させる。車載カメラは、車両を構成する車両構成物が撮影鳥瞰画像に含まれ得る範囲を撮影範囲として撮影する。キャプチャ部分は、車両構成物を含まないように設定される。履歴画像作成部は、移動処理部と、更新処理部と、を備える。移動処理部は、記憶領域に記憶されている履歴鳥瞰画像の車両を基準とした位置を、車両の移動量に基づいて、現在の車両の位置に対応するように変化させる。更新処理部は、記憶領域において履歴鳥瞰画像に最新のキャプチャ部分を上書きすることで、履歴鳥瞰画像を更新する。
また、本発明の別の側面は、車両の周辺における所定の撮影範囲を撮影し、車両内の表示装置に表示する表示制御装置としてコンピュータを機能させるための表示制御プログラムであって、撮影画像取得部、鳥瞰変換部、移動量算出部、履歴画像作成部、表示用画像作成部、及び、表示処理部、としてコンピュータを機能させる。撮影画像取得部は、車両に搭載された車載カメラから撮影画像を繰り返し取得する。鳥瞰変換部は、撮影画像取得部が繰り返し取得した撮影画像に鳥瞰変換を施して、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。移動量算出部は、車両から入力された車両挙動情報に基づいて、車両の移動量を算出する。履歴画像作成部は、鳥瞰変換部により逐次作成される撮影鳥瞰画像の少なくとも一部であるキャプチャ部分を車両の移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する。表示用画像作成部は、最新の撮影鳥瞰画像と履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する。表示処理部は、表示用鳥瞰画像を表示装置に表示させる。車載カメラは、車両を構成する車両構成物が撮影鳥瞰画像に含まれ得る範囲を撮影範囲として撮影する。キャプチャ部分は、車両構成物を含まないように設定される。履歴画像作成部は、移動処理部と、更新処理部と、を備える。移動処理部は、記憶領域に記憶されている履歴鳥瞰画像の車両を基準とした位置を、車両の移動量に基づいて、現在の車両の位置に対応するように変化させる。更新処理部は、記憶領域において履歴鳥瞰画像に最新のキャプチャ部分を上書きすることで、履歴鳥瞰画像を更新する。
このような構成によれば、履歴鳥瞰画像の作成には車両構成物を含まない画像であるキャプチャ部分が用いられ、表示用鳥瞰画像の作成には、当該履歴鳥瞰画像と、車両構成物を含む画像である撮影鳥瞰画像と、が用いられる。つまり、表示用鳥瞰画像は、車両構成物を含まない履歴鳥瞰画像と車両構成物を含む撮影鳥瞰画像とから作成される。したがっ
て、車両の移動とともに表示用鳥瞰画像において車両構成物が拡大してしまう可能性を低減しつつ、表示用鳥瞰画像中に車両構成物が表示されるようにすることができる。
表示制御システムの構成を示すブロック図である。 表示装置に表示される表示用鳥瞰画像を表す図である。 撮影鳥瞰画像にトレーラヒッチが存在する場合のキャプチャ部分の位置を表す図である。 撮影鳥瞰画像にトレーラヒッチが存在しない場合のキャプチャ部分の位置を表す図である。 表示制御処理のフローチャートである。 履歴鳥瞰画像の更新の仕方を表す図である。 表示用鳥瞰画像の構成を表す図である。 車両が回転した場合の履歴領域に記憶された画像の回転のさせ方を表す図である。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。
[1.構成]
図1に示す表示制御システム1は、車両に搭載され、車載カメラ10、表示装置20及びECU(Electronic Control Unit)30を備える。以下では、表示制御システム1が搭載された車両を「自車両」という。
車載カメラ10は、自車両の後端付近に固定して搭載され、自車両の周囲、具体的には、自車両の後方の所定の撮影範囲を繰り返し撮影し、撮影の結果得た撮影画像のデータをECU30へ出力する。本実施形態では、車載カメラ10は、一定時間間隔(例えば、1/30秒周期)で撮影範囲を撮影する。また、ECU30へ出力された撮影画像は、後述するように、ECU30により鳥瞰画像に変換される。
本実施形態では、牽引用のトレーラを接続するための接続具であるトレーラヒッチ52が、自車両の後端部に取り付けられる(図3参照)。車載カメラ10は、自車両の後方におけるトレーラヒッチ52が含まれる範囲、具体的には、撮影画像の鳥瞰画像である撮影鳥瞰画像にトレーラヒッチ52が含まれる範囲を、撮影範囲として撮影するように設置されている。なお、トレーラヒッチ52は、自車両から取り外し可能であり、自車両に常時に取り付けられているわけではない。つまり、トレーラヒッチ52が自車両に取り付けられている場合と取り付けられていない場合、換言すれば、撮影鳥瞰画像内にトレーラヒッチ52が存在する場合と存在しない場合とが想定される。
表示装置20は、種々の画像を表示可能なディスプレイであり、表示された画像を車内のドライバが視認できるような位置に設けられる。本実施形態では、表示装置20には、後述するように、ECU30から入力される鳥瞰画像であって自車両の周辺(車載カメラ10の撮影範囲外も含む範囲)を表す鳥瞰画像(図2の左端部に示す画像であり、以下「表示用鳥瞰画像」という。)が表示される。
ECU30は、入力信号処理部31、画像処理部32、記憶部33及び出力信号処理部34を備える電子制御装置である。
入力信号処理部31は、車載カメラ10から入力された撮影画像を画像処理部32へ出
力するためのインターフェースである。
画像処理部32は、CPU、ROM及びRAM等を構成要素とするマイクロコンピュータを備える。画像処理部32は、ROMに記録されているプログラムに従いCPUが処理を実行することで、撮影画像取得部41、鳥瞰変換部42、移動量算出部43、履歴画像作成部44、表示用画像作成部45及び表示処理部46として機能する。
撮影画像取得部41は、車載カメラ10から入力信号処理部31を介して撮影画像を繰り返し取得する。
鳥瞰変換部42は、撮影画像取得部41が繰り返し取得した撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から(真下又は斜め下に)見下ろす視点の鳥瞰画像に逐次変換する。つまり、鳥瞰変換部42は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。
移動量算出部43は、自車両から入力されたシフトレンジの情報、車速の情報及びステアリング角(又はヨーレート)の情報等を含む車両挙動情報に基づいて、自車両の移動量を算出する。
履歴画像作成部44は、鳥瞰変換部42により逐次作成される撮影鳥瞰画像の一部であるキャプチャ部分を、自車両の移動量に基づいて位置をずらしつつ合成することにより、撮影位置の異なる撮影鳥瞰画像をつなぎ合わせた履歴鳥瞰画像を作成する。撮影鳥瞰画像は、自車両の周囲のうち、自車両の後方における所定の範囲についての最新の状況を表す。これに対し、履歴鳥瞰画像は、最新の状況ではないものの、例えば自車両の側方などのように、撮影鳥瞰画像ではカバーされない自車両の周囲の状況を表すことができる。撮影鳥瞰画像や履歴鳥瞰画像は、記憶部33に記憶される。
ここで、記憶部33には、図3及び図4に示すように、各種鳥瞰画像を記憶するための記憶領域として、リアル領域33a、履歴領域33b及び出力領域33cがあらかじめ確保されている。これらの領域33a〜33cは、記憶部33において別個の独立した領域として確保されているが、図3及び図4では、これらの領域33a〜33cに記憶可能な鳥瞰画像のサイズ、換言すれば、自車両を基準とした鳥瞰画像の位置を理解しやすくするため、重ねて示している。
リアル領域33aは、鳥瞰変換部42により作成された最新の撮影鳥瞰画像を記憶するための領域である。
履歴領域33bは、履歴画像作成部44により作成された履歴鳥瞰画像を記憶するための領域である。履歴領域33bが記憶可能な履歴鳥瞰画像のサイズ(換言すれば、履歴鳥瞰画像により表すことが可能な自車両を中心とする範囲)は、自車両の全周を含む範囲であって自車両の前後左右方向を含む範囲に設定されている。
出力領域33cは、履歴鳥瞰画像と撮影鳥瞰画像とを合成した鳥瞰画像である後述する表示用鳥瞰画像を記憶するための領域である。なお、本実施形態では、履歴領域33bは、出力領域33cと同じ範囲の鳥瞰画像を記憶する。
前述したように、履歴鳥瞰画像は、撮影鳥瞰画像の一部であるキャプチャ部分を合成することにより作成されるが、本実施形態では、撮影鳥瞰画像におけるキャプチャ部分の位置は固定ではない。すなわち、図4に示すように、自車両にトレーラヒッチ52が取り付けられていない場合には、キャプチャ部分51は撮影鳥瞰画像における上端部、換言すれば自車両側の縁部を含む部分に設定される。一方、図3に示すように、自車両にトレーラヒッチ52が取り付けられている場合には、キャプチャ部分51は撮影鳥瞰画像における
上端部よりも下方の部分、具体的にはトレーラヒッチ52を含まない部分に設定される。なお、図3及び図4に示すキャプチャ部分51は、設定される場所に関係なく一定の形状である(つまり形状が固定されている)。本実施形態では、キャプチャ部分51は、自車両の左右方向に伸びた短冊状である。
表示用画像作成部45は、最新の撮影鳥瞰画像と履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する。表示用画像作成部45により作成された表示用鳥瞰画像は、記憶部33の出力領域33cに記憶される。
表示処理部46は、表示用鳥瞰画像を出力信号処理部34を介して表示装置20に表示させる。
以上が画像処理部32の有する機能である。画像処理部32は、後述する表示制御処理(図5)を実行することでこれらの機能を発揮する。
出力信号処理部34は、画像処理部32の表示用画像作成部45により作成された表示用鳥瞰画像を表示装置20へ出力するためのインターフェースである。
[2.処理]
次に、画像処理部32が実行する表示制御処理について、図5のフローチャートを用いて説明する。なお、表示制御処理は、自車両のイグニッションスイッチがオンにされた時点に開始される。
まず、画像処理部32は、S11(Sはステップを表す)で、トレーラヒッチ52にトレーラが接続されているか否かを判定する。本実施形態では、自車両にトレーラヒッチ52が取り付けられている場合において、トレーラ(図示せず)がトレーラヒッチ52に接続されると、自車両内のCAN等の車内LANを介して信号が伝達されるようになっている。画像処理部32は当該信号を検出した場合にトレーラヒッチ52にトレーラが接続されていると判定する。一方、画像処理部32は、当該信号を検出しない場合に、トレーラヒッチ52にトレーラが接続されていないと判定する。なお、トレーラヒッチ52自体が自車両に取り付けられていない場合にも、トレーラヒッチ52にトレーラが接続されていないと判定される。
画像処理部32は、トレーラヒッチ52にトレーラが接続されていると判定している間は(S11:YES)、S11の処理を繰り返し実行し、トレーラヒッチ52にトレーラが接続されていないと判定した場合に(S11:NO)、S12の処理へ移行する。
S12で、画像処理部32は、入力された最新のシフトレンジ情報に基づいて、自車両のシフト位置がリバース(後退位置)であるか否かを判定する(S12)。画像処理部32は、自車両のシフト位置がリバースでないと判定した場合は(S12:NO)、前述したS11の処理を再度実行する。つまり、画像処理部32は、トレーラヒッチ52にトレーラが接続されている場合、又は、シフト位置がリバースでない場合には、S12以降の処理を実行しない。
一方、画像処理部32は、自車両のシフト位置がリバースであると判定した場合(S12:YES)、車載カメラ10から最新の撮影画像を1枚取得する(S13)。
続いて、画像処理部32は、S13で取得した最新の撮影画像に周知の鳥瞰変換を施して、撮影鳥瞰画像を作成する(S14)。画像処理部32は、S14の処理を実行することで、鳥瞰変換部42として機能する。
次に、画像処理部32は、S14で作成した撮影鳥瞰画像にトレーラヒッチ52が存在するか否かを判定する(S15)。本実施形態では、撮影鳥瞰画像に対し画像解析を行い
、トレーラヒッチ52の形状を認識することで当該判定が行われる。
画像処理部32は、撮影鳥瞰画像にトレーラヒッチ52が存在しないと判定した場合は(S15:NO)、隣接部分をキャプチャ部分51として履歴領域33bに記憶する(S16)。ここでいう隣接部分とは、図4に示すように、撮影鳥瞰画像のうちの自車両側の縁部を含む部分である。画像処理部32は、S16の処理を実行するとS18の処理へ移行する。
一方、画像処理部32は、撮影鳥瞰画像にトレーラヒッチ52が存在すると判定した場合は(S15:YES)、遠方部分をキャプチャ部分51として履歴領域33bに記憶する(S17)。ここでいう遠方部分とは、図3に示すように、撮影鳥瞰画像のうちの、トレーラヒッチ52の自車両と反対側の端部よりも自車両から遠方に位置する所定の部分である。本実施形態では、画像処理部32は、撮影鳥瞰画像に対し画像解析を行うことでトレーラヒッチ52の撮影鳥瞰画像における位置及び大きさを算出し、トレーラヒッチ52を含まないように遠方部分、つまりキャプチャ部分51を設定する。具体的には、キャプチャ部分51は、トレーラヒッチ52における自車両と反対側の端部と隣接するように設定される。画像処理部32は、S17の処理を実行するとS18の処理へ移行する。
このようにキャプチャ部分51は、撮影鳥瞰画像にトレーラヒッチ52が存在する場合としない場合とで異なった位置に設定される。
また、後述するように、S13〜S21の処理は、自車両のシフト位置がリバースである間は繰り返し実行される。履歴領域33bに履歴鳥瞰画像が記憶されていない状態(例えば第1周期目の処理)では、S16又はS17の処理は、キャプチャ部分51を履歴鳥瞰画像として記憶する処理となる。一方、履歴領域33bに履歴鳥瞰画像が記憶されている状態(例えば第2周期目以降の処理)では、図6に示すように、履歴領域33bにおいて履歴鳥瞰画像61に最新のキャプチャ部分51を上書きすることで、履歴鳥瞰画像61を更新する処理となる。
また、本実施形態では、S13〜S21の処理が実行される周期が、自車両の移動量と連動している。具体的には、自車両のタイヤが、撮影鳥瞰画像におけるキャプチャ部分51の縦幅(自車両の上下方向に沿った方向の幅。例えば5ピクセル。)の分だけ回転するごとに1周期分の処理が行われる。そのため、履歴領域33bにおいて過去及び最新のキャプチャ部分51が隙間なく並び、履歴鳥瞰画像61に空白(キャプチャ部分51が記憶されていない部分)が生じないようになっている。
S18で、画像処理部32は、出力領域33cにおいて、リアル領域33aに記憶された最新の撮影鳥瞰画像と履歴領域33bに記憶された履歴鳥瞰画像とを合成し、合成した鳥瞰画像である表示用鳥瞰画像を作成する。画像処理部32は、S18の処理を実行することで、表示用画像作成部45として機能する。具体的には、図7に示すように、画像処理部32はまず履歴領域33bに記憶された履歴鳥瞰画像を出力領域33cに記憶する。その後、画像処理部32は、リアル領域33aに記憶された最新の撮影鳥瞰画像を出力領域33cに記憶し、これにより履歴鳥瞰画像61に最新の撮影鳥瞰画像62が上書きされる。なお、本実施形態では、その上に更に自車両画像CGやガイドラインを含む画像63が重畳されて記憶される。
続いて、画像処理部32は、出力領域33cに記憶された表示用鳥瞰画像を出力信号処理部34を介して表示装置20に表示させる(S19)。画像処理部32は、S19の処理を実行することで、表示処理部46として機能する。
次に、画像処理部32は、自車両から入力された車両挙動情報に基づいて、自車両の移
動量(位置及び向きの変化)を算出する(S20)。画像処理部32は、例えば、シフトレンジの情報、車速の情報及びステアリング角(又はヨーレート)など車両挙動情報に基づいて自車両の移動量を算出する。ここでいう移動量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の移動量(つまり撮影画像の取得間隔における移動量)を示す。画像処理部32は、S20の処理を実行することで、移動量算出部43として機能する。
続いて、画像処理部32は、自車両の移動量に基づいて履歴領域33b内で履歴鳥瞰画像を移動させる(S21)。ここで、画像処理部32は、履歴領域33bに記憶されている履歴鳥瞰画像61の自車両を基準とした位置を、自車両の移動量に基づいて、現在の自車両の位置に対応するように変化させる。これにより、図5の処理の開始当初では存在していなかった撮影範囲外の画像が増加する。また、例えば、自車両の移動に回転が含まれている場合は、図8に示すように、自車両の回転量に応じて履歴鳥瞰画像61を回転させる。画像処理部32は、前述したS16、S17及びS21の処理を実行することで、履歴画像作成部44として機能する。画像処理部32は、S21の処理を実行すると前述したS12に戻り、S12以降の処理を繰り返す。
[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)本実施形態では、履歴鳥瞰画像の作成にはトレーラヒッチ52を含まない画像であるキャプチャ部分51が用いられ、表示用鳥瞰画像の作成には、当該履歴鳥瞰画像と、トレーラヒッチ52を含む画像である表示用鳥瞰画像と、が用いられる。つまり、表示用鳥瞰画像は、トレーラヒッチ52を含まない履歴鳥瞰画像とトレーラヒッチ52を含む撮影鳥瞰画像とから作成される。したがって、車両の移動とともに表示用鳥瞰画像においてトレーラヒッチ52が拡大してしまう可能性を低減しつつ、表示用鳥瞰画像中にトレーラヒッチ52が表示されるようにすることができる。
(3b)本実施形態では、画像処理部32により撮影鳥瞰画像にトレーラヒッチ52が存在しないと判定された場合は(S15:NO)、撮影鳥瞰画像のうちの自車両側の縁部を含む部分(隣接部分)にキャプチャ部分51が設定される(S16)。そのため、次の効果を得ることができる。すなわち、表示用鳥瞰画像の下端部には撮影鳥瞰画像が位置し、残りの部分には履歴鳥瞰画像が位置する。また、表示用鳥瞰画像の表示装置20への表示が開始された直後は、表示用鳥瞰画像には履歴鳥瞰画像が現れておらず、自車両が後退するにつれて徐々に履歴鳥瞰画像が現れるようになる。また、キャプチャ部分51の位置から履歴鳥瞰画像が現れ始める。したがって、キャプチャ部分51が隣接部分よりも自車両から離れた位置(表示用鳥瞰画像においてより下方の位置)に設定される場合と比較して、表示装置20への表示用鳥瞰画像の表示が開始された直後において表示用鳥瞰画像中に履歴鳥瞰画像が現れるようになるまでに自車両が移動しなければならない移動量を減らすことができる。
(3c)本実施形態では、画像処理部32は、トレーラヒッチ52にトレーラが接続されているか否かを判定する(S11)。そして、画像処理部32は、トレーラヒッチ52にトレーラが接続されていないと判定した場合に(S11:NO)、表示用鳥瞰画像を表示装置20に表示させ(S18)、トレーラヒッチ52にトレーラが接続されていると判定した場合に(S11:YES)、表示用鳥瞰画像を表示装置20に表示させない。つまり、画像処理部32は、トレーラヒッチ52にトレーラが接続されていると判定した場合は、表示用鳥瞰画像における履歴鳥瞰画像が現れる部分(以下「履歴鳥瞰画像部分」という。)を表示装置20に表示させない。したがって、空白部分を有する見栄えの悪い履歴鳥瞰画像部分が表示装置20に表示されることを抑制することができる。
すなわち、トレーラヒッチ52にトレーラが接続された場合、撮影鳥瞰画像のうちの大部分をトレーラが占めることになる。そのため、本実施形態のようにキャプチャ部分が自車両の左右方向に伸びた短冊状である場合、トレーラ部分を含まないようにキャプチャ部分を設定することが困難となる。また、仮に、短冊状でないキャプチャ部分がトレーラを含まないように設定された場合、一般には表示用鳥瞰像における履歴鳥瞰画像が現れる範囲は画像で埋まらず、空白部分を有する履歴鳥瞰画像部分が表示装置20に表示され得る。それに対し、本実施形態では、トレーラヒッチ52にトレーラが接続された場合、履歴鳥瞰画像部分を含む表示用鳥瞰画像全体が表示装置20に表示されないため、空白部分を含む見栄えの悪い履歴鳥瞰画像部分が表示装置20に表示されることを抑制することができる。
なお、本実施形態では、画像処理部32が表示制御装置の一例に相当し、履歴領域33bが記憶領域の一例に相当し、トレーラヒッチ52が車両構成物の一例に相当し、S11がトレーラ判定部としての処理の一例に相当し、S13が撮影画像取得部としての処理の一例に相当し、S14が鳥瞰変換部としての処理の一例に相当する。また、S15が構成物判定部としての処理の一例に相当し、S16,S17及びS21が履歴画像作成部としての処理の一例に相当し、S16及びS17が更新処理部としての処理の一例に相当し、S18が表示用画像作成部としての処理の一例に相当し、S19が表示処理部としての処理の一例に相当し、S20が移動量算出部としての処理の一例に相当し、S21が移動処理部としての処理の一例に相当する。
[4.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(4a)上記実施形態では、撮影鳥瞰画像に対し画像解析を行い、トレーラヒッチ52の形状を認識することで撮影鳥瞰画像中のトレーラヒッチ52の存否を判定したが、これに限られない。例えば、撮影鳥瞰画像における輝度や色相等に基づきトレーラヒッチ52の存否の判定が行われてもよい。また、例えば、画像解析を行い、連続して取得された複数枚の撮影画像を通して形状が変わらない物を検出したことをもってトレーラヒッチ52を検出したとして判定が行われてもよい。
(4b)上記実施形態では、画像解析によりトレーラヒッチ52の撮影鳥瞰画像における位置及び大きさを算出してトレーラヒッチ52を含まないようにキャプチャ部分51が設定されたが、キャプチャ部分51の設定方法はこれに限られない。
例えば、撮影鳥瞰画像におけるトレーラヒッチ52の有無に応じてキャプチャ部分51が設定されてもよい。具体的には、例えば、トレーラヒッチ52の撮影鳥瞰画像における位置等があらかじめ把握されている場合において、撮影鳥瞰画像にトレーラヒッチ52が存在する場合のキャプチャ部分51の位置を一箇所に固定する。そして、センサやスイッチなどにより撮影鳥瞰画像におけるトレーラヒッチ52の有無を検出し、検出結果に応じて、撮影鳥瞰画像にトレーラヒッチ52が存在する場合の位置と存在しない場合の位置との2箇所の間でキャプチャ部分51の位置を変化させる。このような構成によれば、画像解析によりトレーラヒッチ52の撮影鳥瞰画像における位置等を算出する必要がなくなるため、画像処理部32の処理負荷を軽減することができる。
また、例えば、トレーラヒッチ52の撮影鳥瞰画像における位置等があらかじめ把握されている場合において、撮影鳥瞰画像にトレーラヒッチ52が存在する否かに関係なく、キャプチャ部分51の位置を1箇所に固定してもよい。この場合、キャプチャ部分51は、撮影鳥瞰画像にトレーラヒッチ52が存在する場合におけるトレーラヒッチ52を含ま
ないような位置に設定される。このような構成によれば、画像解析によるトレーラヒッチ52の位置等の算出に加え、撮影鳥瞰画像におけるトレーラヒッチ52の存否の検出(換言すれば撮影鳥瞰画像にトレーラヒッチ52が存在するか否かの判定)も行わなくてよい。そのため、画像処理部32の処理負荷を更に軽減することができる。
(4c)上記実施形態では、キャプチャ部分51は短冊状であったが、キャプチャ部分51の形状はこれに限られない。例えば、上記実施形態よりもキャプチャ部分を広くしてもよい。この場合において、例えば、キャプチャ部分の下端の位置を制限しない、換言すればキャプチャ部分の下端(自車両と反対側の端)と撮影鳥瞰画像の下端とを一致させてもよい。また、例えば、撮影鳥瞰画像のうちの除外部分(トレーラヒッチ52)を除く残りの部分をキャプチャ部分としてもよい。
(4d)上記実施形態では、トレーラヒッチ52にトレーラが接続されているときは表示用鳥瞰画像全体が表示装置20に表示されなかったが、これに限られない。例えば、トレーラヒッチ52にトレーラが接続されているときにおいて撮影鳥瞰画像が表示装置20に表示されてもよい。この場合も、表示用鳥瞰画像の履歴鳥瞰画像部分は表示装置20に表示されない。また、例えば、トレーラヒッチ52にトレーラが接続されているときであっても履歴鳥瞰画像部分が表示装置20に表示されてもよい。
(4e)上記実施形態では、車両構成物として、自車両に取り付けられることで自車両を構成するようになった物(トレーラヒッチ52)を例示したが、これに限られない。例えば、車両構成物は、バンパなど元々自車両の一部を構成する物であって取り外しが想定されていない物でもよい。
また、キャプチャ部分は、車両構成物以外の対象(例えば自車両の影等)も含まないように設定されてもよい。
(4f)上記実施形態では、車載カメラ10は自車両の後端付近に搭載されたが、搭載位置はこれに限られず、例えば、自車両の前部や左又は右の側部に搭載されてもよい。また、自車両には1台の車載カメラ10が搭載されたが、これに限られず、複数台の車載カメラが搭載されてもよい。この場合において、例えば、自車両の前部及び後部のそれぞれに1台(計2台)の車載カメラが搭載されてもよい。また、例えば、自車両の前部、後部及び左右の側部のそれぞれに1台(計4台)の車載カメラが搭載されてもよい。
(4g)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(4h)上述した画像処理部32の他、当該画像処理部32を構成要素とするシステム、当該画像処理部32としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。
1…表示制御システム、10…車載カメラ、20…表示装置、30…ECU、31…入力信号処理部、32…画像処理部、33…記憶領域、33a…リアル領域、33b…履歴領域、33c…出力領域、34…出力信号処理部、41…撮影画像取得部、42…鳥瞰変換部、43…移動量算出部、44…履歴画像作成部、45…表示用画像作成部、46…表
示処理部、51…キャプチャ部分、52…トレーラヒッチ、61…履歴鳥瞰画像、62…撮影鳥瞰画像。

Claims (7)

  1. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)であって、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得部(S13)と、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S14)と、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出部(S20)と、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成部(S16,S17,S21)と、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成部(S18)と、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理部(S19)と、
    を備え、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成部は、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理部(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理部(S16,S17)と、
    を備え、
    前記表示制御装置は、前記撮影鳥瞰画像に前記車両構成物が存在するか否かを判定する構成物判定部(S15)を更に備え、
    前記キャプチャ部分は、前記構成物判定部により前記撮影鳥瞰画像に前記車両構成物が
    存在しないと判定された場合は、前記撮影鳥瞰画像のうちの前記車両側の縁部を含む部分に設定される、表示制御装置。
  2. 請求項1に記載の表示制御装置であって、
    前記車両構成物は、トレーラを接続するためのトレーラヒッチ(52)であり、
    前記トレーラヒッチに前記トレーラが接続されているか否かを判定するトレーラ判定部(S11)を更に備え、
    前記表示処理部は、前記トレーラ判定部により前記トレーラヒッチに前記トレーラが接続されていないと判定された場合に、前記表示用鳥瞰画像を前記表示装置に表示させ、前記トレーラヒッチに前記トレーラが接続されていると判定された場合に、少なくとも前記表示用鳥瞰画像における前記履歴鳥瞰画像が現れた部分を前記表示装置に表示させない、表示制御装置。
  3. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)であって、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得部(S13)と、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S14)と、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出部(S20)と、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成部(S16,S17,S21)と、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成部(S18)と、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理部(S19)と、
    を備え、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成部は、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理部(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理部(S16,S17)と、
    を備え、
    前記車両構成物は、トレーラを接続するためのトレーラヒッチ(52)であり、
    前記表示制御装置は、前記トレーラヒッチに前記トレーラが接続されているか否かを判定するトレーラ判定部(S11)を更に備え、
    前記表示処理部は、前記トレーラ判定部により前記トレーラヒッチに前記トレーラが接続されていないと判定された場合に、前記表示用鳥瞰画像を前記表示装置に表示させ、前記トレーラヒッチに前記トレーラが接続されていると判定された場合に、少なくとも前記表示用鳥瞰画像における前記履歴鳥瞰画像が現れた部分を前記表示装置に表示させない、表示制御装置。
  4. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)としてコンピュータを機能させるための表示制御プログラムであって、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得部(S13)、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S14)、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出部(S20)、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成部(S16,S17,S21)、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成部(S18)、及び、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理部(S19)、
    としてコンピュータを機能させ、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成部は、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理部(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理部(S16,S17)と、
    を備え、
    前記表示制御プログラムは、前記撮影鳥瞰画像に前記車両構成物が存在するか否かを判定する構成物判定部(S15)としてコンピュータを更に機能させ、
    前記キャプチャ部分は、前記構成物判定部により前記撮影鳥瞰画像に前記車両構成物が存在しないと判定された場合は、前記撮影鳥瞰画像のうちの前記車両側の縁部を含む部分に設定される、表示制御プログラム。
  5. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)としてコンピュータを機能させるための表示制御プログラムであって、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得部(S13)、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S14)、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出部(S20)、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成部(S16,S17,S21)、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成部(S18)、及び、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理部(S19)、
    としてコンピュータを機能させ、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成部は、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を
    、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理部(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理部(S16,S17)と、
    を備え、
    前記車両構成物は、トレーラを接続するためのトレーラヒッチ(52)であり、
    前記表示制御プログラムは、前記トレーラヒッチに前記トレーラが接続されているか否かを判定するトレーラ判定部(S11)としてコンピュータを機能させ、
    前記表示処理部は、前記トレーラ判定部により前記トレーラヒッチに前記トレーラが接続されていないと判定された場合に、前記表示用鳥瞰画像を前記表示装置に表示させ、前記トレーラヒッチに前記トレーラが接続されていると判定された場合に、少なくとも前記表示用鳥瞰画像における前記履歴鳥瞰画像が現れた部分を前記表示装置に表示させない、表示制御プログラム。
  6. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)により実行される表示制御方法であって、
    前記表示制御装置が、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得ステップ(S13)と、
    前記撮影画像取得ステップにより繰り返し取得された前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換ステップ(S14)と、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出ステップ(S20)と、
    前記鳥瞰変換ステップにより逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成ステップ(S16,S17,S21)と、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成ステップ(S18)と、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理ステップ(S19)と、
    を実行し、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成ステップは、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理ステップ(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理ステップ(S16,S17)と、
    を含み、
    前記表示制御装置が、前記撮影鳥瞰画像に前記車両構成物が存在するか否かを判定する構成物判定ステップ(S15)を更に実行し、
    前記キャプチャ部分は、前記構成物判定ステップにより前記撮影鳥瞰画像に前記車両構成物が存在しないと判定された場合は、前記撮影鳥瞰画像のうちの前記車両側の縁部を含む部分に設定される、表示制御方法。
  7. 車両の周辺における所定の撮影範囲を撮影し、前記車両内の表示装置(20)に表示する表示制御装置(32)により実行される表示制御方法であって、
    前記表示制御装置が、
    前記車両に搭載された車載カメラ(10)から撮影画像を繰り返し取得する撮影画像取得ステップ(S13)と、
    前記撮影画像取得ステップにより繰り返し取得された前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換ステップ(S14)と、
    前記車両から入力された車両挙動情報に基づいて、前記車両の移動量を算出する移動量算出ステップ(S20)と、
    前記鳥瞰変換ステップにより逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分(51)を前記車両の前記移動量に基づいて位置をずらしつつ合成した履歴鳥瞰画像を作成する履歴画像作成ステップ(S16,S17,S21)と、
    最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示用鳥瞰画像を作成する表示用画像作成ステップ(S18)と、
    前記表示用鳥瞰画像を前記表示装置に表示させる表示処理ステップ(S19)と、
    を実行し、
    前記車載カメラは、前記車両を構成する車両構成物(52)が撮影鳥瞰画像に含まれ得る範囲を前記撮影範囲として撮影し、
    前記キャプチャ部分は、前記車両構成物を含まないように設定され、
    前記履歴画像作成ステップは、
    記憶領域(33b)に記憶されている前記履歴鳥瞰画像の前記車両を基準とした位置を、前記車両の前記移動量に基づいて、現在の前記車両の位置に対応するように変化させる移動処理ステップ(S21)と、
    前記記憶領域において前記履歴鳥瞰画像に最新の前記キャプチャ部分を上書きすることで、前記履歴鳥瞰画像を更新する更新処理ステップ(S16,S17)と、
    を含み、
    前記車両構成物は、トレーラを接続するためのトレーラヒッチ(52)であり、
    前記表示制御装置が、前記トレーラヒッチに前記トレーラが接続されているか否かを判定するトレーラ判定ステップ(S11)を更に実行し、
    前記表示処理ステップは、前記トレーラ判定ステップにより前記トレーラヒッチに前記トレーラが接続されていないと判定された場合に、前記表示用鳥瞰画像を前記表示装置に表示させ、前記トレーラヒッチに前記トレーラが接続されていると判定された場合に、少なくとも前記表示用鳥瞰画像における前記履歴鳥瞰画像が現れた部分を前記表示装置に表示させない、表示制御方法
JP2015154410A 2015-08-04 2015-08-04 表示制御装置、表示制御プログラム及び表示制御方法 Active JP6464952B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015154410A JP6464952B2 (ja) 2015-08-04 2015-08-04 表示制御装置、表示制御プログラム及び表示制御方法
DE112016003544.6T DE112016003544B4 (de) 2015-08-04 2016-07-15 Anzeigesteuerungsvorrichtung, anzeigesteuerungsverfahren und nichtflüchtiges, computerlesbares speichermedium für solche
CN201680045639.9A CN107925744B (zh) 2015-08-04 2016-07-15 显示控制装置、显示控制方法以及存储介质
PCT/JP2016/071003 WO2017022457A1 (ja) 2015-08-04 2016-07-15 表示制御装置、表示制御方法、及び表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015154410A JP6464952B2 (ja) 2015-08-04 2015-08-04 表示制御装置、表示制御プログラム及び表示制御方法

Publications (3)

Publication Number Publication Date
JP2017034544A JP2017034544A (ja) 2017-02-09
JP2017034544A5 JP2017034544A5 (ja) 2017-08-10
JP6464952B2 true JP6464952B2 (ja) 2019-02-06

Family

ID=57944081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015154410A Active JP6464952B2 (ja) 2015-08-04 2015-08-04 表示制御装置、表示制御プログラム及び表示制御方法

Country Status (4)

Country Link
JP (1) JP6464952B2 (ja)
CN (1) CN107925744B (ja)
DE (1) DE112016003544B4 (ja)
WO (1) WO2017022457A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60029335T2 (de) * 1999-10-12 2006-11-16 Matsushita Electric Industrial Co., Ltd., Kadoma Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2007030630A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
EP2683164B1 (en) * 2011-03-02 2017-04-12 Panasonic Intellectual Property Management Co., Ltd. Driving assistance device and towing vehicle
JP6003226B2 (ja) 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5994437B2 (ja) 2012-07-04 2016-09-21 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Also Published As

Publication number Publication date
DE112016003544T5 (de) 2018-04-19
JP2017034544A (ja) 2017-02-09
WO2017022457A1 (ja) 2017-02-09
CN107925744A (zh) 2018-04-17
DE112016003544B4 (de) 2023-07-06
CN107925744B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
JP4681432B2 (ja) 車載周辺画像表示装置
JP5915923B2 (ja) 画像処理装置及び運転支援システム
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
US20200267353A1 (en) Display processing device
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP6464952B2 (ja) 表示制御装置、表示制御プログラム及び表示制御方法
JP2007088577A (ja) 車両周辺画像処理システム
CN108431866B (zh) 显示控制装置以及显示控制方法
JP4685050B2 (ja) 表示装置
JP6519409B2 (ja) 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム
JP6958485B2 (ja) 物体検知装置
JP5602354B2 (ja) 車両周辺監視装置
WO2018143285A1 (ja) 画像表示装置
US10986286B2 (en) Image creation device
JP6464846B2 (ja) 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
CN108353147B (zh) 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
JP6781010B2 (ja) 画像表示装置及び画像処理方法
JP3947117B2 (ja) 車両周辺画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181224

R151 Written notification of patent or utility model registration

Ref document number: 6464952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250