JP6493143B2 - 表示制御装置及び表示制御プログラム - Google Patents

表示制御装置及び表示制御プログラム Download PDF

Info

Publication number
JP6493143B2
JP6493143B2 JP2015203731A JP2015203731A JP6493143B2 JP 6493143 B2 JP6493143 B2 JP 6493143B2 JP 2015203731 A JP2015203731 A JP 2015203731A JP 2015203731 A JP2015203731 A JP 2015203731A JP 6493143 B2 JP6493143 B2 JP 6493143B2
Authority
JP
Japan
Prior art keywords
vehicle
bird
image
processing unit
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015203731A
Other languages
English (en)
Other versions
JP2017076890A (ja
Inventor
圭史 冨山
圭史 冨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015203731A priority Critical patent/JP6493143B2/ja
Priority to DE112016004694.4T priority patent/DE112016004694B4/de
Priority to CN201680060479.5A priority patent/CN108353147B/zh
Priority to PCT/JP2016/080101 priority patent/WO2017065132A1/ja
Publication of JP2017076890A publication Critical patent/JP2017076890A/ja
Application granted granted Critical
Publication of JP6493143B2 publication Critical patent/JP6493143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、表示制御装置及び表示制御プログラムに関する。
車両に搭載された車載カメラで車両の周辺における所定の撮影範囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、その鳥瞰変換後の鳥瞰画像を車両内の表示装置に表示させる技術が知られている。
このような技術において、最新の撮影画像の鳥瞰画像と過去の撮影画像の鳥瞰画像とを合成した合成鳥瞰画像を表示装置に表示することで、車両の周辺の画像表示範囲を広げる技術である履歴合成技術がある。この履歴合成技術では、過去の撮影画像に基づく合成鳥瞰画像の車両を基準とした位置を、車両の移動量に基づいて変化させつつ、最新の撮影画像の鳥瞰画像を上書きして合成鳥瞰画像を更新する。このように、車両の移動に伴い合成鳥瞰画像の位置を変化させることで、最新の撮影画像の鳥瞰画像よりも広い範囲、例えば車両を中心とする一定範囲を表す鳥瞰画像を表示装置に表示させることができる。ここで、車両の移動量の算出には、特許文献1に記載のように、車両から得られる車速信号等が用いられる。
特許第4156214号公報
前述した車速信号としては、通常、車両のタイヤの回転量を検出するセンサである回転量センサによる検出結果である検出回転量、具体的には車速パルスの数が使用される。しかしながら、検出回転量に基づく車両の移動量に基づき合成鳥瞰画像の位置を変化させた場合、次のような問題が生じ得る。
(1)空転について
例えば凍結した路面においては、タイヤが回転してもタイヤの回転量に相当する量だけ車両が移動しない場合、つまりタイヤが空転する場合がある。
タイヤが空転する場合として、タイヤが回転しても車両が全く移動しない場合を考えると、車両の実際の位置は変わらないため、表示装置に表示された合成鳥瞰画像のうちの最新の撮影画像の鳥瞰画像が現れている部分であるリアル部分は変化しない。その一方で、検出回転量に基づく車両の移動量は車両が移動していることを示すため、表示装置に表示された合成鳥瞰画像のうち過去の撮影画像の鳥瞰画像が現れている部分である履歴部分の画像の位置は変化する。
したがって、例えば、リアル部分に路上の障害物や道路標示等が存在する場合において当該障害物等の方向にタイヤが空転しているときは、障害物等は依然としてリアル部分に表示されるが、障害物等が存在しない履歴部分にも表示されてしまう。
このように、検出回転量に基づく車両の移動量に基づき合成鳥瞰画像の位置を変化させる構成では、タイヤの空転が発生すると、履歴部分が不適切な画像が表示装置に表示されてしまうことがある。
(2)滑走について
例えば車両が高速で走行している場合において急にブレーキがかけられたときは、タイヤの回転量に相当する量よりも車両が大きく移動する場合、つまり車両が滑走する場合がある。
車両が滑走する場合として、例えばタイヤがロックされて全く回転しなくなった後も車両が移動する場合を考えると、車両の実際の位置が変わるため、合成鳥瞰画像のリアル部分は変化する。その一方で、検出回転量に基づく車両の移動量は車両が移動していないことを示すため、履歴部分の画像の位置は変わらない。
したがって、例えば、リアル部分に路上の障害物等が存在する場合において車両が当該障害物等の方向へ滑走したときは、リアル部分から障害物等が表示されなくなる一方、障害物等が存在するはずの履歴部分にも表示されない。
このように、検出回転量に基づく車両の移動量に基づき合成鳥瞰画像の位置を変化させる構成では、車両が滑走した場合にも、履歴部分が不適切な画像が表示装置に表示されてしまうことがある。
本発明は、検出回転量に基づく車両の移動量に基づき合成鳥瞰画像の位置を変化させる履歴合成技術において、車両のタイヤの空転及び車両の滑走の少なくとも一方が発生した場合にも適切な画像を表示装置に表示することを目的とする。
本発明の一側面は、車両の周辺における所定の範囲の撮影画像を車両内の表示装置(40)に表示する表示制御装置(33,34,70,81)であって、撮影画像取得部(S11,S31,S62)と、鳥瞰変換部(S34,S39,S65,S70)と、合成作成部(S35,S36,S40,S41,S66,S67,S71,S72)と、表示処理部(S37,S38,S42,S43,S68,S69,S73,S74)と、一致判定部(S14,S16,S20,S53,S54,57)と、を備える。撮影画像取得部は、車両に搭載された車載カメラから撮影画像を繰り返し取得する。鳥瞰変換部は、撮影画像取得部が繰り返し取得した撮影画像に鳥瞰変換を施して、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。合成作成部は、鳥瞰変換部により逐次作成される撮影鳥瞰画像を位置をずらしつつ合成した鳥瞰画像である合成鳥瞰画像を作成する。表示処理部は、合成鳥瞰画像を表示装置に表示させる。一致判定部は、車両のタイヤの回転量を検出するセンサである回転量センサ(21)による検出結果である検出回転量に基づく車両の移動量である第1移動量と、車両のタイヤの回転量以外の情報であって車両の移動の影響を受ける情報である移動情報に基づく車両の移動量である第2移動量と、が一致しているか否かを判定する。合成作成部は、移動処理部(S35,S40,S66,S71)と、更新処理部(S36,S41,S67,S72)と、を備える。移動処理部は、記憶領域に記憶されている合成鳥瞰画像の車両を基準とした位置である車両基準位置を、第1移動量に基づき、現在の車両の位置に対応するように変化させる。更新処理部は、記憶領域において合成鳥瞰画像に最新の撮影鳥瞰画像を上書きすることで、合成鳥瞰画像を更新する。移動処理部は、一致判定部により第1移動量と第2移動量とが一致していないと判定された場合に、第1移動量に代えて第2移動量に基づき車両基準位置を変化させる。
また、本発明の別の側面は、車両の周辺における所定の範囲の撮影画像を車両内の表示装置(40)に表示する表示制御装置(33,34,70,81)としてコンピュータを機能させるための表示制御プログラムであって、撮影画像取得部(S11,S31,S62)、鳥瞰変換部(S34,S39,S65,S70)、合成作成部(S35,S36,S40,S41,S66,S67,S71,S72)、表示処理部(S37,S38,S42,S43,S68,S69,S73,S74)、及び、一致判定部(S14,S16,S20,S53,S54,57)、としてコンピュータを機能させる。撮影画像取得部は、車両に搭載された車載カメラから撮影画像を繰り返し取得する。鳥瞰変換部は、撮影画像取得部が繰り返し取得した撮影画像に鳥瞰変換を施して、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。合成作成部は、鳥瞰変換部により逐次作成される撮影鳥瞰画像を位置をずらしつつ合成した鳥瞰画像である合成鳥瞰画像を作成する。表示処理部は、合成鳥瞰画像を表示装置に表示させる。一致判定部は、車両のタイヤの回転量を検出するセンサである回転量センサ(21)による検出結果である検出回転量に基づく車両の移動量である第1移動量と、車両のタイヤの回転量以外の情報であって車両の移動の影響を受ける情報である移動情報に基づく車両の移動量である第2移動量と、が一致しているか否かを判定する。合成作成部は、移動処理部(S35,S40,S66,S71)と、更新処理部(S36,S41,S67,S72)と、を備える。移動処理部は、記憶領域に記憶されている合成鳥瞰画像の車両を基準とした位置である車両基準位置を、第1移動量に基づき、現在の車両の位置に対応するように変化させる。更新処理部は、記憶領域において合成鳥瞰画像に最新の撮影鳥瞰画像を上書きすることで、合成鳥瞰画像を更新する。移動処理部は、一致判定部により第1移動量と第2移動量とが一致していないと判定された場合に、第1移動量に代えて第2移動量に基づき車両基準位置を変化させる。
このような構成によれば、車両のタイヤの空転及び車両の滑走の少なくとも一方が発生した場合にも適切な画像が表示装置に表示されるようにすることができる。すなわち、履歴部分が不適切な画像は、空転及び滑走の少なくとも一方が発生した場合にも第1移動量に基づき合成鳥瞰画像の車両基準位置が変化されることにより表示される。また、空転及び滑走の少なくとも一方が発生すると第1移動量と第2移動量とは一致しない。したがって、第1移動量と第2移動量とが一致しないと判定された場合に第1移動量以外の自車両の移動量である第2移動量に基づき合成鳥瞰画像の車両基準位置を変化させることで、空転及び滑走の少なくとも一方が発生した場合にも適切な画像が表示装置に表示されるようにすることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
第1実施形態の表示制御システムの構成を示すブロック図である。 第1実施形態の空転滑走判定処理のフローチャートである。 第1実施形態の表示制御処理のフローチャートである。 車両が後退している状況における1周期前の表示制御処理で作成された撮影鳥瞰画像を表す図である。 車両が後退している状況における最新の表示制御処理で作成された撮影鳥瞰画像を表す図である。 第2実施形態の表示制御システムの構成を示すブロック図である。 第2実施形態の空転滑走判定処理のフローチャートである。 第2実施形態の表示制御処理のフローチャートである。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。
[1.第1実施形態]
[1−1.構成]
図1に示す表示制御システム1は、車両に搭載され、車載カメラ10、センサ類20、ECU30及び表示装置40を備える。以下では、表示制御システム1が搭載された車両を「自車両」という。
車載カメラ10は、自車両の後端付近に固定して搭載され、自車両の周囲、具体的には、自車両の後方の所定の撮影範囲を繰り返し(例えば1/30秒周期で)撮影する。つまり、本実施形態でいう「撮影範囲」とは、自車両を基準とする範囲であって、車載カメラ10の特性(画角等)並びに自車両に対する車載カメラ10の搭載位置及び向きなどによって決定される範囲である。車載カメラ10は、撮影の結果得た撮影画像をECU30へ出力する。
センサ類20は、回転量センサ21、シフトセンサ22及び舵角センサ23を備える。
回転量センサ21は、自車両のタイヤの回転量を検出するセンサである。本実施形態では、回転量センサ21は、自車両の車軸の回転量に比例したパルス信号である車速パルスを発生させることで自車両のタイヤの回転量を検出する。この車軸は、自車両のタイヤに固定され、車軸の回転量とタイヤの回転量とは一致する。また、本実施形態では、回転量センサ21は、駆動輪に設置されている。
シフトセンサ22は、ドライバが操作するシフトレバーの操作位置であるシフト位置を検出するセンサである。
舵角センサ23は、自車両のステアリング角又はヨーレートを検出するセンサである。回転量センサ21、シフトセンサ22及び舵角センサ23は、各々の検出結果をECU30へ出力する。以下では、回転量センサ21による検出結果を「検出回転量」といい、検出回転量、シフトセンサ22による検出結果、及び、舵角センサ23による検出結果、を総じて「車両挙動情報」という。なお、検出回転量は、具体的には車速パルスの数である。
ECU30は、入力信号処理部31,32、判定処理部33、画像処理部34、記憶部35及び出力信号処理部36を備える電子制御装置である。なお、ECUとは、Electronic Control Unitの略である。
入力信号処理部31は、車載カメラ10から入力された撮影画像を判定処理部33及び画像処理部34へ出力するためのインターフェースである。
入力信号処理部32は、センサ類20から入力された車両挙動情報を画像処理部34へ出力するためのインターフェースである。
判定処理部33は、CPU、ROM及びRAM等を構成要素とするマイクロコンピュータを備える。判定処理部33は、非遷移的実体的記録媒体であるROMに記録されているプログラムに従いCPUが処理を実行することで、自車両のタイヤの空転及び自車両の滑走の有無を判定する。具体的には、判定処理部33は、車載カメラ10から入力信号処理部31を介して撮影画像を取得し、また、回転量センサ21から入力信号処理部32を介して検出回転量を取得する。判定処理部33は、取得したこれらの情報に基づいて図2に示す後述する空転滑走判定処理を実行することで、自車両のタイヤの空転及び自車両の滑走を検出する。また、判定処理部33は、空転及び滑走の検出結果を画像処理部34へ出力する。
ここで、タイヤの空転とは、タイヤが回転してもタイヤの回転量に相当する量だけ車両が移動しないことを意味する。また、滑走とは、タイヤの回転量に相当する量よりも車両が大きく移動することを意味する。
本実施形態では、判定処理部33は、後述するように、タイヤが回転しても自車両が全く移動しないような空転の有無のみを判定する。換言すれば、判定処理部33は、自車両が移動するもののその移動量がタイヤの回転量に相当する量よりも小さいような空転の有無については判定しない。
また、判定処理部33は、タイヤが全く回転していない状態で自車両が移動するような滑走の有無のみを判定する。換言すれば、判定処理部33は、自車両がタイヤを回転させながら回転量に相当する量よりも大きく移動するような滑走の有無については判定しない。
画像処理部34は、CPU、ROM及びRAM等を構成要素とするマイクロコンピュータを備える。画像処理部34は、ROMに記録されているプログラムに従い各種処理を実行する。具体的には、画像処理部34は、車載カメラ10から入力信号処理部31を介して撮影画像を取得し、また、センサ類20から車両挙動情報を取得し、さらに、判定処理部33から判定結果を取得する。画像処理部34は、取得したこれらの情報に基づいて図3に示す後述する表示制御処理を実行することで、以下の処理を少なくとも実行する。
すなわち、画像処理部34は、取得した撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から真下又は斜め下に見下ろす視点の鳥瞰画像に逐次変換する。つまり、画像処理部34は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。ここで、本実施形態でいう「逐次」とは、後述するように一定時間ごと(例えば1/30秒周期)を意味する。ただし、これに限定されるものではなく、例えば、自車両の移動量を基準として、一定距離ごととしてもよい。また、撮影鳥瞰画像は、自車両の周囲のうち、自車両の後方における所定の範囲についての最新の状況を表す。
また、画像処理部34は、逐次作成した撮影鳥瞰画像を、自車両の移動量に基づいて位置をずらしつつ合成することにより、撮影位置の異なる撮影鳥瞰画像をつなぎ合わせた合成鳥瞰画像を作成する。このように作成される合成鳥瞰画像は、自車両の移動に伴い徐々に車載カメラ10の撮影範囲外へ拡張される。本実施形態では、このように作成される合成鳥瞰画像が利用されることで、例えば図4に示すような、撮影鳥瞰画像で表される自車両の後方だけでなく自車両の左右側方及び前方も含む車両周辺範囲(例えば自車両を中心とした縦10m、横5m)の鳥瞰画像が表示装置40に表示される。
記憶部35には、各種鳥瞰画像を記憶するための記憶領域として、リアル領域35a、履歴領域35b及び表示用領域35cがあらかじめ確保されている。
リアル領域35aは、最新の撮影鳥瞰画像を記憶するための領域である。
履歴領域35bは、リアル領域35aに記憶されている最新の撮影鳥瞰画像を取り出して履歴領域35b上の合成鳥瞰画像に上書きし、更新された合成鳥瞰画像を記憶するための記憶領域である。前述したように、合成鳥瞰画像は最新の撮影鳥瞰画像の範囲よりも広い範囲の鳥瞰画像となる。本実施形態では、履歴領域35bは、車両周辺範囲よりも一回り広い範囲(例えば、自車両を中心とした縦20m、横20m)の合成鳥瞰画像を記憶できるように設計されている。
表示用領域35cは、表示装置40に表示される画像を記憶するための記憶領域である。本実施形態では、表示用領域35cには、合成鳥瞰画像から車両周辺範囲に含まれる部分を切り出した合成鳥瞰画像の一部分が記憶される。
出力信号処理部36は、画像処理部34により作成された合成鳥瞰画像を表示装置40へ出力するためのインターフェースである。
表示装置40は、種々の画像を表示可能なディスプレイであり、表示された画像を車内のドライバが視認できるような位置に設けられる。
[1−2.空転滑走判定処理]
次に、判定処理部33が実行する空転滑走判定処理について、図2のフローチャートを用いて説明する。空転滑走判定処理は、自車両のイグニッションスイッチがオンである間に周期的に実行される。また、図3に示す後述する表示制御処理も周期的に実行される。本実施形態では、空転滑走判定処理及び表示制御処理は、車載カメラ10が撮影範囲を撮影するのと同じ周期で実行される。具体的には、車載カメラ10が撮影した後に空転滑走判定処理が開始され、空転滑走判定処理が終了した後に表示制御処理が開始される。
S11では、判定処理部33は、車載カメラ10から入力信号処理部31を介して最新の撮影画像を1枚取得する。
S12では、判定処理部33は、S11で取得した最新の撮影画像に鳥瞰変換を施して、撮影鳥瞰画像を作成する。
S13では、判定処理部33は、回転量センサ21から入力信号処理部32を介して所定期間(例えば直近の1/30秒間)の検出回転量を取得する。
S14では、判定処理部33は、S13で取得した検出回転量が0であるか否かを判定する。なお、S14では、検出回転量が一の値である0であるか否かを判定するが、判定方法はこれに限られない。例えば、タイヤの微少量の回転による車速パルスの発生誤差を考慮して0を含む所定範囲に検出回転量が含まれるか否かの判定を行ってもよい。以降に述べる、判定を行う処理についても同様である。
このS14で、判定処理部33は、検出回転量が0でないと判定した場合は、処理をS15へ移行させる。
S15では、判定処理部33は、自車両の移動に伴って撮影画像における位置が変化する対象である注目対象を特定できたか否かを判定する。本実施形態では、判定処理部33は、1周期前のS12で作成した撮影鳥瞰画像と最新のS12で作成した撮影鳥瞰画像との両方に映った物体又は道路標示(以下「物体等」という。)を注目対象として特定する。このように注目対象として特定される物体としては、例えば、駐車場における輪留め等や地面に落ちている物体などが挙げられる。なお、以下では、1周期前のS12で作成した撮影鳥瞰画像を単に「1周期前の撮影鳥瞰画像」といい、最新のS12で作成した撮影鳥瞰画像を単に「最新の撮影鳥瞰画像」という。
判定処理部33は、S15の処理を、具体的には次のように実行する。すなわち、判定処理部33は、まず、最新の撮影鳥瞰画像に対して公知の画像処理であるエッジ検出を行い、最新の撮影鳥瞰画像内のすべての物体等の外縁を認識する。なお、ここでいう外縁は、撮影鳥瞰画像に2次元画像として映った物体等の外縁、つまり1次元曲線として表される外縁を意味する。
次に、判定処理部33は、1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との間で、認識した物体等の外縁の形状を比較することで、同一の物体等の外縁が認識されたか否かを判定する。ここで、判定処理部33は、物体等の外縁の向きを問わず形状のみに基づいて同一の物体等の外縁が認識されたか否かを判定する。
そして、判定処理部33は、同一の物体等の外縁が認識されたと判定した場合は、その外縁を有する物体等を注目対象として特定する。なお、判定処理部33は、複数種類の注目対象が特定された場合は、特定された注目対象から任意に選択した1つの注目対象について以降の処理を実行する。
例えば、図4及び図5に示す状況では、S15の処理は次のように行われる。図4及び図5には、駐車場において自車両が駐車するために後退している状況が示されている。図4には1周期前の撮影鳥瞰画像51が示され、図5には最新の撮影鳥瞰画像52が示されている。なお、図4及び図5では、1周期前の撮影鳥瞰画像51及び最新の撮影鳥瞰画像52は、表示装置40に表示される合成鳥瞰画像の一部として示されている。
これらの撮影鳥瞰画像51,52には、車両の後輪の停止位置を示す長方形状のライン53が自車両の後方に位置している。また、空転等はなく自車両は真っ直ぐ後退している。そのため、自車両とライン53との距離は小さくなり、1周期前の撮影鳥瞰画像51から最新の撮影鳥瞰画像52にかけてライン53が自車両側に平行移動している。
この状況では、判定処理部33は、1周期前の撮影鳥瞰画像51と最新の撮影鳥瞰画像52との両方においてライン53の長方形状の外縁を認識する。そして、判定処理部33は、1周期前の撮影鳥瞰画像51と最新の撮影鳥瞰画像52との間で、ライン53の形状の比較をすることで同一のライン53の外縁が認識されたと判定し、その外縁を有するライン53を注目対象として特定する。
判定処理部33は、S15で注目対象を特定できたと判定した場合は、処理をS16へ移行させる。
S16で、判定処理部33は、注目対象の変位があるか否かを判定する。ここで、判定処理部33は、1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との間で、撮影鳥瞰画像における注目対象の位置及び向きのうちの少なくとも一方が一致しない場合に、注目対象の変位があると判定する。一方、画像処理部34は、そうでない場合に、注目対象の変位がないと判定する。
例えば、前述した図4及び図5に示す状況では、1周期前の撮影鳥瞰画像51と最新の撮影鳥瞰画像52との間で、注目対象として特定されたライン53の位置が一致していない。そのため、判定処理部33は、注目対象の変位があると判定する。
S16において、判定処理部33は、注目対象の変位があると判定した場合は、S17で空転なしと判定し、空転滑走判定処理を終了する。一方、判定処理部33は、注目対象の変位がないと判定した場合は、S18で空転ありと判定し、空転滑走判定処理を終了する。
つまり、判定処理部33は、検出回転量が0でない(換言すれば自車両のタイヤが回転している)と判定し、かつ、撮影鳥瞰画像内の注目対象の変位がないと判定した場合に空転ありと判定する。
また、前述したS15で、判定処理部33は、注目対象を特定できなかったと判定した場合は、前述したS16を飛ばし、S17で空転なしと判定し、空転滑走判定処理を終了する。
一方、前述したS14で、判定処理部33は、検出回転量が0であると判定した場合は、処理をS19へ移行させる。
このS19及び続くS20の処理は、それぞれ前述したS15及びS16と同様の処理であるため、説明を省略する。
S20で、判定処理部33は、注目対象の変位があると判定した場合は、S21で滑走ありと判定し、空転滑走判定処理を終了する。
つまり、判定処理部33は、検出回転量が0である(換言すれば自車両のタイヤが回転していない)と判定し、かつ、注目対象の変位があると判定した場合に滑走ありと判定する。
一方、S20で、判定処理部33は、注目対象の変位がないと判定した場合は、S22で滑走なしと判定し、空転滑走判定処理を終了する。
また、前述したS19で、判定処理部33は、注目対象を特定できなかったと判定した場合は、前述したS20を飛ばし、S22で滑走なしと判定し、空転滑走判定処理を終了する。
[1−3.表示制御処理]
次に、画像処理部34が実行する表示制御処理について、図3のフローチャートを用いて説明する。なお、表示制御処理は、自車両のイグニッションスイッチがオンであり、かつ、自車両のシフト位置がリバース(後退位置)である間に周期的に実行される。
S31では、画像処理部34は、車載カメラ10から入力信号処理部31を介して最新の撮影画像を1枚取得する。
S32では、画像処理部34は、センサ類20から入力信号処理部32を介して検出回転量を含む車両挙動情報を取得する。
S33では、画像処理部34は、タイヤの空転及び自車両の滑走の有無について判定する。具体的には、画像処理部34は、判定処理部33から最新の判定結果を取得する。そして、画像処理部34は、取得した判定結果が空転なし、空転あり、滑走あり及び滑走なしのうちのいずれであるかを判定する。判定処理部33は、空転なしと判定した場合は、処理をS34へ移行させる。
S34では、画像処理部34は、S31で取得した最新の撮影画像に周知の鳥瞰変換を施して、撮影鳥瞰画像を作成する。なお、画像処理部34は、作成した撮影鳥瞰画像をリアル領域35aに記憶する。
S35では、画像処理部34は、S32で取得した車両挙動情報に基づいて自車両の移動量ΔX1を算出し、算出した移動量ΔX1に基づき、履歴領域35bに記憶されている合成鳥瞰画像の車両基準位置を変化させる。
本実施形態でいう自車両の移動量ΔX1とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間、つまり撮影画像の取得間隔における自車両の位置及び向きの変化を意味する。後述する移動量ΔX2,ΔX3についても同様である。また、本実施形態でいう車両基準位置とは、自車両を基準とした位置であり、画像処理部34は、合成鳥瞰画像の車両基準位置を、現在の自車両の位置に対応するように変化させる。
このS35では、特に、画像処理部34は、検出回転量に基づいて自車両の移動量ΔX1を算出する。より具体的には、画像処理部34は、検出回転量に相当するタイヤの回転数にタイヤの円周長を乗じて得た量に基づいて自車両の移動量を算出する。
S36では、画像処理部34は、リアル領域35aから最新の撮影鳥瞰画像を取り出して、取り出した最新の撮影鳥瞰画像を履歴領域35bに記憶する。このS36の処理は、履歴領域35bに合成鳥瞰画像が記憶されている状態では、履歴領域35bにおいて合成鳥瞰画像に最新の撮影鳥瞰画像を上書きすることで、合成鳥瞰画像を更新する処理となる。なお、画像処理部34は、合成鳥瞰画像における現在の自車両の後方の位置に相当する位置に最新の撮影鳥瞰画像を上書きする。
S37では、画像処理部34は、履歴領域35bに記憶されている合成鳥瞰画像から車両周辺範囲に含まれる部分を切り出して表示用領域35cに記憶する。表示用領域35cに記憶された画像は、ECU30から表示装置40に出力され、表示装置40に表示される。
なお、本実施形態では、表示装置40に表示される画像が自車両を中心とする画像であることを理解しやすくするために、表示装置40には自車両の画像が重畳された合成鳥瞰画像が表示される。しかし、表示装置40に表示される合成鳥瞰画像はこれに限られず、自車両の画像が重畳されていない合成鳥瞰画像が表示されてもよい。
画像処理部34は、S37の処理を実行すると表示制御処理を終了する。
一方、画像処理部34は、前述のS33で空転ありと判定した場合は、処理をS38へ移行させる。
S38では、画像処理部34は、表示用領域35cに記憶されている画像に対して映像処理を行う。ここでいう映像処理とは、表示装置40に表示される合成鳥瞰画像の表示態様を変化させる処理である。本実施形態では、映像処理は、合成鳥瞰画像のコントラストを下げる処理である。映像処理が施された合成鳥瞰画像は表示装置40に表示される。
画像処理部34は、S38の処理を実行すると表示制御処理を終了する。つまり、画像処理部34は、S33で空転ありと判定した場合は、前述したS34〜S37に相当する処理、換言すれば合成鳥瞰画像の車両基準位置を変化させる処理等を実行しない。
一方、画像処理部34は、前述のS33で滑走なしと判定した場合は、表示制御処理を終了する。
つまり、画像処理部34は、滑走なしと判定した場合、換言すればタイヤが回転しておらず、かつ、自車両が移動していない場合は、合成鳥瞰画像の車両基準位置を変化させる処理等を実行しない。
一方、画像処理部34は、前述のS33で滑走ありと判定した場合は、処理をS39へ移行させる。
S39は前述したS34と同様の処理であるため、説明を省略する。
S40では、画像処理部34は、1周期前の撮影鳥瞰画像及び最新の撮影鳥瞰画像に基づいて自車両の移動量ΔX2を算出し、算出した移動量ΔX2に基づき、履歴領域35bに記憶されている合成鳥瞰画像の車両基準位置を変化させる。
具体的には、移動量ΔX2は、判定処理部33により特定された注目対象の変位に基づき算出され、例えば、以下のようにして算出される。画像処理部34は、まず、S32で取得した舵角センサ23の検出結果に基づき、1周期前の撮影画像の取得タイミングから最新の撮影画像の取得タイミングまでの期間における自車両の移動の円運動中心点の位置を算出する。
ここでいう円運動中心点とは、自車両を含む一帯を上空から見たときの自車両上の一点(例えば自車両の前後左右方向における中央の点)の移動を円運動とみなしたときの当該円運動を規定する円の中心点である。以下では、前述した自車両上の一点を「車両特定点」という。なお、自車両が直線状に移動したときは、円運動中心点の位置は自車両から無限に離れた位置となる。
次に、画像処理部34は、車両特定点の円運動に伴う注目対象の変位量を算出する。ここで、画像処理部34は、撮影鳥瞰画像上の点(例えば1画素相当の点)であって注目対象を構成する一点を任意に選択する。そして、画像処理部34は、選択した一点の、1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との間の変位量を算出する。以下では、この選択した一点を「対象特定点」という。
また、画像処理部34は、対象特定点が円運動中心点を中心とした円運動をしているとみなす。そして、画像処理部34は、対象特定点の当該円運動の変位量(換言すれば移動の軌跡である円弧の長さ)を算出する。
その後、画像処理部34は、算出した対象特定点の変位量を自車両の移動量ΔX2に換算するため、対象特定点の変位量に、円運動中心点から対象特定点までの距離と円運動中心点から車両特定点までの距離との比を乗じる。これにより移動量ΔX2が算出される。
なお、注目対象の変位に基づいて算出される移動量ΔX2は、前述したS35で検出回転量に基づいて算出される移動量ΔX1よりも一般には精度が低い移動量である。
S41〜S43は、前述したS36〜S38と同様の処理であるため、説明を省略する。
つまり、画像処理部34は、前述のS33で空転ありと判定した場合に加えて滑走ありと判定した場合にも映像処理を実行する。
画像処理部34は、S43の処理を実行すると表示制御処理を終了する。
[1−4.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)本実施形態では、判定処理部33は、検出回転量が0であるか否かを判定する。検出回転量が0である場合は検出回転量に基づく自車両の移動量ΔX1も0である。逆に、検出回転量が0でない場合は検出回転量に基づく自車両の移動量ΔX1も0でない。したがって、検出回転量が0であるか否かの判定は、実質的に移動量ΔX1が0であるか否かの判定となる。
また、判定処理部33は、注目対象の変位があるか否かを判定する。注目対象の変位がある場合は注目対象の変位に基づく自車両の移動量ΔX2は0ではない。逆に、注目対象の変位がない場合は注目対象の変位に基づく自車両の移動量ΔX2は0となる。したがって、注目対象の変位があるか否かの判定は、実質的に移動量ΔX2が0であるか否かの判定となる。
つまり、本実施形態では、判定処理部33は、検出回転量が0であるか否か、及び、注目対象の変位があるか否か、の判定をすることで、実質的に、検出回転量に基づく自車両の移動量ΔX1と注目対象の変位に基づく自車両の移動量ΔX2とが一致するか否かを判定する。また、判定処理部33は、移動量ΔX1と移動量ΔX2とが一致しない場合に、空転又は滑走があると判定する。
そして、画像処理部34は、移動量ΔX1と移動量ΔX2とが一致しないと判定された場合、換言すれば空転又は滑走があると判定された場合に、検出回転量に基づく自車両の移動量ΔX1に代えて注目対象の変位に基づく自車両の移動量ΔX2に基づき合成鳥瞰画像の車両基準位置を変化させる。したがって、空転及び滑走の少なくとも一方が発生した場合にも適切な画像が表示装置に表示されるようにすることができる。
(1b)本実施形態では、判定処理部33は、移動量ΔX1及び移動量ΔX2を実際に算出することなく、簡易的に移動量ΔX1と移動量ΔX2とが一致しているか否かを判定する。このため、実際に移動量ΔX1及び移動量ΔX2を算出する場合と比較して、判定処理部33の処理負荷を低減することができる。
(1c)本実施形態では、1周期前の撮影鳥瞰画像及び最新の撮影鳥瞰画像、換言すれば、車載カメラ10により異なる時刻に撮影された複数の撮影画像に基づいて、検出回転量に基づく自車両の移動量ΔX1以外の自車両の移動量である移動量ΔX2が算出される。したがって、移動量ΔX1と移動量ΔX2とが一致しているか否かの判定、換言すれば空転又は滑走があるか否かの判定を行うに際し、履歴合成に用いられる車載カメラ10を流用することができる。
(1d)本実施形態では、検出回転量に基づく自車両の移動量ΔX1以外の自車両の移動量は、注目対象の、1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との間での変位に基づく自車両の移動量ΔX2である。したがって、履歴合成に用いられる車載カメラ10を流用しつつ滑走時における自車両の実際の移動量を反映した移動量を算出することができる。
(1e)本実施形態では、画像処理部34は、判定処理部33により空転又は滑走ありと判定された場合、換言すれば移動量ΔX1と移動量ΔX2とが一致していないと判定された場合に、映像処理を実行する。つまり、画像処理部34は、判定処理部33により移動量ΔX1と移動量ΔX2とが一致していると判定された場合と一致していないと判定された場合とで表示装置40に表示される合成鳥瞰画像の表示態様を異ならせる。したがって、空転及び滑走の少なくとも一方が発生したことを表示装置40の表示により自車両のドライバに認識させることができる。
なお、本実施形態では、判定処理部33及び画像処理部34が表示制御装置に相当し、車載カメラ10により異なる時刻に撮影された複数の撮影画像が移動情報に相当し、検出回転量に基づく自車両の移動量ΔX1が第1移動量に相当する。また、注目対象の、1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との間での変位に基づく自車両の移動量ΔX2が第2移動量に相当する。また、S11及びS31が撮影画像取得部としての処理に相当し、S14,S16及びS20が一致判定部としての処理に相当し、S34及びS39が鳥瞰変換部としての処理に相当し、S35,S36,S40及びS41が合成作成部としての処理に相当する。また、S37,S38,S42及びS43が表示処理部としての処理に相当し、S35及びS40が移動処理部としての処理に相当し、S36及びS41が更新処理部としての処理に相当する。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。また、共通する構成には同一の符号を用いる。
図6に示す第2実施形態の表示制御システム2は、車載カメラ10、センサ類20、表示装置40、加速度センサ60、判定処理部70及びECU80を備える。つまり、第2実施形態の表示制御システム2は、加速度センサ60を更に備え、ECU30に代えて判定処理部70及びECU80を備える点で、第1実施形態の表示制御システム1と相違する。以下では、表示制御システム2が搭載された車両を「自車両」という。
加速度センサ60は、自車両の加速度を検出するセンサである。本実施形態では、加速度センサ60は、x軸、y軸及びz軸の3次元方向の加速度を検出する。加速度センサ60は、検出結果を判定処理部70及びECU80へ出力する。以下では、加速度センサ60による検出結果を「検出加速度」という。
判定処理部70は、CPU、ROM及びRAM等を構成要素とするマイクロコンピュータを備える。判定処理部70は、センサ類20から車両挙動情報を取得し、また、加速度センサ60から検出加速度を取得する。判定処理部70は、取得したこれらの情報に基づいて図7に示す後述する空転滑走判定処理を実行することで、自車両のタイヤの空転及び自車両の滑走の有無を判定する。さらに、判定処理部33は、判定結果をECU80へ出力する。このように、本実施形態では、空転及び滑走の有無の判定はECU80の外部の装置である判定処理部70により実行される。
判定処理部70は、第1実施形態の判定処理部33と同様に、タイヤが回転しても自車両が全く移動しないような空転の有無のみを判定する。また、判定処理部70は、タイヤが全く回転していない状態で自車両が移動するような滑走の有無のみを判定する。
ECU80は、入力信号処理部31,32、記憶部35、出力信号処理部36及び画像処理部81を備える電子制御装置である。つまり、第2実施形態のECU80は、判定処理部33を備えず、画像処理部34に代えて画像処理部81を備える点で、第1実施形態のECU30と相違する。
画像処理部81は、第1実施形態の画像処理部34とハードウェア構成は同じであるが、実行する処理が異なる。画像処理部81は、図8に示す後述する表示制御処理を実行する。
[2−2.空転滑走判定処理]
次に、判定処理部70が実行する空転滑走判定処理について、図7のフローチャートを用いて説明する。なお、第2実施形態の空転滑走判定処理及び後述する表示制御処理が開始される条件、周期及び順序は、第1実施形態と同様である。
S51では、判定処理部70は、加速度センサ60からx軸、y軸及びz軸方向のそれぞれの検出加速度を取得する。
S52及びS53の処理は、図2に示す第1実施形態の空転滑走判定処理のS13及びS14と同様の処理であるため、説明を省略する。
このS53で、判定処理部70は、検出回転量が0でないと判定した場合は、処理をS54へ移行させる。
S54では、判定処理部70は、S51で取得した検出加速度が0であるか否かを判定する。ここで、判定処理部70は、x軸、y軸及びz軸方向の検出加速度のうちのすべてが0である場合に、検出加速度が0であると判定する。
このS54で、判定処理部70は、検出加速度が0であると判定した場合は、S55で空転ありと判定し、空転滑走判定処理を終了する。
つまり、判定処理部70は、検出回転量が0でない(換言すれば自車両のタイヤが回転している)と判定し、かつ、検出加速度が0である(自車両が加速していない)と判定した場合に空転ありと判定する。
一方、S54で、判定処理部70は、検出加速度が0でないと判定した場合は、S56で空転なしと判定し、空転滑走判定処理を終了する。
一方、前述したS53で、判定処理部70は、検出回転量が0であると判定した場合は、処理をS57へ移行させる。
S57は、前述したS54と同様の処理であるため、説明を省略する。
このS57で、判定処理部70は、検出加速度が0でないと判定した場合は、S58で滑走ありと判定し、空転滑走判定処理を終了する。
S57で検出加速度が0でないと判定される場合としては、S53で検出回転量が0である(タイヤが回転していない)と判定されているため、自車両が減速している場合が想定される。つまり、判定処理部70は、検出回転量が0である(自車両のタイヤが回転していない)と判定し、かつ、検出加速度が0でない(自車両が減速している)と判定した場合に滑走ありと判定する。
一方、S57で、判定処理部70は、検出加速度が0であると判定した場合は、S59で滑走なしと判定し、空転滑走判定処理を終了する。
[2−3.表示制御処理]
次に、ECU80の画像処理部81が実行する表示制御処理について、図8のフローチャートを用いて説明する。
S61で、画像処理部81は、加速度センサ60からx軸、y軸及びz軸方向のそれぞれの検出加速度を取得する。
S62〜S70は、図3に示す第1実施形態の表示制御処理のS31〜39と同様の処理であるため、説明を省略する。
S71で、画像処理部81は、S61で取得した検出加速度を時間積分した値に基づき自車両の移動量ΔX3を算出し、算出した移動量ΔX3に基づき、合成鳥瞰画像の車両基準位置を変化させる。具体的には、画像処理部81は、次のようにして移動量ΔX3を算出する。
すなわち、S71では、画像処理部81は、自車両の速度を算出する。そして、画像処理部81は、1周期前のS71で算出した自車両の速度に表示制御処理の周期Tを乗じることで、撮影画像の取得間隔における移動量である移動量ΔX3を算出する。
ここで、自車両の速度は次のように算出される。まず、S64の判定結果が滑走あり以外から滑走ありに変わった直後のS71(以下「1番目のS71」という。)では、画像処理部81は、判定結果が変わる直前、つまり自車両が滑走し始める直前の周期のS63で取得した検出回転量に基づいて自車両の速度を算出する。
そして、滑走ありとの判定結果が複数周期連続している場合における1番目のS71よりも後のS71では、画像処理部81は、1周期前のS71で算出した自車両の速度に、1周期前のS61で取得した検出加速度に周期Tを乗じて得た量を加えることで、自車両の速度を算出する。
このように、画像処理部81は、検出加速度に周期Tを乗じて得た量を順次加算していく、換言すれば検出加速度を離散時間Tで積分することで自車両の速度、ひいては移動量ΔX3を算出する。
なお、検出加速度を時間積分した値に基づく自車両の移動量ΔX3は、前述したS66で算出される検出回転量に基づく移動量ΔX1よりも一般には精度が低い移動量である。
S72〜S74は、図3に示す第1実施形態の表示制御処理のS41〜S43と同様の処理であるため、説明を省略する。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1b)及び(1e)に加え、以下の効果が得られる。
(2a)本実施形態では、判定処理部70は、検出回転量が0であるか否かを判定する。この判定は、実質的に、移動量ΔX1が0であるか否かの判定である。
また、判定処理部70は、検出加速度が0であるか否かを判定する。検出加速度が0である場合は検出加速度を時間積分した値に基づく自車両の移動量ΔX3も0である。逆に、検出加速度が0でない場合は検出加速度を時間積分した値に基づく自車両の移動量ΔX3も0ではない。したがって、検出加速度が0であるか否かの判定は、実質的に移動量ΔX3が0であるか否かの判定となる。
つまり、本実施形態では、判定処理部70は、実質的に、検出回転量に基づく自車両の移動量ΔX1と検出加速度を時間積分した値に基づく自車両の移動量ΔX3とが一致するか否かを判定する。
そして、画像処理部34は、移動量ΔX1と移動量ΔX3とが一致しないと判定された場合、換言すれば空転又は滑走があると判定された場合に、検出回転量に基づく自車両の移動量ΔX1に代えて検出加速度を時間積分した値に基づく自車両の移動量ΔX3に基づき合成鳥瞰画像の車両基準位置を変化させる。したがって、空転及び滑走の少なくとも一方が発生した場合にも適切な画像が表示装置40に表示されるようにすることができる。
(2b)本実施形態では、加速度センサ60の検出結果である検出加速度を用いて、検出回転量に基づく自車両の移動量ΔX1以外の自車両の移動量である移動量ΔX3が算出される。加速度センサは、カーナビゲーションシステムや車両のエアバックシステム等に利用されており、車両に一般的に搭載されている。このように、本実施形態では、検出回転量に基づく自車両の移動量ΔX1以外の自車両の移動量を算出するための情報を車両に一般的に搭載されている構成から取得することができる。
(2c)本実施形態では、画像処理部81は、検出加速度を時間積分した値に基づいて検出回転量に基づく自車両の移動量ΔX1以外の自車両の移動量ΔX3を算出する。したがって、比較的精度良く自車両の移動量を算出することができる。
(2d)本実施形態では、空転滑走判定処理は、ECU80の外部の装置である判定処理部70により実行される。換言すれば、ECU80は内部に空転滑走判定処理を実行するハードウェア構成を備えない。そのため、ECU80に、空転及び滑走の有無の判定を行わない従来のECUのハードウェアを流用することができる。
なお、本実施形態では、判定処理部70及び画像処理部81が表示制御装置に相当し、加速度センサ60による検出結果が移動情報に相当し、検出回転量に基づく自車両の移動量ΔX1が第1移動量に相当する。また、検出加速度を時間積分した値に基づく自車両の移動量ΔX3が第2移動量に相当する。また、S53,S54及び57が一致判定部としての処理に相当し、S62が撮影画像取得部としての処理に相当し、S65及びS70が鳥瞰変換部としての処理に相当し、S66,S67,S71及びS72が合成作成部としての処理に相当する。また、S68,S69,S73及びS74が表示処理部としての処理に相当し、S66及びS71が移動処理部としての処理に相当し、S67及びS72が更新処理部としての処理に相当する。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(3a)上記各実施形態では、判定処理部33,70は空転及び滑走の両方の有無を判定したが、判定処理部が有無を判定する対象はこれに限られない。判定処理部は、例えば、空転及び滑走のうちのいずれか一方の有無を判定してもよい。
(3b)上記第1実施形態では、判定処理部33は、撮影鳥瞰画像を用いて空転及び滑走の有無を判定したが、空転滑走判定処理において用いられる画像はこれに限られない。判定処理部は、例えば、鳥瞰画像でない通常の撮影画像を用いてもよい。また、上記第1実施形態では、最新の撮影鳥瞰画像にエッジ検出を行うことにより注目対象が特定されたが、注目対象の特定方法はこれに限られない。注目対象は、例えば、公知の画像処理であるテンプレートマッチング等の手法を用いることで特定されてもよい。
(3c)上記第1実施形態では、注目対象の変位に基づく自車両の移動量ΔX2の算出方法として、円運動中心点の位置の算出等を行う方法を例示したが、移動量ΔX2の算出方法はこれに限られない。移動量ΔX2は、例えば、撮影鳥瞰画像上の点であって注目対象を構成する一点の変位前の位置と変位後の位置との直線距離として簡易的に算出されてもよい。
同様に、検出加速度を時間積分した値に基づく自車両の移動量ΔX3の算出方法は上記第2実施形態の算出方法に限られない。移動量ΔX3は、例えば、時間積分のような取得した複数の検出加速度に基づく方法で算出されるのではなく、取得した1つの検出加速度のみに基づいて算出されてもよい。
(3d)上記第1実施形態では、注目対象として1周期前の撮影鳥瞰画像と最新の撮影鳥瞰画像との両方に映った物体等を例示したが、注目対象はこれに限られない。注目対象は、例えば、このような物体等の中でも特に、地面に対する位置及び向きが変化しない静止物であってもよい。
(3e)上記各実施形態では、判定処理部33,70は、検出回転量が0であるか否かの判定等を行うことで、検出回転量に基づく自車両の移動量である第1移動量と移動情報に基づく自車両の移動量である第2移動量とが一致しているか否かを判定した。換言すれば、判定処理部33,70は、第1移動量及び第2移動量を実際に算出することなく、簡易的に、第1移動量と第2移動量とが一致しているか否かの判定を行った。しかし、第1移動量と第2移動量とが一致しているか否かの判定方法はこれに限られない。
例えば、判定処理部は、第1移動量と第2移動量とを実際に算出して、算出した値を比較することで両移動量が一致しているか否かを判定してもよい。
この場合において、例えば、判定処理部は、算出した値の比較結果に基づき、自車両が移動してもその移動量がタイヤの回転量に相当する量よりも小さいような空転も含めて空転の有無を判定してもよい。また、例えば、判定処理部は、算出した値の比較結果に基づき、自車両がタイヤを回転させながら回転量に相当する量よりも大きく移動するような滑走も含めて滑走の有無を判定してもよい。具体的には、判定処理部は、第1移動量が第2移動量よりも大きい場合に空転があると判定し、第1移動量が第2移動量よりも小さい場合に滑走があると判定してもよい。
また、第1移動量と第2移動量とを実際に算出する構成において、両移動量が厳密に一致している場合に限り両移動量が一致していると判定する必要はない。判定処理部は、例えば、両移動量に多少の差異があっても両移動量が一致していると判定してもよい。
(3f)上記第1実施形態では、移動情報として、1周期前の撮影鳥瞰画像及び最新の撮影鳥瞰画像、換言すれば、異なる時刻に撮影された2枚の撮影画像を例示したが、移動情報として扱われる撮影画像の枚数はこれに限られない。例えば、3枚以上の撮影画像が移動情報とされてもよい。
また、移動情報は、撮影画像に限られず、例えば、より広範に、自車両の周辺の物体等と自車両との相対位置を表す情報であってもよい。このような情報としては、前述した複数の撮影画像の他に、例えばレーダやソナーなどの、自車両の周辺の物体等と自車両との相対位置を検出可能な相対位置検出装置による検出結果が挙げられる。
また、移動情報は例えば、自車両の絶対位置を表す情報であってもよい。このような情報としては、例えば、GPS用の人工衛星からの送信電波をGPSアンテナを介して受信するGPS受信機による出力信号が挙げられる。
また、上記第2実施形態では、移動情報として検出加速度を例示したが、移動情報はこれに限られない。移動情報は例えば、より広範に、自車両の移動に伴い変化する自車両の運動量であってもよい。
(3g)上記第1実施形態では、1つのECU30に搭載された別々のマイクロコンピュータにより空転滑走判定処理と表示制御処理とが実行された。しかし、空転滑走判定処理及び表示制御処理を実行する構成はこれに限られず、例えば、ECUに搭載された同一のマイクロコンピュータにより空転滑走判定処理と表示制御処理とが実行されてもよい。
また、上記各実施形態で、ECU30,80及び判定処理部70が実行する機能の一部又は全部を、1つあるいは複数のIC等によりハードウェア的に構成してもよい。
(3h)上記各実施形態では、映像処理は、合成鳥瞰画像のコントラストを下げる処理であり、画像処理部34,81は当該映像処理を実行することにより表示装置40に表示される合成鳥瞰画像の表示態様を異ならせたが、映像処理はこれに限られない。映像処理は、例えば、合成鳥瞰画像の明度、彩度、輝度等を上げる又は下げる、換言すれば変化させる処理であってもよい。
また、上記各実施形態では、空転ありと判定された場合と滑走ありと判定された場合とで同様の映像処理が実行されたが、映像処理はこれに限られない。例えば、空転ありと判定された場合と滑走ありと判定された場合とで異なる内容の映像処理が実行されてもよい。さらに、空転ありと判定された場合及び滑走ありと判定された場合の少なくとも一方に映像処理が実行されなくてもよい。
(3i)上記実施形態では、履歴領域35bに記憶される合成鳥瞰画像の範囲として、車両周辺範囲よりも一回り広い範囲を例示したが、履歴領域35bに記憶される合成鳥瞰画像の範囲はこれに限定されるものではない。例えば、履歴領域35bに保存される合成鳥瞰画像の範囲は、車両周辺範囲と同じ範囲の合成鳥瞰画像の範囲であってもよい。
(3j)上記実施形態では、車載カメラ10は自車両の後端付近に搭載されたが、搭載位置はこれに限られず、例えば、自車両の前部や左又は右の側部に搭載されてもよい。また、自車両には1台の車載カメラ10が搭載されたが、これに限られず、複数台の車載カメラが搭載されてもよい。この場合において、例えば、自車両の前部及び後部のそれぞれに1台の計2台の車載カメラが搭載されてもよい。また、例えば、自車両の前部、後部及び左右の側部のそれぞれに1台の計4台の車載カメラが搭載されてもよい。
(3k)上記実施形態では、表示装置として、車内に設けられたディスプレイである表示装置40を例示したが、表示装置はこれに限定されるものではない。表示装置の他の例としては、例えばHUD(ヘッドアップディスプレイ)などが挙げられる。
(3l)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(3m)前述した判定処理部33,70及び画像処理部34,81の他、当該判定処理部33及び画像処理部34を構成要素とするシステム、当該判定処理部70及び画像処理部81を構成要素とするシステム、空転及び滑走の少なくとも一方の有無を判定する方法、空転及び滑走の少なくとも一方の有無の判定に基づく合成鳥瞰画像の作成等の方法、空転滑走判定処理及び表示制御処理のプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。
1,2…表示制御システム、10…車載カメラ、20…センサ類、21…回転量センサ、22…シフトセンサ、23…舵角センサ、30,80…ECU、31…入力信号処理部、32…入力信号処理部、33,70…判定処理部、34,81…画像処理部、35…記憶部、35a…リアル領域、35b…履歴領域、35c…表示用領域、36…出力信号処理部、40…表示装置、60…加速度センサ。

Claims (6)

  1. 車両の周辺における所定の範囲の撮影画像を前記車両内の表示装置(40)に表示する表示制御装置(33,34,70,81)であって、
    前記車両に搭載された車載カメラ(10)から前記撮影画像を繰り返し取得する撮影画像取得部(S11,S31,S62)と、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S34,S39,S65,S70)と、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像を位置をずらしつつ合成した鳥瞰画像である合成鳥瞰画像を作成する合成作成部(S35,S36,S40,S41,S66,S67,S71,S72)と、
    前記合成鳥瞰画像を前記表示装置に表示させる表示処理部(S37,S38,S42,S43,S68,S69,S73,S74)と、
    前記車両のタイヤの回転量を検出するセンサである回転量センサ(21)による検出結果である検出回転量に基づく前記車両の移動量である第1移動量と、前記車両のタイヤの回転量以外の情報であって前記車両の移動の影響を受ける情報である移動情報に基づく前記車両の移動量である第2移動量と、が一致しているか否かを判定する一致判定部(S14,S16,S20,S53,S54,57)と、
    を備え、
    前記合成作成部は、
    記憶領域に記憶されている前記合成鳥瞰画像の前記車両を基準とした位置である車両基準位置を、前記第1移動量に基づき、現在の前記車両の位置に対応するように変化させる移動処理部(S35,S40,S66,S71)と、
    前記記憶領域において前記合成鳥瞰画像に最新の前記撮影鳥瞰画像を上書きすることで、前記合成鳥瞰画像を更新する更新処理部(S36,S41,S67,S72)と、を備え、
    前記移動処理部は、前記一致判定部により前記第1移動量と前記第2移動量とが一致していないと判定された場合に、前記第1移動量に代えて前記第2移動量に基づき前記車両基準位置を変化させ
    前記表示処理部は、前記一致判定部により前記第1移動量と前記第2移動量とが一致していると判定された場合と一致していないと判定された場合とで前記表示装置に表示される前記合成鳥瞰画像の表示態様を異ならせる、表示制御装置。
  2. 請求項1に記載の表示制御装置であって、
    前記移動情報は、異なる時刻に撮影された複数の前記撮影画像である、表示制御装置。
  3. 請求項2に記載の表示制御装置であって、
    前記第2移動量は、前記車両の移動に伴って前記撮影画像における位置が変化する対象である注目対象の、前記複数の撮影画像間での変位に基づく前記車両の移動量である、表示制御装置。
  4. 請求項1に記載の表示制御装置であって、
    前記移動情報は、前記車両の加速度を検出するセンサである加速度センサ(60)による検出結果である、表示制御装置。
  5. 請求項4に記載の表示制御装置であって、
    前記第2移動量は、前記加速度センサによる検出結果を時間積分した値に基づく前記車両の移動量である、表示制御装置。
  6. 車両の周辺における所定の範囲の撮影画像を前記車両内の表示装置(40)に表示する表示制御装置(33,34,70,81)としてコンピュータを機能させるための表示制御プログラムであって、
    前記車両に搭載された車載カメラ(10)から前記撮影画像を繰り返し取得する撮影画像取得部(S11,S31,S62)、
    前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部(S34,S39,S65,S70)、
    前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像を位置をずらしつつ合成した鳥瞰画像である合成鳥瞰画像を作成する合成作成部(S35,S36,S40,S41,S66,S67,S71,S72)、
    前記合成鳥瞰画像を前記表示装置に表示させる表示処理部(S37,S38,S42,S43,S68,S69,S73,S74)、及び、
    前記車両のタイヤの回転量を検出するセンサである回転量センサ(21)による検出結果である検出回転量に基づく前記車両の移動量である第1移動量と、前記車両のタイヤの回転量以外の情報であって前記車両の移動の影響を受ける情報である移動情報に基づく前記車両の移動量である第2移動量と、が一致しているか否かを判定する一致判定部(S14,S16,S20,S53,S54,57)、
    としてコンピュータを機能させ、
    前記合成作成部は、
    記憶領域に記憶されている前記合成鳥瞰画像の前記車両を基準とした位置である車両基準位置を、前記第1移動量に基づき、現在の前記車両の位置に対応するように変化させる移動処理部(S35,S40,S66,S71)と、
    前記記憶領域において前記合成鳥瞰画像に最新の前記撮影鳥瞰画像を上書きすることで、前記合成鳥瞰画像を更新する更新処理部(S36,S41,S67,S72)と、を備え、
    前記移動処理部は、前記一致判定部により前記第1移動量と前記第2移動量とが一致していないと判定された場合に、前記第1移動量に代えて前記第2移動量に基づき前記車両基準位置を変化させ
    前記表示処理部は、前記一致判定部により前記第1移動量と前記第2移動量とが一致していると判定された場合と一致していないと判定された場合とで前記表示装置に表示される前記合成鳥瞰画像の表示態様を異ならせる、表示制御プログラム。
JP2015203731A 2015-10-15 2015-10-15 表示制御装置及び表示制御プログラム Active JP6493143B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015203731A JP6493143B2 (ja) 2015-10-15 2015-10-15 表示制御装置及び表示制御プログラム
DE112016004694.4T DE112016004694B4 (de) 2015-10-15 2016-10-11 Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm
CN201680060479.5A CN108353147B (zh) 2015-10-15 2016-10-11 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
PCT/JP2016/080101 WO2017065132A1 (ja) 2015-10-15 2016-10-11 表示制御装置及び表示制御プログラムを格納した非一時的コンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015203731A JP6493143B2 (ja) 2015-10-15 2015-10-15 表示制御装置及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2017076890A JP2017076890A (ja) 2017-04-20
JP6493143B2 true JP6493143B2 (ja) 2019-04-03

Family

ID=58517194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015203731A Active JP6493143B2 (ja) 2015-10-15 2015-10-15 表示制御装置及び表示制御プログラム

Country Status (4)

Country Link
JP (1) JP6493143B2 (ja)
CN (1) CN108353147B (ja)
DE (1) DE112016004694B4 (ja)
WO (1) WO2017065132A1 (ja)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04156214A (ja) 1990-10-19 1992-05-28 Japan Atom Energy Res Inst 高電圧給電線
JP3033363B2 (ja) * 1992-09-16 2000-04-17 株式会社安川電機 自走台車の絶対位置検出方法
JPH0643516U (ja) * 1992-11-18 1994-06-10 住友電気工業株式会社 位置検出装置
JP4156214B2 (ja) 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
JP5501452B2 (ja) * 2010-05-19 2014-05-21 三菱電機株式会社 車両後方監視装置
DE102011088332B4 (de) * 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
TW201345247A (zh) * 2012-04-27 2013-11-01 Altek Autotronics Corp 鳥瞰圖擷取系統及其鳥瞰圖擷取方法
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6156486B2 (ja) 2013-03-28 2017-07-05 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
KR102190892B1 (ko) * 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts

Also Published As

Publication number Publication date
CN108353147B (zh) 2020-10-30
JP2017076890A (ja) 2017-04-20
DE112016004694B4 (de) 2023-05-17
CN108353147A (zh) 2018-07-31
DE112016004694T5 (de) 2018-06-28
WO2017065132A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6254554B2 (ja) 情報提示システム
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
CN111627054B (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
KR102086272B1 (ko) 표시 제어 방법 및 표시 제어 장치
US10150486B2 (en) Driving assistance device and driving assistance system
US11787335B2 (en) Periphery monitoring device
US20170132481A1 (en) Information display device mounted in vehicle including detector
US20070124030A1 (en) Systems for determining movement amount
JP6337811B2 (ja) 画像処理装置及び画像処理方法
EP3650284B1 (en) Parking assistance method and parking assistance device
JP6471522B2 (ja) カメラパラメータ調整装置
CN107547864A (zh) 用于车辆的周围视域监控系统和方法
JP2020004017A (ja) 画像データ送信装置、及び、画像データ送信プログラム
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
US20230182718A1 (en) Driving assistance apparatus, driving assistance method, and recording medium storing driving assistance program and readable by computer
GB2434020A (en) Driver parking assisting system that generates a birds eye view of the parking space behind the vehicle.
WO2016047037A1 (ja) 車両用画像処理装置
JP6595647B2 (ja) 走行制御装置、車両および走行制御方法
WO2016072300A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2020042355A (ja) 周辺監視装置
JP6493143B2 (ja) 表示制御装置及び表示制御プログラム
JP6572862B2 (ja) 表示制御装置
WO2022202915A1 (ja) 自律走行車及び自律走行車の自己位置推定方法
CN109598747A (zh) 运动目标检测系统、运动目标检测方法和车辆
JP2021081989A (ja) カメラキャリブレーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R151 Written notification of patent or utility model registration

Ref document number: 6493143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250