JPWO2007129582A1 - 車両周辺画像提供装置及び車両周辺画像提供方法 - Google Patents

車両周辺画像提供装置及び車両周辺画像提供方法 Download PDF

Info

Publication number
JPWO2007129582A1
JPWO2007129582A1 JP2008514434A JP2008514434A JPWO2007129582A1 JP WO2007129582 A1 JPWO2007129582 A1 JP WO2007129582A1 JP 2008514434 A JP2008514434 A JP 2008514434A JP 2008514434 A JP2008514434 A JP 2008514434A JP WO2007129582 A1 JPWO2007129582 A1 JP WO2007129582A1
Authority
JP
Japan
Prior art keywords
image
vehicle
edge
coordinate conversion
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008514434A
Other languages
English (en)
Other versions
JP4956799B2 (ja
Inventor
鈴木　政康
政康 鈴木
赤塚　健
健 赤塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008514434A priority Critical patent/JP4956799B2/ja
Publication of JPWO2007129582A1 publication Critical patent/JPWO2007129582A1/ja
Application granted granted Critical
Publication of JP4956799B2 publication Critical patent/JP4956799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車両周辺画像提供装置１では、画像変換部５３が、複数のカメラモジュール１０によって撮影された画像から俯瞰画像２０５を生成する。また、画像検出部５４は、俯瞰画像２０５を対象にエッジ検出を行う。さらに、画像検出部５４は、検出されたエッジ線のうち、俯瞰画像２０５のつなぎ目をまたぐエッジ線の連続性を判定し、俯瞰画像２０５のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする画像処理を行う。

Description

本発明は、車両周辺画像提供装置及び車両周辺画像提供方法に関する。
従来、車両周囲を複数のカメラにより撮影し、得られた画像を座標変換して仮想視点から車両を眺めたような画像を生成して運転者に提示する車両周辺画像提供装置が知られている。このような車両周辺画像提供装置は、座標変換の基準面を地面とし、俯瞰画像を生成するものが多く、俯瞰画像を運転者に提示することで、地面上の白線等と自車両との位置関係を運転者に客観的に認識させ、駐車運転や幅寄運転を支援するようになっている（例えば特許文献１参照）。
ところで一般に、エッジ位置が地面から離れている物体を斜め上方から撮影し、撮影された画像を座標変換すると、エッジ位置は実際の位置とは異なる位置にずれて提示される。そしてこのずれ量は物体の撮影位置によって異なる。従って、従来の車両周辺画像提供装置のように、複数のカメラにより物体を撮影し、座標変換後の複数の画像を合成した場合には、画像のつなぎ目においてエッジ線が不連続になり、運転者にとって見にくいものとなる。
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、運転者の安全性を維持しながら複数の画像のつなぎ目部分の見にくさを解消可能な車両周辺画像提供装置及び車両周辺画像提供方法を提供することにある。
特開２００３−１６９３２３号公報
本発明に係る車両周辺画像提供装置は、車両周辺の画像を運転者に提供するものである。この車両周辺画像提供装置は、複数の撮影手段と、画像処理手段と、エッジ検出手段と、判定手段と、画像処理手段とを備えている。複数の撮影手段は、自車両周辺を撮像すると共に、それぞれが異なる方向を撮像するものである。画像処理手段は、地面を基準面とし複数の撮影手段により撮影された車両周辺の画像それぞれを座標変換して座標変換画像を生成し、生成した各座標変換画像を合成して俯瞰画像を生成するものである。エッジ検出手段は、画像処理手段により生成された俯瞰画像に対してエッジ検出を行うものである。判定手段は、エッジ検出手段により検出されたエッジ線のうち、座標変換画像のつなぎ目をまたぐエッジ線の連続性を判定するものである。画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする画像処理を行うものである。
本発明では、座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする補正を行う。すなわち、本発明では、画像のつなぎ目においてエッジ線に連続性を持たせる補正を画像処理を用いて行うと共に、実際の位置と画像上の位置とのずれ量が自車両から見て比較的小さい自車両に近い側のエッジ線に他のエッジ線を合わせる。従って本発明によれば、運転者の安全性を維持しながら複数の画像のつなぎ目部分の見にくさを解消することができる。
本発明の第１実施形態に係る車両周辺画像提供装置の構成図である。 図１に示す画像変換部の座標変換によって得られる俯瞰画像の一例を示す図である。 図１に示す画像検出部のエッジ検出機能の詳細を示す図であり、俯瞰画像の一例を示している。 図１に示す画像検出部の立体判断機能による立体判断原理を示す図であり、（ａ）は地面から存在する立体物の判断原理を示し、（ｂ）は空中に存在する立体物の判断原理を示している。 第１実施形態に係る車両周辺画像提供装置の詳細動作を示すフローチャートである。 図５に示したステップＳＴ２の処理によって検出された立体物を示す図である。 図５に示した第１画像補正処理（ＳＴ５）の処理の詳細を示すフローチャートである。 図７に示したステップＳＴ５２の処理の詳細を示す図であり、（ａ）はステップＳＴ５２の処理の前の画像イメージを示し、（ｂ）はステップＳＴ５２の処理を実行する際の画像イメージを示し、（ｃ）はステップＳＴ５２の処理を実行した後の画像イメージを示している。 図７に示したステップＳＴ５３及びステップＳＴ５４の処理の詳細を示す図であり、（ａ）はステップＳＴ５３の処理の前の画像イメージを示し、（ｂ）はステップＳＴ５３の処理を実行した後の画像イメージを示し、（ｃ）はステップＳＴ５４の処理を実行した後の画像イメージを示している。 図５に示した第２画像補正処理（ＳＴ７）の処理の詳細を示すフローチャートである。 図１０に示すフローチャートの詳細を示す図であり、（ａ）は図１０に示す処理を実行する前のガードレールの画像イメージであり、（ｂ）はステップＳＴ７１の処理を実行した後のガードレールの画像イメージであり、（ｃ）はステップＳＴ７１の処理を実行した後のガードレールの第１画像イメージであり、（ｄ）はステップＳＴ７１の処理を実行した後のガードレールの第２画像イメージである。 第３画像補正処理の様子を示す図であり、（ａ）は第３画像補正処理前の画像イメージを示し、（ｂ）は第３画像補正処理後の画像イメージを示している。 図５に示した第３画像補正処理（ＳＴ８）の処理の詳細を示すフローチャートである。 図１３に示すフローチャートの詳細を示す図であり、（ａ）はステップＳＴ８１の詳細を示す画像イメージであり、（ｂ）はステップＳＴ８２の処理を実行した後の他車両の画像イメージであり、（ｃ）はステップＳＴ８４の処理を実行した後の他車両の画像イメージである。 図５に示す処理を実行した後の俯瞰画像を示す図であり、（ａ）は第１の俯瞰画像の例を示し、（ｂ）は第２の俯瞰画像の例を示している。 第１実施形態に係る車両周辺画像提供装置の変形例を説明する図であり、（ａ）は立体物の厚みを求める原理を示し、（ｂ）は厚みに応じた補正処理が施された俯瞰画像の例を示している。 第２実施形態に係る車両周辺画像提供装置の処理を説明する図であり、図５に示したステップＳＴ３の処理に代えて実行される処理を説明するものである。 第２実施形態に係る車両周辺画像提供装置のエッジ検出方法を示す第１の図である。 第２実施形態に係る車両周辺画像提供装置のエッジ検出方法を示す第２の図である。
以下、本発明の好適な実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態に係る車両周辺画像提供装置の構成図である。同図に示すように、本実施形態に係る車両周辺画像提供装置１は、車両周辺の画像を運転者に提供するものであって、複数のカメラモジュール１０と、車速センサ２０と、操舵角センサ３０と、シフト信号センサ４０と、画像処理装置５０と、モニタ６０と、スピーカ７０とを備えている。
複数のカメラモジュール１０は、自車両周辺を撮影するものであり、例えばＣＣＤカメラやＣＭＯＳカメラが用いられる。このカメラモジュール１０は、図１に示すように、第１カメラモジュール１０ａと第２カメラモジュール１０ｂとの２つからなっており、それぞれが異なる方向を撮像して得られた画像データを画像処理装置５０に送信する構成となっている。なお、カメラモジュール１０は２つに限ることなく、少なくとも２つ設けられていればよく、３つ以上設けられていてもよい。
車速センサ２０は、自車両の車速を検出するものである。操舵角センサ３０は、自車両の操舵角を検出するものである。シフト信号センサ４０は、自車両のシフト位置（ギヤポジションの位置）を検出するものである。これら各部２０，３０，４０は、画像処理装置５０に検出結果を出力するようになっている。
画像処理装置５０は、カメラモジュール１０により撮影された車両周辺の画像を処理するものであり、第１入力バッファ５１ａと、第２入力バッファ５１ｂと、テーブル記憶部５２と、画像変換部５３と、画像検出部５４と、ＣＰＵ５５と、出力バッファ５６とからなっている。
第１入力バッファ５１ａは、第１カメラモジュール１０ａからの画像データを入力して記憶しておくものである。また、第２入力バッファ５１ｂも第１入力バッファ５１ａと同様に、第２カメラモジュール１０ｂからの画像データを入力して記憶しておくものである。
テーブル記憶部５２は、カメラモジュール１０により撮影された車両周辺の画像を地面を基準面として座標変換するアドレス変換テーブルを記憶したものである。画像変換部５３は、テーブル記憶部５２に記憶されるアドレス変換テーブルを用いて、複数のカメラモジュール１０により撮影された車両周辺の画像それぞれを座標変換して座標変換画像を生成するものである。また、画像変換部５３は、生成した座標変換画像を合成して自車両を上空から眺めたような俯瞰画像を生成することとなる。
ここで、俯瞰画像の生成についてより詳しく説明する。図２は、図１に示す画像変換部５３の座標変換によって得られる俯瞰画像の一例を示す図である。なお、図２の説明において、カメラモジュール１０は車両前方、両側方および後方にそれぞれ１つずつ設けられて４方向を撮影可能となっているものとする。
まず、車両が駐車枠内に停車している場合、まず、前方側のカメラモジュール１０によって、フロント画像１０１が得られる。フロント画像１０１には、自車両の車体１０１ａと前側の駐車枠１０１ｂとが映っている。また、後方側のカメラモジュール１０によって、リア画像１０２が得られる。リア画像１０２には、自車両の車体１０２ａと前側の駐車枠１０２ｂとが映っている。
また、右側方側のカメラモジュール１０によって右サイド画像１０３が得られ、左側方側のカメラモジュール１０によって左サイド画像１０４が得られる。右サイド画像１０３には、自車両の車体１０３ａと前側の駐車枠１０３ｂとが映っており、左サイド画像１０４には、自車両の車体１０４ａと前側の駐車枠１０４ｂとが映っている。
画像変換部５３は、このような画像１０１〜１０４をテーブル記憶部５２に記憶されるアドレス変換テーブルに基づいてそれぞれ座標変換する。すなわち、画像変換部５は、フロント画像１０１を座標変換して自車両前方側を上空から眺めた座標変換画像２０１を生成し、同様に、リア画像１０２から自車両後方側を上空から眺めた座標変換画像２０２を生成する。また、右サイド画像１０３から自車両右側方側を上空から眺めた座標変換画像２０３を生成し、左サイド画像１０４から自車両左側方側を上空から眺めた座標変換画像２０４を生成する。
そして、画像変換部５３は、生成した各座標変換画像２０１〜２０４を合成し、自車両周辺を上空から眺めた俯瞰画像２０５を生成する。なお、画像変換部５３は、俯瞰画像２０５の中央部に自車両のオブジェクト２０６を配置することとする。
再度、図１を参照する。画像検出部５４は、エッジ検出機能、および立体判断機能を備えたものである。エッジ検出機能は、画像変換部５３により生成された俯瞰画像に対してエッジ検出を行う機能である。このエッジ検出機能では、俯瞰画像上の各画素の色情報または明るさ情報からエッジ検出を行うようになっている。
図３は、図１に示す画像検出部５４のエッジ検出機能の詳細を示す図であり、俯瞰画像の一例を示している。同図に示すように、俯瞰画像２０５のうちのフロント側の座標変換画像２０１には、壁３０１とポール３０２と縁石３０３とが映っている。これらのうち縁石３０３については、右サイドの座標変換画像２０３にも映っている。また、リア側の座標変換画像２０２には、白線３０４とガードレール３０５と他車両３０６とが映っている。これらのうちガードレール３０５については右サイドの座標変換画像２０３にも映っており、白線３０４と他車両３０６については、左サイドの座標変換画像２０４にも映っている。
エッジ検出機能は、図３に示すような俯瞰画像２０５を対象にエッジ検出を行うこととなる。ここで、縁石３０３、ガードレール３０５及び他車両３０６について俯瞰画像２０５のつなぎ目ａ〜ｄにおいてズレが生じている。
再度図１を参照する。立体判断機能は、エッジ検出機能により検出されたエッジの状態などに基づいて、立体物の存在とその種別とを判断する機能である。より詳しくは、エッジ検出機能により検出されたエッジのズレの状態に基づいて、立体物の存在を検出すると共に種別を判断するようになっている。
図４は、図１に示す画像検出部５４の立体判断機能による立体判断原理を示す図であり、（ａ）は地面から存在する立体物の判断原理を示し、（ｂ）は空中に存在する立体物の判断原理を示している。一般的に複数のカメラモジュール１０を車両に設置する場合、設置個所に制約を受ける。このため、複数のカメラモジュール１０をそれぞれ同一の高さに設置することが困難となる。この結果、複数のカメラモジュール１０は、それぞれ高さが異なることとなる。
図４（ａ）に示すように、第１カメラモジュール１０ａが第２カメラモジュール１０ｂよりも上方に設置されているとする。このとき、地面から存在する立体物、例えば縁石３０３については、各カメラモジュール１０ａ，１０ｂによって認識のされ方が異なってくる。すなわち、各カメラモジュール１０ａ，１０ｂは、縁石３０３の下端位置を点３０３−１として認識するが、上端位置の認識が異なっている。第１カメラモジュール１０ａは、縁石３０３の上端位置を、自己１０ａと縁石３０３の上端位置とを結ぶライン１が地面と接触する地点３０３−２であると認識する。これに対して第２カメラモジュール１０ｂは、縁石３０３の上端位置を、自己１０ｂと縁石３０３の上端位置とを結ぶライン２が地面と接触する地点３０３−３であると認識する。
そして、上記のような認識の相違のまま、画像変換部５３により座標変換が行われるため、俯瞰画像２０５のつなぎ目ａにおいて、縁石３０３は図３に示したようにエッジにズレが生じてしまう。すなわち、図４（ａ）に示したように、一方の座標変換画像では縁石３０３が点３０３−１から点３０３−２までの距離Ｌ１の物体として表現され、他方の座標変換画像では縁石３０３が点３０３−１から点３０３−３までの距離Ｌ２（＞Ｌ１）の物体として表現されてしまう。そして、このような状態で各座標変換画像が合成されるため、俯瞰画像２０５のつなぎ目において縁石３０３のエッジにズレが生じてしまう。なお、縁石３０３の下端位置３０３−１は地面に接しているため、エッジのズレは生じない。
また、図４（ｂ）に示すように、空中に存在する立体物、例えばガードレール３０５についても、各カメラモジュール１０ａ，１０ｂによって認識のされ方が異なってくる。すなわち、各カメラモジュール１０ａ，１０ｂは、ガードレール３０５の下端位置及び上端位置の認識が異なっている。第１カメラモジュール１０ａは、ガードレール３０５の下端位置を、自己１０ａとガードレール３０５の下端位置とを結ぶライン１が地面と接触する地点３０５−１であると認識し、ガードレール３０５の上端位置を、自己１０ａとガードレール３０５の上端位置とを結ぶライン２が地面と接触する地点３０５−２であると認識する。これに対して第２カメラモジュール１０ｂは、ガードレール３０５の下端位置を、自己１０ｂとガードレール３０５の下端位置とを結ぶライン３が地面と接触する地点３０５−３であると認識し、ガードレール３０５の上端位置を、自己１０ｂとガードレール３０５の上端位置とを結ぶライン４が地面と接触する地点３０５−４であると認識する。
そして、上記のような認識の相違のまま、画像変換部５３により座標変換が行われるため、俯瞰画像２０５のつなぎ目ｂにおいて、ガードレール３０５は図３に示したようにエッジにズレが生じてしまう。すなわち、図４（ａ）に示したように、一方の座標変換画像ではガードレール３０５が点３０５−１から点３０５−２までの距離Ｌ３の物体として表現され、他方の座標変換画像ではガードレール３０５が点３０５−３から点３０５−４までの距離Ｌ４（＞Ｌ３）の物体として表現されてしまう。そして、このような状態で合成されるため、俯瞰画像２０５のつなぎ目において双方のエッジのズレが生じてしまう。
立体判断機能は、以上のように、エッジ検出機能により検出されたエッジのうち、各座標変換画像２０１〜２０４を合成したことによる俯瞰画像２０５のつなぎ目ａ〜ｄをまたぐエッジの状態から、そのエッジが立体物のものであるか否かを判断する。さらに、立体判断機能は、エッジが立体物のものであると判断した場合には、図４（ａ）及び（ｂ）のような相違から、立体物が地面から存在するものであるか、空中に存在するものであるか、又は双方の混在するものかを判断するようになっている。
再度、図１を参照する。ＣＰＵ５５は、画像処理装置５０の全体を制御するものであり、画像変換部５３および画像検出部５４を制御するものであり、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のデバイスから構成されている。
出力バッファ５６は、画像変換部５３によって座標変換された俯瞰画像を記憶するものである。この出力バッファ５６は、記憶した俯瞰画像の情報をモニタ６０に出力する構成となっている。
モニタ６０は、座標変換して得られた俯瞰画像を表示するものである。また、モニタ６０は、画像検出部５４によりつなぎ目ａ〜ｄでのエッジが立体物のものであると判断された場合、その立体物について強調表示する構成となっている。この際、モニタ６０は、例えば俯瞰画像上の立体物にオーバレイ画像を重畳し、立体物を強調して表示する。
スピーカ７０は、画像検出部５４によりつなぎ目ａ〜ｄでのエッジが立体物のものであると判断された場合、その立体物の存在を所定の音声にて運転者に知らせる構成となっている。具体的にスピーカ７０は、「ピッ、ピッ、ピッ」といったピープ音や、「左側方に障害物があります」などの会話音で立体物の存在を運転者に知らせる。
次に、本実施形態に係る車両周辺画像提供装置１の動作の概略を説明する。まず、複数のカメラモジュール１０は、自車両周辺を撮影する。次いで、画像変換部５３は、カメラモジュール１０によって撮影された画像を座標変換して複数の座標変換画像を生成し、生成した座標変換画像を合成して俯瞰画像を作成する。
その後、画像検出部５４は、エッジ検出機能によって、俯瞰画像２０５に対してエッジ検出を行う。エッジ検出を行った後、画像検出部５４は、つなぎ目ａ〜ｄをまたぐエッジを抽出する。次に、画像検出部５４は、つなぎ目ａ〜ｄをまたぐエッジのうちズレがあるものを抽出する。すなわち、画像検出部５４は、つなぎ目ａ〜ｄをまたぐエッジのうちズレがあるものを抽出することで、エッジが立体物のものであるか否かを判断している。
そして、画像検出部５４は、抽出したエッジ、すなわち立体物のエッジであると判断したものについて、同一物体か否かを判断する。異なる立体物のエッジが偶然につなぎ目ａ〜ｄをまたぐように俯瞰画像２０５で表現されている場合があり得るため、画像検出部５４は、同一物体か否かを判断する。この際、画像検出部５４は、エッジがまたがるつなぎ目ａ〜ｄを構成している座標変換画像２０１〜２０４を抽出し、これら座標変換画像２０１〜２０４での立体物の輝度または色情報を比較して、各座標変換画像２０１〜２０４での立体物が同一物体であるか判断する。
同一物体であると判断した場合、画像検出部５４は、立体物が地面から存在するものであるか、空中に存在するものであるか、又は双方の混在するものかを判断する。画像検出部５４は、これらの種別を以下を基準にして判断する。
まず、画像検出部５４は、つなぎ目ａ〜ｄをまたぐエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続するときに、立体物が地面から存在するものであると判断する。
ここで、座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続するということは、自車両から近い側のエッジが地面に存在することを示している。すなわち、図３の縁石３０３に示すように、地面を基準面として座標変換するため、地面に存在するエッジについてはズレが生じない。よって、画像検出部５４は、上記場合、立体物が地面から存在するものであると判断する。
また、画像検出部５４は、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続せず、且つ、自車両から近い側のエッジが屈折点のない直線または曲線であるときに、立体物が空中に存在するものであると判断する。
ここで、座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続しないということは、自車両から近い側のエッジが地面に存在しないことを示している。すなわち、本装置１は地面を基準面として座標変換するため、図３の縁石３０３に示すように地面に存在するものについてはズレが生じず、つなぎ目ａ〜ｄにおいてズレが生じているということは、図３のガードレール３０５のようにエッジが空中に存在することを示している。また、自車両から近い側のエッジそれぞれが屈折点のない直線または曲線であるということは、図３に示す他車両３０６のタイヤと車体などのように２つ以上の物体によりエッジが構成されているのではなく、１つの物体によりエッジが構成される可能性が高い。故に、地面に存在する立体物（例えばタイヤ）と空中に存在する立体物（例えば車体）との混在である可能性も少ない。よって、画像検出部５４は、上記場合、立体物が空中に存在するものであると判断する。
また、画像検出部５４は、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続せず、且つ、自車両から近い側のエッジのうち少なくとも１つが屈折点を有しているときに、立体物が地面から存在するものと空中に存在するものとの双方の混在するもの（以下混在物と称する）であると判断する。
ここで、座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続しないということは、自車両から近い側のエッジが地面に存在しないことを示している。すなわち、図３の他車両３０６の車体部分のように、つなぎ目ａ〜ｄにおいてズレが生じているということはエッジが空中に存在することを示している。また、自車両から近い側のエッジのうち少なくとも１つが屈折点を有しているということは、他車両３０６のタイヤと車体などのように２つ以上の物体によりエッジが構成されている可能性が高く、立体物が地面に存在する立体物（タイヤ）と空中に存在する立体物（車体）との混在である可能性も高い。このような場合、車体部分のエッジがつなぎ目ａ〜ｄをまたぎ、屈折点の存在からタイヤによって車体が支えられていると考えられ、画像検出部５４は、立体物が混在物であると判断する。
以上のように、画像検出部５４が立体物の種別を判断した後、画像変換部５３は、立体物の種別に応じて俯瞰画像２０５を補正する。このとき、画像変換部５３は、つなぎ目ａ〜ｄをまたぐエッジのズレを解消するように画像補正する。さらに、モニタ６０は立体物について強調表示し、スピーカ７０は立体物の存在を所定の音声で運転者に通知することとなる。
次に、本実施形態に係る車両周辺画像提供装置１の詳細動作を説明する。図５は、第１実施形態に係る車両周辺画像提供装置１の詳細動作を示すフローチャートである。画像変換部５３が俯瞰画像２０５を生成した後、画像検出部５４は、図５に示すように、俯瞰画像２０５を対象にエッジ検出を行う（ＳＴ１）。なお、上記と別に各カメラモジュール１０によって撮影された画像に対してエッジ検出を行い、それら画像を座標変換するようにしてもよい。
次に、画像検出部５４は、つなぎ目ａ〜ｄをまたいで連続しないエッジ（ズレが生じているエッジ）を検出する（ＳＴ２）。これにより、画像検出部５４は、立体物を検出することとなる。
図６は、図５に示したステップＳＴ２の処理によって検出された立体物を示す図である。同図に示すように、ステップＳＴ２の処理によって、縁石３０３、ガードレール３０５、及び他車両３０６が検出される。なお、図３に示す俯瞰画像２０５と比較すると明らかなように、壁３０１及びポール３０２は、つなぎ目ａ〜ｄをまたいでいないため、ステップＳＴ２の処理では検出されず、白線３０４は、つなぎ目ｃをまたいでいるが、エッジにズレが生じていないため、ステップＳＴ２の処理では検出されていない。
再度、図５を参照する。ステップＳＴ２の後、画像検出部５４は、立体物のうち１つを指定する。すなわち、画像検出部５４は、図６の例でいうと、縁石３０３、ガードレール３０５、及び他車両３０６のうちいずれか１つを選択して、後のステップＳＴ３〜ステップＳＴ９の処理を実行していくこととなる。
立体物のうちいずれか１つを選択した後、画像検出部５４は、その立体物がまたがる各座標変換画像２０１〜２０４において立体物の輝度又は色情報を比較して、各座標変換画像２０１〜２０４での立体物が同一物体であるか否かを判断する（ＳＴ３）。これにより、異なる立体物のエッジが偶然につなぎ目ａ〜ｄをまたぐように俯瞰画像２０５で表現されていたとしても、異なる立体物を同一物体と判定してしまうことを防止することとなる。
ここで、各座標変換画像２０１〜２０４での立体物が同一物体でないと判断した場合（ＳＴ３：ＮＯ）、処理はステップＳＴ９に移行する。一方、各座標変換画像２０１〜２０４での立体物が同一物体であると判断した場合（ＳＴ３：ＹＥＳ）、画像検出部５４は、その立体物について自車両に近い側のエッジが連続するか否かを判断する（ＳＴ４）。
その立体物について自車両に近い側のエッジが連続すると判断した場合（ＳＴ４：ＹＥＳ）、画像検出部５４は、立体物が地面から存在するものであると判断する。すなわち、図６に示す縁石３０３のように、立体物でありながら自車両に近い側のエッジ３０３ａ，３０３ｂが連続しているため、立体物が地面から存在するものであると判断する。
その後、画像変換部５３は、第１画像補正処理を実行し、俯瞰画像を補正する（ＳＴ５）。そして、処理はステップＳＴ９に移行する。一方、その立体物について自車両に近い側のエッジが連続しないと判断した場合（ＳＴ４：ＮＯ）、画像検出部５４は、その立体物について自車両に近い側のエッジそれぞれが屈折点のない直線又は曲線であるか否かを判断する（ＳＴ６）。
その立体物について自車両に近い側のエッジそれぞれが屈折点のない直線又は曲線であると判断した場合（ＳＴ６：ＹＥＳ）、画像検出部５４は、立体物が空中に存在するものであると判断する。すなわち、図６に示すガードレール３０５のように、立体物でありながら自車両に近い側のエッジ３０５ａ，３０５ｂが連続していないため、立体物が空中に存在するものであると判断する。特に、エッジ３０５ａ，３０５ｂの双方が屈折点のない直線又は曲線であるため、混在物であるとも考え難い。これにより、画像検出部５４は、立体物が空中に存在するものであると判断する。
その後、画像変換部５３は、第２画像補正処理を実行し、俯瞰画像を補正する（ＳＴ７）。そして、処理はステップＳＴ９に移行する。一方、その立体物について自車両に近い側のエッジそれぞれが屈折点のある直線又は曲線であると判断した場合（ＳＴ６：ＮＯ）、画像検出部５４は、立体物が混在物であると判断する。すなわち、図６に示す他車両３０６のように、立体物でありながら自車両に近い側のエッジ３０６ａ，３０６ｂが連続していないため、立体物が空中に存在するものであると判断できる。ところが、エッジ３０６ａ，３０６ｂに屈折点が存在しているため、２以上の立体物からなる混在物である可能性が高い。よって、画像検出部５４は、立体物が混在物であると判断する。
その後、画像変換部５３は、第３画像補正処理を実行し、俯瞰画像を補正する（ＳＴ８）。そして、処理はステップＳＴ９に移行する。ステップＳＴ９において、画像検出部５４は、立体物すべてを対象に処理をしたか否かを判断する（ＳＴ９）。ここで、立体物すべてを対象に処理をしていないと判断した場合（ＳＴ９：ＮＯ）、画像検出部５４は未処理の立体物を選択し、処理はステップＳＴ３に移行する。一方、立体物すべてを対象に処理をしたと判断した場合（ＳＴ９：ＹＥＳ）、図５に示す処理は終了する。
次に、図５に示した第１画像補正処理（ＳＴ５）の処理の詳細を説明する。図７は、図５に示した第１画像補正処理（ＳＴ５）の処理の詳細を示すフローチャートである。まず、第１画像補正処理において、画像変換部５３は、立体物が各座標変換画像のいずれかで俯瞰画像２０５の端にまで達しているか否かを判断する（ＳＴ５１）。
立体物が各座標変換画像のいずれかで俯瞰画像２０５の端に達していると判断した場合（ＳＴ５１：ＹＥＳ）、画像変換部５３は、俯瞰画像２０５の端部まで達していない座標変換画像の立体物についても俯瞰画像２０５の端部まで達するように拡張処理をする（ＳＴ５２）。その後、処理は図５に示したステップＳＴ９に移行する。
図８は、図７に示したステップＳＴ５２の処理の詳細を示す図であり、（ａ）はステップＳＴ５２の処理の前の画像イメージを示し、（ｂ）はステップＳＴ５２の処理を実行する際の画像イメージを示し、（ｃ）はステップＳＴ５２の処理を実行した後の画像イメージを示している。また、図８では縁石３０３について処理したときの画像イメージを示すものとする。
同図（ａ）に示すように、縁石３０３は自車両から近い側のエッジ３０３ａ，３０３ｂが連続し、遠い側のエッジ３０３ｃ，３０３ｄが連続していない。しかも、一方の座標変換画像２０１の縁石３０３については自車両から遠い側のエッジ３０３ｃが俯瞰画像２０５の端部まで達している。このため、画像変換部５３は、ステップＳＴ５２の処理において、俯瞰画像２０５の端部まで達していない座標変換画像２０３の縁石３０３についても俯瞰画像２０５の端部まで達するように拡張処理する。
この際、画像変換部５３は、俯瞰画像２０５の端部まで達していない座標変換画像２０３の自車両から遠い側のエッジ３０３ｄから、俯瞰画像２０５の端部まで画素をプロットしていく処理を行う。このとき、画像変換部５３は、自車両から近い側のエッジ３０３ｂと垂直の方向に向かって画素をプロットする。
また、上記処理に代えて、画像変換部５３は、座標（Ｘｂ，Ｙｂ）と座標（Ｘｃ，Ｙｃ）とを通過する直線と、エッジ３０３ｄと、つなぎ目ａと、俯瞰画像２０５の端部とによって囲まれる領域４００を求め、この領域４００を塗りつぶす処理を行う。
さらに、上記処理に代えて、画像変換部５３は、つなぎ目ａの座標（Ｘａ，Ｙａ）と座標（Ｘｅ，Ｙｅ）とを結ぶ線分と、つなぎ目ａの座標（Ｘａ，Ｙａ）と座標（Ｘｄ，Ｙｄ）とを結ぶ線分との長さの比を求める。そして、画像変換部５３は、長さの比に応じて座標変換画像２０３の縁石３０３の画素を、自車両から近い側のエッジ３０３ｂと垂直の方向に拡大する処理を行う。
以上のいずれかの処理により、図８（ｂ）に示す領域４００を塗りつぶすように俯瞰画像２０５が処理されることとなり、図８（ｃ）に示すように双方の座標変換画像２０１，２０３の縁石３０３を俯瞰画像２０５の端部まで到達させ、運転者がモニタ６０で俯瞰画像２０５を参照したときに同一物体であると認識させ易くすることができる。
再度、図７を参照する。立体物が各座標変換画像のいずれでも俯瞰画像２０５の端に達していないと判断した場合（ＳＴ５１：ＮＯ）、画像変換部５３は、その立体物について座標変換画像毎の自車両から遠い側のエッジそれぞれがつなぎ目ａ〜ｄにおいて連続するように俯瞰画像を処理する（ＳＴ５３）。その後、画像変換部５３は、ステップＳＴ５３の処理によって俯瞰画像２０５のうち画素情報が無くなった部分に、予め定められた色で塗りつぶす処理を実行する（ＳＴ５４）。その後、処理は図５に示したステップＳＴ９に移行する。
図９は、図７に示したステップＳＴ５３及びステップＳＴ５４の処理の詳細を示す図であり、（ａ）はステップＳＴ５３の処理の前の画像イメージを示し、（ｂ）はステップＳＴ５３の処理を実行した後の画像イメージを示し、（ｃ）はステップＳＴ５４の処理を実行した後の画像イメージを示している。また、図９では縁石３０３について処理したときの画像イメージを示すものとする。
まず、図９（ａ）に示すように、縁石３０３は自車両から近い側のエッジ３０３ａ，３０３ｂが連続し、遠い側のエッジ３０３ｃ，３０３ｄが連続していない。このため、画像変換部５３は、ステップＳＴ５３において、遠い側のエッジ３０３ｃ，３０３ｄをつなぎ目ａにおいて連続させる。
このとき、画像変換部５３は、俯瞰画像中のエッジを移動させるシフト処理を実行する。すなわち、画像変換部５３は、座標（Ｘｅ，Ｙｅ）から座標（Ｘｄ，Ｙｄ）までの距離を計算し、座標変換画像２０１の自車両から遠い側のエッジ３０３ｃを上記距離分だけシフトさせる（図９（ｂ））。そして、画像変換部５３は、シフト後のエッジ３０３ｃより遠い立体部分、すなわち図９（ｃ）に示す破棄領域の画素データを破棄する。
また、上記処理に代えて、画像変換部５３は、座標変換画像中の立体物の画素を間引く間引き処理、及び、座標変換画像中の立体物を圧縮する圧縮処理の少なくとも一方を実行する。すなわち、画像変換部５３は、つなぎ目ａの座標（Ｘａ，Ｙａ）と座標（Ｘｅ，Ｙｅ）とを結ぶ線分と、つなぎ目ａの座標（Ｘａ，Ｙａ）と座標（Ｘｄ，Ｙｄ）とを結ぶ線分との長さの比を求める。そして、画像変換部５３は、長さの比に応じて座標変換画像２０１の縁石３０３の画素を間引く間引き処理を行い、又は、座標変換画像２０１の縁石３０３を圧縮する圧縮処理を行う。
以上のいずれかの処理により、図９（ｃ）に示すように、双方の座標変換画像２０１，２０３の遠い側のエッジ３０３ｃ，３０３ｄをつなぎ目ａにおいて連続させ、俯瞰画像２０５を視認した利用者に縁石３０３を認識させやすくして、運転者がモニタ６０で俯瞰画像２０５を参照したときに縁石３０３との距離感を喪失しないようにすることができる。
その後、画像変換部５３は、シフト処理、間引き処理、圧縮処理のいずれかを実行し、俯瞰画像２０５において画素情報が無くなった部分（図９（ｃ）の破棄領域）に、予め定められた色で塗りつぶす処理を実行する。このとき、画像変換部５３は、地面と同じ色を着色することにより、俯瞰画像２０５を違和感無く表現することができる。また、画像変換部５３は、地面に存在しない色（例えば赤や青）を着色することにより、俯瞰画像２０５を視認した利用者に画像補正が行われたことを知らせることができる。
なお、上記では、座標変換画像毎の遠い側のエッジ３０３ｃ，３０３ｄのうち、遠い方のエッジ３０３ｃを近い方のエッジ３０３ｄに連続させるように処理を行っているが、これに限らず、近い方のエッジ３０３ｄを遠い方のエッジ３０３ｃに連続させるように処理を行ってもよい。この処理を行うと、縁石３０３が俯瞰画像２０５において大きく表示されるが、ステップＳＴ５４のように画素情報を失った部分に着色をせずともよく、着色により俯瞰画像２０５が却って不自然になってしまう可能性を減じることができる。また、ステップＳＴ５４の処理が不要となり、処理を簡素化することができる。
次に、図５に示した第２画像補正処理（ＳＴ７）の処理の詳細を説明する。図１０は、図５に示した第２画像補正処理（ＳＴ７）の処理の詳細を示すフローチャートである。まず、第２画像補正処理において、画像変換部５３は、座標変換画像毎の自車両から近い側のエッジを連続させる（ＳＴ７１）。このとき、画像変換部５３は、立体物について座標変換画像毎の自車両から近い側のエッジを比較する。そして、画像変換部５３は、比較したエッジのうち自車両から遠い方のエッジが自車両から近い方のエッジとつなぎ目ａ〜ｄにおいてに連続するように座標変換画像上の立体物を移動させる。
図１１は、図１０に示すフローチャートの詳細を示す図であり、（ａ）は図１０に示す処理を実行する前のガードレール３０５の画像イメージであり、（ｂ）はステップＳＴ７１の処理を実行した後のガードレール３０５の画像イメージであり、（ｃ）はステップＳＴ７１の処理を実行した後のガードレール３０５の第１画像イメージであり、（ｄ）はステップＳＴ７１の処理を実行した後のガードレール３０５の第２画像イメージである。
図１１（ａ）に示すように、ガードレール３０５のように空中に存在する立体物は、自車両から近い側のエッジ３０５ａ，３０５ｂが連続しない。このため、画像変換部５３は、ステップＳＴ７１の処理において、自車両から近い側のエッジ３０５ａ，３０５ｂを連続させる。
このとき、画像変換部５３は、図１１（ａ）に示す座標（Ｘｂ，Ｙｂ）から座標（Ｘａ，Ｙａ）までの距離を計算し、この距離の分だけ座標変換画像２０３のガードレール３０５シフトさせる（図１１（ｂ））。これにより、自車両から近い側のエッジ３０５ａ，３０５ｂのうち、遠い方のエッジ３０５ａが近い方のエッジ３０５ｂに合わさることとなり、両エッジ３０５ａ，３０５ｂはつなぎ目ｂにおいて連続することとなる。
なお、遠い方のエッジ３０５ａを近い方のエッジ３０５ｂに合わせることにより、より適切な表現を行うようにしている。すなわち、近い方のエッジ３０５ｂを遠い方のエッジ３０５ａに合わせてしまうと、ガードレール３０５の実際の存在位置よりも遠くにガードレール３０５が存在するかのように俯瞰画像２０５で表現されてしまう。このため、予期せず車両との接触を起こしてしまう場合があり得る。そこで、遠い方のエッジ３０５ａを近い方のエッジ３０５ｂに合わせることにより、ガードレール３０５がより自車両に近くに存在するように俯瞰画像２０５において表現させ、予期しない車両との接触を防止するようにしている。
再度、図１０を参照する。上記の如く、座標変換画像毎の自車両から近い側のエッジを連続させた後、画像変換部５３は、立体物が各座標変換画像のいずれかで俯瞰画像２０５の端に達しているか否かを判断する（ＳＴ７２）。ここで、立体物が各座標変換画像のいずれかで俯瞰画像２０５の端に達していると判断した場合（ＳＴ７２：ＹＥＳ）、画像変換部５３は、俯瞰画像２０５の端部まで達していない座標変換画像の立体物についても俯瞰画像２０５の端部まで達するように拡張処理をする（ＳＴ７３）。その後、処理は図５に示したステップＳＴ９に移行する。なお、このステップＳＴ７３の処理は、図７に示したステップＳＴ５２の処理と同じであるため、詳細説明を省略する。
一方、立体物が各座標変換画像のいずれかで俯瞰画像２０５の端に達していないと判断した場合（ＳＴ７２：ＮＯ）、画像変換部５３は、自車両から近い方のエッジ３０５ａ，３０５ｂの連続状態を維持したまま、その立体物について座標変換画像毎の自車両から遠い側のエッジそれぞれがつなぎ目ａ〜ｄにおいて連続するように俯瞰画像を処理する（ＳＴ７４）。その後、画像変換部５３は、ステップＳＴ７４の処理によって俯瞰画像２０５において画素情報が無くなった部分に、予め定められた色で塗りつぶす処理を実行する（ＳＴ７５）。その後、処理は図５に示したステップＳＴ９に移行する。
図１１を参照する。図１１（ｂ）に示すように座標変換画像２０３のガードレール３０５を移動させて自車両から近い側のエッジ３０５ａ，３０５ｂを連続させたとしても、自車両から遠い側のエッジ３０５ｃ，３０５ｄは連続しない。具体的に述べると、座標変換画像２０３においてガードレール３０５を移動させた場合のエッジ３０５ｃとつなぎ目ｂとの接点座標は（Ｘｄ，Ｙｄ）である。一方、座標変換画像２０２において自車両から遠い側のエッジ３０５ｄとつなぎ目ｂとの接点座標は（Ｘｃ，Ｙｃ）である。このように、ステップＳＴ７１の処理を行ったとしても、自車両から遠い側のエッジ３０５ｃ，３０５ｄは連続しない。
よって、画像変換部５３は、ステップＳＴ７４において自車両から遠い側のエッジ３０５ｃ，３０５ｄは連続させる処理を実行する。このとき、画像変換部５３は、図７に示したステップＳＴ５３と同様にして、遠い側のエッジ３０５ｃ，３０５ｄをつなぎ目ｂにおいて連続させる。
そして、画像変換部５３は、ステップＳＴ７５においてシフト処理、間引き処理、圧縮処理のいずれかを実行し、俯瞰画像２０５において画素情報が無くなった部分（図１１（ｃ）の斜線部）に、予め定められた色で塗りつぶす処理を実行する。このステップＳＴ７５の処理は図５に示したステップＳＴ５４の処理と同様である。
なお、上記処理に限らず、画像変換部５３は図１１（ｄ）に示すように処理を行ってもよい。すなわと、画像変換部５３は、座標変換画像毎の近い側のエッジ３０５ａ，３０５ｂのうち、遠い方のエッジ３０５ａを近い方のエッジ３０５ｂに連続させ、且つ、座標変換画像毎の遠い側のエッジ３０５ｃ，３０５ｄのうち、近い方のエッジ３０５ｄを遠い方のエッジ３０５ｃに連続させる。この処理を行うと、ガードレール３０５が俯瞰画像２０５において大きく表示されるが、ステップＳＴ７５のように画素情報を失った部分に着色をせずともよく、着色により俯瞰画像２０５が却って不自然になってしまう可能性を減じることができる。また、ステップＳＴ７５の処理が不要となり、処理を簡素化することができる。
次に、図５に示した第３画像補正処理（ＳＴ８）の処理の詳細を説明する。第３画像補正処理では、混在物について画像処理を行っていくこととなる。図１２は、第３画像補正処理の様子を示す図であり、（ａ）は第３画像補正処理前の画像イメージを示し、（ｂ）は第３画像補正処理後の画像イメージを示している。
同図（ａ）に示すように、混在物は地面から存在する立体物（タイヤ）と空中に存在する立体物（車体）とからなっている。一方の座標変換画像２０４の自車両に近い側のエッジ３０６ａは前輪と車体とを含むものとなり、他方の座標変換画像２０２の自車両に近い側のエッジ３０６ｂは後輪と車体とを含むものとなっている。
ここで、第１及び第２画像補正処理の如く、例えばエッジ３０６ａを移動させるなどの処理をすると、前輪と地面との接触点αよりも自車両側にエッジ３０６ａが存在し得ることとなってしまう。すなわち、混在物の場合、地面から存在する立体物についてはエッジを移動させず、空中に存在する立体物についてのみエッジを移動させるなどの処理を行う必要がある。より詳しくは、前輪と地面との接触点αと、後輪と地面との接触点βとを結ぶ接線よりも自車両側にエッジ３０６ａ，３０６ｂが存在しないようにしなければならない。よって、第３画像補正処理では、図１２（ａ）に示す座標変換画像２０４の車体のみのエッジを移動させて、図１２（ｂ）に示すように、各座標変換画像２０２，２０４のエッジ３０６ａ，３０６ｂを連続させる必要がある。
図１３は、図５に示した第３画像補正処理（ＳＴ８）の処理の詳細を示すフローチャートである。まず、第３画像補正処理において、画像変換部５３は、混在物の接線を求める（ＳＴ８１）。
図１４は、図１３に示すフローチャートの詳細を示す図であり、（ａ）はステップＳＴ８１の詳細を示す画像イメージであり、（ｂ）はステップＳＴ８２の処理を実行した後の他車両３０６の画像イメージであり、（ｃ）はステップＳＴ８４の処理を実行した後の他車両３０６の画像イメージである。
同図（ａ）に示すように、画像変換部５３は、前輪と地面との接触点の座標値（Ｘｃ，Ｙｃ）と、後輪と地面との接触点の座標値（Ｘｄ，Ｙｄ）とを求め、求めた座標値を通過する接線を求める。
再度、図１３を参照する。接線を求めた後、画像変換部５３は、座標変換画像毎の自車両から近い側のエッジを連続させる（ＳＴ８２）。このとき、画像変換部５３は、立体物について座標変換画像毎の自車両から近い側のエッジを比較し、比較したエッジのうち自車両から遠い方のエッジが自車両から近い方のエッジとつなぎ目ａ〜ｄにおいてに連続するように座標変換画像上の立体物を圧縮処理する。
図１４（ｂ）に示すように、他車両３０６のうち車体は空中に存在するため、自車両から近い側のエッジ３０６ａ，３０６ｂが連続しない。具体的には、これらのエッジ３０６ａ，３０６ｂのうち、自車両から遠い方のエッジ３０６ａとつなぎ目ｃとは座標（Ｘａ，Ｙａ）で接触しており、自車両から近い方のエッジ３０６ｂとつなぎ目ｃとは座標（Ｘｂ，Ｙｂ）で接触している。このため、画像変換部５３は、ステップＳＴ８２の処理において、車体のエッジが連続するように座標変換画像２０４の他車両３０６を圧縮する。このとき、画像変換部５３は、他車両３０６が接線を超えないように圧縮処理を行う。
圧縮処理にあたり画像変換部５３は、接線と他車両３０６のエッジとの距離を求める。ここで、図１４（ａ）に示すように、座標変換画像２０４において接線と他車両３０６のエッジとの距離がＡであり、座標変換画像２０２において接線と他車両３０６のエッジとの距離がＢ（＜Ａ）であるとする。この場合、画像変換部５３は、座標変換画像２０４の他車両３０６をＢ／Ａ倍に圧縮する。これにより、図１４（ｂ）に示すように、各座標変換画像２０２，２０４の車体のエッジと接線との距離は共にＢとなる。そして、双方のエッジ３０６ａ，３０６ｂはつなぎ目ｃと座標（Ｘｂ，Ｙｂ）で接触し、これらエッジ３０６ａ，３０６ｂは連続することとなる。
再度、図１３を参照する。上記の如く、座標変換画像毎の自車両から近い側のエッジを連続させた後、画像変換部５３は、ステップＳＴ８３〜ＳＴ８６の処理を実行する。この処理は、図７に示したステップＳＴ５１〜ＳＴ５４の処理と同様であるため、詳細説明を省略する。
なお、座標変換画像２０４の他車両３０６は、ステップＳＴ８２の圧縮処理によって接線側に近寄ることとなり画素情報を失う部分が存在するが（図１４（ｂ））、座標変換画像２０２の他車両３０６が画像端部に達しているため、ステップＳＴ８４の処理が実行され、座標変換画像２０４の他車両３０６が俯瞰画像２０５の画像端部まで拡張されて、図１４（ｃ）に示すように表現される。また、他車両３０６が画像端部に達していない場合であっても、ステップＳＴ８６の処理が実行されて、画素情報を失った部分に着色されることとなる。
図１５は、図５に示す処理を実行した後の俯瞰画像２０５を示す図であり、（ａ）は第１の俯瞰画像２０５の例を示し、（ｂ）は第２の俯瞰画像２０５の例を示している。図１５（ａ）に示すように、縁石３０３、ガードレール３０５及び他車両３０６のエッジは連続しており、図３に示した俯瞰画像２０５と比較して、立体物を同一物と認識しやすくなっている。また、図１５（ｂ）に示すように、画素情報を失った部分に着色を行わない場合においても同様に、縁石３０３、ガードレール３０５及び他車両３０６のエッジは連続しており、立体物を認識しやすくなっている。
以上のように、車両周辺画像提供装置１は、車両周辺の立体物について種別を判断し、俯瞰画像２０５を対象に適切な画像補正処理を施して、運転者に車両周囲の立体物を認識させやすくして、距離感の喪失等の問題を解消するようにしている。
図１６は、第１実施形態に係る車両周辺画像提供装置１の変形例を説明する図であり、（ａ）は立体物の厚みを求める原理を示し、（ｂ）は厚みに応じた補正処理が施された俯瞰画像２０５の例を示している。変形例に掛かる車両周辺画像提供装置１は、立体物が地面から存在するものであると判断した場合、その厚みを求め、その厚みに応じて俯瞰画像２０５に画像補正処理を施し、モニタ６０にて表示するようになっている。なお、図１６では立体物のうち縁石３０３を例に説明する。
例えば、図１６（ａ）に示すように、カメラモジュール１０からの距離Ｓの位置に縁石３０３の１つ目のエッジが存在し、距離Ｓ＋Ｉの位置に２つ目のエッジが存在し、距離Ｓ＋Ｉ＋Ｌの位置に３つ目のエッジが存在するとする。ここで、カメラモジュール１０の高さＨは既知の値である。故に、立体物の高さｈは、ｈ＝Ｉ×Ｈ／（Ｉ＋Ｓ）となり、立体物の厚みｌは、ｌ＝｛（Ｈ−ｈ）×（Ｓ＋Ｉ＋Ｌ）／Ｈ｝−Ｓとなる。画像検出部５４の立体判断機能は、上記演算式から立体物の厚みｌを検出する。
そして、画像変換部５３は、縁石３０３を厚みｌとなるように補正処理を施す。このとき、自車両に近い側のエッジは地面と接触するため、画像変換部５３は自車両に近い側のエッジを基準とし、縁石３０３の厚みがｌとなるよう自車両に近い側のエッジと遠い方のエッジとの間隔を調整し、各エッジをつなぎ目ａにおいて連続させる。この間隔調整にあたり、画像変換部５３はシフト処理、間引き処理、圧縮処理などを実行し、画素情報が失われた部分には予め定められた色で着色する。以上の変形例により、俯瞰画像２０５の立体物を正確な厚みで表現することができ、一層立体物を分かり易く表示して、運転者の距離感の喪失を防止することができる。
このようにして、第１実施形態に係る車両周辺画像提供装置１によれば、検出したエッジのうち、各座標変換画像２０１〜２０４を合成したことによる俯瞰画像２０５のつなぎ目ａ〜ｄをまたぐエッジの状態から、そのエッジが立体物のものであるか否かを判断する。ここで、つなぎ目ａ〜ｄをまたぐエッジが立体物のものであれば、複数のカメラモジュール１０の設置位置の関係から、エッジはつなぎ目ａ〜ｄにおいてズレが生じる。このように、つなぎ目ａ〜ｄをまたぐエッジの状態から、そのエッジが立体物のものであるか判断することができる。
また、つなぎ目ａ〜ｄをまたぐエッジが立体物のものである場合には、そのエッジの状態から、立体物が地面から存在するものであるか、空中に存在するものであるか、又は双方が混在するものかを判断する。ここで、立体物が地面から存在するものである場合、その立体物について座標変換画像毎の自車両から近い側のエッジはつなぎ目ａ〜ｄにおいて連続する。また、立体物が空中に存在するものである場合、その立体物について座標変換画像毎の自車両から近い側のエッジはつなぎ目においてズレが生じる。双方が混在するものである場合、その立体物について座標変換画像毎の自車両から近い側のエッジはつなぎ目ａ〜ｄにおいてズレが生じるうえに、近い側のエッジは直線等のように構成されず、１つ以上の屈折点を含むこととなる。このように、つなぎ目をまたぐエッジの状態から、立体物が地面から存在するものか、空中に存在するものか、または双方が混在するものかを判断することができる。
従って、車両周辺の立体物について種別を判断することができる。
また、つなぎ目ａ〜ｄをまたぐエッジが立体物のものであると判断した場合、つなぎ目ａ〜ｄを構成する各座標変換画像２０１〜２０４での立体物の輝度または色情報を比較して、各座標変換画像２０１〜２０４での立体物が同一物体であるか判断し、同一物体であると判断した場合に、立体物の種別を判断する。これにより、異なる立体物のエッジが偶然につなぎ目ａ〜ｄをまたぐように俯瞰画像２０５で表現されていたとしても、異なる立体物を同一物体と判定して種別を判断してしまう頻度を低減させることができる。
また、つなぎ目ａ〜ｄをまたぐエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続するときに、立体物が地面から存在するものであると判断する。ここで、座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続するということは、自車両から近い側のエッジが地面に存在することを示している。すなわち、地面を基準面として座標変換するため、地面に存在するものについてはズレが生じない。よって、上記場合に、立体物が地面から存在するものであると判断することができる。
また、立体物が地面から存在するものであると判断された場合、その立体物について座標変換画像毎の遠い側のエッジそれぞれがつなぎ目において連続するように俯瞰画像を処理する。ここで、立体物が地面から存在するものである場合、図４（ａ）に示すように、立体物は複数のカメラモジュール１０の設置位置の関係から、倒れ込んで認識される量が異なってくる。この結果、立体物の上端側、すなわち遠い側のエッジは俯瞰画像２０５のつなぎ目ａ〜ｄにおいてズレて表現され、運転者は車両から立体物までの距離の喪失し易くなる。よって、このズレを解消するように遠い側のエッジそれぞれがつなぎ目ａ〜ｄにおいて連続するように処理することで、距離の喪失を抑制することができる。
また、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続せず、且つ、自車両から近い側のエッジが屈折点のない直線または曲線であるときに、立体物が空中に存在するものであると判断する。ここで、座標変換画像毎の自車両から近い側のエッジがつなぎａ〜ｄ目において連続しないということは、自車両から近い側のエッジが地面に存在しない部分を含むことを示している。すなわち、地面を基準面として座標変換するため、地面に存在するものについてはズレが生じないはずであるが、つなぎ目ａ〜ｄにおいてズレが生じているということはエッジが空中に存在する部分を含むことを示している。また、自車両から近い側のエッジそれぞれが屈折点のない直線または曲線であるということは、車両のタイヤと車体などのように２つ以上の物体によりエッジが構成されているのではなく、１つの物体によりエッジが構成される可能性が高い。故に、地面に存在する立体物と空中に存在する立体物との混在である可能性も少ない。よって、上記場合に、立体物が空中に存在するものであると判断することができる。
また、立体物が空中に存在するものであると判断された場合、その立体物について座標変換画像毎の自車両から近い側のエッジを比較し、比較したエッジのうち自車両から遠い方のエッジが近い方のエッジとつなぎ目ａ〜ｄにおいて連続するように座標変換画像上の立体物を移動させる。これにより、座標変換画像毎の自車両から近い側のエッジが連続することとなる。このとき、座標変換画像毎の自車両から遠い側のエッジは、未だズレを生じている可能性がある。
また、移動後に、自車両から近い側のエッジの連続状態を維持したまま、その立体物について座標変換画像毎の自車両から遠い側のエッジそれぞれがつなぎ目において連続するように俯瞰画像２０５を処理する。これにより、自車両から遠い側及び近い側のエッジの双方が連続することとなり、運転者に立体物を認識させやすくして、距離の喪失を抑制することができる。
また、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断した場合、その立体物について座標変換画像毎の自車両から近い側のエッジがつなぎ目ａ〜ｄにおいて連続せず、且つ、自車両から近い側のエッジのうち少なくとも１つが屈折点を有しているときに、立体物が空中に存在するものであると判断する。ここで、座標変換画像毎の自車両から近い側のエッジがつなぎ目において連続しないということは、自車両から近い側のエッジが少なくとも地面に存在しない部分を含むことを示している。すなわち、地面を基準面として座標変換するため、地面に存在するものについてはズレが生じないはずであるが、つなぎ目ａ〜ｄにおいてズレが生じているということはエッジが空中に存在する部分を含むことを示している。また、自車両から近い側のエッジのうち少なくとも１つが屈折点を有しているということは、車両のタイヤと車体などのように２つ以上の物体によりエッジが構成されている可能性が高く、立体物が地面に存在する立体物と空中に存在する立体物との混在である可能性も高い。よって、上記場合に、立体物が地面に存在する立体物と空中に存在する立体物との混在であると判断することができる。
また、立体物が地面から存在するものと空中に存在するものとの双方の混在するものであると判断された場合、その立体物について座標変換画像毎に最も自車両に近い側の点の座標値を求め、求めた各座標値を通過する接線を求める。これにより、地面から存在するものと空中に存在するものとの双方の混在する立体物について地面との接触地点の座標値を求め、その接触地点を結ぶラインを求めることとなる。
また、その立体物について座標変換画像毎の自車両から近い側のエッジを比較し、比較したエッジのうち自車両から遠い方のエッジが近い方のエッジとつなぎ目において連続するように且つ立体物が上記接点を超えないように座標変換画像上の立体物を処理する。これにより、座標変換画像毎の自車両から近い側のエッジが連続することとなる。しかも、立体物が接線を超えないため、地面から存在するものと空中に存在するものとの双方が混在する立体物について地面との接触地点を結ぶラインを超えて処理されることなく、俯瞰画像２０５においてラインより自車両側に立体物が表現されないようになる。なお、この場合において、座標変換画像毎の自車両から遠い側のエッジは、未だズレを生じている可能性がある。
また、処理後に、その立体物について各座標変換画像２０１〜２０４のうち自車両から遠い側のエッジそれぞれがつなぎ目ａ〜ｄにおいて連続するように俯瞰画像２０５を処理する。これにより、自車両から遠い側及び近い側のエッジの双方が連続することとなり、運転者に立体物を認識させやすくすることができる。
以上より、俯瞰画像２０５においてラインより自車両側に立体物が表現されないようにすると共に自車両から近い側と遠い側とのエッジを連続させて、運転者に立体物を認識させやすくし、距離の喪失を抑制することができる。
また、シフト処理、間引き処理、及び圧縮処理の少なくとも１つを実行して、俯瞰画像２０５において画素情報が無くなった部分に、予め定められた色で塗りつぶす処理を実行する。これにより、画像処理された様子を運転者に示すことができる。特に、通常では地面に存在しない色（赤色など）を予め定められた色とした場合には、画像処理された様子を一層運転者に示すことができる。
また、つなぎ目ａ〜ｄをまたぐ立体物が座標変換画像２０１〜２０４のいずれかで俯瞰画像２０５の端部まで達している場合、俯瞰画像２０５の端部まで達していない座標変換画像２０１〜２０４の立体物についても俯瞰画像２０５の端部まで達するように処理をする。これにより、自車両から遠い側のエッジを連続させる処理を行うことなく、つなぎ目ａ〜ｄをまたぐ立体物を簡易に同一物体と認識させるように表示することができる。
また、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断された場合、その立体物について強調表示する。このため、表示される俯瞰画像中の立体物を運転者に対して分かり易く通知することができる。
また、つなぎ目ａ〜ｄでのエッジが立体物のものであると判断された場合に、その立体物の存在を所定の音声にて運転者に知らせるため、立体物の有無を運転者に聴覚的に通知することができる。
また、第１実施形態に係る車両周辺画像提供装置１の変形例によれば、立体物が地面から存在するものであると判断した場合、立体物の厚みを求め、求めた厚みに応じて、立体物について座標変換画像毎に自車両から近い側のエッジと遠い側のエッジとの間隔を調整し、遠い側のエッジそれぞれをつなぎ目ａ〜ｄにおいて連続させる。このように、立体物の厚みに応じて各座標変換画像２０１〜２０４のうち近い側のエッジと遠い側のエッジとの間隔を調整するので、俯瞰画像２０５の立体物の厚みを的確に表現でき、実際に立体物を真上から見たように表示することができる。従って、運転者に立体物を分かり易く提示することができる。さらに、遠い側のエッジそれぞれをつなぎ目において連続させるため、エッジ間のズレを解消し、距離の喪失を抑制することができる。
次に、本発明の第２実施形態を説明する。第２実施形態に係る車両周辺画像提供装置２は、第１実施形態のものと同様であるが、処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。
第２実施形態に車両周辺画像提供装置２は、図５に示したステップＳＴ３の処理が第１実施形態のものと異なっている。また、第２実施形態に係る車両周辺画像提供装置２は、俯瞰画像２０５の全体に対してエッジ検出を行うのでなく、俯瞰画像２０５のうち一部からエッジ検出を行う点で第１実施形態のものと異なっている。
図１７は、第２実施形態に係る車両周辺画像提供装置２の処理を説明する図であり、図５に示したステップＳＴ３の処理に代えて実行される処理を説明するものである。複数のカメラモジュール１０は、撮像領域がそれぞれ他のカメラモジュール１０と重複しており、画像変換部５３は俯瞰画像２０５の生成時には重複部分データを破棄するようになっている。
具体的に説明する。図１７に示すように、俯瞰画像２０５には縁石３０３が映っている。この縁石３０３は、つなぎ目ａをまたがっているため、このつなぎ目ａを構成する座標変換画像２０１，２０３の座標変換前の画像であるフロント画像１０１及び右サイド画像１０３にも映っている。
座標変換にあたり画像変換部５３は、フロント画像１０１のすべてを座標変換するのでなく、フロント画像１０１の一部を破棄する。故に、フロント画像１０１に映る縁石３０３１についても全て座標変換されるのはなく、一部（図１７に示す符号３０３１’の部分）は破棄されることとなる。また、同様に、右サイド画像１０３に映る縁石３０３２についても全て座標変換されるのはなく、一部（図１７に示す符号３０３２’の部分）は破棄されることとなる。
ここで、破棄される部分は、フロント画像１０１と右サイド画像１０３とで重複する部分である。すなわち、フロント画像１０１と右サイド画像１０３とには同じ箇所が映っており、同じ箇所を重複して座標変換して俯瞰画像２０５を得ないようにするために、重複箇所の破棄を行っている。
第２実施形態に係る画像検出部５４は、この重複部分に存在する立体物の輝度または色情報を比較して、立体物が同一物体であるか否かを判断する。これにより、立体物が同一物体であれば同じ箇所の輝度または色情報を比較することとなり、より正確に同一物体か否かを判断することができる。
次に、第２実施形態に係るエッジ検出方法について説明する。図１８は、第２実施形態に係る車両周辺画像提供装置２のエッジ検出方法を示す第１の図であり、図１９は、第２実施形態に係る車両周辺画像提供装置２のエッジ検出方法を示す第２の図である。
例えば、図１８に示すように、第２実施形態では自車両から一定距離内を第１の領域４０１とし第１の領域４０１の外側の領域を第２の領域４０２としており、画像検出部５４は、自車両の車速が所定速度未満である場合、第２の領域４０２を対象にエッジ検出せず、第１の領域４０１を対象にエッジ検出する。また、画像検出部５４は、所定速度以上である場合、第１の領域４０１を対象にエッジ検出せず、第２の領域４０２を対象にエッジ検出する。このように、第２実施形態において画像検出部５４のエッジ検出機能は、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所を対象にエッジ検出する。
ここで、自車両の速度が速い場合、運転者は自車両から比較的離れた箇所を視認する必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する必要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所を対象にエッジ検出することで、運転者の視認すべき箇所を対象にエッジ検出することとなる。
なお、図１８に示すように、第１および第２の領域４０１，４０２のように固定の領域が予め設定される場合に限らず、領域の大きさは可変とされてもよい。
また、図１９に示すように、第２実施形態では操舵角センサ３０およびシフト信号センサ４０の情報に基づいて自車両の進行方向側（特に車体が通過する領域）をエッジ検出領域４０３として決定し、この領域４０３を対象にエッジ検出し、他の領域ではエッジ検出しないようにしてもよい。これにより、自車両と接触する可能性がある立体物についてエッジ検出を行うことができる。なお、図１９に示す例では、車速が低いときに、エッジ検出領域４０３のうち遠方側をカットするようにしてもよいし、車速が高い場合にはより遠方までを対象にエッジ検出するようにしてもよい。
このようにして、第２実施形態に係る車両周辺画像提供装置２によれば、第１実施形態と同様に、車両周辺の立体物について種別を判断することができる。また、立体物が地面から存在するものであると判断することができ、距離の喪失を抑制することができる。また、立体物が空中に存在するものであると判断することができ、立体物が地面に存在する立体物と空中に存在する立体物との混在であると判断することができる。また、画像処理された様子を一層運転者に示すことができ、つなぎ目ａ〜ｄをまたぐ立体物を簡易に同一物体と認識させるように表示することができる。また、表示される俯瞰画像中の立体物を運転者に対して分かり易く通知することができ、立体物の有無を運転者に聴覚的に通知することができる。
さらに、第２実施形態によれば、つなぎ目ａ〜ｄをまたぐエッジが立体物のものであると判断した場合、このつなぎ目ａ〜ｄを構成する座標変換画像の座標変換前の画像のうち、俯瞰画像２０５を生成したときに破棄される部分に存在する立体物の輝度または色情報を比較することによって、各座標変換画像２０１〜２０４での立体物が同一物体であるか判断し、同一物体であると判断した場合に、立体物の種別を判断する。ここで、複数のカメラモジュール１０は、撮像領域がそれぞれ他のカメラモジュール１０と重複しており、画像変換部５３は俯瞰画像２０５の生成時には重複部分データを破棄するようになっている。各カメラモジュール１０は、この重複部分において他のカメラモジュール１０と同一箇所を撮像している。故に、俯瞰画像２０５を生成したときに破棄される部分に存在する立体物の輝度または色情報を比較することによって、同一箇所の輝度または色情報を比較することとなり、より正確に立体物が同一物体であるか否かを判断することができる。
また、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも俯瞰画像上で自車両から離れた領域を対象にエッジ検出を行う。ここで、自車両の速度が速い場合、運転者は自車両から比較的離れた箇所を視認する必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する必要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも俯瞰画像上で自車両から離れた領域を対象にエッジ検出を行うことで、運転者の視認すべき箇所の立体物を対象にエッジ検出を行うことができる。さらには、エッジ検出を行う領域を限定でき、処理負荷を軽減することができる。
また、俯瞰画像上で自車両の進行方向側の領域を対象にエッジ検出を行うため、自車両と接触する可能性がある立体物についてエッジ検出を行うことができる。さらには、エッジ検出を行う領域を限定でき、処理負荷を軽減することができる。
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形態を組み合わせるようにしてもよい。
本発明は、車両周辺の画像を運転者に提供する車両周辺画像提供装置に適用することができる。

Claims (10)

  1. 車両周辺の画像を運転者に提供する車両周辺画像提供装置であって、
    自車両周辺を撮像すると共に、それぞれが異なる方向を撮像する複数の撮影手段と、
    地面を基準面とし前記複数の撮影手段により撮影された車両周辺の画像それぞれを座標変換して座標変換画像を生成し、生成した各座標変換画像を合成して俯瞰画像を生成する画像処理手段と、
    前記画像処理手段により生成された俯瞰画像に対してエッジ検出を行うエッジ検出手段と、
    エッジ検出手段により検出されたエッジ線のうち、座標変換画像のつなぎ目をまたぐエッジ線の連続性を判定する判定手段と、
    座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする画像処理を行う画像処理手段と
    を備えることを特徴とする車両周辺画像提供装置。
  2. 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が複数存在する場合において、複数のエッジ線のうち自車両から遠い側のエッジ線が不連続である場合には、自車両から近い側のエッジ線の連続性を維持しながら自車両から遠い側のエッジ線をつなぎ目において連続にすることを特徴とする請求項１に記載の車両周辺画像提供装置。
  3. 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合において、エッジ線が屈曲点を有する場合には、つなぎ目をまたぐ屈曲したエッジ線同士を結ぶ接線を超えないようにエッジ線をつなぎ目において連続にすることを特徴とする請求項１に記載の車両周辺画像提供装置。
  4. 前記画像処理手段は、座標変換画像のつなぎ目をまたぐエッジ線が複数存在する場合において、複数のエッジ線のうち自車両から近い側のエッジ線が連続である場合には、自車両から近い側のエッジ線の位置を維持しながら自車両から遠い側の各エッジ線をつなぎ目において連続にすることを特徴とする請求項１に記載の車両周辺画像提供装置。
  5. 座標変換画像のつなぎ目をまたぐ複数のエッジ線が同一物体を構成するか否かを判定する手段を備え、同一物体を構成していると判定された場合、前記画像処理手段は、自車両から近い側に存在するエッジ線と自車両から遠い側に存在するエッジ線を特定することを特徴とする請求項２に記載の車両周辺画像提供装置。
  6. 前記画像処理手段は、つなぎ目においてエッジを連続させるために、エッジを移動させるシフト処理、画素を間引く間引き処理、及び画像を圧縮する圧縮処理の少なくとも１つを実行することを特徴とする請求項１乃至請求項５のうち、いずれか１項に記載の車両周辺画像提供装置。
  7. 前記画像処理手段は、前記シフト処理、前記間引き処理、及び前記圧縮処理の少なくとも１つを実行して俯瞰画像において画素情報が無くなった部分に、予め定められた色で塗りつぶす処理を実行することを特徴とする請求項６に記載の車両周辺画像提供装置。
  8. 前記エッジ検出手段は、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも俯瞰画像上で自車両から離れた領域を対象にエッジ検出を行うことを特徴とする請求項１乃至請求項７のうち、いずれか１項に記載の車両周辺画像提供装置。
  9. 前記エッジ検出手段は、俯瞰画像上で自車両の進行方向側の領域を対象にエッジ検出を行うことを特徴とする請求項１乃至請求項８のうち、いずれか１項に記載の車両周辺画像提供装置。
  10. 車両周辺の画像を運転者に提供する車両周辺画像提供方法であって、
    自車両周辺の異なる方向を撮像するステップと、
    地面を基準面とし撮影された自車両周辺の画像それぞれを座標変換して座標変換画像を生成し、生成した各座標変換画像を合成して俯瞰画像を生成するステップと、
    生成された俯瞰画像に対してエッジ検出を行うステップと、
    検出されたエッジ線のうち、座標変換画像のつなぎ目をまたぐエッジ線の連続性を判定するステップと、
    座標変換画像のつなぎ目をまたぐエッジ線が不連続である場合、自車両から遠い側のエッジ線を自車両に近い側のエッジ線に合わせることによりエッジ線をつなぎ目において連続にする画像処理を行うステップと
    を有することを特徴とする車両周辺画像提供方法。
JP2008514434A 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法 Active JP4956799B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008514434A JP4956799B2 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006130269 2006-05-09
JP2006130269 2006-05-09
PCT/JP2007/058961 WO2007129582A1 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法
JP2008514434A JP4956799B2 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法

Publications (2)

Publication Number Publication Date
JPWO2007129582A1 true JPWO2007129582A1 (ja) 2009-09-17
JP4956799B2 JP4956799B2 (ja) 2012-06-20

Family

ID=38667690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514434A Active JP4956799B2 (ja) 2006-05-09 2007-04-25 車両周辺画像提供装置及び車両周辺画像提供方法

Country Status (5)

Country Link
US (1) US8243994B2 (ja)
EP (1) EP2018066B1 (ja)
JP (1) JP4956799B2 (ja)
CN (1) CN101438590B (ja)
WO (1) WO2007129582A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110576796A (zh) * 2019-08-28 2019-12-17 浙江合众新能源汽车有限公司 一种标清360全景系统ui布局方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163165B2 (ja) * 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
JP5235843B2 (ja) * 2009-11-16 2013-07-10 アルパイン株式会社 車両周辺監視装置および車両周辺監視方法
EP2372637B1 (en) * 2010-03-02 2013-07-03 Autoliv Development AB A driver assistance system and method for a motor vehicle
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
DE102010010912A1 (de) * 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
WO2014019132A1 (en) 2012-07-31 2014-02-06 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
US9150156B2 (en) 2012-08-30 2015-10-06 Nissan North America, Inc. Vehicle mirror assembly
US9288446B2 (en) 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
US9057833B2 (en) 2012-09-28 2015-06-16 Nissan North America, Inc. Vehicle mirror assembly
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
JP6167824B2 (ja) * 2013-10-04 2017-07-26 アイシン精機株式会社 駐車支援装置
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015098107A1 (ja) * 2013-12-24 2015-07-02 京セラ株式会社 画像処理装置、警報装置、および画像処理方法
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
US9403491B2 (en) 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
JP6485160B2 (ja) * 2015-03-27 2019-03-20 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
DE112017006840B4 (de) * 2017-01-16 2023-11-02 Fujitsu Limited Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
CN109163707B (zh) * 2018-09-06 2019-11-26 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
US11748920B2 (en) * 2019-08-02 2023-09-05 Nissan Motor Co., Ltd. Image processing device, and image processing method
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
TWI826119B (zh) * 2022-11-15 2023-12-11 瑞昱半導體股份有限公司 影像處理方法、系統以及非暫態電腦可讀取記錄媒體

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236113A (ja) * 1994-02-24 1995-09-05 Canon Inc 画像記録再生方法および画像記録再生装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
JP2001186512A (ja) * 1999-12-27 2001-07-06 Toshiba Corp Ｘ線検査装置
JP3584194B2 (ja) * 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Ind Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
JP3819284B2 (ja) 2001-11-29 2006-09-06 クラリオン株式会社 車両周囲監視装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110576796A (zh) * 2019-08-28 2019-12-17 浙江合众新能源汽车有限公司 一种标清360全景系统ui布局方法

Also Published As

Publication number Publication date
CN101438590B (zh) 2011-07-13
EP2018066B1 (en) 2019-10-02
WO2007129582A1 (ja) 2007-11-15
EP2018066A4 (en) 2017-04-19
CN101438590A (zh) 2009-05-20
US8243994B2 (en) 2012-08-14
JP4956799B2 (ja) 2012-06-20
US20090257659A1 (en) 2009-10-15
EP2018066A1 (en) 2009-01-21

Similar Documents

Publication Publication Date Title
JP4956799B2 (ja) 車両周辺画像提供装置及び車両周辺画像提供方法
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
KR101519209B1 (ko) Avm 영상 제공 장치 및 방법
JP4404103B2 (ja) 車両外部撮影表示システムおよび画像表示制御装置
JP4816923B2 (ja) 車両周辺画像提供装置および方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
JP2012040883A (ja) 車両周囲画像生成装置
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
JP6167824B2 (ja) 駐車支援装置
JP5083443B2 (ja) 運転支援装置および方法、ならびに演算装置
JP2009188635A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP2014106740A (ja) 車載用駐車枠認識装置
JP2010183234A (ja) 描画装置
JP5906696B2 (ja) 車両周辺撮影装置および車両周辺画像の処理方法
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
KR102177878B1 (ko) 영상 처리 장치 및 방법
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
JP4945315B2 (ja) 運転支援システム及び車両
WO2018146997A1 (ja) 立体物検出装置
JP2009077022A (ja) 運転支援システム及び車両
JP4736611B2 (ja) 画像処理装置および画像処理方法
JP2008230358A (ja) 表示装置
JP2007166442A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4956799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150