JP5962927B2 - 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム - Google Patents

俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム Download PDF

Info

Publication number
JP5962927B2
JP5962927B2 JP2013535874A JP2013535874A JP5962927B2 JP 5962927 B2 JP5962927 B2 JP 5962927B2 JP 2013535874 A JP2013535874 A JP 2013535874A JP 2013535874 A JP2013535874 A JP 2013535874A JP 5962927 B2 JP5962927 B2 JP 5962927B2
Authority
JP
Japan
Prior art keywords
image
overhead
vehicle
joint
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013535874A
Other languages
English (en)
Other versions
JPWO2013046593A1 (ja
Inventor
高橋　幸司
幸司 高橋
一ノ瀬　忠夫
忠夫 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2013046593A1 publication Critical patent/JPWO2013046593A1/ja
Application granted granted Critical
Publication of JP5962927B2 publication Critical patent/JP5962927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Description

本発明は、複数の撮像装置から取得した撮像画像を変換処理し、表示装置へ出力する俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラムに関する。特に、俯瞰画像を合成表示した際に生じる繋ぎ目付近の被写体の不自然な映り込みを解消する俯瞰画像合成技術に関する。
近年、道路交通の安全性向上のために、運転者が前方、後方、および左右の死角を車内に設置された車載モニタで確認できるように、カメラ（撮像装置）を搭載する車が多くなってきている。そして、車に搭載されたカメラを用いた運転支援システムが提案されている。
この運転支援システムでは、車両の前方、後方、および左右それぞれのカメラで撮像した映像を、車両上方から鉛直下向きに見た画像（以降、俯瞰画像とも称する）に変換する視点変換処理を行う。そして、それらの俯瞰画像を合成し、まるで車両の真上から周囲を見下ろしたような合成俯瞰画像を生成する。これにより、運転者が車両周囲を１画面上で連続的に視認することができる。
複数の俯瞰画像同士を合成することで生成される合成俯瞰画像上では、立体障害物が画像の繋ぎ目付近で見えなくなることがある。これを改善するために、２つの俯瞰画像を繋ぎ目付近で重ねて表示することが考えられるが、この場合には、１つの立体障害物が２重に見えることがある。また、２つの俯瞰画像を繋ぎ目付近で重ねて表示しないことも考えられるが、この場合には、立体障害物が繋ぎ目を跨いで途切れて不連続に見えることがある。このように、上記改善策を実施しても、運転者の障害物に対する認識が難しいことがある。
このような俯瞰画像の繋ぎ目付近の立体障害物の視認性低下に対しては、以下のような技術が知られている。例えば、障害物検知手段によって繋ぎ目付近に立体障害物を検知した場合、表示領域切出し処理を、路面レベル（第１の基準高）に加えて、単数又は複数の相違なる有限の基準高に対して実施し、得られた複数の俯瞰画像を切替え表示することが知られている（例えば、特許文献１参照）。また、車両に搭載したソナーで合成俯瞰画像の繋ぎ目部分に対応する領域に障害物が存在するか否かを判断して、この領域に障害物が存在する場合には、合成俯瞰画像の繋ぎ目部分となる位置を変化させることが知られている（例えば、特許文献２参照）。
日本国特開２０１０−２００２４０号公報 日本国特開２００７−４１７９１号公報
しかしながら、特許文献１の技術では、例えば、図１９（Ａ）のように第１の基準高１０１から得られた図１９（Ｃ）の俯瞰画像と、図１９（Ｂ）のように第２の基準高１０２から得られた図１９（Ｄ）の俯瞰画像と、を切替え表示する。この図１９（Ａ）、（Ｂ）の被写体１０３が変換表示された図１９（Ｃ）、（Ｄ）の俯瞰画像に映り込むそれぞれの被写体１０４、１０５からも分かるように、切替え表示毎に被写体の映り込む位置が自車両画像に対して、横移動、縦移動、斜め移動等を起こしてしまっているように見える。つまり、被写体と自車両画像との位置関係や、隣り合う俯瞰画像間の基準高上の（基準高における）位置関係が切替え表示毎に変わる。
この作用により、合成俯瞰画像を視認する運転者が自車両に対する被写体の位置を誤認識し、運転に支障をきたすことが大いに考えられる。自車両と自車両が接する地面との位置関係や、隣り合う俯瞰画像間の基準高上の位置関係が変化することは、そもそも車両にとって本意ではない。
また、特許文献２の技術では、障害物の存在によって繋ぎ目部分となる位置を変化させるが、その位置について特に制限がない。そのため、基準高から高さを持つ（基準高から所定の高さを有する）被写体が繋ぎ目付近に映り込むと、途切れて不連続になる可能性がある。そのような現象は運転者に大きな違和感を与えかねない。この点について、図面を用いて説明する。
まず、俯瞰画像の特徴について説明する。図２０に、撮像装置２０１と地面２０２上に設置した直方体２０３との位置関係を示す。撮像装置２０１は、地面からある高さを有する位置から地面付近を撮像できる状態で存在している。
図２１では、図２０の直方体２０３を撮像した撮像装置が取得する撮像画像３０１を示す。格子線３０３は、地面２０２上に描かれた正方格子状の升目である。図２２は、図２１の撮像画像３０１を、地面を基準に投影する視点変換処理により変換した俯瞰画像３０４を示す。図２１では、格子線３０３は、直線で構成される格子線３０６に変換されている。また、直方体３０２と直方体３０５の各点はそれぞれ、点Ａ１と点Ａ２、点Ｂ１と点Ｂ２、点Ｃ１と点Ｃ２、点Ｄ１と点Ｄ２、点Ｅ１と点Ｅ２、点Ｆ１と点Ｆ２、点Ｇ１と点Ｇ２、点Ｈ１と点Ｈ２、が対応している。
このとき、直方体３０５上の点Ａ２と点Ｂ２とを結ぶ辺、点Ｃ２と点Ｄ２とを結ぶ辺、点Ｅ２と点Ｆ２とを結ぶ辺、点Ｇ２と点Ｈ２とを結ぶ辺のそれぞれは、図２３に示すように、直線Ｌ１、Ｌ２、Ｌ３、Ｌ４上に存在し、その４直線は位置３０７で交わる。図２３では、図２２と同じ俯瞰画像３０４が描かれている。
この位置３０７は、俯瞰画像３０４中の基準高に存在する被写体の映り込む位置に対して、俯瞰画像３０４の生成元となる撮像画像３０１を取得した撮像装置２０１が実世界で存在する鉛直線上の位置である。
したがって、俯瞰画像３０４において垂直の被写体は、撮像装置２０１の位置から放射方向に投影されていて、このような映り込みの状態を被写体の「倒れ込み」と表現し、その放射方向を「倒れ込み方向」と表現する。
尚、以降図中の俯瞰画像もしくは車両イメージ中に示す撮像装置の位置は、図２３上に描かれた撮像装置２０１の位置３０７と同義である。
次に、図２４（Ａ）は、特許文献２の２台分の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像に含まれる領域（俯瞰画像の表示領域）と、の関係を示すものである。撮像装置４０１は、領域４０３と領域４０５とを含む俯瞰画像を生成する。撮像装置４０２は、領域４０４と領域４０５とを含む俯瞰画像を生成する。したがって、領域４０５は、双方の撮像装置４０１、４０２の撮像画像の一部から俯瞰画像の一部が重複して生成される箇所である。
そこで、領域４０５内で繋ぎ目を使用して画像同士を繋ぎ合わせることを想定する。例えば図２４（Ｂ）のように、点線４０８で示す繋ぎ目を配置すれば、領域４０５における領域４０６側では撮像装置４０１の画像から生成された俯瞰画像の一部が表示され、領域４０７側では撮像装置４０２の画像から生成された俯瞰画像の一部が表示される。
ここで、特許文献２の技術のように、変化した画像の繋ぎ目を点線４０８、点線４０９、点線４１０で示す位置に配置させたと仮定した場合、地面上の点４１１の位置に存在する直方体の映り込み方は、それぞれ図２５（Ａ）、（Ｂ）、（Ｃ）の直方体４１２のようになる。
点線４０８（図２４（Ｂ）参照）で示す位置に配置させた図２５（Ａ）と点線４０９（図２４（Ｂ）参照）で示す位置に配置させた図２５（Ｂ）とでは、直方体４１２の表示が途中で途切れて消失しているだけで、大きく見え方に変わりがない。図２５（Ａ）と図２５（Ｂ）との違いは、図２５（Ｂ）の直方体４１２の方が、繋ぎ目の配置箇所の変化分だけ途切れて消失する部分が大きくなっていることである。
それに対し、点線４１０（図２４（Ｂ）参照）で示す位置に繋ぎ目を配置した図２５（Ｃ）では、直方体４１２が領域４０６側で映り込んでいるのと同時に、繋ぎ目を跨いで領域４０７側にも途切れて不連続な状態で映り込んでいる。このように、例えば、１つの被写体が２つに分離して、被写体が２つ存在しているように見えるような合成俯瞰画像は、被写体の状態や車両に対する位置の認識に誤解を与える可能性がある。
以上のように、特許文献１では、自車両と俯瞰画像との間、且つ、隣り合う俯瞰画像間の基準高上の位置関係がずれる可能性がある。また、特許文献２では、直方体のような地面に対して垂直方向に延びる被写体が繋ぎ目を跨いで途切れて不連続に映り込む可能性がある。
本発明は、上記事情に鑑みてなされたものであって、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能な俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラムを提供することを目的とする。
本発明の俯瞰画像生成装置は、車両に搭載された複数の撮像装置により撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像取得部により取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部と、前記画像変換部により変換された複数の俯瞰画像を合成する俯瞰画像合成部と、撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定する繋ぎ目設定部と、を備える。
この構成により、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記２つの放射方向のいずれか一方に沿って、前記繋ぎ目を設定する。
この構成により、繋ぎ目を沿わせた線の方向の基準となった撮像装置の俯瞰画像に含まれる範囲内において、垂直な被写体の倒れ込みがどの位置でも繋ぎ目を跨る方向に生じない。よって、この範囲内において、途中で被写体の高さ方向の表示が途切れて消失することなく、大きく表示されるようになり、被写体の存在を認識し易くなる。
また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記車両の運転者の視線方向と第１の放射方向とのなす第１の角度が、前記視線方向と第２の放射方向とのなす第２の角度よりも小さい場合、前記視線方向から前記第１の放射方向に近づけた方向に沿って前記繋ぎ目を設定する。
この構成により、垂直の被写体の倒れ込み方向が運転者の視線方向に近い撮像装置の俯瞰画像は表示され、一方、運転者の視線方向と遠い撮像装置の俯瞰画像は上記の近い撮像装置の俯瞰画像によって隠されるので、表示されない。よって、運転者が運転席から垂直の被写体を見た視線方向と、被写体の倒れ込み方向が近い俯瞰画像だけが表示されるようになり、運転者を中心とした被写体の存在する方向を認識し易くなる。
また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記車両イメージの角部を前記端点とする。
この構成により、俯瞰画像に含まれる範囲内において、基準高から高さを持つ自車両が表示され難くなり、自車両の不要な映り込みが無くなり易くなる。また、車両イメージの１辺に対し、その車両イメージの１辺に位置が最も近い撮像装置から生成されるただ１つの俯瞰画像に含まれる領域が接するようにすることで、車両の１辺の方向と俯瞰画像の方向とが一致するようになり、車両を中心とした被写体の存在する方向を認識し易くなる。
また、本発明の俯瞰画像生成装置は、前記車両の車両情報を取得する車両情報取得部を備え、前記繋ぎ目設定部が、前記車両情報取得部により取得された車両情報に基づいて、前記繋ぎ目を設定する。
この構成により、用途や車両周囲の状況に応じて、繋ぎ目の位置が変更でき、被写体の状態や車両に対する被写体の位置を誤解なく認識し易くなる。
また、本発明の俯瞰画像生成装置は、前記車両情報取得部が、車両の走行方向を含む前記車両情報を取得し、前記繋ぎ目設定部が、前記車両の走行方向側の領域、および、前記走行方向と直交する方向において前記走行方向と反対方向寄りの領域、を避けて、前記繋ぎ目を設定する。
この構成により、車両の進行方向を加味した場合に運転者が最も視認したい位置において、被写体が途切れて消失することを防止することができる。
また、本発明の俯瞰画像生成装置は、前記俯瞰画像合成部により合成された合成俯瞰画像と、前記撮像画像取得部により取得された撮像画像または前記画像変換部により変換された俯瞰画像と、を同時に出力する画像出力部を備える。
この構成により、合成俯瞰画像と合成俯瞰画像の元となった撮像画像に関連する他の画像とを同時出力することができる。よって、運転者は１つの映像内で、合成俯瞰画像上では大きく変形して認識し難くなった立体物の視認性や広い視野を確保でき、視認性が補われる。
また、本発明の俯瞰画像生成方法は、俯瞰画像生成装置の俯瞰画像生成方法であって、複数の撮像装置により撮像された撮像画像を取得するステップと、前記取得された撮像画像を視点変換処理により俯瞰画像に変換するステップと、前記変換された複数の俯瞰画像を合成するステップと、撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定するステップと、を有する。
この方法により、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
また、本発明の俯瞰画像生成プログラムは、上記俯瞰画像生成方法の各ステップをコンピュータに実行させるためのプログラムである。
このプログラムにより、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
本発明によれば、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。
本発明の第１の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図 （Ａ）本発明の第１の実施形態に係る各撮像装置と車両との位置及び向きの関係の一例を示す図、（Ｂ）本発明の第１の実施形態に係る画像表示装置に表示される合成俯瞰画像の一例を示す図 （Ａ）〜（Ｃ）本発明の第１の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）、（Ｂ）本発明の第１の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）〜（Ｄ）本発明の第１の実施形態に係る撮像装置の撮像可能な画角内にある端点を通る放射線の一例を示す図 （Ａ）〜（Ｃ）本発明の第２の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）、（Ｂ）本発明の第２の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）〜（Ｄ）本発明の第２の実施形態に係る撮像装置の撮像可能な画角内にある端点を通る放射線（繋ぎ目）の一例を示す図 （Ａ）、（Ｂ）本発明の第３の実施形態に係る合成俯瞰画像における運転者の視線方向と被写体の倒れ込み方向との一例を示す図 （Ａ）本発明の第３の実施形態に係る２つの撮像装置による撮像範囲内で撮像装置から端点に向かう２つの放射線の間の範囲の一例を示す図、（Ｂ）本発明の第３の実施形態に係る合成俯瞰画像における運転者の視線方向と被写体の倒れ込み方向との一例を示す図 （Ａ）本発明の第４の実施形態に係る車両イメージの側端を表す各辺上に、繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図、（Ｂ）本発明の第４の実施形態に係る車両イメージの後端を表す辺上に、繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図、（Ｃ）本発明の第４の実施形態に係る車両イメージの角部に繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図 本発明の第４の実施形態に係る車両イメージの各角部に各繋ぎ目の各端点が位置する場合の合成俯瞰画像の一例を示す図 本発明の第５の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図 （Ａ）、（Ｂ）本発明の第５の実施形態に係る２つの撮像装置による撮像範囲内で撮像装置から端点に向かう２つの放射線の間の範囲の一例を示す図 （Ａ）本発明の第５の実施形態に係る車両が後退する場合の運転者の視認領域の一例を示す図、（Ｂ）本発明の第５の実施形態に係る車両が後退する場合の運転者の視認領域および複数の俯瞰画像間の繋ぎ目の一例を示す図 （Ａ）本発明の第５の実施形態に係る車両が前進する場合の運転者の視認領域の一例を示す図、（Ｂ）本発明の第５の実施形態に係る車両が前進する場合の運転者の視認領域および複数の俯瞰画像間の繋ぎ目の一例を示す図 本発明の第５の実施形態に係る各繋ぎ目が左右非対称の場合の合成俯瞰画像の一例を示す図 本発明の第６の実施形態に係る俯瞰画像生成装置の出力画像の一例を示す図 （Ａ）従来の車両と被写体と第１の基準高との関係を示す図、（Ｂ）従来の従来の車両と被写体と第２の基準高との関係を示す図、（Ｃ）従来の第１の基準高から得られた俯瞰画像を示す図、（Ｄ）従来の第２の基準高から得られた俯瞰画像を示す図 従来の撮像装置と地面上に設置した直方体との位置関係を示す図 図２０の直方体を撮像した撮像装置が取得する撮像画像を示す図 図２１の撮像画像を、地面を基準に投影する視点変換処理により変換した俯瞰画像を示す図 図２２の俯瞰画像の直方体の高さ方向の線分が所定の点で交わることを示す図 （Ａ）従来の２台の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像が含まれる表示領域と、の関係を示す図、（Ｂ）従来の２台の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像が含まれる表示領域と、２台の撮像装置の俯瞰画像の繋ぎ目と、の関係を示す図 （Ａ）〜（Ｃ）従来の２つの俯瞰画像を各繋ぎ目で合成した場合の合成俯瞰画像の一例を示す図
以下、本発明の実施形態について、図面を用いて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図である。
俯瞰画像生成装置５０１は、例えば車両に搭載され、俯瞰画像生成するための処理等、様々な処理を行う。前方撮像装置５０２は、車両の前方周辺を撮像する。後方撮像装置５０３は、車両の後方周辺を撮像する。右側方撮像装置５０４は、車両の右側方周辺を撮像する。左側方撮像装置５０５は、車両の左側方周辺を撮像する。画像表示装置５０６は、入力された画像等を表示する車内に設置された車載モニタ等である。これらの装置５０１〜５０６は、電気的に接続される。各撮像装置５０２〜５０５は、車両に搭載され、画角については１８０度程度が一般的である。
図１で示すように、俯瞰画像生成装置５０１には、入力側に、前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、および左側方撮像装置５０５が接続され、出力側には、画像表示装置５０６が接続される。
俯瞰画像生成装置５０１に接続される前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、左側方撮像装置５０５、および画像表示装置５０６は、車両内に設置された図示しない電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を介して接続されても良い。
俯瞰画像生成装置５０１は、周知のＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、撮像画像取得部５１、画像変換部５２、俯瞰画像合成部５３、繋ぎ目設定部５４、画像出力部５５、を有して構成される。撮像画像取得部５１、画像変換部５２、俯瞰画像合成部５３、繋ぎ目設定部５４、および画像出力部５５の各機能は、例えば俯瞰画像生成装置５０１内のＣＰＵがＲＯＭに格納されたプログラムを実行することによって実現される。
撮像画像取得部５１は、各撮像装置５０２〜５０５により撮像された画像である撮像画像を、有線または無線の回線またはケーブルを介して取得する。
画像変換部５２は、撮像画像取得部５１により取得された撮像画像を視点変換処理により俯瞰画像に変換する。俯瞰画像とは、高所から地上を見下ろしたように描かれた画像である。また、視点変換処理の一例は、以下の文献に記載されている。
（参考特許文献）特開２００４−２８９３８６号公報
俯瞰画像合成部５３は、画像変換部５２により変換された複数の俯瞰画像を合成し、合成俯瞰画像を生成する。また、俯瞰画像合成部５３は、繋ぎ目設定部５４により設定された繋ぎ目で複数の画像を繋ぎ合わせて、合成俯瞰画像を生成する。
繋ぎ目設定部５４は、撮像範囲が重複する２つの撮像装置（例えば、図３（Ａ）における符号５０３、５０５参照）に対応する２つの俯瞰画像（例えば、図３（Ｂ）の符号７０７、７０８参照）において、上記の重複する撮像範囲（例えば、図３（Ａ）における符号７０５参照）内で、繋ぎ目設定部５４は、俯瞰画像に含まれる車両に相当する車両イメージ（例えば、図２（Ａ）における符号６０２参照）の周縁の任意の位置を、端点（例えば、図３（Ａ）の符号７０２参照）とする。そして、２つの撮像装置から端点に向かう２つの放射方向（例えば、図３（Ａ）の符号７０３、７０４の方向参照）の間で、上記の端点から車両イメージとは反対側の任意の方向に延びる線を、俯瞰画像合成部５３により合成される２つの俯瞰画像間を繋ぐ繋ぎ目（例えば、図３（Ｂ）における符号７０６参照）として設定する。なお、本実施形態で説明する上記の端点は、繋ぎ目の撮像装置に近い方の端点を示すものである。繋ぎ目設定部５４による繋ぎ目の設定方法の詳細については後述する。繋ぎ目は、繋ぎ合わされる２つの俯瞰画像毎に例えば１つ設定される。
画像出力部５５は、俯瞰画像合成部５３により生成された合成俯瞰画像やその他の画像等を、有線または無線の回線またはケーブルを介して画像表示装置５０６へ出力する。
各撮像装置５０２〜５０５と車両６０１との位置及び向きの関係は、図２（Ａ）に示される通りとする。また、画像表示装置５０６に表示される合成俯瞰画像６０３は、図２（Ｂ）に示される通りである。車両イメージ６０２は、実世界での車両６０１が存在している位置を想定したものである。ここでは、車両イメージ６０２の領域が矩形領域で示されているが、この領域の形状は矩形に限らない。合成俯瞰画像６０３は、車両イメージ６０２の周辺全体を囲うように、各撮像装置５０２〜５０５の撮像画像が画像変換部５２により視点変換処理され、それぞれの画像が俯瞰画像合成部５３により合成されたものである。
次に、俯瞰画像生成装置５０１による俯瞰画像生成方法について説明する。
図３（Ａ）〜（Ｃ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図である。図３（Ａ）において、符号７０１は、後方撮像装置５０３もしくは左側方撮像装置５０５の撮像画像から生成された俯瞰画像に含まれる範囲（俯瞰画像の表示領域）を示す。符号７０２は、繋ぎ目の撮像装置５０３、５０５に近い方の端点を示す。符号７０３は、後方撮像装置５０３の位置から端点７０２を通る放射線を示す。符号７０４は、左側方撮像装置５０５の位置から端点７０２を通る放射線を示す。符号７０５は、表示範囲７０１と放射線７０３と放射線７０４とで囲まれた範囲を示す。この範囲は、後方撮像装置５０３の撮像範囲と左側方撮像装置５０５の撮像範囲とが重複する範囲である。
図３（Ｂ）では、繋ぎ目７０６を範囲７０５の中の端点７０２からの任意の放射方向に配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される領域７０７と、左側方撮像装置５０５の俯瞰画像の一部が表示される領域７０８と、を示している。
図３（Ｃ）は、２つの俯瞰画像が繋ぎ目７０６を元に合成され、基準高上の位置７０９、７１３に垂直の被写体７１０、７１４がそれぞれ映り込んだ様子を示す図である。なお、本実施形態の垂直の被写体とは、地面に対して垂直な被写体である。
なお、図３（Ａ）においてのみ、車両イメージ６０２の一部（周縁）を示している。
位置７０９に映り込んだ垂直の被写体７１０は、後方撮像装置５０３から位置７０９を通る放射線７１１の方向と、左側方撮像装置５０５から位置７０９を通る放射線７１２の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、領域７０７と領域７０８の位置関係により、放射線７１１の方向の一方向のみに倒れ込んだものを表示する。
このとき、垂直の被写体７１０の倒れ込みが起きる放射線７１１、７１２上の位置７０９とから、外側２方向（後方撮像装置５０３、左側方撮像装置５０５とは反対側に向かう方向）において、どちらも繋ぎ目７０６と交わっていない。
また、位置７１３に映り込んだ垂直の被写体７１４は、後方撮像装置５０３から位置７１３を通る放射線７１５の方向と、左側方撮像装置５０５から位置７１３を通る放射線７１６の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、領域７０７と領域７０８の位置関係により、放射線７１６の方向の一方向のみに倒れ込んだものを表示する。この倒れ込みの表示は、繋ぎ目７０６と放射線７１６との交点７１７の位置で途切れている。
このとき、垂直の被写体７１４の倒れ込みが起きる放射線７１６上の位置７１３から、外側方向（左側方撮像装置５０５とは反対側に向かう方向）においては、繋ぎ目７０６と交わっている。一方、同じく倒れ込みが起きる放射線７１５上の位置７１３から、外側方向（後方撮像装置５０３とは反対側に向かう方向）においては、繋ぎ目７０６と交わっていない。
図３（Ａ）〜（Ｃ）の例のように、範囲７０５に収まるように、端点７０２から放射線７０３と放射線７０４の間の方向（範囲７０５に範囲内）に繋ぎ目７０６を配置（設定）した場合は、どの位置に被写体が映り込んでも、２つの撮像装置５０３、５０５からの２つの放射線の外側方向では、この２つの放射線の両方共が繋ぎ目７０６と交わることはない。例えば、２つの撮像装置５０３、５０５の位置から被写体７１０（７１４）の位置を通る２つの放射線７１１、７１２（７１５、７１６）において、被写体７１０（７１４）の位置から倒れ込みが起きる外側方向では、繋ぎ目７０６と一方のみが交わることはあるが、両方共が交わることはない。
一方で、図４（Ａ）では、範囲７０５の外側で端点７０２からの放射方向に繋ぎ目７１８を配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される領域７１９と、左側方撮像装置５０５の俯瞰画像の一部が表示される領域７２０を示している。
図４（Ｂ）は、２つの俯瞰画像が繋ぎ目７１８を元に合成され、図３（Ｃ）と同じ基準高上の位置７０９、７１３に垂直の被写体７１０、７１４がそれぞれ映り込んだ様子を示す図である。位置７０９に映り込んだ垂直の被写体７１０は、図３（Ｃ）と同じく、放射線７１１の方向の一方向のみに倒れ込んだものが表示されている。
これに対し、位置７１３に映り込んだ垂直の被写体７１４は、図３（Ｃ）とは大きく違う。ここでは、領域７１９と領域７２０の位置関係により、放射線７１６の方向に倒れ込んで表示されたものが、繋ぎ目７１８と放射線７１６との交点７２１の位置で途切れている。また、放射線７１５の方向に倒れ込んで表示されたものが、繋ぎ目７１８と放射線７１５の交点７２２の位置で途切れている。したがって、この被写体７１４は、不連続に表示されている。
このとき、垂直の被写体７１４の倒れ込みが起きる放射線７１５上の位置７１３から外側方向（後方撮像装置５０３とは反対側に向かう方向）において、繋ぎ目７１８と交わっている。同じく、垂直の被写体７１４の倒れ込みが起きる放射線７１６上の位置７１３から、外側方向（左側方撮像装置５０５とは反対側に向かう方向）においても、繋ぎ目７１８と交わっている。
図４（Ａ）、（Ｂ）の例のように、範囲７０５から外れるように、端点７０２から延びる放射線７０３と放射線７０４の間ではない方向（範囲７０５の範囲外）に繋ぎ目７１８を配置した場合は、被写体の位置によって、２つの撮像装置からの２つの放射線の外側方向では、この２つの放射線の両方が繋ぎ目７１８と交わることがある。例えば、２つの撮像装置５０３、５０５の位置から被写体７１４の位置を通る２つの放射線７１５、７１６において、被写体７１４の位置から倒れ込みが起きる外側方向では、２つの放射線７１５、７１６の両方が繋ぎ目７１８と交わる。この場合、垂直の被写体７１４が繋ぎ目を跨いで途切れて不連続に映り込んでしまう。
以上のように、本実施形態の俯瞰画像生成装置５０１は、複数の撮像装置５０３、５０５により撮像された撮像画像を取得する撮像画像取得部５１と、取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部５２と、変換された複数の俯瞰画像を合成する俯瞰画像合成部５３と、繋ぎ目設定部５４と、を備える。繋ぎ目設定部５４は、撮像範囲が重複する２つの撮像装置５０３、５０５に対応する２つの俯瞰画像において、重複する撮像範囲内で、俯瞰画像に含まれる車両に相当する車両イメージの周縁の任意の位置を端点７０２とし、２つの撮像装置５０３、５０５から端点７０２に向かう２つの放射線７０３、７０４の方向（放射方向）の間で、端点７０２から車両イメージとは反対側の任意の方向に延びる線を、俯瞰画像合成部５３により合成される２つの俯瞰画像間を繋ぐ繋ぎ目７０６として設定する。
この場合、撮像範囲が重複する２つの撮像装置５０３、５０５の位置から被写体７１０（７１４）の位置７０９（７１３）を通る２つの放射線７１１、７１２（７１５、７１６）の内、倒れ込みが起きる外側方向では、繋ぎ目７０６と２つの放射線７１１、７１２（７１５、７１６）とは両方共に交わらないか、もしくは一方のみ交わるだけである。
したがって、図１９（Ｃ）、（Ｄ）で説明した状態とは異なり、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保つことができる。したがって、どちらの撮像装置の俯瞰画像においても、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。そのため、被写体の状態や車両に対する位置を誤解なく認識し易くなる。
尚、図５（Ａ）〜（Ｄ）で示す合成俯瞰画像例のように、撮像装置が撮像可能な画角であれば、車両イメージ６０２に関わらず、２つの撮像装置による撮像範囲内で、車両イメージ６０２の周縁の任意の位置を端点として、範囲８０１〜８０４のようなそれぞれの範囲内で、繋ぎ目を配置しても良い。
（第２の実施形態）
本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
図６（Ａ）〜（Ｃ）および図７（Ａ）、（Ｂ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の内、隣り合う２つの俯瞰画像の合成部分の一例を示している。図６（Ａ）は、図３（Ａ）と同じく、俯瞰画像の表示範囲７０１、端点７０２、放射線７０３、放射線７０４を含んで示されている。
尚、図６（Ａ）〜（Ｃ）以降の図において、既に挙げられたものと同一の構成要素については、同一の符号を付して詳細な説明を省略する。
図６（Ｂ）では、繋ぎ目９０１を図６（Ａ）の放射線７０３の方向と一致するように、つまり放射線７０３に沿って配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域９０２と、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域９０３と、を示している。
図６（Ｃ）は、図６（Ｂ）の繋ぎ目９０１を元に俯瞰画像が合成され、基準高上の位置９０４、９０８に垂直の被写体９０５、９０９がそれぞれ映り込んだ様子を示す図である。位置９０４に映り込んだ垂直の被写体９０５は、後方撮像装置５０３から位置９０４を通る放射線９０６の方向と、左側方撮像装置５０５から位置９０４を通る放射線９０７の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９０２と表示領域９０３との位置関係により、放射線９０６の方向の一方向のみに倒れ込んだものを表示する。
繋ぎ目９０１は、後方撮像装置５０３の位置からの放射線７０３の方向に沿って配置されている。そのため、後方撮像装置５０３の位置から放射線７０３の方向にない位置９０４を通る放射線９０６の方向に倒れ込んで表示される垂直の被写体９０５は、繋ぎ目９０１と交わっていない。
また、位置９０８に映り込んだ垂直の被写体９０９は、後方撮像装置５０３から位置９０８を通る放射線９１０の方向と、左側方撮像装置５０５から位置９０８を通る放射線９１１の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９０２と表示領域９０３との位置関係により、放射線９１０の方向の一方向のみに倒れ込んだものを表示する。
繋ぎ目９０１は、後方撮像装置５０３の位置からの放射線７０３の方向に沿って配置されている。そのため、垂直の被写体９０５と同じく、後方撮像装置５０３の位置から放射線７０３の方向にない位置９０８を通る放射線９１０の方向に倒れ込んで表示される垂直の被写体９０９は、繋ぎ目９０１と交わっていない。
図６（Ａ）〜（Ｃ）の例のように、後方撮像装置５０３の位置からの放射線７０３の方向に一致させて繋ぎ目９０１を配置した場合は、後方撮像装置５０３の俯瞰画像が表示される表示領域９０２のどの位置に垂直の被写体９０５、９０９が映り込んでも、表示される倒れ込みが繋ぎ目９０１を跨る方向には生じない。
一方で、後方撮像装置５０３の位置からの放射線７０３の方向に継ぎ目が一致しない場合には、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域においても、垂直の被写体の倒れ込みが繋ぎ目と跨る方向に生じることがある。先に説明した図３（Ｂ）、（Ｃ）では、繋ぎ目７０６と垂直の被写体７１０との位置関係上このようなことが生じていないが、繋ぎ目と垂直の被写体との位置関係次第で生じることがある。このことを図７（Ａ）、（Ｂ）で補足しておく。
図７（Ａ）は、範囲７０５内において、繋ぎ目９１２を放射線７０３、７０４の両方に一致しないように配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域９１３と、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域９１４と、を示している。
図７（Ｂ）は、図７（Ａ）の繋ぎ目９１２を元に俯瞰画像が合成され、図６（Ｃ）と同じ基準高上の位置９０４、９０８に垂直の被写体９０５、９０９がそれぞれ映り込んだ様子を示している。
位置９０４に映り込んだ垂直の被写体９０５は、図６（Ｃ）と同じく、放射線９０６の方向の一方向のみに倒れ込んだものが表示されるが、繋ぎ目９１２と放射線９０６との交点９１５の位置で途切れている。このとき、後方撮像装置５０３の位置からの放射線９０６の方向に倒れ込んで表示される垂直の被写体９０５は、繋ぎ目９１２と交わっている。
また、位置９０８に映り込んだ垂直の被写体９０９は、後方撮像装置５０３から位置９０８を通る放射線９１０の方向と、左側方撮像装置５０５から位置９０８を通る放射線９１１の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９１３と表示領域９１４との位置関係により、放射線９１１の方向の一方向のみに倒れ込んだものを表示する。このとき、垂直の被写体９０９は繋ぎ目９１２と交わっていないが、放射線９１１と繋ぎ目９１２とは平行でないため、表示領域９１３、９１４（図７（Ａ）参照）の範囲外で交わる。
図７（Ａ）、（Ｂ）の例のように、繋ぎ目９１２が延びる方向が、後方撮像装置５０３の位置からの放射線９０６の方向に一致していない。後方撮像装置５０３の位置は表示領域９１３の垂直の被写体９０５の倒れ込み方向の基点となる位置である。そのため、被写体９０５の位置によっては、倒れ込みが繋ぎ目９１２を跨る方向に生じることがある。この場合、垂直の被写体９０５が俯瞰画像に含まれる範囲内の途中で途切れて消失してしまう。
以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、２つの放射線７０３、７０４の方向（放射方向）のいずれか一方に沿って、繋ぎ目９０１を設定する。この場合、繋ぎ目９０１を一致させた（沿わせた）放射線７０３の方向の基準となった後方撮像装置５０３の俯瞰画像に含まれる範囲内において、垂直な被写体の倒れ込みが、どの位置でも繋ぎ目９０１を跨る方向に生じない。これにより、撮像装置５０３の俯瞰画像に含まれる範囲内において、途中で被写体の表示が途切れて消失することなく大きく表示されるようになる。よって、被写体の存在を認識し易くなる。
尚、図８（Ａ）〜（Ｄ）で示す合成俯瞰画像例のように、撮像装置が撮像可能な画角であれば、車両イメージ６０２に関わらず、２つの撮像装置による撮像範囲内で、車両イメージ６０２の周縁の任意の位置を端点として、放射線１００１〜１００４の方向に沿って繋ぎ目を配置しても良い。
（第３の実施形態）
本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
図９（Ａ）、（Ｂ）および図１０（Ａ）、（Ｂ）は、合成俯瞰画像６０３の一例を示す図である。図９（Ａ）では、運転者１１０１の位置からの視線方向を示す放射線１１０２と、後方撮像装置５０３の俯瞰画像に垂直の被写体が映り込んだ場合の倒れ込み方向を示す放射点線１１０３と、の関係を示している。また、図９（Ｂ）では、運転者１１０１の位置からの視線方向を示す放射線１１０２と、左側方撮像装置５０５の俯瞰画像に垂直の被写体が映り込んだ場合の倒れ込み方向を示す放射点線１１０４と、の関係を示している。
図１０（Ａ）に示すように、繋ぎ目の撮像装置に近い方の端点１１０５が配置される。後方撮像装置５０３の位置から端点１１０５の位置を通る放射線１１０６と、左側方撮像装置５０５の位置から端点１１０５の位置を通る放射線１１０７と、合成俯瞰画像に含まれる範囲と、で囲まれた範囲１１０８内の地点１１０９に垂直の被写体が存在する場合に、端点１１０５から任意の放射方向に繋ぎ目を配置する条件について検討する。
この場合、図１０（Ｂ）に示すように、地点１１０９において、左側方撮像装置５０５の俯瞰画像が表示されるように繋ぎ目を配置すると、運転者の視線方向１１１０に近くなる方向１１１１（左側方撮像装置５０５から端点１１０５へ向かう方向）への垂直の被写体の倒れ込みが表示される。一方、運転者の視線方向１１１０とは遠くなる方向１１１２（後方撮像装置５０３から端点１１０５へ向かう方向）への倒れ込みは表示されなくなる。地点１１０９付近では、運転者が運転席から垂直の被写体を見た視線方向と、この被写体の倒れ込み方向と、が近い俯瞰画像だけが表示されるようになる。
なお、図１０（Ｂ）から理解できるように、視線方向と倒れ込み方向とが近いとは、視線方向と倒れ込み方向とのなす角がより小さいことを意味し、視線方向と倒れ込み方向とが遠いとは、視線方向と倒れ込み方向とのなす角がより大きいことを意味している。
以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、車両の運転者１１０１の視線方向１１１０と放射線１１０７の方向（第１の放射方向）とのなす第１の角度が、視線方向１１１０と放射線１１０６の方向（第２の放射方向）とのなす第２の角度よりも小さい場合、視線方向１１１０から放射線１１０７に近づけた方向に沿って繋ぎ目を設定する。
この場合、垂直の被写体の倒れ込み方向が運転者の視線方向に近くなる俯瞰画像側は表示され、運転者の視線方向と遠くなる俯瞰画像側は表示されない。これにより、運転者１１０１が運転席から垂直の被写体を見た視線方向１１１０と、被写体の倒れ込み方向と、が近い俯瞰画像だけが表示されるようになる。よって、運転者を中心とした被写体の存在する方向を認識し易くなる。
（第４の実施形態）
本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
図１１（Ａ）〜（Ｃ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の一部の一例を示す図である。図１１（Ａ）では、車両イメージ６０２の左端および右端を表す各辺上に、繋ぎ目の撮像装置に近い方の各端点１２０１が位置し、その各端点１２０１から延びる繋ぎ目１２０２を示す。なお、ここでの左端および右端には、角部分は含まない。
ここでは、高さ方向が車両に対し比較的至近距離、つまり後方撮像装置５０３の高さと車両の高さとが同じ程度であるとする。また、後方撮像装置５０３が、車両の左右中央のできるだけ後端側に位置するとする。また、車両と地面が映り込むような（車両と地面が後方撮像装置５０３の撮像範囲に含まれるような）一般的なレイアウト配置で、車両に搭載されていたとする。
基準高から高さを持つ車両が、後方撮像装置５０３の俯瞰画像に投影されることにより、車両上方（俯瞰画像の仮想視点）から鉛直下向きに見た場合、後方撮像装置５０３と映り込む車両との距離が短い車両後部方向は殆どずれない。一方、後方撮像装置５０３と映り込む車両との距離が長い車両左右方向は大きくずれて、領域１２０３に車両が映り込む。
この領域１２０３に車両がずれて映り込む現象が起きると、図１１（Ａ）から分かるように、繋ぎ目１２０２を跨いで後方撮像装置５０３と左側方撮像装置５０５と、または、後方撮像装置５０３と右側方撮像装置５０４と、の俯瞰画像間の基準高上の被写体の連続性を失う箇所が存在してしまう。また同時に、車両後端を表す辺を含む車両の映り込みが、車両イメージ６０２の側端を表す辺に接しているため、車両に対する被写体の方向性（つまり被写体が車両から見るとどの方向にあるか）も失っている。
また、図１１（Ｂ）では、車両イメージ６０２の後端を表す辺上に、繋ぎ目の撮像装置に近い方の各端点１２０４が位置し、その各端点１２０４から延びる繋ぎ目１２０５を示す。
ここでは、左側方撮像装置５０５と右側方撮像装置５０４が、高さ方向が車両に対し比較的至近距離、つまり左側方撮像装置５０５または右側方撮像装置５０４の高さと車両の高さとが同じ程度であるとする。また、左側方撮像装置５０５と右側方撮像装置５０４が、車両のできるだけ左端側または右端側に位置するとする。また、車両と地面が映り込むような（車両と地面が左側方撮像装置５０５または右側方撮像装置５０４の撮像範囲に含まれるような）一般的なレイアウト配置で、車両に搭載されていたとする。
この場合、基準高から高さを持つ車両が、左側方撮像装置５０５または右側方撮像装置５０４の俯瞰画像に投影されると、車両上方から鉛直下向きに見た場合、俯瞰画像上での位置はずれることがある。ここでは、車両上方（俯瞰画像の仮想視点）を基準とすると、左側方撮像装置５０５または右側方撮像装置５０４と映り込む車両との距離が短い車両左右方向は殆どずれない。一方、左側方撮像装置５０５または右側方撮像装置５０４と映り込む車両との距離が長い車両前後方向は大きくずれて、領域１２０６または領域１２０７に車両が映り込む。
この領域１２０６または領域１２０７に車両がずれて映り込む現象が起きると、図１１（Ｂ）から分かるように、繋ぎ目１２０５を跨いで後方撮像装置５０３と左側方撮像装置５０５と、または、後方撮像装置５０３と右側方撮像装置５０４と、の俯瞰画像間の基準高上の被写体の連続性を失う箇所が存在してしまう。また同時に、車両の側端を表す辺を含む車両の映り込みが車両イメージ６０２の後端を表す辺に接しているため、車両に対する被写体の方向性も失っている。
一方、図１１（Ｃ）では、後方撮像装置５０３と左側方撮像装置５０５との俯瞰画像を合成するための繋ぎ目１２０９の端点１２０８を、車両イメージ６０２の辺の角に位置するように配置したものを示す。
図１１（Ｃ）では、図１１（Ａ）において領域１２０３に大きくずれて映り込む後方撮像装置５０３の撮像画像から生成される俯瞰画像上の車両、および、図１１（Ｂ）において領域１２０６に大きくずれて映り込む左側方撮像装置５０５または右側方撮像装置５０４の撮像画像から生成される俯瞰画像上の車両、が表示されない。
図１１（Ａ）、（Ｂ）の例のように、繋ぎ目の撮像装置に近い方の端点を車両イメージ６０２の辺の角からずれて配置すると、車両イメージ６０２の１つの後端または側端を表す辺に対し、２つの俯瞰画像の表示領域が接し、車両上方から鉛直下向きに見た場合に、実際の位置から大きくずれて映り込む車両が表示される可能性がある。一方、図１１（Ｃ）の例のように、上記の端点を車両イメージ６０２の辺の角に配置すると、車両イメージ６０２の１つの後端または側端に対し、１つの俯瞰画像の表示領域が接し、大きくずれて映り込む車両が表示され難くなる。
なお、ここでの車両の後端とは、図１１（Ａ）〜（Ｃ）における車両イメージ６０２の後端（下端）に相当する。また、ここでの車両の側端とは、図１１（Ａ）〜（Ｃ）における車両イメージ６０２の側端（左端または右端）に相当する。
更に、図１２で示すように、繋ぎ目１３０１は、車両イメージ６０２の辺の角１３０２を繋ぎ目１３０１の撮像装置に近い方の端点として配置される。繋ぎ目１３０３は、車両イメージ６０２の辺の角１３０４を繋ぎ目１３０３の撮像装置に近い方の端点として配置される。繋ぎ目１３０５は、車両イメージ６０２の辺の角１３０６を繋ぎ目１３０５の撮像装置に近い方の端点として配置される。繋ぎ目１３０７は、車両イメージ６０２の辺の角１３０８を繋ぎ目１３０７の撮像装置に近い方の端点として配置される。
この場合、車両イメージ６０２の前端を表す辺１３０９全体に対して、前方撮像装置５０２の俯瞰画像の一部が表示される表示領域１３１０の周縁の一部を表す１辺全体が接する。車両イメージ６０２の左端を表す辺１３１１全体に対して、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域１３１２の周縁の一部を表す１辺全体が接する。車両イメージ６０２の後端を表す辺１３１３全体に対して、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域１３１４の周縁の一部を表す１辺全体が接する。車両イメージ６０２の右端を表す辺１３１５全体に対して、右側方撮像装置５０４の俯瞰画像の一部が表示される表示領域１３１６の周縁の一部を表す１辺全体が接する。
図１２の例のように、繋ぎ目の撮像装置に近い方の端点を、車両イメージ６０２の辺の各角（合成する配置が隣り合う２つの俯瞰画像の一部が表示される表示領域の辺が交わる各角）全てに配置して合成俯瞰画像６０３を生成すると、車両イメージ６０２の１辺に対し、１つの俯瞰画像の一部が表示される表示領域が接する。そのため、車両イメージ６０２の各辺と各俯瞰画像の車両に対する方向性が一致する。
尚、ここで画像表示装置５０６により表示される合成俯瞰画像６０３上の繋ぎ目は、所定の幅を持っており、運転者が見て俯瞰画像の切れ目を明確に認識できるものとする。
以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、車両イメージ６０２の角部を端点とする。この場合、２つの俯瞰画像の一部が表示される表示領域の内、撮像装置に近い２辺が交わる角を繋ぎ目の端点とするので、車両周囲の合成俯瞰画像６０３において、車両イメージ６０２の１辺に対し、その車両イメージ６０２の１辺に位置が最も近い撮像装置から生成されるただ１つの俯瞰画像の表示領域が接する。
これにより、俯瞰画像の一部が表示される表示領域の範囲内において、基準高から高さを持つ車両が表示され難くなり、自車両の不要な映り込みが無くなり易くなる。更に、車両イメージ６０２の１辺と車両に対する俯瞰画像の方向が一致するようになり、車両を中心とした被写体の存在する方向を認識し易くなる。
（第５の実施形態）
図１３は、本発明の第５の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図である。
俯瞰画像生成装置１４０１は、例えば車両に搭載され、俯瞰画像生成するための処理等、様々な処理を行う。ハンドル蛇角検出装置１４０２は、車両の直進状態、左折状態、右折状態、もしくはハンドルの回転角度を検出して、俯瞰画像生成装置１４０１へ出力する。走行状態検出装置１４０３は、車両駆動が前進状態であるか後退状態であるか等の情報を検出して、俯瞰画像生成装置１４０１へ出力する。運転者操作受信装置１４０４は、車両に設置された不図示の入力装置により運転者が入力した情報を受信し、その情報を俯瞰画像生成装置１４０１へ出力する。障害物検出装置１４０５は、車両に搭載されたソナーや撮像装置によって取得された撮像画像等から障害物を検出し、その情報を俯瞰画像生成装置１４０１へ出力する。これらの装置は電気的に接続される。
図１３で示すように、俯瞰画像生成装置１４０１には、入力側に、前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、左側方撮像装置５０５、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５が接続され、出力側に、画像表示装置５０６が接続される。
また、俯瞰画像生成装置１４０１は、図１で説明した俯瞰画像生成装置５０１の機能を実現する構成部に加え、俯瞰画像生成装置１４０１が搭載される車両の車両情報を取得する車両情報取得部５６を備える。車両情報取得部５６は、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５からの各種車両情報を、有線または無線の回線またはケーブルを介して取得する。
次に、図１４（Ａ）〜（Ｂ）、図１５（Ａ）〜（Ｂ）、図１６（Ａ）〜（Ｂ）、および図１７は、合成俯瞰画像６０３（図６（Ｂ）参照）の一例を示す図である。図１４（Ａ）では、車両イメージ６０２の各角を繋ぎ目の撮像装置に近い方の端点として、任意の放射方向に沿って繋ぎ目が配置される場合の各繋ぎ目が位置され得る範囲１５０１〜１５０４を示す。
俯瞰画像生成装置１４０１では、運転操作中、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５によって、リアルタイムに上述したような各種車両情報を取得することができる。これにより、用途や車両周囲の状況に応じて、繋ぎ目設定部５４が、範囲１５０１〜１５０４内で繋ぎ目を最適な位置に切替えられるようになる。
図１４（Ｂ）では、範囲１５０１〜１５０４の中でも境界となる位置（範囲１５０１の周縁となる辺の１つ）に繋ぎ目が配置された場合を示している。その繋ぎ目は、車両イメージ６０２の各角に対して、２通りずつ存在する。
ここで、繋ぎ目１５０５に対しては領域１５０６、繋ぎ目１５０７に対しては領域１５０８、繋ぎ目１５０９に対しては領域１５１０、繋ぎ目１５１１に対しては領域１５１２、繋ぎ目１５１３に対しては領域１５１４、繋ぎ目１５１５に対しては領域１５１６、繋ぎ目１５１７に対しては領域１５１８、繋ぎ目１５１９に対しては領域１５２０において、各領域の基準高の位置に垂直の被写体が映り込むことを想定する。
この場合、被写体の倒れ込みが俯瞰画像の表示範囲内で繋ぎ目を跨る方向に生じるため、その作用により被写体の高さ方向の表示が途切れて消失してしまう可能性がある。
これを踏まえて、車両が後退移動する場合は、図１５（Ａ）のように合成俯瞰画像６０３上では背景が矢印１５２１の方向（図中上方向）に流れるため、運転者は領域１５２２の辺りを最も視認したいので、その領域１５２２で垂直の被写体が俯瞰画像の表示範囲内で途切れて消失することがないように優先する。この場合には、図１５（Ｂ）のように繋ぎ目１５０５、１５０９、１５１５、１５１９の位置に配置し、垂直の被写体の倒れ込みが繋ぎ目１５０５、１５０９、１５１５、１５１９を跨る方向に生じてしまう領域を領域１５２２に重ならないようにすれば良い。
また、車両が前進移動する場合は、図１６（Ａ）のように合成俯瞰画像６０３上では背景が矢印１５２３の方向（図中下方向）に流れるため、運転者は領域１５２４の辺りを最も視認したいので、その領域１５２４で垂直の被写体が俯瞰画像の表示範囲内で途切れて消失することがないように優先する。この場合には、図１６（Ｂ）のように繋ぎ目１５０７、１５１１、１５１３、１５１７の位置に配置し、垂直の被写体の倒れ込みが繋ぎ目１５０７、１５１１、１５１３、１５１７を跨る方向に生じてしまう領域を領域１５２４に重ならないようにすれば良い。
尚、繋ぎ目の位置を変更（設定含む）する場合には、図１７のように、繋ぎ目１５３１〜１５３４が左右対称とならなくても良い。
以上のように、本実施形態の俯瞰画像生成装置５０１は、俯瞰画像生成装置５０１が搭載される車両の車両情報を取得する車両情報取得部５６を備える。繋ぎ目設定部５４は、取得された車両情報に基づいて、繋ぎ目を設定する。この場合、撮像装置の位置から上記の端点に向かう２つの放射方向の間で、車両情報に応じて繋ぎ目を変更する。例えば、車両の走行方向側（例えば後退時には後方側）の領域、および、走行方向と直交する方向において走行方向と反対方向寄り（例えば後退時には左右前方寄り）の領域を避けて、繋ぎ目を設定する。これにより、用途や車両周囲の状況に応じて最適な状態に継ぎ目を切替えることができる。したがって、被写体の状態や車両に対する位置を誤解なく認識し易くなる。
（第６の実施形態）
本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
図１８は、俯瞰画像生成装置１４０１の出力画像の一例を示す図である。図１８に示す出力画像１６０１として、合成俯瞰画像６０３と、その合成俯瞰画像６０３とは別の視点変換画像が同時に出力される。視点変換画像は、俯瞰画像の少なくとも一部であってもよいし、撮像装置により撮像された撮像画像の少なくとも一部であってもよいし、これとは他の画像であってもよい。図１８では、出力画像１６０１において、右側部分に合成俯瞰画像６０３が配置され、左側部分に車両１６０２が映り込んだ車両の左側部分の視点変換画像が配置されている。
出力画像１６０１は、俯瞰画像生成装置１４０１が備える画像出力部５５により画像表示装置５０６へ出力される。画像表示装置５０６は、出力画像に含まれる複数の画像を同時に表示する。
尚、合成俯瞰画像と同時出力される画像の用途、車両に対する出力画像の方向性（どの部分の画像であるか）等を考慮し、出力画像１６０１における各画像の配置が変わっても良い。
以上のように、本実施形態の俯瞰画像生成装置５０１は、俯瞰画像合成部５３により合成された合成俯瞰画像（第１の画像）と、撮像画像取得部５１により取得された撮像画像または画像変換部５２により変換された俯瞰画像（第２の画像）と、を同時に出力する画像出力部５５を備える。すなわち、合成俯瞰画像と、この合成俯瞰画像とは別の見せ方や合成俯瞰画像上では表示されない部分を表示する第２の画像を同時出力してもよい。
これにより、画像表示装置５０６に表示される映像の内、合成俯瞰画像上では大きく変形して運転者が認識し難くなった立体物の視認性を向上させることができる。また、合成俯瞰画像では表示されない部分を表示する場合には、広い視野を得ることができる。このように、第２の画像によって、視認性が補われる。
以上に本発明の好適な実施形態を説明した。しかし、本発明は上述の実施形態に限定されず、当業者が本発明の範囲内で上述の実施形態を変形可能なことはもちろんである。
本出願は、2011年9月30日出願の日本特許出願No.2011-217954に基づくものであり、その内容はここに参照として取り込まれる。
本発明は、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能な俯瞰画像生成装置、俯瞰画像生成方法、俯瞰画像生成プログラム、等に有用である。
１０１ 第１の基準高
１０２ 第２の基準高
１０３、１０４、１０５ 被写体
２０１ 撮像装置
２０２ 地面
２０３ 直方体
３０１ 撮像装置
３０２、３０５ 直方体
３０３、３０６ 格子線
３０４ 俯瞰画像
３０７ 位置
４０１、４０２ 撮像装置
４０３、４０４、４０５、４０６、４０７ 領域
４０８、４０９、４１０ 点線
４１１ 点
４１２ 直方体
５０１ 俯瞰画像生成装置
５０２ 前方撮像装置
５０３ 後方撮像装置
５０４ 右側方撮像装置
５０５ 左側方撮像装置
５０６ 画像表示装置
５１ 撮像画像取得部
５２ 画像変換部
５３ 俯瞰画像合成部
５４ 繋ぎ目設定部
５５ 画像出力部
５６ 車両情報取得部
６０１ 車両
６０２ 車両イメージ
６０３ 合成俯瞰画像
７０１ 俯瞰画像の表示範囲
７０２ 端点
７０３、７０４ 撮像装置の位置から端点を通る放射線
７０５ 表示範囲７０１と放射線７０３と放射線７０４とで囲まれた範囲
７０６、７１８ 繋ぎ目
７０７、７０８、７１９、７２０ 領域
７０９、７１３ 位置
７１０、７１４ 被写体
７１１、７１２、７１５、７１６ 放射方向
７１７、７２１、７２２ 交点
８０１、８０２、８０３、８０４ 範囲
９０１、９１２ 繋ぎ目
９０２、９０３、９１３、９１４ 俯瞰画像の表示領域
９０４、９０８ 基準高上の位置
９０５、９０９ 被写体
９０６、９０７、９１０、９１１ 放射方向
９１５ 交点
１００１、１００２、１００３、１００４ 放射方向
１１０１ 運転者の位置
１１０２ 視線方向を示す放射線
１１０３、１１０４ 倒れ込み方向を示す放射点線
１１０５ 端点
１１０６、１１０７ 放射線
１１０８ 範囲
１１０９ 地点
１１１０ 視線方向
１１１１ 視線方向に近くなる方向
１１１２ 視線方向に遠くなる方向
１２０１、１２０４、１２０８ 端点
１２０２、１２０５、１２０９ 繋ぎ目
１２０３、１２０６、１２０７ 領域
１３０１、１３０３、１３０５、１３０７ 繋ぎ目
１３０２、１３０４、１３０６、１３０８ 角
１３０９、１３１１、１３１３、１３１５ 辺
１３１０、１３１２、１３１４、１３１６ 俯瞰画像の表示領域
１４０１ 俯瞰画像生成装置
１４０２ ハンドル蛇角検出装置
１４０３ 走行状態検出装置
１４０４ 運転者操作受信装置
１４０５ 障害物検出装置
１５０１、１５０２、１５０３、１５０４ 繋ぎ目が位置され得る範囲
１５０５、１５０７、１５０９、１５１１、１５１３、１５１５、１５１７、１５１９ 繋ぎ目
１５０６、１５０８、１５１０、１５１２、１５１４、１５１６、１５１８、１５２０ 領域
１５２１、１５２３ 矢印
１５２２、１５２４ 領域
１５３１、１５３２、１５３３、１５３４ 繋ぎ目
１６０１ 出力画像
１６０２ 車両

Claims (9)

  1. 車両に搭載された複数の撮像装置により撮像された撮像画像を取得する撮像画像取得部と、
    前記撮像画像取得部により取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部と、
    前記画像変換部により変換された複数の俯瞰画像を合成する俯瞰画像合成部と、
    撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定する繋ぎ目設定部と、
    を備える俯瞰画像生成装置。
  2. 請求項１に記載の俯瞰画像生成装置であって、
    前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記２つの放射方向のいずれか一方に沿って、前記繋ぎ目を設定する俯瞰画像生成装置。
  3. 請求項２に記載の俯瞰画像生成装置であって、
    前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記車両の運転者の視線方向と第１の放射方向とのなす第１の角度が、前記視線方向と第２の放射方向とのなす第２の角度よりも小さい場合、前記視線方向から前記第１の放射方向に近づけた方向に沿って前記繋ぎ目を設定する俯瞰画像生成装置。
  4. 請求項１ないし３のいずれか１項に記載の俯瞰画像生成装置であって、
    前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記車両イメージの角部を前記端点とする俯瞰画像生成装置。
  5. 請求項１ないし４のいずれか１項に記載の俯瞰画像生成装置であって、更に、
    前記車両の車両情報を取得する車両情報取得部を備え、
    前記繋ぎ目設定部は、前記車両情報取得部により取得された車両情報に基づいて、前記繋ぎ目を設定する俯瞰画像生成装置。
  6. 請求項５に記載の俯瞰画像生成装置であって、
    前記車両情報取得部は、車両の走行方向を含む前記車両情報を取得し、
    前記繋ぎ目設定部は、前記車両の走行方向側の領域、および、前記走行方向と直交する方向において前記走行方向と反対方向寄りの領域、を避けて、前記繋ぎ目を設定する俯瞰画像生成装置。
  7. 請求項１ないし６のいずれか１項に記載の俯瞰画像生成装置であって、更に、
    前記俯瞰画像合成部により合成された合成俯瞰画像と、前記撮像画像取得部により取得された撮像画像または前記画像変換部により変換された俯瞰画像と、を同時に出力する画像出力部を備える俯瞰画像生成装置。
  8. 俯瞰画像生成装置の俯瞰画像生成方法であって、
    複数の撮像装置により撮像された撮像画像を取得するステップと、
    前記取得された撮像画像を視点変換処理により俯瞰画像に変換するステップと、
    前記変換された複数の俯瞰画像を合成するステップと、
    撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定するステップと、
    を有する俯瞰画像生成方法。
  9. 請求項８に記載の俯瞰画像生成方法の各ステップをコンピュータに実行させるための俯瞰画像生成プログラム。
JP2013535874A 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム Active JP5962927B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011217954 2011-09-30
JP2011217954 2011-09-30
PCT/JP2012/005923 WO2013046593A1 (ja) 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム

Publications (2)

Publication Number Publication Date
JPWO2013046593A1 JPWO2013046593A1 (ja) 2015-03-26
JP5962927B2 true JP5962927B2 (ja) 2016-08-03

Family

ID=47994679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535874A Active JP5962927B2 (ja) 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム

Country Status (5)

Country Link
US (1) US9715631B2 (ja)
EP (1) EP2763406A4 (ja)
JP (1) JP5962927B2 (ja)
CN (1) CN103477634B (ja)
WO (1) WO2013046593A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
JP6375633B2 (ja) * 2014-02-12 2018-08-22 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
US10336462B2 (en) * 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
US20160300372A1 (en) * 2015-04-09 2016-10-13 Bendix Commercial Vehicle Systems Llc System and Method for Graphically Indicating an Object in an Image
CN104967826A (zh) * 2015-07-03 2015-10-07 上海弼智仿生高科技有限公司 固定区域监视系统及方法
US10417743B2 (en) * 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
JP6730606B2 (ja) * 2016-11-25 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US10436485B2 (en) * 2017-11-14 2019-10-08 Haier Us Appliance Solutions, Inc. Sealed system for a packaged terminal air conditioner unit
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
GB2586712B (en) * 2018-03-28 2021-12-22 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program
US10967792B1 (en) * 2018-10-12 2021-04-06 Roger Stafford Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
JPWO2021186853A1 (ja) * 2020-03-19 2021-09-23

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300337B2 (ja) * 2000-04-28 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP1150252B1 (en) 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP4256702B2 (ja) 2003-03-20 2009-04-22 クラリオン株式会社 画像表示方法、画像表示装置及び画像処理装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4725233B2 (ja) * 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
US20090128630A1 (en) 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Also Published As

Publication number Publication date
US9715631B2 (en) 2017-07-25
WO2013046593A1 (ja) 2013-04-04
US20140002660A1 (en) 2014-01-02
EP2763406A4 (en) 2015-06-17
JPWO2013046593A1 (ja) 2015-03-26
EP2763406A1 (en) 2014-08-06
CN103477634B (zh) 2016-11-23
CN103477634A (zh) 2013-12-25

Similar Documents

Publication Publication Date Title
JP5962927B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP4760831B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
JP5911775B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP3894322B2 (ja) 車両用視界モニタシステム
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6379779B2 (ja) 車両用表示装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
WO2013031161A1 (ja) 運転支援装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP5741321B2 (ja) 運転支援装置
JP7283059B2 (ja) 周辺監視装置
JP5451497B2 (ja) 運転支援表示装置
JP5966513B2 (ja) 車両の後側方撮影装置
JP2018063294A (ja) 表示制御装置
JP2020068515A (ja) 画像処理装置
JPWO2011013813A1 (ja) 車載装置および画像処理プログラム
JP4674814B2 (ja) 車両用画像表示装置および画像合成方法
JP2011243010A (ja) 運転支援装置
JP6041780B2 (ja) 運転支援装置
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5212422B2 (ja) 運転支援装置
JP2007028443A (ja) 画像表示システム
JP2006224927A (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160614

R151 Written notification of patent or utility model registration

Ref document number: 5962927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03