JP4496503B2

JP4496503B2 - 車両用運転支援装置

Info

Publication number: JP4496503B2
Application number: JP2007156474A
Authority: JP
Inventors: 智氣窪田; 英文岡部; 実高木
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 2007-06-13
Filing date: 2007-06-13
Publication date: 2010-07-07
Anticipated expiration: 2027-06-13
Also published as: JP2008307982A

Description

本発明は、車両用の運転支援装置に関し、特に、ピラー等により形成される運転者の死角を少なくすることができる車両用運転支援装置に関する。

一般的に、自動車等の車両には、車体にルーフを支持するための複数のピラーが設けられている。このようなピラーは、車体の強度や安全性を確保するために必要であるが、窓ガラスを分断するように配置されているため、運転者の視界に死角を形成する原因となっている。そこで、特にフロントピラーによる運転者の死角を少なくするため、当該フロントピラーの内面に液晶ディスプレイ等の表示画面を有する表示装置を設け、撮像装置により撮像した車外の景色を、窓ガラスから見える景色とつながるように表示装置の表示画面に映す運転支援装置の技術が既に知られている（例えば下記の特許文献１及び２参照）。

特開２００５−２０４１３２号公報実用新案登録第３０９２７１９号公報

上記の特許文献１及び２に記載されているような、これまでに知られている運転支援装置では、ピラーの内面の形状にほぼ一致する形状の表示画面を有する表示装置を、ピラー内面に沿って配置した構成となっている。しかし、現実的には、表示装置の表示画面の形状は製造コスト等による制約を受けるため、表示装置の表示画面の形状をピラーの内面の形状にぴったり一致する形状とすることは困難である。そのため、表示画面を三次元の各方向に傾斜させて配置することが考えられる。しかし、そのような場合に、撮像装置により撮像した画像を表示装置に表示させるための画像処理の演算負荷を軽減し、画質の劣化を抑えるための適切な構成についての具体的提案はこれまでになされていない。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、表示画面を各方向に傾斜させて配置した場合であっても、撮像装置により撮像した画像を表示装置に表示させるための画像処理の演算負荷を軽減し、画質の劣化を抑えることが可能な車両用運転支援装置を提供することにある。

上記目的を達成するための本発明に係る車両用運転支援装置の特徴構成は、車両の外方を撮像する撮像装置と、車両のピラーの室内側面への取付部を有する装置本体と、前記取付部に対する室内側に前記装置本体と一体的に設けられ、前記撮像装置により撮像した画像を表示する表示画面を有する表示装置と、を備え、前記撮像装置は、前記装置本体の上端部近傍から車両のフロント窓側の側方に突出するように前記装置本体と一体的に形成された撮像装置収納部内に取り付けられて、前記フロント窓の上部に配置されるとともに、前記撮像装置の撮像素子の撮像面に対する直交軸周りにおける前記撮像素子の画素の配列方向の角度を前記撮像素子のロール角度とし、前記表示画面に対する直交軸周りにおける前記表示画面の画素の配列方向の角度を前記表示画面のロール角度とした場合に、前記撮像素子のロール角度が、前記表示画面のロール角度と略一致するよう設けられている点にある。

この特徴構成によれば、表示画面を各方向に傾斜させて配置した場合であっても、当該表示画面のロール方向の傾斜の影響を補正するための画像処理を少なくすることができる。特に、表示画面のロール方向の傾斜の影響を補正するための画像処理を少なくすることができる。よって、撮像装置により撮像した画像を表示装置に表示させるための画像処理の演算負荷を軽減し、画質の劣化を抑えることが可能となる。
また、この特徴構成によれば、撮像装置を運転者の視界の妨げになり難い位置に配置することができる。
更に、この特徴構成によれば、撮像装置の位置及び撮像方向を装置本体に対して適切に固定した状態とすることができる。したがって、装置本体を車両のピラーに取り付けるだけで、車両への撮像装置の適切な取り付けも同時に行うことができる。したがって、運転支援装置の車両への取り付け作業及び設定作業の簡略化を図ることが可能となる。

また、前記表示画面の一方の側縁が前記ピラーの側縁に沿って配置されていると好適である。

この構成によれば、表示画面の一方の側縁が死角領域の境界を構成するピラーの側縁に沿って配置されるため、当該ピラーの側縁と表示画面との間の死角領域を小さくすることが可能となる。したがって、表示画面を配置したことによって新たな死角を作ることなく、表示画面の面積を大きくして運転者からの見易さを確保することができる。

また、前記表示画面の一方の側縁がフロントピラーの前側縁に沿って配置されていると好適である。

この構成によれば、表示画面の一方の側縁がフロントピラーの前側縁に沿って配置されるため、当該フロントピラーの前側縁と表示画面との間の死角領域を小さくすることが可能となる。したがって、表示画面を配置したことによって新たな死角を作ることなく、表示画面の面積を大きくして運転者からの見易さを確保することができる。

また、前記撮像装置は、前記ピラーに隣接して配置されていると好適である。

この構成によれば、撮像装置を表示画面に対して比較的近い位置に配置することが可能となる。したがって、撮像装置の撮像方向を、表示画面を通る運転者の視線方向により近づけることができる。よって、撮像装置により撮像した画像を表示装置に表示させるための画像処理の演算負荷を軽減し、画質の劣化を抑えることが可能となる。

また、前記取付部は、車両のピラーの室内側面の形状に適合した形状を有すると好適である。

この構成によれば、ピラーの内装部材に代えて、或いはピラーの内装部材の上から、装置本体を好適に取り付けることができる。

また、前記ピラーは車両のフロントピラーであり、前記装置本体は、前記フロントピラーの内装部材を兼ね、前記フロントピラーの室内側面の全体を覆う形状となっていると更に好適である。

また、前記撮像素子及び前記表示画面は矩形状であると好適である。

この構成によれば、汎用的な撮像素子及び表示装置を好適に利用することが可能となるので、撮像装置及び表示装置の製造コストを抑制することができる。

また、前記撮像装置により撮像した画像を、運転者の視点から見える画像である運転者視点画像に変換した後、当該運転者視点画像を、前記表示画面が含まれる平面上の画像である表示面画像に変換して前記表示装置へ出力する画像処理手段を更に備える構成とすると好適である。

この構成によれば、表示装置の表示画面に表示される画像を、運転者が車両の窓を通して見る外の景色と連続する画像とすることができる。よって、表示画面に、運転者にとって違和感がない状態の死角領域の画像を表示し、適切に運転支援を行うことができる。

以下、本発明の実施形態について図面に基づいて説明する。図１は、本実施形態に係る車両用運転支援装置１を取り付けた車両Ｃを運転者の視点から見た状態を示す図であり、図２は、この運転支援装置１を取り付けた車両Ｃを外部から見た状態を示す図である。これらの図に示すように、本実施形態においては、運転支援装置１を車両Ｃのフロントピラー９（ピラーの一例）に取り付ける場合を例として説明する。そして、この運転支援装置１は、運転者の視点から見たフロントピラー９の死角の映像を表示装置３の表示画面４に表示することにより、運転者の死角を少なくし、運転者による車両Ｃの運転を支援する。この際、図１に示すように、表示画面４に表示される画像は、運転者がフロント窓１１及びサイド窓１２を通して見る外の景色と連続するように、制御装置７によって画像処理され、運転者にとって違和感のない画像とされている。なお、図中において、１３はステアリングホイール、１４はルーフ、１５はダッシュボード、１６はサイドミラーである。

また、図３及び図４は、この運転支援装置１を単体で示す図である。すなわち、図３は、この運転支援装置１の表示画面４側を示す斜視図であり、図４は、この運転支援装置１の取付部６側を示す斜視図である。図５は、図２のＶ−Ｖ断面の模式図である。これらの図に示すように、この運転支援装置１は、撮像装置２と、表示画面４を有する表示装置３と、取付部６を有する装置本体５と、制御装置７とを備えている。以下、これらの各部の構成について、図１〜５に基づいて詳細に説明する。

１．撮像装置
撮像装置２は、車両の外方を撮像する装置である。この撮像装置２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子８（図１０参照）と、この撮像素子８に光を導くレンズ等の光学系とを備えたカメラにより構成される。この撮像装置２は、所定の時間間隔で連続的に画像を撮像し、当該撮像した画像情報を後述する制御装置７へ出力する。そして、図１及び図２に示すように、本実施形態においては、撮像装置２は、装置本体５と一体的に設けられている。具体的には、撮像装置２は、装置本体５と一体的に形成された箱状の撮像装置収納部５ｃ内に収納されて取り付けられている。これにより、撮像装置２は、装置本体５と同様に車両Ｃの室内に配置される。そして、この撮像装置２は、撮像方向Ｆ（図１１参照）を外方へ向けて配置されている。この撮像装置２の撮像方向及び画角等は、少なくとも運転者Ｄから見たフロントピラー９の死角領域Ａ（図６及び７参照）を撮像できるように設定されている。この撮像装置２の配置構成については、後で詳細に説明する。

２．表示装置
表示装置３は、撮像装置により撮像した画像を表示する装置である。この表示装置３としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（electroluminescence）ディスプレイ、電界放出ディスプレイ等の各種の表示装置を用いることができる
。また、本実施形態においては、表示装置３の表示画面４を矩形状（ここでは長方形）としているため、汎用的な表示装置３を好適に利用することができ、表示装置３の製造コストを抑制することが可能となっている。そして、この表示装置３の表示画面４には、撮像装置２により撮像され、後述する制御装置７により所定の画像処理が行われた、車両の外方の景色に対応する画像が表示される。具体的には、表示画面４には、運転者の視点から見たフロントピラー９の死角の映像が表示される。

この表示装置３は、装置本体５と一体的に設けられ、装置本体５のフロントピラー９への取付部６に対する室内側に配置された表示画面４を有する。すなわち、表示装置３は、表示画面４を車両Ｃの室内側（運転者Ｄ側）に向けて、装置本体５に取り付けられて固定されている。このため、表示装置３の表示画面４は、装置本体５における、フロントピラー９の室内側面への取付部６に対して室内側となっている。また、この表示装置３の表示画面４は、フロントピラー９及び当該フロントピラー９と連続するドアの窓枠１０（不透明部材の一例）により形成される運転者の死角領域Ａ（図６及び７参照）内に配置される。この表示装置３の表示画面４の配置構成については、後で詳細に説明する。

３．装置本体
装置本体５は、運転支援装置１の本体部を構成する部材である。この装置本体５は、後述する様々な要件を満たすべく複雑な三次元形状に形成されるため、複雑な形状を容易に形成することができる合成樹脂等により構成すると好適である。但し、装置本体５の材質は合成樹脂に限定されるものではなく、各種の部材を用いることが可能である。

装置本体５は、図４及び図５に示すように、車両Ｃのフロントピラー９の室内側面９ａへの取付部６を有している。この取付部６はフロントピラー９の室内側面９ａの形状に適合した形状を有している。ここで、取付部６は、装置本体５の裏面、すなわち表示画面４とは反対側の面の外周縁部により構成される。そして、この取付部６を構成する装置本体５の裏面の外周縁部は、フロントピラー９の室内側面９ａに密着するように、当該室内側面９ａの形状に適合する形状とされている。また、本実施形態においては、フロントピラー９の室内側面９ａは、内装部材を備えないフロントピラー９の室内側面９ａとしている。したがって、装置本体５は、フロントピラー９の内装部材も兼ねた構成となっており、フロントピラー９の室内側面９ａの全体を覆う形状となっている。

また、上記のとおり、装置本体５は、表示装置３を取付部６に対する室内側に支持している。更に、本実施形態においては、装置本体５は、撮像装置２も一体的に支持している。したがって、後述する表示装置３の表示画面４の配置構成、及び撮像装置２の配置構成は、装置本体５の形状によって定まる。また、装置本体５は、運転支援装置１を設けたことによる新たな死角を作らないようにするため、全体がフロントピラー９及び当該フロントピラー９に接するドアの窓枠１０（不透明部材の一例）により形成される運転者の死角領域Ａ（図６及び７参照）内に収まる形状となるように形成されている。特に、図１及び３に示すように、フロント窓１１側の死角を少なくするために、装置本体５は、フロント窓１１側の側面である前側面５ａを、表示画面４の前側縁４ａに対して略平行な平面形状とするとともに、当該表示画面４の前側縁４ａよりフロント窓１１側の部分の幅を必要最小限に抑えた形状としている。

また、後述するように、表示画面４の後側縁４ｂの上端部４ｃ（図１参照）がフロントピラー９に接するドアの窓枠１０の後側縁１０ａ上に略一致するように配置される。装置本体５は、このようなドアの窓枠１０（不透明部材の一例）により形成される死角領域Ａ内に配置される表示画面４の部分を、フロントピラー９側からドアの窓枠１０側へ延出された延出部５ｂにより支持する構成となっている。すなわち、装置本体５は、表示画面４の後側縁４ｂの上端部４ｃ近傍の、フロントピラー９からドアの窓枠１０側にはみ出した三角形状の部分を、フロントピラー９側からドアの窓枠１０側へ延出された延出部５ｂにより支持している。そのため、装置本体５は、表示画面４の正面側からみて、フロントピラー９側からドアの窓枠１０側へ延出された、表示画面４の右上角部の形状に対応する略三角形状の延出部５ｂを有している。この延出部５ｂは、図５に示すように、ドアの窓枠１０に対して隙間を有して配置されている。このような延出部５ｂを設けたことにより、表示画面４を上記のような配置としながらも、ドアの開閉が可能となっている。

図４に示すように、装置本体５の内部には、制御装置７が配置されている。ここで、制御装置７は、撮像装置２及び表示装置３等の動作制御を行う制御回路と、表示画面４に適切な画像を表示するために撮像装置２により撮像した画像データに対して所定の画像処理を行う画像処理回路とを有している。制御装置７は、具体的には、所定の回路が形成された基板や配線等を有して構成される。よって、本実施形態においては、この制御装置７が、本発明における画像処理手段を構成する。

４．表示画面の配置構成
次に、この運転支援装置１における表示装置３の表示画面４の配置構成について説明する。上記のとおり、表示画面４の配置構成は、装置本体５の形状、特に取付部６に対する表示装置３の支持部の形状により定まる。したがって、装置本体５は、以下に説明する表示画面４の配置構成を実現すべく、取付部６と表示画面４との位置関係を設定したものとされている。以下の説明においては、表示画面４の配置構成を説明した図６〜９を適宜参照する。図６は、フロントピラー９及び当該フロントピラー９に接するドアの窓枠１０により形成される運転者の死角領域Ａ内における表示画面４の配置を示す図である。この図においては、ハッチングが施された領域が死角領域Ａに相当し、運転者の視点から見える表示画面４の外形が二点鎖線で表されている。また、この図に示すＹ、Ｐ、Ｒの回転方向は、それぞれ車両Ｃのヨー方向Ｙ、ピッチ方向Ｐ、及びロール方向Ｒを示している。一方、図７は平面視での表示画面４の配置及び車両Ｃのヨー方向Ｙの表示画面４の角度を示し、図８は、車両Ｃのピッチ方向Ｐの表示画面４の角度を示し、図９は、車両のロール方向Ｒの表示画面４の角度を示している。なお、図６に示すように、「車両Ｃのヨー方向Ｙの角度」は、鉛直軸周りの角度であり、「車両Ｃのピッチ方向Ｐの角度」は、車両Ｃの前後方向Ｌに直交する水平軸周りの角度であり、「車両Ｃのロール方向Ｒの角度」は、車両Ｃの前後方向Ｌに平行な水平軸周りの角度である。ここで、「表示画面の角度」とは、表示画面の表示面に平行な方向の角度を表す。

図６及び図７に示すように、表示装置３の表示画面４は、運転者Ｄの死角領域Ａ内に収まるように配置されている。また、この際、表示画面４の一部が、ドアの窓枠１０により形成される死角領域Ａ内に配置されている。ここで、死角領域Ａは、ピラー及び当該ピラーと連続する不透明部材により運転者Ｄの視界内に形成される死角の領域であり、本実施形態においては、フロントピラー９及び当該フロントピラー９に接するドアの窓枠１０（不透明部材の一例）により形成される。より具体的には、死角領域Ａは、運転者Ｄの視点Ｄｅから見える、フロントピラー９の前側縁９ｂと当該フロントピラー９に接するドアの窓枠１０の後側縁１０ａとにより両側が囲まれた領域である。また、この死角領域Ａは、上側でルーフ１４に接しており、下側でダッシュボード１５に接している。ここで、運転者Ｄの視点Ｄｅは、車両Ｃの開発時等に用いられる標準的な体型の運転者Ｄが、標準的なドライビングポジションをとったときの視点の位置を基準として用いている。

そして、表示画面４は、一方の側縁が死角領域Ａの境界を構成するピラーの側縁に沿って配置され、他方の側縁の少なくとも一部が死角領域Ａの境界を構成する不透明部材の側縁上に略一致するように配置されている。本実施形態においては、上記のとおり、フロントピラー９の前側縁９ｂと、当該フロントピラー９に接する不透明部材としてのドアの窓枠１０の後側縁１０ａとにより死角領域Ａの境界が構成されている。したがって、図１及び６に示すように、表示画面４は、前側縁４ａ（一方の側縁の一例）がフロントピラー９の前側縁９ｂ沿って配置され、後側縁４ｂ（他方の側縁の一例）の上端部４ｃがフロントピラー９に接するドアの窓枠１０の後側縁１０ａ（不透明部材の側縁の一例）上に略一致するように配置されている。このように表示画面４を配置したことにより、図１及び６に示す運転者Ｄの視点Ｄｅから見た表示画面４の右上角部近傍の一部の領域が、死角領域Ａの中のドアの窓枠１０により形成される部分内に配置される。したがって、本実施形態のように表示画面４の形状が矩形状である場合であっても、表示画面４を配置したことによって新たな死角を作ることなく、表示画面４の面積を大きくして運転者からの見易さを確保することができる。

また、表示装置３の表示画面４は、運転者Ｄからの見易さを確保しつつ新たな死角を作らないようにするために、三次元の各方向、すなわち車両Ｃのピッチ方向Ｐ、ヨー方向Ｙ、及びロール方向Ｒについて適切な角度が設定されて配置される。すなわち、車両Ｃのピッチ方向Ｐの角度に関して、図８に示すように、表示画面４のピッチ方向角度ａが、フロントピラー９のピッチ方向傾斜角ｂ１に平行な角度から運転者Ｄの視線方向Ｄｄに垂直な角度ｂ２までの間となるように設定されている。図示の角度は一例であるが、水平Ｈ（０°）を基準として、フロントピラー９のピッチ方向傾斜角ｂ１は約３５°であり、表示画面４のピッチ方向角度ａは約５０°としている。表示画面４のピッチ方向角度ａをこのような範囲に設定することにより、見易さを考慮して表示画面４の上下長を適切に確保することができる。また、表示画面４の法線方向が運転者Ｄの視線方向Ｄｄよりも下方を向くことになるので、車外から入射した光が画面に反射して運転者Ｄが表示画面４を見難くなることを抑制しつつ、表示画面４の角度を運転者Ｄにとって見易い角度とすることができる。よって、運転者Ｄからの表示画面４の見易さを確保することができる。

また、車両Ｃのヨー方向Ｙの角度に関して、図７に示すように、表示画面４のヨー方向角度ｃが、運転者Ｄの視線方向Ｄｄに垂直な角度ｄから車両Ｃの前後方向Ｌに平行な角度（０°）までの間となるように設定されている。図示の角度は一例であるが、車両Ｃの前後方向Ｌに平行な角度（０°）を基準として、車両Ｃのヨー方向Ｙの運転者Ｄの視線方向Ｄｄに垂直な角度ｄは約７０°であり、表示画面４のヨー方向角度ｃは約５０°としている。表示画面４のヨー方向角度ｃをこのような範囲に設定することにより、表示画面４の幅が極端に狭くならないように見易い幅を適切に確保することができる。よって、運転者Ｄからの表示画面４の見易さを確保することができる。

更に、車両Ｃのロール方向Ｒの角度に関して、図９に示すように、表示画面４の一方の側縁の角度ｅが、鉛直方向Ｖに対して傾斜した角度となるように設定されている。図示の角度は一例であるが、鉛直方向Ｖに対して、表示画面４の前側縁４ａのロール方向角度ｅは約２０°としている。なお、本実施形態においては、表示画面４は矩形状であるので、表示画面４の他方の側縁である後側縁４ｂのロール方向角度も同じ角度となっている。表示画面４のロール方向角度ｅをこのような範囲に設定することにより、矩形状の表示画面４を、フロントピラー９の傾斜角度に沿って傾斜して配置することも可能となる。よってフロントピラー９及び当該フロントピラー９に接するドアの窓枠１０により形成される運転者の死角領域Ａを有効に活用して、矩形状の表示画面４を配置することができる。したがって、新たな死角を作ることなく、運転者Ｄからの表示画面４の見易さを確保することができる。

５．撮像装置の配置構成
次に、この運転支援装置１における撮像装置２の配置構成について説明する。上記のとおり、本実施形態においては撮像装置２が装置本体５と一体的に設けられている。よって、撮像装置２の配置構成は、装置本体５の形状、特に取付部６に対する撮像装置２の支持部としての撮像装置収納部５ｃの位置及び形状により定まる。したがって、装置本体５は、以下に説明する撮像装置２の配置構成を実現すべく、取付部６と撮像装置２との位置関係を設定したものとされている。

図１及び図２に示すように、撮像装置２は、車両Ｃのフロント窓１１の上部に配置されている。また、この撮像装置２は、フロントピラー９に隣接して配置されている。そのため、本実施形態においては、撮像装置２は、フロントピラー９に沿って設けられる装置本体５の上端部近傍からフロント窓１１側の側方に突出するように形成された撮像装置収納部５ｃ内に取り付けられている。上記のとおり、装置本体５はフロントピラー９の室内側面９ａの全体を覆うように形成されているため、装置本体５の上端部近傍に撮像装置収納部５ｃを設けて撮像装置２を取り付けることにより、撮像装置２をフロント窓１１の上部に配置することができる。また、フロントピラー９に沿って設けられる装置本体５からフロント窓１１側の側方に突出するように撮像装置収納部５ｃを設けて撮像装置２を取り付けることにより、撮像装置２をフロントピラー９に隣接して配置することができる。そして、この撮像装置２は、車両Ｃの室内側から外方を撮像するように配置され、その撮像方向Ｆ（図１１参照）及び画角等は、少なくとも運転者Ｄから見たフロントピラー９の死角領域Ａ（図６及び７参照）を撮像できるように設定されている。

上記のとおり、撮像装置２は、イメージセンサとしての撮像素子８を備えている。そこで次に、撮像素子８のロール角度ｇについて説明する。図１０は、撮像装置２の撮像素子８及び表示画面４のロール角度を表した説明図である。この図において、（ａ）及び（ｂ）は撮像素子８のロール角度ｇの説明図であって、（ｂ）は（ａ）の要部拡大図である。また、（ｃ）及び（ｄ）は表示画面４のロール角度ｆの説明図であって、（ｄ）は（ｃ）の要部拡大図である。なお、この図では、装置本体５に取り付けられた状態での撮像素子８の撮像面８ａ及び表示画面４の向きに関わらず、撮像素子８の撮像面８ａと表示画面４とを同一平面上に表している。

図１０に示すように、この運転支援装置１では、制御装置７による画像処理の演算負荷を軽減し、画質の劣化を抑えるために、撮像装置２の撮像素子８のロール角度ｇが、表示画面４のロール角度ｆと略一致するよう設けられている。ここで、撮像素子８のロール角度ｇは、当該撮像素子８の画素の配列方向Ｔのロール角度であり、表示画面４のロール角度ｆは、当該表示画面４の画素の配列方向Ｓのロール角度である。また、画素の配列方向Ｔ、Ｓとは、画素が所定の規則に従って配列される方向である。よって、一つの撮像素子８又は表示画面４について、一本の直線に沿った１方向、直交する２本の直線に沿った２方向、或いは６０°ピッチの３本の直線に沿った３方向等のように複数の方向が存在する場合もある。図示の例においては、いずれもロール角度は水平Ｈを基準とする角度として表している。本実施形態においては、撮像素子８は矩形状（ここでは正方形）とされている。また、上記のとおり、表示画面４も矩形状（ここでは長方形）とされている。そして、撮像素子８の画素は、撮像素子８の各辺に平行な格子状に配列されており、表示画面４の画素は、表示画面４の各辺に平行な格子状に配列されている。この場合、撮像素子８及び表示画面４ともに、画素の配列方向Ｔ、Ｓは２方向である。よって、本実施形態においては、撮像素子８のロール角度ｇは、撮像素子８の外形（或いは各辺）のロール角度と一致し、表示画面４のロール角度ｆは、表示画面４の外形（或いは各辺）のロール角度と一致している。なお、撮像素子８及び表示画面４の各画素の形状は、図１０に示すような矩形状に限られるものではなく、例えば六角形や菱形等の各種の多角形や円形等であってもよい。

また、ここでの撮像素子８のロール角度ｇは、当該撮像素子８の撮像面８ａに対する直交軸周りの角度であり、表示画面４のロール角度ｆは、当該表示画面４に対する直交軸周りの角度である。すなわち、撮像素子８と表示画面４とは、装置本体５に取り付けられた状態での撮像素子８の撮像面８ａ及び表示画面４の向きに関わらず、それぞれの直交軸周りで同一方向に略同じ角度だけ回転した状態となるように設けられている。上記のとおり、図１０では、撮像素子８の撮像面８ａと表示画面４とを同一平面上に表している。すなわち、撮像素子８の撮像面８ａは、図１０（ａ）に示すように、紙面上に配置されたｘ軸とｙ軸による平面上に配置され、その直交軸はｚ軸となっている。なお、撮像面８ａの直交軸ｚは、撮像装置２の光軸と一致している。同様に、表示画面４は、図１０（ｃ）に示すように、紙面上に配置されたｘ軸とｙ軸による平面上に配置され、その直交軸はｚ軸となっている。そして、図１０に示す例では、撮像素子８の直交軸ｚ周りのロール角度ｇは約２０°であり、表示画面４の直交軸ｚ周りのロール角度ｆも約２０°であり、互いに略一致するように設定されている。このような構成としたことにより、上記のように、運転者Ｄ（図７参照）からの見易さを確保しつつ新たな死角を作らないようにするために、表示画面４を三次元の各方向に傾斜させて配置した場合であっても、当該表示画面４のロール方向の傾斜の影響を補正するための画像処理を少なくすることができる。よって、制御装置７による画像処理の演算負荷を軽減し、画質の劣化を抑えることができる。

なお、実際に撮像装置２及び表示装置３を装置本体５に取り付けられた状態では、図１０に示す状態とは異なり、撮像素子８の撮像面８ａと表示画面４とのそれぞれの向きを表す直交軸ｚの方向は一致しない。したがって、撮像素子８の撮像面８ａと表示画面４とが異なる平面上に位置することになる。

６．制御装置による画像処理
次に、この制御装置７（図４参照）による画像処理の内容について説明する。画像処理手段としての制御装置７は、撮像装置２により撮像した撮影画像Ｇｔを、運転者の視点Ｄｅから見える画像である運転者視点画像Ｇｄに変換した後、当該運転者視点画像Ｇｄを、表示装置３の表示画面４が含まれる平面上の画像である表示面画像Ｇｓに変換する画像処理を行う。そして、制御装置７は、変換後の表示面画像Ｇｓの情報を表示装置３へ出力して表示画面４に表示させる。以下、この制御装置７による画像処理について、図１１に基づいて説明する。

制御装置７は、画像処理に際して、運転者の視点Ｄｅ、撮像装置２、表示装置３の表示画面４、及び運転者視点画像Ｇｄを作成する仮想平面Ｅｖのそれぞれの位置や方向等についての関係情報を条件として用いる。ここで、撮像装置２及び表示装置３は、上記のとおり、車両Ｃに取り付けられる装置本体５と一体的に設けられている。したがって、車両Ｃを基準として、撮像装置２の位置、撮像方向Ｆ（光軸方向）、及び撮像素子８のロール角度ｇ（図１０参照）は特定される。同様に、車両Ｃを基準として、表示装置３の表示画面４の位置、方向、及びロール角度ｆ（図１０参照）も特定される。なお、このような表示画面４の位置等は、矩形状の表示画面４の３つの角部の座標の情報として特定してもよい。

一方、運転者の視点Ｄｅは、各運転者によって異なる。したがって、運転者の視点Ｄｅの位置は、図示しない視点位置特定手段によって特定する。この視点位置特定手段としては、例えば、車室内に設置されたカメラ等によって運転者の顔画像を撮影し、この顔画像を解析して運転者の視点Ｄｅの位置を検出する手段を用いることができる。また、超音波センサやレーザースキャナ等により運転者の頭部の位置を検出し、当該検出した頭部の位置から運転者の視点Ｄｅの位置を推測する手段を用いることができる。また、車両Ｃのバックミラーやサイドミラー１６の角度、シートの位置及びヘッドレストの高さ等を各部のセンサにより検出し、当該検出値から間接的に運転者の視点Ｄｅの位置を検出する手段を用いることができる。更には、運転者に身長や座高などの身体情報の入力を求め、当該入力情報に基づいて運転者の視点Ｄｅの位置を推測する手段を用いることができる。或いは、仮に標準的な体型の運転者が標準的なドライビングポジションをとったときの運転者の視点Ｄｅの位置を用いて表示装置３に外の景色の画像を表示し、その後、運転者が当該画像を見ながら、実際の景色と合致するように表示画面４上の画像の位置及び方向を手動で調整する手段を用いることもできる。このようにして運転者の視点Ｄｅの位置が特定されれば、運転者の視線方向Ｄｄは、運転者の視点Ｄｅの位置から表示画面４の中心部に向かう方向として特定される。

運転者視点画像Ｇｄを作成する仮想平面Ｅｖの位置及び方向は、上記のように特定された運転者の視点Ｄｅ、撮像装置２、及び表示装置３の表示画面４のそれぞれの位置や方向等の条件に基づいて適切に決定される。この仮想平面Ｅｖの決定方法としては、例えば、運転者の視点Ｄｅから視線方向Ｄｄに延ばした直線が地面と交差する点を含み、当該視線方向Ｄｄと平面視で直交する鉛直平面を仮想平面Ｅｖとすると好適である。また、運転者の視点Ｄｅ又は撮像装置２から所定距離だけ離れた位置に配置され、視線方向Ｄｄと平面視で直交する鉛直平面を仮想平面Ｅｖとしてもよい。この際、運転者の視点Ｄｅ又は撮像装置２からの距離は、例えば５〜５０ｍの範囲で設定すると好適である。また、仮想平面Ｅｖは、鉛直平面に限定されるものではなく、例えば運転者の視線方向Ｄｄに直交する面等のように鉛直方向に対して傾斜した平面とし、或いは球面等のような曲面とすることもできる。

そして、制御装置７は、以上のように特定された条件を用いて、図１１に示すように、撮像装置２により撮像した撮影画像Ｇｔの画像処理を行う。図１１には、各画像Ｇｔ、Ｇｄ、Ｇｓ上の対応する画素の位置を丸印で示している。この各画像Ｇｔ、Ｇｄ、Ｇｓ上の丸印の配列は、撮影画像Ｇｔが属する撮像平面Ｅｔ上の等間隔に並んだ６つの画素が、画像処理によってどのように変化するかを表している。ここで、撮像平面Ｅｔは、撮像素子８の撮像面８ａ（図１０参照）に平行な平面であって、撮像方向Ｆ（光軸方向）に直交する平面である。なお、図１１では、本実施形態に係る運転支援装置１の構成に合わせて、表示画面４に対して上方に撮像装置２を配置しているが、図面の見易さのために、運転者の視線方向Ｄｄと撮像方向Ｆとの関係は、実際よりも角度を大きく表している。

制御装置７は、まず、撮像装置２により撮像した撮影画像Ｇｔを、運転者の視点Ｄｅから見える画像である運転者視点画像Ｇｄに変換する変換処理を行う。この変換処理として、ここでは、撮影画像Ｇｔが属する撮像平面Ｅｔと、上記のように求めた仮想平面Ｅｖとの関係に基づいて射影変換を行う。この射影変換は、撮像平面Ｅｔの直交軸と仮想平面Ｅｖの直交軸との角度差に基づいて、当該角度差だけ傾いた平面上に撮影画像Ｇｔを投影することにより行う。このように仮想平面Ｅｖに投影された画像が運転者視点画像Ｇｄとなる。したがって、運転者視点画像Ｇｄでは、撮影画像Ｇｔにおいて等しかった各画素の間隔が変化する。図１１に示す例では、この射影変換により、画素の間隔が、運転者視点画像Ｇｄの下方に向かうに従って広がるように変換されている。

次に、制御装置７は、上記の変換により生成された運転者視点画像Ｇｄを、表示装置３の表示画面４が含まれる平面上の画像である表示面画像Ｇｓに変換する変換処理を行う。この変換処理として、ここでは、仮想平面Ｅｖと、表示画面４が含まれる表示平面Ｅｓとの関係に基づいて射影変換を行う。この射影変換は、仮想平面Ｅｖの直交軸と表示平面Ｅｓの直交軸との角度差に基づいて、当該角度差だけ傾いた平面上に運転者視点画像Ｇｄを投影することにより行う。このように表示平面Ｅｓに投影された画像が表示面画像Ｇｓとなる。したがって、表示面画像Ｇｓでは、撮影画像Ｇｔにおいて等しかった各画素の間隔が、運転者視点画像Ｇｄに対して更に変化する。図１１に示す例では、この射影変換により、画素の間隔が、表示面画像Ｇｓの下方に向かうに従って、運転者視点画像Ｇｄに対して更に広がるように変換されている。

そして、制御装置７は、上記の変換により生成された表示面画像Ｇｓの中から、表示画面４の表示領域に対応する部分を切り出して表示装置３に出力し、表示画面４に表示させる。表示面画像Ｇｓが属する表示平面Ｅｓ中における表示画面４の表示領域に対応する部分は、上記のように特定された運転者の視点Ｄｅの位置及び視線方向Ｄｄと、表示画面４の表示画面４の位置、方向、及びロール角とに基づいて特定することができる。したがって、制御装置７は、このように特定された表示画面４の表示領域に対応する部分を表示面画像Ｇｓの中から切り出す。そして、このように切り出された画像は表示装置３により表示画面４に表示される。この際、上記のとおり、撮像装置２の撮像素子８のロール角度ｇが、表示画面４のロール角度ｆと略一致するよう設けられているため（図１０参照）、表示面画像Ｇｓを構成する各画素の配列方向のロール角度が、表示画面４の画素の配列方向Ｓのロール角度ｆと略一致していることになる。したがって、表示画面４のロール方向の傾斜の影響を補正するための画像処理を少なくすることができるため、制御装置７による画像処理の演算負荷を軽減し、画質の劣化を抑えることが可能となる。そして、以上のように画像処理を行うことにより、表示装置３の表示画面４に表示される画像は、運転者がフロント窓１１及びサイド窓１２を通して見る外の景色と連続する画像となる。よって、表示画面４に、運転者にとって違和感がない状態の死角領域Ａの画像を表示し、適切に運転支援を行うことができる。

７．その他の実施形態
（１）上記の実施形態においては、本発明に係る運転支援装置１を、運転席側のフロントピラー９に取り付けた場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば図１２に示すように、運転席側のフロントピラー９に加えて、助手席側のフロントピラー９にも同様に運転支援装置１を取り付ける構成としても好適である。この場合、助手席側の運転支援装置１は、上記実施形態において説明した運転支援装置１に対して鏡対称の構成とすると好適である。また、図示は省略するが、本発明に係る運転支援装置１は、フロントピラー９だけでなく、リアピラーやサイドピラー等に設けても好適である。この場合においても、各ピラー及び当該ピラーと連続するドア（バックドアを含む）等の不透明部材により形成される運転者の死角領域内に、表示画面４が配置されるように、装置本体５の取付部６と表示画面４との位置関係が設定される。

（２）上記の実施形態においては、撮像装置２を車両Ｃのフロント窓１１の上部に配置する場合の例について説明した。しかし、撮像装置２の配置はこの位置に限定されるものではない。したがって、例えば図１３に示すように、フロントピラー９（ピラーの一例）内に小窓１７が設けられている場合に、撮像装置２を、装置本体５の取付部６における当該小窓１７に対応する位置に配置しても好適である。この場合、装置本体５は、撮像装置２を当該位置に配置するように、取付部６における小窓１７に対応する位置に撮像装置２の支持部を有している。撮像装置２をこのような位置に配置した場合には、撮像装置２の撮像方向Ｆを運転者の視線方向Ｄｄにより近づけることが可能となる（図１１参照）。したがって、制御装置７による画像処理の演算負荷を更に軽減し、画質の劣化を抑えることが可能となる。

（３）上記の実施形態においては、不透明部材がドアの窓枠１０である場合の例について説明した。しかし、本発明におけるピラーと連続する不透明部材はドアの窓枠１０に限定されるものではなく、ドアや窓のシール材、サイドミラーの付根部、ドアパネル、ダッシュボード、ルーフ等も不透明部材に相当する。

（４）上記の実施形態においては、表示装置３の表示画面４の形状を矩形状とする場合の例について説明した。これは主に、表示画面４の形状を長方形や正方形等の矩形状とする方が製造コストを安価に抑えることができるためである。したがって、製造コストの問題が解決できれば、表示画面４の形状は、例えば、菱形、台形、三角形等とし、或いは円形や曲線を用いた各種の形状とすることができる。

（５）上記の実施形態においては、撮像装置２が装置本体５に固定された構成を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、撮像装置２の撮像方向を調整可能とするために、装置本体５への取付部分に調整機構を備える構成とすることも、本発明の好適な実施形態の一つである。また、撮像装置２を装置本体５とは別個に設けることも、本発明の好適な実施形態の一つである。この場合、撮像装置２の配置は装置本体５の位置に制約されないので、運転者の視界の妨げにならず、上記の死角領域Ａを撮像可能な任意の位置に配置することが可能である。したがって、例えば、バックミラーの背面やダッシュボード上等に撮像装置２を配置してもよい。

（６）上記の実施形態においては、表示装置３が装置本体５に固定された構成を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、表示装置３の表示画面４の方向を調整可能とするために、装置本体５への取付部分に調整機構を備える構成とすることも、本発明の好適な実施形態の一つである。

（７）上記の実施形態においては、装置本体５の取付部６による取り付け対象となるフロントピラー９の室内側面９ａが、内装部材を備えないフロントピラー９の室内側面９ａである場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、装置本体５の取付部６を、内装部材を備えたフロントピラー９の室内側面９ａの形状に適合した形状とし、当該内装部材の上から、装置本体５の取付部６を取り付ける構成とすることも、本発明の好適な実施形態の一つである。

（８）上記の実施形態においては、制御装置７が、２回の射影変換を行った後の表示面画像Ｇｓの中から、表示画面４の表示領域に対応する部分を切り出す処理を行って表示装置３に出力する構成を例として説明した。しかし、前記切り出し処理を行う対象の画像は、表示面画像Ｇｓに限定されるものではなく、運転者視点画像Ｇｄ又は撮影画像Ｇｔに対して行ってもよい。このように、射影変換の前の画像に対して前記切り出し処理を行うことにより、射影変換の対象となる画像のデータ量を削減することができ、変換処理のための演算負荷を軽減することができる。したがって、撮影画像Ｇｔに対して前記切り出し処理を行った場合には、２回の射影変換の両方について対象となる画像のデータ量を削減することができるので、演算負荷を最も軽減することができる。この場合、制御装置７は、上記の２回の射影変換を逆に行うことにより、表示画面４の表示領域に対応する撮像平面Ｅｔ上の領域を求め、撮影画像Ｇｔの中から表示画面４の表示領域に対応する部分を切り出す処理を行う。

本発明は、車両のピラーに取り付けることにより、運転者の死角を少なくすることができるので、運転者による車両の運転支援に好適に利用可能である。

本発明の実施形態に係る車両用運転支援装置を取り付けた車両を運転者の視点から見た状態を示す図本発明の実施形態に係る車両用運転支援装置を取り付けた車両を外部から見た状態を示す図本発明の実施形態に係る運転支援装置の表示画面側を示す斜視図本発明の実施形態に係る運転支援装置の取付部側を示す斜視図図２のＶ−Ｖ断面の模式図本発明の実施形態に係る運転者の死角領域内における表示画面の配置を示す図本発明の実施形態に係る平面視での表示画面の配置及び車両のヨー方向の表示画面の角度を示す図本発明の実施形態に係る車両のピッチ方向の表示画面の角度を示す図本発明の実施形態に係る車両のロール方向の表示画面の角度を示す図本発明の実施形態に係る撮像装置の撮像素子及び表示画面のロール角度を表した説明図本発明の実施形態に係る制御装置による画像処理の内容を示す説明図本発明のその他の実施形態に係る運転支援装置の配置構成を示す図本発明のその他の実施形態に係る運転支援装置の撮像装置の配置構成を示す図

１：車両用運転支援装置
２：撮像装置
３：表示装置
４：表示画面
４ａ：表示画面の前側縁（表示画面の一方の側縁の一例）
４ｂ：表示画面の後側縁（表示画面の他方の側縁の一例）
４ｃ：表示画面の後側縁の上端部（表示画面の他方の側縁の上端部の一例）
５：装置本体
５ｂ：延出部
６：取付部
７：制御装置（画像処理手段）
８：撮像素子
８ａ：撮像面
９：フロントピラー（ピラーの一例）
９ａ：フロントピラーの室内側面
９ｂ：フロントピラーの前側縁（ピラーの側縁の一例）
１０：ドアの窓枠（不透明部材の一例）
１０ａ：ドアの窓枠の後側縁（不透明部材の側縁の一例）
１１：フロント窓
１７：小窓
Ａ：死角領域
Ｃ：車両
Ｄ：運転者
Ｄｅ：運転者の視点
Ｄｄ：運転者の視線方向
Ｇｔ：撮影画像（撮像装置により撮像した画像）
Ｇｄ：運転者視点画像
Ｇｉ：表示面画像
Ｐ：車両のピッチ方向
Ｙ：車両のヨー方向
Ｒ：車両のロール方向
Ｌ：車両の前後方向
Ｖ：鉛直
Ｓ：表示画面の画素の配列方向
Ｔ：撮像素子の画素の配列方向
ａ：表示画面のピッチ方向角度
ｂ：ピラーのピッチ方向傾斜角
ｃ：表示画面のヨー方向角度
ｄ：運転者の視線方向に垂直な角度
ｅ：表示画面の前側縁のロール方向角度
ｆ：表示画面のロール角度（表示画面の画素の配列方向のロール角度）
ｇ：撮像素子のロール角度（撮像素子の画素の配列方向のロール角度）

Claims

車両の外方を撮像する撮像装置と、
車両のピラーの室内側面への取付部を有する装置本体と、
前記取付部に対する室内側に前記装置本体と一体的に設けられ、前記撮像装置により撮像した画像を表示する表示画面を有する表示装置と、を備え、
前記撮像装置は、前記装置本体の上端部近傍から車両のフロント窓側の側方に突出するように前記装置本体と一体的に形成された撮像装置収納部内に取り付けられて、前記フロント窓の上部に配置されるとともに、
前記撮像装置の撮像素子の撮像面に対する直交軸周りにおける前記撮像素子の画素の配列方向の角度を前記撮像素子のロール角度とし、前記表示画面に対する直交軸周りにおける前記表示画面の画素の配列方向の角度を前記表示画面のロール角度とした場合に、前記撮像素子のロール角度が、前記表示画面のロール角度と略一致するよう設けられている車両用運転支援装置。
前記表示画面の一方の側縁が前記ピラーの側縁に沿って配置されている請求項１に記載の車両用運転支援装置。
前記表示画面の一方の側縁がフロントピラーの前側縁に沿って配置されている請求項１又は２に記載の車両用運転支援装置。
前記撮像装置は、前記ピラーに隣接して配置されている請求項１から３のいずれか一項に記載の車両用運転支援装置。
前記取付部は、車両のピラーの室内側面の形状に適合した形状を有する請求項１から４のいずれか一項に記載の車両用運転支援装置。
前記ピラーは車両のフロントピラーであり、
前記装置本体は、前記フロントピラーの内装部材を兼ね、前記フロントピラーの室内側面の全体を覆う形状となっている請求項１から５のいずれか一項に記載の車両用運転支援装置。
前記撮像素子及び前記表示画面は矩形状である請求項１から６のいずれか一項に記載の車両用運転支援装置。
前記撮像装置により撮像した画像を、運転者の視点から見える画像である運転者視点画像に変換した後、当該運転者視点画像を、前記表示画面が含まれる平面上の画像である表示面画像に変換して前記表示装置へ出力する画像処理手段を更に備える請求項１から７のいずれか一項に記載の車両用運転支援装置。