JP4758481B2 - 車両用画像処理装置及び車両用画像処理プログラム - Google Patents

Description

【技術分野】
【０００１】
本発明は、車両に設けられた撮像手段により撮像された画像に所定の画像処理を行う車両用画像処理装置及び車両用画像処理プログラムに関する。
【背景技術】
【０００２】
近年の車両（以下「自動車」を例示する）においては、その周囲視界を確認するための撮像手段（以下「カメラ」を例示する）を搭載しており、例えば後方に進行する際、そのカメラで撮影した後方画像を車内の表示手段に表示する機能（以下「後方表示機能」という）を搭載しているものがある。このような後方表示機能は、車両の外側後部にカメラを配置しておき、このカメラで撮影した後方画像を車内の表示手段に表示させるものである（例えば特許文献１参照）。この従来技術では、カメラにより撮像された後方画像を、種々の俯角（０°，１０°，２０°，３０°等）により切り替えて表示する車両用画像処理装置（車両周囲監視装置）が開示されている。
【０００３】
【特許文献１】
特開２００４−３２４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように後方表示機能を搭載した車両において、車両後部に搭載されるカメラが、車両の意匠上の制約や機器配置上の制約により、車両幅方向略中心位置より外れた位置に配置される場合がある。この場合、カメラにより撮像された後方画像は左右対称とならずに表示手段に表示され、運転者に違和感を与えるおそれがある。
【０００５】
このような不都合に対処するためには、例えば、カメラにより撮像された後方画像を、車両幅方向略中心位置の視点から見た画像に変換して表示手段に表示させ、運転者の違和感をなくすことが必要である。このときに必要な変換の程度や内容は（例えばあらかじめ取り付け位置が決められる純正のカメラとは違い）個々の車両によって異なる場合がある。この場合には、操作者（運転者）それぞれが変換後の画像を表示手段でモニターしながら調整し所望の画像を形成しなければならない。しかしながら、この画像形成には複数のパラメータが関連するため、変換後の画像を表示手段に表示させながら、技術的に素人である操作者が好みの画像となるように（例えばバックのために最適な仮想視点となるように）随時調整するのは、非常に難しい。
［０００６］
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
課題を解決するための手段
【０００７】
上記課題を解決するために、請求項１記載の発明は、車両の周囲を撮像する撮像手段より前記車両の周囲画像に基づく周囲画像データを取得する画像取得手段と、前記画像取得手段で取得した前記周囲画像データに対し変換処理を行い変換画像データを生成する画像変換手段と、前記画像変換手段による変換処理態様を指示するための指示信号を入力する指示信号入力手段と、表示手段において前記変換処理態様の指示のための補助表示を行う補助表示線データを生成する補助表示線生成手段と、前記変換画像データと前記補助表示線データとに基づき生成した表示画像データを出力する画像出力手段とを有し、前記補助表示線生成手段は、前記指示信号の指示する変換処理態様に応じ、前記補助表示として、互いに平行な複数の水平直線を表示させた後に目盛りつきの水平直線を表示させるような、前記補助表示線データを生成し、前記画像変換手段は、前記補助表示線生成手段が前記補助表示として前記互いに平行な複数の水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として回転処理を前記周囲画像データに対し行い前記変換画像データを生成し、その後、前記補助表示線生成手段が前記補助表示として前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として平行移動処理を前記周囲画像データに対し行い前記変換画像データを生成し、さらにその後、前記補助表示線生成手段が前記補助表示として前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として傾斜変形処理を前記周囲画像データに対し行い前記変換画像データを生成する。
【０００８】
また上記課題を解決するために、請求項５記載の発明は、撮像された車両の周囲画像に基づく周囲画像データを取得する手順と、前記取得した前記周囲画像データに対する変換処理の処理態様を指示するための指示信号を入力する手順と、前記指示信号の指示する前記処理態様に応じ、補助表示として、互いに平行な複数の水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての回転処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、その後、前記指示信号の指示する前記処理態様に応じ、補助表示として、目盛りつきの水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての平行移動処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、さらにその後、前記指示信号の指示する前記処理態様に応じ、補助表示として、前記目盛りつきの水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての傾斜変形処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、前記変換画像データと前記補助表示線データとに基づき生成した表示画像データを出力する手順と、をコンピュータに実行させる。
発明を実施するための最良の形態
［０００９］
以下、本発明の一実施の形態を図面を参照しつつ説明する。
［００１０］
図１は、本実施形態の車両用画像処理装置（以下単に「画像処理装置」という）２０を搭載する車両３の構成例を示す概念図である。
［００１１］
車両３は、例えばバンパー３Ａを備えた自動車であり、その運転者の操作によって前進したり後進したり左右に各々曲がることができる。この車両３は、カメラ１０（撮像手段）と、画像処理装置２０と、操作スイッチ４０（操作手段）と、表示装置３０（表示手段）とを搭載している。
【００１２】
カメラ１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたいわゆるデジタルカメラである。このカメラ１０は、車両３の周囲（この例では後方。なお側方、前方等を撮像するカメラでもよい）を撮像し、この車両３の周囲視界の画像（この例では後方画像）に基づく周囲画像データ（この例では後方画像データ）９を取得する機能を有する。このカメラ１０は、両３の後方をより広角に撮像するため、例えば広角レンズを用いて撮影している。このカメラ１０によって撮影した映像は、広角レンズを用いている影響により、多少の歪みを生ずる場合がある。
【００１３】
画像処理装置２０は、後方画像データ９に対し所定の変換処理を行うことで変換画像データ２７を生成するとともにこれに加えて補助線データ４８（詳細は後述）を生成し、これら後方画像データ２７及び補助線データ４８を重畳して表示するための表示画像データ４９を表示装置３０に出力する。これにより、操作スイッチ４０の操作信号（指示信号）４３に対応して車両３の後方画像１５を所望の画像に調整する機能を有する（詳細は後述）。
【００１４】
表示装置３０は、画像処理装置２０から受け取った変換画像データ２７に基づく後方画像を表示する機能を有する。この表示装置３０は、例えば車両３の車内に設けられた液晶表示装置などのディスプレイである。この表示装置３０は、例えば走行すべき経路を誘導するナビゲーション装置の表示装置又はテレビジョン受信装置の表示装置と兼ねることができる。
【００１５】
操作スイッチ４０は、その操作により画像処理装置２０による画像の変換処理態様を指示する上記指示信号４３を生成し、画像処理装置２０に出力する。これにより、画像処理装置２０における後方画像データ９の変換処理態様を指示する機能を有する。本実施形態では、この操作スイッチ４０として画像処理装置２０に設けた操作スイッチを用いているが、例えば表示装置３０の液晶表示画面に設けたタッチパネル等を用いてもよい。
【００１６】
図２は、カメラ１０が車両３の後方を撮影する様子を示すイメージ図である。なお図示した鎖線のうち二点鎖線の間は、この駐車場の路面におけるカメラ１０による撮像可能範囲を示しており、一点鎖線の間は、この駐車場の路面上方の空間における撮像可能範囲を示している。
【００１７】
本実施形態では、車両３が、例えば駐車場に駐車しようとしており後方に進もうとしている。この駐車場には、車両３の駐車位置の目安を示す車線（この例では車の後退方向に沿って左枠線７、右枠線５、奥枠線６の３つの枠線５，６，７からなる）が存在している。左右枠線５，７は、車両３の幅よりも多少広い間隔で互いに平行となるように駐車場の路面に引かれている。
【００１８】
カメラ１０は、この例では上述のように車両３の後部の上部に装着されており、撮像可能範囲において車両３の後方視界を撮像することができる。このカメラ１０の撮像可能範囲には、上述した枠線５，６，７が含まれている。
【００１９】
図３は、図１に示す画像処理装置２０の構成例を示すブロック図である。画像処理装置２０は、詳細な図示は省略するが、例えば、中央演算装置（ＣＰＵ）等からなる演算部、ＲＯＭやＲＡＭからなるメモリ、等を有するコンピュータから構成されている。そして、所定の車両用画像処理プログラムが上記ＲＯＭに格納されており、このプログラムにより、後述するような画像処理を行うための制御処理を実行するようになっている。
【００２０】
このような画像処理装置２０は、機能的には、図３に示すように、画像取得部２１（画像取得手段）、画像変換部２３、出力画像作成部２５（画像出力手段）、入力制御部２８（指示信号入力手段）、変換パラメータ格納部２９、及びＯＳＤ作成部２６（補助表示線生成手段）とから構成される。
【００２１】
画像処理装置２０には、上述したカメラ１０によって撮像された車両３の後方画像に基づく後方画像データ９が入力される。この入力された後方画像データ９は、画像取得部２１によって取得される。一方、操作スイッチ４０からは、その操作により生成され画像処理装置２０による画像の変換処理態様を指示する指示信号４３が、画像処理装置２０に入力される。この入力された指示信号４３は、入力制御部２８に入力される。この指示信号４３は、変換パラメータ格納部２９内に格納されている変換パラメータを指定することにより、画像変換部２３による後方画像データの変換処理態様を指示するものである。すなわち、画像変換部２３は、入力制御部２８で入力した指示信号４３に基づき変換パラメータ格納部２９に記憶された変換パラメータを読み出し、この読み出した変換パラメータを用いて画像取得部２１で取得した後方画像データの変換処理を行い、変換画像データ２７を生成する。
【００２２】
変換パラメータ格納部２９には、後方画像を回転させるように後方画像データ９を変換処理（以下「回転処理」という）するための変換パラメータ、後方画像を平行四辺形状に傾斜変形させるように後方画像データ９を変換処理（以下「スキュー処理」という）するための変換パラメータ、及び後方画像を水平方向に平行移動させるように後方画像データ９を変換処理（以下「平行移動処理」という）するための変換パラメータが記憶されている。
【００２３】
回転処理は、θｒを調整可能なパラメータ（＝その大きさが指示信号４３によって増減設定可能である）とし、表示装置３０の表示画面中の縦方向横方向をそれぞれｘ軸方向ｙ軸方向（後述の図６参照）として、次式（１）及び（２）に基づき行われる。なお、式中のｘｎ，ｙｎは画像変換処理後の座標を表し、ｘｏ，ｙｏは画像変換処理前の座標を表している（後述のスキュー処理、平行移動処理の式についても同様）。
【００２４】
【数１】
【数２】
【００２５】
スキュー処理は、θｈを調整可能なパラメータ（＝その大きさが指示信号４３によって増減設定可能である）として次式（３）及び（４）に基づき行われる。これらの式に示すように、この例では水平方向のずれを調整するためにｘ軸方向のみについて変換を行う。
【００２６】
【数３】
【数４】
【００２７】
平行移動処理は、ｔｘを調整可能なパラメータ（＝その大きさが指示信号４３によって増減設定可能である）として次式（５）及び（６）に基づき行われる。これらの式に示すように、この例では水平方向のずれを調整するためにｘ軸方向のみについて変換を行う。
【００２８】
【数５】
【数６】
【００２９】
ＯＳＤ作成部２６は、上記画像変換部２３による後方画像データの変換処理態様にそれぞれ対応した補助表示線データを生成する。このＯＳＤ作成部２６は、この例では、上記回転処理、スキュー処理、平行移動処理にそれぞれ対応した回転用補助表示線データ、スキュー用補助表示線データ、平行移動用補助表示線データを備えている。そして、ＯＳＤ作成部２６は、入力制御部２８で入力した指示信号４３に対応した制御信号を入力制御部２８から入力し、その信号に対応して補助線データ４８（回転処理、スキュー処理、平行移動処理のいずれかに対応した回転用補助表示線データ、スキュー用補助表示線データ、平行移動用補助表示線データ）を作成して出力画像作成部２５へ出力する。
【００３０】
出力画像作成部２５は、上記変換画像データ２７と上記補助線データ４８とを用いて変換画像と補助線データとを重畳して表示するための表示画像データ４９を作成し、表示装置３０に出力する。
【００３１】
図４は、図１に示す操作スイッチ４０の詳細を表す概念的外観図である。操作スイッチ４０は、操作者がそれぞれ押し操作可能な平行移動ボタン４４、回転ボタン４５、及びスキューボタン４６を備えている。
【００３２】
平行移動ボタン４４が押されると、これに対応した平行移動用の指示信号４３が入力制御部２８へ入力される。この結果、前述したように変換パラメータ格納部２９から読み出された平行移動処理のための変換パラメータを用いて画像変換部２３で後方画像データの平行移動処理が行われ、処理後の変換画像データ２７とされる。またＯＳＤ作成部２６からは対応した補助線データ（平行移動用補助表示線データ）４８が作成される。
【００３３】
上記同様、操作スイッチ４０の回転ボタン４５が押されると、これに対応した回転用の指示信号４３が入力制御部２８へ入力される。この結果、変換パラメータ格納部２９から読み出された回転処理のための変換パラメータを用いて画像変換部２３で後方画像データの回転処理が行われ、処理後の変換画像データ２７とされる。またＯＳＤ作成部２６からは対応した補助線データ（回転用補助表示線データ）４８が作成される。
【００３４】
上記同様、操作スイッチ４０のスキューボタン４６が押されると、これに対応したスキュー用の指示信号４３が入力制御部２８へ入力される。この結果、変換パラメータ格納部２９から読み出されたスキュー処理のための変換パラメータを用いて画像変換部２３で後方画像データのスキュー処理が行われ、処理後の変換画像データ２７とされる。またＯＳＤ作成部２６からは対応した補助線データ（スキュー用補助表示線データ）４８が作成される。
【００３５】
次に、以上説明した画像変換処理により実現される表示装置３０の表示態様の具体的な例を順を追って説明する。
【００３６】
図５は、車両３を後方側から見た図１中矢印Ａ方向からの後面図の一例である。この図５の例においては、車両３の幅方向中心線（鉛直線）ｋ上にカメラ１０が水平に設置されている。この場合、（後述の図７の場合と異なり）通常は画像変換部２３における上記画像変換処理（平行移動、回転、スキュー等）を行う必要がない。図６はこのとき（画像変換を行うことなく）出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。
【００３７】
図６に示すように、この場合、奥枠線６の中点が画面の幅方向中心線（鉛直線）ｋｏ上に位置し、左枠線７と右枠線５とがこの中心線ｋｏに対して左右対称に表示されている。
【００３８】
図７は、車両３を後方側から見た図１中矢印Ａ方向からの後面図の他の例である。カメラ１０が操作者（ユーザ）によって取り付けられるものである場合その取り付け誤差によって上記図５のようにカメラ１０が車両３の幅方向中心線ｋ上に設置されない場合がある（あるいは車両３の意匠上の制約や機器配置上の制約による場合もある）。図７では、幅方向中心線ｋよりも図示左側にずれて設置された場合を示している。
【００３９】
図８はこのとき（画像変換がまだ実行されない状態で）出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。
【００４０】
図８に示すように、この場合、枠線５，６，７の形状が全体的に非対称形状に変形する。すなわち、奥枠線６は全体的に画面の横方向（この例では左方向）にシフトし、その中点は画面の幅方向中心線（鉛直線）ｋｏ上から左側にずれて位置する。またこれに伴い、左枠線７と右枠線５との形状や位置も（図６の場合よりも）左側にずれ、これら枠線５，７は中心線ｋｏに対して左右非対称に表示される。この場合、（このままでは操作者の視認性が悪いため）画像変換部２３における上記画像変換処理（平行移動、回転、スキュー等）を行い、車両３の幅方向中心線ｋにカメラ１０があった図５及び図６の場合のように視点変換する必要がある。
【００４１】
この視点変換のための画像変換処理としては、種々のパターンが考えられるが、以下の理由により、例えば回転処理→平行移動処理→スキュー処理（又は回転処理→スキュー処理→平行移動処理）の順序で行うのが好適である。すなわち、前述した式（３）（４）及び式（５）（６）から明らかなようにスキューと平行移動処理ではｙ座標の変化がない（ｘ座標の変化のみ）。これに対して式（１）（２）から明らかなように回転処理ではｘ座標ｙ座標ともに変化する。したがって、先に回転処理を行って後方画像のｙ座標をまず所望の位置に固定しておき、その後平行移動処理及び／又はスキュー処理を行って後方画像のｘ座標を所望の位置に調整するのが、操作者にとってわかりやすく操作しやすい。以下は、回転処理→平行移動処理→スキュー処理の順序で操作者により変換が実行される場合を例にとって説明する。
【００４２】
（Ａ）回転処理
図９は、操作者が回転ボタン４５を押して回転処理を行うとき、出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。この例では、操作者が回転ボタン４５を一度押すと、前述したＯＳＤ作成部２６からの補助線データ（回転用補助表示線データ）４８が出力画像作成部２５を介し表示装置３０に出力される。この結果、図示のように互いに平行な複数の水平直線（この例では破線だが実線であってもよい）が回転用補助表示線Ｈｒとして表示される。なお、回転ボタン４５でなく、この回転用補助表示線Ｈｒを表示させるためのボタン（あるいは回転処理モードへ移行するためのボタン）等を別途設けるようにしてもよい。また、この時点では、上記回転用補助表示線Ｈｒとともに、回転処理がまだ行われない状態の後方画像（図８に示したものと同じ、枠線５，６，７及びバンパー３Ａの画像）が併せて表示装置３０の画面に表示される。これによって、操作者は、後方画像をどの程度回転させるべきかを視覚的に明確に認識することができる。
【００４３】
上記の状態から、続いて操作者が回転ボタン４５を押すと、回転処理における前述の式（１）式（２）のθｒが予め定められた値だけ増加（又は減少）する。これによって、予め定められた方向（この例では表示装置３０の表示画面上の時計回り）に予め定められた回転量（角度）だけ表示画面上の後方画像が小刻みに回転する。これを繰り返すことで、操作者の意図する後方画像の回転処理操作を行うことができる。
【００４４】
なお、このとき回転用補助表示線Ｈｒは、この回転処理操作の進展によって小刻みに回転していく後方画像（枠線５，６，７及びバンパー３Ａの画像。以下適宜単に「後方画像５，６，７」という）とは異なり、表示装置３０の表示画面において固定的な位置関係で表示されるものである。したがって、上記小刻みな後方画像の回転によって回転用補助表示線Ｈｒと後方画像５，６，７との相対的な位置関係が変わる。前述したように、まずこの回転処理を行うのは後方画像５，６，７のｙ座標を固定することを目的としている。したがって、操作者は、具体的には、表示装置３０の表示画面中の奥枠線６（最終的には水平方向に表示されるのが視覚上もっとも違和感がなく自然である）が表示画面中において回転用補助表示線Ｈｒと略平行（すなわち略水平方向）となるまで、上記回転ボタン４５を繰り返して押し操作すればよい（後述の図１０参照）。このように操作者が回転用補助表示線Ｈｒを目安として回転処理操作を行うことで、言い換えれば、後方画像５，６，７に与えるべき最適な回転処理ロール角を決定できたこととなる。
【００４５】
なお、上記のように回転ボタン４５を繰り返し押すことで画像を所望の角度回転させるのでなく、回転量や回転方向を一意的に決めるためのボタンを別途設けるようにしてもよい。また複数の回転用補助表示線Ｈｒの例えば一部分の態様（色や形状等）を他のものと異なるものとするようにしてもよい。また、回転処理がほぼ終了したと思われる場合（後方画像５，６，７のうち対応する部分、例えば奥枠線６が回転用補助表示線Ｈｒと略平行になった場合等）等において、態様をそれまでとは異ならせるようにしてもよい。またこの終了時に併せてその旨の報知（視覚的表示や音声報知等）を行うようにしてもよい。
【００４６】
（Ｂ）平行移動処理
上記回転処理の後、平行移動処理を行う（なお、後述のスキュー処理と順序を入れ替えてもよい）。図１０は、上記回転処理の終了後、操作者が操作スイッチ４０の平行移動ボタン４４を押して平行移動処理を行うとき、出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。この例では、操作者が平行移動ボタン４４を一度押すと、前述したＯＳＤ作成部２６からの補助線データ（平行移動用補助表示線データ）４８が出力画像作成部２５を介し表示装置３０に出力される。この結果、図示のように目盛り付きの水平直線（この例では破線だが実線であってもよい）が平行移動用補助表示線Ｈｓとして表示される。このとき、この例では、この平行移動用補助表示線Ｈｓは、後述のスキュー処理によってｘ座標が変化しないようなｙ座標位置（例えば表示画面における上下方向中心のｙ＝０となる位置）に設定表示される。なお、前述と同様、平行移動ボタン４４でなく、この平行移動用補助表示線Ｈｓを表示させるためのボタン（あるいは平行移動モードへ移行するためのボタン）等を別途設けるようにしてもよい。また、この時点では、上記平行移動用補助表示線Ｈｓとともに、平行移動処理がまだ行われない状態の後方画像５，６，７が併せて表示装置３０の画面に表示される（図１０参照）。これによって、操作者は、後方画像５，６，７をどの程度平行移動させるべきかを視覚的に明確に認識することができる。
【００４７】
上記の状態から、続いて操作者が平行移動ボタン４４を押すと、平行移動処理における前述の式（５）のｔｘが予め定められた値だけ増加（又は減少）する。これによって、予め定められた方向（この例では表示装置３０の表示画面上の右方向）に予め定められたシフト量（例えば所定ドット数でもよい）だけ表示画面上の後方画像５，６，７が小刻みに平行移動する。これを繰り返すことで、操作者の意図する後方画像５，６，７の平行移動処理操作を行うことができる。
【００４８】
前述と同様、このとき平行移動用補助表示線Ｈｓは、この平行移動処理操作の進展によって小刻みに平行移動していく後方画像５，６，７とは異なり、表示装置３０の表示画面において固定的な位置関係で表示されるものである。したがって、上記小刻みな平行移動によって平行移動用補助表示線Ｈｓと後方画像５，６，７との相対的な位置関係が変わる。そして、前述したように、平行移動用補助表示線Ｈｓは、後述のスキュー処理によってｘ座標が変化しないｙ座標位置（上下方向中心のｙ＝０となる位置）に設けられている。したがって、操作者は、後方画像５，６，７のうち、この平行移動用補助表示線Ｈｓと交差する部分（この例では左枠線７と右枠線５）が表示装置３０の表示画面中の中心線ｋｏに対し左右均等位置（等距離）となるまで、上記平行移動ボタン４４を繰り返して押し操作すればよい（後述の図１１参照）。このように中心線ｋｏに対し均等となるように平行移動用補助表示線Ｈｓ上で左右枠線７，５を割り付け表示してしまえば、平行移動用補助表示線Ｈｓ上の画像位置では（ｘ座標が変わらないため）後のスキュー処理によっても変化しないからである。このように操作者が平行移動用補助表示線Ｈｓを目安として平行移動処理操作を行うことで、言い換えれば、後方画像５，６，７に与えるべき最適な平行移動量（横シフト量）を決定できたこととなる。
［００４９］
なお、上記のように平行移動ボタン４４を繰り返し押すことで画像を所望のシフト量だけ平行移動させるのでなく、シフト量やシフト方向を一意的に決めるためのボタンを別途設けるようにしてもよい。また平行移動用補助表示線Ｈｓの例えば一部分の態様（色や形状等）を他のものと異なるものとするようにしてもよい。また、平行移動処理がほぼ終了したと思われる場合（後方画像５，６，７のうち対応する部分、平行移動用補助表示線Ｈｓと交差する左枠線７と右枠線５の部位が中心線ｋｏに対し略等距離となった場合）等において、態様をそれまでとは異ならせるようにしてもよい。またこの終了時に併せてその旨の報知（視覚的表示や音声報知等）を行うようにしてもよい。
【００５０】
（Ｃ）スキュー処理
上記平行移動処理の後、スキュー処理を行う（前述の平行移動処理と順序を入れ替えてもよい）。図１１は、上記平行移動処理の終了後、操作者が操作スイッチ４０のスキューボタン４６を押してスキュー処理を行うとき、出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。この例では、操作者がスキューボタン４６を一度押すと、前述したＯＳＤ作成部２６からの補助線データ（スキュー用補助表示線データ）４８が出力画像作成部２５を介し表示装置３０に出力される。この結果、図示のように目盛り付きの水平直線（この例では破線だが実線であってもよい）がスキュー用補助表示線Ｈｋとして表示される。このとき、この例では、このスキュー用補助表示線Ｈｋは、等脚台形状に末広がりに表示される後方画像５，６，７の末広がり部分においてより精密に調整できるように、表示画面における下端近傍位置に設定表示される。なお、前述と同様、スキューボタン４６でなく、このスキュー用補助表示線Ｈｋを表示させるためのボタン（あるいはスキューモードへ移行するためのボタン）等を別途設けるようにしてもよい。また、この時点では、上記スキュー用補助表示線Ｈｋとともに、スキュー処理がまだ行われない状態の後方画像５，６，７が併せて表示装置３０の画面に表示される（図１１参照）。これによって、操作者は、後方画像５，６，７をどの程度スキュー（傾斜変形）させるべきかを視覚的に明確に認識することができる。
【００５１】
上記の状態から、続いて操作者がスキューボタン４６を押すと、スキュー処理における前述の式（３）のθｈが予め定められた値だけ増加（又は減少）する。これによって、予め定められた方向（この例では表示装置３０の表示画面上の上半分が右方向、下半分が左方向）に予め定められた量（例えば所定ドット数でもよい）だけ表示画面上の後方画像５，６，７が小刻みに傾斜変形する。これを繰り返すことで、操作者の意図する後方画像５，６，７のスキュー処理操作を行うことができる。
【００５２】
前述と同様、このときスキュー用補助表示線Ｈｋは、このスキュー処理操作の進展によって小刻みに傾斜変形していく後方画像５，６，７とは異なり、表示装置３０の表示画面において固定的な位置関係で表示されるものである。したがって、上記小刻みな傾斜変形によってスキュー用補助表示線Ｈｋと後方画像５，６，７との相対的な位置関係が変わる。そして、前述したように、スキュー用補助表示線Ｈｓは、末広がり形状の後方画像５，６，７のうち変化が最も見やすい表示装置３０の表示画面の下端部に設けられている。したがって、操作者は、後方画像５，６，７のうち、このスキュー用補助表示線Ｈｋと交差する部分（この例では左枠線７と右枠線５）が表示装置３０の表示画面中の中心線ｋｏに対し左右均等位置（等距離）となるまで、上記スキューボタン４６を繰り返して押し操作すればよい（図１２参照）。このように中心線ｋｏに対し均等となるようにスキュー用補助表示線Ｈｋ上で左右枠線７，５を割り付け表示すれば、自動的に奥枠線６も中心線ｋｏに対し左右均等な配置となる（奥枠線６の中点が中心線ｋｏ上にほぼ位置する）ようになるからである。このように操作者がスキュー用補助表示線Ｈｋを目安としてスキュー処理操作を行うことで、言い換えれば、後方画像５，６，７に与えるべき最適なスキュー量（傾斜変形量）を決定できたこととなる。
【００５３】
なお、上記のようにスキューボタン４６を繰り返し押すことで画像を所望の変形量だけスキューさせるのでなく、変形量や変形方向を一意的に決めるためのボタンを別途設けるようにしてもよい。またスキュー用補助表示線Ｈｋの例えば一部分の態様（色や形状等）を他のものと異なるものとするようにしてもよい。また、スキュー処理がほぼ終了したと思われる場合（後方画像５，６，７のうち対応する部分、スキュー用補助表示線Ｈｋと交差する左枠線７と右枠線５の部位が中心線ｋｏに対し略等距離となった場合）等において、態様をそれまでとは異ならせるようにしてもよい。またこの終了時に併せてその旨の報知（視覚的表示や音声報知等）を行うようにしてもよい。
【００５４】
以上のようにして、操作者は、表示装置３０の表示画面上に変換途中の後方画像５，６，７を表示させつつ、表示画面中の補助表示線Ｈｒ，Ｈｓ，Ｈｋを活用して所望の位置となるまで回転処理、平行移動処理、スキュー処理を行う。これによって、操作者にとって最適な画像を容易に得ることができる。
【００５５】
なお、例えば車両３の後方に設けたカメラ１０により後方画像を取得して表示させる場合、地面とカメラ光軸が垂直になるような仮想カメラ映像の要求度も高い。その場合はカメラ１０の俯角を変化させる変換（上方への視点変換）が必要になる。このような視点変換を行う場合に、その調整も上記（Ａ）〜（Ｃ）と同様の手法で補助表示線を用いて容易に調整することができる。
【００５６】
この調整は、例えば操作スイッチ４０にボタン４４，５６，４６と同様の視点変換ボタン（図示省略）を設けることで行うことができる。図１３は、上記回転・平行移動・スキュー処理の終了後、操作者が操作スイッチ４０の上記視点変換ボタンを押して視点変換処理を行うとき、出力画像作成部２５から出力される表示画像データ４９により表示装置３０で表示される画面の例を表している。この例では、操作者が視点変換ボタンを一度押すと、前述したＯＳＤ作成部２６からの補助線データ（視点変換用補助表示線データ）４８が出力画像作成部２５を介し表示装置３０に出力される。この結果、図１３に示すように互いに平行な複数の鉛直直線（この例では破線だが実線であってもよい）が視点変換用補助表示線Ｈｖとして表示される。なお、前述と同様、視点変換ボタンでなく、この視点変換用補助表示線Ｈｖを表示させるためのボタン（あるいは視点変換モードへ移行するためのボタン）等を別途設けるようにしてもよい。また、この時点では、上記視点変換用補助表示線Ｈｖとともに、視点変換処理がまだ行われない状態の後方画像５，６，７が併せて表示装置３０の画面に表示される（図１３参照）。これによって、操作者は、後方画像５，６，７の視点変換処理がどの程度完了したかを視覚的に明確に認識することができる。
【００５７】
上記の状態から、続いて操作者が視点変換ボタンを押すと、予め定められた方向に（この例ではカメラ１０の視点が通常の取り付け位置基準からさらに上方へと上がるように）予め定められた量（実際の鉛直方向距離等換算でもよい）だけ表示画面上の後方画像５，６，７への視点が小刻みに上方へ移動する（俯角が変化する）。これに伴って、後方画像５，６，７自体は、左枠線７及び右枠線５が前述のように末広がり形状であったものが、徐々にその広がりの程度が小さくなる。これを繰り返すことで、最終的に操作者が意図する後方画像５，６，７の視点変換（例えば地面とカメラ光軸が垂直になるように見下ろす視点への）処理操作を行うことができる。
【００５８】
前述と同様、このとき視点変換用補助表示線Ｈｖは、この視点変換処理操作の進展によって小刻みに変形していく後方画像５，６，７とは異なり、表示装置３０の表示画面において固定的な位置関係で表示されるものである。したがって、上記小刻みな変形によって視点変換用補助表示線Ｈｖと後方画像５，６，７との相対的な位置関係が変わる。そして、前述したように、視点変換処理では最終的に地面とカメラ光軸が垂直になるように見下ろす視点への変換を行うものであり、この状態では左枠線７と右枠線５とはともに表示画面上の鉛直方向となって互いに略平行となるはずである。したがって、操作者は、後方画像５，６，７のうち、これら左枠線７及び右枠線５がそれぞれ視点変換用補助表示線Ｈｖと略平行となるまで、上記視点変換ボタンを繰り返して押し操作すればよい。このように視点変換用補助表示線Ｈｖに対し左右枠線７，５を平行となるように表示させれば（図１４参照）、自動的に左右枠線７，５と奥枠線６とが直交してこれらが略コの字状の配置となる（見下ろした視点となる）からである（図１５参照）。このように操作者が視点変換用補助表示線Ｈｖを目安として視点変換処理操作を行うことで、言い換えれば、後方画像５，６，７に与えるべき最適な変形量を決定できたこととなる。
【００５９】
なお、上記のように視点変換ボタンを繰り返し押すことで視点を所望の距離ずつ上昇させるのでなく、視点の移動量や移動方向を一意的に決めるためのボタンを別途設けるようにしてもよい。また視点変換用補助表示線Ｈｖの例えば一部分の態様（色や形状等）を他のものと異なるものとするようにしてもよい。また、視点変換処理がほぼ終了したと思われる場合（後方画像５，６，７のうち対応する部分、左枠線７と右枠線５が視点変換用補助表示線Ｈｖに対し略平行となった場合）等において、態様をそれまでとは異ならせるようにしてもよい。またこの終了時に併せてその旨の報知（視覚的表示や音声報知等）を行うようにしてもよい。
【００６０】
以上のようにして互いに平行な複数の鉛直直線である視点変換用補助表示線Ｈｖを用いて変換処理を行うことで、もともと左右に離れ表示画面上でそれぞれが鉛直になったこと（＝互いに平行になったこと）を確認しにくい左枠線７及び右枠線５について、上記確認を確実に行うことができる。
【００６１】
上記実施形態における車両用画像処理装置２０においては、車両３の周囲を撮像する撮像手段１０（カメラ）より車両３の周囲画像に基づく周囲画像データを取得する画像取得手段２１（画像取得部）と、画像取得手段２１で取得した周囲画像データ９に対し変換処理を行い変換画像データ２７を生成する画像変換手段２３（画像変換部）と、画像変換手段２３による変換処理態様を指示するための指示信号４３を入力する指示信号入力手段２８（入力制御部）と、表示手段３０（表示装置）において変換処理態様の指示のための補助表示を行う補助表示線データ４８を生成する補助表示線生成手段２６（ＯＳＤ作成部）と、変換画像データ２７と補助表示線データ４８とに基づき生成した表示画像データ４９を出力する画像出力手段２５（出力画像作成部）とを有する。
【００６２】
車両用画像処理装置２０においては、画像取得手段２１で車両３の周囲を撮像する撮像手段１０より周囲画像データ９を取得する。画像変換手段２３では、この取得された周囲画像データ９に対し、指示信号入力手段２８で入力した指示信号４３に基づく変換処理態様で変換処理が行われ、変換画像データ２７が生成される。これにより、車両３に対する撮像手段１０の取り付け位置に応じて操作者の操作により変換処理態様が入力されることで、周囲画像データ９に対しその指示信号４３に応じた変換処理が行われ、変換後の周囲画像が表示手段３０に表示される。
【００６３】
このとき、補助表示線生成手段２６で生成された補助表示線データ４８が上記変換画像データ２７と併せて表示画像データ４９として表示手段３０に出力されることにより、上記操作の際、操作者（例えばドライバー）は、変換処理された周囲画像とともに補助表示線Ｈｒ，Ｈｓ，Ｈｋ，Ｈｖを表示手段３０に重畳して表示させて視認することができる。この結果、表示された変換処理中の周囲画像を補助表示線Ｈｒ，Ｈｓ，Ｈｋ，Ｈｖと対比させながら（目安として）、変換処理の程度や内容を容易に調整し、所望の画像を形成することができる。このようにして、撮像手段１０の取り付け位置のいかんにかかわらず所望の変換を行った周囲画像を確実に表示手段３０に表示させ、操作者に対しより適切な周囲画像を提供することができる。この結果、撮像手段１０の取り付け位置の許容度を大幅に向上することができる。
【００６４】
上記実施形態における車両用画像処理装置２０においては、上記構成に加えてさらに、補助表示線生成手段２６は、指示信号４３の指示する変換処理態様に応じて複数種類の補助表示線データ４８を生成することを特徴とする。
【００６５】
これにより、操作者が所望の態様の周囲画像を得るために画像変換手段２３に実行させようとする変換処理において、最も都合のよいように（調整しやすくなるように）、補助表示線Ｈｒ，Ｈｓ，Ｈｋ，Ｈｖを表示手段３０に表示させることができる。
【００６６】
上記実施形態における車両用画像処理装置２０においては、上記構成に加えてさらに、画像変換手段２３は、変換処理として、回転、傾斜変形、及び平行移動のうち少なくとも１つの処理を周囲画像データ９に対し行い変換画像データ２７を生成することを特徴とする。
【００６７】
これにより、撮像手段１０が車両幅方向略中心位置より外れた位置に配置された場合（傾斜変形や平行移動）、撮像手段１０が車両水平方向に対し傾斜して配置された場合（回転）等においても、これに対応した周囲画像の変換（補正）を行い、所望の態様の周囲画像を表示手段３０に表示させることができる。
【００６８】
上記実施形態における車両用画像処理装置２０においては、上記構成に加えてさらに、補助表示線生成手段２６は、補助表示として、互いに平行な複数の水平直線Ｈｒ（回転用補助表示線）、目盛りつきの水平直線Ｈｓ（平行移動用補助表示線）Ｈｋ（スキュー用補助表示線）、及び、互いに平行な複数の鉛直直線Ｈｖ（視点変換用補助表示線）の少なくともいずれかを表示手段３０で表示させるための補助表示線データ４８を生成することを特徴とする。
【００６９】
これにより、変換処理として回転を行う場合の回転量の設定や、傾斜変形や平行移動を行う場合の変形・移動量の設定や、俯角補正を行うときの俯角の大きさの設定を、操作者が容易に行うことができる。
【００７０】
上記実施形態における車両用画像処理装置２０においては、上記構成に加えてさらに、画像変換手段２３は、周囲画像データ９に対する変換処理として、回転を行った後に傾斜変形及び平行移動の少なくとも一方の処理を行うことを特徴とする。
【００７１】
表示手段３０上の上下鉛直方向（ｙ方向）の変位が生じる回転を行った後に当該鉛直方向の変位のない傾斜変形又は平行移動を行うことにより、操作者による簡便な調整を可能として調整操作性を向上することができる。
【００７２】
上記実施形態における車両用画像処理装置２０においては、上記構成に加えてさらに、補助表示線生成手段２６は、補助表示として、互いに平行な複数の水平直線Ｈｒを表示させた後に目盛りつきの水平直線Ｈｓ，Ｈｋを表示させるような、補助表示線データ４８を生成することを特徴とする。
【００７３】
上記のように表示手段３０上の上下鉛直方向（ｙ方向）の変位が生じる回転を行った後に当該鉛直方向の変位のない傾斜変形又は平行移動を行い、そしてこれに合わせて、回転に対応した平行複数水平直線Ｈｒを表示させた後、傾斜変形・平行移動に対応した目盛りつき水平直線Ｈｓ，Ｈｋを表示させることで、上記各調整における調整量の設定を容易にし、さらに調整操作性を向上することができる。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施形態の車両用画像処理装置を搭載する車両の構成例を示す概念図である。
【図２】カメラが車両の後方を撮影する様子を示すイメージ図である。
【図３】図１に示す画像処理装置の構成例を示すブロック図である。
【図４】図１に示す操作スイッチの詳細を表す概念的外観図である。
【図５】車両を後方側から見た図１中矢印Ａ方向からの後面図の一例である。
【図６】画像変換を行うことなく出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図７】車両を後方側から見た図１中矢印Ａ方向からの後面図の他の例である。
【図８】（画像変換がまだ実行されない状態で）出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図９】回転処理を行うとき出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図１０】回転処理の終了後に平行移動処理を行うとき、出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図１１】回転処理及び平行移動処理の終了後にスキュー処理を行うとき、出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図１２】回転、平行移動、スキュー処理が終了した後の表示装置の表示画面の例を表す図である。
【図１３】回転・平行移動・スキュー処理の終了後に視点変換処理を行うとき、出力画像作成部から出力される表示画像データにより表示装置で表示される画面の例を表す図である。
【図１４】回転、平行移動、スキュー、視点変換処理が終了した後の表示装置の表示画面の例を表す図である。
【図１５】回転、平行移動、スキュー、視点変換処理が終了した後の表示装置の表示画面の例を表す図である。
【符号の説明】
【００７５】
３ 車両
９ 周囲画像データ
１０ カメラ（撮像手段）
２０ 車両用画像処理装置
２１ 画像取得部（画像取得手段）
２３ 画像変換部（画像変換手段）
２５ 出力画像作成部（画像出力手段）
２６ ＯＳＤ作成部（補助表示線生成手段）
２７ 変換画像データ
２８ 入力制御部（指示信号入力手段）
３０ 表示装置（表示手段）
４３ 指示信号
４８ 補助表示線データ
４９ 表示画像データ
Ｈｋ スキュー用補助表示線
Ｈｒ 回転用補助表示線
Ｈｓ 平行移動用補助表示線
Ｈｖ 視点変換用補助表示線

Claims (5)

1. 車両の周囲を撮像する撮像手段より前記車両の周囲画像に基づく周囲画像データを取得する画像取得手段と、
   前記画像取得手段で取得した前記周囲画像データに対し変換処理を行い変換画像データを生成する画像変換手段と、
   前記画像変換手段による変換処理態様を指示するための指示信号を入力する指示信号入力手段と、
   表示手段において前記変換処理態様の指示のための補助表示を行う補助表示線データを生成する補助表示線生成手段と、
   前記変換画像データと前記補助表示線データとに基づき生成した表示画像データを出力する画像出力手段とを有し、
   前記補助表示線生成手段は、
   前記指示信号の指示する変換処理態様に応じ、前記補助表示として、互いに平行な複数の水平直線を表示させた後に目盛りつきの水平直線を表示させるような、前記補助表示線データを生成し、
   前記画像変換手段は、
   前記補助表示線生成手段が前記補助表示として前記互いに平行な複数の水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として回転処理を前記周囲画像データに対し行い前記変換画像データを生成し、
   その後、前記補助表示線生成手段が前記補助表示として前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として平行移動処理を前記周囲画像データに対し行い前記変換画像データを生成し、
   さらにその後、前記補助表示線生成手段が前記補助表示として前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として傾斜変形処理を前記周囲画像データに対し行い前記変換画像データを生成する
   ことを特徴とする車両用画像処理装置。
2. 請求項１記載の車両用画像処理装置において、
   前記補助表示線生成手段は、
   前記画像変換手段が前記変換処理として前記平行移動処理を前記周囲画像データに対し行うにあたり、前記補助表示として前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成するとき、その後に前記画像変換手段が前記変換処理として前記傾斜変形処理を前記周囲画像データに対し行ったとしても前記表示手段上の直交座標のうち一方軸側座標が変化しないような、前記直交座標のうち他方側軸座標位置に、前記目盛りつきの水平直線を表示させるような前記補助表示線データを生成する
   ことを特徴とする車両用画像処理装置。
3. 請求項１記載の車両用画像処理装置において、
   前記画像変換手段は、
   前記変換処理として前記傾斜変形処理を前記周囲画像データに対し行い前記変換画像データを生成した後、
   前記補助表示線生成手段が前記補助表示として互いに平行な複数の鉛直直線を表示させるような前記補助表示線データを生成したときに、前記変換処理として、地面と前記撮像手段の光軸が垂直になるように見下ろす視点への視点変換処理を前記周囲画像データに対し行い前記変換画像データを生成する
   ことを特徴とする車両用画像処理装置。
4. 請求項１乃至請求項３のいずれか１項記載の車両用画像処理装置において、
   前記指示信号入力手段は、操作手段を操作することにより生成された前記指示信号を入力する
   ことを特徴とする車両用画像処理装置。
5. 撮像された車両の周囲画像に基づく周囲画像データを取得する手順と、
   前記取得した前記周囲画像データに対する変換処理の処理態様を指示するための指示信号を入力する手順と、
   前記指示信号の指示する前記処理態様に応じ、補助表示として、互いに平行な複数の水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての回転処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、
   その後、前記指示信号の指示する前記処理態様に応じ、補助表示として、目盛りつきの水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての平行移動処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、
   さらにその後、前記指示信号の指示する前記処理態様に応じ、補助表示として、前記目盛りつきの水平直線を表示させるような補助表示線データを生成するとともに、前記変換処理としての傾斜変形処理を前記周囲画像データに対し行い、変換画像データを生成する手順と、
   前記変換画像データと前記補助表示線データとに基づき生成した表示画像データを出力する手順と、
   をコンピュータに実行させるための車両用画像処理プログラム。