JP4737317B2 - 車両周辺撮影表示システム - Google Patents

Description

本発明は、車両周辺撮影表示システムに関するものである。

従来、車両にカメラを搭載し、搭載したカメラで車両周囲を撮影し、撮影画像の一部を切り出して（すなわち抽出して）乗員に表示する車両周辺撮影表示システムが知られている（例えば、特許文献１参照）。

特開２００８−２３０４７６

上述のような車両周辺撮影表示システムにおいて、撮影画像中から切り出される切り出し範囲は、車両に固定されたローカル座標系の所望の領域が写る範囲として定められる。このように、撮影画像の一部を切り出してローカル座標系の所望の領域を表示するために、カメラの車両への取り付け時に、カメラが車両に対して所定の位置および向きとなるよう調整される。そして、このカメラが車両に対して所定の位置および向きとなっていることを前提として、撮影画に固定されたディスプレイ座標系でどの範囲を切り出すかを示す切り出し範囲情報があらかじめ（例えば車両周辺撮影表示システムの製造時に）設定される。

しかし実際には、カメラの位置および向きが所定の位置および向きに完全に一致するとは限らない。あらかじめ設定される切り出し範囲情報は、カメラが当該所定の位置および向きになっていることを前提として定められたものであるから、この当初の切り出し範囲情報をそのまま使用して画像の切り出しを行うと、切り出した画像中に表示されるローカル座標の領域と、本来表示されるべきローカル座標の領域との間にずれが生じる可能性がある。

このずれを低減する方法として、ＬＥＤ等の目印を所定の位置に配置した環境に車両を置き、カメラで撮影を行い、撮影画像中で目印の実際のディスプレイ座標と、目印が本来存在すべきディスプレイ座標のずれを算出し、算出したずれに基づいてディスプレイ座標の切り出し範囲を補正するという方法が考えられる。しかし、この方法では、車両を特別な環境に置くことが必要となるので、この方法を実施できる場面は、車両の出荷時等に限られる。

本発明は上記点に鑑み、例えば車両の出荷後ユーザが使用している段階において、カメラを交換した結果カメラの位置または向きがずれてしまったり、カメラを交換しないまでも外力等によってカメラの位置または向きがずれてしまったりした場合でも、車両を特別な環境に置く必要なく、そのずれに応じてディスプレイ座標の切り出し範囲を補正する技術を提供することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両に搭載される撮影部（１ａ〜１ｄ）と、当該車両に搭載されると共にカメラ用ポート（４０ａ〜４０ｄ）、位置検出用ポート（４１ａ〜４１ｄ）、演算装置（４２）、および記憶媒体（４５）を有する制御部（４）と、を備えた車両周辺撮影表示システムについてのものである。

この撮影部（１ａ〜１ｄ）は、車両に固定されるブラケット（１０）と、当該ブラケット内に収容されて当該車両の周辺を撮影するカメラ（２１）と、当該カメラに固定された突起部（２４）と、当該ブラケット（１０）に固定されて当該突起部（２４）との接触位置を検出する接触位置センサ（１２、１３）と、を有し、また、当該カメラ（２１）の、当該車両周辺の撮影画像が出力される端子は、ケーブル（１４）を介して当該カメラ用ポート（４０ａ〜４０ｄ）に接続されている。

また、当該接触位置センサ（１２、１３）の検出結果が出力される端子は、ケーブル（１５、１６）を介して当該位置検出用ポート（４１ａ〜４１ｄ）に接続されており、当該記憶媒体（４５）は、撮影画像からどの範囲の画像を切り出すかを撮影画像に固定されたディスプレイ座標系で表した切り出し範囲情報を記憶しており、当該演算装置（４２）は、当該カメラ用ポート（４０ａ〜４０ｄ）から取得した撮影画像から、当該切り出し情報に従ったディスプレイ座標系の範囲を切り出して画像表示装置（３）に表示させるようになっている。

そして、当該演算装置（４２）は、当該位置検出用ポート（４１ａ〜４１ｄ）から取得する接触位置に変化があった場合、当該カメラ用ポート（４０ａ〜４０ｄ）から取得した撮影画像の切り出された範囲に写る領域が、当該車両に固定されたローカル座標系において、当該変化の前後で不変となるよう、当該変化前の接触位置の情報と当該変化後の接触位置の情報に基づいて、当該切り出し範囲情報を補正する。

このように、演算装置（４２）は当該カメラ用ポート（４０ａ〜４０ｄ）から取得した撮影画像の切り出し範囲を補正する際に、当該カメラ用ポート（４０ａ〜４０ｄ）に接続されたカメラ（２１）に固定されている突起部（２４、２５）の接触位置の変化前の値および変化後の値を用いることができる。したがって、撮影部（１）を交換した結果ブラケット（１０）に対するカメラの位置または向きがずれてしまったり、撮影部（１）を交換しないまでも外力等によってブラケット（１０）に対するカメラ（２１）の位置または向きがずれてしまったりした場合でも、車両を特別な環境に置く必要なく、そのずれに応じてディスプレイ座標の切り出し範囲を補正することができる。

また、請求項２に記載のように、演算装置（４２）は、当該車両周辺撮影表示システムの電源がオンとなる度に、当該位置検出用ポート（４１ａ〜４１ｄ）から取得する接触位置に変化があったか否かを判定し、変化があった場合に、上記のように当該切り出し範囲情報を補正するようになっていてもよい。

このようになっていることで、撮影部（１）を交換した結果ブラケット（１０）に対するカメラの位置または向きがずれてしまったり、撮影部（１）を交換しないまでも外力等によってブラケット（１０）に対するカメラ（２１）の位置または向きがずれてしまったりした場合でも、車両のユーザは補正のための特別な操作をする必要なく、自動的かつ早期にディスプレイ座標の切り出し範囲を補正することができる。

また、請求項３に記載のように、当該演算装置（４２）は、当該切り出し範囲情報を補正する際に、変化前の接触位置の情報と変化後の接触位置の情報に基づいて、カメラの当該車両に対する位置または向きの変化量（実施形態の角度ずれΘ２−Θ１、η２−η１に相当する）を算出し、算出した変化量に基づいて、補正対象の切り出し範囲情報に施す補正量（実施形態の式３、式４の変換行列等に相当する）を算出し、当該補正量を用いて当該切り出し範囲情報を補正するようになっていてもよい。

このように、カメラの車両に対する位置または向きの変化量に基づいて補正対象の切り出し範囲情報に施す補正量を算出し、この補正量を用いて当該切り出し範囲情報を補正することで、それまでの切り出し範囲情報に対する差分を用いて補正することができるので、それまでの切り出し範囲情報を用いずに新たな切り出し範囲情報を算出する補正方法に比べて、補正の精度が高くなり、かつ、補正処理の内容が簡易になる。

また、請求項４に記載のように、当該接触位置センサ（１２、１３）は、互いに平行に正対する第１の接触位置センサ（１２）および第２の接触位置センサ（１３）を有し、当該突起部（２４、２５）は、当該カメラ（２１）から突出して当該第１の接触位置センサ（１２）に接触する第１の突起部（２４）、および、当該カメラ（２１）から当該第１の突起部（２４）とは反対方向に突出して当該第２の接触位置センサ（１３）に接触する第２の突起部（２５）を有し、当該ブラケット（１０）にはブラケット側コネクタ（１１）が固定されており、当該カメラ（２１）から延びる接続ケーブル（２３）の一端に取り付けられたカメラ側コネクタ（２２）が当該ブラケット側コネクタ（１１）に固定されており、当該演算装置（４２）は、当該位置検出用ポート（４１ａ〜４１ｄ）から取得した、変化前の当該第１の突起部（２４）の当該第１の接触位置センサ（１２）における接触位置および当該第２の突起部（２５）の当該第２の接触位置センサ（１３）における接触位置に基づいて、角度Θのずれおよび角度ηのずれのみが発生したと仮定し、当該角度Θのずれおよび当該角度ηのずれを算出し、算出した角度Θの変化前後のずれ量および角度ηの変化前後のずれ量に基づいて、当該補正量を算出することを特徴とするようになっていてもよい。ただし、当該角度Θは、当該カメラ（２１）の光軸の周りの回転角であり、また、当該角度ηは、当該カメラ側コネクタ（２２）と当該接続ケーブル（２３）とが接続する固定点（２６）を中心とした、当該第１の接触位置センサ（１２）および当該第２の接触位置センサ（１３）に平行な面内における、当該固定点（２６）から見た、当該カメラ（２１）の光軸の方向を示す角度である。

このような仮定を用いて補正を行うのは、カメラ（２１）から延びる接続ケーブル（２３）の一端に取り付けられたカメラ側コネクタ（２２）がブラケット側コネクタ（１１）に固定され、ブラケット側コネクタ（１１）がブラケット（１０）に固定されているので、カメラ（２１）の移動が制限されているからである。このようにすることで、補正処理における処理内容が簡易になる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係る車両周辺撮影表示システムの構成を示すブロック図である。 撮影部１ａ〜１ｄの取り付け位置、撮影範囲、表示対象範囲を示す図である。 右側方撮影部１ｂの取り付け位置を示す図である。 撮影部１ａ〜１ｄの構成を示す図である。 ローカル座標系とカメラ座標系との関係を示す図である。 ディスプレイ座標系を示す図である。 表示される鳥瞰画像中の目印物体３１〜３４の配置を示す図である。 表示される鳥瞰画像中の目印物体３１〜３４の配置を示す図である。 キャリブレーション処理のフローチャートである。 検出面座標系を示す図である。 出荷後のユーザ使用時におけるシステム電源オン後の処理を示すフローチャートである。 キャリブレーション補正処理の詳細を示す図である。 角度Θのずれを示す図である。 角度ηのずれを示す図である。 ずれ前のカメラ本体２１の傾きを示す図である。 ずれ後のカメラ本体２１の傾きを示す図である。 ずれ前後のカメラ本体２１の傾き角Θ１、Θ２を示す図である。 ずれ前後のカメラ本体２１の傾き角度η１、η２を示す図である。 角度Θのずれ前後のディスプレイ座標系を示す図である。 角度ηのずれ前後のカメラ座標系およびディスプレイ座標系を示す図である。 Ｘ"方向のずれを修正した後の切り出し範囲を示す図である。 回転方向のずれを修正した後の切り出し範囲を示す図である。

以下、本発明の一実施形態について説明する。本実施形態に係る車両周辺撮影表示システムは、車両に搭載され、車両の周囲を複数のカメラで撮影し、その結果得た複数の撮影画像のそれぞれから一部を切り出し、切り出した画像を合成して鳥瞰図として乗員に表示するためのシステムである。

この車両周辺撮影表示システムは、図１に示すように、前方撮影部１ａ、右側方撮影部１ｂ、左側方撮影部１ｃ、後方撮影部１ｄ、画像表示装置３、およびＥＣＵ４を有している。

前方撮影部１ａ、右側方撮影部１ｂ、左側方撮影部１ｃ、後方撮影部１ｄは、それぞれ、車両の前方、右側方、左側方、後方を撮影し、その結果得た撮影画像をＥＣＵ４に出力する装置である。図２に示す通り、これら撮影部１ａ〜１ｄは、それぞれ車両の前端部、右側端部、左側端部、後端部に取り付けられている。例えば図３に示すように、右側方撮影部１ｂは、右ドアミラーの下端部に取り付けられていてもよい。

また、これら撮影部１ａ〜１ｄは、取り付けられた位置から車両の周辺の地面等を広角に撮影する。撮影部１ａ〜１ｄの撮影範囲は、例えば、それぞれ実線５ａ〜５ｄに囲まれる範囲となる。

なお、実際に表示に使用されるのは、前方撮影部１ａの撮影範囲５ａのうち矩形部６ａに該当する部分、右側方撮影部１ｂの撮影範囲５ｂのうち矩形部６ｂに該当する部分、左側方撮影部１ｃの撮影範囲５ｃのうち矩形部６ｃに該当する部分、および、後方撮影部１ｄの撮影範囲５ｄのうち矩形部６ｄに該当する部分のみである。つまり、撮影範囲５ａ〜５ｄが写った撮影画像から、矩形範囲６ａ〜６ｄに対応する部分が切り出されて表示に使用される。本実施形態では、この切り出し範囲６ａ〜６ｄを、車両出荷後も容易に補正できるようにする点を特徴としている。

以下、撮影部１ａ〜１ｄのそれぞれに共通な構成について説明する。以下では、撮影部１ａ〜１ｄのそれぞれを、単に撮影部１ともいう。

図４に示すように、撮影部１は、ブラケット（すなわちケーシング）１０、ブラケット側コネクタ１１、上側接触位置センサ１２、下側接触位置センサ１３、ケーブル１４〜１６、およびカメラユニット２０を有している。

ブラケット１０は、樹脂等から成り、撮影部１を車両に固定すると共に撮影部１の他の部品を外部から保護する部材である。撮影部１の車両への装着の際、ブラケット１０がねじ止め等によって車両に固定されるようになっている。このブラケット１０の内部は、ブラケット１０の隔壁によって、カメラユニット２０が収容されるカメラ収容室１０ａと、ケーブル１４〜１６が収容されるケーブル室１０ｂとに分けられている。

ブラケット側コネクタ１１は、カメラ収容室１０ａとケーブル室１０ｂを区画する上記隔壁に固定され、ケーブル室１０ｂにおいてケーブル１４と接続している。このケーブル１４は、カメラユニット２０から出力される映像信号をＥＣＵ４に出力するための配線部材である。

上側接触位置センサ１２（第１の接触位置センサの一例に相当する）は、周知の抵抗膜方式で自身への物体の接触位置を検出する矩形の平板部材であり、カメラ収容室１０ａにおいて、ブラケット１０の内壁の上部に接着等によって固定されている。検出した接触位置の情報は、上側接触位置センサ１２に接続しているケーブル１５を介してＥＣＵ４に出力される。

下側接触位置センサ１３（第２の接触位置センサの一例に相当する）は、周知の抵抗膜方式で自身への物体の接触位置を検出する矩形の平板部材であり、カメラ収容室１０ａにおいて、ブラケット１０の内壁の下部に接着等によって、上側接触位置センサ１２に平行に正対して固定されている。検出した接触位置の情報は、下側接触位置センサ１３に接続しているケーブル１６を介してＥＣＵ４に出力される。

カメラユニット２０は、カメラ収容室１０ａに収容されると共に、カメラ本体２１、カメラ側コネクタ２２、接続ケーブル２３、上側突起部２４、および下側突起部２５を有している。

カメラ本体２１は、広角レンズ、ＣＣＤ等、車両周辺を広角に撮影するための光学系を備えた装置である。カメラ側コネクタ２２は、接続ケーブル２３を介してカメラ本体２１と接続している。また、カメラ側コネクタ２２は、ブラケット側コネクタ１１にも接続している。

このようになっていることで、カメラ本体２１によって得られた撮影画像は、接続ケーブル２３、カメラ側コネクタ２２、ブラケット側コネクタ１１、ケーブル１４を介してＥＣＵ４に出力される。

カメラ本体２１に固定された上側突起部２４（第１の突起部の一例に相当する）は、カメラ本体２１の上部に突出するようにカメラ本体２１と一体に形成された突起部であり、その頂点の部分が上側接触位置センサ１２上の一点に接触して上側接触位置センサ１２を押圧するようになっている。

カメラ本体２１に固定された下側突起部２５（第２の突起部の一例に相当する）は、カメラ本体２１の下部に突出するようにカメラ本体２１と一体に形成された突起部であり、その頂点の部分が下側接触位置センサ１３上の一点に接触して下側接触位置センサ１３を押圧するようになっている。このように、上側突起部２４および下側突起部２５は、カメラ本体２１から互いに反対方向に突出している。

撮影部１がこのような構成になっているので、カメラユニット２０のカメラ収容室１０ａ内における取り付け位置または向きが変化すると、上側突起部２４の上側接触位置センサ１２への接触位置、および、下側突起部２５の下側接触位置センサ１３への接触位置が変化することになる。したがって、上側接触位置センサ１２および下側接触位置センサ１３は、カメラ本体２１のブラケット１０に対する取り付け位置および向きを検出することができる。また、ブラケット１０は、車両に対して所定の位置および向きで固定されるので、上側接触位置センサ１２および下側接触位置センサ１３は、実質的に、カメラ本体２１の車両に対する取り付け位置および向きを検出することができる。

画像表示装置３は、ＥＣＵ４から撮影画像のデータを受け、受けたデータに基づいて撮影画像を乗員に表示する装置である。

ＥＣＵ４は、ＣＰＵ（演算回路の一例に相当する）４２、ＲＡＭ４３、ＲＯＭ４４、および、フラッシュメモリ（書き込み可能な不揮発性記憶媒体の一例に相当する）４５等を有する制御装置である。

また、ＥＣＵ４は、８つの入出力ポート（入力ポートであってもよい）４０ａ〜４０ｄ、４１ａ〜４１ｄを有している。これらポートのうちカメラ用ポート４０ａ〜４０ｄのそれぞれには、対応する撮影部１ａ〜１ｄのカメラ本体２１から出力された撮影画像が入力されるようになっている。具体的には、撮影部１ａ〜１ｄのそれぞれのカメラ本体２１の、撮影画像が出力される端子は、接続ケーブル２３、カメラ側コネクタ２２、ブラケット側コネクタ１１、ケーブル１４を介して、対応するカメラ用ポート４０ａ〜４０ｄに接続されている。

また、位置検出用ポート４１ａ〜４１ｄのそれぞれには、対応する対応する撮影部１ａ〜１ｄの上側接触位置センサ１２および下側接触位置センサ１３から出力された検出結果の信号が入力されるようになっている。具体的には、対応する接触位置センサ１２、１３の検出結果が出力される端子は、ケーブル１５、１６を介して対応する位置検出用ポート４１ａ〜４１ｄに接続されている。

このＥＣＵ４においては、ＣＰＵ４２がＲＯＭ４３またはフラッシュメモリ４５に記録されたプログラムを実行し、その実行において必要に応じてＲＡＭ４４、またはフラッシュメモリ４５にデータを記録し、また必要に応じてＲＯＭ４３、ＲＡＭ４４、またはフラッシュメモリ４５からデータを読み出し、また必要に応じてカメラ用ポート４０ａ〜４０ｄ、位置検出用ポート４１ａ〜４１ｄからデータを取得し、また必要に応じて画像表示装置３に画像を表示させる。

具体的には、ＣＰＵ４２がプログラムを実行することによって、ＥＣＵ４が、鳥瞰画像表示処理、出荷時キャリブレーション処理、およびキャリブレーション補正処理等を実現する。

鳥瞰画像表示処理は、撮影部１ａ〜１ｄのそれぞれから出力された撮影画像をカメラ用ポート４０ａ〜４０ｄから取得し、取得した撮影画像を加工して、車両の上方から車両およびその周辺を見下ろしたときに見える鳥瞰画像を生成し、生成した鳥瞰画像を画像表示装置３に表示させる処理である。

より詳しくは、ＥＣＵ４は、カメラ用ポート４０ａ〜４０ｄのそれぞれから同時期に取得した撮影画像から、切り出し範囲６ａ〜６ｄに相当する部分を切り出し、切り出した部分に対して周知の鳥瞰変換を施して所定の配置で並べて合成することで、鳥瞰画像を取得する。なお、鳥瞰変換においては、撮影画像中の物体はすべて地上面に存在するものとして取り扱う。

ここで、撮影時において撮影範囲５ａ〜５ｄを写した撮影画像中から切り出し範囲６ａ〜６ｄの画像を切り出す方法について説明する。このために、ローカル座標系、カメラ座標系、およびディスプレイ座標系について、図５および図６を用いて説明する。

ローカル座標系とは、撮影部１ａ〜１ｄのそれぞれ毎に設けられる座標系であると共に、車両に固定された３次元直交座標系である。図５、図６においては、Ｘ軸、Ｙ軸、Ｚ軸が、ローカル座標系における座標軸となる。より具体的には、Ｚ軸は、車両上下方向に平行で車両上方を向いている。なお、車両上下方向、車両上方、車両下方とは、車両に固定された方向または向きであり、それぞれ、車両を水平面上に配置した時に鉛直方向に一致する方向、鉛直上方に一致する向き、鉛直下方に一致する向きをいう。

また、ローカル座標系の原点は、カメラ本体２１の中心から車両下方に延ばした直線と地上面との交点にある。なお、地上面とは、車両を平面上に配置した時に当該平面に一致する面をいう。

カメラ座標系は、撮影部１ａ〜１ｄのそれぞれ毎に設けられる座標系であると共に、カメラ本体２１に固定された３次元直交座標系である。図５においては、Ｘ"軸、Ｙ"軸、Ｚ"軸が、カメラ座標系における座標軸となる。より具体的には、カメラ本体２１の視線方向がＹ"軸となっている。すなわち、Ｙ"軸は、カメラ本体２１の光軸と一致し、カメラ本体２１から被写体の方向を向いている。また、Ｚ"軸は、カメラ本体２１の上下方向に平行であり、カメラ本体２１の上方向を向いている。なお、カメラ本体２１の上下方向とは、上側突起部２４および下側突起部２５を通る直線に平行な方向をいい、カメラ本体２１の上方とは、下側突起部２５から上側突起部２４への向きをいう。

また、カメラ座標系の原点は、カメラ本体２１の重心位置である。したがって、カメラ本体２１の重心が設置される位置の地上面からの高さをＨとすると、ローカル座標系から見たカメラ座標系の原点の座標は、（Ｘ、Ｙ、Ｚ）＝（０、０、Ｈ）となる。また、ローカル座標系のＸ軸とカメラ座標系のＸ"軸とは、平行になるように設定されている。

このような関係の互いに対応するローカル座標系とカメラ座標系において、同じ点をローカル座標系で表したローカル座標（Ｘ、Ｙ、Ｚ）とカメラ座標系で表したカメラ座標（Ｘ"、Ｙ"、Ｚ"）との関係は、

のようになっている。ここで、角度φは、Ｙ"軸がＹ軸に対して成す角、すなわち、カメラ本体２１の俯角に相当する。

次に、ディスプレイ座標系について説明する。ディスプレイ座標系は、撮影部１ａ〜１ｄのそれぞれ毎に設けられる座標系であると共に、図６に示すように、カメラ本体２１の目視点２近傍に結ぶ像の面内の位置を表すＸｍ軸、Ｚｍ軸の２次元直交座標系であり、カメラ本体２１に固定されている。このディスプレイ座標系は、実質的に、撮影画像に固定された撮影画像中の２次元直交座標系である。

ある点をカメラ座標系で表したカメラ座標（Ｘ"、Ｙ"、Ｚ"）と、その点がカメラ本体２１のレンズによって結像した位置のディスプレイ座標（Ｘｍ、Ｚｍ）との関係は、

のようになっている。ここで、係数ｆは、カメラ本体２１のレンズの目視点２から主点までの距離（すなわちカメラ本体２１のレンズの焦点距離）である。

ローカル座標系、カメラ座標系、およびディスプレイ座標系が上記のような関係になっていることで、地上面上の特定の位置が、撮影画像中のどの位置に相当するかが一意に決定する。

すなわち、地上面上のある地点のローカル座標が（Ｘ、Ｙ、Ｚ）＝（Ｘ１、Ｙ２、０）であるとすると、この式を式（１）に代入して当該地点のカメラ座標を算出し、更に、その結果得たカメラ座標を式（２）に代入することで、当該地点のディスプレイ座標を算出することができる。

撮影部１ａ〜１ｄの撮影画像から切り出し範囲６ａ〜６ｄを切り出すときには、ＥＣＵ４は、フラッシュメモリ４５から、切り出し範囲情報を取得し、この切り出し範囲情報が示す切り出し範囲を切り出す。

切り出し範囲情報は、撮影部１ａ〜１ｄ毎にあり、対応する撮影部１による撮影範囲５ａ〜５ｄについて、どの範囲が切り出し範囲６ａ〜６ｄに相当するかを、ディスプレイ座標で示す情報である。すなわち、撮影部１ａ〜１ｄのそれぞれの切り出し範囲情報は、対応する撮影部１ａ〜１ｄの撮影画像からどの範囲の画像を切り出すかを撮影画像に固定されたディスプレイ座標系で表した情報である。

具体的には、１つの撮影範囲についての切り出し範囲情報は、矩形の切り出し範囲の四隅のディスプレイ座標を示していてもよいし、切り出し範囲の境界線の方程式をディスプレイ座標で示していてもよいし、切り出し範囲の内部を示す不等式をディスプレイ座標で示していてもよい。

次に、キャリブレーション処理について説明する。上述のような鳥瞰画像表示処理においては、鳥瞰変換の処理において、車両に対するカメラ本体２１の向き（具体的には角度φ）の情報を利用している。このカメラ本体２１の向きは、カメラ本体２１の車両への取り付け時に規定の向きとなるよう調整される。

しかし実際には、ブラケット１０に対するカメラ本体２１の取り付け位置のばらつき、車両に対するブラケット１０の固定位置のばらつき等によって、カメラ本体２１の向きに機差が生じる。車両周辺撮影表示システムの製造時に設定される当初の切り出し範囲情報は、カメラ本体２１が当該所定の向きを向いていることを前提として定められたものであるから、この当初の切り出し範囲情報をそのまま使用して画像の切り出しを行うと、切り出した画像中に表示されるローカル座標の範囲と、本来表示されるべきローカル座標の範囲との間にずれが生じる可能性がある。

そこで、車両の出荷時においてＥＣＵ４は、切り出した画像中に表示されるローカル座標での範囲と、本来表示されるべきローカル座標の範囲との間のずれを低減するために、キャリブレーション処理を実行する。

ＥＣＵ４は、車両周辺撮影表示システムの電源が製造後初めてオンとなって起動したときに、このキャリブレーション処理を開始するようになっている。あるいは、ＥＣＵ４は、スイッチ等の入力装置（キャリブレーション設定手段）に対して作業者が所定の操作を行ったことに基づいて、このキャリブレーション処理を開始するようになっていてもよい。
作業者は、車両の出荷時に、この車両をキャリブレーション用の設備内の所定の位置に配置した上で、車両周辺撮影表示システムの電源を初めてオンとする。

この設備内においては、図２に示すように、切り出し範囲６ａ〜６ｄの総和からなる範囲の外周の四隅に、目印（例えば、ＬＥＤ、所定の形状の板）となる目印物体３１〜３４が配置されている。

この目印物体３１〜３４の位置は、例えば以下のように決められている。すなわち、撮影部１ａ〜１ｄのそれぞれのカメラ本体２１が正確に規定の向きを向いていたならば、鳥瞰画像表示処理によって、画像表示装置３の表示画面中で、鳥瞰画像の四隅に目印物体３１〜３４が位置する。したがって、図８に示すように、鳥瞰画像表示処理によって、画像表示装置３の表示画面中で、目印物体３１〜３４のうちいずれかが鳥瞰画像の四隅に位置していない場合は、撮影部１ａ〜１ｄのいずれかのカメラ本体２１が正確に規定の向きを向いていないことになる。

車両を所定の位置に配置した後、作業者は車両周辺撮影表示システムの電源をオンとし、それにより、ＥＣＵ４はキャリブレーション処理を開始する。キャリブレーション処理においてＥＣＵ４は、撮影部１ａ〜１ｄのそれぞれにつき１回、図９に示す処理を実行する。

１つの撮影部１についてのキャリブレーション処理においては、まずステップ１１０で、当該撮影部１のカメラ本体２１が正確に規定の向き（具体的には、カメラ本体２１の俯角φ０等）を向いていたと仮定した場合の目印物体のディスプレイ座標の値（以下、予測値という）を算出する。なお、予測値の算出対象となる目印物体は、目印物体３１〜３４のうち、当該カメラ本体２１の撮影範囲内に入る目印物体であり、例えば、撮影部１ａについては目印物体３１、３４となる。

具体的には、当該撮影部１に対応するローカル座標系における対象の目印物体のローカル座標を式（１）、（２）に適用し、その結果得たディスプレイ座標の値を、予測値とする。

なお、撮影部１ａ〜１ｄに対応するローカル座標系における目印物体３１〜３４のローカル座標の値は、あらかじめＥＣＵ４のＲＯＭに記録されていてもよいし、あるいは、キャリブレーション処理の開始時に、作業者の入力操作によってＥＣＵ４に入力されるようになっていてもよい。

続いてステップ１２０では、当該カメラ本体２１から撮影画像を取得する。続いてステップ１２５では、取得した撮影画像内における対象の目印物体を、周知の画像認識処理によって特定し、特定した目標物体のディスプレイ座標の値（以下、現実値という）を算出する。

続いてステップ１３０では、現実値と予測値とが一致しているか否かを判定し、一致していれば続いてステップ１７０を実行し、一致していなければ続いてステップ１４０を実行する。

ステップ１４０では、現実値と予測値の間のずれの量に基づいて、当該カメラ本体２１の実際の俯角φ１と規定の俯角φ０とのずれの量を算出し、その差に基づいて、実際の俯角φ１を算出する。現実値と予測値の間のずれの量から俯角のずれの量を算出する方法としては、式（１）（２）の関係を用いて算出するようになっていてもよいし、これら２つのずれの量の間の対応関係のテーブルをＥＣＵ４のＲＯＭにあらかじめ記録しておき、そのテーブルに現実値と予測値の間のずれの量を適用することで、俯角のずれの量を取得するようになっていてもよい。

なお、本例においては、カメラ本体２１の向きのうち、俯角φのずれのみを特定している。実際には俯角φ以外にもずれが存在している可能性はあるが、本例では、それら他のずれはゼロであるいう仮定を採用している。

続いてステップ１５０では、ステップ１４０で算出した俯角φ１に対応する切り出し範囲を算出する。俯角φ０に対応する切り出し範囲とは、俯角φ１で傾いたカメラ本体２１で撮影された撮影範囲から所望のローカル座標系の領域を切り出すための、ディスプレイ座標系の切り出し範囲である。なお、撮影部１ａ〜１ｄのそれぞれに、所望の（すなわち画像表示装置３に表示させたい）ローカル座標系の領域の情報（例えば、矩形領域の四隅の座標、領域の境界線の方程式、領域内を示す不等式）は、あらかじめＥＣＵ４のＲＯＭに記録されている。

切り出し範囲の算出は、具体的には、当該撮影部１についての所望のローカル座標系の領域の情報を、式（１）を用いてカメラ座標系の領域の情報に変換し、その変換後のカメラ座標系の領域を、式（２）を用いてディスプレイ座標系の領域の情報に変換する。この変換後のディスプレイ座標系の領域の情報が、切り出し範囲を示している。

続いてステップ１６０では、ステップ１４０で算出した現実の俯角φ１をフラッシュメモリ４５に記録し、ステップ１５０で算出した切り出し範囲の情報を、フラッシュメモリ４５に現在記録されている切り出し範囲情報に上書きし、その後ステップ１７０を実行する。

ステップ１７０では、当該カメラ本体２１の取り付け状態を、上側接触位置センサ１２および下側接触位置センサ１３から出力されて位置検出用ポート４１ａ〜４１ｄから取得した検出結果の信号に基づいて特定し、特定した取り付け状態のデータを、取り付け状態の初期値Ｔ０として保存し、その後、当該カメラ本体２１についての図９の処理を終了する。

ここで、カメラ本体２１の取り付け状態のデータについて説明する。カメラ本体２１の取り付け状態のデータとは、具体的には、上側接触位置センサ１２および下側接触位置センサ１３から出力された、上側突起部２４および下側突起部２５の接触位置のデータである。

具体的には、図１０に示すように、上側接触位置センサ１２に上側突起部２４が当接する検出面または下側接触位置センサ１３に下側突起部２５が当接する検出面に沿った２次元直交座標系として検出面座標系（Ｐ、Ｑ）を導入する。この検出面座標系においては、正確に規定の向きを向いた場合のカメラ本体２１のＸ"軸方向をＰ軸方向とし、正確に規定の向きを向いた場合のカメラ本体２１の光軸方向（すなわちＹ"軸方向）をＱ軸方向とし、そして、接続ケーブル２３とカメラ側コネクタ２２とが接続する点（以下、固定点という）２６を検出面に垂直に投影した位置の座標を（Ｐ、Ｑ）＝（Ｌ、０）とし、上側接触位置センサ１２または下側接触位置センサ１３の検出面は０≦Ｐ≦２Ｌの範囲内にあるようにする。

カメラ本体２１の取り付け状態のデータは、上側接触位置センサ１２の検出面の接触位置の位置座標（Ｐ、Ｑ）と、下側接触位置センサ１３の検出面の接触位置の位置座標（Ｐ、Ｑ）との組から成るデータである。

このような取り付け状態のデータは、カメラ本体２１のブラケット１０に対する位置および向きの状態を示している。ブラケット１０の位置および向きが車両に対して変化しないと仮定すれば、この取り付け状態のデータが変化するということは、カメラ本体２１の位置および向きのいずれかまたは両方が車両に対して変化したことになる。

次に、出荷後のユーザ使用時のＥＣＵ４の作動について説明する。出荷後のユーザ使用時には、車両が始動して車両周辺撮影表示システムの電源がオンとなる度に、ＥＣＵ４が起動し、その後、図１１に示すような処理を、撮影部１ａ〜１ｄのそれぞれにつき１回実行する。

１つの撮影部１についての実行においてＥＣＵ４は、まずステップ２１０で、当該撮影部１の上側接触位置センサ１２および下側接触位置センサ１３から出力された検出結果の信号を、位置検出用ポート４１ａ〜４１ｄを介して取得する。これによって、現時点における当該撮影部１のカメラ本体２１の取り付け状態のデータＴ１を取得することができる。

続いてステップ２２０では、この最新の取り付け状態のデータＴ１と、当該撮影部１についてフラッシュメモリ４５に記録された取り付け状態の初期値Ｔ０とを比較する。なお、取り付け状態のデータＴ１の比較対象となる初期値Ｔ０は、この取り付け状態のデータＴ１を取得した位置検出用ポートと同じ位置検出用ポートから過去に取得した初期値Ｔ０である。

そして、これら比較対象の間に変化があるか否かを判定し、あればステップ２３０でキャリブレーション補正処理を実行することで、当該撮影部１について記録されている切り出し範囲情報を修正し、なければ切り出し範囲情報を修正しない。

図１２に、ステップ２３０のキャリブレーション補正処理の詳細を示す。キャリブレーション補正処理においてＥＣＵ４は、まずステップ３１０で、最新の取り付け状態のデータＴ１と、取り付け状態の初期値Ｔ０から、当該カメラ本体２１（すなわち、図１１のステップ２３０で対象となっているカメラ本体２１）のずれ角を算出する。続いてステップ３２０で、このずれ角に基づいて切り出し範囲情報を修正する。なお、修正対象の切り出し範囲情報は、当該取り付け状態のデータＴ１を取得した位置検出用ポートに対応するカメラ用ポートから取得した撮影画像についての切り出し範囲情報である。

なお、互いに対応する位置検出用ポートとカメラ用ポートは、同じ撮影部１に含まれる接触位置センサ１２、１３およびカメラ本体２１が接続される位置検出用ポートとカメラ用ポートである。例えば、カメラ用ポート４０ｂと位置検出用ポート４１ｂとが互いに対応する。

続いてステップ３３０で、最新の取り付け状態のデータＴ１を、当該位置検出用ポートに対応する取り付け状態の初期値Ｔ０として、フラッシュメモリ４５に記録する。すなわち、最新の取り付け状態のデータＴ１で、当該位置検出用ポートに対応する取り付け状態の初期値Ｔ０を置き換える。ステップ３３０の後、キャリブレーション補正処理が終了する。

ここで、ステップ３１０で算出するずれ角について説明する。ブラケット１０に対してカメラ本体２１の位置が変化する場合としては、古い撮影部１を新しい撮影部１に取り替えた場合、および、撮影部１が車両に取り付けられたままカメラ本体２１が位置ずれを起こしてしまった場合等がある。

本実施形態においては、カメラ本体２１は、車両に対してブラケット１０の位置および向きは変化せず、ブラケット１０に対してカメラ本体２１は図１３、図１４に示す２種類のみの角度ずれを起こし得ると仮定した上で、角度ずれを検出する。

図１３（ａ）の状態から図１３（ｂ）の状態への遷移における角度ずれは、カメラ本体２１の光軸（すなわちＹ"軸）の周りの回転角Θのずれである。回転角Θがゼロとなる方向は、正確に規定の向きを向いた場合のカメラ本体２１の下側突起部２５から上側突起部２４への方向（すなわちＺ"軸方向）である。

また、図１４（ａ）の状態から図１４（ｂ）の状態への遷移における角度ずれは、固定点２６を中心とする、接触位置センサ１２、１３に平行な平面内の回転に伴う角度ηのずれである。なお、本実施形態においては、下側突起部２５から上側突起部２４への方向（すなわちＺ"軸方向）が、接触位置センサ１２、１３に対してほぼ垂直となっているので、接触位置センサ１２、１３に平行な平面と、Ｘ"−Ｙ"平面とは、実質的に平行である。角度ηは、固定点２６から見たＹ"軸方向の角度である。角度ηがゼロとなる方向は、正確に規定の向きを向いた場合のＹ"軸方向である。

本実施形態においては、取り付け状態に変化があった場合、この角度Θのずれおよび角度ηのずれのうち、一方のみまたは両方のみが発生し、他のずれは発生していないと仮定する。このように仮定するのは、カメラ本体２１から延びる接続ケーブル２３の一端に取り付けられたカメラ側コネクタ２２がブラケット側コネクタ１１に固定され、ブラケット側コネクタ１１がブラケット１０に固定されているので、カメラ本体２１の移動が制限されているからである。なお、角度ηのずれは、ラジアン単位で１よりも十分小さいと仮定する。これらの仮定を用いることで、以降のキャリブレーション補正処理における処理内容が簡易になる。

この角度Θのずれは、同じカメラ用ポートに接続されたカメラ本体２１（交換された場合は異なるカメラ２１となる）の車両に対する向きの変化量の一例である。また、角度ηのずれは、同じカメラ用ポートに接続されたカメラ本体２１の車両に対する位置および向きの変化量の一例である。

まず、取り付け状態の初期値Ｔ０および最新の取り付け状態のデータＴ１に基づいて角度Θのずれを算出する方法について、図１５〜図１７を用いて説明する。まず、図１５に示すように、取り付け状態の初期値Ｔ０から、上側突起部２４の接触位置座標Ａ１の値（Ｐ１、Ｑ１）、および、下側突起部２５の接触位置座標Ａ２の値（Ｐ２、Ｑ２）を抽出し、また、図１６に示すように、最新の取り付け状態のデータＴ１から、上側突起部２４の接触位置座標Ｂ１の値（Ｐ３、Ｑ３）、および、下側突起部２５の接触位置座標Ｂ２の値（Ｐ４、Ｑ４）を抽出する。

続いて、抽出した接触位置座標Ａ１、Ａ２中の値Ｐ１、Ｐ２に基づいて、ずれ前のカメラ本体２１の傾き角度Θ１を、図１７（ａ）に示すように、Θ１＝ｔａｎ^−１（（Ｐ２−Ｐ１）／Ｈ）という式から算出する。ここで、ここで、高さＨは、上側接触位置センサ１２から下側接触位置センサ１３までの距離である。

更に、抽出した接触位置座標Ｂ１、Ｂ２中の値Ｑ１、Ｑ２に基づいて、ずれ前のカメラ本体２１の傾き角度Θ２を、図１７（ｂ）に示すように、Θ２＝ｔａｎ^−１（（Ｐ４−Ｐ３）／Ｈ）という式から算出する。そして、角度Θのずれ量Θ２−Θ１を算出する。

次に、取り付け状態の初期値Ｔ０および最新の取り付け状態のデータＴ１に基づいて角度ηのずれを算出する方法について、図１８を用いて説明する。まず、図１８（ａ）に示すように、取り付け状態の初期値Ｔ０から、上側接触位置センサ１２上の上側突起部２４の接触位置座標Ａ１の値（Ｐ１、Ｑ１）、を抽出し、また、図１８（ｂ）に示すように、最新の取り付け状態のデータＴ１から、上側接触位置センサ１２上の上側突起部２４の接触位置座標Ｂ１の値（Ｐ３、Ｑ３）を抽出する。

続いて、抽出した接触位置座標Ａ１中の値Ｐ１、Ｑ１に基づいて、ずれ前のカメラ本体２１の傾き角度η１を、η１＝ｔａｎ^−１（（Ｐ１−Ｌ）／Ｑ１）という式から算出する。更に、抽出した接触位置座標Ｂ１中の値Ｐ３、Ｑ３に基づいて、ずれ後のカメラ本体２１の傾き角度η２を、η２＝ｔａｎ^−１（（Ｐ３−Ｌ）／Ｑ３）という式から算出する。そして、角度ηのずれ量η２−η１を算出する。

以上のようにして、ステップ３１０でずれ角（Θ２−Θ１）、（η２−η１）が算出される。

次に、ステップ３２０における、ずれ角（Θ２−Θ１）、（η２−η１）を用いた切り出し範囲情報の補正について説明する。切り出し範囲情報の補正は、以下に説明するずれ角（Θ２−Θ１）に基づく補正を行い、続いて、ずれ角（η２−η１）に基づく補正を行う。あるいは、まず、ずれ角（η２−η１）に基づく補正を行い、続いて、ずれ角（Θ２−Θ１）に基づく補正を行うようになっていてもよい。

まず、ずれ角（Θ２−Θ１）に基づく補正について説明する。ずれ角（Θ２−Θ１）は、Ｙ"軸の周りの回転角のずれであるので、ディスプレイ座標系も、図１９に示すように、カメラ本体２１と共に、ローカル座標系に対して、原点を中心に、角度（Θ２−Θ１）だけ回転ずれを起こす。なお、図１９のＸ’ｍ軸およびＹ’ｍ軸は、回転ずれ後のディスプレイ座標系のＸｍ軸およびＹｍ軸である。

これに伴い、記録されている切り出し範囲情報に基づくローカル座標系上の切り出し範囲も、本来あるべき範囲から角度（Θ２−Θ１）だけ回転ずれを起こす。そこで、この回転ずれがあっても、撮影画像から切り出された範囲の画像に写る範囲がローカル座標系で不変となるよう、切り出し範囲情報が示す切り出し範囲のディスプレイ座標範囲を、角度（Θ２−Θ１）だけ逆方向に回転させる。

具体的には、切り出し範囲情報中の各ディスプレイ座標の値（Ｘ’ｍ、Ｙ’ｍ）を、

の右辺に代入し変換を行うことで、各ディスプレイ座標の新たな値（ＸｍＡ、ＺｍＡ）を得る。そして、この新たな座標値（ＸｍＡ、ＺｍＡ）を、新たな切り出し範囲情報中の各ディスプレイ座標の値として採用する。この式（３）の変換行列は、補正対象の切り出し範囲情報に施す補正量の一例である。

次に、ずれ角（η２−η１）に基づく補正について説明する。ずれ角（η２−η１）は、固定点２６を中心とするカメラ本体２１の回転角ηのずれであるので、カメラ座標系およびディスプレイ座標系も、図２０に示すように、ローカル座標系に対して、固定点２６を中心に、角度（η２−η１）だけ回転ずれを起こす。

なお、図２０は、回転ずれ前のカメラ座標系のＹ"軸（Ｙ"ｏｌｄ軸と記す）、回転ずれ後のカメラ座標系のＹ"軸（Ｙ"ｎｅｗ軸と記す）、回転ずれ前のディスプレイ座標系のＸｍ軸、および回転ずれ前のディスプレイ座標系のＸｍ軸（Ｘ’ｍ軸と記す）を、Ｚ"軸の正から負への方向に見た図である。

この図２０に示すような回転ずれに伴い、記録されている切り出し範囲情報に基づくローカル座標系上の切り出し範囲も、本来あるべき範囲Ａ−Ａから角度（η２−η１）だけ回転ずれを起こして範囲Ｂ−Ｂにずれる。そこで、この回転ずれがあっても、撮影画像から切り出された範囲の画像に写る範囲がローカル座標系で不変となるよう、切り出し範囲情報に２段階の補正を行う。

まず第１段階として、図２１に示すように、切り出し範囲がローカル座標上で範囲Ａ−Ａに戻るように、切り出し範囲情報が示す切り出し範囲のディスプレイ座標範囲を、ずれ量Ｓ＝ｄ×ｔａｎ（η２−η１）だけＸ’ｍ軸の負の方向に平行移動させる。具体的には、切り出し範囲情報中の各ディスプレイ座標のＸｍの値から、ｄ×ｔａｎ（η２−η１）を減算した値を、新たな切り出し範囲情報中の各ディスプレイ座標のＸ’ｍの値として採用する。なお、距離ｄは、固定点２６から目視点２までの距離である。この値ｄ×ｔａｎ（η２−η１）は、補正対象の切り出し範囲情報に施す補正量の一例である。

続いて第２段階として、図２１、図２２に示すように、第１段階で補正した切り出し範囲がローカル座標上で、Ｘｍ−Ｚｍ面内で目視点２を中心に角度η２−η１だけ逆回転するよう、切り出し範囲のディスプレイ座標範囲を変化させる。

具体的には、カメラ座標系において式（４）のような座標変換を行うのと同等の変換をディスプレイ座標系において行う。

なお、式（４）における値ｔは、図２０に示すように、カメラ座標の原点（すなわちカメラ本体２１の重心位置）から目視点２までの距離である。

すなわち、第１段階で補正した切り出し範囲情報中の各ディスプレイ座標を（ＸｍＢ、ＺｍＢ）とすると、（ＸｍＢ、ＺｍＢ）を式（２）の左辺の（Ｘｍ、Ｚｍ）にそれぞれ代入することで、Ｘ"、Ｚ"を算出する。ただしこのとき、Ｙ"の値はｔであるとする。

そしてこのようにして得た（Ｘ"、Ｙ"、Ｚ"）を式（４）の右辺に代入する。そして、これによって得た（Ｘ"Ａ、Ｙ"Ａ、Ｚ"Ａ）を新たな式（２）の右辺の（Ｘ"、Ｙ"、Ｚ"）に代入することで得たディスプレイ座標の値（Ｘｍ、Ｚｍ）を、最終的な変換後のディスプレイ座標の値（Ｘ"ｍ、Ｚ"ｍ）とする。

このように、第１段階で補正した切り出し範囲情報中の各ディスプレイ座標（ＸｍＢ、ＺｍＢ）に対して第２段階の補正を行うことで、最終的な補正後の切り出し範囲情報中の各ディスプレイ座標（Ｘ"ｍ、Ｚ"ｍ）を算出することができる。なお、式（４）の変換行列は、補正対象の切り出し範囲情報に施す補正量の一例である。

なお、第１段階の補正と第２段階の補正は、実行順序を入れ替えてもよい。すなわち、まず第２段階の補正を行い、その後に第１段階の補正を行ってもよい。

以上説明したように、車両が始動して車両周辺撮影表示システムの電源がオンとなる度に、前回のオン時におけるカメラ本体２１の取り付け状態と今回の取り付け状態の変化に基づいて、カメラ本体２１のずれ角（Θ２−Θ１）、（η２−η１）を算出し、その算出結果に基づいて、ローカル座標系における所望の領域が撮影画像中から切り出されて画像表示装置３に表示されるよう、切り出し範囲情報を補正する。

なお、図１１の処理を終了した直後に、鳥瞰画像表示処理を実行する。このようにすることで、補正後の切り出し範囲情報に基づいて切り出された鳥瞰画像が画像表示装置３に表示される。

このようにＥＣＵ４は、車両周辺撮影表示システムの電源がオンになる度に、カメラ用ポート４０ａ〜４０ｄから取得した撮影画像の切り出し範囲を補正し、その補正の際に、当該カメラ用ポート４０ａ〜４０ｄに接続されたカメラ本体２１に固定されている突起部２４、２５の接触位置の変化前の値および変化後の値を用いることができる。

したがって、撮影部１を交換した結果ブラケット１０に対するカメラの位置または向きがずれてしまったり、撮影部１を交換しないまでも外力等によってブラケット１０に対するカメラ２１の位置または向きがずれてしまったりした場合でも、車両を特別な環境に置く必要なく、そのずれに応じてディスプレイ座標の切り出し範囲を補正することができ、ひいては、画像表示装置３の表示画面においてローカル座標系における所望の領域が表示される。

例えば、車両周辺撮影表示システムの前回のオンから今回のオンの間に、撮影部１ｃが、撮影部１ｃと同じ機能の別の撮影部に交換された場合、ＥＣＵ４は、位置検出用ポート４１ｃから交換前に取得していた取り付け状態の初期値Ｔ０と、同じ位置検出用ポート４１ｃから交換後に取得する取り付け状態のデータＴ１とを用いて、カメラ用ポート４０ｃから取得する撮影画像の切り出し範囲情報を補正することができる。

また、車両周辺撮影表示システムの電源オンの度に補正が自動的に実行されるので、車両のユーザは補正のための特別な操作をする必要なく、自動的かつ早期にディスプレイ座標の切り出し範囲を補正することができる。

また、カメラの車両に対する位置または向きの変化量に基づいて補正対象の切り出し範囲情報に施す補正量を算出し、この補正量を用いて当該切り出し範囲情報を補正することで、それまでの切り出し範囲情報に対する差分を用いて補正することができるので、それまでの切り出し範囲情報を用いずに新たな切り出し範囲情報を算出する補正方法に比べて、補正の精度が高くなり、かつ、補正処理の内容が簡易になる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。以下に、上記実施形態の種々の変形例の一部を示す。

（１）まず、上記実施形態においては、カメラ本体２１の上部および下部に接触位置センサ１２、１３を配置している。しかし、接触位置センサは、このような配置に限らず、例えば、カメラ本体２１の上下左右の４箇所に設置されていてもよい。この場合、カメラ本体２１には、これら４つの接触位置センサのそれぞれに接触する突起を有していれば、より高い精度でカメラ本体２１の向きを検出することができる。また、カメラ本体２１が円筒形であれば、その円筒の側面を取り囲むような円筒形の接触位置センサを１つ設けるようになっていてもよい。

（２）また、カメラ本体２１は、カメラ側コネクタ２２、ブラケット側コネクタ１１を介さず直接ケーブル１４に接続されていてもよい。この場合は、上記固定点２６を、カメラユニット２０のロック部等、ブラケット１０に対してカメラユニット２０が固定された部分に置き換えることで、上述した補正計算を用いることができる。

（３）また、上記実施形態においては、キャリブレーション結果の切り出し範囲情報および取り付け状態のデータは、初期（車両出荷時）の切り出し範囲情報および取り付け状態のデータに上書きせず別データとして保存するようになっていてもよい。そして、キャリブレーション補正処理においては、常に初期の取り付け状態のデータと現在の取り付け状態のデータに基づいて、初期の切り出し範囲情報を修正して今回使用する切り出し範囲情報を算出するようになっていてもよい。

（４）また、上記実施形態においては、車両の出荷時（具体的には車両周辺撮影表示システムの起動時）にキャリブレーション処理を自動的に行うようになっている。しかし、車両の出荷時にキャリブレーション処理を自動的に行うことは必須の処理ではない。撮影部１およびカメラ本体２１の取り付け位置の精度が十分高ければ、出荷時にはキャリブレーション処理を実行する必要はない。

（５）また、鳥瞰画像表示処理においては、俯角φ１のみならず、ずれが発生した後の取り付け角Θ２、η２に基づいて、切り出した画像の鳥瞰変換を行うようになっていてもよい。

（６）また、ＥＣＵ４は、ブラケット１０に対するカメラ本体２１の位置のずれのみならず、車両に対するブラケット１０の位置のずれを検出し、これらのずれに基づいて、切り出し範囲情報を補正するようになっていてもよい。

（７）また、上記実施形態では、目印物体３１〜３４は切り出し範囲６ａ〜６ｄの外周の四隅に１つずつ配置されているが、あくまでもこれは一例であって、目印物体は切り出し範囲６ａ〜６ｄ内にいくつ配置されてもよいし、切り出し範囲６ａ〜６ｄの外部に配置されてもよい。

（８）また、図９に示したキャリブレーション処理のステップ１４０では、現実値が予測値に一致するまで、徐々に角度φ０を変化させ、その角度φ０に対応する予測値を再算出するようになっていてもよい。そして、現実値が予測値に一致した時点における角度φ０を、実際の取り付け角度φ１として特定するようになっていてもよい。

（９）また、撮影部１ａ〜１ｄとＥＣＵ４とは、１つの車内ＬＡＮを介して互いに信号を授受するようになっていてもよい。その場合、その場合、ＥＣＵ４と車内ＬＡＮの総体が制御部に相当し、撮影部１と当該車内ＬＡＮとが接続するポートが、カメラ用ポートおよび位置検出用ポートに相当する。

（１０）また、上記実施形態においては、ＥＣＵ４は、撮影画像のから切り出した画像を画像表示装置３に表示する際に、画像を鳥瞰画像に変換し、変換後の鳥瞰画像を画像表示装置３に表示させるようになっている。しかし、撮影画像から切り出した画像を鳥瞰画像に変換せずにそのまま画像表示装置３に表示させるようになっていてもよい。

（１１）また、上記の実施形態において、ＥＣＵ４がプログラムを実行することで実現している各機能は、それらの機能を実現する専用の回路構成を備えた演算装置（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。

１ａ〜１ｄ 撮影部
２ 目視点
３ 画像表示装置
４ ＥＣＵ
４ａ〜４ｃ ポート
５ａ〜５ｄ 撮影範囲
６ａ〜６ｄ 切り出し範囲
１０ ブラケット
１１ ブラケット側コネクタ
１２ 上側接触位置センサ
１３ 下側接触位置センサ
２０ カメラユニット
２１ カメラ本体
２２ カメラ側コネクタ
２４ 上側突起部
２５ 下側突起部
２６ 固定点
３１〜３４ 目印物体
４０ａ〜４０ｄ カメラ用ポート
４１ａ〜４１ｄ 位置検出用ポート

Claims (4)

1. 車両に搭載される撮影部（１ａ〜１ｄ）と、
   前記車両に搭載されると共にカメラ用ポート（４０ａ〜４０ｄ）、位置検出用ポート（４１ａ〜４１ｄ）、演算装置（４２）、および記憶媒体（４５）を有する制御部（４）と、を備え、
   前記撮影部（１ａ〜１ｄ）は、車両に固定されるブラケット（１０）と、前記ブラケット内に収容されて前記車両の周辺を撮影するカメラ（２１）と、前記カメラに固定された突起部（２４）と、前記ブラケット（１０）に固定されて前記突起部（２４）との接触位置を検出する接触位置センサ（１２、１３）と、を有し、
   前記カメラ（２１）の、前記車両周辺の撮影画像が出力される端子は、ケーブル（１４）を介して前記カメラ用ポート（４０ａ〜４０ｄ）に接続されており、
   前記接触位置センサ（１２、１３）の検出結果が出力される端子は、ケーブル（１５、１６）を介して前記位置検出用ポート（４１ａ〜４１ｄ）に接続されており、
   前記記憶媒体（４５）は、撮影画像からどの範囲の画像を切り出すかを撮影画像に固定されたディスプレイ座標系で表した切り出し範囲情報を記憶しており、
   前記演算装置（４２）は、前記カメラ用ポート（４０ａ〜４０ｄ）から取得した撮影画像から、前記切り出し情報に従ったディスプレイ座標系の範囲を切り出して画像表示装置（３）に表示させ、
   前記演算装置（４２）は、前記位置検出用ポート（４１ａ〜４１ｄ）から取得する接触位置に変化があった場合、前記カメラ用ポート（４０ａ〜４０ｄ）から取得した撮影画像の切り出された範囲に写る領域が、前記車両に固定されたローカル座標系において、当該変化の前後で不変となるよう、当該変化前の接触位置の情報と当該変化後の接触位置の情報に基づいて、前記切り出し範囲情報を補正することを特徴とする車両周辺撮影表示システム。
2. 前記演算装置（４２）は、当該車両周辺撮影表示システムの電源がオンとなる度に、前記位置検出用ポート（４１ａ〜４１ｄ）から取得する接触位置に変化があったか否かを判定し、変化があった場合に、前記切り出し範囲情報を補正することを特徴とする請求項１に記載の車両周辺撮影表示システム。
3. 前記演算装置（４２）は、前記切り出し範囲情報を補正する際に、変化前の接触位置の情報と変化後の接触位置の情報に基づいて、カメラの前記車両に対する位置または向きの変化量を算出し、算出した変化量に基づいて、補正対象の切り出し範囲情報に施す補正量を算出し、当該補正量を用いて当該切り出し範囲情報を補正することを特徴とする請求項１または２に記載の車両周辺撮影表示システム。
4. 前記接触位置センサ（１２、１３）は、互いに平行に正対する第１の接触位置センサ（１２）および第２の接触位置センサ（１３）を有し、
   前記突起部（２４、２５）は、前記カメラ（２１）から突出して前記第１の接触位置センサ（１２）に接触する第１の突起部（２４）、および、前記カメラ（２１）から前記第１の突起部（２４）とは反対方向に突出して前記第２の接触位置センサ（１３）に接触する第２の突起部（２５）を有し、
   前記ブラケット（１０）にはブラケット側コネクタ（１１）が固定されており、前記カメラ（２１）から延びる接続ケーブル（２３）の一端に取り付けられたカメラ側コネクタ（２２）が前記ブラケット側コネクタ（１１）に固定されており、
   前記演算装置（４２）は、前記位置検出用ポート（４１ａ〜４１ｄ）から取得した、変化前の前記第１の突起部（２４）の前記第１の接触位置センサ（１２）における接触位置および前記第２の突起部（２５）の前記第２の接触位置センサ（１３）における接触位置に基づいて、角度Θのずれおよび角度ηのずれのみが発生したと仮定し、前記角度Θのずれおよび前記角度ηのずれを算出し、算出した角度Θの変化前後のずれ量および角度ηの変化前後のずれ量に基づいて、前記補正量を算出することを特徴とする請求項３に記載の車両周辺撮影表示システム。ただし、前記角度Θは、前記カメラ（２１）の光軸の周りの回転角であり、また、前記角度ηは、前記カメラ側コネクタ（２２）と当該接続ケーブル（２３）とが接続する固定点（２６）を中心とした、前記第１の接触位置センサ（１２）および前記第２の接触位置センサ（１３）に平行な面内における、前記固定点（２６）から見た、前記カメラ（２１）の光軸の方向を示す角度である。

Images