JP3286306B2

JP3286306B2 - 画像生成装置、画像生成方法

Info

Publication number: JP3286306B2
Application number: JP2000563072A
Authority: JP
Inventors: 修作岡本; 雅通中川; 一生登; 森村　　淳
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1998-07-31
Filing date: 1999-07-29
Publication date: 2002-05-27
Anticipated expiration: 2019-07-29
Also published as: EP2259220A2; EP2259220A3; EP1115250A4; EP1115250A1; EP2309453A2; WO2000007373A1; US7307655B1; EP2267656A3; EP1115250B1; EP2309453A3; EP2267656A2

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、数台のカメラで撮
影された複数枚の画像について、画像を互いに独立して
表示するのではなく、前記数台のカメラで撮影している
エリアの全体の様子が直感的に分かるように、一枚に合
成した画像を表示する装置および方法に関し、たとえ
ば、店舗におけるモニター装置、あるいは車両運転の際
の安全確認の補助としての車両周囲モニター装置等に関
する。

【０００２】

【従来の技術】従来の一般的な監視カメラ装置は、店舗
などにおいて、監視対象となる部分を１台もしくは数台
のカメラで撮影し、その画像をモニタ画面に表示する構
成が一般的である。この際、例えば数台のカメラが設置
してあれば、通常モニタ画面も前記カメラ台数分だけ準
備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメ
ラ画像を１枚分の画像に統合して表示させる、もしく
は、カメラ画像を順次切り替えるなどの方法が取られ
る。しかし、これら従来の装置では、それぞれのカメラ
からの画像を監視するには、独立に表示されている画像
の連続性を管理者が考慮する必要があるなどの問題があ
った。

【０００３】この問題を解決する方法として、複数台カ
メラからの画像が端の部分で重なるように設置し、複数
台カメラからの画像を、前記重なり部分を重ねることに
よって一枚に統合した画像を表示することで、前記連続
性の問題を解決した監視装置としては、例えば特開平１
０−１６４５６６号公報などがある。

【０００４】また、監視装置の別の応用例として、車両
に設置した場合がある。その従来例としては次のような
ものがある。つまり、車両の周囲を監視するカメラを設
置し、前記カメラで獲得した画像を運転席近くに設置し
たモニターテレビに表示させる監視装置である。例えば
車両後方のように、運転者が目視もしくはミラーで見る
ことが出来ない場所を、前記カメラで撮影し前記モニタ
ーテレビで表示させる装置が知られている。特に、大型
トラック、ワンボックスワゴンなど、目視およびミラー
で確認できる視野が狭い車両には多数使用されている。

【０００５】図６９は、監視カメラを車両に設置した場
合の従来例を示したものである。図６９の例では、分割
アダプタを介して、車体に取付けられた４つの監視カメ
ラ（Ｃ１〜Ｃ４)からの画像を一枚の画像に合成し、該
画像をモニタテレビで分割表示（Ｄ１〜Ｄ４）する方
法である。特に後部カメラからの画像に関しては、画像
に撮っている物体の位置関係をミラーで見たときと同じ
様にするため、左右反転した画像を表示するなどの工夫
がされている。さらにカメラの画角の制限のため見るこ
とが出来ない場所については、運転者の手動操作によっ
て各々のカメラを回転させ、所望の場所の画像を得るこ
とを可能としている。なお、上記に示した監視装置とし
ては、例えば特開平５−３１００７８号公報に開示の装
置などがある。

【０００６】しかしながら上記の例のような従来の監視
装置については、各々のカメラから入力された画像を、
互いに無関係に表示するので、カメラが撮影している空
間全体の様子を、それぞれの画像を見ながら管理者が一
度に把握することは困難である。

【０００７】一方それぞれのカメラ画像を一枚に統合す
る場合も、カメラに撮影されている物体が空間内のどの
位置に存在するかを計算するものではないので、例えば
管理者が状況に応じて所望の視点からの統合画像を見た
いという要求があった場合に、対処できない。

【０００８】車両に設置された監視装置についても同様
の問題が生じる。すなわち上記の例のように従来の監視
装置については、各々のカメラから入力された画像を、
互いに無関係に表示させるものである。従って例えば車
両を駐車スペースに入れようとする場合の補助として前
記表示された画像を用いる際にも、前記画像は見えない
場所を見るだけの役割しか果たさない。つまり運転者
は、従来の目視およびミラーを使った場合と比べて見え
ない場所が少なくなっただけにすぎない。

【０００９】なお、視野が狭い点を解決するための方法
としては、広角レンズを用いる事が一般的である。広角
レンズからの画像ではある特定部分の詳細はつかめない
が、逆に広角レンズを用いる事で視野が広まり、車両の
周囲の全体的な状況を把握し易くなる。

【００１０】しかしながら、通常のレンズを広角レンズ
に置き換えるのみでは、結局、カメラからの画像は、車
体にカメラが設置されている場所に依存し、カメラが設
置されていない場所からの仮想的な画像を見ることはで
きない。すなわち、広角レンズ設置したカメラを用いて
得られる効果は、カメラの台数が減るという点のみであ
る。

【００１１】さらに、別の従来例として、特開平３−９
９９５２号公報に開示されている装置がある。図７０
は、その従来の車両周囲監視装置の実施例を示したブロ
ック図である。画像変換部2202 に入力されたカメラ１
〜Ｎ2201 からの画像が、変換により他の座標に変換さ
れ、画像表示部2203 で１枚の画像に合成される。そし
て運転席に設置されたＴＶモニタ2204に表示する。画像
表示部では、ギア位置、車速、ウインカ動作に応じた信
号により、自車表示位置を画面の中心よりずらすなど
し、見ようとする車両周囲環境領域を広くとるようにす
るなどの工夫も可能である。

【００１２】また、これをさらに発展させた他の従来例
が特開平７−１８６８３３号公報に開示されている。こ
の例では、周囲の状況を運転者に提示する際に、路面部
分とそれ以外の部分を予め区別し、路面部分は座標変換
によって車両中心上方に下向きに視点を置いたときに観
測される画像に変換し、また路面外部分は、前記変換画
像にカメラからの映像をそのまま適切な場所で適切な大
きさに変更して重ねあわせ表示する。これにより車両の
周囲の障害物の状況、特に車両後方から接近する他の車
両などを正確に知らせるものである。

【００１３】

【発明が解決しようとする課題】しかしながら、上記別
の従来の車両周囲監視装置においては、得られる合成画
像と実在の物体との対応づけが困難になる場合があると
いう問題があった。

【００１４】また上記他の従来例では、路面と路面外と
を分割することにより、路面外物体を画像に映った状態
で切り出し合成画像に貼り付けるという方法を用いてい
るが、路面外物体の切り出しは画像認識の分野でも難し
い問題の一つであり、実用化は困難である。

【００１５】一方、走行中にカメラが動いてしまい、合
成画像にずれが生じるという問題があるが、それを解決
する従来例としては、例えば特開平５−３１００７８号
公報に開示されている方法がある。該方法では、カメラ
の向きを変更する機構を備えることにより、運転者が合
成画面を見ながら、手で所望の向きにカメラを動かす方
法である。しかし、この場合の問題は、向きを変更する
機構をカメラの台数と同じ数だけ取付ける必要があり、
コストが高くなる点である。

【００１６】本発明は、かかる課題を解決するものであ
り、例えば車両に設置された装置では、車両の全周囲に
わたって車両近辺にどのような物体が存在するかを出来
るだけ現実に近いように分かり易く一枚の画像として合
成し、運転者に表示することを目的とする。

【００１７】また、本発明は、前記合成のために必要
な、カメラの取り付け位置、取り付け角度などのカメラ
パラメータを容易に求める方法、さらには、前記カメラ
パラメータが、走行時の振動や温度などによってずれた
ときに、それを検知し修正する装置および方法も提供す
る

【００１８】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、一台もしくは複数台のカメラと、前記カ
メラからの入力画像を、３次元空間の予め決められた空
間モデルにマッピングする空間再構成手段と、前記空間
再構成手段によってマッピングされた空間データを参照
して、前記３次元空間における任意の仮想視点から見た
画像を作成する視点変換手段と、前記視点変換手段にて
変換された画像を表示する表示手段とを備えたことを特
徴とする画像生成装置である。

【００１９】また、上記課題を解決するために、本発明
の画像生成方法は３次元空間に存在するカメラからの入
力画像を、前記３次元空間の予め決められた空間モデル
にマッピングして空間データを作成する空間再構成工程
と、前記空間データを参照して、前記３次元空間におけ
る任意の仮想視点から見た画像を作成する視点変換工程
とを備えたことを特徴とする画像生成方法である。

【００２０】上記課題を解決するために、本発明の装置
は次の構成を有する。

【００２１】本発明の基本構成は、車両に設置された一
台もしくは複数台のカメラから画像を入力する画像入力
手段と、前記カメラ特性を示すカメラパラメータを格納
するカメラパラメータテーブルと、車両を基準とした座
標系に空間モデルを作成する空間モデル作成手段と、前
記カメラより入力された画像を前記空間モデルにマッピ
ングするマッピング手段と、視点を設定し、前記視点か
ら見た一枚の画像を、前記マッピング手段にて作成され
たデータから合成する視点変換手段と、前記視点変換手
段にて変換された画像を表示する表示手段とを備えたこ
とを特徴とする。

【００２２】本発明による監視装置の第１の応用構成
は、距離を計測する距離センサと、車両周囲の状況とし
て、少なくとも車両周囲に存在する障害物までの距離を
前記距離センサを用いて計測する障害物検知手段とを備
えたことを特徴とする。

【００２３】本発明による装置では、予め適当に設定し
た空間モデル、もしくは、障害物検知手段によって検知
された車両周囲の障害物までの距離に応じて設定される
空間モデルが、空間モデル作成手段によって作成され
る。画像入力手段により車両に設置されたカメラから入
力された車両周囲の画像は、マッピング手段によって前
記空間モデルにマッピングされる。つづいて、視点変換
手段にて決められた視点から見た一枚の画像をマッピン
グされた画像から合成し、表示手段にて表示する。この
際、車両の乗員は、所望の視点からの画像を表示するこ
とが可能である。

【００２４】上記課題を解決するために、本発明の基本
構成は、車両に設置された一台もしくは複数台のカメラ
から画像を入力する画像入力手段と、前記カメラ特性を
示すカメラパラメータを格納するカメラパラメータテー
ブルと、車両周囲の状況として、路面上の特徴を検知す
る路面特徴検出手段と、車両を基準として設定された座
標系に、前記路面特徴検出手段の処理結果に応じた空間
モデルを作成する空間モデル作成手段と、前記カメラよ
り入力された画像を前記空間モデルにマッピングするマ
ッピング手段と、視点を設定し、前記視点から見た一枚
の画像を、前記マッピング手段にて作成されたデータか
ら合成する視点変換手段と、前記視点変換手段にて変換
された画像を表示する表示手段とを備えたことを特徴と
する。

【００２５】また、本発明の第１の応用構成は、車両の
移動方向を検出する移動方向検出手段と、車両の単位時
間における移動距離を検出する移動距離検出手段を備
え、前記移動方向検出手段および前記移動距離検出手段
での処理結果を用いて、前記路面上の特徴の現在位置を
計算し、計算した車両の現在位置にもとづいて、前記空
間モデルを逐次修正することを特徴とする。

【００２６】また、第２の応用構成は、前記表示手段に
おいて前記路面特徴検出手段における処理結果を表示し
つつ前記処理結果を修正する特徴修正手段を備えたこと
を特徴とする。

【００２７】本発明は、白線などの路面上の特徴を路面
特徴検出手段にて検出し、空間モデル作成手段で前記検
出された特徴に合わせて空間モデルを作成する。画像入
力手段により車両に設置されたカメラから入力された車
両周囲の画像は、マッピング手段によって前記空間モデ
ルにマッピングされる。つづいて、視点変換手段にて決
められた視点から見た一枚の画像をマッピングされた画
像から合成し、表示手段にて表示する。車両が移動した
場合は車両と路面特徴との位置関係が変化するので、該
変化に応じて空間モデルを修正し、修正後の空間モデル
を用いて画像を合成し表示する。

【００２８】上記目的を達成するために、本発明は、車
両に設置された一台もしくは複数台のカメラから画像を
入力する画像入力手段と、前記カメラ特性を示すカメラ
パラメータを格納するカメラパラメータテーブルと、前
記車両の周囲の状況をモデル化した空間モデルに前記カ
メラより入力された画像をマッピングするマッピング手
段と、所望の仮想視点から見た一枚の画像を、前記マッ
ピング手段にて作成されたデータから合成する視点変換
手段と、前記カメラのパラメータを、各々のカメラで独
立して修正するカメラパラメータ修正手段と、前記視点
変換手段にて変換された画像を表示する表示手段とを備
えたことを特徴とする。

【００２９】また、前記視点変換手段は、前記カメラパ
ラメータ修正手段での処理時と通常動作時とで仮想視点
を切り替えることを特徴とする。

【００３０】また、前記視点変換手段は、前記カメラパ
ラメータ修正手段での処理時は、仮想視点を車載カメラ
のいずれかのカメラパラメータと一致させることを特徴
とする。

【００３１】また、前記視点変換手段は、前記カメラパ
ラメータ修正手段での処理時は、仮想視点を、該修正を
行っているカメラの、修正処理前のカメラパラメータと
一致させることを特徴とする。

【００３２】また、前記視点変換手段において、視点の
向きを変更する操作の向きと、前記視点の向きとの関係
を互いに逆方向とすることを特徴とする。

【００３３】また、前記表示手段は、各々のカメラから
の画像を表示する際に、各々の画像の接する境界部分
で、境界を示すマークを合成画像に重ね合わせて表示す
ることを特徴とする。

【００３４】上記目的を達成するために、本発明は、車
両に設置された一台もしくは複数台のカメラから画像を
入力する画像入力手段と、前記カメラ特性を示すカメラ
パラメータを格納するカメラパラメータテーブルと、車
両の周囲の状況をモデル化した空間モデルに前記カメラ
より入力された画像をマッピングするマッピング手段
と、少なくとも位置、向きを含む視点パラメータを格納
する視点パラメータテーブルと、前記マッピング手段で
のマッピング処理の結果を用いて、所望の仮想視点から
見た画像を合成する視点変換手段と、前記仮想視点のパ
ラメータを修正する視点パラメータ修正手段と、前記視
点変換手段にて変換された画像を接合して表示する表示
手段とを備えたことを特徴とする。

【００３５】また、前記一組の視点パラメータは、車両
に設置されたカメラのいずれか一つと対となるよう区別
して前記視点パラメータテーブルに格納することを特徴
とする。

【００３６】また、視点パラメータ修正手段において、
仮想視点パラメータ変更操作のうち、少なくとも向き・
位置・回転の操作については、操作方向と実際の視点パ
ラメータの変更との関係を、互いに逆とすることを特徴
とする。

【００３７】また、視点パラメータ修正手段において、
視点パラメータ修正する際は固定した仮の仮想視点を設
け、当該修正中の仮想視点での修正経過を、前記仮の仮
想視点からの画像として逐次合成表示することを特徴と
する。

【００３８】また、前記表示手段は、各々のカメラから
の画像を表示する際に、各々の画像の接する境界部分
で、境界を示すマークを合成画像に重ね合わせて表示す
ることを特徴とする。

【００３９】また、カメラ入力画像と合成画像との間の
画素の対応づけ関係を保持するマッピングテーブルを備
え、前記マッピング手段および視点変換手段での処理に
よって得られた前記対応づけ関係を前記マッピングテー
ブルに格納することを特徴とする。

【００４０】また、視点パラメータ修正手段での処理に
よって変更された視点パラメータを用いて、前記マッピ
ングテーブルを再計算するマッピングテーブル修正手段
を備えたことを特徴とする。

【００４１】

【発明の実施の形態】本発明の基本的構成は、一台もし
くは複数台のカメラと、前記カメラの特性を示すカメラ
パラメータを格納するカメラパラメータテーブルと、前
記カメラパラメータに基づいて、前記カメラからの入力
画像を３次元空間の空間モデルにマッピングして空間デ
ータを作成する空間再構成手段と、前記空間再構成手段
にて作成された空間データを一時的に格納する空間デー
タバッファと、前記空間データを参照して、任意の視点
から見た画像を作成する視点変換手段と、前記視点変換
手段にて変換された画像を表示する表示手段とを備えた
ことを特徴とする。

【００４２】本発明による画像生成装置の第１の応用構
成は、カメラ特性を示すカメラパラメータを、入力もし
くは計算によって得るキャリブレーション手段を備えた
ことを特徴とする。

【００４３】本発明による画像生成装置の第２の応用構
成は、カメラ視野内に３次元座標の同定が可能な複数個
の点を生成する特徴点生成手段と、それらの特徴点を抽
出する特徴点抽出手段とを備えたことを特徴とする。

【００４４】本発明による画像生成装置の第３の応用構
成は、温度センサ、温度補正テーブルを備えたことを特
徴とする。

【００４５】本発明による画像生成装置の第４の応用構
成は、車両の移動方向を検出する移動方向検出手段と、
車両の単位時間における移動距離を検出する移動距離検
出手段と、車両の移動方向および移動距離を用いて、前
記空間データバッファに格納された空間データを変換す
る空間データ変換手段とを備えたことを特徴とする。

【００４６】本発明による画像生成装置の第５の応用構
成は、カメラのキャリブレーションが必要な状況を検知
した場合に運転者にカメラキャリブレーションの指示を
行うカメラ補正指示手段と、カメラキャリブレーション
を行った日時および走行距離を記録する補正履歴記録手
段とを備えたことを特徴とする。

【００４７】また、本発明の画像生成方法は、カメラ特
性を示すカメラパラメータに基づいてカメラからの入力
画像を構成する各々の画素を３次元空間の点に対応づけ
た空間データを作成する空間再構成工程と、前記空間デ
ータを参照して任意の視点から見た画像を作成する視点
変換工程とを包含することを特徴とする。

【００４８】本発明による画像生成方法の第１の応用構
成は、前記カメラ特性を示すカメラパラメータを入力も
しくは計算によって獲得し、また必要であれば温度に応
じて前記カメラパラメータを補正するキャリブレーショ
ン工程を包含することを特徴とする。

【００４９】本発明による画像生成方法の第２の応用構
成は、前記キャリブレーション手段で前記カメラパラメ
ータの計算に必要な複数個の特徴点を抽出する特徴点抽
出工程を包含することを特徴とする。

【００５０】本発明による画像生成方法の第３の応用構
成は、カメラ視野内に３次元座標の同定が可能な複数個
の点を生成する特徴点生成工程を包含することを特徴と
する。

【００５１】本発明による画像生成方法の第４の応用構
成は、車両の移動方向を検出する移動方向検出工程と、
車両の単位時間における移動距離を検出する移動距離検
出工程と、前記移動方向検出工程によって検出された車
両の移動方向、および移動距離検出工程によって検出さ
れた車両の移動距離を用いて、前記空間データを変換す
る空間データ変換工程とを包含することを特徴とする。

【００５２】本発明による画像生成方法の第５の応用構
成は、カメラのキャリブレーションが必要な状況を検知
し、キャリブレーションが必要である場合に、運転者に
カメラキャリブレーションの指示を行うカメラ補正指示
工程と、カメラキャリブレーションを行った日時および
走行距離を記録する補正履歴記録工程とを包含すること
を特徴とする。

【００５３】本発明（請求項１の一例）の画像生成装置
では、以下の３ステップからなる手順によって、複数台
設置されているそれぞれのカメラ視野を統合し、一枚の
画像として合成する。

【００５４】１．空間再構成手段において、カメラから
得られた画像を構成する各々の画素と、３次元座標系の
点との対応関係を計算し、空間データを作成する、前記
計算は各々のカメラから得られた画像のすべての画素に
対して実施する。

【００５５】２．視点変換手段において、所望の視点を
指定する。すなわち、前記３次元座標系の、どの位置か
ら、どの角度で、どれだけの倍率で、画像を見たいかを
指定する。

【００５６】３．同じく視点変換手段において、前記視
点からの画像を、前記空間データから再現し、表示手段
にて表示する。

【００５７】請求項９、請求項１０および請求項１３に
記載の発明を組み合わせた画像生成装置の一例では、特
徴点生成手段によって車体の周囲などに３次元座標の同
定が可能な複数個の点を生成し、それらの特徴点を特徴
点抽出手段で抽出することにより、各々のカメラについ
て、その特性を示すカメラパラメータを自動で得る。

【００５８】本発明（請求項１５の一例）の画像生成装
置では、温度センサ、温度補正テーブルを設置すること
により、気温上昇・下降にともなって微妙に変化するレ
ンズ歪みを補正し、レンズを常に最適に保つ。

【００５９】また、本発明（請求項１８の一例）の画像
生成装置では、画像生成装置の車両への応用例として、
カメラから死角となる部分の画像を見る方法を提供す
る。すなわち車両の移動方向および移動距離を検出し、
検出結果から導かれた計算式を用いて、以前に取得した
画像を現在の位置から見た画像に変換する。具体的に
は、以前に見えていたが現在見えていない場所について
の空間データは、前記場所を撮影した画像が空間データ
として空間データバッファに格納されている場合、その
空間データを空間データ変換手段で変換することによっ
て補われる。

【００６０】また、本発明（請求項１９の一例）の画像
生成装置では、画像生成装置の車両への応用例として、
カメラの特性を示すカメラパラメータの補正、すなわち
カメラキャリブレーションを実施しなければならない状
況を検知し、その旨を運転者に指示する。

【００６１】以下、図を用いて本発明の一実施例を説明
する。なお本実施例においては、車両の周囲を監視する
カメラを設置し、前記カメラで獲得した画像を運転席近
くに設置したモニターテレビに表示させる画像生成装置
を対象として説明する。

【００６２】図１は本発明（請求項１）の画像生成装置
の基本構成の一例を示したブロック図である。

【００６３】本発明による画像生成装置は、基本構成例
として、監視対象領域の状況を把握するために取付けら
れた複数台のカメラ101 、前記カメラの特性を示すカメ
ラパラメータを格納しておくカメラパラメータテーブル
103 、カメラパラメータに基づいて、前記カメラからの
入力画像を３次元空間の空間モデルにマッピングした空
間データを作成する空間再構成手段104 、空間再構成手
段104 にて作成された空間データを一時的に格納する空
間データバッファ105 、空間データを参照して、任意の
視点から見た画像を作成する視点変換手段106 、視点変
換手段106 にて変換された画像を表示する表示手段107
からなる。

【００６４】図２は請求項９、請求項１０および請求項
１３に記載の本発明を組み合わせた画像生成装置の構成
の一例を示したブロック図である。

【００６５】図２の例では、図１に示した画像生成装置
に対して、さらに、カメラの取り付け位置、カメラの取
り付け角度、カメラのレンズ歪み補正値、カメラのレン
ズの焦点距離などといった、前記カメラ特性を表すカメ
ラパラメータを、入力もしくは計算によって得るキャリ
ブレーション手段102 、前記カメラの視野内に３次元座
標の同定が可能な複数個の点を生成する特徴点生成手段
109 とそれらの特徴点を抽出する特徴点抽出手段108と
を付加し、各々のにカメラについて、その特性を示す
カメラパラメータを容易に得ることを可能としている。

【００６６】特徴点生成手段109 および特徴点抽出手段
108の振る舞いによってカメラパラメータを得るための
方法についての詳細は後述する。

【００６７】図３は本発明（請求項１５の一例）の画像
生成装置の構成例を示したブロック図である。図３の例
では、図１に示した画像生成装置に対して、更に温度セ
ンサ110、温度補正テーブル111 を設置することによ
り、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つことが可能とな
る。キャリブレーション手段102 において温度によるレ
ンズ歪みの補正を行う方法についての詳細は後述する。

【００６８】図４は本発明（請求項１８の一例）の画像
生成装置の構成例を示したブロック図である。図４は車
両への応用例としての画像生成装置の構成例で、図１に
示した画像生成装置に対して、さらに車両の移動方向を
検出する移動方向検出手段112 と、車両の単位時間にお
ける移動距離を検出する移動距離検出手段113 と、車両
の移動方向および移動距離を用いて、前記空間データバ
ッファ105 に格納された空間データを変換する空間デー
タ変換手段114 とを付加している。

【００６９】これらの手段を用いることにより、現在見
えていない場所について、以前に見えており、かつ、そ
の見えていた画像が空間データとして空間データバッフ
ァ105 に格納されていれば、その空間データを本発明を
構成する空間データ変換手段114 で変換することによっ
て補うことができる。補うための方法についての詳細は
後述する。

【００７０】図５は本発明（請求項１９の一例）の車両
への応用例としての画像生成装置で、その構成例を示し
たブロック図である。

【００７１】図５の画像生成装置の例では、図１に示し
た画像生成装置に対して、さらにカメラのキャリブレー
ションが必要な状況を検知した場合に、運転者にカメラ
キャリブレーションの指示を行うカメラ補正指示手段11
6 と、カメラキャリブレーションを行った日時および走
行距離を記録する補正履歴記録手段115 を付加してい
る。これらの手段を用いることにより、カメラの特性を
示すカメラパラメータの補正、すなわちカメラキャリブ
レーションを実施しなければならない状況を検知し、そ
の旨を運転者に提示する。

【００７２】図６は、図１〜図５を統合した画像生成装
置を示したブロック図であり、図１から図５の画像生成
装置を一つにまとめた場合の構成例で、それぞれの構成
で得られる効果を統合して利用することが可能である。
本実施例の最後で、本図６の構成例を用いて、本発明に
よる画像生成装置の動作例を示す。

【００７３】次に、本発明を構成する各構成要素につい
ての詳細を説明する。

【００７４】カメラは、車両の周囲の状況など、監視す
べき空間の画像を撮り込むテレビカメラである。このカ
メラは、大きな視野を得ることができるよう、通常、画
角が大きいものを使うのが良い。図７は、車両へのカメ
ラの取り付け例を示した概念図である。

【００７５】図７では、車両の屋根に、車両から周囲を
見渡すようにカメラが６台設置されている例を示してい
る。図７の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にす
ると、視野が広くなりカメラの台数も少数で済む。

【００７６】本発明によるキャリブレーション手段102
は、カメラキャリブレーションを行う。カメラキャリブ
レーションとは、３次元実世界に配置されたカメラにつ
いての、その３次元実世界における、カメラの取り付け
位置、カメラの取り付け角度、カメラのレンズ歪み補正
値、カメラのレンズの焦点距離などといった、前記カメ
ラ特性を表すカメラパラメータを決定、補正することで
ある。

【００７７】本発明によるカメラパラメータテーブル10
3 は、キャリブレーション手段102 (処理の詳細は後述)
によって得られたカメラパラメータを格納するテーブル
である。

【００７８】まず該カメラパラメータテーブル103 の詳
細な説明の準備として、３次元空間座標系を定義する。
前出の図７は、車両にカメラを設置した様子を示した概
念図であるが、図７において車両を中心とする３次元空
間座標系を示している。図７の例では３次元空間座標系
の例として、・車両の後面直下にある後面に平行な路面上の直線をＸ
軸・車両の後面中央に路面から垂直に伸びる軸をＹ軸・車両の後面中央を通り後面に垂直な路面上の直線をＺ
軸とする３次元空間座標系を定義し、また本座標系におい
てカメラの向きは、・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特に
ことわりがない限り、３次元空間座標系もしくはワール
ド座標系もしくは単に３次元空間は、本定義による３次
元空間座標系を指すものとする。

【００７９】図９は、カメラパラメータテーブル103 に
格納されているデータを表形式で示したものである。図
９に記載されている内容は、テーブルの左側の列から順
に以下の通りで、下記のごとく本テーブルでは、２列目
から９列目までの項目がカメラパラメータの例を示して
いる。

【００８０】１列目：図７の車載カメラの番号２列目：３次元空間座標系におけるカメラ位置のＸ座標３列目：３次元空間座標系におけるカメラ位置のＹ座標４列目：３次元空間座標系におけるカメラ位置のＺ座標５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角
度α ６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角
度β ７列目：３次元空間座標系におけるカメラの焦点距離８列目：レンズの半径方向の歪み係数κ１９列目：レンズの半径方向の歪み係数κ２例えば、図７におけるカメラ１のパラメータは図９のカ
メラパラメータテーブル103 の２行目に記載されてお
り、その内容は、カメラ１は、座標(x1、y1、０)の位置
にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面
に対して−３０度の角度をなし、焦点距離はf1、レンズ
歪み係数κ１、κ２はともに０である、ということが分
かる。

【００８１】同様に、仮想カメラのパラメータは図９の
カメラパラメータテーブル103 の８行目に記載されてお
り、その内容は、仮想カメラとは、座標(０、y1、０)の
位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平
面に対して−２０度の角度をなし、焦点距離はf、レン
ズ歪み係数κ１、κ２はともに０である、ということが
分かる。

【００８２】この仮想カメラは、本発明に導入される概
念である。すなわち従来の画像生成装置では、実際に設
置されているカメラから得られた画像のみしか表示でき
なかったが、本発明による画像生成装置では、後で詳述
する空間再構成手段104 、視点変換手段106 により、仮
想のカメラを自由に設置し、その仮想カメラからの画像
を計算によって求めることが可能となる。該計算方法に
ついても後で詳述する。

【００８３】本発明によるキャリブレーション手段102
は、カメラキャリブレーションを行う。それはすなわち
前記カメラパラメータを決定することであり、その決定
方法としては、例えばキーボードやマウスなどの入力装
置によって全てのデータを人手で直接入力する方法、キ
ャリブレーションデータのいくつかを計算によって求め
る方法などがある。

【００８４】カメラパラメータとは、ある基準の座標系
におけるカメラの取り付け位置およびカメラの取り付け
角度、カメラのレンズ歪み補正値、カメラのレンズの焦
点距離などといった、前記カメラ特性を表すパラメータ
である。カメラで撮影した画像の特徴点と、前記特徴点
の前記基準座標系内での位置との対応関係が取れている
点の組が多数分かっていれば、前記パラメータを計算に
よって近似的に求めることが可能となる。つまり、カメ
ラパラメータを計算によって求める場合、カメラで撮影
した画像の点と、その点の３次元空間座標系内での位置
との対応関係が取れている点の組が、複数個必要とな
る。その組が最低いくつ必要であるかは、どのような計
算方法を用いるかに依存する。例えば図９の例で用いた
カメラパラメータを計算によって求める方法に関して
は、文献「松山、久野、井宮、“コンピュータビジョ
ン：技術評論と将来展望”、新技術コミュニケーション
ズ、pp.37-53、１９９８年６月」に開示されている。こ
の他にもカメラパラメータを求める技術が、前記文献に
多数開示されているので、ここでは該技術に関する説明
は省略する。

【００８５】しかし、いずれの方法でカメラパラメータ
の計算をする場合においても、前記対応関係の組をどの
ようにして見つけるかが問題となる。本発明では、前記
対応関係の取れた点の組を自動で作成し、その組を用い
て計算によっていくつかのカメラパラメータを求める方
法について開示していおり、該方法については後述す
る。

【００８６】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【００８７】そこで、レンズの歪みの変化は、激しい温
度変化がない限りは起こらないと仮定し、歪み補正前の
画像と、歪み補正後の画像で、それぞれの画素の座標値
の対応関係をあらかじめ計算しておく。そして前記計算
結果をテーブルやマトリクスなどのデータ形式でメモリ
内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。

【００８８】温度などによってレンズ歪みがどのように
変化するかが予め分かっていれば、そのデータは本発明
による温度補正テーブル111 などの形式で持っておき、
気温の上昇や下降によってレンズ歪みに変化が生じた場
合に、キャリブレーション手段102 によって前記テーブ
ルのデータを参照して補正する。

【００８９】図１０は本発明による温度補正テーブル11
1 の例を表形式で示した図である。図１０に示すよう
に、温度補正テーブル111 は、温度に応じて変化する前
記カメラパラメータの変化量をデータとして格納するも
ので、本例では、温度によって、・レンズの焦点距離（テーブル２列目）・レンズ歪み係数κ１（テーブル３列目）・レンズ歪み係数κ２（テーブル４列目）が変わる度合いのデータを格納した場合を示しており、
テーブルの示す具体的な内容は以下の通りである。

【００９０】o 温度が０度以下のとき（テーブル２行
目）・現在のレンズの焦点距離にdf1を加える。

【００９１】・現在のレンズ歪み係数にκ11を加える。

【００９２】・現在のレンズ歪み係数にκ21を加える。

【００９３】o 温度が４０度以上のとき（テーブル３行
目）・現在のレンズの焦点距離にdf2を加える。

【００９４】・現在のレンズ歪み係数にκ12を加える。

【００９５】・現在のレンズ歪み係数にκ22を加える。

【００９６】本発明（請求項１５の一例）のキャリブレ
ーション手段102では、各カメラ毎に温度センサ110 の
温度値を逐次観測し、必要に応じてカメラパラメータテ
ーブル103 の内容を更新する。

【００９７】図２２は、キャリブレーション手段102 に
おいて、温度によってカメラパラメータテーブル103 の
更新処理を行う手順をフローチャートの形式で示したも
ので、図２２を用いてその詳細を説明する。

【００９８】但し、本例では図３に示したごとく、カメ
ラ１台について、それに１台の温度センサ110 が対にな
って付随しており、温度センサ110 で検知した温度が、
カメラのレンズ温度とほぼ等しいということを仮定す
る。

【００９９】１．(1301)未チェックの温度センサ110 を
一つ選択し、温度値を取得する。

【０１００】２．(1302)前記温度値がカメラパラメータ
補正を必要とするかどうかを確かめる。

【０１０１】図２２の例では、補正が必要な温度は、０
度以下もしくは４０度以上である。

【０１０２】３．(1303)もし補正が必要なら、温度補正
テーブル111 からカメラパラメータ補正値を取得し、該
温度センサ110 に付随するカメラのカメラパラメータを
更新した結果を、カメラパラメータテーブル103 に書き
込む。(1304)補正の必要がない場合は、レンズの焦点距
離、歪み係数κ１、歪み係数κ２をすべて初期設定値に
戻した結果を、カメラパラメータテーブル103 に書き込
む。

【０１０３】４．(1305)全ての温度センサ110 につい
て、上記１から３までの処理を終了していれば、カメラ
パラメータテーブル103 更新処理を終了する。まだ未チ
ェックの温度センサ110 があれば、該温度センサ110 に
ついて、上記１から３までの処理を実行する。

【０１０４】図１１は、図１０の例の温度補正テーブル
111 を用いて書き換えられたカメラパラメータテーブル
103 の例である。図１１の例では、カメラ１、カメラ２
のみが、ある時点に直射日光を受けるなどして４０度以
上の温度となり、それ以外は０度から４０度未満の温度
値を保っている場合を示している。図１１のカメラパラ
メータテーブル103 から分かる通り、カメラ１およびカ
メラ２のカメラパラメータが、温度が４０度以上の場合
の温度補正処理によって、・レンズの焦点距離は df1 増加・レンズ歪み係数κ１は κ12 増加・レンズ歪み係数κ２は κ22 増加していることが分かる。なお、前述の仮想カメラに関し
ては、温度によって焦点距離やレンズ歪みが変化しない
理想的なレンズとすることが可能であるので、本補正処
理の対象外とする。

【０１０５】また本例では、設置されるカメラのレンズ
がすべて同じ温度補正特性を持つものと仮定した場合を
示しているが、実際には異なる特性を持つレンズが取付
けられている場合もある。そのような場合は、カメラご
とに独立してテーブルを持っておき、温度補正対象とな
るカメラに応じてテーブルを使い分ければ良い。

【０１０６】前記カメラのレンズの材料としては、ガラ
スの他にプラスチックを用いることも出来るが、プラス
チックは温度変化に対して変形が激しいのが通常であ
る。しかし、上述したような補正により対応することが
できる。

【０１０７】本発明による空間再構成手段104 は、キャ
リブレーション手段102 によって計算されたカメラパラ
メータに基づいて、前記カメラからの入力画像を構成す
る各々の画素を３次元空間の点に対応づけた空間データ
を作成する。すなわち、空間再構成手段104 では、カメ
ラから撮影された画像に含まれる各々の物体が、３次元
空間のどこに存在するかを計算し、その計算結果として
の空間データを空間データバッファ105 に格納する。

【０１０８】なお、前記カメラからの入力画像を構成す
るそれぞれの画素のすべてを利用して空間データを構成
する必要はない。たとえば入力画像に水平線により上に
位置する領域が写っている場合は、その水平線より上の
領域に含まれる画素を路面にマッピングする必要はな
い。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数
画素毎に飛ばして空間データにマッピングすることによ
り処理を高速化することも考えられる。

【０１０９】さて、カメラで撮影された画像を構成する
各々の画素の位置は、一般的にＣＣＤ画像面を含むＵ−
Ｖ平面上の座標として表される。従って、入力画像を構
成する各々の画素をワールド座標系の点に対応づけるた
めには、カメラで撮影された画像の存在するＵ−Ｖ平面
の点をワールド座標系内の点に対応づける計算式を求め
れば良い。

【０１１０】図８は、カメラで撮影された画像を含む平
面（以下、視平面）に設定したＵ−Ｖ座標系の点と、３
次元空間座標系の点との対応づけの関係の例を表した概
念図である。図８の例に従うと該対応づけは以下の手順
で行われる。

【０１１１】１．視平面がＺ＝f(カメラの焦点距離)
で、該平面上にあるカメラ画像の中心をＺ軸が通るよう
な座標系を設定する。これを視平面座標系と呼ぶ(Ｏeを
原点とする)。

【０１１２】２．図８における点Ｐeの視平面座標系で
の座標をＰe(Ｘe,Ｙe,Ｚe)とし、その点が視平面に投影
されたときのの点(この点がカメラ撮影画像の一画素に
対応する)の座標をＰv(u,v)とすると、ＰeとＰvの関係
は、カメラの焦点距離ｆを用いて、式(1)式(2)のように
表すことが出来る。

【０１１３】

【式１】

【０１１４】

【式２】

【０１１５】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。

【０１１６】３．視平面座標系とワールド座標系の位置
関係および向き関係を求める。ここでワールド座標系を
中心にして、視平面座標系が空間的に以下のような関係
にあるとする。

【０１１７】・視平面座標系原点Ｏeからワールド座標
系原点Ｏwへのベクトルを(tx, ty, tz)とする。つまり
２つの座標系の位置的なずれは、(tx, ty, tz)だけ平行
移動することによって無くなる。

【０１１８】・視平面座標系とワールド座標系の向きの
関係は、図７の例における車両を中心とした座標系(ワ
ールド座標系に対応)と、車載カメラ(視平面座標系に対
応)と同じ関係になるようにすると、視平面座標系は、「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」とすることができる。但し、ここではカメラのレンズの
光軸周りの回転はないものと仮定している。この場合、
ある点をワールド座標系でＰw(Ｘw,Ｙw,Ｚw)で表し、ま
た、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐ
e(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚw)、(tx, ty, tz)、
α、β の間には式(3)の関係が成り立つ。

【０１１９】

【式３】

【０１２０】以上で、視平面上での画素Ｐv(u,v)と、ワ
ールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)を式(1)式(2)式
(3)によって対応づけることが出来た。

【０１２１】前記３つの式において未知の変数は、「t
x, ty, tz,α,β,ｆ」の６つであるので、視平面上での
画素Ｐv(u,v)と、ワールド座標系での座標Ｐw(Ｘw,Ｙw,
Ｚw)の対応関係が既知の点の組が最低２組あれば、上記
の未知変数は求められる。

【０１２２】しかしながら、対応関係が既知である組の
それぞれの座標の計測には位置ずれを含むことが多く、
計算結果には誤差が生じる場合がほとんどである。

【０１２３】そこで通常は、多数の組を計測して作った
連立方程式を最小二乗法で解くなどの方法が用いられ
る。なお、カメラの位置と向きが視平面座標系と一致す
るので、すでにカメラパラメータが求まっていれば本処
理３．を実行する必要はない。

【０１２４】４．tx, ty, tz,α,β,f の値が求まって
いる式(1)式(2)式(3)を用いてワールド座標系のそれぞ
れの点Ｐw(Ｘw,Ｙw,Ｚw)を、視平面の点Ｐv(u,v)と対応
づける。

【０１２５】上記１〜４までの処理を、全てのカメラに
ついて実施すれば、独立した全てのカメラからの画像
を、同じ一つの３次元空間内の点として対応づけること
が可能となる。

【０１２６】本発明による空間データは、かかる計算式
によって対応づけされたデータで、図１２は、該空間デ
ータを格納する本発明による空間データバッファ105 の
記述例を表の形式で示したものである。空間データバッ
ファ105 には、カメラ画像の点と空間内の点との対応づ
けデータが格納される。図１２の例では１行目を除く各
行に一つの空間データが記述されており、それぞれの空
間データを構成する情報としての各列に以下の内容を含
んでいる。

【０１２７】１列目：ワールド座標系で他の点と区別す
るための番号(ここでは説明の便宜上Ａとした) ２列目：ワールド座標系での点のＸ座標３列目：ワールド座標系での点のＹ座標４列目：ワールド座標系での点のＺ座標５列目：前記点を含む画像が、どのカメラから撮影した
ものかを区別するフラグ６列目：前記画像を含む視平面座標系での点のＵ座標７列目：前記画像を含む視平面座標系での点のＶ座標８列目：前記画像を含む視平面座標系での点の色のＲ成
分(例えば０〜２５５階調で量子化) ９列目：前記画像を含む視平面座標系での点の色のＧ成
分(例えば０〜２５５階調で量子化) １０列目：前記画像を含む視平面座標系での点の色のＢ
成分（例えば０〜２５５階調で量子化）１１列目：該空間データが取得された時刻以下で空間データの記述内容を例を用いて説明するが、
ここで図１３〜図１５を説明の補助として用いる。

【０１２８】図１３〜図１５は、ワールド座標系内の平
面としての路面上の特徴点と、車両に設置したカメラで
撮影した画像上での特徴点との対応関係を示す図で、図
１３は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との
位置関係を上部からみた概念図、図１４は、図１５の車
載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影し
た画像を表す概念図、図１５は、図１３の車載カメラ２
で前記特徴点Ｃ、Ｄ、Ｅを含む路面を撮影した画像を表
す概念図である。そして、図１２の例の空間データバッ
ファ105 には、図１３〜図１５に記された５つの特徴点
Ａ、Ｂ、Ｃ、Ｄ、Ｅが空間データの例として記述されて
いる。

【０１２９】まず、図１３、図１４における特徴点Ａに
着目する。前述の空間再構成手段104 による対応づけ処
理によって、図１３のワールド座標系上の点Ａと図１４
の視平面座標系上の点Ａが対応づけられているものとす
ると、図１２の表の３行目が図１３、図１４における特
徴点Ａに相当する空間データの例である。

【０１３０】すなわちワールド座標系上の点Ａは、座標
(Ｘ3,０,Ｚ2)であり、それをカメラ１から撮影したとき
には、撮像画像上での点Ａの座標は(Ｕ1,Ｖ1)で色はＲ
ＧＢ順に(８０,８０,８０)であり、本データが作成され
た時刻は t1 である、という意味である。

【０１３１】もし、ワールド座標系の点が、複数台のカ
メラから観測されたときは、それぞれを独立した空間デ
ータとして空間データバッファ105 に格納する。例え
ば、図１３〜図１５における点Ｃがその例に相当する。
点Ｃは、図１４、図１５からも明らかなように、図１３
における２台のカメラ、すなわち、カメラ１およびカメ
ラ２から観測されている。

【０１３２】そして、カメラ１での観測結果をもとに作
成された空間データ、すなわち図１２の７行目の空間デ
ータは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)
を持ち、点Ｃをカメラ１から撮影したときには、撮像画
像上での点Ｃの座標は(Ｕ3,Ｖ3)で色はＲＧＢ順に(１４
０,１４０,１４０)で、本データが作成された時刻は t1
である。

【０１３３】一方、カメラ２での観測結果をもとに作成
された空間データ、すなわち図１２の８行目の空間デー
タは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を
持ち、点Ｃをカメラ２から撮影したときには、撮像画像
上での点Ｃの座標は(Ｕ4, Ｖ4)で色はＲＧＢ順に(１５
０,１５０,１５０)で、本データが作成された時刻は t
１ある。

【０１３４】かくのごとく、各カメラで撮影された画像
の各々の画素がワールド座標系の点に対応づけ情報が、
空間データという形式で空間データバッファ105 に格納
される。

【０１３５】本発明による視点変換手段106 は、空間再
構成手段104 によって作成された空間データを参照し
て、任意の視点にカメラを設置して撮影した画像を作成
する。その方法の概要は、空間再構成手段104 で行った
処理の逆の処理を行うことである。すなわち、空間再構
成手段104 によって形成されたワールド座標系の点Ｐw
(Ｘw,Ｙw,Ｚw)を、任意の視点にカメラを設置して撮影
した画像面Ｐv(u,v)に投影する変換を求めることに相当
する。

【０１３６】従って、この変換を計算する式は、先に詳
述した式(1)式(2)および式(3)の逆変換に相当する式(4)
で表すことが可能である。

【０１３７】

【式４】

【０１３８】すなわちＰw(Ｘw,Ｙw,Ｚw)を入力し前記３
つの式によってＰv(u,v)を計算する。この計算では、カ
メラのカメラパラメータ「tx, ty, tz,α,β,ｆ」は任
意の所望の値を指定できる。つまりそれは所望の視点に
所望の角度でカメラを置くことができることを意味す
る。この際、前記任意視点にカメラを置いて見たときの
画像を投影する画面上で、個々の画素の色をどのように
表現するかが問題となる。

【０１３９】しかしながら、本発明（請求項６、請求項
７、請求項８に対応する）では、３つの場合の色の表現
方法を開示している。該方法の内容を、３つの場合に応
じて以下に説明する。

【０１４０】(1) 前記視点から見た３次元空間内のある
点Ｐが、ただ一つのカメラで撮影した画像と対応づけら
れている場合：この場合は、設定した視点から点Ｐを見
たときの色は、前記カメラで点Ｐを見たときの色を用い
て決める。最も単純な方法は同じ色で置き換える方法で
あるが、点Ｐを観測しているカメラと設定した視点位置
・方向との関係から計算によって求めてもよい。

【０１４１】(2) 前記視点から見た３次元空間内のある
点Ｐが、複数台のカメラで撮影した画像と対応づけられ
ている場合：この場合は、設定した視点から点Ｐを見た
ときの色は、前記複数台のカメラで点Ｐを見たときの色
を用いて何らかの計算をし、得られた結果としての色で
決めるものとする。前記計算の方法としてはいくつか考
えられるが、例えば、・全ての色を同じ割合で混合する・最も明度の高いもしくは低いもしくは中間の色を取得
する・最も再度の高いもしくは低いもしくは中間の色を取得
するなどの方法がある。

【０１４２】(3) 前記視点から見た３次元空間内のある
点Ｐが、いずれのカメラで撮影した画像とも対応づけら
れていない場合：この場合は、設定した視点から点Ｐを
見たときの色は、点Ｐの周囲の点の色を用いて補間した
色を計算で求めるか、もしくは、物体が存在しない部分
であると識別可能な色、例えば黒に置き換えるなどすれ
ばよい。

【０１４３】本発明の最も大きな特徴は、該視点変換手
段106 によって、車両に設定されていない仮想のカメラ
からの画像を自由に再現できることにある。

【０１４４】例えば図１６〜図１９は、ワールド座標系
内の路面上の特徴点を車両に設置したカメラで撮影した
画像を用いて、適当な視点に仮想カメラを置いたときの
画像を合成した例を示した概念図で、図１６は、路面上
の特徴点Ａ、Ｂ、Ｃと車両との位置関係を上部からみた
概念図、図１７は、図１６の車載カメラ１で前記特徴点
Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８
は、図１６の車載カメラ２で前記特徴点Ｂ、Ｃを含む路
面を撮影した画像を表す概念図、図１９は、図１６の車
載カメラ１および車載カメラ２で撮影した画像を用い、
本発明による視点変換手段106 によって仮想カメラから
見た画像を合成した様子を表す概念図である。

【０１４５】また図２０（ａ）は、前記仮想カメラの設
置場所の例として、車両のほぼ中心の上方にカメラを下
向きに設置した場合を示した概念図である。この例のご
とく仮想カメラを設置した場合、仮想カメラで撮影され
た画像は車両の周囲の様子を表すものとなる。あくま
で、前記合成画像を構成する画像は、車載カメラによっ
て撮影されたものであるので、図７に示されたような配
置の車載カメラ周囲を撮影した場合、どのカメラ画像に
も車体の屋根が含まれていない。

【０１４６】しかしながら、前記車体の屋根のように、
存在場所や形状、色に関する情報の分かっている物体に
ついては、予めそれらの情報をシステムに蓄積してお
き、それらの情報を必要に応じて用いれば、より違和感
の少ない画像を合成することが可能となる。

【０１４７】なお、図２０（ｂ）は仮想カメラを車の前
方斜め上方に配置し、そこから車を見る例を示す斜視図
である。このように、仮想カメラは真上に限らず、斜め
から車を見るようにすることもできる。図２０（ｃ）は
その図２０（ｂ）を利用して作成した画像の合成図であ
る。斜め上方から見た感じが現れている。

【０１４８】本発明による空間データ変換手段114 は、
本発明の請求項１に記載の画像生成装置を車両に適用す
る場合に必要となる手段である。

【０１４９】一般的に車載カメラは、より良い視野を得
るために通常車体上部に設置されていることが多い。と
ころが車体の形状が、例えば車体外部に向って凸面なカ
ーブを形成しているような場合では、このような車体上
部に位置するカメラで撮影した画像は、車体のすぐ周囲
の路面部分は死角になる場合がほとんどである。

【０１５０】この問題を解決する単純な方法は、車体下
部にもカメラを設置することであるが、カメラを追加す
ることによって余分なコストが必要となる。本発明によ
る前記空間データ変換手段114 は車体下部などにカメラ
を追加せずに前記問題を解決する。もっともその解決に
は、車が移動することが前提である。

【０１５１】図２３は、空間データ変換手段114 におけ
る処理の手順をフローチャートの形式で示したもの、図
２４は、空間データ変換手段１１４の説明の補助に用い
る概念図である。図２４は、ある一定時間の間に車両が
移動したとき、前記一定時間の開始時刻(以下t1)と終了
時刻(以下t2)における車両の位置、および向きの関係を
示している。図２３および図２４を用いてカメラから死
角となる部分の画像を合成する手順を説明する。

【０１５２】１．(1401) ある一定時間における車両の
移動距離を検出する。本例では移動距離は、時刻t1 と
時刻t2 のそれぞれの時刻における車両位置の間の直線
距離で定義する。すなわち図２４におけるＯ1とＯ2の距
離ということになる。

【０１５３】説明の都合上、図２４に記載のように、移
動距離をＯ1からＯ2へのベクトルを(ｔ′x,0, ｔ′z)で
表す。移動距離の検出方法としては、例えばタイヤの回
転数などによって計測する方法が用いられる。

【０１５４】２．(1402) 前記一定時間における車両の
移動方向を検出する。本例では移動方向を、時刻t1にお
ける車両の向きに対して時刻t2における車両の向きがど
れだけ変化したかの変化量として定義する。説明の都合
上、図２４に記載のように、向きの変化量をＺ1軸とＺ2
軸とのなす角度Θで表す。移動方向の検出方法として
は、例えばハンドルの回転角度などによって計測する方
法が用いられる。

【０１５５】３．(1403) 時刻t1から時刻t2に至る間の
車両の移動距離および移動方向を用いて、t1において取
得した空間データを t2における空間データに変換する
式(５)を作成する。但し式(5)では時刻t1 から時刻t2に
至る間の車両移動においては、完全に垂直成分の変化が
ないもの、つまり路面が平坦であることを仮定してい
る。

【０１５６】

【式５】

【０１５７】式(５)において、x1, y1, z1 は、時刻t1
において車体を中心にしたＸ1-Ｙ1-Ｚ1ワールド座標系
(原点Ｏ1)におけるある点の座標で、x2, y2, z2 は、前
記点の時刻t2において車体を中心にしたＸ2-Ｙ2-Ｚ2ワ
ールド座標系(原点Ｏ2)における座標を表す。つまり x
1, y1, z1 を式(５)の右辺に代入して計算した結果が x
2, y2, z2 となる。

【０１５８】４．(1404)式(５)を用いて、時刻t1におい
て合成した空間データを、時刻t2における空間データに
変換する。作成した後の空間データについては、どのカ
メラから見たかについての情報は必要ないので、図１２
の表において、５から７列目のデータは空白にしておい
てよい。すなわち、時刻t1 における空間データのう
ち、上記計算で書き換えられるは図１２の表において１
から４列目のみで、８から１１列目のデータはそのまま
利用する。

【０１５９】ここで問題となるのは、かくのごとく現在
時間の空間データに過去の空間データを加えていくと、
限りある空間データバッファ105 のオーバーフローがい
つかは生じることである。この問題に対して本発明によ
る空間データバッファ105 では、各空間データは該デー
タの作成時刻の情報を持っているので、現在時刻から溯
って一定時間以上過去のデータは消去するようにすれば
良い。

【０１６０】本発明による特徴点生成手段109 は、カメ
ラの視野内に３次元座標の同定が可能な複数個の点を生
成する。そして、本発明による特徴点抽出手段108は、
前記生成された特徴点を抽出する。図２１は、特徴点生
成手段109 、特徴点および特徴点抽出手段108の実施例
を示す概念図である。

【０１６１】図２１(a)は、特徴点生成手段109 として
のパターン光照射装置を車体側面上部に取付けた実施例
で、本例では、ワールド座標系内の平面としての車両の
周囲の路面に、長方形のパターンを格子状に照射する場
合を示している。

【０１６２】図２１(b)は、該パターン光照射装置を車
体上部に数箇所取り付けて、路面にパターン光を照射し
た状態を車両上部から見た例である。

【０１６３】図２１(c)はかくのごとく方法で路面に照
射された長方形のパターン光をカメラから撮影した様子
を示した例である。特徴点は、パターン光照射で作成さ
れた長方形の角や中心などの特徴を表すいくつかの点を
用いれば良い。

【０１６４】図２１(c)では、 PI-1 から PI-8 が特徴
点の例である。前記特徴点はワールド座標系における座
標が既知であると設定することが可能である。またこれ
らの特徴点は、視平面座標系での座標位置も既知で、ワ
ールド座標系と視平面座標系での対応関係が取れてい
る。従って前述の式(1)式(2)および式(3)を用いれば、
本発明によるキャリブレーション手段102 によってカメ
ラパラメータ tx, ty, tz, α,β,f を計算することが
可能となる。

【０１６５】本発明による補正指示手段は、本発明の請
求項１に記載の画像生成装置を車両に適用する場合に必
要となる手段で、該補正指示手段では、カメラのキャリ
ブレーションが必要な状況を検知し、キャリブレーショ
ンが必要である場合に、運転者にカメラキャリブレーシ
ョンを指示する。また本発明による補正履歴記録手段11
5 では、キャリブレーションが必要な状況を検知するた
めに必要なデータとして、カメラキャリブレーションを
行った日時および走行距離を記録する。

【０１６６】図２５は、補正履歴の記録を確認し、必要
に応じて補正指示を出す処理の手順をフローチャートの
形式で示したものである。

【０１６７】１．(1601)前回カメラのキャリブレーショ
ンを行った日時から、現在までの経過時間までを計算す
る。

【０１６８】２．(1602)あらかじめ設定しておいた所定
の時間に対して、前記経過時間の方が大きければ、(160
5)カメラ補正指示手段116 にてカメラキャリブレーショ
ンを実施するように運転者に指示し、処理を終了する。
但し、前記指示によって運転者がカメラキャリブレーシ
ョンを実施したら、補正履歴の記録を更新しておく。前
記所定の時間に対して、前記経過時間の方が小さけれ
ば、次の処理３に進む。

【０１６９】３．(1603)前回カメラのキャリブレーショ
ンを行った時から現在までの総走行距離を計算する。

【０１７０】４．(1604)あらかじめ設定しておいた所定
の距離に対して、前記走行距離の方が大きければ、(160
5)カメラ補正指示手段116 にてカメラキャリブレーショ
ンを実施するように運転者に指示し、処理を終了する。
但し、前記指示によって運転者がカメラキャリブレーシ
ョンを実施したら、補正履歴の記録を更新しておく。前
記所定の距離に対して、前記走行距離の方が小さけれ
ば、カメラキャリブレーションに関する指示は、運転者
に出さず、処理を終了する。

【０１７１】以上、本発明による画像生成装置を構成す
るそれぞれの手段の実施例を説明した。次に、本発明に
よる画像生成装置の全体の処理の流れについて説明す
る。

【０１７２】図２６は、本発明による画像生成装置を車
両に適用した場合の全体の処理の流れをフローチャート
の形式で示したものである。なお画像生成装置の構成例
としては図６の構成を想定する。

【０１７３】１．(1701)本装置を正常に動作させるため
に、必要であれば最初にカメラキャリブレーションを実
施し、補正履歴の記録を更新しておく。カメラキャリブ
レーションでは、カメラーパラメータを人手で入力する
か、または本発明による特徴点生成手段109 で特徴点を
車体周囲に生成し、前記特徴点を特徴点抽出手段108 に
て抽出した結果を用いてキャリブレーション手段102 に
てカメラパラメータを計算しても良い。

【０１７４】２．(1702) 各カメラ毎に温度センサ110
の温度値を逐次観測し、必要に応じてカメラパラメータ
テーブル103 の内容を更新する。

【０１７５】３．(1703) 補正履歴の記録を確認し、必
要に応じて補正指示を出す。もし補正が行われたら、補
正履歴の記録を更新する。

【０１７６】４．(1704) すでに空間データが空間デー
タバッファ105 に蓄積されていれば、空間データ変換手
段114 にて、車両の移動距離、移動方向に応じて前記空
間データを変換する。空間データバッファ105 が空白で
あれば、本処理は省略する。

【０１７７】５．(1705) 車載カメラで車両周囲の画像
を撮影する。

【０１７８】６．(1706) 空間再構成手段104 によって
５．で撮影された画像を構成する各々の画素をワールド
座標系の点に対応づけた空間データを作成する。３の空
間データ変換手段114 で変換された空間データで、ワー
ルド座標系での座標が一致する空間データがすでに存在
している場合は、前記変換された空間データは破棄す
る。つまりワールド座標系におけるある点の空間データ
は、カメラから一番最近に撮影されたデータのみを保持
し、それより過去のデータ、もしくは時間がある程度経
過したデータは消去するようにする。

【０１７９】７．(1707) ６．の空間再構成手段104 に
よって作成された空間データを参照して、所望の視点に
カメラを設置して撮影した画像を作成する。この場合、
視点位置は、合成画像が運転補助に適したものである場
所に固定していることが望ましく、例えば図２０の例の
ように車体上方で車両周囲が見渡せるカメラ位置などが
良い。

【０１８０】８．(1708) ７．の処理で合成された画像
を表示する。

【０１８１】９．(1709) 上記２．〜８．の処理を必要
がなくなるまで繰り返す。例えば運転者が車両を駐車ス
ペースに入れようとしている時は、前記２．〜８．の処
理を繰り返し、駐車が完了すれば本処理を終了すればよ
い。

【０１８２】さて、車の周囲の障害物などの物体のワー
ルド座標系の３次元位置が、正確に計測できれば、その
物体に合わせて空間モデルを生成すればよいが、現実的
には通常は、無理である。

【０１８３】つまり、画像生成装置などのように簡易性
を要求されるシステムでは、すべての物体の３次元位置
・形状を正確に求めることは困難であり、また、運転の
補助としての画像を合成するという観点では、任意の仮
想視点における画像を正確無比に再現しなければならな
いというわけではなく、運転者に分かり易い画像であれ
ば、多少クオリティが落ちても大きな問題にはなりにく
い。

【０１８４】そこで本発明（請求項４の一例）では、物
体の３次元情報は失われるものの、高速に画像を合成で
き、かつ合成した画像のクオリティをある程度保つこと
が可能な、入力画像を構成する各々の画素と３次元空間
の点の対応づけ方法を開示する。

【０１８５】該方法は、キャリブレーション手段102 に
よって取り付け位置、取り付け角度が既に知られている
カメラから得られた画像を、３次元空間の一部をなす平
面の例として路面に投影するものである。すなわち、画
像に含まれる各々の物体は、すべて３次元空間座標系
(以下ワールド座標系と呼ぶこともある)のＸ−Ｚ平面に
貼り付いており、Ｙ軸方向成分を持つ物体が存在しない
と仮定し、視平面上の画像をワールド座標系の路面に投
影する。

【０１８６】この場合、本装置のこれまでの実施例の説
明内容に対して変更する部分は、空間再構成手段104 で
用いる式(３)を式(６)に置き換え、また、視点変換手段
106 で用いる式(４)を式(７)に置き換えるだけでよい。

【０１８７】

【式６】

【０１８８】

【式７】

【０１８９】また、本実施例ではカメラを車両に取り付
け、車両周囲を監視する装置について説明をしたが、限
られた台数のカメラからの画像を用いて任意の視点から
の画像を合成するという本技術は、車載カメラに限定す
るものではない。

【０１９０】例えば、店舗などにおいて多数の監視カメ
ラを設置しておき、それらのカメラ画像を用いて、真上
から見た画像を合成することなども可能であり、幅広い
用途が期待できる。

【０１９１】なお、上述したキャリブレーション手段を
遠隔地にある管理センターにおいておき、通信手段によ
って、それを利用する方法も可能である。

【０１９２】本発明の方法、及び装置はそのような遠隔
地にその機能の一部を実現しておくことももちろん可能
である。

【０１９３】あるいはさらに、キャリブレーションを行
った結果のデータをフロッピー、ＤＶＤ等を利用して運
んで利用することも、本発明の実施例である。

【０１９４】また、マッピングされた空間データを格納
するバッファなどは、そのまま空間データを処理する場
合は特に必要ない。

【０１９５】なお、通常は、仮想視点は管理者や運転者
などの人手によって指定するのではなく、監視や運転の
補助として役立つ画像が得られる視点位置のうちの一つ
を選び、そこからの画像を表示させるようにしておく。
それによって仮想視点位置の移動操作をしなくてもよい
ため、利用者の作業負担のさらなる軽減が期待できる。

【０１９６】以上のように本発明によれば、限られた台
数のカメラからの画像を用いて任意の視点からの画像が
合成できる。

【０１９７】本発明の画像生成装置（請求項９、請求項
１０および請求項１３に記載の発明を合わせた例）で
は、各々のカメラについて、その特性を示すカメラパラ
メータを容易に得ることが可能となる。もし、例えば激
しい悪路を走行したことによってカメラの位置などが若
干ずれた場合でも、本発明により、カメラの位置の補正
は容易に可能となる。

【０１９８】本発明の画像生成装置（請求項１５の一
例）では、温度センサ、温度補正テーブルを設置するこ
とにより、気温上昇・下降にともなって微妙に変化する
レンズ歪みを補正し、レンズを常に最適に保つことが可
能となる。例えば、温度上昇によって微妙に膨張したレ
ンズに対しては、その膨張によって変わるレンズ歪み係
数を最適に制御する補正値を温度補正テーブルから得
て、それに基づいてレンズ歪みパラメータを変更すれば
よい。かかる方法によって、本発明ではどのような気温
でも歪みのない画像を得ることが可能となる。

【０１９９】本発明の画像生成装置（請求項１８の一
例）では、カメラから死角となる部分の画像を見る方法
を提供する。例えば、カメラが車体の上部に取付けてあ
り、前記カメラの取り付け位置下方の車体の形状が車体
外部に向って凸面である場合、カメラ直下の画像を見る
ことは物理的に不可能である。しかし、本発明では、車
両の移動方向および移動距離によって、以前に取得した
画像を現在の位置から見た画像に変換することが可能で
ある。

【０２００】本発明の画像生成装置（請求項１９の一
例）では、カメラの特性を示すカメラパラメータの補
正、すなわちカメラキャリブレーションを実施しなけれ
ばならない状況を検知し、その旨を運転者に提示するこ
とが可能である。これにより運転者がカメラパラメータ
の補正を長期間し忘れることを防ぐ効果が得られる。

【０２０１】次に、別の本発明の一実施例を説明する。
図２７，図２８は、本発明（請求項３２、請求項３
４）の一例を示す。

【０２０２】図２７（ａ）に示すように、本発明による
画像生成装置は、基本構成の一例として、車両周囲の状
況を把握するために取付けられた複数台のカメラ101A、
前記カメラの特性を示すカメラパラメータを格納してお
くカメラパラメータテーブル102A 、車両を基準とした
座標系に空間モデルを作成する空間モデル作成手段 103
A、前記カメラより入力された画像を前記空間モデルに
マッピングするマッピング手段104A 、視点を設定し、
前記視点から見た一枚の画像を、前記マッピング手段10
4Aにて作成されたデータから合成する視点変換手段105
A、前記視点変換手段105Aにて変換された画像を表示す
る表示手段106Aからなる構成を有する。

【０２０３】図２７(b)は本発明の画像生成装置の構成
例を示したブロック図である。図２７(b)の例では、図
２７(a)に示した画像生成装置に対して、さらに、車両
周囲の状況として、少なくとも車両周囲に存在する障害
物までの距離を計測する障害物検知手段108A を付加し
た構成となっている。

【０２０４】次に、本発明を構成する各構成要素につい
ての詳細を説明する。カメラは、車両の周囲の状況な
ど、監視すべき空間の画像を撮り込むテレビカメラであ
る。その詳細は、上記図７で詳しく説明した。

【０２０５】本発明によるカメラパラメータテーブル10
2Aは、カメラパラメータを格納するテーブルである（上
述したカメラパラメータテーブル103と同様である）。

【０２０６】カメラパラメータテーブル102Aに格納され
ているデータは上述した図９と同じである。

【０２０７】本発明では、視点変換手段105Aで設定した
所望の視点に仮想のカメラを設置したと仮定し、その仮
想カメラからの画像を計算によって求めることが可能で
ある。該計算方法については後で詳述する。

【０２０８】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【０２０９】そこで、レンズ歪みは、画像合成時に問題
が生じるほどの変化は起こらないと仮定し、歪み補正前
の画像と、歪み補正後の画像で、それぞれの画素の座標
値の対応関係を予め計算しておく。そして前記計算結果
をテーブルやマトリクスなどのデータ形式でメモリ内に
保持し、それを用いて歪み補正を行うなどの方法が、高
速な補正処理として有効である。

【０２１０】本発明による空間モデル作成手段 103A
は、たとえば、車両を基準とした座標系に空間モデルを
作成する。空間モデルとは、後述するマッピング手段10
4Aにおいて、カメラからの画像を３次元空間座標系にマ
ッピングする平面もしくは曲面もしくは平面および曲面
からなるモデルである。図２８(a)〜(c)は、本発明によ
る空間モデルを鳥瞰図的に示した概念図で、それぞれ、
図２８(a)および図２８(d)は平面のみで構成された空間
モデルの例、図２８(b)は曲面のみで構成された空間モ
デルの例、図２８(c)は平面および曲面で構成された空
間モデルの例、を表している。

【０２１１】図２８(a)の空間モデルでは以下に説明す
るように５つの平面からなる空間モデルを示している。平面１：路面（すなわち車両のタイヤに接している）と
しての平面平面２：車両の前方に立てられた路面（平面１）に垂直
な平面平面３：車両の進行方向に向って左側方に立てられた路
面（平面１）に垂直な平面平面４：車両の後方に立てられた路面（平面１）に垂直
な平面平面５：車両の進行方向に向って右側方に立てられた路
面（平面１）に垂直な平面本空間モデルにおいては、平面２〜５は隙間なく立てら
れ、車載カメラから撮影された画像は、該平面１〜平面
５のいずれかにマッピングされる。また平面２〜５につ
いては車両からどの程度の距離が必要か、またどの程度
の高さが必要かは、車載カメラの画角や設置場所に応じ
て決めれば良い。

【０２１２】図２８(b)のモデルでは、お椀型をした曲
面を空間モデルに用いている。車両は、お椀型に形成さ
れた空間モデルにおいてお椀の底に当たる部分に設置さ
れ、車載カメラから撮影された画像は、お椀の内側の面
にマッピングされる。お椀型のモデルとしては、球や、
放物線の回転体、懸垂線の回転体などが考えることが、
いずれにしろ空間モデルを少数の数式で表すことが出来
れば、マッピングの計算は高速で行うことが可能とな
る。

【０２１３】図２８(ｃ)のモデルでは、以下で説明する
平面と曲面を組み合わせて構成された空間モデルを示し
ている。

【０２１４】平面：路面（すなわち車両のタイヤに接し
ている）としての平面曲面：車両を取り囲むように前記平面上に置かれた円柱
状又は楕円柱状の壁本空間モデルにおいて、曲面をどういう形状にするか、
また車両からどの程度の距離をおいて設置するかは、車
載カメラの画角や設置場所に応じて決めれば良い。

【０２１５】かくの例のごとく、車両の周囲に、車両を
囲い込むごとく壁を立てた空間モデルは、次に示す効果
が得られる。すなわち、画像中の物体がすべて道路面上
にあるものと仮定して、カメラ画像を路面上にマッピン
グすると、路面から上方に高さ成分を持つ物体に関して
は、大きくゆがんでしまうという問題があった。これに
対し、本発明によって導入された空間モデルでは、まず
路面に垂直もしくはほぼ垂直な平面もしくは曲面によっ
て車両を囲い込む。これらの面を車両から離れ過ぎない
ように設定すれば、高さ成分を持つ物体がこれらの面に
マッピングされるため、歪みを小さくすることが可能と
なる。しかもマッピングした際の歪みが小さいため、２
台のカメラ画像の接合部でのずれも少なくなることが期
待できる。

【０２１６】本発明によるマッピング手段 104Aは、カ
メラパラメータに基づいて、車載カメラからの入力画像
を構成する各々の画素を、本発明による空間モデル作成
手段103によって作成された空間モデルにマッピングす
る。すなわち、車載カメラから撮影された各々の画像を
空間モデルに透視投影する。

【０２１７】図２９は、画像を含む平面(以下、視平面
という)に設定したＵ−Ｖ座標系の点の座標を、ワール
ド座標系の点の座標に変換することにより、車載カメラ
画像を空間モデルを構成する面にマッピングする説明の
補助として使用する図である。

【０２１８】マッピングの説明をする前に、まず視平面
座標をワールド座標へ変換する方法について説明する。
該変換は下記の手順で行われる。

【０２１９】１．視平面がＺ＝f(カメラの焦点距離)
で、該平原上にあるカメラ画像の中心をＺ軸が通るよう
な座標系を設定する。

【０２２０】これを視平面座標系と呼ぶ(Ｏeを原点とす
る)。

【０２２１】２．図２９における点Ｐv(u,v)(この点が
カメラ撮影画像の一画素に対応する)の視平面座標系で
の座標をＰe(Ｘe,Ｙe,Ｚe)とすると、ＰeとＰvの関係
は、カメラの焦点距離ｆを用いて、式(1)式(2)のように
表すことが出来る（但し、この場合はＺe＝ｆとな
る）。

【０２２２】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。３．視平面座標系とワールド座標系とを対応づける計算
式を求める。ここでワールド座標系を中心にして、視平
面座標系が空間的に以下のような関係にあるとする。・視平面座標系原点Ｏeからワールド座標系原点Ｏwへの
ベクトルを (tx, ty, tz)とする。つまり２つの座標系
の位置的なずれは、 (tx, ty, tz)だけ平行移動するこ
とによって無くなる。

【０２２３】なお、ワールド座標系におけるカメラ位置
が既知であれば、該位置の座標の符号を反転すれば (t
x, ty, tz)は容易に求まる。・視平面座標系のそれぞれの軸の向きをワールド座標系
にぴったり合わせるための回転行列を

【０２２４】

【式０】

【０２２５】とする。該回転行列は、カメラパラメータ
テーブル102Aのうち、向きを表すパラメータによって、
Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合
成することによって容易に求めることが可能である。

【０２２６】さて、ある点をワールド座標系でＰw(Ｘw,
Ｙw,Ｚw)で表し、また、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)
で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚ
w)、 (tx, ty, tz)、前記回転行列の間には式(8)の関係
が成り立つ。これら式(1)式(2)式(8)を用いることによ
り、視平面上での画素Ｐv(u,v)を、ワールド座標系での
座標Ｐw(Ｘw,Ｙw,Ｚw)に変換することが出来る。

【０２２７】

【式１】

【０２２８】

【式２】

【０２２９】

【式８】

【０２３０】

【式９】

【０２３１】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表される。入力画像を構成する各々の画素
を前記空間モデルにマッピングするためには、入力画像
の全ての画素について、以下の手順で処理を行えばよ
い。図３０は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３０に従ってマッピングの
処理内容を説明する。

【０２３２】１．カメラ画像の映っている視平面に設定
したＵ−Ｖ座標系の座標として表される前記画素を、ワ
ールド座標系における座標に変換する。変換には、例え
ば直前に示した式(1)式(2)式(8)を用いれば良い。

【０２３３】２．カメラ視点の座標Ｏeを端点とし、前
記画素Ｐw (＝Ｐe) の座標を通る半直線と前記空間モデ
ルを形成する面との交点Ｐs(Ｘs,Ｙs,Ｚs)を求める。

【０２３４】３．該交点Ｐsに、前記画素の色をマッピ
ングする。すでに他のカメラ画像からの色が点Ｐsにマ
ッピングされている場合、点Ｐsの色を決める方法とし
ては例えば以下のような方法を用いれば良い。

【０２３５】・すでにマッピングされている色とマッピ
ングしようとする色を同じ割合で混合する。

【０２３６】・すでにマッピングされている色とマッピ
ングしようとする色のうち、明度の高いもしくは低いも
しくは中間の色を用いる。・すでにマッピングされている色とマッピングしようと
する色のうち、彩度の高いもしくは低いもしくは中間の
色を用いる。

【０２３７】上記１〜３までの処理を、全てのカメラに
ついて実施すれば、独立した全てのカメラからの画像
を、同じ一つの３次元空間内の空間モデル上にマッピン
グすることができる。

【０２３８】本発明による視点変換手段 105 は、車載
カメラの画像がマッピング手段 104 によって空間モデ
ルにマッピングされた結果を、任意の視点に設置したカ
メラから撮影した画像として合成する。その方法の概要
は、マッピング手段 104 で行った処理の逆の処理を行
うことである。

【０２３９】すなわち、マッピングされた画像を構成す
る点Ｐs(Ｘs,Ｙs,Ｚs)を、任意の視点にカメラを設置し
て撮影した画像面Ｐv(u,v)に投影する変換を求めること
に相当する。

【０２４０】従って、この変換を計算する式は、先に詳
述した式(1)式(2)および式(9)（式(8)の逆変換に相当す
る）で表すことが可能である。

【０２４１】すなわち、Ｐs(Ｘs,Ｙs,Ｚs)を入力し前記
３つの式によってＰv(u,v)を計算する。この計算では、
カメラのカメラパラメータは任意の所望の値を指定でき
る。つまりそれは所望の視点に所望の角度でカメラを置
くことができることを意味する。

【０２４２】ところで、視点変換手段１０５Aにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デルの点に、色がマッピングされていない場合も考えら
れる。その場合は、物体が存在しない部分であると識別
可能な色、例えば黒に置き変えるなどすればよい。

【０２４３】さて、図２８(a)〜(c)の例では、車両を面
で完全に囲い込む空間モデルを示したが、実際には車両
の全周囲を障害物が取り囲む場合は少なく、自車の周囲
に多くて数台の車両が存在する程度が普通である。係る
状況を鑑みると、自車の周囲を完全に囲い込む空間モデ
ルを導入する代わりに、必要に応じて、すなわち、自車
の周囲に障害物が存在している状態が分かれば、その場
合にのみ前記障害物の前に、それをマッピングするつい
たてのような面を作成すればよい。

【０２４４】図２８(ｄ)は、該ついたて面を導入した空
間モデルの一例を鳥瞰図的に示した概念図で、図２８
(ｄ)の空間モデルでは、路面平面と、路面上に車両の左
後方及び右後方にそれぞれ一つづつ、ついたてとしての
平面を立てた空間モデルを示した概念図である。該つい
たて面は、車両に対して予め決められた場所に立ててお
くことももちろん可能であるが、前述のごとく、車両の
周囲に面から上方に高さ成分を持つ障害物が発見された
場合にのみ、ついたて面を立てるようにしても良い。そ
の際に、どの位置にどの向きについたて面を立てるかを
決める必要があるが、その一例として障害物の検知結果
に従ってついたて面を設置する方法を次に示す。

【０２４５】係るついたて面設置の処理を実行するため
に、本発明による障害物検知手段 108 は、車両周囲の
状況として、少なくとも車両周囲に存在する障害物まで
の距離を距離センサ 107Aを用いて計測する。

【０２４６】距離センサ 107Aとしては様々なものがあ
るが、車載用としては、レーザー光、超音波、ステレオ
光学系、カメラのフォーカス（目標物体にフォーカスを
合わせた時の焦点距離から、カメラと前記物体までの距
離を計算する）などを使用することが可能である。該距
離センサ107A、レーザー光、超音波などを用いる場合で
は、車両の周囲に多数取付けるのが望ましい。一方、ス
テレオ光学系やカメラのフォーカスを用いる場合は、車
載カメラに併設してもよいが、車載カメラの一部をその
まま利用するとコストを安価にすることが可能となる。

【０２４７】次に該障害物検知手段 108Aの処理結果に
基づいて、ついたて面を含む空間モデルを作成する方法
の一例を示す。図３１は障害物センサを用いて車両と該
車両の周囲に存在する障害物との距離に基づいて、３次
元空間内についたて面を立てる方法を示す概念図であ
る。本例では、車載の各々のカメラに該障害物検知セン
サが併設されており、該障害物センサはカメラの視線と
同じ方向を向き、該方向に存在する障害物との距離を計
測するものとする。また図３１において使用しているパ
ラメータは以下の通りである。

【０２４８】(px0,py0,pz0)：距離センサ 107 １の路面
平面上での座標 (dx,dy,dz) ：距離センサ 107 １のセンシングの向きを
示す方向ベクトルdc ：距離センサ107 １と障害物との
路面平面上での距離 (px1,py1,pz1)：(px0,py0,pz0)から(dx,dy,dz)の方向に
距離dcだけ移動した点以下、図３１に従って空間モデルを作成する手順を説明
する。

【０２４９】１．障害物との距離dcを計測し、その距離
が予め設定されている所定の距離より近いかどうかを調
べる。前記所定の距離より離れていれば何もしない。

【０２５０】２．もし所定の距離内であれば、以下の手
順でついたて平面を求める。

【０２５１】２-１．予め分かっている距離センサ107A
の座標値から(px0,py0,pz0)を求める。

【０２５２】２-２．予め分かっている距離センサ 107A
の向き(dx,dy,dz)と、障害物までの距離dcから、(px1,p
y1,pz1)を求める。

【０２５３】２-３．法線ベクトル(dx,dy,dz)を持ち、
点(px1,py1,pz1)を通る平面（式(15)）を、ついたて面
とする。

【式１５】 dx(x-px1) + dy(y-py1) + dz(z-pz1) = 0 ３．前記ついたて面は、必要がなくななれば取り除く。

【０２５４】４．全ての距離センサ 107 について、上
記１から３までの処理を終了していれば、空間モデル作
成処理を終了する。まだ未チェックの距離センサ 107A
があれば、該距離センサ 107Aについて、上記１から３
までの処理を実行する。

【０２５５】図３１では、カメラ１、２から入力された
画像が、それぞれ空間モデルを構成するついたてとして
の平面１、平面２にマッピングされている様子が示され
ている。マッピングに際して、ついたて面の幅の値をい
くらにするかが合成画像のクオリティを決める重要な要
素の一つとなる。障害物としてもっとも一般的なのは他
の車両なので、例えば自車と他の車両との距離がついた
て面を作成する距離になったとき、前記他の車両の２／
３以上がついたて面にマッピングされるように幅を設定
するという方針で、ついたての幅を決めるなどすればよ
い。

【０２５６】また、ついたて面を作成するかどうかを決
める条件としての、自車から障害物までの距離は、経験
的に 50cm〜1m の値を設定すると良い。また、ついたて
面を取り除く場合の条件としては、以下に列挙するよう
な方法を、単独で、もしくは組み合わせて用いれば良
い。

【０２５７】・障害物との距離が所定の距離より遠ざか
った場合・運転者が、なんらかの方法で該画像生成装置を初期化
した場合以上、本発明による画像生成装置を構成するそれぞれの
手段の実施例を説明した。次に、本発明による画像生成
装置の全体の処理の流れについて説明する。図３２は、
本発明による画像生成装置の全体の処理の流れをフロー
チャートの形式で示したものである。なお画像生成装置
の構成例としては図２７(b)の構成を想定する。

【０２５８】１．(901) 本装置を正常に動作させるため
に、車載カメラのそれぞれについて、正しいカメラーパ
ラメータをカメラパラメータテーブル102Aに入力してお
く。

【０２５９】２．(902) 車載カメラで車両周囲の画像を
撮影する。

【０２６０】３．(903) 障害物検知手段 108Aにて、距
離センサ107Aで車両周囲に存在する障害物までの距離を
計測する。

【０２６１】４．(904) 空間モデル作成手段103Aにて、
空間モデルを作成する。

【０２６２】５．(905) マッピング手段104Aにて、車載
カメラからの画像を、空間モデルにマッピングする。

【０２６３】６．(906) 空間モデルにマッピングされた
画像を参照して、運転者が設定した視点から見た画像を
合成する。

【０２６４】７．(907) ６．の処理で合成された画像を
表示する。

【０２６５】８．(908) 上記２．〜７．の処理を必要が
なくなるまで繰り返す。例えば運転者が車両を駐車スペ
ースに入れようとしている時は、前記２．〜７．の処理
を繰り返し、駐車が完了すれば本処理を終了すればよ
い。

【０２６６】以上のように、本発明では限られた台数の
カメラからの画像を用いて任意の視点からの画像が合成
する。その合成の際に、従来使用されてきた路面平面一
つだけの空間モデル以外の空間のモデルを導入し、この
空間モデルを用いることにより、高さをもつ物体も歪み
を少なくして空間にマッピングされる。従って、高さを
もつ物体が２台のカメラ画像に映っている場合、それぞ
れの画像を空間モデルにマッピングしたときの前記物体
の重なりのずれは、平面モデルに比べて大きく改善さ
れ、視点変換して合成した画像をクオリティが向上し、
運転者は、前記合成画像によって周囲の状況がよりいっ
そう認識しやすくなり、適確な運転操作を行えることが
期待できる。

【０２６７】なお、これまでの説明は、車両周囲の状況
を車両から検知し、車両を基準とした座標系で説明して
きたが、たとえば、駐車場等に設置のセンサが駐車場の
状況を検知し、駐車場を基準とした座標系での周囲状況
と、車両の駐車場における位置関係を、車両に通知する
ことにより、これまで述べた処理を実施することが可能
である。

【０２６８】以下、別の本発明の一実施例を説明する。
なお、本実施例においては、車両の周囲を監視するカメ
ラを設置し、前記カメラで獲得した画像を運転席近くに
設置したモニターテレビに表示させる監視装置を対象と
して説明する。

【０２６９】図３３（ａ）は本発明（請求項３６の一
例）に係る監視装置の基本構成例を示したブロック図で
ある。

【０２７０】本実施例による車両周囲監視装置は、基本
構成として、車両周囲の状況を把握するために取付けら
れた複数台のカメラ１０１B、前記カメラの特性を示す
カメラパラメータを収納しておくカメラパラメータテー
ブル１０２B、車両周囲の状況として、例えば白線や路
面に描かれた矢印、文字、また横断歩道など、路面上の
特徴を検知する路面特徴検出手段１０３B、たとえば車
両を基準とした座標系を設定し、該座標系に、前記路面
特徴検出手段１０３Bの処理結果に応じた空間モデルを
作成する空間モデル作成手段１０４B、前記カメラより
入力された画像を前記空間モデルにマッピングするマッ
ピング手段１０５B、視点を設定し、前記視点から見た
一枚の画像を、マッピング手段１０５Bにて作成された
データから合成する視点変換手段１０６B、視点変換手
段１０６Bにて変換された画像を表示する表示手段１０
７Bからなる構成を有する。

【０２７１】図３３（ｂ）は、図３３（ａ）に示した監
視装置に対して、さらに、車両の移動方向を検出する移
動方向検出手段１０９B、および車両の単位時間におけ
る移動距離を検出する移動距離検出手段１０８Bでの処
理結果を用いて、前記路面上の特徴の現在位置を計算
し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。

【０２７２】図３３（ｃ）は、図３３（ｂ）に示した監
視装置に対して、さらに、表示手段１０７Bにおいて路
面特徴検出手段１０３Bにおける処理結果を表示しつつ
前記処理結果を修正する特徴修正手段１１０Bを備えた
構成を有することにより、処理の実行中に路面上の特徴
がずれた場合に、該ずれを修正することが可能となる。

【０２７３】次に、本実施例を構成する各構成要素につ
いての詳細を説明する。

【０２７４】カメラは、車両の周囲の状況など、監視す
べき空間の画像を撮り込むテレビカメラである。このカ
メラは、大きな視野を得ることができるよう、通常、画
角が大きいものを使うのが良い。車両へのカメラの取り
付け例は、図７で説明したとおりである。

【０２７５】カメラパラメータテーブル１０２Bは、カ
メラパラメータを格納するテーブルである。その内容は
上述したとおりである。

【０２７６】カメラパラメータテーブル１０２Bに格納
されているデータは表形式で示されるが、それは図９に
示すものである。

【０２７７】同様に、仮想カメラのパラメータは図９の
カメラパラメータテーブル１０２の８行目に記載されて
おり、その内容は、仮想カメラとは、座標（０、ｙ１、
０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ
−Ｚ平面に対して−２０度の角度をなし、焦点距離は
ｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。

【０２７８】本実施例では、視点変換手段１０６Bで設
定した所望の視点に仮想のカメラを設置したと仮定し、
その仮想カメラからの画像を計算によって求めることが
可能である。該計算方法については後で詳述する。

【０２７９】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【０２８０】そこで、レンズ歪みは、画像合成時に問題
が生じるほどの変化は起こらないと仮定し、歪み補正前
の画像と、歪み補正後の画像で、それぞれの画素の座標
値の対応関係を予め計算しておく。そして前記計算結果
をテーブルやマトリクスなどのデータ形式でメモリ内に
保持し、それを用いて歪み補正を行うなどの方法が、高
速な補正処理として有効である。

【０２８１】空間モデル作成手段１０４Bは、車両を基
準とした座標系を設定し、この座標系に、路面特徴検出
手段１０３Bの処理結果に応じた空間モデルを作成す
る。

【０２８２】図３４（ａ），（ｂ）は、本発明による空
間モデルを示した概念図である。

【０２８３】本図では、路面上の特徴として、駐車場に
引いてある駐車スペースを示す白線の端点もしくは白線
同士が交わって出来る角を検知し、それらの点を基準に
して図に示すような５つの平面を用いて空間モデルを構
成している様子を示しており、図３４（ａ）は該空間モ
デルを鳥瞰図的に示した概念図、図３４（ｂ）は図３４
（ａ）において、車両の上方から下向きに透視投影され
た図である。図３４（ｂ）の例では、路面上の特徴の例
として、特徴点１〜４までを示している。以下、路面上
の特徴もしくは特徴点は、これら４つの特徴点を示すも
のとする。

【０２８４】但し、４つのいずれか指すときは「特徴点
１」というように番号を付けて指定する。そして本実施
例では、該５つの平面をそれぞれ以下のように決めてい
る（ここでは、左右は車両の後ろ向き方向に対して決め
ている）。平面１：路面（すなわち車両のタイヤに接している）と
しての平面平面２：左端が平面２に接し平面１に垂直な平面平面３：特徴点１と特徴点２を結ぶ線分に沿っており、
平面１に垂直な平面平面４：特徴点２と特徴点３を結ぶ線分に沿っており、
平面１に垂直な平面平面５：特徴点３と特徴点４を結ぶ線分に沿っており、
平面１に垂直な平面平面６：右端が平面５に接し平面１に垂直な平面さて、空間モデル作成手段１０４Bにおいて、３次元空
間にこれらの平面（但し路面と一致する平面１を除く）
を作成するにあたっては、前記特徴点を検出する必要が
ある。路面特徴検出手段１０３Bは、係る路面上の特徴
を抽出するものである。

【０２８５】図３５（ａ）〜（ｄ）は、路面特徴検出手
段１０３Bで特徴点を抽出する処理の例を説明するため
の図、図３６は特徴点の抽出処理の流れを示すフローチ
ャートであり、以下、これらの図を用いて、路面特徴検
出手段１０３Bでの処理手順を説明する。

【０２８６】処理７０１：車載カメラのいずれかから
駐車スペースを示す白線を含む画像を撮影する。図３５
（ａ）は、該撮影された画像を示している。

【０２８７】以下の２つの処理を行い、特徴点の位置を
推定する。

【０２８８】処理７０２：車載カメラから撮影された
画像を適当なしきい値で２値化し、それを横方向および
縦方向に走査し、走査ラインにおける白線に対応する画
素の数を頻度とするヒストグラムを、縦方向、横方向の
それぞれについて得る。該ヒストグラムの結果から特徴
点の存在する位置を推定する。図３５（ｂ）はその処理
例を示したもので、・縦方向に走査して得られたヒストグラムから、特徴点
のＹ座標を推定・横方向に走査して得られたヒストグラムから、特徴点
のＸ座標を推定している様子を示している。

【０２８９】処理７０３：車載カメラから撮影された
画像のエッジ抽出処理を行い、続いて前記エッジ処理結
果にさらに直線抽出処理を実施し、得られた直線の交点
もしくは端点を特徴点として推定する。図３５（ｃ）
は、その処理例を示したもので、エッジ抽出としては、
例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。

【０２９０】処理７０４：上記処理７０２、処理７０
３で得られた特徴点の推定値を用いて特徴点を決定す
る。特徴点の決定の仕方としては、例えば、処理７０
２、処理７０３のそれぞれの方法で得られた特徴点の中
間点を取るなどすればよい。尚、処理７０２、処理７０
３はいずれを先に実行しても同じ結果が得られる。

【０２９１】処理７０５：カメラ画像から得られた特
徴点の３次元座標系における座標を求める。この座標か
ら、前記空間モデルを構成する平面を求めることが可能
となる。

【０２９２】マッピング手段１０５Bは、カメラパラメ
ータに基づいて、車載カメラからの入力画像を構成する
各々の画素を、空間モデル作成手段１０４Bによって作
成された空間モデルにマッピングする。すなわち、車載
カメラから撮影された各々の画像を空間モデルに透視投
影する。

【０２９３】図２９は、画像を含む平面に設定したＵ−
Ｖ座標系の点の座標を、ワールド座標系の点の座標に変
換することにより、車載カメラ画像を空間モデルを構成
する面にマッピングする説明の補助として使用する図で
ある。この詳細については、すでに説明した。

【０２９４】なお、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に図３０におい
て説明した。

【０２９５】視点変換手段１０６Bは、車載カメラの画
像がマッピング手段１０５Bによって空間モデルにマッ
ピングされた結果を、任意の視点に設置したカメラから
撮影した画像として合成する。その方法の概要は、上述
した視点変換手段１０５Aに関して説明した。

【０２９６】ところで、視点変換手段１０６Bにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デルの点に、色がマッピングされていない場合も考えら
れる。その場合は、物体が存在しない部分であると識別
可能な色、例えば黒に置き換えるなどすればよい。

【０２９７】さて、路面特徴検出手段１０３Bによって
検出された特徴点の位置は、車両の動きとともに変化す
る。空間モデルは特徴点の３次元座標を基に作成される
ので、車両の動きによって特徴点の位置が変化する毎に
空間モデルを作り直す必要がある。すなわち車両が移動
している間は常に、直前に説明した手法などで特徴点の
位置を求める必要があるが、画像から特徴点を求める処
理は一般的に計算量が多いため、コストが高くつく。こ
れを回避するための方法として、車両の動く速さと向き
をつねに計測し、その計測結果を用いて特徴点の座標を
計算すればよい。

【０２９８】本発明（請求項３８の一例）の車両周囲監
視装置は、係る処理を実行するために、車両の移動方向
を検出する移動方向検出手段１０９Bと、車両の単位時
間における移動距離を検出する移動距離検出手段１０８
Bを備え、移動方向検出手段１０９Bおよび移動距離検出
手段１０８Bでの処理結果を用いて、前記路面上の特徴
の現在位置を計算する。

【０２９９】図３７は、本発明（請求項３８の一例）の
車両周囲監視装置において、車両の動きにともなって特
徴点の位置計算を行う処理の手順を示すフローチャー
ト、図３８は、前記処理の説明の補助に用いる概念図で
ある。

【０３００】図３８は、ある一定時間の間に車両が移動
したとき、前記一定時間の開始時刻（以下ｔ１）と終了
時刻（以下ｔ２）における車両の位置、および向きの関
係を示している。図３７および図３８を用いて前記処理
の手順を説明する。

【０３０１】処理９０１：ある一定時間における車両
の移動距離を検出する。本実施例では、移動距離は、時
刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の
間の直線距離で定義する。すなわち、図３８におけるＯ
１とＯ２の距離ということになる。

【０３０２】説明の都合上、図３８に記載のように、移
動距離をＯ１からＯ２へのベクトルを（ｔ′ｘ，０，
ｔ′ｚ）で表す。移動距離の検出方法としては、例えば
タイヤの回転数などによって計測する方法が用いられ
る。

【０３０３】処理９０２：前記一定時間における車両
の移動方向を検出する。本実施例では移動方向を、時刻
ｔ１における車両の向きに対して時刻ｔ２における車両
の向きがどれだけ変化したかの変化量として定義する。

【０３０４】説明の都合上、図３８に記載のように、向
きの変化量をＺ１軸とＺ２軸とのなす角度Θで表す。移
動方向の検出方法としては、例えばハンドルの回転角度
などによって計測する方法が用いられる。

【０３０５】処理９０３：時刻ｔ１から時刻ｔ２に至
る間の車両の移動距離および移動方向を用いて、ｔ１に
おいて取得した特徴点の座標をｔ２における特徴点の座
標に変換する上記式（５）を作成する。

【０３０６】但し、式（５）では時刻ｔ１から時刻ｔ２
に至る間の車両移動においては、完全に垂直成分の変化
がないもの、つまり路面が平坦であることを仮定してい
る。

【０３０７】式（５）において、ｘ１，ｙ１，ｚ１は、
時刻ｔ１において車体を中心にしたＸ１−Ｙ１−Ｚ１ワ
ールド座標系（原点Ｏ１）におけるある点の座標で、ｘ
２，ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中
心にしたＸ２−Ｙ２−Ｚ２ワールド座標系（原点Ｏ２）
における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ
２となる。

【０３０８】処理９０４：式（５）を用いて、時刻ｔ
１において合成した特徴点の座標を時刻ｔ２における特
徴点の座標に変換する。

【０３０９】車両の移動方向と移動距離が誤差なく計測
できれば、移動方向検出手段１０９と移動距離検出手段
と特徴位置計算手段を導入し、直前で説明した計算方法
によって、常に特徴点の正確な座標を得ることができ
る。しかしながら、車両の移動方向と移動距離を誤差な
く計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。

【０３１０】特徴修正手段１１０Bは、表示手段１０７B
において路面特徴検出手段１０３Bにおける処理結果を
表示しつつ、車両の乗員が特徴の修正を指示し、その指
示に従って路面の特徴位置を修正する。

【０３１１】図３９は、特徴修正処理を表示手段１０７
Bに表示している様子を示した概念図であり、また、図
４０は、特徴修正処理における処理の流れを示すフロー
チャートである。以下、これらの図を用いて、特徴修正
手段１１０Bでの処理手順を説明する。

【０３１２】処理１２０１：表示手段１０７Bにて、現
在の特徴点の位置を表示する。図３９の例では車載カメ
ラから撮影された各々の画像と空間モデルとをスーパー
インポーズし、それを上方から下向きに透視投影した画
像を表示している様子を示している。

【０３１３】処理１２０２：位置のずれている特徴点を
指定する。図３９の例では特徴点２および特徴点４がず
れている特徴点で、これらを指定する。指定にあたって
は、例えば表示装置にタッチパネルが装着されている場
合は指で表示画面を触れることによって容易に場所の指
定が可能である。

【０３１４】処理１２０３：前記ずれた特徴点の正しい
場所を指定する。正しい特徴点の場所はどういう場所で
あるかは、予め操作する人に知らせておく。

【０３１５】処理１２０４：修正すべき特徴点が残って
いれば、上記処理１２０１〜１２０３を引き続き繰り返
し、なければ特徴点の修正処理を終了する。

【０３１６】以上、本発明による車両周囲監視装置を構
成するそれぞれの手段の実施例を説明した。次に、本発
明による車両周囲監視装置の全体の処理の流れについて
説明する。図４１は、本発明による車両周囲監視装置の
全体の処理の流れを示すフローチャートである。なお、
車両周囲監視装置の構成例としては図３３（ｃ）の構成
に基づく。

【０３１７】処理１３０１：本装置を正常に動作させ
るために、車載カメラのそれぞれについて、正しいカメ
ラーパラメータをカメラパラメータテーブル１０２Bに
入力しておく。

【０３１８】処理１３０２：車載カメラで撮影した画
像から路面上の特徴点を抽出する。

【０３１９】処理１３０３：抽出した特徴点の画像内
の座標とカメラパラメータから該特徴点の３次元座標を
計算する。但し、車両周囲監視装置処理が実行中なら
ば、車両の移動方向および移動距離を検出した結果を用
いて、特徴点の座標の現在位置を計算する。

【０３２０】処理１３０４：車載カメラで車両周囲の
画像を撮影する。

【０３２１】処理１３０５：空間モデル作成手段１０
４Bによって処理４で撮影された画像を内に空間モデル
作成する。

【０３２２】処理１３０６：マッピング手段１０５B
にて、車載カメラからの画像を、空間モデルにマッピン
グする。

【０３２３】処理１３０７：空間モデルにマッピング
された画像を参照して、運転者が設定した視点から見た
画像を合成する。

【０３２４】処理１３０８：処理１３０７で合成され
た画像を表示する。

【０３２５】処理１３０９：表示画像において、特徴
点の位置がずれているかどうかを確認する。

【０３２６】処理１３１０：もしずれていれば特徴点
修正の割り込みを入れ、特徴点の修正処理を行う。特徴
点の修正の必要がなければ、処理１３０３に戻り、処理
を繰り返す。例えば運転者が車両を駐車スペースに入れ
ようとしている時は、前記処理１３０２〜１３０８を繰
り返し、駐車が完了すれば本処理を終了すればよい。

【０３２７】なお、本発明における車両の周囲の状況と
しては、上述した路面の特徴だけでなく、たとえば駐車
車両の状態等があげられる。その場合はその駐車車両の
状態に応じた空間モデルが生成される。

【０３２８】以上のように、本発明では限られた台数の
カメラからの画像を用いて任意の視点からの画像が合成
する。その合成の際に、単なる平面のモデルではなく、
カメラ画像から得られた路面上の特徴を利用して作成さ
れた汎用的な空間のモデルを導入している。平面を用い
た方法では、高さ成分がカメラ視線方向の奥行き成分に
変換されてしまうため、路面から上方に高さ成分を持つ
物体は、路面に投影すると大きく歪むことが問題であっ
たが、本発明の空間モデルを用いることにより、高さを
もつ物体も歪みを少なくして空間にマッピングされる。
従って、高さをもつ物体が２台のカメラ画像に映ってい
る場合、それぞれの画像を空間モデルにマッピングした
ときの前記物体の重なりのずれは、平面モデルに比べて
大きく改善され、視点変換して合成した画像のクオリテ
ィが向上し、運転者は、前記合成画像によって周囲の状
況がより一層認識しやすくなり、適確な運転操作を行え
ることが期待できる。また、前記空間モデルは単純な構
成を有しているため、装置のコストを低く押さえること
も可能となる。

【０３２９】次の別の本発明の画像生成装置を説明す
る。

【０３３０】以下、図を用いて本発明の一実施例を説明
する。図４２は本発明（請求項４２の一例）に係る画像
生成装置の構成例を示したブロック図である。

【０３３１】本実施例の画像生成装置は、基本構成とし
て、車両周囲の状況を把握するために取付けられた複数
台のカメラ１０１C、カメラ１０１Cの特性を示すカメラ
パラメータを格納しておくカメラパラメータテーブル１
０２C、車両の周囲の状況をモデル化した空間モデル１
０３Cにカメラ１０１Cより入力された画像をマッピング
するマッピング手段１０４C、所望の仮想視点から見た
一枚の画像を、マッピング手段１０４Cにて作成された
データから合成する視点変換手段１０５C、カメラ１０
１Cのパラメータを、各々のカメラで独立して修正する
カメラパラメータ修正手段１０６C、視点変換手段１０
５Cにて変換された画像を表示する表示手段１０７Cから
なる構成を有する。

【０３３２】次に、本実施例を構成する各構成要素につ
いての詳細を説明する。

【０３３３】カメラ１０１Cは、車両の周囲の状況な
ど、監視すべき空間の画像を撮り込むテレビカメラであ
る。図４３（ａ）は、車両へ３台のカメラを取り付けた
例を示した概念図であるが、図４３（ａ）の例のよう
に、車両への取り付け位置としては、車体屋根と側面も
しくは屋根と後面の境界部分にし、できるだけ画角が大
きいものを使うようにすると、視野が広くなりカメラの
台数も少数で済む。また左右のドアミラー部に後方を向
いたカメラを設置し、それらのカメラからの画像を車内
に設置したモニタに表示することによりドアミラーの機
能を果たすため、車両からドアミラーを除去することが
可能となり、デザイン的にも空力的にも優れた車を設計
することが可能となる。

【０３３４】カメラパラメータテーブル１０２Cは、カ
メラパラメータを格納するテーブルである。その詳細に
ついては上述したとおりである。

【０３３５】さて、まず該カメラパラメータテーブル１
０２Cの詳細な説明の準備として、車両を基準とした３
次元空間座標系を定義する。図４４は車両を中心とする
３次元空間座標系を示した概念図である。図４４の例で
は３次元空間座標系の例として、・車両の後面直下にある後面に平行な路面上の直線をＸ
軸・車両の後面中央に路面から垂直に伸びる軸をＹ軸・車両の後面中央を通り撮面に垂直な路面上の直線をＺ
軸とする３次元空間座標系を定義する。

【０３３６】また、本座標系においてカメラの向きは、・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ ・上記α、βの角度で回転した後の、カメラの光軸の周
りの回転角度をγ として、該α、β、γを用いて表すものとする。以下、
特に断る場合を除いて、３次元空間座標系もしくはワー
ルド座標系もしくは単に３次元空間は、本定義による３
次元空間座標系を指すものとする。

【０３３７】図４５は、カメラパラメータテーブル１０
２Cに格納されているデータを表形式で示したものであ
る。図４５に記載されている内容は、テーブルの左側の
列から順に以下の通りで、下記のごとく本テーブルで
は、２列目から９列目までの項目がカメラパラメータの
例を示している。・１列目：図４４の車載カメラの番号・２列目：３次元空間座標系におけるカメラ位置のＸ座
標・３列目：３次元空間座標系におけるカメラ位置のＹ座
標・４列目：３次元空間座標系におけるカメラ位置のＺ座
標・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす
角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす
角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離・９列目：レンズの半径方向の歪み係数κ１・１０列目：レンズの半径方向の歪み係数κ２例えば、図４４におけるカメラ１のパラメータは図４５
のカメラパラメータテーブル１０２Cの第２行目に記載
されており、その内容は、カメラ１は、座標（０、ｙ
１、０）の位置にあり、向きはＹ−Ｚ平面に対して０
度、Ｘ−Ｚ平面に対して−３０度の角度をなし、光軸周
りの回転はなく、焦点距離はｆ１、レンズ歪み係数κ
１、κ２はともに０である、ということが記されてい
る。

【０３３８】本実施例では、視点変換手段１０５C（後
で詳細を説明）によって、車載カメラから撮影した画像
を所望の仮想視点から見た画像に変換することが可能で
ある。仮想視点から見た画像とは、具体的には所望の場
所に好きな向きに仮にカメラを置いた場合に見えるはず
の画像のことである。従って仮想視点の視点パラメータ
は、前述のカメラパラメータと同じものを用いて表すこ
とが可能である。この際、仮想のカメラでは、レンズの
歪みは考慮する必要がないので、レンズ歪み係数κ１、
κ２はいずれも０とすることができる。

【０３３９】図４６は、視点パラメータテーブル102Cに
格納されているデータを表形式で示したものである。図
４６に記載されている内容は、テーブルの左側の列から
順に、２列目から９列目までの項目が視点パラメータの
例を示している。その内容は、仮想視点が、座標（０、
０、Ｚ２）の位置にあり、向きはＹ−Ｚ平面に対して０
度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周
りの回転はなく、焦点距離はｆ２、レンズ歪み係数κ
１、κ２はともに０である、ということは記されてい
る。

【０３４０】マッピング手段１０４Cは、カメラパラメ
ータに基づいて。車載カメラからの入力画像を構成する
各々の画素を空間モデル１０３Cにマッピングする。す
なわち、車載カメラから撮影された各々の画像を空間モ
デル１０３Cに透視投影する。

【０３４１】ここで空間モデル１０３Cとは、マッピン
グ手段１０４Cにおいて、カメラからの画像を３次元空
間座標系にマッピングする立体モデルを指し、例えば、
平面もしくは曲面もしくは平面および曲面からなるモデ
ルが使用される。本実施例では、説明を容易にするため
に、最も単純な空間モデル１０３Cの一例として路面と
しての平面モデルを用い、車載カメラからの画像を、該
平面モデルにマッピングする方法を説明する。

【０３４２】尚、実用に際しては該単純なモデルでは、
高さ成分を持つ物体の歪みが大きくなるなどの問題が生
じるため、平面をいくつか組み合わせた空間モデル、平
面と曲面を組み合わせた空間モデルなどを用いるとよ
い。さらには、車両の周囲の障害物の正確な立体モデル
を実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。

【０３４３】さて、マッピング手段１０４Cにおけるマ
ッピング処理の説明をする前に、まず視平面座標をワー
ルド座標へ変換する方法について説明する。図４７は、
画像を含む平面（以下、視平面）に設定したＵ−Ｖ座標
系の点の座標を、ワールド座標系の点の座標に変換する
ことにより、車載カメラ画像を空間モデル１０３Cを構
成する面にマッピングする説明の補助として使用する図
である。該変換は下記の手順で行われる。

【０３４４】手順１：視平面がＺ＝ｆ（カメラの焦点
距離）で、該平面上にあるカメラ画像の中心をＺ軸が通
るような座標系を設定する。これを視平面座標系と呼ぶ
（Ｏｅを原点とする）。

【０３４５】手順２：図７における点Ｐｖ（ｕ，ｖ）
（この点がカメラ撮影画像の一画素に対応する）の視平
面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とする
と、ＰｅとＰｖの関係は、カメラの焦点距離ｆを用い
て、上記式（１）式（２）のように表すことが出来る
（但し、この場合はＺｅ＝ｆとなる）。

【０３４６】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。

【０３４７】手順３：視平面座標系とワールド座標系と
を対応づける計算式を求める。

【０３４８】ここで、ワールド座標系を中心にして、視
平面座標系が空間的に以下のような関係にあるとする。・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへ
のベクトルを（ｔｘ，ｔｙ，ｔｚ）とする。

【０３４９】つまり、２つの座標系の位置的なずれは、
視平面座標系を（ｔｘ，ｔｙ，ｔｚ）だけ平行移動する
ことによって無くなる。尚、ワールド座標系におけるカ
メラ位置が既知であれば、該位置の座標の符号を反転す
れば（ｔｘ，ｔｙ，ｔｚ）は容易に求まる。・視平面座標系のそれぞれの軸の向きをワールド座標系
に合わせるための回転行列を上記式（１）とする。

【０３５０】該回転行列は、カメラパラメータテーブル
１０２Cのうち、向きおよびカメラの光軸周りの回転を
表すパラメータ（α、β、γ）によって、Ｘ，Ｙ，Ｚの
各軸まわりの回転行列を求め、それらを合成することに
よって容易に求めることができる。さて、ある点をワー
ルド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また、
視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとする
と、Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚ
ｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間には式
（８）の関係が成り立つ。

【０３５１】これらの式（１）式（２）式（８）を用い
ることにより、視平面上での画素Ｐｖ（ｕ，ｖ）を、ワ
ールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換
することが出来る。

【０３５２】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に図３０におい
て説明した。

【０３５３】なお、図４７では空間モデル１０３Cを形
成する面としてＸ−Ｚ平面を用いた場合の例を示してい
る。

【０３５４】視点変換手段１０５Cは、車載カメラの画
像がマッピング手段１０４Cによって空間モデル１０３C
にマッピングされた結果を、任意の仮想視点に設置した
カメラから撮影した画像に合成する。その方法の概要
は、上記視点変換手段１０５Ａに関して説明した。

【０３５５】ところで、視点変換手段１０５Cにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デル１０３Cの点に、色がマッピングされていない場合
も考えられる。その場合は、・物体が存在しない部分であると識別可能な色、例えば
黒に置き換える・当該点の色を、色がマッピングされている周囲の点か
ら、補間、補外などによって求めるなどすればよい。

【０３５６】カメラパラメータ修正手段１０６Cは、カ
メラのパラメータを、各々のカメラで独立して修正す
る。

【０３５７】図４８は、カメラパラメータ修正手段１０
６Cによってカメラパラメータを修正するための操作部
の構成例を示した概念図である。

【０３５８】本実施例では、・修正の対象となるカメラを選択する、カメラ選択ボタ
ン９０１C ・カメラの光軸方向に前後の移動をするズームボタン９
０４C（前向き、後向き）・カメラの光軸方向に垂直に
カメラを平行移動する平行移動ボタン９０２C（上下左
右）・カメラの向きの変更と、カメラの光軸周りの回転
を修正するジョイスティック９０３Cから構成され、（ａ）ズームボタン９０４C、平行移動ボタン９０２Cの
操作、カメラの３次元空間位置を、（ｂ）ジョイスティック９０３Cによって、カメラの回
転角度を、それぞれ変更することができ、上記（ａ）、（ｂ）の操
作によって、それぞれ当該カメラパラメータの以下の情
報が修正される。

【０３５９】（ａ）３次元空間座標系におけるカメラ位
置のＸ、Ｙ、Ｚ座標（ｂ）カメラの向きのうちＹ−Ｚ平面に対してなす角度
α カメラの向きのうちＸ−Ｚ平面に対してなす角度β カメラの光軸の周りの回転角度γ 修正された結果は、即座に式（８）に反映する。すなわ
ち、式（８）において、式０に示す回転行列が、新たな
カメラ角度を用いて再度計算されるとともに（ｔｘ，ｔ
ｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。
さすれば、変更後の式（８）を用いることによって修正
操作の結果としての画像が合成され、操作者は、自身の
修正の操作が正しいかどうかを一目で確認することが可
能である。

【０３６０】ところで、ジョイスティック９０３Cの操
作について、操作としては、（１）ジョイスティック９０３Cの軸を上下左右に動か
す、いわゆるカメラの光軸の向きの調整に相当する操作（２）ジョイスティック９０３Cの軸自身を回転させ
る、いわゆるカメラの光軸周りの回転の調整に相当する
操作の２通りは少なくとも必要不可欠である。

【０３６１】これらのジョイスティック９０３Cの操作
のうち、（１）については、ジョイスティック９０３C
の軸とカメラの光軸があたかも一致しているように、操
作内容とその結果の画面が表示できれば、操作者はカメ
ラの向きを直感的に把握し易い。

【０３６２】そのためには、ジョイスティック９０３C
の操作によって傾けられた軸の向きと同じようにカメラ
の光軸を設定するのではなく、ジョイスティック９０３
Cの軸を動かした向きとは反対の方向に同じだけカメラ
の向きを動かし、その状態での向きを変更させたカメラ
の向きとしてカメラパラメータテーブル１０２Cに書き
込めばよい。

【０３６３】また、かかる修正をあたかもバックミラー
を修正しているかのように行うためには、実際にカメラ
が置いてある場所でカメラの向いている方向の画像を見
ながら行うのが望ましい。そのために、本修正処理を行
う際には、表示のために設置する仮想視点は、修正しよ
うとするカメラの修正前の位置および向きと一致させる
ことが望ましい。そのようにすれば、修正によってカメ
ラの向きや位置が変わっていく様子が一目で把握でき、
また修正が完了すれば、完了前の仮想視点位置に戻せば
よい。

【０３６４】図４９は本発明にかかる画像生成装置の関
連する技術の構成例を示したブロック図である。

【０３６５】ここでは、図４２の構成に対して、さら
に、カメラ入力画像と合成画像との間の画素の対応づけ
関係を保持するマッピングテーブル１０８Cを備えてい
る。

【０３６６】図５０は、マッピングテーブル１０８Cを
表形式で示した概念図である。テーブルは、表示手段１
０７Cにて表示する画面の画素数分のセルから構成され
ている。すなわち、・表示画面の横画素数がテーブルの列数・表示画面の縦画素数がテーブルの行数になるように、テーブルが構成される。そして、それぞ
れのセルは、・カメラ番号・前記カメラで撮影された画像の画素座標をデータとして持つ。例えば図５０の左上のセルは表示
画面での左上、すなわち（０、０）の部分を示してお
り、マッピング手段１０４Cは、前記セルに格納されて
いるデータ内容（１、１０、１０）から、「１番カメラ
で撮影された画像の画素（１０、１０）のデータを、表
示画面（０、０）に表示する」という処理を行う。

【０３６７】ところで、マッピングテーブル１０８Cを
作成するためには、カメラ入力画像と合成画像との間の
画素の対応づけを計算する必要があるが、この計算は、
マッピング手段１０４Cおよび視点変換手段１０５Cによ
って容易に計算できる。より具体的には、全てのカメラ
について以下の１〜２の処理を行えば良い。１．カメラを一つ決め、そのカメラ番号をＣｎとする。２．該カメラ画像を構成する全ての画素に対して以下の
２．１〜２．３の処理を実施する。

【０３６８】２．１マッピング手段１０４Cにより該
画素（座標を座標１とする）を空間モデル１０３Cにマ
ッピングする。

【０３６９】２．２視点変換手段１０５Cにより、
２．１でマッピングされた画素を仮想視点から見たとき
の視平面での座標（座標２とする）を求める。

【０３７０】２．３マッピングテーブル１０８Cの座
標２に対応するセルに、（Ｃｎ、座標１）を組にしたデ
ータを書き込む。但し、それぞれのカメラ画像の表示領
域が決められていれば、座標２がＣｎの表示領域である
場合にのみ、データを書き込むようにする。

【０３７１】マッピングテーブル１０８Cが作成されて
いる場合は、表示手段１０７Cは、マッピング手段１０
４Cおよび視点変換手段１０５Cでの処理結果を用いて、
合成画像を表示するのではなく、該テーブルを用いて、
カメラ画像を表示画像に直接置き換えるようにする。こ
れにより複数カメラ画像の合成処理の高速化が可能とな
る。

【０３７２】以上、本発明による画像生成装置を構成す
るそれぞれの手段の実施例を説明した。最後に、本発明
による画像生成装置における修正処理の流れを説明す
る。

【０３７３】図５１は、カメラパラメータの修正処理の
流れを示すフローチャート、図５２及び図５３は、カメ
ラパラメータの修正処理の説明の補助に使用する概念図
で、図５２（ａ），（ｂ）は、カメラパラメータ修正時
の表示画面を、図５３（ａ），（ｂ）は、カメラパラメ
ータ修正時以外（すなわち通常時）の表示画面を示す。

【０３７４】処理１２０１：カメラ選択ボタン９０１C
などで修正対象となるカメラを選択する。その際には画
面上には、図５３（ａ）のごとく、合成画像がずれてい
る様子が表示されている。

【０３７５】処理１２０２：仮想視点を、選択されたカ
メラの位置・向きにあわせて変更し、画像を合成する。
仮想視点が変更されると、画面は図５２（ａ）のごと
く、選択されたカメラの視点位置からの画像が表示さ
れ、該視点位置からのカメラのずれの様子が把握できる
ようになる。

【０３７６】処理１２０３：ズームボタン９０４C、平
行移動ボタン９０２C、ジョイスティック９０３Cを用い
て、カメラの３次元空間位置とカメラの向きを修正す
る。該修正処理中は、仮想視点は固定したままにする。
修正がうまくできれば、画面は、図５２（ｂ）のごと
く、ずれのない様子が表示される。

【０３７７】処理１２０４：当該カメラの修正が終了す
ると、修正後のカメラパラメータをカメラパラメータテ
ーブル１０２Cに書き込む。

【０３７８】処理１２０５：他に修正の必要があるカメ
ラがあれば、続いて前記カメラを選択し、上記処理１２
０１〜１２０４を繰り返す。無ければ次の処理１２０６
に進む。

【０３７９】処理１２０６：処理１２０２で変更された
仮想視点を、該カメラ修正処理前の仮想視点に戻し、画
像を合成する。その合成の結果、画面は、図５２（ｂ）
のごとく、ずれのない画像が表示されており、その確認
でもってカメラパラメータ修正処理を終了する。

【０３８０】なお、図５２，図５３の概念図に示したご
とく、各々の車載カメラからの画像を接合する部分にお
いては、該接合部分に、見た目に違和感を与えない程度
のマーカ（例えば線）などを印しておくと、どのカメラ
の画像がどこに表示されているかが分かり易くなる。

【０３８１】以上のように、本発明によれば、限られた
台数のカメラからの画像を用いて任意の仮想視点からの
画像を合成する。車両走行中の振動などにより、カメラ
の位置、向きがずれた場合、従来では、前記ずれを修正
することが困難であったが、本発明では、視点を修正す
るカメラパラメータ修正手段によって、あたかもバック
ミラーを調整するかの如く、運転者は、自身で表示画像
を都度確認しながら、ずれの生じたカメラの画像のみに
対して、視点の位置の移動、向きの変更などによって最
適の画像を得る。

【０３８２】従って、運転者は例え合成画像の一部にず
れが生じた場合でも、その調整のために多大な費用と手
間を要することなく、容易にずれの修正を行うことが可
能となる。

【０３８３】しかも本発明では、運転者の視点修正操作
中は、視点変換手段によって、仮想視点を、修正しよう
とする車載カメラの位置に切り替えて画像を合成するた
め、車載カメラの向き・位置修正を、バックミラーを修
正するかのごとく行うことが可能である。

【０３８４】また、本発明では、実際のカメラの向きを
調整するのではなく、仮想に設けた視点の向き、位置な
どのカメラパラメータを修正するので、カメラの向きを
変更する機構が必要でなくなり、装置のコストを低価格
に押さえることが可能となる。

【０３８５】図５４は本発明の別の実施の形態を示すブ
ロック図であり、図４２と同じ手段には同じ番号を付し
て説明を省略する。新しい点は、カメラの特性を示すカ
メラパラメータを修正する際にガイドとなるガイドデー
タを格納するガイドデータ記憶手段１１０Cを有する点
である。このガイドデータは画像合成手段１０９Cによ
って、入力画像と重畳され。表示手段１０７Cによって
表示される。このガイドデータは任意の生成方法で生成
できるが、たとえば次に説明するような方法で生成し、
利用する。

【０３８６】図５５は、図５４の構成に加えて、車両の
所定場所に点光源を発生させる特徴発生手段１１１C
と、その特徴を抽出できる特徴抽出手段１１２Cをさら
に備え、その特徴抽出結果を上記ガイドデータとして、
記憶手段１１０Cに格納できるようになっている。

【０３８７】たとえば、図５６は点光源を特徴とするも
のであり、車両の前方にいくつかのランプ１１３Cを取
り付けている(a)。このランプ１１３Cが特徴発生手段１
１１Cに対応する。さらに、車両の前側に取り付けられ
たカメラ１，２(f)からその車体の前部を撮影した画像
を示す(b,c)。特徴抽出手段１１２Cはその画像から、光
っている特徴を画像処理して抽出する（d,e）。

【０３８８】図５７(a),(b),(c),(d),(e)は、特徴とし
て、車体の一部の線分を取り上げた例を示す。つまり、
車体の右後ろの隅部の線分を画像処理して取り出してい
る。

【０３８９】これらの点光源や、線分は車が移動しても
いつもそのカメラに対して位置関係が不変である。そこ
で、カメラの方向等が振動によって変化した場合、この
不変の特徴を利用して、カメラのパラメータを修正でき
るものである。その具体的やり方を次に説明する。

【０３９０】図５８において、黒丸は本来の点光源のあ
るべき画像を示す。白丸はカメラがずれた場合の撮影し
た点光源を示す。そこで、(a)のように、ずれた状態の
画像が得られる。そこで、上述したようにしてジョイス
ティック９０３Cを利用してパラメータを修正して一致
させる(b,c)。これによって、簡単にキャリブレーショ
ンを行うことができる。

【０３９１】図５９の(a,b,c,)は、上述して線分を利用
してキャリブレーションを実行した例を示している。

【０３９２】なお、上記特徴の発生は、パターン光を照
射する等、他の方法でももちろん発生できる。

【０３９３】次に、別の本発明の一実施例を説明する。

【０３９４】図６０は本発明（請求項５２の一例）の画
像生成装置の構成例を示したブロック図である。

【０３９５】本実施例の画像生成装置は、基本構成とし
て、車両周囲の状況を把握するために取付けられた複数
台のカメラ１０１D、カメラ１０１Dの特性を示すカメラ
パラメータを格納しておくカメラパラメータテーブル１
０２D、車両の周囲の状況をモデル化した空間モデル１
０３Dにカメラ１０１Dより入力された画像をマッピング
するマッピング手段１０４D、少なくとも位置、向きを
含む視点パラメータを格納する視点パラメータテーブル
１０８D、所望の仮想視点から見た一枚の画像を、マッ
ピング手段１０４Dにて作成されたデータから合成する
視点変換手段１０５D、前記仮想視点のパラメータを修
正する視点パラメータ修正手段１０６D、視点変換手段
１０５Dにて変換された画像を接合して表示する表示手
段１０７Dを備えた構成を有する。

【０３９６】次に、本実施例を構成する各構成要素につ
いての詳細を説明する。

【０３９７】カメラ１０１Dは、車両の周囲の状況な
ど、監視すべき空間の画像を撮り込むテレビカメラであ
る。このカメラは図４３に示したように車両に取り付け
られる。

【０３９８】カメラパラメータテーブル１０２Dは、カ
メラパラメータを格納するテーブルである。カメラパラ
メータについては、上述したとおりである。

【０３９９】さて、まずカメラパラメータテーブル１０
２Dの詳細な説明の準備として、車両を基準とした３次
元空間座標系を定義する。それは図４４で説明した通り
である。

【０４００】カメラパラメータテーブル１０２Dに格納
されているデータは、図４５のものと同じである。

【０４０１】本実施例では、視点変換手段１０５D（後
で詳細を説明）によって、車載カメラから撮影した画像
を所望の仮想視点から見た画像に変換することが可能で
ある。仮想視点から見た画像とは、具体的には所望の場
所に好きな向きに仮にカメラを置いた場合に見えるはず
の画像のことである。従って仮想視点の視点パラメータ
は、前述のカメラパラメータと同じものを用いて表すこ
とが可能である。

【０４０２】図６１は、視点パラメータテーブル１０８
Dに格納されているデータを表形式で示したものであ
る。図６１では、視点パラメータはそれぞれ３つずつ格
納されているが、３つのそれぞれが、それぞれ３台の車
載カメラと一対一に対応づけられている。

【０４０３】例えば、カメラ１で撮影された画像は、仮
想視点１から見た画像へと視点変換され、カメラ２で撮
影された画像は、仮想視点２から見た画像へと視点変換
される。

【０４０４】このようにカメラ１台ごとに仮想視点を設
定すれば、もしカメラの位置ずれなどによって、表示画
面上で他のカメラの画像と該カメラからの画像との接合
部分がずれた場合に、ずれたカメラ画像を見ている仮想
視点のパラメータのみを変更することによって、直感的
にずれを修正することが可能となる。修正方法の詳細は
後の視点パラメータ修正手段の説明において説明する。

【０４０５】さて、図６１に記載されている内容は、２
列目から９列目までの項目が視点パラメータの具体例を
示しており、テーブルの左側の列から順に次の通りであ
る。

【０４０６】すなわち、図６１の２列目を例にとると、
仮想視点１とは、座標（０、０、ｚ２）の位置にあり、
向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−
９０度の角度をなし、視線の中心軸周りの回転はなく、
焦点距離はｆ２、レンズ歪み係数κ１、κ２はともに０
である、ということが記されている。

【０４０７】マッピング手段１０４Dは、カメラパラメ
ータに基づいて、車載カメラからの入力画像を構成する
各々の画素を空間モデル１０３Dにマッピングする。す
なわち、車載カメラから撮影された各々の画像を空間モ
デル１０３Dに透視投影する。

【０４０８】ここで空間モデル１０３Dとは、マッピン
グ手段１０４Dにおいて、カメラからの画像を３次元空
間座標系にマッピングする立体モデルを指し、例えば、
平面もしくは曲面もしくは平面および曲面からなるモデ
ルが使用される。本実施例では、説明を容易にするため
に、最も単純な空間モデル１０３Dの一例として路面と
しての平面モデルを用い、車載カメラからの画像を、該
平面モデルにマッピングする方法を説明する。

【０４０９】尚、実用に際しては該単純なモデルでは、
高さ成分を持つ物体の歪みが大きくなるなどの問題が生
じるため、平面をいくつか組み合わせた空間モデル、平
面と曲面を組み合わせた空間モデルなどを用いるとよ
い。さらには、車両の周囲の障害物の正確な立体モデル
を実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。

【０４１０】さて、マッピング手段１０４Dにおけるマ
ッピング処理の説明をする前に、まず視平面座標をワー
ルド座標へ変換する方法について説明する必要がある
が、それはすでに、図４７に関して説明したのと同様で
ある。

【０４１１】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に′２３３の図
７において説明した。

【０４１２】視点変換手段１０５Dは、車載カメラの画
像がマッピング手段１０４Dによって空間モデル１０３D
にマッピングされた結果を、任意の仮想視点に設置した
カメラから撮影した画像に合成する。その方法の概要
は、視点変換手段１０５Aに関して説明した。

【０４１３】ところで、視点変換手段１０５Dにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デル１０３Dの点に、色がマッピングされていない場合
も考えられる。その場合については、すでに説明した。

【０４１４】図６２は、マッピング手段１０４Dによっ
て車載カメラからの入力画像を構成する各々の画素を空
間モデル１０３Dとしての平面にマッピングし、該平面
にマッピングされた結果を、仮想視点に設置したカメラ
から撮影した画像に合成する様子を示した概念図であ
る。

【０４１５】視点パラメータ修正手段１０６Dは、それ
ぞれのカメラ毎に設けられている仮想視点のパラメータ
を、それぞれ独立して修正できる。

【０４１６】図６３は、視点パラメータ修正手段１０６
Dによって仮想視点パラメータを修正するための操作部
の構成例を示したものである。本実施例では、・修正の対象となる仮想視点を選択する、視点選択ボタ
ン１００１・仮想視点からの視線の中心軸上を前後に移動する、ズ
ームボタン１００４（前向き、後向き）・仮想視点からの視線方向に垂直に視点位置を平行移動
する平行移動ボタン１００２（画像面に対して上下左右
の動き）・仮想視点からの視線方向の変更と、仮想視点からの視
線方向周りの回転を修正するジョイスティック１００３
Dから構成され、（ａ）ズームボタン１００４D、平行移動ボタン１００
２Dの操作によって、仮想視点の３次元空間位置を、（ｂ）ジョイスティック１００３Dによって、仮想視点
からの視線方向を、それぞれ変更することができ、上記（ａ）、（ｂ）の操
作によって、それぞれ当該仮想視点パラメータの以下の
情報が修正され、視点パラメータテーブル１０８に上書
きされる。（ａ）３次元空間座標系における仮想視点位置のＸ、
Ｙ、Ｚ座標（ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対し
てなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす
角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映す
る。すなわち、式（８）において、式０に示す回転行列
が、新たな視線方向を用いて再度計算されるとともに
（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で
置き換える。

【０４１７】その結果、変更後の式（８）を用いること
によって修正操作の結果としての画像が合成され、操作
者は該合成画像を見ることにより、自身の修正の操作が
正しいかどうかを一目で確認することが可能である。

【０４１８】ところで、仮想視点のパラメータ修正の操
作のうち、仮想視点の向き・位置・回転の操作を変更す
る操作は、操作の内容と操作結果画像の振る舞いが一致
している方が、操作者にとって直感的に分かりやすい。
そのためには、パラメータ修正の操作のうちの次の操
作、すなわち、（１）ジョイスティック１００３Dの軸を上下左右に動
かす、いわゆるカメラの光軸の向きの調整に相当する操
作（２）ジョイスティック１００３Dの軸自身を回転させ
る、いわゆるカメラの光軸周りの回転の調整に相当する
操作（３）平行移動ボタン１００２Dの操作によって、仮想
視点からの視線方向に垂直に視点位置を平行移動する操
作の３通りの操作は、本発明の請求項５４に記載のごと
く、仮想視点の向き・位置・回転の操作を変更する操作
方向と、実際の視点パラメータの変更方向の関係を、互
いに逆方向とする。

【０４１９】すなわち、例えばジョイスティック１００
３Dを例に挙げると、ジョイスティック１００３Dの操作
によって傾けられた軸の向きと同じように視線の中心軸
を設定するのではなく、ジョイスティック１００３Dの
軸を動かした向きとは反対の方向に同じだけ視線方向を
動かし、動かした後の状態を変更された視線方向として
視線パラメータテーブル１０２Dに書き込めばよい。例
えば、ジョイスティック１００３Dを右に１０度傾けた
とすると、その時の視点パラメータ値は、視点方向が現
在の視線に対して左に１０度傾いた値とする。同様に、
ジョイスティック１００３Dを時計回りに５度回転させ
たとすると、その時の視点パラメータ値は、視線の中心
軸周りの回転角度を、反時計回りに５度回転させた値と
する。平行移動ボタン１００４Dの操作についても同様
である。

【０４２０】図６４は本発明の画像生成装置に関連のあ
る技術の構成例を示したブロック図である。

【０４２１】ここでは、図６０の構成に対して、さら
に、カメラ入力画像と合成画像との間の画素の対応づけ
関係を保持するマッピングテーブル１０９Dを備えてい
る。

【０４２２】このマッピングテーブル１０９Dを表形式
で示した概念図は、図５０と同じ内容であるので詳細は
省略する。テーブルは、表示手段１０７Dにて表示する
画面の画素数分のセルから構成されている。

【０４２３】このような画像生成装置では、視点パラメ
ータ修正手段によって、視点パラメータが修正された
ら、カメラ入力画像と合成画像との間の画素の対応づけ
関係のうち、該修正によって変更の生じる部分を、上記
手順に従って再度計算し書き換えればよい。

【０４２４】マッピングテーブル１０９Dが作成されて
いる場合は、表示手段１０７Dは、マッピング手段１０
４Dおよび視点変換手段１０５Dでの処理結果を用いて、
合成画像を表示するのではなく、該テーブルを用いて、
カメラ画像を表示画像に直接置き換えるようにする。こ
れにより複数カメラ画像の合成処理の高速化が可能とな
る。

【０４２５】さらに、前記視点パラメータ修正手段によ
って、仮想視点の位置、向きなどが変更された場合の、
他のマッピングテーブルの高速な修正方法を示す。

【０４２６】図６５（ａ）は本発明の画像生成装置に関
連する技術の構成例を示したブロック図、（ｂ）は視点
パラメータ修正前の車載カメラ合成画像例を示す概念
図、（ｃ）は視点パラメータ修正後の車載カメラ合成画
像例を示す概念図である。

【０４２７】本画像生成装置では、先の装置に、さら
に、視点パラメータ修正手段での処理によって変更され
た視点パラメータを用いて、前記マッピングテーブルを
再計算するマッピングテーブル修正手段１１０D、マッ
ピングテーブル修正手段１１０Dの処理途中のデータを
一時的に格納するバッファ１１１Dを備えた構成とな
る。

【０４２８】このマッピングテーブル修正手段１１０D
により、視点パラメータの修正結果を式（８）に反映さ
せて、この式（８）の複雑な計算をすることなく、上記
マッピングテーブルの内容を変更することが可能であ
る。以下で該マッピングテーブルの変更方法を手順を追
って説明する。

【０４２９】尚、図６６（ａ）〜（ｃ）は、該マッピン
グテーブルの変更方法の説明の補助に使用する概念図で
あり、灰色で示されている平行四辺形は仮想視点修正前
の画像面、白色で示されている平行四辺形は仮想視点修
正後の画像面を表している。また、仮想視点パラメータ
を修正するための操作部の構成が図６３のようであると
する。

【０４３０】処理１．：マッピングテーブルの変更結果
を一時的に格納するバッファ１１１Dを予め設けてお
く。

【０４３１】処理２．：視点パラメータ修正手段によっ
て、平行移動、方向、回転、ズームのいずれかの視点パ
ラメータ修正情報を得、この情報内容に応じて以下の４
つのいずれかの処理により、仮想視点修正前の表示座標
（ｕ，ｖ）と修正後の表示座標（ｕ′，ｖ′）の対応関
係のデータ（以下、テーブル変換データ）を計算し、バ
ッファ１１１Dに書き込む。

【０４３２】（１）平行移動ボタン操作平行移動の場合、図６６（ａ）に示すように、平行移動
ボタンによって移動前と移動後の画素単位での移動距離
（ｄｕ，ｄｖ）を獲得し、式（１０）によって、変更前
の座標Ｐ１と変更後の座標Ｐ１′の関係を求め、上記関
係をバッファ１１１Dに書き込む。

【０４３３】

【式１０】

【０４３４】（２）ジョイスティックによる方向修正操
作仮想視点からの視線方向の場合、図６６（ｂ）に示すよ
うに、変更前と変更後の角度の変位分（θ，φ）を獲得
し、式（１１）および式（１２）によって、変更前の座
標Ｐ２と変更後の座標Ｐ２′の関係を求め、上記関係を
バッファ１１１Dに書き込む。

【０４３５】

【式１１】

【０４３６】

【式１２】

【０４３７】（３）ジョイスティックによる回転操作仮想視点からの視線方向周りの回転を修正する場合、図
６６（ｃ）に示すように、変更前と変更後の回転角度ρ
を獲得し、式（１３）によって、変更前の座標Ｐ３と変
更後の座標Ｐ３′の関係を求め、上記関係をバッファ１
１１Dに書き込む。

【０４３８】

【式１３】

【０４３９】（４）ズームボタン操作ズーム（倍率）を修正する場合、ズームボタンによって
変更前に対する変更後の倍率ｋを獲得し、式（１４）に
よって、変更前の座標Ｐ４と変更後の座標Ｐ４′の関係
を求め、上記関係をバッファ１１１Dに書き込む。

【０４４０】

【式１４】

【０４４１】処理３．：バッファ１１１Dを参照しマッ
ピングテーブルを変更する。上記処理２．によって、マ
ッピングテーブルの各セルの座標１の変更内容が、例え
ば以下のようなテーブル変換データとして、バッファ１
１１Dに書き込まれている。

【０４４２】（修正前の座標：Ｐ、修正後の座標：
Ｐ′）該データを参照し、マッピングテーブルのすべてのセル
について、下記の（ａ）（ｂ）の条件を満たせば、該セ
ルの修正前の座標１：Ｐを、前記テーブル変換データの
修正後の座標Ｐ′に変更する。（ａ）セルのカメラ番号が修正対象となった仮想視点に
対応する車載カメラ番号と一致する。（ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換
データの左側の項の座標と一致する。

【０４４３】なお、カメラ番号が修正対象となった仮想
視点に対応する車載カメラ番号と一致するが、座標１の
修正の行われなかったセルは、修正された仮想視点から
見たときの視野範囲外になっていると考えられるため、
表示手段における表示エリア外の座標値を書き込む。ま
たその場合は、表示手段では、表示できない座標値が入
力されたら視野外を示す色として、例えば黒を表示する
などとすればよい。

【０４４４】以上、本発明による画像生成装置を構成す
るそれぞれの手段の実施例を説明した。最後に、本発明
による画像生成装置における修正処理の流れを図を用い
て説明する。

【０４４５】図６７は、本発明の画像生成装置における
視点パラメータの修正処理の流れを示すフローチャー
ト、図６８（ａ）〜（ｃ）は、視点パラメータの修正処
理の説明の補助に使用する概念図である。

【０４４６】１．（処理１５０１）視点選択ボタン１０
０１Dなどで修正対象となる仮想視点を選択する。その
際には画面上には、図６８（ａ）のごとく、合成画像が
ずれている様子が表示されている。

【０４４７】２．（処理１５０２）本発明の請求項５５
に記載のごとく、修正中の仮想視点を仮の仮想視点（例
えば修正前の視点）に置き換え固定する。

【０４４８】３．（処理１５０３）ズームボタン１００
４D、平行移動ボタン１００２D、ジョイスティック１０
０３Dを用いて、仮想視点の３次元空間位置と、視線の
向きを修正する。修正処理中は、上記２の処理によって
視点が固定されているため、あたかも視点部分においた
カメラを手で調整しているかのごとく、視点修正の作業
を行うことができる。修正がうまくできれば、例えば図
６８（ｂ）の画面を経て、図６８（ｃ）のごとく、ずれ
のない様子が表示される。

【０４４９】４．（処理１５０４）当該仮想視点の修正
が終了すると、修正後の視点パラメータを視点パラメー
タテーブル１０８に書き込む。

【０４５０】５．（処理１５０５）他に修正の必要があ
るカメラがあれば、続いて前記カメラを選択し、上記処
理１５０１〜１５０４を繰り返す。無ければ次の処理１
５０６に進む。

【０４５１】６．（処理１５０６）仮想視点の仮の仮想
視点に固定する状態を解除する。その合成結果、画面
は、図６８（ｃ）のごとく、ずれのない場合が表示され
ており、その確認でもって視点パラメータ修正処理を終
了する。

【０４５２】尚、図６８（ａ）〜（ｃ）の概念図に示し
たごとく、各々の車載カメラからの画像を接合する部分
においては、本発明（請求項５６の一例）のように、該
接合部分に、見た目に違和感を与えない程度のマーカ
（例えば点線）などを印しておくと、どのカメラの画像
がどこに表示されているかが分かり易くなる。

【０４５３】以上のように、本発明では限られた台数の
カメラからの画像を用いて任意の仮想視点からの画像を
合成する。車両走行中の振動などにより、カメラの位
置、向きがずれた場合、従来では、カメラそのものの微
調整によってずれを元通りにするという方法をとってい
たため、前記ずれた画像を他の画像に合せ込む作業が困
難であった。しかし本発明では、仮想視点という概念を
導入し、該仮想視点から見た画像を見ながら、視点パラ
メータ修正手段によって、ずれの生じた画像のみを、あ
たかも仮想視点においたカメラを調整するかのごとく、
修正することができる。その際、視点の位置の移動、向
きの変更後の状態を、都度画像としてフィードバックす
るため、修正作業者は、表示画像を都度確認しながら最
適の画像を得ることができるため、従来に比べて、画像
のずれの合せ込み作業が格段に容易になるし、微少なず
れであれば、大規模な装置を用いてのカメラパラメータ
の再調整も必要ではなくなる。

【０４５４】また、本発明では、実際のカメラの向きを
調整するのではなく、仮想に設けた視点の向き、位置な
どのパラメータを修正するので、カメラの向きを変更す
る機構が必要でなくなり、装置のコストを低価格に押さ
えることが可能となる。

【０４５５】

【発明の効果】本発明の画像生成装置は、車両周囲監
視、店舗内監視等の分野に応用でき、それぞれのカメラ
から撮影された画像を用いて、あたかも仮想視点から実
際見ているような感覚を持つ合成画像を簡単に作り出す
ことが出来る。

【０４５６】また、カメラの方向がずれた場合でも、画
像上容易に修正できるという長所を有する。［図面の簡単な説明］

【図１】本発明（請求項１）の画像生成装置の基本構成
例を示したブロック図

【図２】請求項１０および請求項１３の本発明を組み合
わせた画像生成装置の構成例を示したブロック図

【図３】本発明（請求項１５）の画像生成装置の構成例
を示したブロック図

【図４】本発明（請求項１８）の画像生成装置の構成例
を示したブロック図

【図５】本発明（請求項１９）の画像生成装置の構成例
を示したブロック図

【図６】図１〜図５を統合した画像生成装置を示したブ
ロック図

【図７】車両へのカメラの取り付け例を示した概念図

【図８】カメラで撮影された画像を含む平面に設定した
Ｕ−Ｖ座標系の点と、３次元空間座標系の点との対応づ
けの関係を表した概念図

【図９】カメラパラメータテーブル103に格納されてい
るデータを表形式で示した図

【図１０】温度補正テーブル111 の例を表形式で示した
図

【図１１】度補正テーブルを用いて書き換えられたカメ
ラパラメータテーブル103 の例を表形式で示した図

【図１２】空間データを格納する空間データバッファ10
5 の記述例を表の形式で示した図

【図１３】路面上の特徴点と車両との位置関係を上部か
らみた概念図

【図１４】図１３の車載カメラ１で前記特徴点を含む路
面を撮影した画像を表す概念図

【図１５】図１３の車載カメラ２で前記特徴点を含む路
面を撮影した画像を表す概念図

【図１６】路面上の特徴点Ａ，Ｂ，Ｃと車両との位置関
係を上部から見た概念図

【図１７】図１６の車載カメラ１で前記特徴点Ａ，Ｂを
含む路面を撮影した画像を表す概念図

【図１８】図１６の車載カメラ２で前記特徴点Ｂ，Ｃを
含む路面を撮影した画像を表す概念図

【図１９】図１６の車載カメラ１および車載カメラ２で
撮影した画像を用い、本発明による視点変換手段１０６
によって仮想カメラから見た画像を合成した様子を表す
概念図

【図２０】（Ａ）仮想カメラの設置場所の例として、車
両のほぼ中心の上方にカメラを下向きに設置した場合を
示した概念図（Ｂ）仮想カメラの設置場所の例として、車両のほぼ前
方斜め上方にカメラを車の方へ向けて設置した場合を示
した概念図（Ｃ）上記（ａ）の場合の合成画像の例を示す概念図

【図２１】（ａ）特徴点生成手段１０９としてのパター
ン光照射装置を車体側面上部に取付けた様子を示す概念
図（ｂ）パターン光照射装置を車体上部に数箇所取り付け
て、路面にパターン光を照射した状態を車両上部から見
た様子を示す概念図（ｃ）路面に照射された長方形のパターン光をカメラか
ら撮影した様子を示す概念図

【図２２】キャリブレーション手段102 において、温度
によってカメラパラメータテーブル103 の更新処理を行
う手順を示すフローチャート

【図２３】空間データ変換手段114 における処理の手順
を示すフローチャート

【図２４】空間データ変換手段114 の説明の補助に用い
る概念図

【図２５】補正履歴の記録を確認し、必要に応じて補正
指示を出す処理の手順を示すフローチャート

【図２６】本発明による画像生成装置の全体の処理の流
れを示すフローチャート

【図２７】（ａ）本発明(請求項３１)の画像生成装置の
基本構成例を示したブロック図（ｂ）本発明(請求項３４)の画像生成装置の構成例を示
したブロック図

【図２８】（ａ）〜（ｄ）空間モデルを鳥瞰図的に示し
た概念図

【図２９】カメラで撮影された画像を含む平面に設定し
たＵ−Ｖ座標系の点と、３次元空間座標系の点との対応
づけの関係を表した概念図

【図３０】マッピング手段１０４Aにおけるマッピング
処理の手順を示すフローチャート

【図３１】車両と該車両の周囲に存在する障害物との距
離に基づいて、３次元空間内についたて面を立てる方法
を示す概念図

【図３２】本発明による画像生成装置の全体の処理の流
れを示すフローチャート

【図３３】（ａ）本発明(請求項３６)の車両周囲監視装
置の構成例を示したブロック図（ｂ）本発明(請求項３８)の車両周囲監視装置の構成例
を示したブロック図（ｃ）本発明(請求項４１)の車両周囲監視装置の構成例
を示したブロック図

【図３４】（ａ）本発明による空間モデルを鳥瞰図的に
示した概念図（ｂ）本発明による空間モデルを車両の上方から下向き
に透視投影した概念図

【図３５】（ａ）〜（ｄ）本発明による路面特徴検出手
段１０３Bで特徴点を抽出する処理の例を示す図

【図３６】特徴点の抽出処理の流れを示すフローチャー
ト

【図３７】本発明（請求項３８）の車両周囲監視装置に
おいて、車両の動きにともなって特徴点の位置計算を行
う処理の手順の示すフローチャート

【図３８】特徴位置計算手段における処理を示す図

【図３９】特徴修正処理を表示手段１０７Bに表示して
いる様子を示した概念図

【図４０】特徴修正処理における処理の流れを示すフロ
ーチャート

【図４１】本発明による車両周囲監視装置の全体の処理
の流れを示すフローチャート

【図４２】本発明（請求項４２）に係る画像生成装置の
構成例を示したブロック図

【図４３】（ａ）車両への車載カメラの設置例を示した
概念図（ｂ）それぞれの車載カメラ画像のモニタへの表示領域
を示した概念図

【図４４】車両を中心とする３次元空間座標系を示した
概念図

【図４５】カメラパラメータテーブル１０２Cに格納さ
れているデータを表形式で示した図

【図４６】視点パラメータテーブルに格納されているデ
ータを表形式で示した図

【図４７】カメラで撮影された画像を含む平面に設定し
たＵ−Ｖ座標系の点と、３次元空間座標系の点との対応
づけの関係を表した概念図

【図４８】カメラパラメータ修正手段１０６Cによって
カメラパラメータを修正するための操作部の構成例を示
した概念図

【図４９】本発明に係る画像生成装置に関連する技術の
一構成例を示したブロック図

【図５０】マッピングテーブル１０８Cを表形式で示し
た概念図

【図５１】カメラパラメータの修正処理の流れを示すフ
ローチャート

【図５２】（ａ），（ｂ）カメラパラメータ修正時の表
示画面例を示す概念図

【図５３】（ａ），（ｂ）カメラパラメータ修正時以外
（すなわち通常時）の表示画面を示す概念図

【図５４】本発明（請求項４８）に係る画像生成装置の
基本構成例を示したブロック図

【図５５】本発明（請求項５１）に係る画像生成装置の
基本構成例を示したブロック図

【図５６】点光源を用いてガイドデータを生成する場合
を示す概念図

【図５７】車体の線分を用いてガイドデータを生成する
場合を示す概念図

【図５８】点光源を用いたガイドデータを利用してキャ
リブレーションを行う様子を示す概念図

【図５９】線分を用いたガイドデータを利用してキャリ
ブレーションを行う様子を示す概念図

【図６０】本発明（請求項５２）の画像生成装置の構成
例を示したブロック図

【図６１】視点パラメータテーブル１０８Dに格納され
ているデータを表形式で示した図

【図６２】車載カメラからの画像を仮想視点からの画像
に変換する様子を示した概念図

【図６３】視点パラメータ修正手段１０６Dによって視
点パラメータを修正するための操作部の構成例を示した
概念図

【図６４】本発明の画像生成装置に関連する技術の一構
成例を示したブロック図

【図６５】（ａ）本発明の画像生成装置に関連する技術
の一構成例を示したブロック図（ｂ）視点パラメータ修正前の車載カメラ合成画像例を
示す概念図（ｃ）視点パラメータ修正後の車載カメラ合成画像例を
示す概念図

【図６６】（ａ）〜（ｃ）マッピングテーブル１０９D
の変更方法を示す概念図

【図６７】視点パラメータの修正処理の流れを示すフロ
ーチャート

【図６８】（ａ）〜（ｃ）視点パラメータの修正処理を
示す概念図

【図６９】従来の画像生成装置の構成例を示したブロッ
ク図

【図７０】従来の車両周囲監視装置の構成例を示したブ
ロック図

【符号の説明】

１０１カメラ１０２キャリブレーション手段１０３カメラパラメータテーブル１０４空間再構成手段１０５空間データバッファ１０６視点変換手段１０７表示手段１０８特徴点抽出手段１０９特徴点生成手段１１０温度センサ１１１温度補正テーブル１１２移動方向検出手段１１３移動距離検出手段１１４空間データ変換手段１１５補正履歴記録手段１１６カメラ補正指示手段１０１A カメラ１０２A カメラパラメータテーブル１０３A 空間モデル作成手段１０４A マッピング手段１０５A 視点変換手段１０６A 表示手段１０７A 距離センサ１０８A 障害物検知手段１０１B カメラ１０２B カメラパラメータテーブル１０３B 路面特徴検出手段１０４B 空間モデル作成手段１０５B マッピング手段１０６B 視点変換手段１０７B 表示手段１０８B 移動距離検出手段１０９B 移動方向検出手段１１０B 特徴修正手段１０１C カメラ１０２C カメラパラメータテーブル１０３C 空間モデル１０４C マッピング手段１０５C 視点変換手段１０６C カメラパラメータ修正手段１０７C 表示手段１０８C マッピングテーブル９０１C カメラ選択ボタン９０２C 平行移動ボタン９０３C ジョイスティック９０４C ズームボタン１０１D カメラ１０２D カメラパラメータテーブル１０３D 空間モデル１０４D マッピング手段１０５D 視点変換手段１０６D 視点パラメータ修正手段１０７D 表示手段１０８D 視点パラメータテーブル１０９D マッピングテーブル１１０D マッピングテーブル修正手段１１１D バッファ１００１D カメラ選択ボタン１００２D 平行移動ボタン１００３D ジョイスティック１００４D ズームボタン

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号特願平10−317407 (32)優先日平成10年11月９日(1998．11．9) (33)優先権主張国日本（ＪＰ） (31)優先権主張番号特願平10−324701 (32)優先日平成10年11月16日(1998．11．16) (33)優先権主張国日本（ＪＰ）早期審査対象出願 (72)発明者森村淳大阪府門真市大字門真1006番地松下電器産業株式会社内 (56)参考文献特開平９−305796（ＪＰ，Ａ) 特開平９−114979（ＪＰ，Ａ) 特開平10−124704（ＪＰ，Ａ) 特開平10−40499（ＪＰ，Ａ) 特開平８−48198（ＪＰ，Ａ) 特開平３−99952（ＪＰ，Ａ) 特開昭58−110334（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 B60R 1/00 B60R 21/00 G06T 17/00

Claims

(57)【特許請求の範囲】

【請求項１】一台もしくは複数台のカメラと、前記カ
メラからの入力画像を、３次元空間の予め決められた空
間モデルにマッピングする空間再構成手段と、前記空間
再構成手段によってマッピングされた空間データを参照
して、前記３次元空間における任意の仮想視点から見た
画像を作成する視点変換手段と、前記視点変換手段にて
変換された画像を表示する表示手段とを備えたことを特
徴とする画像生成装置。
【請求項２】前記カメラは車両に取り付けられ、前記空
間再構成手段は前記カメラからの入力画像を、前記車両
を基準とした座標系に作成された空間モデルにマッピン
グすることを特徴とする請求項１記載の画像生成装置。
【請求項３】前記カメラの特性を示すカメラパラメー
タを格納するカメラパラメータテーブルとを備え、前記
空間再構成手段は前記カメラパラメータに基づいて、マ
ッピングを行うことを特徴とする請求項１記載の画像生
成装置。
【請求項４】前記空間モデルは、前記３次元空間にお
ける所定の平面であることを特徴とする請求項１記載の
画像生成装置。
【請求項５】前記カメラは車両に取り付けられてお
り、前記所定の平面はその車両の下の路面であることを
特徴とする請求項４記載の画像生成装置。
【請求項６】前記視点変換手段は、前記空間モデルの
所定の点Ｐを、前記仮想視点からの画素として構成する
際に、前記点Ｐが、唯一のカメラで撮影した画像に対応
づけられている場合、前記画素の色を、そのカメラから
の画像の画素の色を用いて決めることを特徴とする請求
項１記載の画像生成装置。
【請求項７】前記視点変換手段は、前記空間モデルの
所定の点Ｐを、前記仮想視点からの画素として構成する
際に、前記点Ｐが、前記複数台のカメラで撮影した画像
と対応づけられている場合、前記画素の色を、それらの
複数台のカメラで撮影した画像の画素の色を用いて決め
ることを特徴とする請求項１記載の画像生成装置。
【請求項８】前記視点変換手段は、前記空間モデルの
所定の点Ｐを、前記仮想視点からの画素として構成する
際に、前記点Ｐがいずれのカメラで撮影した画像とも対
応づけられていない場合、前記画素の色を、前記点Ｐの
周囲の点の色を用いて補間した色を用いて、もしくは物
体が存在しない部分であると識別可能な色を用いて決め
ることを特徴とする請求項１記載の画像生成装置。
【請求項９】前記カメラ特性を示すカメラパラメータ
を、入力もしくは計算によって、得るキャリブレーショ
ン手段を備えたことを特徴とする請求項３に記載の画像
生成装置。
【請求項１０】前記計算によってカメラパラメータを
得るために必要な複数個の特徴点を、入手入力もしくは
自動抽出によって獲得する特徴点抽出手段が備えられ、前記キャリブレーション手段は、前記特徴点抽出手段に
おいて抽出された特徴点を用いて、各種カメラパラメー
タのうち、少なくとも、カメラの取り付け位置、カメラ
の取り付け角度、カメラのレンズ歪み補正値、カメラの
レンズの焦点距離のいずれかを計算することを特徴とす
る請求項９記載の画像生成装置。
【請求項１１】前記特徴点抽出手段は、前記３次元空
間における座標値が既知の複数個の特徴点を抽出する機
能を含み、前記キャリブレーション手段は、前記複数個の特徴点を
用いて、前記カメラパラメータを計算することを特徴と
する請求項１０記載の画像生成装置。
【請求項１２】前記カメラは車両に取り付けられてお
り、その車両の一部に設けられたマーカが、前記３次元
空間における座標値が既知の複数個の特徴点として用い
られることを特徴とする請求項１１記載の画像生成装
置。
【請求項１３】前記カメラの視野内に、前記３次元空
間における座標値が既知の複数個の特徴点を生成する特
徴点生成手段を備えたことを特徴とする請求項１１に記
載の画像生成装置。
【請求項１４】前記特徴点生成手段は、前記カメラの
視野内に、前記特徴点としてのパターン光を照射する機
能を有することを特徴とする請求項１３記載の画像生成
装置。
【請求項１５】温度を測定する温度センサーと、温度
に応じて変化する前記カメラパラメータの変化量を格納
する温度補正テーブルとを備え、前記キャリブレーション手段は、前記温度センサーの温
度を逐次監視し、温度変化に応じて、前記温度補正テー
ブルに基づいて前記カメラパラメータを修正する機能を
有することを特徴とする請求項９〜１４のいずれかに記
載の画像生成装置。
【請求項１６】前記カメラのそれぞれに対して、前記
温度センサーは、前記カメラの近くもしくは付随して取
付けられていることを特徴とする請求項１５記載の画像
生成装置。
【請求項１７】前記カメラは車両に取付けられている
ことを特徴とする請求項１、３、４、又は６〜１１のい
ずれか、又は１３〜１６のいずれかに記載の画像生成装
置。
【請求項１８】前記空間再構成手段にて作成された空
間データは一時的に空間データバッファに格納されてお
り、前記車両の移動方向を検出する移動方向検出手段
と、車両の単位時間における移動距離を検出する移動距
離検出手段と、前記移動方向検出手段によって検出され
た車両の移動方向、および前記移動距離検出手段によっ
て検出された車両の移動距離を用いて、前記空間データ
バッファに格納された空間データを変換する空間データ
変換手段と、を備えたことを特徴とする請求項５，１２
又は１７に記載の画像生成装置。
【請求項１９】前記カメラは車両に取り付けられてお
り、そのカメラのキャリブレーションが必要な状況を検
知し、キャリブレーションが必要である場合に、カメラ
キャリブレーションの指示を行うカメラ補正指示手段
と、前記カメラキャリブレーションを行った日時又は走
行距離を記録する補正履歴記録手段とを備えることを特
徴とする請求項１に記載の画像生成装置。
【請求項２０】前記カメラ補正指示手段は、前記補正
履歴記録手段を参照し、前回のキャリブレーションの日
時から一定以上の日時が経過したとき、又は、前回のキ
ャリブレーションから一定以上の距離を走行したとき、
運転者にカメラキャリブレーションを実施するよう指示
する機能を有することを特徴とする請求項１９記載の画
像生成装置。
【請求項２１】３次元空間に存在するカメラからの入
力画像を、前記３次元空間の予め決められた空間モデル
にマッピングして空間データを作成する空間再構成工程
と、前記空間データを参照して、前記３次元空間におけ
る任意の仮想視点から見た画像を作成する視点変換工程
とを備えたことを特徴とする画像生成方法。
【請求項２２】前記空間再構成工程は、車両に取り付け
られたカメラからの入力画像を、前記車両を基準とした
座標系に作成された空間モデルにマッピングして空間デ
ータを作成することを特徴とする請求項２１記載の画像
生成方法。
【請求項２３】前記空間モデルは、前記３次元空間の
一部をなす平面であることを特徴とする請求項２１記載
の画像生成方法。
【請求項２４】前記カメラの特性を表すカメラパラメ
ータを用いて前記マッピングが行われることを特徴とす
る請求項２１記載の画像生成方法。
【請求項２５】前記カメラ特性を示すカメラパラメー
タを、入力または計算によって得るキャリブレーション
工程を備えたことを特徴とする請求項２４記載の画像生
成方法。
【請求項２６】前記キャリブレーション工程は、計算
によってカメラパラメータを得るものであって、そのた
めに、前記カメラパラメータの計算に必要な複数個の特
徴点を、入手による入力もしくは自動抽出によって獲得
する特徴点抽出工程を有することを特徴とする請求項２
５記載の画像生成方法。
【請求項２７】前記カメラの視野内に、前記３次元空
間における座標値が既知の複数個の特徴点を生成する特
徴点生成工程を備えたことを特徴とする請求項２６記載
の画像生成方法。
【請求項２８】前記特徴点生成工程は、前記カメラの
視野内に、前記特徴点としてのパターン光を照射するス
テップを少なくとも含むことを特徴とする請求項２７記
載の画像生成方法。
【請求項２９】前記カメラは車両に取り付けられてお
り、前記車両の移動方向を検出する移動方向検出工程と、前
記車両の単位時間における移動距離を検出する移動距離
検出工程と、前記移動方向検出工程によって検出された
車両の移動方向、および前記移動距離検出工程によって
検出された車両の移動距離を用いて、前記空間データを
変換する空間データ変換工程とを包含することを特徴と
する請求項２１に記載の画像生成方法。
【請求項３０】前記カメラは車両に取り付けられてお
り、前記カメラのキャリブレーションが必要な状況を検知
し、キャリブレーションが必要である場合に、カメラキ
ャリブレーションの指示を行うカメラ補正指示工程と、
カメラキャリブレーションを行った日時又は走行距離を
記録する補正履歴記録工程とを包含することを特徴とす
る請求項２１に記載の画像生成方法。
【請求項３１】前記カメラは車両に取り付けられてお
り、前記空間再構成手段は、前記空間モデルを作成する
空間モデル作成手段を有することを特徴とする請求項１
記載の画像生成装置。
【請求項３２】前記空間モデルは、１つ以上の平面モ
デル、もしくは１つ以上の曲面モデル、もしくは１つ以
上の平面と１つ以上の曲面との組み合わせた空間モデル
であることを特徴とする請求項１記載の画像生成装置。
【請求項３３】前記空間モデル作成手段は、少なくと
も路面としての第１の平面と、前記第１の平面と交わる
少なくとも１つ以上の第２の平面とを空間モデルとして
作成することを特徴とする請求項１に記載の画像生成装
置。
【請求項３４】距離を計測する距離センサと、車両周
囲の状況として、少なくとも車両周囲に存在する障害物
までの距離を前記距離センサを用いて計測する障害物検
知手段を備え、前記空間モデル作成手段において作成される前記第２の
平面は、前記障害物検知手段にて検知された、車両から
障害物までの距離が所定の値より小さい場合に、作成さ
れることを特徴とする請求項３３に記載の画像生成装
置。
【請求項３５】前記空間モデル作成手段において作成
された前記第２の平面は、前記車両から障害物までの距
離が前記所定の値より大きくなった場合に、前記空間モ
デルから除去されることを特徴とする請求項３４に記載
の画像生成装置。
【請求項３６】前記空間モデル作成手段は、前記車両
の周囲の状況に応じた空間モデルを作成することを特徴
とする請求項３１記載の画像生成装置。
【請求項３７】距離を計測する距離センサと、前記車
両の周囲の状況として、少なくとも車両周囲に存在する
障害物までの距離を前記距離センサを用いて計測する障
害物検知手段とを備えたことを特徴とする請求項３６記
載の画像生成装置。
【請求項３８】前記車両状況は、前記車両の周囲の路
面の状態であり、その路面の状態の特徴を検知する路面
特徴検出手段が備えられていることを特徴とする請求項
３６記載の画像生成装置。
【請求項３９】前記路面の状態の特徴として、駐車ス
ペースを示す白線、若しくは白線の端点、もしくは白線
の交わる角を利用することを特徴とする請求項３８記載
の画像生成装置。
【請求項４０】前記車両の移動方向を検出する移動方
向検出手段と、前記車両の単位時間における移動距離を
検出する移動距離検出手段をさらに備え、前記移動方向
検出手段および前記移動距離検出手段での処理結果を用
いて求めた前記路面上の特徴の現在位置にもとづいて、
前記空間モデルを逐次修正することを特徴とする請求項
３６記載の画像生成装置。
【請求項４１】前記表示手段において前記路面特徴検
出手段における処理結果を表示しつつ、前記処理結果を
修正する特徴修正手段を備えたことを特徴とする請求項
３６または３８記載の画像生成装置。
【請求項４２】一台もしくは複数台のカメラと、前記
カメラの特性を示すカメラパラメータを格納するカメラ
パラメータテーブルと、前記カメラからの入力画像を前
記カメラパラメータを用いて３次元空間の所定の空間モ
デルにマッピングするマッピング手段と、少なくとも位
置と向きに関するデータを含む仮想視点パラメータを複
数視点分格納する視点パラメータテーブルと、前記マッ
ピング手段によってマッピングされた空間データを参照
して、前記所定の３次元空間における前記複数の仮想視
点から見た画像をそれぞれ作成する視点変換手段と、前
記カメラのパラメータを修正するカメラパラメータ修正
手段とを備えたことを特徴とする画像生成装置。
【請求項４３】前記視点変換手段は、前記カメラパラ
メータ修正手段での処理時と通常動作時とで前記仮想視
点を切り替えることを特徴とする請求項４２記載の画像
生成装置。
【請求項４４】前記視点変換手段は、前記カメラパラ
メータ修正手段での処理時は、前記仮想視点を、前記カ
メラのいずれかのカメラのパラメータに基づいて決定す
ることを特徴とする請求項４３記載の画像生成装置。
【請求項４５】前記視点変換手段は、前記カメラパラ
メータ修正手段での処理時は、前記仮想視点を、該修正
を行っているカメラの、修正処理前のカメラパラメータ
に基づいて決定することを特徴とする請求項４４記載の
画像生成装置。
【請求項４６】前記視点変換手段において、視点の向
きを変更する操作の向きと、前記視点の向きとの関係
を、互いに逆方向とすることを特徴とする請求項４２〜
４５のいずれかに記載の画像生成装置。
【請求項４７】前記表示手段は、各々のカメラからの
画像を表示する際に、各々の画像の接する境界部分で、
境界を示すマークを合成画像に重ね合わせて表示するこ
とを特徴とする請求項４２〜４６のいずれかに記載の画
像生成装置。
【請求項４８】前記カメラパラメータを修正するため
のガイドとなるガイドデータを格納するガイドデータ記
憶手段と、前記カメラからの入力画像と前記ガイドデー
タを重畳して表示する表示手段とを備えたことを特徴と
する請求項４２記載の画像生成装置。
【請求項４９】前記カメラは車両に取り付けられてい
ることを特徴とする請求項４２〜４８のいずれかに記載
の画像生成装置。
【請求項５０】前記ガイドデータは、前記車両のボデ
ィの特徴を点及び／又は線分で表したものであることを
特徴とする請求項４９記載の画像生成装置。
【請求項５１】前記カメラが位置づけられた３次元空
間における座標値が既知の複数個の特徴点を、前記カメ
ラの視野内に生成する特徴点生成手段と、前記複数個の
特徴点を抽出する特徴点抽出手段と、前記抽出された複
数個の特徴点を用いて、前記ガイドデータが得られるこ
とを特徴とする請求項４９記載の画像生成装置。
【請求項５２】一台もしくは複数台のカメラと、前記
カメラから画像を入力する画像入力手段と、前記カメラ
特性を示すカメラパラメータを格納するカメラパラメー
タテーブルと、前記カメラパラメータを用いて、前記入
力画像を構成する各々の画素を、前記車両の周囲の状況
をモデル化した、所定の３次元空間における所定の空間
モデルに、マッピングするマッピング手段と、少なくと
も位置及び向きデータを含む仮想視点パラメータを複数
視点分格納する視点パラメータテーブルと、前記マッ
ピング手段によってマッピングされた空間データを参照
して、前記所定の３次元空間における、前記視点パラメ
ータテーブルの前記複数個の仮想視点から見た画像をそ
れぞれ作成する視点変換手段と、前記視点パラメータテ
ーブルの内容を修正する視点パラメータ修正手段と、前
記視点変換手段によって変換された画像を表示する表示
手段とを備えたことを特徴とする画像生成装置。
【請求項５３】前記複数の仮想視点は、前記カメラに
それぞれ対応していることを特徴とする請求項５２記載
の画像生成装置。
【請求項５４】前記視点パラメータ修正手段におけ
る、前記仮想視点パラメータの変更操作のうち、少なく
とも向き・位置・回転の操作については、操作方向と実
際の視点パラメータの変更との関係を、互いに逆とする
ことを特徴とする請求項５２または５３記載の画像生成
装置。
【請求項５５】前記視点パラメータ修正手段によって
前記仮想視点パラメータ修正する際は、固定した仮の仮
想視点を設け、当該修正中の仮想視点での修正経過を、
前記仮の仮想視点からの画像として逐次合成表示するこ
とを特徴とする請求項５２〜５４のいずれかに記載の画
像生成装置。
【請求項５６】前記表示手段は、各々のカメラからの
画像を表示する際に、各々の画像の接する境界部分で、
境界を示すマークを合成画像に重ね合わせて表示するこ
とを特徴とする請求項５２〜５５のいずれかに記載の画
像生成装置。
【請求項５７】前記カメラは車両に取り付けられてい
ることを特徴とする請求項５２〜５６のいずれかに記載
の画像生成装置。