WO2004106856A1 - ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム - Google Patents

Abstract

本発明のステレオカメラ支持装置は、ステレオカメラを車両に支持するように構成された結合部材と、結合部材によって車両に支持されたステレオカメラの姿勢乃至位置を制御する制御装置とを備えている。前記制御装置は、ステレオカメラによって得られる映像に関して、映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、ステレオカメラの姿勢乃至位置を制御する。

Description

明 細 書

ス テ レオカ メ ラ支持装置、 ス テ レオカ メ ラ支持方法及びキヤ リ プレーショ ン検出装置及びキヤ リ ブレーショ ン捕正装置並 びにステレオカメ ラシステム

技術分野

本発明は、 相互に離隔した複数の視点による視差を持った 複数の映像を得る よ う になされたス テ レオカメ ラ を支持する ためのス テ レオカメ ラ支持装置及びこ の種のステ レオカメ ラ の支持方法並びにこれらを適用 したステ レオカメ ラシス テム に関 し、 特に、 それらによってス テ レオカ メ ラ の撮像視野に 映じる特定の被写体が映像フ レーム内に於いて占める位置が 特定の傾向を呈するよ う にするための技術に関する。

また、 本発明は、 位置の基準を規定する外部装置とス テ レ ォ画像を撮影する撮影、装置との間のキヤ リ ブレーショ ンずれ を検出する キヤ リ プ レーシ ョ ンずれ検出装置及ぴ該撮影装置 のキ ヤ リ ブ レーシ ョ ン補正装置並びにこ の装置を備えたス テ レオカメ ラ並びにステ レオカメ ラシス テ ムに関するものであ る。

背景技術

近年、 例えば、 ス テ レオカ メ ラ を車両に搭載し、' こ のカメ ラによって得られる映像信号出力に基づいて運転者に安全の ための種々 の情報を提供した り 、 或いは、 車両の走行に係る 自動制御を行って運転の支援をする よ う なシステ ムも実用化 されつつある。 車載型のステレオカメ ラを車両に取り 付ける 場合の、 太陽光、 熱、 温度、 振動等々 の環境ス ト レス に対処 するための機構についても、 例えば特許第 3 1 4 8 7 4 9号 公報に具体的な技術が開示されている。

ま た、 車載のステ レオカメ ラ を用いて、 ステ レオカ メ ラカ 未校正で、 走行中の振動や道路面の傾斜の変化がある状況下 でも、 道路面上に存在する障害物の高速、 且つ高精度な検出 を実現するべく 、 適用 したカメ ラに係るキャ リ ブレーシ ョ ン の手間を少なく して、 道路両端の 2本の白線の走行中の画像 上の動きだけから、 道路平面と各カ メ ラの幾何学的な関係を 求める こ と によ り 、 走行中に振動や道路自身に傾斜があって も、 道路平面上に存在する障害物を高速に検出する障害物検 出装置も、 例えば特開 2 0 0 1 - 7 6 1 2 8 号公報に開示さ れている。

更に、 例えば特許第 3 3 5 4 4 5 0 号公報には、 車载ステ レオカメ ラ を利用 した車両用距離測定装置に於いて、 ス テ レ ォカ メ ラ の両光学系の取付位置及び上下視野角度から定まる 視野最下端部が、 路面と交わる点までの距離よ り も短く 設定 される基準距離を用いて、 距離演算手段の演算開始直後に演 算距離が有効であるか無効であるかを、 距離評価手段で評価 する よ う に し、 確実に対象物までの距離を演算している状態 となってから距離演算手段の演算距離を有効とする よ う に し て、 距離測定開始直後の距離測定値が有効であるか否かを簡 単に判定し、 距離測定精度を向上させよ う とする技術が開示 されている。

しかしながら、 これら従来の提案には、 ステ レオカメ ラの 撮像視野に映じる特定の被写体が映像フ レーム内に於いて占 める位置が特定の傾向を呈する よ う に して、 背景や周囲の他 部に依存せずにその被写体自体の距離等当該被写体に着目 し た情報を効率的に取得するべく 、 適用 されるステ レオカメ ラ の姿勢を調節する こ と によってこれに対応 しょ う とする技術 課題の認識、 ひいては、 その技術課題の解決手段に係る開示 はなされていない。

一方、 従来よ り使用 されている画像撮影装置に関わるキヤ リ ブレーシヨ ンに関しては、 大き く わける と

①ス テ レオ画像を撮影する装置自体に関わるキヤ リ ブ レ ーシ ヨ ン

②撮影'装置と外部装置間の位置姿勢に関わるキヤ リ ブ レ ーシヨ ン

に相当するものがある。

前記①に関するキヤ リ ブレーショ ンは、 いわゆるステ レオ カメ ラのキヤ リ プレーショ ンと して一般的に知られている も のである。 これは、 ス テ レオカメ ラの撮影特性に関するパラ メータである、 焦点距離、 拡大率、 画像中心、 レンズデイ ス トーシ ヨ ン等に代表される力メ ラ ノ、。ラ メータ と、 ステ レオ力 メ ラ を構成する少な く と も 2台のカメ ラ間の位置姿勢関係を 規定する位置姿勢パラ メ ータ と、 に関するキ ヤ リ レーシ ョ ンである。 こ う したパラメ ータは、 ス テ レオ撮影装置の内部 キヤ リ ブレーショ ンパラメータ と称される。

また、 前記②に関するキャ リ ブ レーシ ョ ンは、 ステ レオ撮 影装置と外部装置間の位置姿勢に関するパラメータに関する キャ リ ブ レーシ ョ ンに相当する。 よ り 具体的には、 例えば、 ス テ レオ撮影装置がある環境に配置されている場合には、 ス テ レオカメ ラが設置されている環境内での位置姿勢パラ メ一 タが、 こ のキヤ リ ブレーショ ンで規定すべきパラ メータ と な る。 また、 ス テ レオ撮影装置が車両に装着され、 そのス テ レ ォカメ ラで車両前方の障害物の位置関係を計測する場合には、 車両の基準と なる原点に対して、 ス テ レオ撮影装置が何処に 装着 してあるかを規定する位置姿勢パラメ ータが、 キヤ リ ブ レーショ ンで規定すべきパラメ ータ と なる.。 こ う したパラメ ータ は、 撮影装置と外部装置間の外部キヤ リ ブ レーシ ョ ンパ ラメータ と称される。

次に、 こ う したキヤ リ ブレーショ ンずれに関して説明する。 前記①のステ レオ撮影装置の内部キヤ リ プレーショ ンパラ メ ータに起因するキヤ リ ブレーショ ンずれに関して考える。 例えば、 2 台のカメ ラからステ レオ画像を撮影する装置の場 合には、 以下の 2つに分ける こ とができ る。 すなわち、 （① -一 1 ) 各カメ ラの撮影に関するカメ ラパラメ ータのずれに基 づく キャ リ ブレーシ ョ ンずれ、 （①ー 2 ) 2 台のカメ ラ間の 位置姿勢を規定するパラメ ータのずれに基づく キヤ リ プレー シヨ ンずれ、 である。

例えば、 前記 （①ー 1 ) に関するキャ リ ブ レーシ ョ ンずれ が起こる原因と しては、 カメ ラ を構成する光学レンズ系の変 形、 光学レ ンズ系と撮像素子 （ C C Dや C M O S等） と の間 の位置ずれ、 光学レ ンズの フ ォ ーカ ス位置のずれ、 光学レン ズのズーム レンズの制御系のずれ等が考えられる。

また、 前記 （①ー 2 ) に関するキャ リ ブレーシ ョ ンずれが 起こる原因 と しては、 2台のカメ ラ間を固定する機構の位置 ずれによ る。 例えば、 2台のカメ ラを機械的なシャ フ ト で固 定している場合には、 そのシャ フ トの経時的変形等がこの例 に対応する。 また、 2台のカメ ラ をねじ止めであるシャフ ト に装着してある場合には、 そのねじの弛み等による位置ずれ 等にも起因する。

一方、 前記②のキャ リ ブ レーシ ョ ンずれが起こる原因と し ては、 ス テ レオ撮影装置と外部装置を固定する機械的要素の 変形、 取り 付け治具の変形等が考えられる。 例えば、 車載力 メ ラ にス テ レオ撮影装置を利用 して、 こ の撮影装置をフ ロ ン ト ウイ ン ドウとパ ッ ク ミ ラーの間の取り 付け治具を用いて、 外部装置である車両に取り付ける場合を考える。 この場合、 車両の基準位置を車両先端と規定すれば、 ス テ レオ撮影装置 の取り 付け治具自体の変形、 取り 付け部材である 「ねじ」 の 弛み等によ る変形、 車両自体の経時的変形、 寒冷地等の使用 する際の季節的変動に伴う 車両や取り 付け治具の機械的変形 等、 各種の機械的変形に伴う キ ヤ リ ブ レーショ ンずれを考え る こ とができる。

こ う したキヤ リ ブレーショ ンずれの検出或いは捕正の従来 例を考える と、 以下のよ う な技術が提案されている。

例えば、 特開平 1 1 一 3 2 5 8 9 0 号公報に記載の方式は ステ レオカ メ ラの撮影画像の光学的位置ずれを捕正する もの で、 前記②の撮影装置と外部装置間の位置姿勢に関わるキヤ リ プレーショ ンに関するキヤ リ ブレーショ ンずれを補正する 方法が提供されている。 こ の方法は、 よ り 具体的には、 2 台 6 のカメ ラのそれぞれの視野に設定した基準マーカの各撮影画 像内での初期位置を記憶してお り 、 実際に撮影された画像内 での位置ずれから、 位置ずれに関わる補正を行う ものである。

また、 例えば、 徐剛による、 "写真から作る 3 次元 C G " 、 近代科学社、 2 0 0 1 と題された文献には、 2台のカメ ラで 撮影された 自然特徴点 （撮影された画像から任意に選択され た特徴点） を利用 して、 2台のカ メ ラ に関わる相対的な位置 関係を算出する方法が開示されている。 こ.の算出にあたって は、 数学的に基本行列を算出する ものである。 基本的には、 カメ ラ間の距離に関わる推定値は、 相対的な推定によ り 算出 される ものである。 また、 カメ ラのレ ンズディ ス トーシ ョ ン は無視できる と仮定している。

更 に 、 J. Weng, et al.， Camera calibration with distortion models and accuracy evaluation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10， October 1992, pp. 965- 980.には、 一般的なカメ ラキャ リ ブ レーシ ョ ンの方法と ス テ レオカメ ラへの応用が説明されている。 これは、' 具体的には、 基準座標系に数多く の既知特徴点 （既知マーカ） を配置して、 その特徴点の画像内での位置を算出する こ と によ り 、 カメ ラ.

(ス テ レオカ メ ラ） に関する各種パラ メータ を算出する方法 である。 従って、 この方式によ り 、 キャ リ ブレーショ ンパラ メータを、 全て再算出する こ とが可能である。

しかしなが ら、 前記特開平 1 1 一 3 2 5 8 9 0号公報の従 来例は、 撮影装置と外部装置間の位置ずれを検出 して、 補正 する方法を提供するのみである。 つま り 、 この方法では、 撮 影装置內部キヤ リ ブレーショ ンパラメ ータに関するキヤ リ ブ レーショ ンずれの検出や補正には対応できていないとい う課 題を有している。

また、 徐剛による、 "写真から作る 3次元 C G " に記載の 方法で、 基本行列を算出 してカメ ラキャ リ ブレーシ ョ ンする 方法では、 カメ ラ間の絶対距離と しての位置姿勢関係を算出 する こ とが不可能である。 従って、 ステ レオ撮影装置を、 3 次元計測装置と して使用するには問題がある。

. 更 に 、 J". Weng, et al . , Camera calibration with distortion models and accuracy evaluation, 〃【こ gd载の従 来例は、 カメ ラキヤ リ ブレーショ ンの一般的方法を提供する ものであ り 、 元来キャ リ ブレーシ ョ ンずれを 目的と したもの ではない。 カ卩えて、 キャ リ ブレーシ ョ ンを実行するためには、 複数の既知マーカを配置して処理を行わなければな らないと いう課題を有していた。

発明の開示

従つて本発明の目的は、 車载用である こ と をその一例とす るステ レオカ メ ラを用いて、 当該ステ レオカ メ ラ と の相対関 係が変化する被写体をその撮像視野に含んで撮影 行 う場合 に、 背景その他の周囲の他部に依存せずにその被写体自体の 距離等当該被写体に着目 した情報を効率的に取得する こ と が でき る よ う に した、 当該ステ レオカ メ ラの姿勢を調節する ス テ レオカ メ ラ支持装置及ぴステ レオカメ ラ の支持方法並びに それらを適用 したステ レオカメ ラ システムを提供する こ と に ある。

また、 本発明の 目的は、 3次元計測等を行 う ステ レオ画像 を撮影する撮影装置のキャ リ ブレーシ ョ ンが、 経時変化ゃ衝 撃振動な どの機械ずれによっても、 ステ レオ画像を解析する こ と によ り 、 簡易にキャ リ ブレーシ ョ ンずれを定量的に検出 する こ とが可能なキヤ リ プレーショ ンずれ検出装置及びこの 装置を備えたステ レオカメ ラ並びにステ レオカメ ラシステム を提供する こ とにある。

更に、 本発明の目的は、 3次元計測等を行うステレオ画像を撮 影する撮影装置のキヤ リ ブレーショ ンが、 経時変化や衝撃振動な どの機械ずれによっても、 ステレオ画像を解析するこ とにより 、 簡易にキヤ リ プレーショ ンずれを定量的に且つ絶対値と して捕正 するこ とが可能なキヤ リ プレーショ ンずれ捕正装置及びこの装置 を備えたステレオカメ ラ並びにステレオカメ ラシステムを提供す ることにある。

本発明の第 1 の特徴は、 相互に離隔した複数の視点によ る 視差を持った複数の映像を得る よ う になされたステ レオカ メ ラを支持するステ レオカメ ラ支持装置であって、

前記ステ レオカメ ラを設置する車両側に設けられた支持メ ンバと、 該ステ レオカメ ラの所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカ メ ラを前 記車両に支持する よ うに構成された結合部材と、

前記結合部材によって前記車両に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御部と、 を備え、

前記制御部は、 前記ステ レオカメ ラによ って得られる映像 に関 して、 当該映像中の注目被写体の輪郭の う ち最高水準位 置にある輪郭部分が、 前記車両の姿勢乃至位置の変化によ ら ず、 映像のフ レーム上端乃至その近傍に位置する よ う に、 当 該ステレオカメ ラの姿勢乃至位置を制御し得る よ う に構成さ れたものである こ と を特徴とする。

本発明の第 2 の特徴は、 ステ レオ画像を.撮影する撮影装置 に係るキヤ リ プレーショ ンデータを保持するキヤ リ ブレーシ ョ ンデータ保持部と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ プレーショ ンずれを判定するキ ヤ リ ブレーシ ヨ ンずれ判定部と、 - を具備する こ と を特徴とする。

更に、 本発明の第 3 の特徴は、 ステ レオ画像を撮影する撮 影装置に係るキヤ リ ブレーショ ンデータを保持するキヤ リ プ レーシ ョ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ ブレーショ ンずれを補正するキ ャ リ ブレーショ ンデータ捕正部と、

を具備することを特徴とする。

図面の簡単な説明

図 1 は、 ステ レオカ メ ラ支持装置が適用 されるステ レオ力 メ ラシステムの構成を示す図である。

図 2 は、 ステレオアダプタの構成を示す図である。

図 3 A乃至図 3 Dは、 ステ レオカ メ ラの車両への装着を示 す図である。

図 4 A及び図 4 Bは、 処理装置で求めた三次元距離画像を 示す図である。

図 5 は、 三次元再構成等の処理を行って抽出 した画像の表 示を示す図である。

図 6 は、 ステ レオカ メ ラ支持装置のステ レオカ メ ラ結合装 置の構成を示す図である。

図 7 A及び図 7 B は、 車両に搭載されたステ レオカ メ ラの 撮像方向を示す図である。 - 図 8 は、 ステレオカメ ラ支持装置に於ける制御動作の概略 の手順を示すフローチヤ一トである。

図 9 A及ぴ図 9 Bは、 車両の前後方向の傾きによ るステ レ ォカメ ラの撮像方向を示す図である。

図 1 0 は、 ステ レオカ メ ラ支持装置に於ける制御動作の概 略の手順を示すフ ローチヤ一トである。

図 1 1 A及び図 1 1 B は、 車両の左右方向の傾き によるス テレオカメ ラの姿勢を示す図である。

図 1 2 は、 ステ レオカ メ ラ支持装置に於ける制御動作の概 07557

11 略の手順を示すフ ローチヤ一トである。

図 1 3 A及び図 1 3 B は、 道路面の傾き と ステ レオカ メ ラ の撮像方向を示す図である。

図 1 4 は、 ステ レオカ メ ラ支持装置に於ける制御動作の概 略の手順を示すフ ローチヤ一トである。

図 1 5 は、 ステ レオカ メ ラ支持装置に於ける制御動作の概 略の手順を示すフ ローチヤ一トである。

図 1 6 A乃至図 1 6 C は、 運転者に対する 映像を表示する 方法を説明する図である。

図 1 7 は、 本発明の第 6 の実施の形態に於ける キヤ リ ブレ ーシ ョ ンずれ検出装置の基本構成例を示したプロ ッ ク 図であ る。 . 図 1 8 は、 ス テ レオ画像を撮影する撮影装置のカ メ ラ座標 について説明する図である。

図 1 9 Aはステ レオアダプタの視野を示す図、 図 1 9 B は 図 1 9 Aのステ レオアダプタの展開図である。

図 2 0 は、 ス テ レオ画像に於け る ェ ピポーラ線拘束を説明 する図である。

図 2 1 A及び図 2 1 B は レク ティ フ ィ ケーシ ョ ン処理を説 明するため もので、 図 2 1 Aは レク ティ フ ィ ケーシ ヨ ン前の 画像を表 した図、 図 2 1 B はレク ティ フ ィ ケーシ ヨ ン後の画 像を表 した図である。

図 2 2 は、 レク テ ィ フ ィ ケーシ ョ ン処理を説明する ための 図である。

図 2 3 は、 本発明の第 6 の実施の形態に於ける キヤ リ プレ ーショ ンずれ検出装置の詳細な動作を説明する フ ローチヤ一 トである。

図 2 4 A及び図 2 4 Bは左右原画像を表 したもので、 図 2 4 Aは左カメ ラによ り 撮影された左原画像を示した図、 図 2 4 B は右カメ ラによ り 撮影された右原画像を示した図である。 図 2 5 A及び図 2 5 Bはレクティ フィ ケーショ ンされた左 右の画像を表したもので、 図 2 5 Aは左画像を示 した図、 図 2 5 Bは右画像を示した図である。

図 2 6 は、 図 1 7 の特徴抽出装置 1 1 8 の構成例を示 した プロ ック図である。

図 2 7 は、 レグティ フィ ケーシヨ ンされた左画像を分割さ れた小ブロ ックで示した図である。

図 2 8 は、 左画像で登録された特徴点の例を示 した図であ る。

図 2 9 A及び図 2 9 Bは、 探索範囲の設定を説明するため の図である。

図 3 0 は、 右画像で抽出された対応する特徴点の例を示し た図である。

図 3 1 A及び図 3 1 B は、 キャ リ ブレーシ ョ ンずれ判定方 法について説明するための図である。

図 3 2 は、 図 1 7 のずれ結果呈示装置 1 2 2 の一例を表し た図である。

図 3 3 は、 本発明の第 7 の実施の形態に於けるキヤ リ ブレ ーショ ンずれ検出装置の基本構成例を示したプロ ック図であ る。 T JP2004/007557

13 図 3 4 は、 本発明の第 7 の実施の形態に於けるキヤ リ ブレ ーシヨ ンずれ検出装置の動作について説明するフ ローチヤ一 トである。

図 3 5 A及び図 3 5 Bは、 探索範囲の設定を説明するため の図である。

図 3 6 は、 本発明の第 8 の実施の形態に於けるキヤ リ ブレ ーショ ンずれ検出装置の基本構成例を示したプロ ック図であ る。

図 3 7 A乃至図 3 7 Eは撮影される車両の一部の形状に関 する特徴を既知特徴と した配置の例を示したもので、 図 3 7 Aは撮影される左画像の例を表した図、 図 3 7 B は既知特徴 と して選択された特徴を黒丸 1 8 4で示した図、 図 3 7 Cは フロ ン トガラスの一部に既知特徴である黒丸の既知マーカを 配置した様子の例を表 した図、 図 3 7 Dはマーカ群を表した 左画像の例を示 した図、 図 3 7 Eはマーカ群を表 した右画像 の例を示した図である。

図 3 8 は、 本発明の第 8 の実施の形態に於けるキヤ リ ブレ ーシヨ ンずれ検出装置の動作について説明するフ ローチヤ一 トである。

図 3 9 A及び図 3 9 Bは、 抽出された特徴の集合 A及び B の例を示した図である。

図 4 0 は、 本発明の第 1 0 の実施の形態に於けるキヤ リ ブ レーショ ンずれ検出装置の基本構成例を示 したプロ ック図で ある。

図 4 1 は、 本発明の第 1 2 の実施の形態に係るキヤ リ ブレ ーショ ンずれ検出装置が適用されたス テ レオカメ ラの構成を 示すプロ ック図である。

図 4 2 は、 本発明に於けるキヤ リ ブレーショ ンずれ捕正装 置の第 1 の基本構成例を示したプロ ック図である。

図 4 3 は、 本発明に於けるキャ リ ブ レーシ ョ ンずれ補正装 置の第 2の基本構成例を示したプロ ック図である。

図 4 4 は、 ステ レオ画像を撮影する撮影装置のカメ ラ座標 について説明する図である。

図 4 5 Aはステ レオアダプタの視野を示す図、 図 4 5 Bは 図 4 5 Aのステ レオアダプタ の展開図である。

図 4 6 は、 ス テ レオ画像に於けるェピポーラ線拘束を説明 する図である。

図 4 7 A及び図 4 7 B はレクティ フィ ケーショ ン処理を説 明するためもので、 図 4 7 Aはレクティ フィ ケーシヨ ン前の 画像を表 した図、 図 4 7 B はレクティ フィ ケーシヨ ン後の画 像を表した図である。

図 4 8 は、 レクティ フィ ケーシヨ ン処理を説明するための 図である。

図 4 9 は、 本発明の第 1 3 の実施の形態に於けるキヤ リ ブ レーシ ヨ ンずれ捕正装置の詳細な動作を説明する フ ロ ーチヤ 一トである。

図 5 O A乃至図 5 0 Eは、 車両の場合に於ける既知特徴の 例を示した図である。

図 5 1 A及び図 5 1 Bは左右原画像を表したも ので、 図 5 1 Aは左カ メ ラ によ り 撮影された左原画像を示した図、 図 5 1 B は右カメ ラ によ り 撮影された右原画像を示した図である。 図 5 2 A及び図 5 2 B はレクティ フィ ケーシヨ ンされた左 右の画像を表したも ので、 図 5 2 Aは左画像を示した図、 図

5 2 Bは右画像を示した図である。

図 5 3 は、 特徴抽出装置 2 6 6 の構成例を示したプロ ック 図である。

図 5 4は、 抽出結果の一例を表した図である。

図 5 5 は、 レクティ フィ ケーシヨ ンされた左画像を分割さ れた小ブロ ックで示した図である。

図 5 6 は、 左画像で登録された特徴点の例を示した図であ る。

図 5 7 A及ぴ図 5 7 Bは、 探索範囲の設定を説明するため の図である。

図 5 8 も 右画像で抽出された対応する特徴点の例を示し た図である

図 5 9 は 補正結果呈示装置 2 7 0 の一例を表した図であ る。

図 6 0 は 本発明の第 1 3 の実施の形態に於ける別の動作 例を説明するフローチヤ一トである。

図 6 1 は、 本発明の第 1 3 の実施の形態に於ける更に別の 動作例を説明するフ ロ ーチヤ一トである。

図 6 2 は、 本発明の第 1 4の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の基本構成を示すプロ ック図である 図 6 3 は、 本発明の第 1 4 の実施の形態に於けるキヤ リ ブ レーショ ンずれ捕正装置の詳細な動作を説明する フ ロ ーチヤ ー トである。

図 6 4 は、 本発明の第 1 5 の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の基本構成例を示 したプロ ッ ク 図で める。

図 6 5 は、 本発明の第 1 5 の実施の形態に於ける キヤ リ ブ レーショ ンずれ補正装置の動作を説明する フ ローチヤ一 トで ある。

図 6 6 は、 本発明の第 1 6 の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の基本構成例を示 したプロ ッ ク 図で める。

図 6 7 は、 本発明の第 1 6 の実施の形態に於けるキヤ リ ブ レーシ ョ ンずれ捕正装置の動作を説明する フ ローチヤ一 ト で ある。

図 6 8 A及び図 6 8 B は、 ェ ピポーラ線か らのずれ d i を 説明するための図である。

図 6 9 は、 本発明の第 1 7 の実施の形態に於.けるキヤ リ ブ レーシ ョ ンずれ補正装置の基本構成例を示 したプロ ッ ク 図で ある。

図 7 0 は、 ス テ レオ撮影装置で撮影される キヤ リ ブレーシ ョ ンパターンの例を示 した図である。

図 7 1 は、 ス テ レオ撮影装置で撮影される キヤ リ プ レーシ ョ ンパターンの他の例を示 した図である。

図 7 2 A及び図 7 2 B は、 本発明の第 1 8 の実施の形態の キヤ リ ブレーシ ョ ンずれ捕正装置によ るス テ レオ画像の様子 を表 した も のであ り 、 図 7 2 Aは時刻 1 での左画像の例を示 した図、 図 7 2 Bは時刻 1 と は異なる時刻 2 での左画像の例 を示した図である。

図 7 3 は、 本発明の第 1 7の実施の形態に於けるキヤ リ ブ レーショ ンずれ捕正装置の処理動作を説明するフローチヤ一 トである。

図 7 4 は、 本第 1 7 の実施の形態に於けるキヤ リ プレーシ ョ ンずれ補正装置の別の処理動作を説明する フローチヤ一 ト である。 .

発明を実施するための最良の形態

以下、 図面を参照して本発明の実施の形態を説明する。

図 1 は、 本発明に係るステ レオカ メ ラ支持装置及ぴ該装置 が適用されたステ レオカメ ラ システムの構成を示す図である。

本ステ レオカ メ ラ システム 1 0 は、 後述するステ レオァダ プタ 1 2及び撮像装置 1 4 と を有して構成されるステ レオ力 メ ラ 1 6 と、 処理装置 1 8 と、 制御装置 2 0 と、 運転装置 2 2 と、 音声装置 2 4及び振動装置 2 6等を有して構成される 警告装置 2 8 と、 入力装置 3 0 と、 表示装置 3 2 と、 車速セ ンサ 3 4 と、 測距レーダ 3 6 と 、 照度センサ 3 8 と、 外部力 メ ラ 4 0 と、 G P S (全地球測位システム） 4 · 2 と、 V I C S (渋滞情報取得装置） 4 4 と、 外部通信装置 4 6 と、 ステ レオカメ ラ支持装置 5 0 と、 カメ ラ姿勢センサ 5 2及び車両 姿勢センサ 5 と を備えている。

そ して、 ステ レオカ メ ラ支持装置 5 0 には、 ステ レオカ メ ラ結合装置 5 6及び支持制御装置 5 8 とが設けられている。

こ こで、 ステ レオアダプタ 1 2 は、 図 2 に示される よ う に、 07557

18 カメ ラ等の撮像装置 1 4 内部にある撮像光学系 6 2 の前方に 取り 付け られる もので、 2 つの受光部位 （ミ ラー 7 0 a 、 7 O b ) と 、 光学系 （ミ ラー 7 2 a 、 7 2 b ) とから構成され ている。 前記ステ レオアダプタ 1 2 は、 撮像素子 6 4 に視差 画像 6 6 を形成するために用いられる ものである。 図 2 に於 いて、 同一被写体 7 4 からの光は、 所定距離離間 した前記 2 つの受光部位 （ミ ラー 7 0 a 、 7 0 b ) で受光される。 そ し て、 この受光された各々 の光が、 光学系 （ミ ラー 7 2 a 、 7

2 b ) で反射されて、 撮像装置 1 4の撮像光学系 6 2 に導か れる。

ステレオアダプタ 1 2 と撮像装置 1 4 (或いはそれらに加 えて処理装置 1 8 ) を含んで構成されるステ レオカ メ ラ 1 6 は、 ステ レオカ メ ラ支持装置 5 0 によ って種々の方向を撮像 する こ とが可能に構成されている。

このステ レオカメ ラ 1 6 は、 図 3 A、 図 3 B、 図 3 C、 図

3 Dに示される よ う に、 車両 8 0 の車内及び車外の任意の位 置 （ハッチングして示される位置） に装着する こ とが可能で ある。 車両 8 0 の車外に装着する際は、 車両のボンネ ッ ト、 ピラー、 ヘッ ドライ ト等に装着可能であ り 、 車外の風景をさ ま ざまな方向から撮影する こ とが可能である。 また、 車両 8 0 の車内に装着する際は、 ダッシュポー ト上、 ルーム ミ ラー 等に装着可能である。

処理装置 1 8 は、 前記ステ レオアダプタ 1 2 を通 して、 撮 像装置 1 4 から撮影された画像から三次元再構成等の処理を 行い、 三次元距離画像等の作成を行う。 制御装置 2 0 4 は、 PC蘭 004/007557

19 画像情報と車両情報を統括する役割を有している。 例えば、 処理装置 1 8 で処理された結果を表示装置 3 2 に表示した り 、 処理装置 1 8 によ り 得られた距離情報と車速センサ 3 4等の 情報と を分析して、 警告装置 2 8 に警告を発生させたり 、 運 転装置 2 2 を制御して運転者に安全運転を促すこ とができる よ う になつている。 また、 入力装置 3 0 は、 例えば、 リ モコ ン等の入力機器を用いて制御装置 2 0 に指示を与える もので、 モー ド等の切り換えを行う こ とができる。

前述よ り 理解される通り 、 処理装置 1 8 と制御装置 2 0 は、 本システムに於ける情報処理手段を構成してお り 、 このシス テムを備えた車両に搭載されたコ ンピュータ によって双方の 装置の機能が賄われる よ う に構成され得る。

更に、 警告装置 2 8 は、 前述 したよ う に、 音声装置 2 4、 振動装置 2 6等から構成される。 例えば、 音声装置 2 4 はス ピー力等からの音声によ り 、 振動装置 2 6 は運転席シー トの 振動によ り 、 運転者に警告を発するものである。

こ こで、 ステ レオカ メ ラ支持装置 5 0 の構成要素であるス テ レオカメ ラ結合装置 5 6 は、 ステレオカメ ラ 1 6 を車両 8 0 に結合して支持する。 また、 ステ レオカメ ラ支持装置 5 0 の構成要素である支持制御装置 5 8 は、 ステ レオカメ ラ結合 装置 5 6 に信号を出力 して、 ステ レオカメ ラ 1 6 の撮像方向 を制御する。

また、 車両姿勢セ ンサ 5 4は、 車両の姿勢または位置を検 出する検出手段であ り 、 道路に対する車両の傾き を検出する。 そ して、 この車両姿勢センサ 5 4 の検出値、 処理装置 1 8 で PC漏 00傷 7557

20 処理された画像情報、 G P S 4 2 の情報等に基づいて、 支持 制御装置 5 8 が、 ステ レオカメ ラ 1 6 の撮像範囲、 すなわち 撮像視野を何処に定めるかを制御する。

すなわち、 車両が傾く こ とによ って撮像視野が適正な状態 からずれた場合は、 元の撮像視野になる よ う に、 ステ レオ力 メ ラ結合装置 5 6 に対して制御信号を出力する。 この際、 支 持制御装置 5 8 は、 カメ ラの姿勢または位置を検出するセン サであるカメ ラ姿勢センサ 5 2 の検出出力値に基づいて現在 のカ メ ラ の状態を把握し、 制御信号を生成する。 そ して、 ス テレオカメ ラ結合装置 5 6 は、 この制御信号に基づいて内部 に設けられた調整機構を駆動し、 ステ レオカ メ ラ 1 6 を所望 の方向に設定する。

尚、 前述の車両姿勢センサ 5 4 は、 鉛直方向または水平方 向に対する相対的な角度を検出する傾斜検出手段と して機能 し得、 更に、 当該車両の接地面に対する相対的な位置を検出 する高さ検出手段と して機能し得る。

尚、 この制御に必要な各種の情報及び検出信号は、 制御装 置 2 0 を介して支持制御装置 5 8 に入力される。 但し、 この 形態に限定されず、 支持制御装置 5 8 が直接制御に必要な各 種の情報及び検出信号を受け取る よ う に構成しても よい。 ま た、 制御装置 2 0 と支持制御装置 5 8 とが適宜機能を分担し て、 制御に必要な各種の情報及び検出信号を受け取る よ う に 構成してもよい。

次に、 処理装置 1 8 が備えている三次元距離画像等を作成 する機能について概説する。 尚、 処理装置 1 8 の構成例 と適 用され得る画像処理理論については、 本件出願人が、 特願 2 0 0 3 - 0 4 8 3 2 3号公報と して既に提案している。

図 4 A及び図 4 B は、 処理装置 1 8 で求めた三次元距離画 像を示したものである。

図 4 Aは撮影された画像であ り 、 図 4 B はその画像から距 離を算出 した結果を示す図である。 このよ う に、 カメ ラから 被写体までの距離を三次元情報と して算出する こ とができ る : 尚、 図 4 Bでは、 輝度が高いほど距離が近いこ と を表してい る。

また、 三次元距離画像に基づいて、 処理装置 1 8 は、 道路 領域と非道路領域を弁別する こ と ができ、 更に道路面内にあ る物体、 非道路領域にある障害物を認識し抽出する こ と もで きる o

従って、 図 5 に示される よ う に、 三次元再構成等の処理を 行って抽出 した道路の平面或いは曲面形状を、 表示装置 3 2 の表示部 3 2 a 上に表示するこ と もでき る。 更に、 この と き 車両 8 0 から等間隔離れた道路面上の点群を、 直線或いは曲 線 S L 1 、 S L 2、 S L 3 でスーパーイ ンポーズ表示する。 更に、 この表示装置 3 2 は、 処理装置 1 8 によって、 その道 路上の前方を走行する車両 T l 、 Τ 2等を認識して、 その前 方車両を外包する楕円または矩形等で表示する と共に、 前方 車両 T l 、 Τ 2等までの距離を表示する こ と もできる。

こ のよ う に、 本ステ レオカ メ ラ システムを用いれば、 道路 及び被写体に関する種々の情報を得る こ とができ る。

[第 1 の実施の形態] PC霞 004/007557

22

. 図 6 は、 本発明に係る第 1 の実施の形態のステ レオカ メ ラ 支持装置 5 0のステ レオカメ ラ結合装置 5 6 の構成例を示す 図である。

ステ レオカ メ ラ結合装置 5 6 は、 ステ レオカ メ ラ 1 6 を車 両 8 0 に取り 付けるための結合部材である と共に、 ステ レオ カメ ラ 1 6 を所望の位置、 姿勢に変更自在に制御する こ とが 可能なよ う に捧成されている。 ステ レオカ メ ラ結合装置 5 6 の両端には、 車体と結合させるため車体の適所に固定される 支持部材 8 4、 及ぴステレオカ メ ラ 1 6 と結合させるための 被支持部材 8 6 とが設けられている。

そ して、 この よ う に して車体に結合されたステ レオカ メ ラ 1 6 を所定範囲内で方向自在とするための機構が設けられて いる。 すなわち、 この機構は、 ョ一回動軸 8 6 a 、 ピッチ回 動軸 8 6 b 、 ロール回動軸 8 6 c の 3 軸回 り に回動可能に構 成する ョ一回動モータ 8 8 a 、 ピッチ回動モータ 8 8 b 、 口 一ル回動モータ 8 8 c を備えた姿勢制御機構-である。

また、 図 6 に於いて、 9 0 a 及び 9 O b は、 ステ レオァダ プタ 1 6 に設け られた視野マスク開口 （ L ) 及び視野マスク 開口 （ R ) である。

本構成のステ レオカメ ラ結合装置 5 6 に対して、'支持制御 装置 5 8 は、 それぞれのモータに対する制御信号を出力する こ と によって、 ステ レオアダプタ 1 2 を所望の方向に制御す る こ とが可能と なる。 尚、 図 6 には示されていないが、 ステ レオカメ ラ結合装置 5 6 には、 カメ ラの姿勢または位置を検 出するカメ ラ姿勢センサ 5 2 (図 1 ) が設け られている。 こ P 画画 07557

23 のカメ ラ姿勢センサ 5 2 は、 例えば、 それぞれのモータの回 動角度を検出 じてもよい。

尚、 ステ レオカ メ ラ結合装置 5 6 と しては、 図 6 に示され る よ う な 3軸制御機構を備えた方式のものに限らず、 例えば、 電動式の公知のジンバル機構を適用する こ と ができ る。 また、 本件出願人が提案した特許第 3 3 0 6 1 2 8 号の鏡枠支持機 構に準じたメ カニズムを適用 してもよい。

尚、 ステ レオカメ ラ結合装置 5 6 は、 図 6 に例示したよ う な 3軸について、 自動で制御する方式のものではなく 、 例え ば、 ョ一角については手動で調整する ものであっても よい。 このための手動調整機構は、 例えば、 回動、 ロ ッ クが可能な ユニバーサルジョ イ ン ト、 或いはカメ ラ用 自 由雲台の如く に 懸架された被支持体を、 所望の取り 付け角度にロ ックネジを 緩めて指向 した後、 ロ ックネジの締め付け角度を固定する こ とで方向を調整する よ う な構成を採るこ とができる。

次■に-.、 - 本発明に係る第 1 の実施の形態のステ レオカメ ラ支 持装置 5 0 の動作について説明する。

図 7 A及び図 7 B は、 車両 8 0 に搭載されたステレオカメ ラの撮像方向を示す図であ り 、 図 8 は、 ステ レオカメ ラ支持 装置 5 0 に於ける制御の概略の手順を示すフ ローチヤ一 トで ある。

図 7 Aでは、 ステ レオカ メ ラ 1 6 はステ レオカメ ラ結合装 置 5 6 を介 して、 車両 8 0 の車内の適所 （ダッシュボー ド上 やフ ロ ン トガラス上方の中央位置近傍等） に懸架されている。 そ して、 このステ レオカメ ラ 1 6 の視野 9 4 の中心線 9 6 は、 PC漏 004/007557

24 道路面 9 8 に対して平行になる よ う に設定されている。 し力 しながら、 この状態では撮影されたフ レームの上部領域には、 目的とする被写体に関する画像を処理する上で不必要な背景 領域である空が撮影されて しま う。 そのため、 本来必要と さ れる前方車両等の被写体 1 0 0や道路面 9 8 等、 撮像する領 域の占める割合が不十分な画像となっている。

そこで、 図 7 B に示される よ う に、 ステ レオカ メ ラ結合装 置 5 6 によ る制御によってステ レオカ メ ラ 1 6 の撮像姿勢を 調節する。 この場合、 前方の被写体 1 0 0 の上端部 （当該被 写体の輪郭の う ち最高水準位置にある輪郭部分） が、 視野 9

4 の上端部 （従って、 撮像された映像のフ レーム上端） に位 置する よ う に調節する。 これによつて、 道路面 9 8 の撮影領 域が広が り 、 また空等の不必要な背景領域が減少 し視野を有 効に利用する こ とができる。

こ こで、 前述したステ レオカ メ ラ支持装置 5 0 の制御動作 について、 図 8のフローチャー トを参照して説明する。

まず、 ステ ップ S 1 にて、 支持制御装置 5 8では、 処理装 置 1 8 によ り 実行された物体認識処理結果が受け取られる。 すなわち、 処理装置 1 8 では、 三次元距離画像 （該当する ピ クセルを表す情報と距離を表す情報と を含む） に基づいて、 道路領域と非道路領域が弁別され、 当該道路領域内に存在す る被写体 1 0 0 が認識されて抽出される。 この際、 処理装置 1 8 は、 認識された被写体 1 0 0 の內から、 走行している車 両のみをその特徴に基づいて抽出しても よい。

ついで、 ステ ップ S 2 にて、 支持制御装置 5 8 では、 撮像 視野中に存在する被写体 1 0 0 についての輪郭部分の最高水 準位置が求め られる。 そ して、 ステ ップ S 3 に於いて、 その 最高水準位置が視野 9 4の上端部 （従って、 映像のフ レーム 上端。 以下同様） よ り も上に存在するか否かが調べられる。

こ こで、 撮像視野中に複数の被写体 1 0 0 が存在する場合 は、 それらの内、 輪郭部分の水準位置が最も高い位置が求め られる。 その最高水準位置が視野 9 4 の上端部よ り も下に存 在する場合 （ステ ップ S 3 N o ) は、 ステ レオカ メ ラ 1 6 は所望の姿勢位置に対して後傾している。 そこで、 ステ ップ S 4 へ移行して、 支持制御装置 5 8 によ り カ メ ラ姿勢セ ンサ 5 2 の検出出力からカ メ ラ の傾きが取り 込まれる。 そ して、 被写体 1 0 0 の最高水準位置が視野 9 4 の上端部【こ位置され る よ う に、 支持制御装置 5 8 に対してステ レオアダプタ 1 2 の姿勢を調節する制御信号が出力される。

一方、 その最高水準位置が視野 9 4 の上端部よ り も上に存 在する場合 （ステ ップ S 3 Y e s ) は、 ステ .レオカ メ ラ 1 6 は所望の姿勢位置に対して前傾している。 そこで、 ステ ツ プ S 5 へ移行して、 支持制御装置 5 8 によ り カメ ラ姿勢セン サ 5 2 の検出出力からカメ ラの傾きが取り 込まれる。 そ して、 被写体 1 0 0 の最高水準位置が視野 9 4 の上端部に位置され る よ う に、 支持制御装置 5 8 からステ レオカ メ ラ結合装置 5 6 に対して、 カメ ラ姿勢を調節する制御信号が出力される。 ステ ップ S 6 では、 制御信号を受け取ったステ レオカ メ ラ 結合装置 5 6 によ り 、 内部に設け られカ メ ラ の姿勢を調節す るための機構が駆動されて、 ステ レオカ メ ラ 1 6 の視野 9 4 が所望位置に調節される。

前述に於いて、 車両の電源キーがオンにされる等して、 ス テレオカ メ ラ支持装置 5 0 が起動 した当初の時点でのステ レ ォカメ ラ 1 6 の姿勢を どのよ う にするかについては、 何通り かの態様をと り得る。

すなわち、 1 つの態様では、 起動時 （すなわち、 本システ ムの初動時） には、 一律に水平の姿勢 （ステ レオカメ ラ の撮 像光学系乃至その近傍に設定した視点からステ レオカメ ラ 1 6 の撮像視野を見込んで撮影する と きの視野の中心線、 すな わち、 図 7 A、 図 7 B にて既述の中心線 9 6 が水平方向 と な る姿勢） と なる よ う に しておき、 その後、 車両の走行に伴つ て、 前述の三次元距離画像の情報に基づいて次第にステ レオ カメ ラの姿勢を既述の如く 調節する よ う に制御を行う。

この態様をと る場合は、 初動状態では、 例えば、 ガレージ の壁面を撮像して しま う よ う な状況であっても、 ステ レオ力 メ ラは、 その後の走行による視野の展開に応じて-何れの姿勢 にも中立的な位置から最適な姿勢に向けて適切な制御が実行 され得る。 従って、 このシステムに於ける制御に馴染まない よ う な初動段階にある と きに、 無駄な情報処理や制御が行わ れ、 これに起因 して優先順位が相対的に高い処理の高速化が 阻害される といった恐れが回避される。

また、 別の態様と しては、 初動時は、 前回の制御で設定さ れた最後の状態を維持する よ う に しても よい。 この場合は、 車両が再度走行を始めるのは、 前回の制御で設定された最後 の状態からである蓋然性が高いこ とから、 走行を開始して力 2004/007557

27 ら比較的早い時点でス テ レオカメ ラの姿勢を 目標と されるベ きものに合致させる こ とができる可能性が高い。

更に別の態様と して、 初動時は、 ステレオカメ ラの姿勢を 相対的に下向き （すなわち、 前述の中心線 9 6 が、 水平方向 よ り も下向き、 乃至、 初動時以外に制御される向き よ り も下 向きの姿勢） に設定する よ う に制御する態様をと つても よい。 この場合は、 初動時に特に注意しなく てはな らない周囲の障 害物や幼児、 ぺッ トの動物等の存在を見逃して しま う といつ た恐れを低減させるこ とができる。

前述した初動時でのステ レオ力 メ ラの姿勢制御の各種態様 は、 例えば、 予め複数の制御モー ドと して操作者の任意によ つて選択可能に設定され得る よ う にシステ ムを構成しても よ い

以上は、 初動時に於けるス テ レ オカ メ ラ の姿勢に関する 種々 の制御態様であるが、 本発明のシステ ムを備えた車両の 走行状態に応じてス テ レオカメ ラ の姿勢制御の傾向を選択す る態様も採り得る。 すなわち、 高速走行時は、 ス テ レオカメ ラ の姿勢を相対的に下向き （前述と略々同義） と なる よ う に 制御し、 低速走行時は、 相対的に上向き と なる よ う に制御す る。

こ の態様によれば、 高速走行時には撮像によ り 得た映像か ら道路の部分を安定的に抽出 · 弁別 し、 遠方の車両を正確に 認識する こ とができ る。 また、 低速走行時には、 運転者によ る注意が薄れがちな比較的高い物体を確実に認識でき る、 と いつた点で性能が高いシステムが実現される。 尚、 注目すべき被写体の輪郭の最高水準部分が、 映像のフ レームの上端を更に上方に逸脱 して しま う よ う な高い被写体 に近接し、 乃至遭遇 したこ とが該当するセンサ等によ り され たと きには、 自動的に、 ステ レオカ メ ラの姿勢が上向き と な るに制御される よ う に しても よい。 また、 操作者の認識に基 づいて人為的操作によって、 ステ レオカメ ラ の姿勢を上向き に操作するための補助的手段を併設する よ う に してもよい。

尚、 ステ レオカ メ ラの姿勢を、 該ステ レオカ メ ラを備える 車両の組立て行程中、 乃至、 工場出荷前に所定のものに設定 する こ と は、 1 つの技術的手法と して考慮され得る。

尚、 カメ ラを移動させるための制御動作は、 いわゆる現代 制御理論によるか古典制御理論によるかに拘わらず、 フ ィ ー ドバック制御或いはフ ィ ー ドフ ォ ヮー ド制御乃至これらを折 衷した方式であってよ く 、 P I D制御、 Hイ ンフ ィ ニティ制 御、 適応型モデル制御、 フアジィ制御、 ニューラルネ ッ ト等 の公知の種々の制御方法を適用する こ とができ る。

例えば、 一般的な P I D等のフ ィ ー ドバッ ク制御を用いる 場合には、 支持制御装置 5 8 は、 その制御ループ内で最高水 準位置と視野 9 4の上端と の偏差量に対応した制御信号を生 成してステ レオカ メ ラ結合装置 5 6 に出力 し、 その偏差量が " 0 " になるまでその動作を操り 返すこ とで所望の姿勢に力 メ ラを制御する こ とができる。

前述よ り 理解される とお り 、 この実施の形態では、 ステ レ ォカメ ラ 1 6 を設置する車両側に設け られた支持部材 （メ ン バ） 8 4 と、 該ステ レオカ メ ラ 1 6 の所定部位に設け られた 被支持部材 （メ ンバ） 8 6 とが、 前記両メ ンバ間の相対位置 が所定範囲内で可変である よ う に結合する こ と によって、 当 該ステレオカメ ラ を前記車両に支持する よ う に構成された結 合部材と、 このよ う な結合部材によって車両に支持されたス テ レオカメ ラ 1 6 の姿勢乃至位置を制御する制御手段と は、 ステ レオカ メ ラ結合装置 5 6 と支持制御装置 5 8 と の各該当 機能部によって具現化されている。

また、 このよ う な支持制御装置 5 8 を含むシステムは、 制 御手段は、 当該車両の姿勢乃至位置を検出する検出手段の検 出出力を用いてステ レオカ メ ラの姿勢制御を行う が、 この制 御に於いては、 これら検出出力を制御系の一の状態変数と し て制御動作を行う形態であ り得る。

また、 支持制御装置 5 8 の制御演算機能部は、 別個の回路 と して構成する こ と な く 制御装置 2 0 の該当機能部と一体的 に当該車両に搭載される共通の コ ンピュータ によ って、 この 機能をも賄う よ う に構成され得る。

[第 2の実施の形態]

次に、 本発明に係る第 2 の実施の形態のステ レオカメ ラ支 持装置 5 0 について説明する。

第 2 の実施の形態のステ レオカメ ラ支持装置 5 0 は、 前述 した第 1 の実施の形態のステ レオカメ ラ支持装置 5 0 と 同様 に、 図 1 に示されるステ レオカ メ ラシステムに組み込まれて 適用 される。 そして、 第 2 の実施の形態のステ レオカ メ ラ結 合装置 5 6 の構成は、 図 6 に示される第 1 の実施の形態のス テ レオカメ ラ結合装置 5 6 の構成と同様である。 従って、 第 PC漏 00漏 557

30

1 の実施の形態と同一の部位には同一の符号を付して、 その 詳細の説明は省略する。

次に、 本発明に係る第 2 の実施の形態のステ レオカ メ ラ支 持装置 5 0 の動作について説明する。 本実施の形態では、 ス テレオカメ ラ支持装置 5 0 は、 車両 8 0 の前後方向の傾きに よる視野の変化を捕正する。

図 9 A及び図 9 B は、 車両の前後方向の傾きによるス テ レ ォカ メ ラ の撮像方向を示す図であ り 、 図 1 0 は、 ス テ レオ力 メ ラ支持装置 5 0 に於ける制御動作の概略の手順を示すフ ロ 一チャー トである。

図 9 Aに示される よ う に、 ステレオカメ ラ 1 6 は、 ス テ レ ォカ メ ラ結合装置 5 6 を介 して、 水平面に対して所定の傾き 角度 0 下方を観測する よ う に車両 8 0 に懸架されている。 そ して、 この車両 8 0 には、 車体の前後の傾きを検出する傾斜 セ ンサ 5 4 a、 或いは前輪部、 後輪部のサスペンシ ョ ン と の 距離を測定する サスペンシ ョ ンス ト ロ ーク セ ンサ 5 4 b、 5 4 c が設けられている。

と ころで、 車両 8 0 に乗車する人数、 乗車位置が変化した 場合、 または車の荷台に積載する荷物の重量が変化した場合 には、 それによつて車両 8 0 の前後の傾斜角度も変化する。 更に、 減速、 加速時に於いても車両 8 0の前後の傾斜角度は 変化する。 この結果、 ステ レオカ メ ラ の視野も適正な状態か ら外れて しま う こ と となる。

そこで、 図 9 B に示される よ う に、 傾斜センサ 5 4 a で検 出された車体の傾斜角、 或いはサスペンシ ョ ンス ト ロークセ ンサ 5 4 b 、 5 4 c で検出 されたス ト ロータ カ、ら算出された 車体の傾斜角に基づいて、 カ メ ラ の視野が所望の状態になる よ う にステ レオカ メ ラ 1 6 の撮像方向が制御される。

尚、 傾斜センサ 5 4 a 、 サスペンシ ョ ンス ト ロークセ ンサ 5 4 b 、 5 4 c 等を複数の検出端の各変換器と して含んで、 既述の車両姿勢センサ 5 4 が構成される形態を と り 得る。

次に、 前述 したステ レオカ メ ラ支持装置 5 0 の制御動作を、 図 1 0 のフ ローチャー ト を参照 して説明する。

先ず、 ステ ップ S 1 1 にて、 支持制御装置 5 8 では、 車両 8 0 の前輪部と後輪部に取 り 付け られたサスペンシ ョ ンス ト ロークセンサ 5 4 b 、 5 4 c の検出出力が読み込まれる。 そ して、 続く ステ ップ S 1 2 にて、 このス ト ロ ークセンサの差 が演算される こ と によ り 、 車両 8 0 の前後の傾き が算出 され る。 そ して、 ステ ップ S 1 3 に於いて、 車両が基準状態 と比 較して前傾しているかど う かが調べられる。

こ こ-で、 車-両が基準状態 と 比較 して後傾 している場合 （ス テ ツプ S 1 3 N o ) は、 ステ レオカ メ ラ 1 6 は所望の姿勢 位置に於ける よ り も上方を撮像 している。 そこで、 ステ ップ S 1 4 へ移行して、 支持制御装置 5 8 にて、 カ メ ラ姿勢セン サ 5 2 の検出出力からカ メ ラ の傾きが取 り 込まれ、 ステ レオ カ メ ラ結合装置 5 6 に対 してステ レオカ メ ラ 1 6 の視野方向 が下向き と なる よ う に、 カ メ ラ の姿勢を調節させるための制 御信号が出力される。

一方、 車両が基準状態と 比較 して前傾 している場合 （ステ ップ S 1 3 Y e s ) は、 ステ レオカ メ ラ 1 6 は所望の姿勢 4 007557

32 位置に於ける よ り も下方を撮像している。 そこで。 ステ ップ S 1 5 へ移行して、 支持制御装置 5 8 によ り 、 カメ ラ姿勢セ ンサ 5 2 の検出出力からカ メ ラの傾きが取り 込まれ、 ス テ レ ォカメ ラ結合装置 5 6 に対してステレオカメ ラ 1 6 の視野方 向が上向き と なる よ う に、 カメ ラの姿勢を調節させるための 制御信号が出力される。

そ して、 ステップ S 1 6 にて、 制御信号が受け取られたス テレオカメ ラ結合装置 5 6 では、 内部に設け られたカメ ラの 姿勢を調節するための機構が駆動されて、 ステ レオカメ ラ 1 6 の視野 9 4が所望位置となる よ う に調節される。

尚、 車両 8 0 の傾きは、 傾斜セ ンサ 5 4 a の検出出力が用 いられて検出される よ う に しても よ く 、 また、 サスペンショ ンス ト ロークセ ンサ 5 4 b、 5 4 c の検出出力と、 傾斜セ ン サ 5 4 a の検出出力が組合わされて傾斜角度が算出される よ う にしてもよい。

また、 カ メ ラ-を移動させるための制御動作は、 いわゆる現 代制御理論によるか古典制御理論によ るかに拘わらず、 フ ィ 一ドバック制御或いはフ ィ ー ドフ ォ ヮ ー ド制御乃至これらを 折衷 した方式であってよ く 、 P I D制御、 Hイ ンフィ ニティ 制御、 適応型モデル制御、 フ ア ジィ制御、 二ユーラルネ ッ ト 等の公知の種々の制御方法を適用する こ とができ る。 例えば、 一般的な P I D等のフ ィ ー ドパック制御を用いる場合には、 支持制御装置 5 8 では、 その制御ループ内でカメ ラ姿勢セ ン サ 5 2 の目標値と実績値と の偏差量に対応した制御信号が生 成されてス テ レオカ メ ラ結合装置 5 6 に出力され、 その偏差 量が " 0 " になるまで、 その動作が繰り 返される こ と で所望 の姿勢にカメ ラを制御する こ とができる。

また、 本第 2 の実施の形態に係るステ レオカ メ ラ支持装置 5 0 の制御動作は、 前述した第 1 の実施の形態に係るステ レ ォカメ ラ支持装置 5 0 の制御動作と組合わせて動作させても よ く 、 また単独で動作させてもよい。

[第 3 の実施の形態]

次に、 本発明に係る第 3 の実施の形態のステ レオカ メ ラ支 持装置 5 0 について説明する。

第 3 の実施の形態のステ レオカ メ ラ支持装置 5 0 は、 前述 した第 丄 の実施の形態のステレオカメ ラ支持装置 5 0 と同様 に、 図 1 に示されるステ レオカメ ラシステムに組み込まれて 適用される。 そ して、 第 3 の実施の形態のステレオカメ ラ結 合装置 5 6 の構成は、 図 6 に示される第 1 の実施の形態のス テレオカ メ ラ結合装置 5 6 の構成と 同様である。 従って、 第 1 の実施の形態と同一の部位には同一の符号を付して、 その 詳細の説明は省略する。

次に、 本発明に係る第 3 の実施の形態のステ レオカメ ラ支 持装置 5 0 の動作について説明する。 本実施の形態では、 ス テ レオカメ ラ支持装置 5 0 は、 車両の左右方向の傾き によ る 視野の変化を補正する。

図 1 1 A及び図 1 1 Bは、 車両 8 0 が左右方向に傾いた場 合のステ レオカ メ ラ の姿勢を示す図であ り 、 図 1 2 は、 ステ レオカメ ラ支持装置 5 0 に於ける制御動作の概略の手順を示 すフローチヤ一ト図である。 2004/007557

34 図 1 1 Aに示される よ う に、 ステ レオカメ ラ 1 6 は、 ステ レオカ メ ラ結合装置 5 6 を介して、 道路面 9 8 に対して平行 に、 車両 8 0 に懸架されている。 そ して、 この車両 8 0 には、 車体の左右の傾き を検出する傾斜セ ンサ 5 4 d、 或いは左右 の車輪部のサスペンシ ョ ンの距離を測定するサスペンシ ョ ン ス ト ロークセンサ 5 4 e 、 5 4 f が設けられている。

と ころで、 車両 8 0 に乗車する人数、 乗車位置が変化 した 場合、 または車の荷台に積載する荷物の重量が変化した場合 には、 それによつて車両 8 0 の左右の傾斜角度も変化する。 更に、 右折、 左折時に於いても、 車両 8 0 の左右の傾斜角度 は変化する。 この結果、 ステレオカメ ラの視野 （それを見込 む方向） も、 適正な状態から外れて しま う こ と となる。

そこで、 図 1 1 B に示される よ う に、 傾斜センサ 5 4 dで 検出 した車体の傾斜角、 或いはサスペンシ ョ ンス ト ロークセ ンサ 5 4 e 、 5 4 f で検出 したス ト ロークから算出 した車体 の傾斜角に基づいて、 カメ ラの視野が所望の状態になる よ う に、 ステレオカメ ラ 1 6 の撮像方向を制御する。

次に、 前述したステ レオカ メ ラ支持装置 5 0 の制御動作に ついて、 図 1 2 のフ ローチャー トを参照して説明する。

先ず、 ステ ップ S 2 1 にて、 支持制御装置 5 8 によ り 、 車 両 8 0 の左右に取り 付け られたサスペンショ ンス ト ロークセ ンサ 5 4 e 、 5 4 f の検出出力が読み込まれる。 そ して、 ス テ ツプ S 2 2 にて、 このス ト ロークセンサの出力値の差が演 算される こ と によ り 、 車両 8 0 の左右の傾きが算出される。 次いで、 ステ ッ プ S 2 3 に於いて、 車両が基準状態と比較し て右傾しているか否かが調べられる。

こ こで、 車両が基準状態と比較 して左傾している場合 （ス テ ツプ S 2 3 N o ) は、 ステ レオカ メ ラ 1 6 は所望の姿勢 位置に対して左傾して撮像している。 そこで、 ステップ S 2 4へ移行して、 支持制御装置 5 8 によ り 、 カメ ラ姿勢センサ 5 2 の検出値からカ メ ラの傾きが取り 込まれ、 ステレオカメ ラ結合装置 5 6 に対してステ レオカメ ラ 1 6 の方向を右傾向 きに調節させるための制御信号が出力される。

一方、 車両が基準状態と比較して右傾している場合 （ステ ップ S 2 3 Y e s ) は、 ステ レオカ メ ラ 1 6 は所望の姿勢 位置に対 して右傾して撮像している。 そこで、 ステップ S 2 5 へ移行して、 支持制御装置 5 8 によって、 カメ ラ姿勢セン サ 5 2 の検出出力からカ メ ラの傾きが取り 込まれ、 ステ レオ カメ ラ結合装置 5 6 に対してステ レオカメ ラ 1 6 の方向を左 傾向きに調節させるための制御信号が出力される。

その後、 ステ ップ S 2 6 にて、 制御信号を受け取ったステ レオカメ ラ結合装置 5 6 によ り 、 内部に設け られたカ メ ラの 姿勢を調節するための機構が駆動されて、 ステ レオカ メ ラ 1 6 の視野が所望位置に調節される。

尚、 車両 8 0 の傾きは傾斜センサ 5 4 d の検出出力を用い ても よ く 、 また、 サスペンシ ョ ンス ト ロークセンサ 5 4 e 、 5 4 ί の検出出力 と 、 傾斜センサ 5 4 d の検出出力を組合わ せて傾斜角度を算出する よ う に してもよい。

また、 カメ ラ を移動させるための制御動作は、 いわゆる現 代制御理論によ るか古典制御理論によ るかに拘わらず、 フィ 一ドバック制御或いはフ ィ ー ドフォ ヮー ド制御乃至これらを 折衷した方式であってよ く 、 P I D制御、 Hイ ンフイ エティ 制御、 適応型モデル制御、 フアジィ制御、 二ユーラルネ ッ ト 等の公知の種々 の制御方法を適用する こ と ができ る。 例えば、 一般的な P I D等のフィー ドバッ ク制御を用いる場合には、 支持制御装置 5 8 は、 その制御ループ内でカメ ラ姿勢センサ 5 2 の目標値と実績値との偏差量に対応した制御信号を生成 してステ レオカ メ ラ結合装置 5 6 に出力 し、 その偏差量が " 0 " になるまで、 その動作を繰り 返すこ とで所望の姿勢に カメ ラを制御する こ とができ る。

更に、 本第 3 の実施の形態に係るステ レオカメ ラ支持装置 5 0 の制御動作は、 前述した第 1 の実施の形態に係るステ レ ォカメ ラ支持装置 5 0 の制御動作と組合わせて動作させても よ く 、 また単独で動作させてもよい。

[第 4の実施の形態]

次に、 本発明に係る第 4 の実施の形態のステ レオ.カメ ラ支 持装置 5 0 について説明する。

第 4の実施の形態のステ レオカ メ ラ支持装置 5 0 は、 前述 した第 1 の実施の形態のステ レオカメ ラ支持装置 5 0 と 同様 に、 図 1 に示されるステ レオカメ ラシステムに組み込まれて 適用される。 そ して、 第 4 の実施の形態のステ レオカメ ラ結 合装置 5 6 の構成は、 図 6 に示される第 1 の実施の形態のス テレオカメ ラ結合装置 5 6 の構成と同様である。 従って、 前 述 した第 1 の実施の形態と 同一の部位には同一の符号を付し て、 その詳細の説明は省略する。 PC蘭 004/007557

37 次に、 本発明に係る第 4 の実施の形態のス テ レオカメ ラ支 持装置 5 0 の動作について説明する。 本実施の形態では、 ス テレオカメ ラ支持装置 5 0 は、 道路面 9 8 の傾斜を検出 して 視野の変化を補正する。

図 1 3 A及び図 1 3 Bは、 道路面の傾き と ス テ レオカ メ ラ の撮像方向を示す図であ り 、 図 1 4 は、 ス テ レオカ メ ラ支持 装置 5 0 の制御動作の概略の手順を示すフローチヤ一 トであ る。 . 図 1 3 A及び図 1 3 B に示される よ う に、 車両 8 0 の進行 方向前方の道路面 9 8 が傾斜している場合には、 ステ レオ力 メ ラの視野が適正な状態から外れて しま う こ と となる。 例え ば、 図 1 3 Aに示される よ う に、 道路面 9 8 が登り の場合は、 撮像フ レーム中には道路面の領域が増加するが、 被写体 1 0 0 (図 7参照） に関する情報が減少する。 また、 図 1 3 Bに 示される よ う に、 道路面 9 8 が下り の場合は、 撮像フ レーム 中には被写体 1 0 .0 (図 7参照） に関する情報が増加す-るが、 道路面の領域が減少する。

そこで、 進行方向前方の道路面 9 8 の傾斜を検出し、 それ に基づいてカメ ラの視野が所望の状態になる よ う にス テ レオ カメ ラ 1 6の撮像方向を調節する。

以下、 前述のス テ レオカ メ ラ支持装置 5 0 の制御動作につ いて、 図 1 4のフローチャー トを参照して説明する。

先ず、 ステップ S 3 1 では、 支持制御装置 5 8 にて、 処理 装置 1 8 が実行された道路面認識処理結果が受け取られる。 すなわち、 処理装置 1 8 では、 三次元距離画像 （該当する ピ PC蘭 004/007557

38 クセルを表す情報と距離を表す情報と を含む） に基づいて、 進行方向の道路領域と非道路領域とが弁別され、 道路面が認 識されて抽出される。

次いで、 ステ ップ S 3 2 にて、 支持制御装置 5 8 では、 抽 出された道路面情報に基づいて特定の位置が求め られる。 こ の特定の位置と しては、 例えば道路の両辺の延長線が画像フ レーム上で交わる、 いわゆるパニ ツシングポイ ン ト とする こ とができ る。 そ して、 ステ ップ S 3 3 に於いて、 求め られた 特定の位置が画像フ レーム中の所定の位置よ り も下に位置す るか否かが調べられる。 すなわち、 特定の位置を見込む仰角 が、 所定の仰角よ り も小さいか否かが調べられる。

こ こで、 特定の位置を見込む仰角が、 所定の仰角よ り も大 きい場合 （ステ ップ S 3 3 N o ) は、 ステ レオカメ ラ 1 6 は所望の姿勢位置に対して上向き と なっている。 そこで、 ス テ ツプ S 3 4へ移行して、 支持制御装置 5 8 によ り 、 カメ ラ 姿勢センサ .5 .2.の検出出力からカ メ ラの傾きが取り 込まれ、 特定の位置を見込む角が所定の角 となる よ う に、 ステ レオ力 メ ラ結合装置 5 6 に対してステ レオカ メ ラ 1 6 の撮像方向を 調節させる制御信号が出力される。

一方、 特定の位置を見込む仰角が、 所定の仰角 よ り も小さ い場合 （ステ ッ プ S 3 5 Y e s ) は、 ステ レオカメ ラ 1 6 は所望の姿勢位置に対して下向き と なっている。 そこで、 ス テ ツプ S 3 5 へ移行して、 支持制御装置 5 8 によ り 、 カ メ ラ 姿勢センサ 5 2 の検出値からカ メ ラの傾きが取り 込まれ、 特 定の位置を見込む角が所望の角 と なる よ う に、 ステレオカメ ラ結合装置 5 6 に対してステ レオカメ ラ 1 6 の撮像方向を移 動させる制御信号が出力される。

その後、 ステ ップ S 3 6 にて、 制御信号を受け取ったステ レオカメ ラ結合装置 5 6 では、 内部に設け られたカメ ラの姿 勢を調節するための機構が駆動されて、 ステ レオカメ ラ 1 6 の視野が所望の位置となる よ う に調節される。

尚、 カメ ラを移動させるための制御動作は、 いわゆる現代 制御理論によるか古典制御理論によるかに拘わらず、 フ ィ ー ドバック制御或いはフィ ー ドフォ ヮー ド制御乃至これらを折 衷した方式であってよ く 、 P I D制御、 Hイ ンフ ィ ニティ制 御、 適応型モデル制御、 フ アジィ制御、 ニューラルネ ッ ト等 の公知の種々の制御方法を適用する こ とができる。

例えば、 支持制御装置 5 8 は、 その制御ループ内で進行方 向前方の道路面 9 8 に於けるカメ ラ姿勢センサ 5 2 の 目標値 と制御量との制御偏差に応じた操作量の制御信号を生成する。 更に、 要すれば、 支持制御装置 5 8 は、 予め準備された車両 - の運動モデルに依拠して加減速の現在値、 ハン ドルの操作角 等に応じてフィ ー ドバック制御だけでは補償しきれない制御 偏差を除く ための補償用操作信号を生成して、 フィー ドフォ ワー ド制御によ る補償を加味する。 これによ つて、 オフセ ッ トのない且つ口バス トな制御を実現する こ とができる。

すなわち、 このよ う なフィ ー ドノくック制御と フィー ドフォ ワー ド制御と の折衷による制御を適用する こ と によ り 、 車両 の姿勢変動が激しく 、 フィ ー ドパ ック制御だけでは十分に制 御偏差を低減させる こ とが困難である と予測される よ う な状 況に於いても、 追従性が高い理想的なカメ ラの姿勢制御を実 現するこ とができる。

また、 本第 4 の実施の形態に係るステ レオカ メ ラ支持装置 5 0 の制御動作は、 前述した第 1 の実施の形態に係るステ レ ォカメ ラ支持装置 5 0 の制御動作と組合わせて動作させても よ く 、 また単独で動作させてもよい。

[第 5 の実施の形態]

次に、 本発明に係る第 5 の実施の形態のステ レオカメ ラ支 持装置 5 0 について説明する。

第 5 の実施の形態のステ レオカ メ ラ支持装置 5 0 は、 前述 した第 1 の実施の形態のステレオカメ ラ支持装置 5 0 と同様 に、 図 1 に示されるステ レオカメ ラシステムに組み込まれて 適用 される。 そ して、 第 5 の実施の形態のステレオカメ ラ結 合装置 5 6 の構成は、 図 6 に示される第 1 の実施の形態のス テレオカ メ ラ結合装置 5 6 の構成と 同様である。 従って、 第 1 の実施の形態と同一の部位には同一の符号を付して、 その 詳細の説明は省略する。

次に、 本発明に係る第 5 の実施の形態のステレオカメ ラ支 持装置 5 0 の動作について説明する。 本実施の形態では、 ス テレオカ メ ラ支持装置 5 0 は、 前述 した第 4 の実施の形態の 図 1 3 A及び図 1 3 B に示される よ う に、 道路面 9 8 の傾斜 を検出 して視野の変化を補正する。 伹し、 第 5 の実施の形態 では、 道路面の傾斜を G P S 4 2 からの情報に基づいて把握 する点が第 4の実施の形態と異なっている。

図 1 5 は、 ステ レオカメ ラ支持装置 5 0 の制御動作の概略 闘 07557

41 の手順を示すフ ローチヤ一トである。

先ず、 ステ ップ S 4 1 にて、 支持制御装置 5 8 では、 G P S 4 2 (図 1参照） からの地図情報に基づいて、 車両 8 0 の 現在位置と進行方向前方の道路の地形情報が受け取られる。 そ して、 ステ ップ S 4 2 にて、 支持制御装置 5 8 によ り 、 前 方の道路面 9 8 の傾斜が予測され、 続く ステ ップ S 4 3 に於 いて、 予測された傾斜が登り か否かが調べられる。

こ こで、 前方の道路の傾斜が下り の場合 （ステ ップ S 4 3 N o ) は、 ステ レオカ メ ラ 1 6 の撮像方向は適正な姿勢位置 に対して上向き となっている と判断される。 従って、 ステ ツ プ S 4 4 へ移行して、 支持制御装置 5 8 によ り カメ ラ姿勢セ ンサ 5 2 の検出出力からカメ ラの傾きのデータが取り 込まれ る。 そ して、 その角度に対応した下向き補正量が算出されて、 支持制御装置' 5 8 か らステ レオカ メ ラ結合装置 5 6 に対 して カメ ラを移動させる制御信号が出力される。

一方、 前方の道路の顧斜が登 り の場合 （ステ ッ プ S 4 3 . Y e s ) は、 ステ レオカ メ ラ 1 6 の撮像方向は適正な姿勢位 置に対して下向き と なっている と判断される。 そこで、 ステ ップ S 4 5 へ移行し、 支持制御装置 5 8 によ り 、 カメ ラ姿勢 センサ 5 2 の検出出力からカメ ラの傾きのデータが取り 込ま れる。 そ して、 その角度に対応 した上向き補正量が算出され て、 支持制御装置 5 8 からステ レオカ メ ラ結合装置 5 6 に対 してカメ ラの姿勢を調節させる制御信号が出力される。

その後、 ステ ップ S 4 6 へ移行して、 制御信号が受け取ら れたステ レオカ メ ラ結合装置 5 6 では、 内部に設けられた力 4 007557

42 メ ラ の姿勢を調節するための機構が駆動されて、 ステ レオ力 メ ラ 1 6 の視野が所望位置に合致する よ う に調節される。

尚、 カ メ ラを移動させるための制御動作は、 いわゆる現代 制御理論によるか古典制御理論によるかに拘わらず、 フ イ ^" ドバック制御或いはフィー ドフォ ヮー ド制御乃至これらを折 衷した方式であってよ く 、 P I D制御、 Hイ ンフ ィ ニティ制 御、 適応型モデル制御、 フアジィ制御、 ニューラルネ ッ ト等 の公知の種々の制御方法を適用するこ とができる。

例えば、 支持制御装置 5 8 は、 その制御ループ内で進行方 向前方の道路面 9 8 に於けるカ メ ラ姿勢センサ 5 2の 目標値 と制御量と の制御偏差に応じた操作量の制御信号を生成する。 更に、 要すれば、 支持制御装置 5 8 は、 予め準備された車両 の運動モデルに依拠して加減速の現在値、 ハン ドルの操作角 等に応じてフィ ー ドバック制御だけでは補償しきれない制御 偏差を除く ための補償用操作信号を生成してフ ィ ー ドフォ ヮ ー ド制御による補償を加味する。 これによつて、 オフセ ッ ト のない且つロバス トな制御を実現する こ と ができ る。

すなわち、 このよ う なフ ィ ー ドバ ッ ク制御と フ ィ ー ドフォ ヮー ド制御との折衷による制御を適用する こ と によ り 、 車両 の姿勢変動が激しく 、 フィ ー ドバック制御だけでは十分に制 御偏差を低減させる こ とが困難である と予測される よ う な状 況に於いても、 追従性が高い理想的なカ メ ラ の姿勢制御を実 現する こ とができる。

また、 本第 5 の実施の形態に係るステ レオカメ ラ支持装置 5 0 の制御動作は、 前述した第 1 の実施の形態に係るステ レ PC霞 004/007557

43 ォカ メ ラ支持装置 5 0 の制御動作と組合わせて動作させても よ く 、 また単独で動作させてもよい。

以上、 本発明に係る各実施の形態のステ レオカ メ ラ支持装 置 5 0 を用いれば、 道路を走行する先行車両の形状、 先行車 両と の車間距離、 本ステ レオカメ ラを搭載した車両の走行状 態、 或いは道路状態による前後左右の車体の傾き、 前方の道 路面の傾斜等に影響されない適正な撮像視野を確保する こ と ができる。

[映像表示方法の実施例]

次に、 本発明に係るステ レオカ メ ラ支持装置 5 0 が適用さ れるステ レオカメ ラシステムを用いて、 運転者に対する映像 を表示する方法について、 図 1 6 A乃至図 1 6 C を参照 して 説明する。 ステ レオカ メ ラ 1 6 は、 一般に複数の視点を備え た構成とする こ とができ るが、 図 1 6 A乃至図 1 6 Cでは、 簡単のために 2つの視点を備えた構成と して表現している。

図 1 6 Aに示されるステ レオカ メ ラ 1 6 力、らは、 左側の視 野 9 4 a による映像 1 0 4 a (図 1 6 B参照） と 、 右側の視 野 9 4 b による映像 1 0 4 b (図 1 6 B参照） が得られる。 そこで、 制御装置 2 0 は、 運転者の運転位置に応 じて、 前記 映像 1 0 4 a 、 1 0 4 b を切 り 替えて表示装置 3 2 に表示す る。

例えば、 運転席が左側にある場合は、 左側の映像 1 0 4 a を表示装置 3 2 に表示し、 運転席が右側にある場合は、 右側 の映像 1 0 4 b を表示装置 3 2 に表示する。 これによつて、 運転者の視点と映像の視点とのずれをでき るだけ少な く する こ と ができ、 映像がよ り 自然に見られる とい う効果が生ずる。 尚、 前述の実施の形態では、 ステ レオカ メ ラ支持装置は車 に搭載されているが、 本発明はこの形態に限定される もので はない。 すなわち、 本発明は移動体に於ける測距の眼と して 搭載される ステ レオカメ ラ一般に適用する こ とが可能である。 従って、 本発明は、 車、 船舶、 航空機、 ロボッ ト等の移動体 に.も搭載する こ とができ る。

また、 本発明の前述したシステムの実施の形態は、 必ずし も車両やロボッ トのよ う な移動体に測距の 目 と して搭載され る場合に限定される ものではな く 、 例えば、 カメ ラ 自体は、 監視カ メ ラ の如く 水平面上での位置を固定されながら 自 己に 向かって く る乃至は自 己から遠去かる よ う に相対移動する物 体と の距離を測る よ う に設置される形態で実施されても極め て有効である。

次に、 本発明の第 6 の実施の形態について説明する。

尚、 本発明を構成する各部は、 当該各部の機能を実現する 各個の装置と しても観念でき る ものであるため、 以下、 実施 の形態の説明に於いてはこれらを装置と称呼する。 尚、 キヤ リ ブレーシ ョ ンデータ保持部は、 キヤ リ ブレーシ ョ ンに係る データ を記憶、 保持するキャ リ ブレーシ ョ ンデータ記憶装置 と して実現される。

[第 6の実施の形態]

本発明の第 6 の実施の形態と して、 撮影装置内部のキヤ リ ブレーショ ンずれ検出について説明する。

図 1 7 は、 本発明の第 6 の実施の形態に於けるキヤ リ プレ P 漏画 07557

45 ーショ ンずれ検出装置の基本構成例を示したプロ ック図であ る。 本実施の形態では、 ス テ レオ撮影装置に関する内部キヤ リ ブ レーシ ョ ンパラ メ ータ に関するキ ヤ リ ブ レーシ ョ ンずれ を検出する方法である。 '

図 1 7 に於いて、 こ のキ ャ リ ブ レーシ ョ ンずれ検出装置 1 1 0 は、 各部の装置に制御信号を送った り 全体のシーケ ンス を司る制御装置 1 1 2 と、 状況判断装置 1 1 4 と、 レク テ ィ フ ィ ケ一シ ヨ ン処理装置 1 1 6 と、 特徴抽出装置 1 1 8 と、 キヤ リ ブレーショ ンずれ判定装置 1 2 0 と、 ずれ結果呈示装 置 1 2 2 と、 キャ リ ブレーシ ョ ンデータ記憶装置 1 2 4 と を 有して構成されている。

こ のキ ャ リ ブ レーシ ョ ンずれ検出装置 1 1 0 は、 ス テ レオ 画像を撮影 し、 キャ リ ブ レーシ ョ ンずれを検出すべき撮影装 置 1 2 8 について、 キャ リ ブレーシ ョ ンずれがある ど う かを 検出するための装置である。

前記状況判断装置 1 1 4 は、 キヤ リ ブ.レーシ ョ ンずれ検出 を行 う かど う かを判断するためのものである。 前記キヤ リ ブ レーシ ョ ンデータ記憶装置 1 2 4 は、 予め撮影装置 1 2 8 の キヤ リ ブレーショ ンデータを記憶している ものである。

また、 前記レクティ フィ ケーシ ヨ ン処理装置 1 1 6 は、 撮 影装置 1 2 8 で撮影されたス テ レオ画像を レ ク テ ィ フ ィ ケ一 シヨ ン処理するためのものである。 特徴抽出装置 1 1 8 は、 前記レク テ ィ フ ィ ケーシ ョ ン処理装置 1 1 6 で レク テ ィ フ ィ ケーショ ン処理されたステ レオ画像から、 ス テ レオ画像内で 対応する特徴を抽出するためのも のであ る。 キャ リ ブレーショ ンずれ判定^置 1 2 0 は、 特徴抽出装置 1 1 8 で抽出された特徴と、 キャ リ ブレーシ ョ ンデータ記憶 装置 1 2 4 に記憶されたキヤ リ ブレーショ ンデータを利用 し て、 キャ リ ブレーシ ョ ンずれがあるか否かを判定する。 その ずれ判定結果によ り 、 ずれ結果呈示装置 1 2 2 が、 ずれ結果 を報告する よ う になっている。

ずれ結果呈示装置 1 2 2、 本発明の構成要素たるずれ結果 呈示部をなすものであ るが、 このずれ結果呈示部は、 図 4 1 に基づいて後述する表示装置 2 2 0 を表示器と して自 己の構 成要素と して保有する形態を採り 得るが、 該ずれ結果呈示部 は、 よ り 一般的に、 このよ う な表示器までも 自 己の部分と し て保有する態様のものに限られず、 キヤ リ ブレーショ ンずれ 判定装置 1 2 0 によ る判定結果を表す信号に基づいて、 ずれ 結果を呈示するための出力信号乃至データ を生成する限 り の 態様を採る場合もあ り得る。

尚、 キヤ リ ブレーシヨ ンずれ検出装置 1 1 0 内の各装置は、 ハー ドウエアや回路で構成されたも よいし、 コ ン ピュータや データ処理装置のソフ ト ウエアで処理されても よい。

こ こで、 第 6 の実施の形態の具体的説明をする前に、 本発 明で重要と なるステ レオ撮影に関する技術的内容について、 その概要を説明する。

[数学的準備とカメ ラモデル]

先ず、 ステレオ画像を利用 して撮像装置で画像を撮影する と、 その画像は、 撮像装置内の撮像素子 （例えば、 C C Dや C M O S等の半導体素子） で画像と して結像される と共に画 TJP200価 557

47 像信号と なる。 こ の画像信号は、 アナロ グ或いはデジタル信 号であるが、 キ ャ リ ブ レーシ ョ ンずれ検出装置内では、 デジ タル画像データ と なる。 デジタルデータは 2次元配列と して 表現でき るが、 もちろん六方細密充填のよ う なハニカム構造 の 2次元配列でもよいこ とは当然である。

撮影装置がアナロ グ画像を送信する場合には、 キヤ リ ブレ ーショ ンずれ検出装置内或いはその装置外にフ レーム メ モ リ を用意して、 その画像をデジタル画像に変換する。 キヤ リ ブ レーショ ンずれ検出装置内で規定される画像について、 その 画素は、 正方或いは長方格子状に定義でき る と仮定する。

いま、 画像の座標を （ u， V )等の 2次元座標で表現する こ と とする。

先ず、 図 1 8 に示される よ う に、 ステ レオ画像を撮影する 撮影装置 1 2 8 は、 左右の 2台のカメ ラ 1 3 0 a、 1 3 0 b とから構成されている とする。 そ して、 左画像を撮影する力 メ ラ 1 3 0 a を規定する座標系を左カ メ ラ座標系 L、 右画像 を撮影する座標系を右カメ ラ座標系 R とする。 そ して、 ステ レオ画像 と して、 左カ メ ラ 内の画像座標を （ u ^L ， V L ) 、 右カ メ ラ 内の画像座標値を （ u R ， v ^R ) 等で表現する と する。 尚、 1 3 2 a 、 1 3 2 b は、 それぞれ左カメ ラ画像面、 右カメ ラ画像面とする。

また、 撮影装置 1 2 8 の全体が規定する基準座標系を定義 する こ と も可能である。 こ の基準座標系を、 例えば Wとする。 もちろん、 基準座標系 と して、 一方のカメ ラ座標系 Lまたは Rを採用 しても よいこ とは明白である。 P T脑 04/007557

48 いままでは、 撮影装置と して 2 台のカメ ラ によ るステ レオ 撮影によ り 、 ス テ レオ画像を生成する ものを考えてきたが、 これ以外にステ レオ画像を生成する方法もある。 例えば、 1 台のカメ ラの前にス テ レオアダプタ を装着して、 同時に左右 画像を 1 台の C C D或いは C M O Sな どの撮像素子の中に撮 影する方法である （例えば、 本件出願人によ る特開平 8 — 1 7 1 1 5 1 号公報等参照） 。

このよ う なステレオアダプタの場合には、 図 1 9 Aに示さ れる よ う に、 左ミ ラー群 1 3 4 a 、 右ミ ラー群 1 3 4 b を有 するステ レオアダプタで撮影される画像は、 図 1 9 Bに左右 の仮想カメ ラ位置と して示される よ う に、 あたかも 2 台の撮 像装置で 2 台のフ レームメ モ リ が存在するかの如く 、 通常の ステ レオカメ ラ に展開する こ とができ る。 また、 ステ レオァ ダプタの変形例と しては、 前述した特開平 8 — 1 7 1 1 5 1 号公報にある よ う に、 左右ステ レオ画像を C C D面上で上下 分割するよ う に光学的な変形素子を設ける ものでもよい。

本発明に於けるス テ レオ撮影は、 こ の よ う に 2台或いは 2 台以上の複数のカメ ラで撮影されるス テ レオ画像でも よい。 或いは、 ス テ レオアダプタを利用 して撮影されるス テ レオ画 像でも よい。

本発明では、 こ う したス テ レオ画像を撮影する装置の光学 系と して、 光学レンズ系にレンズデイ ス トーシ ヨ ンがある場 合でも可能なよ う な装置構成とする。 但し、 先ず説明を簡単 にするために、 光学系には レンズデイ ス ト ーショ ンがない場 合に関する撮像に関する数学的モデル化を行い、 続いてよ り P2004/007557

49 一般化 した レンズデイ ス トーシ ョ ンを含む場合の取 り 扱いを 行 う 。

そのために、 先ず、 撮像装置 と フ レームメ モ リ の光学的特 性をピンホールカメ ラでモデル化する こ と を考える。

すなわち、 左画像に関連する ピンホールカ メ ラモデルの座 標系を左カ メ ラ座標系 L と し、 右画像に関連する ピンホール カ メ ラモデルの座標系を右カ メ ラ座標系 R とする。 また左力 メ ラ座標系 L 內の点を (^x， )、 その画像対応点を (^{Μ ν} 、 右 カ メ ラ座標系 R 内の点を ^ 'ダ )、 その画像対応点を ^A，^v と する と 、 図 1 8 に示 さ れる カ メ ラ位置 C _L , C.R を考慮 しなが ら、 下記式の如く 求める。

こ こで、 (な ひ は左カ メ ラ系の縦及び横方向の画像拡大率、 («)が画像中心であ り 、 (« )は右カ メ ラ 系の縦及ぴ横方 向の画像拡大率、 ( ，ν ^が画像中心であ る。 これ ら を行列表 現する こ と を考える と、 ^,Μ^を中間媒介変数と して、

と表すこ と もできる。 P T/JP2004/007557

50 こ こで本数学的モデルでは、 カ メ ラ の横及び縦方向の.画像 拡大率を持って、 カ メ ラの焦点距離に関するパラ メ ータ をモ デル化しているが、 も ちろんこれらのパラ メ ータ をカ メ ラの 焦点距離に関するパラ メ ータ のみで記述する こ と は可能であ る。

基準座標系 Wで定義される点 P ( X , y , z ) の左画像内 での位置を （ u L , V L ) 、 右画像内での位置を （ _U R , V ^R ) と し、 左画像で想定 さ れる撮像装置 と フ レーム メ モ リ に対応する左カ メ ラ 1 3 0 a の基準座標系に於ける位置 C _L (左カ メ ラ座標系の原点） と 、 右画像で想定 さ れる撮像 装置と フ レームメ モ リ に対応する右カ メ ラ 1 3 0 b の基準標 系 に於け る位置 C R (右カ メ ラ座標系の原点） を考え る こ と ができ る。 この と き、 基準座標系 W の点 P ( X , y , z ) 力 ら 左 （ u ^L V へ射影 さ れる 変換式 と 、 同一の点力 ら右 （ u R ， V R ) 射影 さ れる変換式は、 以下の よ う に 表すこ とができ る。 v^L = a

" r _xx + r;₂y + r^z + t

( 3 )

a

こ こ で、 =(^ ：^ = |^， ^£ は、 基準座標系か ら左カ メ ラ座 標系 Lへの座標変換を構成するそれぞれ 3 X 3 回転行列 と 並 進べク トルであ る。 ま た ] ^tは、 基準座標系 から右カメ ラ座標系 R への座標変換を構成するそれぞれ 3 X 3 回転行列と並進べク トノレである。

一方基準座標系と して例えば左カ メ ラ座標系を採用 した場 合には、 下記式の如く なる。

( 5 )

[デイ ス トーシ ョ ン補正]

一方、 撮像装置の光学レ ンズ等の レ ンズデイ ス トーシヨ ン が 3次元計測に要求精度に対して無視できない場合には、 レ ンズデイ ス トーショ ンを含めた光学系を考える必要がある。 この場合には、 前記式 （ 3 ) 、 （ 4 ) は、 以下に示される よ う な式 （ 7 ) 、 ( 8 ) で表現する こ と ができ る。 この式では レ ンズディ ス トーショ ンを表現するのにラディ アルディ ス ト ーシ ヨ ン と タ ンジェ ンシヤ ノレディ ス トーシ ョ ンを表 したもの であるが、 もちろんこれ以外のデイ ス トーショ ン表現であつ てもよい。

こ こで左右力 メ ラの レンズデイ ス トーシ ヨ ンに関するパラ メ ータを d^L = ( 1， 2， 3， 5" ( 6 ) d^R - とする と き、 一一

+

〜/■

+

(左） ) ²)

+fe)²)

: +UQ

+

(7 )

+

y^R » _z

Λ + +gf ) +

(右）

v! = + g₂ ^R )² + §ξ u_p ^R + [_§ζ + ₄ ^fl)( )² + V； p \TP )

R R R . ,

…（8 ) こ こで、 （ , ) ( と（ ， ） ( , )はレ ンズデイ ス トーシ ョ ンを表現するための中間パラ メ ータであ り 、 左及び右カ メ ラ 画像座標での正規化 された座標であ り 、 p はデイ ス トーショ ン除去後の正規化画像座標を表すサフ ィ ッ ク ス 、 d はデイ ス トーシヨ ン除去前 （ディ ス トーシ ョ ン要素を含む） 正規化画 像座標を表すサフィ ッ ク スを表す。

またディ ス ト ーシ ョ ン除去或いはデイ ス トーシ ョ ン補正の ステ ップと は、 以下の よ う に して画像を生成する こ と を意味 PC漏賺 07557

53 する。

(左画像のデイ ス トーショ ン補正）

1 ) ディ ス トー シ ョ ン補正 した後の各画像配列 につ いて、 正規化された画像座標を算出する。

(9 )

2 )

( )² + V;₊ {viJ ¾ fe)² +( )²)

+ ⁺s" ¾ +fe +g )² V (( )² ) ^

… (10)

によ り 、 デイ ス トーショ ン捕正前の正規化された画像座標を 算出する。

3 ) u^L

に よ り 、 ディ ス ト ー シ ョ ン補正前の左原画像の対応する画像座標を算出 して、 その近 傍の画素等の画素値を-利用 して、 (^， )に対する画素値を計 算する。

(右画像のデイ ス トーショ ン補正）

1 ) ディ ス トーシ ョ ン補正 した後の各画像配列 ("^ )につ いて、 正規化された画像座標を算出する。 r_R K~ ；- (11)

2 )

u

¾ v^R _{p +} ( )² + f u_p ^R fe)² + (v )²)

[v_d ^R = V ( )² ¾ +fe +s ) )^{2 r} ； f +(¾²)

…（12) によ り 、 デイ ス ト ーシヨ ン捕正前の正規化された画像座標を 算出する。

3 ) u^R =α^ϊί^ +ν , ν^κ =α^ν^ +ν に よ り 、 ディ ス ト ー シ ョ ン補正前の左原画像の対応する画像座標を算出して、 その近 傍の画素等の画素値を利用 して、 ( ，ν に对する画素値を計 算する。

[内部キャ リ ブ レーシ ョ ンノ ラメ ータ と キヤ リ ブレーショ ンずれ問題の定義]

2台のカメ ラから構成されるステ レオ画像を撮影する撮影 装置の、 左カメ ラの座標系を L、 右カ メ ラの座標系を R と し て、 これらのカメ ラの位置関係を考える。 座標系 L と座標系 Rの間の座標値の関係は、 座標変換 （回転行列と並進べク ト ル） を利用 して、 下記のよ う に表現するこ とができる。

(13)

で cos - sin _ζ 0 cos 0 sin φ_ν 1 0 0

sin cos 0 0 1 0 0 cos -sin φ_χ 0 0 1 - sin φ 0 cos 0 sin φ_χ cos^

··· (14)

L R ⁼し， ， _| …（15) で表すこ と が可能で ⁶ 個のパラ メ ータ e = ( , ん )を 外部パラメータ と して表現する こ とができる。

また先に iポベたとお り 、 左右カ メ ラ をそれぞれ独立に表現 55 した内部パラメ ータ は 〜 （16)

で表される。 総 じて、 2 台のカ メ ラから構成される撮影装置 の場合のカ メ ラパラ メ ータ と しては、 撮影装置の内部キヤ リ ブレーショ ンパラメ ータ と して

を利用する こ とができ るわけである。

本発明に於いては、 こ の撮影'装置の内部キヤ リ プレーシ ョ ンノヽ。ラ メ ータ p等をキヤ リ ブレーショ ンパラ メ ータ と して、 キヤ リ プ レーシ ョ ンデータ記憶装置に記憶される。 キヤ リ ブ レーシ ョ ンデータ と しては、 このカ メ ラ キヤ リ ブレーシ ョ ン ノ ラメ ータ p は少な く と も含まれてレヽる こ と とする。

伹し、 撮影装置の レ ンズデイ ス ト ーシ ヨ ンが無視でき る場 合には、 ディ ス ト ーシ ョ ンパラ メ ータ の部分（ ，(^)は無視 し た り 、 あるいはゼロ と しても よい。

また、 撮影装置の內部キ ャ リ ブ レーシ ョ ン と は、 上記の よ う な撮影装置の内部パラ メ ータ と外部パラ メ ータ の組である p = ( , ， e)を推定する問題と して定義でき る。

また、 キャ リ ブ レーシ ョ ンずれの検出 と は、 このよ う に設 定されたキヤ リ プレーシ ョ ンパラ メ ータの値が変化 したかを 検出する こ と である。

[外部キヤ リ ブレーショ ンノ、。ラ メ ータ と キヤ リ プレーシ ョ ンずれ問題の定義]

先に説明 した よ う に、 撮影装置 と外部装置間のキヤ リ ブレ ーシ ョ ンも考える必要がある。

この場合には、 例えば左カ メ ラ座標系 L を撮影装置の基準 座標系 と して と り 、 左カメ ラ座標系 と外部装置間の間の位置 姿勢関係を規定する こ と がキヤ リ ブ レーシ ョ ンに相当する。 例えば、 外部装置の座標系を Ο とする と、 外部装置座標系 Ο から左カ メ ラ座標系 Lへの座標変換パラ メ ータ を式 （ 1 8 ) のよ う にする と 、 式 （ 1 9 ) で表される 6 個のパラ メ ータ に よ り 、 その位置姿勢関係を記述する こ と ができ る。

( 18 )

どする と、 6個のパラメ ータ

e' = te, ， ' ; ） … （19) によ り 、 その位置姿勢関係を記述する こ と ができ る。 こ こ で φ_χ',φ ,φ' \± _LR。に関する 3個の回転成分パラメ ータである。

[ステ レオ画像に於けるェピポーラ線拘束]

ス テ レオ画像を用いて画像計測を行 う 際には、 後にも述べ る と お り 、 左右画像内で対応点探索を行 う こ と が重要になる この対応点探索に関 して重要なのがいわゆるェ ピポーラ線拘 束とレヽ ぅ概念である。 以下、 図 2 0 を参照 して説明十る。

すなわち、 左右の原画像 1 4 0 a 、 1 4 0 b に対 してディ ス ト ーシ ョ ン補正 した左右画像 1 4 2 a 、 1 4 2 b に関 して 正確なキ ヤ リ ブ レー シ ョ ンノ ラ メ ータ p

, e)が与え ら れ てい る と き には、 左画像内の特徴点 に対応する右画像 内の特徴点 ( は、 1 4 4 で示される あ る 直線上になけれ P 雇麵 07557

57 ばな らないとい う拘束条件である。 こ の直線のこ と をェピポ —ラ線 ( epipolar line) と称する。

こ こで重要なのは、 デイ ス トーショ ンが画像内で顕著なと きには、 デイ ス トーシヨ ン補正或いは除去を予め行っておか なければな らないと レヽ う こ とである。 また、 ディ ス トーショ ン補正された正規化画像に於いても、 同様にェピポーラ線拘 束が成立する。 従って、 以下では、 先ずディ ス トーシ ョ ン補 正され、 かつ正規化された画像面内で、 本発明で考えるェピ ポーラ線の定義を行う。

左原画像で得られた特徴点 に対 して、 式 （ 7 ) の途 中で現れる正規化された画像內でデイ ス トーショ ン補正され た特徴点の位置を

とする。 左カ メ ラ座標系で規定され' た 3 次元点 （X, y, z)が左カ メ ラ画像で（ ,^)に投影され、 それが上記の fe^ ^に変換されたとする と、 L=-₇ v^L=^- …（20)

Z Z

が成立する。 一方、 , Y, z)が、 右カメ ラ画像内で、 (^,v^fl) に投影され、 正規化されたカメ ラ画像内でディ ス トーシヨ ン 補正された画像座標を ( )とする と、

~R _r_ux + r_uy + r_uz + t_x ^_{R 2l}x+r₂₂y+r_2Sz + t_y …

2_lx + ¾ + r₃₃z + t_z ' r₃₁x + r₃₂y + r₃₃z + t_z

が成立する。 こ こで、 r ij や t _x , t _y , t _z は右カ メ ラ 座標系 Rから左カメ ラ座標系 Lへの座標変換を表す回転行列 と並進べク トルの要素であり 、

_L ^RR = d L W,}' …（22) 557

58 で表される。 式 （20) を式 （21) に代入して、 _Z を消去する と、 方程式

-^L+r₂₂v^L+r₂,

+ +r_nv- +r )t_z -{r₃₁ ^L +r₃₂v^L +r_3i)t_x) (23)

+(₂ ^£ +r₂₂v^L +r₂₃)t_x-(r_un^L +r_uv^L +r )t_y = 0 カ 成立する で

« = + r₂₂v^L + ¾ )t_y - [r₂,u^L + r₂₂v^L + r₂₃ )t₂

b = (r u^L + r_nv^L + r_u)t_z一 (r_3Xu^L + r₃₂v^L + r₃₃ )t_x (24)

c二 (r_2lu^L +r₂₂v^L +r₂₃)t_x-(r_uu^L +r_uv^L +r_l3)t とおけば、

au^R+b v^K +c =0 (25)

なる直線を得る。 これが正規化された画像面内でのェピポー ラ線を表している。

今までは、 正規化された画像面で考えてきたが、 ディ ス ト ーシ ヨ ン補正された画像面でも同様にェピポーラ線の方程式 を導く こ とができ る。

具体的には、 デイ ス トーシ ョ ン補正された左画像と右画像 の対応点の座標値 ,!^ , )について、

^Ρ ' f x+r₂y + r₃z + t_z r₃₁x+r₃₂y + r_$3z+t₂

(27) を解く こ とによ り 、 式（9 )と同様に、

(28) 2004/007557

59 なるェピポーラ線の方程式を導く こ と ができ る。

[レクティ フィ ケーショ ン処理]

以上、 ェピポーラ線拘束を左右画像内の特徴点 と して考え てき たが、 それ以外の方法と して、 レク ティ フ ィ ケーシ ヨ ン ( rectification) 処理と い う も のが、 ス テ レオ画像処理で はよ く 用い られる。

以下に、 本発明に於ける レク テ ィ フ ィ ケ一ン ョ ンについて 説明する。

レ ク テ ィ フ ィ ケーシ ョ ン処理を行 う と、 左右の画像内で対 応する特徴点 ど う しが同一水平直線上になる と い う 拘束を導 く こ と ができ る。 言い換えれば、 レク ティ フ ィ ケーシヨ ン処 理後の画像では、 左画像の同一直線上の特徴点群が、 右画像 上で同一直線をェピポーラ線と して定義でき る こ と になる。

図 2 1 A及び図 2 1 B は、 この様子を表 したものである。 図 2 1 Aは レク ティ フ ィ ケーシ ョ ン前の画像を表 してお り 、 図 2 1 B はレク ティ フ ィ ケーシ ョ ン後の画像を表 している。 図中 1 4 6 a 、 1 4 6 b は、 それぞれ点 A、 点 B の対応点が 存在する直線であ り 、 1 4 8 は対応点が同一直線上に配置さ れるェピポーラ線を表している。

こ のよ う な レク ティ フィ ケーシ ヨ ンを実現する ために、 図 2 2 に示 される よ う に、 左右カ メ ラ原画像を、 互いに水平に なる よ う にそれぞれ変換する。 この際、 左カ メ ラ座標系 と 右カ メ ラ座標系 R の原点 C _L , C _R は移動せずに、 カ メ ラ 座標系の軸のみを変更する こ と に よ り 、 新しい左右の画像面 を生成するわけである。 2004/007557

60 尚、 図 2 2 に於いて、 1 5 0 a はレクティ フ ィ ケーシ ヨ ン 前の左画像面、 1 5 0 b はレク テ ィ フ ィ ケーショ ン前の右画 像面、 1 5 2 a はレクティ フィ ケーショ ン後の左画像面、

1 5 2 b は レク ティ フ ィ ケーシ ョ ン前の右画像面、 1 5 4 は 画像座標 (ζ · )の レク テ ィ フ ィ ケーシ ヨ ン前、 1 5 6 は画像 座標 ( の レク テ ィ フ ィ ケーシ ヨ ン後、 1 5 8 は レク テ ィ フ ィ ケーシ ョ ン前のェピポーラ線、 1 6 0 はレク ティ フ ィ ケ ーシ ヨ ン後のェ ピポーラ線、 1 6 2 は 3 次元点を、 それぞれ 表している。

左カ メ ラ座標系 L と右カ メ ラ座標系 R を、 レク ティ フ ィ ケ ーシ ヨ ン した後の座標系をそれぞれ LRect , RRect とする。 前述 した と お り 、 と LRect 、 R と RRect の原点は一致す ' る。

これから 2 個の座標系の座標系間の座標変換を考えるが、 その前に基準座標系を左カ メ ラ座標系 L と と る こ と にする。

(基準座標系を他に と っても同様である。 ）

こ の と き 、 レク テ ィ フ ィ ケーシ ヨ ン後の左カ メ ラ座標系 LRect と右カ メ ラ座標系 RRect を以下のよ う に定義する。

先ず、 左カ メ ラ座標系 Lの原点から右カ メ ラ座標系 Rの原 点へのベタ トルを考える。 これは、 も ちろん基準 1Ϊ標系を基 準と して測ったものである。

この と き、 そのべク トノレを

T = [tx, ty, tz] …（29) .

と する。 その大き さ は、

と な る。 こ の と き 、 以 下の 3 個の方向べク トノレ ^，ε₂,ε₃}を定義する ：

この と き、 eい e₂, を左右 レク テ ィ フ ィ ケーシ ョ ン処理後の左 カ メ ラ座標系 LR ect と右カ メ ラ座標系 RRect の x, y, z 軸 の方向ベク トルと して と る。 すなわち

…（31) またそれぞれの原点の取り 方から

L^_ct=0, _RT_RReet = 0 … (32) 力 S成立する。

この よ う に設定する と 、 図 2 1 A、 図 2 1 B或いは図 2 2 で示される よ う に、 正規化された画像空間では、' 左右の対応 点が一直線上 （ェ ピポーラ線上） に配置される よ う になる こ と は自 明である。

次に、 カ メ ラ の正規化 されたカ メ ラ画像内の点 ( , ν^£)と 、 レク ティ フ ィ ケーシ ョ ン後の正規化されたカ メ ラ画像内の変 換点 ^ ^e" ^iRe と の対応関係を考える。—このために、 同一の

3 次元点が左カ メ ラ座標系 L で (x^£，/,z^£)で表現され、 レク テ ィ フ ィ ケーシ ョ ン後の左カ メ ラ座標系で (x^LRec',/^Rec ' ^iRec')で表 される と する。 そ して （ , ^£)の正規化された画像面での位 置 ^')と Re_{rt Rert},_zL_Re の正規化された画像面での位置 R_erf " )を考える と 、 媒介変数 ,^^ ⁽を利用 して、 以下の 方程式が成立する ：

v^L y^L , w^LRect (33)

1 1 Z 4007557

62 の と き、

が成立するので、

(35)

なる方程式が成立する。

同様に、 右カ メ ラ画像について も、 正規化されたカ メ ラ画 像内の点 (¾^， と 、 レク ティ フ ィ ケーシ ヨ ン後の正規化 され たカメ ラ画像内の変換点 ^ei,v^flReei)の間には、

なる方程式が成立する。

したがって、 左カ メ ラ系では、 レク ティ フ ィ ケーシ ヨ ン後 の正規化 さ れた画像面の (i^^Rerf,i ^Reci)に対応する レク テ ィ フ ィ ケーシ ョ ン前の正規化された画像内位置 は R _Reciの要 素を （ r i i)とする と 、 以下のよ う になる。

右カ メ ラ系でも同様である。

いままでは、 デイ ス トーシ ョ ン補正を含ま ないカ メ ラ 系で 説明 してきたが、 ディ ス トーシ ョ ン捕正を含む実際の場合に は、 以下のよ う な方法によればよい。

尚、 以下のステ ップでの レク テ ィ フ ィ ケーシヨ ン後の画像 の u 方向 と 方向拡大率 と画像中心 " Γ'に関 して は、 レク ティ フィ ケーショ ンされた画像の大き さに基づいて 適切に設定すればよい。

[ディ ス トーショ ン除去を含むレクティ フィ ケ一ンョ ンス テ ツプ （RecL及び RecRステ ップ）]

先ず、 ステ ップ RecL 1 と して a 等の パラメータを決定する。

ステ ッ プ RecL 2 と して、 レク テ ィ フ ィ ケーシ ヨ ン後の左 画像の各画素点 ( ) について、

RecL2-l) 〜

を計算する。

ecL2-2) 正規化された画素値 を

(39)

を解く こ と によ り算出する。

RecL2- 3)レンズデイ ス トーショ ンを付加した正規化され た座標値

を算出する。 こ こでん /₂は、 上記式 （ 5 ) の第 ² 項で示 される非線形関数を意味する。

RecL2-4) ステ レオアダプタ と撮像装置が撮像 したフ レ ームメ モ リ 上の座標値である ^ =¾^£ ¾ +«0 、 =a_v + を算出する。 （d はディ ス トーショ ン要素が含まれてい る こ と を意味する。 ）

RecL2-5) フ レーム メ モ リ 上の画素値 )の近傍画素を 利用 して、 例えば線形補間処理等を利用 して、 レク テ ィ フ ィ ケー シ ョ ン処理後の左画像の画素値を算出する。 ステップ RecRl と して、 同様なこ と を右画像についても行 5。

これまでレクティ フィ ケーシヨ ン処理の方法と して、 前記 のよ う な説明を したが、 レクティ フィ ケーショ ンの方法はこ れに限られる も のではない。 例えば、 Andrea Fusiello, et al, A compact algorithm for rectification of stereo airs, " Machine Vision and Applications, 2000, 12: 16 - 22 に示されている よ う な方法でも よい。

以上、 実施の形態を説明するのに必要となる用語の説明 と 処理の方法について述べたが、 以下に、 図 1 7 に示されるキ ヤ リ ブレーシヨ ンずれ検出装置に関して具体的に説明する。

図 2 3 は、 本第 6 の実施の形態に於けるキヤ リ レーショ ンずれ検出装置の詳細な動作を説明するフ ローチヤ一 トであ る。 尚、 本実施の形態に於いては、 制御装置 1 1 2 の制御に よって動作される。

先ず、 ステ ップ S 5 1 に於いて、 状況判断装置 1 1 4 によ つ て、 キ ヤ リ ブ レーシ ョ ンずれが現時点で検出される べき か 7

65 否かが判断される。 こ こで判断される方法と しては、 次のよ う なものがある。

キ ヤ リ プレーショ ンデータ記憶装置 1 2 4 に記憶された、 キヤ リ ブ レーシ ョ ンパラメ ータが過去に設定された時刻や状 態等から判断する。 例えば、 キ ャ リ ブ レーシ ョ ンずれを定期 的に行う場合には、 その過去の時刻と現在時刻と の差を と り 、 その差がある閾値よ り 大き ければ、 キ ヤ リ ブレーシ ョ ンずれ を検出すべきか否かを判断する。

その他、 自動車等の、 装着された撮影装置の場合等には、 車に装着された走行距離メータ （O dome t er ) 等の値から判断 してもよい。

また、 現在の天候や時間がキヤ リ ブレーショ ンずれを検出 するのに適 しているか否かを判断するなどとい う こ と も考え られる。 例えば、 自動車の車外を監視するための撮影装置の 場合には、 夜や雨等の悪天候の場合に、 キャ リ ブ レーシ ョ ン ずれ検出を避ける等の判断をする。

以上のよ う な状況をふまえて、 キヤ リ ブレーショ ンずれ検 出が必要か否かが判断される。 その結果、 キヤ リ プレーショ ン検出が必要と判断された場合には、 その旨が制御装置 1 1 2 に告知される。 制御装置 1 1 2 がその告知を受 た場合に は、 ス テ ッ プ S 5 2 に移行する 。 一方、 キ ャ リ ブ レーシ ョ ン ずれ検出が不必要、 或いは不可な らば、 本ルーチンが終了す る。

ステ ップ S 5 2では、 撮影装置 1 2 8 によ り ス テ レオ画像 が撮影される。 こ の撮影装置 1 2 8 で撮影される画像は、 前 述したよ う に、 撮影装置 1 2 8 が撮影する画像はアナロ グ画 像でもデジタル画像でもかまわない。 アナ口 グ画像の際には、 その画像がデジタル画像に変換される。

こ の撮影装置 1 2 8 で撮影された画像は、 左画像と右画像 と してキャ リ ブレーシ ョ ンずれ検出装置 1 1 0 に送出される。 図 2 4 A及ぴ図 2 4 B は左右原画像を表したも のであ り 、 図 2 4 Aは左カメ ラ によ り 撮影された左原画像であ り 、 図 2 4 Bは右カメ ラによ り撮影された右原画像である。

次に、 ステップ S 5 3 では、 レクティ フィ ケーシヨ ン処理 装置 1 1 0 に於いて、 過去に記憶されたキャ リ ブレーシ ョ ン データがキャ リ ブ レーシ ョ ンデータ記憶装置 1 2 4から受け 取られて、 レクティ フィケーシヨ ン処理が施される。

尚、 キ ャ リ ブ レーシ ョ ンデータは、 上述したとお り 、 撮影 装置 1 2 8 の左右カ メ ラの内部パラメ ータ と外部パラ メ ータ の組 p = , ， ejを利用する。

レ クティ フィ ケーシヨ ン処理に際して、. 撮影装置 1 ² 8 を 構成する左右のカメ ラのレ ンズデイ ス トーショ ンが顕著であ る場合には、 前述した R e c L と R e c Rのステ ップに従って、 レ ンズデイ ス トーショ ン補正のアルゴリ ズムを含めて処理が行 われる。 尚、 レ ンズディ ス ト ー シ ョ ンが無視でき る際には、 Re c L と Re c R の中のディ ス トーシヨ ン補正の部分を除いて処 理が行われる よ う にすればよい。

こ の よ う に レ ク テ ィ フ ィ ケーシ ョ ン処理された画像は、 次 の特徴抽出装置 5へ送出される。

図 2 5 A及び図 2 5 Bはレク ティ フィ ケーショ ンされた左 右の画像を表したもので、 図 2 5 A a は左画像、 図 2 5 Bは 右画像である。

ステ ップ S 5 4では、 前記ステ ップ S 5 3 でレクテ ィ フ ィ ケーショ ンされたステ レオ画像について、 キヤ リ ブレーショ ンずれ検出に必要と なる特徴が抽出される。 この処理は、 特 徴抽出装置 1 1 8 で行われる。 - 特徴抽出装置 1 1 8 は、 例えば、 図 2 6 に示される よ う に、 特徴選択部 1 1 8 a と特徴対応探索部 1 1 8 b を有して構成 されている。 特徴選択部 1 1 8 a では、 レクティ フィ ケーシ ョ ンされたステレオ画像力ゝ ら、 キヤ リ ブレーショ ンずれを検 出するのに有効とな り そ う な画像特徴が、 一方の画像から抽 出及び選択される。 そ して、 この特徴選択部 1 1 8 a で選択 された特徴に対応する特徴が、 前記特徴対応探索部 1 1 8 b にて、 他方の画像内で探索されて最適な特徴が抽出され、 こ れらの特徴対の集合がデータ と して生成される。

こ う して得られた特徴対のデータは、 左右画像レクティ フ ィ ケーショ ン後の画像座標値と して登録される。

例えば、 n個の特徴点の対が左画像と右画像の対応の形で 得られた場合には、

{(("f )， ("f ,vf )) _: i = l,2,..n } … ( 4 1 ) の形で表現できるわけである。

こ こで、 前記特徴抽出装置 1 1 8 の特徴選択部 1 1 8 a 及 ぴ特徼対応探索部 1 1 8 b の詳細を説明する。

先ず、 特徴選択部 1 1 8 a では、 一方の画像、 例えば左画 像の中に於いて、 キヤ リ ブレーショ ンずれ検出に有効と な り 7

68 そ う な特徴が選択される。 例えば、 特徴と して、 特徴点を候 捕にする際には、 先ず、 レクティ フィ ケーシヨ ンされた左画 像が、 図 2 7 に示される よ う に、 M X N個の正方形から成る 小ブロ ック に分割される。 そ して、 その各ブロ ック内の画像 から、 多く と も 1個のコーナーポイ ン ト等の特徴点が抽出さ れる。

この方法と しては、 例えば、、 R. Haral ick and L. Shapiro, Computer and Robot Vision, Volume II, pp. 332 一 338， Addison- Wesley, 1993 にある よ う な Interest Operator や Corner Point Extraction 法等を利用すればよい。 または、 各ブロ ック 内でエッジ成分が抽出されて、 その強度がある閾 値以上のエッジ点をもって特徴点と してもよい。

こ こで重要なのは、 あるプロ ック内が全く 均一な領域のみ で構成されている場合には、 その領域からは特徴点が選択さ れない可能性もある とい う 点である。 このよ う に して選択さ れた特徴点の例が、 図 2 8 に示される。 この図 ².8 に於いて、 〇 （白丸） で示された点 1 6 6 が、 このよ う に して選択され た特徴'である。

次に、 特徴対応探索部 1 1 8 b について説明する。 一方の 画像から特徴選択部 1 1 8 a で選択された特徴に関 して、 他 方の画像内で、 対応する特徴を抽出するのが特徴対応探索部 1 1 8 b の機能である。 この特徴対応探索部 1 1 8 b では、 以下の方法によ り対応する特徴が探索される。

こ こで、 探索範囲の設定について説明する。

前記ステ ップ S 5 3 で作成された レク ティ フ ィ ケーシ ヨ ン P 画 004/007557

69 処理後の画像は、 キャ リ ブ レーシ ョ ンデータ記憶装置 1 2 4 から過去に記憶されたキヤ リ プレーショ ンデータが使用 され たものである。 従って、 キャ リ ブレーシ ョ ンずれがある場合 には、 ェピポーラ線上に対応点がある と は限らない。 故に、 対応探索される範囲は、 想定される最大のキヤ リ ブレーショ ンずれにも適合する対応探索範囲が設定される こ と がある。 実際には、 左画像内の特徴 （ u , V ) に対応する右画像内の ェピポーラ線の上下にある領域が用意される。

例えば、 ェピポーラ線が右画像内で、 v = _Veなる水平線上の [ ;！の範囲で探索する と 仮定すれば、 図 2 9 A、 図 2 9 B に示される よ う に

[ιι_λ - W_u , u₂ + W_u ]x [v_e - W_v, v_e + W_v ] ··· (42)

なる幅 2W_ux(u₂ -u +2 ）の長方形領域内で探索すればよいこ と になる。 このよ う にして、 探索領域が設定される。

次に、 エ リ アベースマッチングによ る対応探索について説 明する。

前述した探索範囲の設定によ り 決定された探索領域内で、 最適な対応が探索される。 最適な対応が探索される方法と し て は 、 例 え ば、 J. Weng, et al , Motion and Structure from Image Sequences, Springer-Verlag, pp. 7 一 64, 1993 に示される方法等がある。 または、 左画像内の特徴に 近傍の領域を利用 して、 その領域の画素値に最も類似した画 像領域を右画像内の対応探索領域内で探索する方法でも よレ、。

この際には、 レクティ フ ィ ケーシヨ ン済みの左右画像の座 標（ V)の輝度値をそれぞれ

とする と 、 左画像 004/007557

70 の座標（M, を基準 と して、 右画像内の位置 （u'， ν') に於け る類似度或いは非類似度は、 例えばそれぞれ以下のよ う に表 すこ とができ る。

…（45)

こ こ で と / は、 左画像の特徴 （u， v) 近傍の輝度値の平 均値 と 標準偏差を表す。 また こ こで と / は、 右画像の特 徴 （ ， ν') 近傍の輝度値の平均値と標準偏差を表す。 また aと は、 Wの近傍を表すイ ンデック スである。

これら の類似度或いは非類似度の値が利用 される こ と で、 それぞれマ ッチングのク オ リ テ ィ 或いは信頼度を考える こ と ができ る。 例えば、 S A D を考えた場合、 その S A Dの値が 対応点付近では、 ピーク の鋭い小さ な値を得れば、 その対応 点の信頼度は高い と い う こ と ができ る。 この よ う に最適と判 断された対応点毎に、 その信頼度を考える わけである。 その 対応点 （ u ' ， V ' ) が決定される。 も ちろん信頼度を考慮 する場合には、 対応点対応点 （ ιι ' ， V ' ) ： 信頼度が閾値以上

対応点な し ： 信頼度が閾値未満

とい う よ う にする こ と も可能である。 このよ う に信頼度を考 慮する場合には、 も ちろん未対応点を有する画素が左画像或 いは右画像に存在する こ とになる。

このよ う に して抽出された対応特徴である （u, V)と （ιι', ν')は、 式 （41) で示される ( ,vf)i(_Mf，v )と して登録すればよ レヽ o

このよ う に、 対応の とれた右画像内に於ける特徴が、 図 3 0 に示される。 図 3 0 に於いて、 〇 （白丸） で示された点 1 6 8 が、 このよ う に して対応のとれた右画像内の特徴点を表 してレ、る。

図 2 3 のフ ロ ーチャー ト に戻っ て、 ステ ップ S 5 5 では、 特徴抽出装置 1 1 8 にて更に、 前記ステ ップ S 5 4 で登録さ れた特徴対の数や信頼度がチェ ッ ク される。 こ こで、 登録さ れた特徴対の数が、 ある所定の数よ り 少ない場合には、 撮影 されたステ レオ画像は不適切であつた と判断される。 従って、 前記ステ ップ S 5 1 に移行して、 再度撮影処理等が繰り 返さ れる。 こ の撮影処理の繰り 返しは、 特徴抽出装置 1 1 8 の出 力データに基づいて制御装置 1 1 2から発せられる制御指令 によって行われる。 こ の点は、 図 1 7 、 図 3 3 、 図 3 6及び 図 4 0の構成に於いて同様である。

一方、 信頼性のある特徴対が得られたと判断された場合に は、 特徴対の集合が、 キャ リ ブレーシ ョ ンずれ判定装置 1 2 0へ送出される。 2004/007557

72 次いで、 ステ ップ S 5 6 では、 キャ リ ブレーシ ョ ンずれ判 定装置 1 2 0 での処理が行われる。

こ こでは、 キヤ リ ブレーシ ョ ンデータ記憶装置 8 に記憶さ れたキヤ リ ブレーシ ョ ンデータ と 、 上記ステ ップ S 5 4 で登 録された特徴対の集合 = {((« ), (« )) ·· i = l,2,..n }が利用 され て、 キヤ リ ブレーシ ョ ンずれが顕著であるか否かが判定され る。

こ こで、 キヤ リ プレーショ ンずれ判定方法について説明す る。

キャ リ ブレーシ ョ ンずれ判定方法 1 と して、 前記ステ ップ S 5 4 で登録された n個の特徴に関 して、 事前に得られてい る キヤ リ プレーシ ョ ンデータ に基づいて レク ティ ブイ ケーシ ヨ ンされた特徴対の画像座標値が利用 される。 すなわち、 キ ャ リ ブレーシ ョ ンデータのずれが全く ない とすれば、 登録さ れた特徴対は完全にェ ピポーラ線拘束を満た している こ と に なる。 逆に言えば、 キャ リ ブレーシ ョ ンずれが生 じている場 合には、 このェ ピポーラ線拘束が満た されていないと判断で き る。 そこで、 特徴対全体と して、 どの程度ェピポーラ線拘 束が満た されていないかが評価値と して、 キヤ リ プレーシ ョ ンずれが判定される こ と にする。

すなわち、 各特徴対 i について、 ェ ピポーラ線拘束からの ずれ量を d i と して、

= |v - v | … （46 )

を算出する。 そ して、 全ての特徴対に対する平均値が (47)

n 7=1 れ ϊ=1

に よ って算出 さ れる。 そ して、 その平均値 が所定の閾値 threshold よ り 大きい場合には、 キャ リ ブ レーシ ョ ンずれが 著しいと判定される。

図 3 1 A及び図 3 1 Bは、 こ う した様子を示したものであ る。 図 3 1 A及び図 3 1 B に於いて、 各特徴に関 して、 ェピ ポーラ線からのずれ di は、 特徴点のェピポーラ線からの画 像内距離に対応するわけである。

次に、 キヤ リ ブレーショ ンずれ判定方法 2 について説明す る。

前記判定方法 1 で説明 した方法で、 対応探索の信頼度が高 い場合には良好な結果が得られるが、 対応探索結果に信頼度 が低いものが含まれている可能性がある場合には、 下記式 (48) で算出された各特徴の差異の中、 ノ イズ成分が多く 含 まれている可能性がある と考えられる。 - -

(48)

このよ う な場合には、 ノイズ成分と思われる異常値が予め取 り 除かれた後に平均が取られる作業によ り 、 キヤ リ プレーシ ヨ ンずれが判定される方法が有効である。 '

すなわち、 このよ う な形で異常値を排除した後の特徴対の 集合を B と して B内での diの平均値を も一∑ ⁼—∑ト,』 (49) よって算出すればよレ' で mは集合 B の要素数を表す その平均値 が所定の閾値 t hr e s h o l d よ り 大きい と きには、 キヤ リ プレーショ ンずれが著しいと判定する。

図 2 3 のフローチャー トに戻って、 ステ ップ S 5 7では、 前記ステ ップ S 5 6 で判定された結果が、 ずれ結果呈示装置 1 2 2 によって呈示される。

図 3 2 は、 ずれ結果呈示装置 1 2 2 の一例を表 したもので ある。 本例では、 ずれ結果呈示装置 1 2 2 と して表示装置 2 2 0 (図 4 1 にっき後述する） を利用 したものであ り 、 よ り 具体的には、 ディ スプレイや L C Dモニタ等で構成されてい る。 もちろん、 このディ スプレイ は、 別の用途のディ スプレ ィでも よ く 、 そのディ スプレイ の画面一部分を利用 して、 ず れ結果を表示する ものでも よい し、 ずれ結果表示のために、 画面表示のモー ドを切り替えるタイプのも のでもよい。

本発明の実施の形態に於ける こ のずれ結果表示装置 1 2 2 は、 前記キ ヤ リ ブ レーショ ンずれ判定部と の協働によ り ずれ 検出に係る処理動作中である旨を表示可能に構成され、 また、 ずれ検出に係る処理の結果と して得られたパラ メ ータ と前記 キヤ リ ブレーショ ンデータ保持部に予め保持されていたパラ メータ と の差異を表わす情報を表示可能になされ、 更に、 正 規のずれ検出が行われ得なかった と き にはその旨 表わすェ ラーコー ドを表示可能に構成される。

図 3 2 の表示では、 3個のカ ラム A、 B、 Cを有してお り 、 それぞれのカラムに結果が表示される よ う になっている。

カ ラム Aの部分は、 キヤ リ プレーショ ンずれ検出中にはフ ラ ッシュする こ とにな り 、 ずれ検出の結果が得られた と きに 75 は、 カ ラム Bの部分にずれ量の大き さや判定結果等が表示さ れる。 また、 カ ラム C の部分には、 ずれ検出に関わるス テー タスが表示される。 ステータス と しては、 前述したステ ップ S 5 5 で示される途中結果や、 ずれ検出に関わるエラーコー ド等が表示される よ う になっている。

このよ う な方法を と る こ と によ り 、 ずれ検出の各種モー ド や処理結果が、 ユーザや或いはス テ レオ撮影装置等をメ ンテ ナンスする作業者等に、 効果的に告知する こ とが可能と なる。

その他のずれ検出結果の呈示方法と しては、 音声によ る呈 示、 警報アラームや音源による呈示等が考えられる。

[第 7 の実施の形態]

次に、 本発明の第 7 の実施の形態と して、 レクティ フィ ケ ーショ ンを行わないで、 ずれ検出する方法について説明する。

前述した第 6 の実施の形態では、 入力された左及ぴ右画像 に関 して レクティ フィ ケーショ ン処理を施した後に、 ェピポ ーラ線拘束を利用 して、 特徴が どの程度ェピポーラ線拘束を 満た しているかを判断材料とする こ と で、 撮影装置の内部キ ャ リ ブレーショ ンパラ メ ータ に関する キヤ リ ブレーショ ンず れを検出する こ と を行っていた。

これに対 し、 第 7 の実施の形態では、 レクティ フィ ケーシ ョ ン処理を行わずに.、 撮影装置の内部キヤ リ ブレーショ ンパ ラメ ータ に関するキヤ リ ブレーショ ンずれを検出する方法に っ 、て ¾ίベる。

図 3 3 は、 本発明の第 7の実施の形態に於ける キヤ リ ブレ ーショ ンずれ検出装置の基本構成例を示したブロ ック図であ る。

尚、 以下に述べる実施の形態に於いて、 前述した第 6 の実 施の形態と同一の部分には同一の参照番号を付して説明を省 略する ものとする。

図 3 3 に於いて、 ス テ レオ画像を撮影してキヤ リ ブレーシ ヨ ンずれを検出すべき撮影装置 1 2 8 が、 キヤ リ プレーショ ンずれ検出装置 1 7 0 でキヤ リ ブレーシ ョ ンずれがあるかが 検出される。

キ ャ リ ブ レーシ ョ ンずれ検出装置 1 7 0 は、 制御装置 1 1 2 と、 状況判断装置 1 1 4 と、 特徴抽出装置 1 1 8 と 、 キヤ リ ブレーシヨ ンずれ判定装置 1 2 0 と 、 ずれ結果呈示装置 1 2 2 (図 3 2 にっき既述） と、 キ ャ リ ブ レーシ ョ ンデータ記 憶装置 1 2 4 と から構成されている。 すなわち、 図 1 7 に示 される構成のキャ リ ブ レーシ ョ ンずれ検出装置 1 1 0 から、 レクティ フィ ケーシヨ ン処理装置 1 1 6 を除いた構成と なつ ている。

こ こ で、 キャ リ ブ レーシ ョ ンずれ装置 1 7 0内の各装置は、 ハー ドウエアや回路で構成されたも よい し、 コ ン ピュータや データ処理装置のソフ ト ウエアで処理されてもよい。

次に、 図 3 4 のフ ローチャー ト を参照 して、 第 7 の実施の 形態に於けるキヤ リ ブレーショ ンずれ検出装置の動作につい て説明する。

ステ ップ S 6 1 にてキヤ リ ブレーショ ンずれが現時点で検 出されるべきか否かが判断され、 続く ステ ップ S 6 2 にて撮 影装置 1 2 8 によ り ス テ レオ画像が撮影される。 これらス テ 2004/007557

77 ップ S 6 1 及び S 6 2 の動作は、 前述 した図 2 3 のフ ローチ ヤー トに於けるステ ップ S 5 1 及び S 5 2 と 同様であるので、 詳細な説明は省略する。

次いで、 ステ ップ S 6 3 にて、 前記ステ ップ S 6 2 で撮影 されたステ レオ画像について、 キヤ リ プレーショ ンずれ検出 に必要と なる特徴が抽出される。 この処理は、 特徴抽出装置 1 1 8 で行われる。

特徴抽出装置 1 1 8 は、 前述 した第 6 の実施の形態の場合 と同様に、 図 2 6 に示される よ う に、 特徴選択部 1 1 8 a と 、 特徴対応探索部 1 1 8 b と を有して構成されている。 こ う し て得られた特徴対のデータは、 左右画像レクティ フィ ケーシ ヨ ン後の画像座標値と して、 登録される。

例えば、 n個の特徴点の対が左画像と右画像の対応の形で 得られた場合には、

= {((«),(« )): i = l,2,.n } … (50)

の形で表現でき るわけである。

こ こで、 第 7 の実施の形態に於ける前記特徴抽出装置 1 1 8 の画像選択部 1 1 8 a及び特徴対応探索部 1 1 8 b の詳細 を説明する。

先ず、 特徴選択部 1 1 8 a では、 ステ レオ撮影装置 1 2 8 で撮影された画像に対して、 レ ンズデイ ス トーシヨ ンが著し く 顕著な場合にはデイ ス トーシ ョ ン補正処理によ り デイ ス ト ーシ ョ ン成分が除去される操作が行われる。

次に、 一方の画像、 例えば左画像の中に於いて、 キヤ リ ブ レ一ショ ンずれ検出に有効とな り そ う な特徴が選択される。 例えば、 特徴と して、 特徴点を候補にする際には、 先ずレク ティ フィ ケーシ ヨ ンされた左画像が、 前述した図 2 7 に示さ れる よ う に、 M X N個の正方形から成る小ブロ ック に分割さ れ、 その各ブロ ック 内の画像から多く と も 1 個のコーナーポ イ ン ト等の特徴点が抽出される。 この方法は、 前述した第 6 の実施の形態の場合と同様である。

次に、 特徴対応探索部 1 1 8 b について説明する。

一方の画像から特徴選択部 1 1 8 a で選択された特徴に関 して、 他方の画像內で、 対応する特徴を抽出する のが特徴対 応探索部 1 1 8 b の機能である。 特徴対応探索部 1 1 8 で は、 以下の方法によ り対応する特徴が探索される。

探索範囲の設定について説明する。

撮影された画像は、 キャ リ ブレーシ ョ ンデータ記憶装置 1 2 4 から過去に記憶されたキヤ リ ブレーシ ョ ンデータが使用 されたものであるので、 キヤ リ ブレーショ ンずれがある場合 には、 ェピポーラ線上に対応点がある とは限らない。 従って、 前述した第 6 の実施の形態の場合と 同様に、 対応探索される 範囲は、 想定される最大のキヤ リ ブレーショ ンずれにも適合 する対応探索範囲が設定される こ とがある。 実際には、 左画 像内の特徴 （ u， V ) に対応する右画像内のェピポーラ線の 上下にある領域が用意される。

図 3 5 A、 図 3 5 Bはこの設定を示 したものであ り 、 ェピ ポーラ線 1 4 4 の上下方向にある幅 2 W _v の幅が設け られ て、 探索が行われる こ と となる。

次に、 エ リ ァベースマッチングによ る対応探索が行われる。 前記探索範囲の設定によ り 決定された探索領域内で、 最適 な対応が探索される。 最適な対応を探索する方法と しては、 例 . ば 、 J. Weng, et al , Motion and Structure from Image Sequences, Springer-Verlag, pp. 7 - 64, 1993 に 示される方法等がある。 または、 前述した第 6 の実施の形態 で説明 した方法でも よい。

図 3 4 のフ ローチャー ト に戻って、 ステ ッ プ S 6 4 では、 特徴抽出装置 1 1 8 にて、 更に前記ステップ S 6 3 で登録さ れた特徴対の数や信頼度がチェ ック される。 登録された特徴 対の数が、 ある所定の数よ り 少ない場合には、 撮影されたス テ レオ画像は不適切であつたと判定される。 この場合は前記 ステ ップ S 6 1 に移行して、 撮影処理等が繰り 返される。 ― 方、 信頼性のある特徴対が得られたと判定された場合には、 特徴対の集合が、 キャ リ ブレーシ ョ ンずれ判定装置 1 2 0 へ 送出される。

次いで-、 ステ ップ S 6 5 では、 キャ リ ブレーシ ョ ンずれ判 定装置 6 によってキヤ リ プレーショ ンの判定が行われる。

こ こでは、 キヤ リ ブレーショ ンデータ記憶装置に記憶され たキャ リ ブレーシ ョ ンデータ と、 上記ステ ップ S 6 3 で登録 された特徴対の集合 = {((«),( ))： i = \2,.. }を利用 して、 キヤ リ ブレーショ ンずれが顕著であるかを判定するわけであ る。

こ こで、 第 7 の実施の形態に於けるキヤ リ ブレーショ ンず れ判定方法について説明する。

判定方法 1 と して、 前記ステ ップ S 6 3 で登録された n個 の特徴に関 して、 事前に得られているキヤ リ プレーショ ンデ ータ に基づいてレクティ フィ ケーショ ンされた特徴対の画像 座標値が利用される。 すなわち、 キャ リ ブ レーシ ョ ンデータ のずれが全く ないとすれば、 登録された特徴対は完全にェ ピ ポーラ線拘束を満た している こ と になる。 逆に言えば、 キヤ リ ブレーショ ンずれが生じている場合には、 こ のェピポーラ 線拘束が満たされていないと判断でき る。 そこで、 特徴対全 体と して、 どの程度ェピポーラ線拘束が満たされていないか を評価値と して、 キ ャ リ ブ レーシ ョ ンずれを判定する こ と に する。

すなわち、 各特徴対 (M ，^V )について、 ェ ピポーラ線拘 束からのずれ量を di を算出する。 具体的には、 _νήに対す る右画像に於けるェピポーラ線を " + + c = 0とする と き、 右対応点 ( ， _νήが どの程度ずれているかを算出するわけであ る。 すなわち

を算出する。 そして、 すべての特徴対に対する平均値を d = ~ d_i (52) に よ って算出 し、 その平均値 ^が所定の閾値 threshold よ り 大きいと きには、 キ ヤ リ ブレーショ ンずれが著しい と判定 する。

次に、 キヤ リ プレーショ ンずれ判定方法 2 について説明す る。 前述した判定方法 1 の方法で、 対応探索の信頼度が高い場 合には良好な結果が得られるが、 対応探索結果に信頼度が低 いものが含まれている可能性がある場合には、 下記 （53 ) 式 で算出された各特徴の差異の中、 ノ イ ズ成分が多く含まれて いる可能性がある と考えられる。

この よ う な場合には、 ノイ ズ成分と思われる異常値が予め取 り 除かれた後に平均が取られる作業によ り 、 キヤ リ プレーシ ョ ンずれが判定される方法が有効である。

すなわち、 このよ う な形で異常値を排除した後の特徴対の 集合を B と して、 B 内での d i の平均値を =：丄 yメ,. … （54 ) によって算出すればよい。 こ こで mは集合 B の要素数を表す, その平均値 が所定の閾値 t hr e sh o l d よ り 大きい と き には キヤ リ ブレーショ ンずれが著しいと判定する。

図 3 4 のフ ローチャー ト に戻って、 ステ ップ S 6 6 では、 前述 したステ ッ プ S 6 5 で判定された結果が、 ずれ結果呈示 装置 1 2 2 によって呈示される。 表示方法は、 前^ た第 6 の実施の形態と同様であるので、 こ こでは省略する。

この第 7 の実施の形態によれば、 レクティ フィ ケーショ ン 処理にかかる時間を短縮する こ と が可能と なる。 特に、 特徴 点数が少なく てよい場合には有効である。

[第 8 の実施の形態] 次に、 本発明の第 8 の実施の形態と して、 撮影装置と外部 装置間のキヤ リ ブレーショ ンずれについて説明する。

こ の第 8 の実施の形態では、 キャ リ ブレーシ ョ ンに於ける 基準位置を規定するために利用される所定の外部装置と撮影 装置間の位置姿勢ずれは生じている と き、 そのキヤ リ プレー シヨ ンずれが起こっているか否かを検出する装置について説 明する。

図 3 6 は、 本発明の第 8 の実施の形態に於ける キヤ リ ブレ ーショ ンずれ検出装置の基本構成例を示したプロ ック図であ る。

図 3 6 に於いて、 ステ レオ画像を撮影してキヤ リ ブレーシ ョ ンずれを検出すべき撮影装置 1 2 8 が、 キ ヤ リ ブ レーシ ョ ンずれ検出装置 1 7 4 でキヤ リ プレーショ ンずれがあるかが 検出される。

キ ャ リ ブ レーシ ョ ンずれ検出装置 1 7 4 は、 制御装置 1 1 '2 と 、 状況判断装置 1 1 4 と、 特徴抽出装置 1 1 8 と、 キヤ リ ブレーシ ヨ ンずれ判定装置 1 2 0 と、 ずれ結果呈示装置 1

2 2 と、 キャ リ ブレーショ ンデータを保持してレヽるキヤ リ ブ レーショ ンデータ記憶装置 1 2 4 とから構成されている。 す なわち、 こ のキ ャ リ ブ レーシ ョ ンずれ検出装置 1 7 4 は、 図

3 3 に示される第 7 の実施の形態のキヤ リ ブレーショ ンずれ 検出装置 1 7 0 と、 構成上は同 じである。

こ こでキ ヤ リ ブレーショ ンずれ装置 1 7 4 内の各装置は、 ハー ドウエアや回路で構成されたも よいし、 コ ン ピ ュータや データ処理装置のソ フ ト ウエアで処理されてもよい。 尚、 撮影装置 1 2 8 と外部装置間の位置姿勢キヤ リ プレー ショ ンパラ メ ータに関するキヤ リ ブレーショ ンずれを検出す るためには、 基準位置を規定するために利用 される所定の外 部装置を基準と してその場所が既知な既知特徴が必要と なる。

そ して、 上記式 （1 7 ) 及び （19 ) で示される內部パラ メ一 タ p と外部パラ メ ータ e ' に加えて、 複数個の既知特徴 k の外部装置に相対する 3 次元位置 （xk， y k， z k )の情報が必 要と な り 、 それらのデータがキヤ リ プレーショ ンデータの一 部と して、 キャ リ ブレーシ ョ ンデータ記憶装置 1 2 4 に記憶 されている。

例えば、 外部装置である車両にステ レオ撮影装置を装着し て、 車両と ステ レオ撮影装置間のキヤ リ プレーショ ンずれが 起こっているかを検出する場合を考える。 また、 ステ レオ撮 影装置は、 車両の前方を撮影するために設定されたもので、 その撮影には、 車両の一部が撮影されている もの とする。 こ のよ う.な場合には、 撮影される車両の一部の形状に関する特 徴を既知特徴と して登録するこ とが可能である。

例えば、 図 3 7 A乃至図 3 7 Eには、 そのよ う な配置の既 知特徴が示されている。 この際、 ステ レオ撮影装置は、 車両 前方のウィ ン ドウ とノ ック ミ ラーの間に配置されてお り 、 ス テ レオ撮影装置 1 2 8 が撮影する画像の下部に、 車両前方の ボンネッ ト 1 8 0が撮影されてお り 、 そのボンネ ッ ト 1 8 0 上に存在する コーナーやエッジ点 1 8 2等を登録すればよい。 この際、 車両に於ける こ う した特徴は、 車両の C A Dモデル 等から、 その 3次元座標が容易に得るこ とができ る。 前述の特徴を得るための外部装置と しては、 種々のものを 適用可能であるが、 撮像部が装備された車両の特定の形状部 を適用する例と しては、 既存のポンネッ ト 1 8 0 上のコーナ やエッジ点 1 8 2等の他、 例えば、 フ ロ ン ト ガラ スの一部に 相対的な位置が既知なマーカを既知特徴と して予め配置して おき、 それらの 3次元位置を予め計測しておき、 それらの全 部或いは一部がステ レオ撮影装置で撮影でき る よ う に してお いてもよい。

図 3 7 Aは撮影される左画像の例を表したものであ り 、 図 3 7 Bは既知特徴と して選択された特徴を黒丸 1 8 4で示し たものである。

尚、 こ こ では 3点のみを既知特徴と して表 したが、 この数 は少なく と も 1 個以上あ り 、 且つ複数個あってもかまわない。 また特徴と して特徴点でなく ても曲線であってもかまわない。

図 3 7 Cは、 フ ロ ン ト ガラス 1 8 6 の一部に既知特徴であ る黒丸の既知マーカ 1 8 8 を配置した様子の例を表したもの である。 こ の図に於いて、 既知マーカ群は、 左右カメ ラ内で その全部あるいはその一部が撮影でき るよ う に配置されてい るわけである。 またこれらのマーカ群は、 図 3 7 D及び図 3 7 Eに示される よ う に、 ステ レオ左右画像の画像周辺部に写 り 込むよ う に配置されてお り 、 重要な映像と なる 中心部には 写り込まないよ う に設計されている。

次に、 図 3 8 のフ ローチャー ト を参照して、 第 8 の実施の 形態に於けるキヤ リ プレーショ ンずれ検出装置の動作につい て説明する。 ステ ップ S 7 1 にてキャ リ ブレーシ ョ ンずれが現時点で検 出されるべきか否かが判断され、 続く ステ ップ S 7 2 にて撮 影装置 1 2 8 によ り ステ レオ画像が撮影される。 これらステ ップ S 7 1 及び S 7 2 の動作は、 前述した図 2 3 のフローチ ヤー ト に於ける ステ ップ S 5 1 及び S 5 2 、 図 3 4 のフ ロー チャー ト に於けるステ ップ S 6 1 及び S 6 2 と 同様であるの で、 詳細な説明は省略する。

次いで、 ステ ップ S 7 3 にて、 前記ステ ッ プ S 7 2 で撮影 されたステ レオ画像について、 キヤ リ ブレーショ ンずれ検出 に必要と なる既知特徴が抽出される。 この処理は、 特徴抽出 装置 1 1 8 で行われる。 特徴抽出装置 1 1 8 では、 撮影され たステ レオ面像から、 キャ リ ブレーシ ョ ンずれを検出するの に必要と なる既知特徴とその対応する特徴が、 ステ レオ画像 の中から抽出される。

例えば、 m 個の既知特徴の対が左画像と右画像の対応の形 で得られた場合には、 ·

B - {({ _k ^L) ^R "))- k = 2,..m } ( 55 ) の形で表現できるわけである。

尚、 既知特徴を抽出する方法と しては、 前述した第 6 の実 施の形態で説明 したよ う に、 画像に関 してキヤ リ プレーショ ンずれが起こっていないと仮定した場合に、 各特徴が規定す るェピポーラ線に対して、 その周辺に探索範囲を拡大する こ とで、 対応する既知特徴を抽出する方法を採用 してもよい。 また、 既知特徴の数が少ない場合には、 これに加えて、 前 述した第 6 或いは第 7 の実施の形態で説明 したよ う な、 画像 内で撮影された特徴 （これらを自然特徴と称する） が撮影さ れて、 その対応特徴が抽出される。

例えばこ う して抽出された自然特徴の集合を、 n個の特徴 の集合と して

A =

] …（56 )

で表す。

このよ う に して抽出された特徴の集合 A及び Bが、 図 3 9 A、 図 3 9 Bに示される。 図 3 9 A、 図 3 9 Bに於いて、 黒 丸 1 9 0 は既知特徴を表し、 白丸 1 9 2 は自然特徴を表して いる。

次に、 ステ ップ S 7 4 に於いて、 特徴抽出装置 1 1 8 にて、 更に前記ステ ッ プ S 7 3 で登録された特徴対の数や信頼度が チェ ック される。 登録された特徴対の数が、 ある所定の数よ り 少ない場合には、 撮影されたステ レオ画像は不適切である と される。 この場合には、 前記ステ ップ S 7 1 へ移行して、 撮影処理等が操り 返される。 一方、 信頼性のある特徴対が得 られたと判定された場合には、 特徴対の集合が、 キヤ リ ブレ ーショ ンずれ判定装置 1 2 0 へ送出される。

続く ステ ップ S 7 5 では、 以下のサブステ ップ S S 1 と S S 2 と が利用 されて、 キヤ リ プレーショ ンずれがあるか否かが 推定される。 すなわち、

1 ) ステ レオ撮影装置の内部キヤ リ ブレーショ ンパラメ ータがキヤ リ ブレーショ ンずれを起こ しているかを判定する

2 ) 1 ) が起こっていないと した場合、 ステ レオ撮影装 置と外部装置間の位置姿勢ずれに伴う キヤ リ ブレーショ ンず S7 れが起こっているかを判定する

の 2種類の判定が、 サブステ ップ SS 1 と SS 2 によ り行われ るわけである。

先ず、 サブステップ SS 1 について説明する。

ス テ レオ画像内で、 先ず、 既知特徴が利用 されて、 その既 知特徴が画像内であるべき位置にあるか否かが判定される。

このためには、 キャ リ ブ レ厂c r s23

, f33ーシ ョ ンデータ記録装置 1 2 4 記録されている既知特徴 k の 3 次元位置 ( , ， )が、 ステ レオカメ ラで撮影された画像内での位置にあるかを以下のよ う にして判定する。

いま外部装置の座標系を O と して、 その座標系で既知特徴 の 3 次元位置 ( ， , )が登録されている と する と 、 その点 に関する左カ メ ラ座標系 L に於ける 3 次元位置座標

と右カ メ ラ座標系に於ける 3 次元位置座標 , )の位置 を算出する。

(58)

次にこれらに対して、 上記式 （ 7 ) 及び式 （ 8 ) のよ う な 式で算出される画像内での投影位置 ( '^£,ν^ ^Λ，v ^が算出され る。

もちろんこの画像内での位置は、 キヤ リ ブレーショ ンデー タが全て正 しい と仮定した場合に成立する式である。 従って 前記式 （55) の集合 Bで表される画像内での位置と、 キヤ リ ブレーシヨ ンデータが正しいと仮定した場合の画像位置との 差が計算される こ と によ り 、 キャ リ ブレーシ ョ ンずれが起こ つているか否かが判定できるわけである。

すなわち、 画像内での差 ：

を各画像で算出 し、

f_k ^L > threshold 或いは > threshold … (60) が成立するかが判定される。 こ こ で閾値 threshold を超えた 場合には、 少な く と もキャ リ ブレーシ ョ ンずれが起こってい る こ とがわかる。 .

また、 第 6 の実施の形態で説明 したのと 同様に、 異常値除 去等の処理をこの中に含んでもかまわない。 すなわち、 既知 特徴 m個の う ち、 少な く と も s 個（ s≤ )が上記式 （ 60 ) で示 される不等式を満た している場合には、 キヤ リ ブレーショ ン ずれが起こっている と判断するわけである。

すなわち、 サブステ ップ SS 1 によ ってキヤ リ プレーシ ョ ンずれが少なく と も起きているか否かを判定する こ と ができ る。

次に、 サブステップ SS 2 について説明する。

サブステ ップ SS 2 では、 前述したサブステ ップ SS 1 でキ ヤ リ ブレーシヨ ンずれが起こっている際に、 それが、 少なく と もステ レオ撮影装置の内部キヤ リ プレーショ ンずれに起因 するのか、 或いはステ レオ撮影装置と外部装置間の位置姿勢 関係に関するキヤ リ プレーショ ンずれに起因するのかを判断 するものである。

このためには、 前記式 （55 ) 集合 B と式 （56 ) 集合 Aの何 れか一方、 或いは両方 A及び Bの特徴、 前述した第 1 或いは 第 2 の実施の形態で説明 したェピポーラ線拘束が成立 してい るかど う かを判定基準と して、 内部キヤ リ ブレーショ ンずれ が起こっているかど う かを判定するわけである。 すなわち、 前記式 （47 ) 、 ( 49 ) 、 或いは式 （5² ) 、 ( 54) で判定すれ ばよい。

撮影装置の内部に関するキヤ リ ブレーショ ンずれがないと 判定された場合で、 サブステ ップ S S 1 でキヤ リ ブレーショ ンずれがあ り と判定された場合には、 キャ リ ブレーシ ョ ンず れは、 ステ レオ撮影装置と外部装置間の位置姿勢ずれに基づ く キヤ リ ブレーショ ンずれである と判定するこ とができる。 一方、 サブステ ッ プ S S 2 でも キャ リ ブ レーシ ョ ンずれが あ り と判定された場合には、 キャ リ ブレーシ ョ ンずれは、 内 部キヤ リ プレーショ ンずれがある こ と が確実である こ と がわ かるわけである。

図 3 8 のフ ローチャー ト に戻って、 ステ ップ S 7 6 では、 前記ステ ッ プ S 7 5 で判定された結果が、 ずれ結果呈示装置 1 2 2 によ って呈示される。 この第 8 の実施の形態では、 複 数のキヤ リ ブレーショ ンずれの種類を検出でき るので、 その 情報を含めて表示する こ と も可能である。 表示方法は、 前述 した第 6 の実施の形態と 同様であるので、 こ こでは省略する。 このよ う に、 第 8 の実施の形態によれば、 ステ レオ撮影装 置と外部装置間の位置姿勢キヤ リ ブレーシ ョ ンのずれも検出 でき る こ と になる。

[第 9 の実施の形態]

次に、 第 9 の実施の形態と して、 撮影装置が複数回撮影し てその画像を利用する場合について説明する。

前述した第 6 乃至第 8 の実施の形態では、 ステ レオ画像装 置で撮影する画像は 1 回である こ と を想定してきたが、 この 第 9 の実施の形態では、 キヤ リ ブレーショ ンずれの検出をよ り 信頼於ける ものにするために、 ステ レオ撮影装置で複数回 撮影 し、 その複数回の撮影から得られる特徴 （自然特徴或い は既知特徴） を利用する よ う に している。

本第 9 の実施の形態では、 この方法について説明する。 キ ャ リ プレーシ ヨ ンずれ検出装置の基本構成は、 前述した第 6 乃至第 8 の実施の形態で表される ものと同様である。

複数回の撮影に,伴い、 キヤ リ ブレーシ ヨ ンずれを検出する 方法と しては、 以下のよ う な 2種の方法の何れでもよい。

第 1 の方法と しては、 ステ レオ画像装置が複数回撮影して、 その複数回の撮影を利用 してずれを検出する。 この方法では、 複数回撮影されたステ レオ画像から 自然特徴或いは既知特徴 を抽出 し、 それらを式 （55 ) 集合 B と式 （56 ) 集合 Aで表さ れる特徴の集合と して扱えば、 前述した第 6 乃至第 8 の実施 の形態と同様に全ての処理を扱う こ とが可能となる。

第 2 の方法と しては、 複数回の撮影の う ち第 1 回目でずれ 検出を して、 第 2 回目以降でその検証を行 う ものである。 す なわち、 第 1 回 目でずれが検出された場合に限り 、 本当にず れがあるかど う かを再判定するわけである。 第 1 回目、 第 2 回目 以降の処理に関 しては、 前述した第 6 乃至第 8 の実施の 形態の場合と同様であるので、 その方法の詳細については説 明を省略する。

次に、 方法のバリ エーシ ョ ンについて説明する。

以上、 ス テ レオ撮影装置で撮影でき る と ころにある既知特 徴を利用 してずれ検出する方法について説明 したが、 こ の他 にも既知特徴を配置するバ リ エーショ ンを考える こ とができ る。

すなわち、 外部装置を基準と してその位置が既知であるキ ャ リ ブ レーシ ョ ンボー ドを配置し、 そのキヤ リ ブ レーシ ョ ン ボー ド内にある既知マーカ の位置をス テ レオ撮影装置によ り 撮影する こ と も可能である。 この場合には、 本第 9 の実施の 形態で説明 したよ う に、 例えばキヤ リ プレーショ ンずれを検 出する作業.員が、 このキャ リ ブレーショ ンボー ドを外部装置 に相対する よ う に配置して、 それを状況判断装置が判断する こ とでキヤ リ ブレーショ ンずれ検出処理を行えばよい。

このよ う に、 第 9 の実施の形態によれば、 キヤ リ ブレーシ ヨ ンずれの検出をよ り ロバス ト に信頼性よ く 行う こ とができ る。

[第 1 0 の実施の形態]

次に、 第 1 0 の実施の形態と して、 車載に応用 した例につ いて説明する。

前述した第 6 乃至第 9 の実施の形態では、 状況判断装置に ついて、 詳細な説明は省略していたが、 この第 1 0 の実施の 形態では、 この状況判断装置の機能を中心に説明する。

図 4 0 は、 本発明の第 1 0 の実施の形態に於けるキヤ リ ブ レーショ ンずれ検出装置の基本構成例を示したプロ ッ ク 図で ある。

この第 1 0 の実施の形態が前述した第 6 乃至第 9 の実施の 形態と異なるのは、 外部センサ 2 0 2 からキヤ リ プレーショ ンずれ検出装置 2 0 0 内の状況判断装置 1 1 4 に、 各種のセ ンサ出力の信号が供給される こ とである。 また、 必要に応 じ て、 キャ リ ブレーシ ョ ンずれ検出に関わる情報が、 キヤ リ ブ レーシヨ ンデ"タ記憶装置 1 2 4 に送出され、 その情報が、 キャ リ ブレーシ ョ ンデータ記憶装置 1 2 4 に書き込まれる点 も異なっている。 その他の構成及び全体の構成に関する処理 ステ ップは、 前述した第 6 乃至第 8 の実施の形態で説明 した ものと同様であるので説明は省略する。

以下、 状況判断装置 1 1 4 の応用 と して、 車両にステ レオ 撮影装置を装着した場合について説明する。 もちろん、 本方 式は車両用の車載ステ レオ撮影装置に限る ものでは、 な く 、 その他の監視カメ ラ システム等にも応用が可能である こ と は 明白である。

状況判断装置 1 1 4 に接続される外部センサ 2 0 2 と して は、 次のよ う なものが考えられる。 すなわち、 走行距離計、 時計或いはタイマ、 温度セ ンサ、 車両傾斜計測セ ンサ或いは ジャイ ロセンサ、 車速センサ、 エンジン始動センサ、 日 射セ ンサ、 雨滴センサ等である。 そ して、 状況判断装置 1 1 4 は、 以下のよ う な条件で、 車 載応用に必要な条件に基づいて、 キヤ リ プレーシ ョ ンずれの 検出が現在必要であるか否かを判定するわけである。

また、 キャ リ ブ レーシ ョ ンデータ記憶装置 8 が記憶する キ ヤ リ ブ レーシ ョ ンデータ と して は、 過去にキヤ リ ブ レーシ ョ ンを行っ た と き のパラ メ ータ P ， e ' や既知特徴のデータ等 を含みなが ら、 以下の情報が書き込まれている。 すなわち、 過去に行ったス テ レオ撮影装置の内部キヤ リ ブレーシ ョ ンパ ラ メ ータ p 、 過去に行ったステ レオ撮影装置と外部装置間の 位置姿勢キ ャ リ ブ レーシ ョ ンパラ メ ータ e ' 、 過去に行った 既知特徴の 3 次元位置、 過去にキヤ リ プレーショ ンした際の 車両走行距離、 過去にキヤ リ ブレーシ ョ ン した際の 日 時と 時 刻、 過去にキャ リ ブ レーシ ョ ン した際の外部温度、 過去にキ ャ リ ブレーショ ン検出 した際の車両走行距離、 過去にキ ヤ リ ブレーシ ョ ン検出 した際の 日 時と 時刻、 過去にキヤ リ プレー シヨ ン検出 した際の外部温度、 等である。 - 次に、 前述 した状況判断装置 1 1 4 が、 どのよ う にキヤ リ プレーシ ョ ン検出をすべきか、 その状況判断の方法について 説明する。

本装置では、 キヤ リ プ レーシ ョ ンずれ検出を行 う 条件と し て、 車両が停止 している と き に行 う 、 以前ずれ検出 した と き から少な く と も一定時間 T を経た後に行 う 、 晴天で昼間に行 う 、 等の 3 つの条件が成立する と き に行 う場合について説明 する。

先ず、 1 つ 目 の条件を満たすために、 車速セ ンサ或いはジ ャィ 口センサ等で、 車両が移動 していないこ とが確認される。 次いで、 2つ 目の条件を満たすために、 過去にキヤ リ プレー シ ョ ンずれ検出を行ったと きの時刻と時計等から算出される 現時刻と の時間差が算出される。 3つ目 の条件に関 しては、 日射センサや雨滴センサ等が利用 されて、 条件が満たされる かど うかが判断される。

このよ う に して、 キヤ リ ブレーショ ンずれ検出が実行され る と、 その結果はずれ結果呈示装置 1 2 2 に送出される。 ま た、 必要に応じて、 キャ リ ブレーショ ンずれ検出結果がキヤ リ プレーシヨ ンデータ記憶装置 1 2 4 に書き込まれる。

以上のよ う な方法が採用 される こ と によ り 、 本キヤ リ ブレ —シヨ ンずれ検出装置は、 車載等に応用する こ と が可能と な る。

[第 1 1 の実施の形態]

次に、 本発明の第 1 1 の実施の形態と して、 キヤ リ ブレー ショ ンずれ検出装置が適用されたステ レオカ メ ラの例につい て説明する。

図 4 1 は、 本発明の第 1 1 の実施の形態に係るキヤ リ ブレ ーシ ョ ンずれ検出装置が適用されたステ レオカメ ラの構成を 示すブロ ック図である。 尚、 こ こでは、 ステ レオカメ ラが車 両に搭載された例と して説明する。

このステ レオカ メ ラは、 距離画像入力装置 2 1 0 と、 制御 装置 2 1 2 と、 物体認識装置 2 1 4 と 、 運転装置 2 1 6 と 、 警告装置 2 1 8 と、 表示装置 2 2 0 と、 車速センサ 2 2 2 と、 測距レーダ' 2 2 4 と 、 照度センサ 2 2 6 と、 外部カメ ラ 2 2 8 と、 G P S 2 3 0 と、 V I C S 2 3 2及ぴ外部通信装置 2

3 4 と力、ら構成されている。

前記距離画像入力装置 2 1 0 は、 被写体 2 4 0 を撮影する 撮像装置 2 4 2 と、 この撮像装置 2 4 2 の先端に取り 付け ら れるステ レオアダプタ 2 4 4 と から成るステ レオアダプタ力 メ ラ 2 4 6 と、 前記被写体 2 4 0 の距離画像を計測する距離 画像処理装置 2 4 8 と、 から構成される。

前記表示装置 2 2 0 は、 キャ リ ブレーシ ョ ン装置 2 5 6 を 含む距離画像処理装置 2 4 8並びに制御装置 2 1 2 と機能的 に結合されて、 キャ リ ブレーシ ョ ン装置 2 5 6 (その内部の キヤ リ プレーシ 3 ンずれ検出部） や演算部 （距離算出装置 2 5 4 ) 、 並びに、 前記撮像部 （撮像装置 2 4 2 ) の出力に関 連した所要の表示をユーザ （運転者） に認識され得る よ う に 行う ものであ り 、 図 3 2 にっき前述したずれ結果呈示装置乃 至同装置の部分と しても機能する。

前記撮像装置 2 4.2 は、 一般のビデオカ メ ラ、 デジタルス ティルカメ ラ等と同様に、 撮像光学系 2 4 2 a と、 撮影絞り 調整装置 （図示せず） と、 撮影フォーカス調整装置 （図示せ ず） と、 撮影シャ ツタ速度調整装置 （図示せず） と、 撮像素 子 （図示せず） と、 感度調整装置 （図示せず） と から構成さ れる。 更に、 この撮像装置 2 ⁴ 2 には、 ステ レオアダプタ 2

4 4が装着される。

こ のステ レオアダプタ 2 4 4 は、 光路分割装置 2 4 4 a を 有している。 この光路分割装置 2 4 4 a は、 撮像装置 2 4 2 の撮像光学系 2 4 2 a の前方に取り 付け られる もので、 異な る視点からの被写体 2 4 0 の像を撮像素子に結像する こ と が でき る よ う になつている。 このよ う に して撮像装置 2 4 2 で 撮影されたステ レオ画像は、 距離画像処理装置 2 4 8 に供給 される。

距離画像処理装置 2 4 8 は、 フ レーム メ モ リ 2 5 0 と、 レ クティ フィ ケーシヨ ン装置 2 5 2 と、 距離算出装置 2 5 4 と、 キヤ リ プレーショ ン装置 2 5 6 と を有して構成されている。

そ して、 前記撮像装置 2 4 2 から供給されたステレオ画像 はフ レーム メ モ リ 2 5 0 に入力され、 更にレクティ フィ ケ一 シヨ ン装置 2 5 2 に供給される。 こ の レクティ フィ ケーショ ン装置 2 5 2からは、 距離算出装置 2 5 4 に対して、 左画像 及び右画像を出力が出力される。 距離算出装置 2 5 4 は、 制 御装置 2 1 2 を介して物体認識装置 2 1 4 に、 距離画像出力 と して 3次元距離画像が出力される。

また、 キャ リ ブレーショ ン装置 2 5 6 力、らは、 レクティ フ ィ ケーシヨ ン装置 2 5 2 に対してはレクテ ィ フィ ケーショ ン パラメ ータが、 距離算出装置 2 5 4 に対しては距離算出用パ ラメ ータが、 そ して物体認識装置 2 1 4 に対しては物体認識 用パラメータが、 それぞれ出力される。

尚、 こ のステ レオカ メ ラ の構成は、 本件出願人が特願 2 0 0 3 - 4 8 3 2 4号と して先に提案している ものと略同様で ある。

このよ う にして、 車両に搭載されたステ レオカ メ ラ と して も適用が可能である。

以上説明 した第 6 乃至第 1 1 の実施の形態では、 2 台の力 メ ラから構成されるス テ レオ撮影装置に関するキ ヤ リ プ レー ショ ンずれを検出する も のであつたが、 これを 2 台以上の力 メ ラから構成されるステ レオ撮影装置 （すなわち、 多眼ステ レオ撮影装置） に応用でき る こ と は自明である。 すなわち、 多眼ス テ レオ撮影装置を構成する n台のカメ ラについて、 そ の 2 台毎のペアについて、 前述 した実施の形態で説明 してき た方法を利用する こ と によ り 、 同様にキヤ リ プレーショ ンず れを検出する こ とが可能となる。

[第 1 2の実施の形態]

次に、 第 1 2 の実施の形態と して、 撮影装置自体の內部キ ャ リ ブ レーシ ョ ンについて説明する。

図 4 2 は、 本発明に於けるキ ャ リ ブ レーシ ョ ンずれ補正装 置の第 1 の基本構成例を示 したプロ ック図である。 具体的に は、 前述 したキ ャ リ ブ レーシ ョ ンずれ補正の課題である 「ス テレオ画像を撮影する撮影装置の內部キヤ リ ブレーショ ンパ ラメータのずれ補正」 を解決する装置である。 一 - 図 4 2 に於いて、 このキヤ リ ブレーショ ンずれ補正装置 2 6 0 は、 各部の装置に制御信号を送った り 全体のシーケンス を司る制御装置 2 6 2 と、 状況判断装置 2 6 4 と、 特徴抽出 装置 2 6 6 と、 キャ リ ブ レーシ ョ ンデータ補正装置 2 6 8 と 、 補正結果呈示装置 2 7 0 と、 キ ャ リ ブ レーシ ョ ンデータ記憶 装置 2 7 2 と を有して構成されている。

こ のキ ヤ リ ブ レーシ ョ ンずれ補正装置 2 6 0 は、 ス テ レオ 画像を撮影し、 キャ リ ブ レーシ ョ ンずれを捕正すべき撮影装 置 2 7 6 を、 こ こでキヤ リ プレーショ ンずれ補正するための 装置である。

前記状況判断装置 2 6 4 は、 キヤ リ ブレーシ ョ ンずれ補正 を行う かど うかを判断するためのものである。 前記キヤ リ ブ レーシ ョ ンデータ記憶装置 2 7 2 は、 予め撮影装置 2 7 6 の キヤ リ プレーショ ンデータを記憶している ものである。

また、 前記特徴抽出装置 2 6 6 は、 前記撮影装置 2 7 6 で 撮影されたステ レオ画像からステ レオ画像内で対応する特徴 を抽出するためのものである。 キヤ リ ブレーショ ンデータ捕 正装置 2 6 8 は、 特徴抽出装置 2 6 6 で抽出された特徴と キ ヤ リ ブレーシヨ ンデータを利用 して、 キャ リ ブレーショ ンず れを補正する ものである。 補正結果呈示装置 2 7 0 は、 この 捕正結果を報告する よう になっている。

補正結果呈示装置 2 7 0 は、 本発明の構成要素たる捕正結 果呈示部をなすものであるが、 こ の補正結果呈示部は後述す る表示装置を表示器と して自 己の構成要素と して保有する形 態を採り 得るが、 該補正結果呈示部は、 よ り 一般的に、 この よ う な表示器までも 自 己の部分と して保有する態様のものに 限られず、 キヤ リ プレーショ ンずれ補正装置 2 6 8 による補 正結果を表す信号に基づいて、 補正結果を呈示するための出 力信号乃至データを生成する限り の態様を採る場 もあ り 得 る。

図 4 3 は、 本発明に於けるキヤ リ ブレーシ ョ ンずれ捕正装 置の第 2の基本構成例を示したプロ ック図である。

図 4 3 に於いて、 このキヤ リ ブレーショ ンずれ補正装置 2 8 0 は、 制御装置 2 6 2 と 、 状況判断装置 2 6 4 と、 特徴抽 出装置 2 6 6 と、 キャ リ ブレーシ ョ ンデータ補正装置 2 6 8 と、 補正結果呈示装置 2 7 0 と、 キャ リ ブレーシ ョ ンデータ 記憶装置 2 7 2 と 、 レク テ ィ フ ィ ケーシ ヨ ン処理装置 2 8 2 と を有して構成されている。

前記レクティ フィ ケーシヨ ン処理装置 2 8 2 は、 撮影装置 2 7 6 で撮影されたステ レオ画像を レク テ ィ フ ィ ケーシ ヨ ン 処理する ためのものである。 こ こでレク テ ィ フ ィ ケーシ ヨ ン 処理されたステ レオ画像から、 ステ レオ画像内で対応する特 徴が特徴抽出装置 2 6 6 で抽出される。 その他の構成は、 前 述した図 4 2 のキヤ リ ブレーシ ョ ンずれ補正装置 2 6 0 と 同 様の構成であるので説明は省略する。

図 4 2 に示される第 1 の基本構成と、 図 4 3 に示される第 2 の基本構成との差異は、 ステ レオ画像を レクティ フィ ケ一 シヨ ン処理する レクティ フィ ケーシヨ ン処理装置 2 8 2 を含 む構成であるか否かである。

尚、 キヤ リ ブレーシ ヨ ンずれ補正装置 ² 6 0及び ² 8 0 内 . の各装置は、 ハー ドウェアや回路で構成されたも よい し、 コ ンピュータゃデータ処理装置のソ フ ト ウエアで処理されても よい。

こ こで、 第 1 2 の実施の形態の具体的説明をする前に、 本 発明で重要となるステ レオ撮影に関する技術的内容について、 その概要を説明する。

[数学的準備とカメ ラモデル]

先ず、 ステ レオ画像を利用 して撮像装置で画像を撮影する と 、 その画像は、 撮像装置内の撮像素子 （例えば、 C C Dや C M O S等の半導体素子） で画像と して結像される と共に画 像信号と なる。 こ の画像信号は、 アナロ グ或いはデジタル信 号であるが、 キ ャ リ ブ レーシ ョ ンずれ補正装置内では、 デジ タル画像データ と なる。 デジタルデータは 2 次元配列と して 表現でき るが、 もちろん六方細密充填のよ う なハニカム構造 の 2次元配列でもよいこ と は当然である。

撮影装置がアナロ グ画像を送信する場合には、 キヤ リ ブレ ーシ ヨ ンずれ補正装置内或いはその装置外にフ レームメ モ リ を用意して、 その画像をデジタル画像に変換する。 キヤ リ ブ レーショ ンずれ補正装置内で規定される画像について、 その 画素は、 正方或いは長方格子状に定義できる と仮定する。

いま、 画像の座標を （ u， V )等の 2次元座標で表現する こ.と とする。

先ず、 図 4 4 に示される よ う に、 ステ レオ画像を撮影する 撮影装置 2 7 6 は、 左右の 2台のカメ ラ 2 8 6 a 、 2 8 6 b とから構成されている とする。 そ して、 左画像を撮影する力 メ ラ 2 8 6 a を規定する座標系を左カ メ ラ座標系 L、 右画像 を撮影する座標系を右カメ ラ座標系 R とする。 そ して、 ス テ レオ画像 と して、 左カ メ ラ 内の画像座標を （ u ^L , V ^L ) 、 右カ メ ラ 内の画像座標値を （ u R ， V K ) 等で表現する と する。 尚、 2 8 8 a 、 2 8 8 b は、 それぞれ左カメ ラ画像面、 右カメ ラ画像面とする。

また、 撮影装置 2 7 6 の全体が規定する基準座標系を定義 する こ と も可能である。 こ の基準座標系を、 例えば Wとする。 もちろん、 基準座標系 と して、 一方のカメ ラ座標系 Lまたは Rを採用 しても よレヽこ とは明白である。

いままでは、 撮影装置と して 2 台のカ メ ラ によ るステ レオ 撮影によ り 、 ステ レオ画像を生成する も のを考えてき たが、 これ以外にステ レオ画像を生成する方法も ある。 例えば、 1 台のカ メ ラ の前にス テ レオアダプタ を装着 して、 同時に左右 画像を 1 台の C C D或いは C M O S な どの撮像素子の中に撮 影する方法である （例えば、 本件出願人に よ る特開平 8 — 1 7 1 1 5 1 号公報等参照） 。

このよ う なス テ レオアダプタ の場合には、 図 4 5 A及び図 4 5 B に示 される よ う に、 左ミ ラー群 2 9 0 a 、 右ミ ラー群 2 9 0 b を有するス テ レオアダプタ で撮影される画像は、 あ たかも 2 台の撮像装置で 2 台のフ レームメ モ リ が存在するか の如 く 、 通常のステ レオカメ ラ に展開する こ とができ る。

本発明に於けるス テ レオ撮影は、 こ の よ う に 2 台或いは 2 台以上の複数のカ メ ラ で撮影される ステ レオ画像でも よい。 或いは、 ス テ レオアダプタ を利用 して撮影される ステ レオ画 像でも よい。

次に、 撮像装置と フ レーム メ モ リ の光学的特性を ピンホー ルカ メ ラでモデル化する こ と を考える。

すなわち、 左画像に関連する ピンホールカ メ ラモデルの座 標系を左カ メ ラ座標系 L と し、 右画像に関連する ピンホール カ メ ラモデルの座標系を右カ メ ラ座標系 R と する。 また左力 メ ラ座標系 L 内の点を )、 その画像対応点を ( )、 右 カ メ ラ座標系 R 内の点を ，ダ， ² )、 その画像対応点を (""， ) と する と 、 図 4 4 に示 さ れる カ メ ラ位置 C _L ， C _R を考慮 しなが ら、 下記式の如く 求める。

こ こ で、 ( ^£， )は左カ メ ラ系の縦及び横方向の画像拡大率、

( ，^)が画像中心であ り 、 (α )は右カ メ ラ 系の縦及び横方 向の画像拡大率、 が画像中心であ る。 これ ら を行列表 現する こ と を考える と 、 w を中間媒介変数と して、

…（62)

と表すこともできる。

- 基準座標系で定義される点 P ( X ， y , z ) の左画像内で の位置を （ u ^L ， V ^L ) 、 右画像内での位置を （ U ^R , V

^R ) と し、 左画像で想定される 撮像装置 と フ レームメ モ リ に対応する左カ メ ラ 2 8 6 a の基準座標系に於ける位置 C _L

(左カ メ ラ座標系の原点） と 、 右画像で想定される撮像装置 と フ レームメ モ リ に対応する右カ メ ラ 2 8 6 b の基準標系に 於け る位置 C _R (右カ メ ラ座標系の原点） を考え る こ と が でき る。 こ のと き、 基準座標系 Wの点 P ( X , y , z ) 力、ら 左 （ u L ， V L ) へ射影 さ れる 変換式 と 、 同一の点か ら右

( u ^R ， v R ) へ射影 さ れる 変換式は、 以下の よ う に表す とができる。

ら左力

メ ラ座標系 L への座標変換を構成するそれぞれ 3 X 3 回転行 列と並進ベク ト ルである。 また RR = [τξ- TR = [t , t§, t fは 基準座標系から右カメ ラ座標系 Rへの座標変換を構成するそ れぞれ 3 X 3 回転行列と並進べク トルである。

[ディス トーシ ョ ン補正]

一方、 撮像装置の光学レ ンズ等のレ ンズデイ ス .トーショ ン が 3 次元計測に要求精度に対して無視できない場合には、 レ ンズデイ ス トーショ ンを含めた光学系を考える必要がある。 この場合には、 前記式 （63) 、 (64) は、 以下に示される よ う な式 （66) 、 (67) で表現する こ とができ る。 こ の式では レ ンズディ ス ト ーシ ョ ンを表現する の に ラディ アルディ ス ト ーシ ョ ン と タ ンジェ ンシャルディ ス ト ーシ ョ ンを表 した も の であるが、 もちろんこれ以外のデイ ス トーショ ン表現であつ てもよい。

こ こ で、 左右カ メ ラ の レ ンズデイ ス ト ーシ ヨ ンに関するパ ラ メ ータ を

とする と き、 x^L一 r^x + r^y + r^z + t_x ^L

L _y ―

^VP 二

\2

+ g ΊΨ Ϊ +g ^ V _+gf [v^j ¾ ii¾j- + [v; j

(左） 〜 f r ~ r \2

+ g3 ¾ + (g2 + ) ( )² + f ¾ (fe)² +(^)²)

(66)

u! =n_p ^R ₊( ₊g )(u;)² ₊g₄ ^R u_p ^R v^R _{v +}g (v;f ((«；)² + (v;)²)

(右）

= ; _+g ^R ₂ (¾)² ₊g u_p ^R V； +fe ₊g^)² ₊k V； (fe)²+(v;)²)

'·· (67) こ こで、 （ ( , ）と（ ^) > ( , )はレンズデイ ス ト ーシ ョ ンを表現するための中間パラ メ ータであ り 、 左及び右カ メ ラ 画像座標での正規化された座標であ り 、 P はディ ス トーショ ン除去後の正規化画像座標を表すサフ ィ ッ ク ス、 d はデイ ス トーシヨ ン除去前 （ディス トーシ ョ ン要素を含む） 正規化画 像座標を表すサフィ ックスを表す。

また、 デイス トーショ ン除去或いはデイス トーショ ン捕正のス テツプとは、 例えば、 以下のよ う にして画像を生成することを意 味する。

(左画像のデイス トーショ ン捕正）

1 ) ディ ス ト ー シ ョ ン補正 した後の各画像配列 ( , こつ いて、 正規化された画像座標を算出する。 i =^≠, vi --^Vi≠ … （

α,, α_ν

2 )

' =¾ +fc^L + )² ¾； (¾)² ¾ (( )² )

+g₂ ^L )^{2 +}s ¾ +fe )² ^ k)²⁺ )²)

… (69) によ り 、 デイ ス ト ーシ ヨ ン捕正前の正規化された画像座標を 算出する。

3 ) v^L =a_v ^L¾^L+v₀ ^L に よ り 、 ディ ス ト ー シ ョ ン補正前の左原画像の対応する画像座標を算出 して、 その近 傍の画素等の画素値を利用 して、 , )に対する画素値を計 算する。

(右画像のデイ ス ト ーシ ョ ン補正）

1 ) ディ ス トーシ ョ ン補正 した後の各画像配列 ， こつ いて、 正規化された画像座標を算出する。

C " +t +^)(¾)² v^R _P +gf (v )² + f ί fe)² +fe)²)

2 )

'v = g kf +fe +g₄ )² V； )² + (v;)²)

…（71)

によ り 、 ディ ス トーシ ョ ン補正前の正規化された画像座標を 算出する。

3 ) M^r =c» v^R =a v^+v^ に よ り 、 ディ ス ト ーシ ョ ン補正前の左原画像の対応する画像座標を算出 して、 その近 傍の画素な どの画素値を利用 して、

に対する画素値を 計算する。

[内部キヤ リ ブレーシ ョ ンパラ メ ータ と キヤ リ ブレーシ ョ ンずれ問題の定義]

2 台のカ メ ラから構成されるステ レオ画像を撮影する撮影 装置の、 左カメ ラの座標系を L、 右カメ ラの座標系を R と し て、 これ ら のカ メ ラ の位置関係を考える。 座標系 L と座標系 Rの間の座標値の関係は、 座標変換 （回転行列と並進べク ト ル） を利用 して、 下記のよ う に表現する こ とができ る。

で

=Μφ ₀ί、φ> Φ_χ、

cos - sin φ_ζ 0 cosヌ 0 sin 1 0 0

sin cos^. 0 0 1 0 0 cos^ 一 sin φ_χ 0 0 1 - sin φ_γ 0 cos 0 sm φ_χ cos

… (73)

L^lR J …（74) で表すこ と が可能で、 6 個のパ ラ メ ータ e = ( , -， ， )を 外部パラ メ ータ と して表現する こ と ができ る。

また先に述べた と お り 、 左右カ メ ラ をそれぞれ独立に表現 した内部パラ メ ータ は

で表される。 総 じて、 2 台のカ メ ラか ら構成される撮影装置 の場合のカ メ ラパラ メ ータ と しては、 撮影装置の内部キヤ リ ブレーショ ンパラ メ ータ と して

p = (c^L , c^R , e) … ( 76)

を利用する こ と ができ るわけである。

'本発明に於いては、 こ の撮影装置の内部キ ヤ リ プレーショ ンパラ メ ータ p な どをキャ リ ブ レーシ ョ ンパラ メ ータ と して、 キヤ リ プレーシ ョ ンデータ記憶装置に記憶される。 キヤ リ ブ レーシ ョ ンデータ と しては、 こ のカ メ ラ キ ャ リ ブ レーシ ョ ン ノ ラ メ ータ p は少な く と も含まれている こ と とする。 伹し、 撮影装置の レンズデイ ス トーシ ョ ンが無視でき る場合には、 デイ ス ト ーシ ヨ ンパラ メ ータ の部分（ ,(^)は無視 した り 、 或 いはゼロ と しても よい。

また撮影装置の内部キヤ リ プレーシ ョ ン と は、 上記 よ う な撮影装置の 内部パラ メ ータ と 外部パラ メ ータ の組であ る p = (c^£， , e)を推定する 問題 と して定義でき る 。 ま たキヤ リ ブ レーショ ンずれの補正 と は、 この よ う に設定されたキヤ リ ブ レーシヨ ンパラ メ ータの値を補正する こ と である。

この場合、 キャ リ ブ レーシ ョ ン補正問題は、 (課題 1 _ 1 ) カメ ラ 間位置姿勢パラ メ ータ を補正する問題 D = e

(課題 1 一 2 ) ステ レオ撮影装置の内部パラ メ タすべてを 補正する問題 p = (c^L, ，

に帰着され、 それぞれの課題に対 して、 補正す きキヤ リ ブ レ ー シ ョ ン ノ、。 ラ メ 一タ カ 異 な る こ と に な る こ こ で 、 p = (c^L,c^R )と い う 組み合わせの補正問題も考える と ができ る が、 実際的には、 カ メ ラ パラ メ ータ で ( ， )で記述 さ れる 拡 大率ゃ焦点距離や画像中心ゃデイ ス ト ーシ ョ ンパラ メ ータ に 変動がある場合には、 e に関 して も変動がある と考える のが 妥当である ので、 この場合に関するパラ メ ータ推定は、 （ 1 一 2 ) で扱 う こ と を前提とする。

[外部キャ リ ブレーシ ョ ンパラ メ ータ と キヤ リ ブレーシ ョ ンずれ問題の定義: 1·

先に説明 したよ う に、 撮影装置と外部装置間のキヤ リ ブレ ーシヨ ンも考える必要がある。

こ の場合には、 例えば左カ メ ラ座標系 L を撮影装置の基準 座標系 と して と り 、 左カ メ ラ座標系 と外部装置間の間の位置 姿勢関係を規定する こ と がキャ リ ブレーシ ョ ンに相当する。 例えば、 外部装置の座標系を O とする と 、 外部装置座標系 O から左カ メ ラ座標系 Lへの座標変換パラ メ ータ を式 （77 ) の よ う にする と 、 式 （78 ) で表される 6 個のパラ メ ータ に よ り その位置姿勢関係を記述する こ とができ る。

とする と、 6個のパラ メ ータ

ρ = ^ = {_χ', , _ζ'Λ ) …（78) によ り 、 その位置姿勢関係を記述する こ と ができ る。 こ こで φ_χ',Φ_γ',Φ'は _£R。に関する 3 個の回転成分パラ メ ータ であ る。 こ れを課題 2 とする。

[内部及び外部キ ヤ リ ブ レーシ ョ ンパラ メ ータ と キ ヤ リ プ レーシ ョ ンずれ問題の定義]

課題 （ 1 一 2 ) と課題 （ 2 ) を複合した課題、 すなわち、 p = (c^L,c^R,e,e') ··· (79) を課題 3 と 定義する。 こ の課題は、 これまで説明 した全ての キャ リ ブレーシ ョ ンパラ メ ータを補正する課題である。

[ステ レオ画像に於けるェピポーラ線拘束]

ステ レオ画像を用いて画像計測を行 う 際には、 後にも述べ る とお り 、 左右画像内で対応点探索を行 う こ と が重要になる この対応点探索に関 して重要なのがいわゆるェピポーラ線拘 束とい う概念である。 以下、 図 4 6 を参照 して説明する。

すなわち、 左右の原画像 2 9 2 a 、 2 9 2 b に対してディ ス ト ーシ ョ ン補正 した左右画像 2 9 4 a 、 2 9 4 b に関 して 正確なキヤ リ ブ レーシ ョ ンパラ メ ータ =( , )が与え ら れ ている と き には、 左画像内の特徴点 ( ^に対応する右画像 内の特徴点 ( ， ν^β)は、 2 9 6 で示 される あ る直線上になけれ ばな らない と い う 拘束条件である。 こ の直線のこ と をェ ピポ ーラ線と称する。

こ こで重要なのは、 デイ ス トーシヨ ンが画像内で顕著な と きには、 ディ ス トーシ ョ ン補正或いは除去を、 予め行ってお かなければな らないとい う こ と である。 また、 ディ ス ト一シ ヨ ン補正された正規化画像に於いても同様に、 ェピポーラ線 拘束が成立する。 従って、 以下では、 先ずディ ス トーシ ョ ン 補正され、 且つ正規化された画像面内で、 本発明で考えるェ ピポーラ線の定義を行う。

左原画像で得られた特徴点 , に対 して、 上記式 （66) 、 (67) の途中で現れる正規化された画像内でディ ス トーシ ョ ン捕正された特徴点の位置を ( )とする。 左カ メ ラ座標系 で規定された 3 次元点 （X, y， z)が左カメ ラ画像で ， ν^£)に 投影され、 それが上記の に変換されたとする と、 u = - V ~L =― y

(80) が成立する。 一方、 （X, y， z)が、 右カ メ ラ画像内で、

に投影され、 正規化されたカメ ラ画像内でディ ス トーシ ョ ン 補正された画像座標を ( )とする と、 r_ux+r y+r₁₃z + t_{x ?Λ} r_2lx+r₂₂y+r₂₃z+t_y …

r_3lx + r₃₂y + r₃₃z + t_z ' r_3lx + r₃₂y + r₃₃z + t_z ' が成立する。 こ こ で rij や tx, ty, tz は右カメ ラ座標系 R から左カ メ ラ座標系 Lへの座標変換を表す回転行列と並進べ ク トルの要素であり 、

A

…（⁸²)

'で表される。 式（80)を式（81)に代入して、 z を消去する と、 方程式

^fc^ +r₃₃)t_y-(r₂₁u^L +r₂₂v^L +r₂₃)t_z]

+v^R{r_uu^L +r_uv^L +r_l3)t_z -(r_3lu^L +r₃₂v^L +r₃₃)t_x (83)

+ {_2Xu^L + r₂₂v^L + r₂₃ )t_x一 (r_u ^L + r_uv^L + r₁₃ )t_y = 0 カ 成立する で a = r₃₂v^L + r₃₃ )t_y一 \r₂₁u ¹ + r₂₂v^L + r₂₃ )t_z

b +r_]3)t_z-(r_3lu^L +r₃₂v^L +f₃₃)t_x (84)

c

+r₂₃)t_x-{r_uu +r_nv +r_u)t と おけば、

au^R+b v^R+c =0 ··· (85) なる直線を得る。 これが正規化された画像面内でのェ ピポー ラ線を表 している。

今までは、 正規化された画像面で考えてきたが、 ディ ス ト ーシ ヨ ン補正された画像面でも 同様にェピポーラ線の方程式 を導く こ と ができ る。

具体的には、 デイ ス トーショ ン補正された左画像と右画像 の対応点の座標値

(«)について、 u^L _n 二 一 +w， (86)

F z

^P r₃ x+r₃₂y + r₃₃z+t_z r_3lx + r₃₂y + r₃₃z +t₂

(87) を解く こ と によ り 、 上記式（85)と 同様に、

au^R _p +bv^K _p + c = 0 (88) なるェピポーラ線の方程式を導く こ と ができ る [レクティ フィ ケーショ ン処理]

これまでェ ピポーラ線拘束を左右画像内の特徴点と して考 えてき たが、 それ以外の方法と して、 レク テ ィ フ ィ ケーシ ョ ン処理と い う も のが、 ス テ レオ画像処理ではよ く 用い られる。 以下に、 本発明に於ける レク テ ィ フ ィ ケーシ ョ ンについて 説明する。

レク テ ィ フ ィ ケーシ ヨ ン処理を行 う と 、 左右の画像内で対 応する特徴点ど う しが同一水平直線上になる と い う拘束を導 く こ と ができ る。 言い換えれば、 レク ティ フ ィ ケ一シ ヨ ン処 理後の画像では、 左画像の同一直線上の特徴点群が、 右画像 上で同一直線をェピポーラ線と して定義でき る こ と になる。

図 4 7 A及び図 4 7 B は、 こ の様子を表 したものであ る。 図 4 7 Aは レク ティ フ ィ ケーシ ヨ ン前の画像を表 してお り 、 図 4 7 B はレク ティ フ ィ ケーシ ョ ン後の画像を表 している。 図中 3 0 0 a、 3 0 0 b は、 それぞれ点 A、 点 B の対応点が 存在する直線であ り 、 3 0 2 は対応点が同一直線上に配置さ れるェピポーラ線を表している。

この よ う な レクテ ィ フ ィ ケーシ ヨ ンを実現する ために、 図 4 8 に示される よ う に、 左右カ メ ラ原画像を、 互いに水平に なる よ う にそれぞれ変換する。 こ の際、 左カ メ ラ 標系 し と 右カ メ ラ座標系 R の原点 C _L , C _R は移動せずに、 カ メ ラ 座標系の軸のみを変更する こ と に よ り 、 新 しい左右の画像面 を生成するわけである。

尚、 図 4 8 に於いて、 3 0 6 a はレク ティ フ ィ ケーシ ヨ ン 前の左画像面、 3 0 6 b はレク テ ィ フ ィ ケーシ ョ ン前の右画 像面、 3 0 8 a はレクティ フィ ケーシヨ ン後の左画像面、 3 0 8 b は レク ティ フ ィ ケーシ ヨ ン前の右画像面、 3 1 0 は 画像座標（ι/^Λ,ν^κ)の レク テ ィ フ ィ ケーシ ヨ ン前、 3 1 2 は画像 座標 ( ,^)の レク テ ィ フ ィ ケーシ ヨ ン後、 3 1 4 はレク テ ィ フィ ケーシ ヨ ン前のェ ピポーラ線、 3 1 6 は レク ティ フ ィ ケ ーシ ヨ ン後のェピポーラ線、 3 1 8 は 3 次元点を、 それぞれ 表している。

左カ メ ラ座標系 L と右カ メ ラ座標系 R を、 レク ティ フ ィ ケ ーシ ヨ ン した後の座標系をそれぞれ LRect , RRect と する。 前述 した と お り 、 と LRect 、 と RRect の原点は一致す る。

これか ら 2個の座標系の座標系間の座標変換を考える が、 その前に基準座標系を左力 メ ラ座標系 L と と る こ と にする。

(基準座標系を他に と っても同様である。 ）

こ の と き 、 レク テ ィ フ ィ ケーシ ヨ ン後の左カ メ ラ座標系 LRect と右カ メ ラ座標系 RRect を以下のよ う に定義する。

先ず、 左カ メ ラ座標系 L の原点から右カ メ ラ座標系 Rの原 点へのベタ トルを考える。 これは、 も ちろん基準座標系を基 準と して測ったものである。

この と きそのべク ト ゾレを

T = [tx, ty, tzl ··· (89) と する。 その大き さ は、 || ||=^ + ²+ と な る の と き 、 以 下の 3個の方向べク トル {eい e₂,e₃}を定義する ：

T_ „ 卜 ん⁰ j e, = e, χ e, (90)

t +ί, こ の と き、 e_l3e₂,e₃を左右レク テ ィ フ ィ ケーシ ョ ン処理後の左 カ メ ラ座標系 LR ect と右カ メ ラ座標系 RRect の X, y, z 軸 の方向ベク トルと して と る。 すなわち

L^Re_Ci=L¾Re_Ci =[e„e₂,e₃] '·· (91) またそれぞれの原点の取り 方から

τ - 0 T (92) が成立する。

このよ う に設定する と 、 図 4 7 A、 図 4 7 B或いは図 4 8 で示される よ う に、 正規化された画像空間では、 左右の対応 点が一直線上 （ェピポーラ線上） に配置される よ う にな る こ と は自 明である。

次に、 カ メ ラ の正規化さ れたカ メ ラ画像内の点 )と 、 レク ティ フ ィ ケーシ ョ ン後の正規化されたカ メ ラ画像内の変 換点 ( ^Re", ^Re )と の対応関係を考え る。 こ のために、 同一の 3 次元点が左カ メ ラ座標系 L で (x^L,y^L,z^L) '：表現され、 レク テ ィ ブ イ ケ一ン ョ ン後の左カ メ ラ座標系で (x^{LRe Reci},z^£Rec で表 さ れる と する。 そ して ίχ¹,/, )の正規化 さ れた画像面での位 置 ^ _z の正規化 さ れた画像面での位置

(u^LRect,v^LRect)を考える と 、 媒介変数 を利用 して、 以下の 方程式が成立する ：

の と き、 u^LRect

I eci

w¹ •LReci ^W (94)

が成立するので、

(95)

なる方程式が成立する。

同様に右カ メ ラ画像について も、 正規化さ れたカ メ ラ画像 内の点 ίί?^Λ と 、 レク テ ィ フ ィ ケーシ ヨ ン後の正規化さ れた カ メ ラ画像内の変換点 fe^^Red， ^KReci)の間には、

なる方程式が成立する。

従って、 左カ メ ラ系では、 レク テ ィ フ ィ ケーシ ョ ン後の正 規化 さ れた画像面の ^LReci,^^Re に対応する レク テ ィ フ ィ ケ一 シ ョ ン前の正規化された画像内位置 , )は、 _LR_LRectの要素を ( r ij) とする と、

_ r_uu^LRect+r_nv^LRect+r₁₃

r_3lu^LRect +r₃₂v^LRsct +r₃₃

(97) L .r₂₁^+r₂₂v^+r₂₃ 右カ メ ラ 系でも同様である。 いままでは、 ディ ス トーシ ョ ン補正を含まないカ メ ラ系で説明 してきたが、 デイ ス ト ーシ ョ ン捕正を含む実際の場合には、 以下のよ う な方法に よれば よい

尚、 以下のステ ップでの レク テ ィ フ ィ ケーシヨ ン後の画像 の u 方向 と V 方向拡大率 と画像中心 ^tf 。^Ree'に関 して は、 レク ティ フ ィ ケーショ ンされた画像の大き さ に基づいて 適切に設定すればよい。

[デイ ス トーショ ン除去を含む レク ティ フ ィ ケーシ ョ ンス テ ツプ （RecL及び RecRステ ップ）]

先ず、 ステ ップ RecL 1 と して、 ^{e ect}, u ^ct, v ^ect等の パラメータを決定する。

ステ ッ プ RecL 2 と して、 レク テ ィ フ ィ ケーシ ョ ン後の左 画像の各画素点 ( Jについて、

—v₀

Rec L2-1) -"。

一 と を計算する。

(98)

RecL2-2) 正規化された画素値 を

を解く こ と によ り算出する。

RecL2- 3) レ ンズデイ ス ト ー シ ョ ンを付力 [I した正規化 さ れた座標値

を算出する。 こ こでん /₂は、 上記式 （ 6δ) の第 2項で示 される非線形関数を意味する。 RecL2-4) ス テ レオアダプタ と撮像装置が撮像したフ レ ーム メ モ リ 上の座標値である u +u_Q ^L 、 v_d ^L=a_v ^Lv^ +v₀ ^L を算出する。 （d はディ ス ト ーシ ョ ン要素が含まれてい るこ と を意味する。 ）

RecL2- 5) フ レーム メ モ リ 上の画素値 ,^)の近傍画素を 利用 して、 例えば線形補間処理等を利用 して、 レク テ ィ フ ィ ケーシ ョ ン処理後の左画像の画素値を算出する。 ステ ップ RecRl と して、 同様なこ と を右画像についても行 5。

これまでレクティ フィ ケーシ ョ ン処理の方法と して、 前記 のよ う な説明を したが、 レクティ フィ ケーショ ンの方法はこ れに限られる も の ではない。 例えば、 Andrea Fusiello, et a 1 , "A compact algorithm for rectification of stereo pairs, " Machine Vision and Applications, 2000, 12: 16 - 22 に示されている方法でもよい。

以上、 実施の形態を説明するのに必要と なる用語の説明と 処理の方法について述べたが、 以下に、 図 4 3 に示されるキ ャ リ プレーショ ンずれ補正装置に関して具体的に説明する。

図 4 9 は、 本第 1 2 の実施の形態に於けるキヤ リ ブレーシ ョ ンずれ補正装置の詳細な動作を説明する フ ロ ーチヤ一 トで ある。 尚、 本実施の形態に於いては、 制御装置 2 6 2 の制御 によって動作される。

また、 本実施の形態では、 ス テ レオ撮影装置の内部キ ヤ リ プレーシヨ ンパラメ ータを補正する課題、 すなわち、 前述し た課題 1 一 1 または課題 1 一 2 を解決する具体的な動作を説 明する。

更に、 こ こでは図 4 3 の構成のキャ リ ブレーシ ョ ンずれ捕 正装置の方式、 すなわちレクティ フィ ケーショ ン処理を含め た処理に関する説明を行う が、 図 4 2 の構成の方式、 すなわ ち レクティ フィ ケーショ ン処理を行わないキヤ リ ブレーショ ンずれ補正装置の場合でも、 処理の方法は同様である。

尚、 本実施の形態では、 キャ リ ブ レーシ ョ ンずれ補正処理 に必要な特徴と して、 以下の 2種類の特徴が採用される。

a ) 既知特徴

ある座標系でその相対的位置が特定されている特徴である。 例えば、 既知特徴 i と j がある とすれば、 それらの特徴間の 距離 d i j は、 予め既知である等の幾何学的制約が明確であ る ものをい う。 .

その例と しては、 図 5 O Aに示される よ う に、 車両の場合 には、 ナンパプレー ト 3 2 0 の 4つのコーナ等が、 その特徴 の例である （図 5 O A内の既知特徴群 3 2 2 ) 。 また、 図 5 0 B に示される よ う に、 車両のボンネ ッ ト 3 2 4上で形状が 変化 している点等が別の例である （図 5 0 B 内の既知特徴群 3 2 6 ) 。

この場合には、 ボンネッ ト 3 2 4上に、 そ う した特徴 i ， j 間の距離は、 車両の C A Dモデル等で予め設計値が与えら れている ものである。 また、 本件出願人による特開 2 0 0 0 一 2 2 7 3 0 9 号公報に記載されている よ う な、 複数円形マ 一力等でも よい。

前述の既知特徴を得るための外部装置と しては、 種々 のも のを適用可能であるが、 撮像部が装備された車両の特定の形 状部を適用する例と しては、 以下のよ う なも のでも よい。 す なわち、 既存のナンパプレー トやボンネッ ト上で形状が変化 している点等の他、 例えば、 フ ロ ン トガラスの一部に相対的 な位置が既知なマーカ を既知特徴と して装着し、 その 3 次元 位置を予め計測しておく 。 そ して、 それらの全部或いは一部 がス テ レオ撮影装置で撮影でき る よ う に しておく 例でも よい, 図 5 O C内に示される既知特徴群 3 2 8 は、 フ ロ ン トガラ ス 3 3 0 の一部に既知特徴である黒丸の既知マーカを配置し た様子の例を表したものである。 この図 5 0 Cに於いて、 既 知マーカ群は、 左右カメ ラ 内でその全部、 或いはその一部が 撮影でき る よ う に配置されているわけである。 また、 これら のマーカ群は、 図 5 0 D及び図 5 0 E に示される よ う に、 ス テ レオ左右画像の画像周辺部に写り 込むよ う に配置されてお り 、 重要な映像となる 中心部には写り 込まないよ う に設計さ れている。

b ) 自然特徴

自然特徴は、 既知特徴と は異な り 、 ス テ レオ撮影装置で撮 影 された画像内から抽出 される特徴であ る。 一般的には、 Natural Features (Natural Markers)等とい う こ と で表現さ れる こ と もある。 こ う した 自然特徴の場合には、 その 自然特 徴間の幾何学的距離等の性質が、 予め既知でないものを含む わけである。

以下、 本発明では、 これら 2種類の特徴を利用 しなが ら、 キヤ リ ブレーショ ンずれ補正を行う方法について説明する。 更に、 キ ャ リ ブ レーシ ョ ンずれ補正の問題と、 一般的なキ ャ リ プレーショ ンパラメ ータ推定問題との差異について説明 する。 一般的なキヤ リ ブレーショ ンパラメ ータ推定問題では、 キヤ リ ブレーショ ンに関するパラ メータの初期推定値が既知 でない場合と考えられ、 全てのパラメ ータ を算出する必要が あるため、 多く の計算量を必要とする場合が多い。 しかしな がら、 キャ リ ブ レーシ ョ ンずれ捕正の問題では、 初期推定値 が予め与えられてお り 、 その初期推定値からのずれを、 少な い計算量、 或いは少ない特徴数で補正する こ と に主眼が置か れるわけである。

図 4 9 のフローチャー ト に於いて、 先ず、 ステ ップ S 8 1 にて、 状況判断装置 2 6 4 によって、 キャ リ ブレーショ ンず れを現時点で補正すべきか否かが判断される。 判断の方法と しては、 以下のよ う なものがある。

すなわち、 キャ リ ブ レーシ ョ ンデータ記憶装置に記憶され たキヤ リ ブレーシ ョ ンパラ メ ータが過去に設定された時刻や 状態等を判断する。 例えば、 キャ リ ブ レーシ ョ ンずれ補正を 定期的に行 う場合には、 その過去の時刻 と現在時刻と の差を と り 、 その差がある閾値よ り 大き ければ、 キヤ リ ブレーショ ンずれを補正すべきか判断する。 '

また、 その他、 自動車等の装着された撮影装置の場合等に は、 車に装着された走行距離メ ータ （O do m e t e r ) 等の値から 判断してもよい。

更に、 現在の天候や時間がキヤ リ ブレーショ ンずれを補正 するのに適 しているかを判断するなどとい う こ と も考え られ る。 例えば、 自動車の車外を監視するための撮影装置の場合 には、 夜や雨等の悪天候の場合には、 キャ リ ブレーシ ョ ンず れ補正を避ける等の判断をする。

以上のよ う な状況をふまえて、 キヤ リ プレーショ ンずれ補 正が必要と判断された場合には、 その旨が制御装置 2 6 2 に 告知される。 制御装置 2 6 2 がその告知を受けた場合には、 ステ ップ S 8 2 に移行する。 一方、 キャ リ ブレーショ ンずれ 補正が不必要、 或いは不可ならば、 本ルーチンが終了する。

ステ ップ S 8 2 では、 撮影装置 2 7 6 に よ り ステ レオ画像 が撮影される。 この撮影装置 2 7 6 で撮影される画像は、 前 述したよ う に、 撮影装置 2 7 6 が撮影する画像はアナロ グ画 像でもデジタル画像でもかまわない。 アナ口 グ画像の際には、 その画像がデジタル画像に変換される。

この撮影装置 2 7 6 で撮影された画像は、 左画像と右画像 と してキヤ リ プレーシ ョ ンずれ捕正装置 2 6 8 に送出される。 図 5 1 A及び図 5 1 B は左右原画像を表 したも のであ り 、 図 5 1 Aは左カメ ラ によ り 撮影された左原画像であ り 、 図 5 1 Bは右カメ ラによ り撮影された右原画像である。

次に、 ステ ップ S 8 3 では、 レクテ ィ フ ィ ケーシ ヨ ン処理 装置 2 8 2 に於いて、 過去に記憶されたキャ リ ブレーシ ョ ン データがキャ リ ブレーショ ンデータ記憶装置 2 7 2 から受け 取られて、 レクティ フィ ケーショ ン処理が施される。

尚、 キャ リ ブレーシ ョ ンデータは、 上述 したとお り 、 撮影 装置の左右カ メ ラの内部パラ メ ータ と外部パラ メ ータ の組 p = (c^£ , e)を利用する。 レクティ フィ ケーシ ヨ ン処理に際して、 撮影装置 2 7 6 を 構成する左右のカメ ラのレ ンズデイ ス トーショ ンが顕著であ る場合には、 前述した RecL と RecRのステ ップに従って、 レ ンズデイ ス トーショ ン補正のアルゴリ ズムを含めて処理が行 われる。 尚、 レンズディ ス トーシ ョ ンが無視でき る際には、 RecL と RecR の中のディ ス トーシヨ ン補正の部分を除いて処 理が行われる よ う にすればよい。

このよ う にレクテ ィ フィ ケーショ ン処理された画像は、 次 の特徴抽出装置 2 6 6へ送出される。

図 5 2 A及び図 5 2 Bはレクティ フィ ケーシヨ ンされた左 右の画像を表したも の で、 図 5 2 Aは左画像、 図 5 2 B は右 画像である。

次に、 ステップ S 8 4 にて、 前記ステップ S 8 3 でレクテ ィ フィ ケーショ ンされたステ レオ画像について、 キヤ リ プレ ーシ ョ ンずれ補正に必要と なる特徴が抽出される。 こ の処理 は、 特徴抽出装置 2 6. 6 で行われる。

特徴抽出装置 2 6 6 は、 例えば、 図 5 3 に示される よ う に . 特徴選択部 2 6 6 a と特徴対応探索部 2 6 6 b と から構成さ れている 。 特徴選択部 2 6 6 a では、 レク テ ィ フ ィ ケーシ ョ ンされたス テ レオ画像から、 キヤ リ ブレーショ ン れを補正 するのに有効と な り そ う な画像特徴が、 一方の画像から抽出 及び選択される。 そ して、 この特徴選択部 2 6 6 a で選択さ れた特徴に対応する特徴が、 前記特徴対応探索部 2 6 6 に て、 他方の画像内で探索されて最適な特徴が抽出され、 これ らの特徴対の集合がデータ と して生成される。 こ こで、 前記特徴抽出装置 2 6 6 の特徴選択部 2 6 6 a及 び特徴対応探索部 2 6 6 b の詳細を説明する。

先ず、 特徴選択部 2 6 6 a では、 キャ リ ブレーシ ョ ンずれ 補正に必要となる既知特徴が抽出 される。 特徴選択部 2 6 6 a では、 レクティ フ ィ ケーショ ンされたステ レオ画像力 ら、 キヤ リ プレーシ ョ ンずれを検出するのに必要と なる既知特徴 が、 一方の画像 （例えば左画像） から抽出され、 その対応す る特徴が、 右画像から抽出される。

例えば、 m 個の既知特徴の対が左画像と右画像の対応の形 で得られた場合には、

l,2,...m } … （1 0 1 ) また、 特徴 i と特徴 j が位置関係が既知な特徴である場合に は、 その特徴間の 3 次元距離が集合 Dの中に登録される。 こ こで D は、

D ： distance of pair(i, j) _is known.) … ( 1 02 ) の形で、 各特徴間の 3 次元距離データ とそのイ ンデック ス も 含めて集合と して登録される。

次に、 同様に自然特徴が抽出される。 すなわち、 レク ティ フィ ケーショ ンされたステ レオ画像について、 キヤ リ プレー ショ ンずれ補正に必要と なる 自然特徴が抽出される。 こ う し て得られた特徴対のデータは、 左右画像レクティ フィ ケーシ ョ ン後の画像座標値と して、 登録される。

例えば、 n個の特徴点の対が左画像と右画像の対応の形で 得られた場合には、

A =

) … ( 1 0 3 ) の形で表現できるわけである。

こ こで、 特徴選択部 5 a に於ける抽出方法について説明す る。

先ず、 既知特徴の抽出方法について説明する。

既知特徴の抽出方法は、 いわゆる画像処理の物体認識問題 と等価であ り 、 その手法は各種文献で紹介されている。 本発 明に於ける既知特徴の場合には、 予め形状や幾何学的性質が わかっている特徴を画像内から抽出する ものである。 その方 法 と し て は 、 例 え ば、 、 W. E. L. Grirason, Object Recognition by Computer, MIT Press, 1990 や、 A. Ko s aka and A. C. Kak, "Stereo vision f or industrial applications, " Handbook of Industrial Robotics, Second Edition, Edited by S. Y. Nof , John Wiley & Sons, Inc. , 1999, pp. 269- 294.等にも詳細が記載されている。

例えば、 図 5 O A乃至図 5 0 Eに示される よ う な、 車両に 装着されたステ レオ撮影装置で、 車内外に存在する対象物を 特徴とする場合を考える。 このよ う な場合には、 既知特徴と して、 前方にある車両のナンパプレー ト 3 2 0 の 4つのコー ナゃ、 自車両のボンネ ッ ト 3 2 4 の形状内の特徴や、 フ ロ ン トガラス 3 3 0 上に装着されたマーカ等を抽出する こ と にな る。

このよ う な既知特徴を抽出する具体的な方法の一実現手段 と しては、 列えは、 Rahard j a and Kosaka の Spedge - and— Medge 法 (文献 ： K. Rahard j a and A. Kosaka, "Vision- based bin-picking： Recognition and localization of multiple complex objects using simple visual cues, " Proceeding of 1996 IEEE/RS J International Conference on Intelligent Robots and Systems, Osaka, Japan, November, 1996. ) によ り 、 画像を小領域に分割 して、 その 中から関心領域と思われる領域を選択し、 関心領域と予め登 録された既知特徴間のマッチングを行 う こ と で、 正しい既知 特徴を抽出する方法がある。

ま た 、 Grimson の 文 献 ( W. E. L. Grimson, Object Recognition by Computer, MIT Press, 1990 ) や、 Kosaka and Kak の 文 献 ( A. Kosaka and A. C. Kak, "Stereo vision for industrial applications, " Handbook of Industrial Robotics, Second Edition, Edited by S . Y. Nof , John Wiley & Sons, Inc. , 1999, pp. 269— 294) に 記載されている よ う に、 エッジ成分を抽出 した後、 そのエツ ジの形状や曲率な どを計算 しなが ら、 既知特徴を抽出する方 法等がある。 本発明では、 ここで説明 した如何なる方法でも よい。

図 5 4 は、 この抽出結果の一例を表 した図である。 図 5 4 に於いては、 既知特徴と して、 特徴点から構成され、 それぞ れの 3次元位置関係が既知である既知特徴点群 3 3 4 と既知 特徴点群 3 3 6 とが抽出され、 且つ選択された例である。

次に、 自然特徴の抽出方法について説明する。

先ず、 特徴選択部 2 6 6 a では、 一方の画像、 例えば左画 像の中に於いて、 キヤ リ ブレーショ ンずれ補正に有効と な り そ う な特徴が選択される。 例えば、 特徴と して、 特徴点を候 補にする際には、 先ずレクティ フィ ケーショ ンされた左画像 が、 図 5 5 に示される よ う に、 M X N個の正方形から成る小 ブロ ック に分割され、 その各プロ ック 内の画像から多く と も 1個のコーナボイ ン ト等の特徴点が抽出される。

こ の方法 と し て は、 例 えば、 参考文献 ： R. Haralick and L. ύ h a p i r o , Computer and Robot Vision, Volume II, pp. 332 - 338， Addi son-Wes 1 ey, 1993 に あ る よ う な Interest Operator や Corner Point Extraction 法等を禾 lj用 すればよい。 または、 各ブロ ック 内でエッジ成分が抽出され て、 その強度がある閾値以上のエッジ点をもって特徴点と さ れてもよい。

こ こで重要なのは、 あるブロ ック 内が全く 均一な領域のみ で構成されている場合には、 その領域からは特徴点が選択さ れない可能性もある とい う 点である。 このよ う に して選択さ れた特徴点の例が、 図 5 6 に示される。 この図 5 6 に於いて . 〇で示された点 3 3 8 が、 このよ う に して選択された特徴で ある。

次に、 特徴対応探索部 2 6 6 b について説明する。

一方の画像から特徴選択部 2 6 6 a で選択された特徴に関 して、 他方の画像内で、 対応する特徴を抽出する のが特徴対 応探索部 2 6 6 b の機能である。 特徴対応探索部 2 6 6 で は、 以下の方法によ り 対応する特徴が探索される。

ここで、 探索範囲の設定について説明する。

前記ステ ップ S 8 3 で作成された レク テ ィ フ ィ ケーシ ヨ ン 処理後の画像は、 キャ リ ブレーシ ョ ンデータ記憶装置 2 7 2 から過去に記憶されたキヤ リ ブレーショ ンデータが使用 され たものである。 従って、 キャ リ ブレーシ ョ ンずれがある場合 には、 ェピポーラ線上に対応点がある と は限らない。 故に、 対応探索される範囲は、 想定される最大のキヤ リ ブレーショ ンずれにも適合する対応探索範囲が設定される こ とがある。 実際には、 左画像内の特徴 （ u， V ) に対応する右画像内の ェピポーラ線の上下にある領域が用意される。

例えば、 ェピポーラ線が右画像内で、 v = v_eなる水平線上の Iの範囲で探索する と仮定すれば、 図 5 7 A、 図 5. 7 B に示される よ う に

なる幅 2W_u x(u₂ -u_x +2W_V)の長方形領域内で探索すればよいこ と になる。 このよ う に して、 探索領域が設定される。

次に、 エ リ ァベースマッチングによ る対応探索について説 明する。

前述した探索範囲の設定によ り 決定された探索領域内で、 最適な対応が探索される。 最適な対応が探索される方法と し て は 、 例 え ば 、 文 献 J. Weng, et al, Motion and Structure from Image Sequences, Springer-Verlag, pp. 7 - 64， 1993 に示される方法等がある。 または、 左画像内の 特徴に近傍の領域を利用 して、 その領域の画素値に最も類似 した画像領域を右画像内の対応探索領域内で探索する方法で あ よい。

この際には、 レク ティ フィ ケーシヨ ン済みの左右画像の座 標（ の輝度値をそれぞれ I ( , , I ( とする と 、 左画像 の座標（ V)を基準と して、 右画像内の位置 （U'， ν') に於け る類似度或いは非類似度は、 例えばそれぞれ以下のよ う に表 せる。

SAD: + α,ν+β)-Ι^κ(η' + α,ν' + β) (105)

SSD: J] (l^L (η + α,ν+β)-Ι^Ά {ιι' + a, ν' + β)} (106)

(or, ) Ε

(a,

W

NCC

rL rR

-W W

…（107) こ こで と / は、 左画像の特徴 （u， v) 近傍の輝度値の平 均値と標準偏差を表す。 またこ こ で 5 "と / は、 右画像の特 徴 （u'， ν') 近傍の輝度値の平均値と標準偏差を表す。 また と は、 Wの近傍を表すインデックスである。

これらの類似度或いは非類似度の値が利用 される こ と で、 それぞれマ ッチングのクォリ ティ 或いは信頼度を考える こ と ができ る。 例えば、 S A Dを考えた場合、 その S A Dの値が 対応点付近では、 ピーク の鋭い小さな値を得れば、 その対応 点の信頼度は高いとい う こ とができ る。 こ の よ う に最適と判 断された対応点毎に、 その信頼度を考えるわけである。 その 対応点 （ u , ， V ' ) が決定される。 もちろん信頼度を考慮 する場合には、 対応点対応点 （ u ' ， V ' ) ： 信頼度が閾値以上

対応点なし ： 信頼度が閾値未満

とい う よ う にする こ と も可能である。 この よ う に信頼度を考 慮する場合には、 もちろん未対応点を有する画素が左画像或 いは右画像に存在するこ とになる。

このよ う に して抽出された対応特徴である （u , V )と （u，， ν ' ) は、 式（99 )で示される (z f，vf ] (Mf，vf )と して登録すればよい。

このよ う に、 対応のとれた右画像内に於ける特徴が、 図 5 8 に示される。 図 5 8 に於いて、 〇で示された点 3 4 0 が、 このよ う に して対応の とれた右画像内の特徴点を表している。 図 4 9 のフ ロ ーチャー ト に戻って、 ステ ッ プ S 8 5 では、 特徴抽出装置 2 6 6 にて更に、 前記ステ ップ S 8 4で登録さ れた特徴対の数や信頼度がチェ ック される。 このステップで 排除される条件は以下の通り である。

すなわち、 1 つ目 は、 登録された特徴の中で、 相対的な距 離が既知のものが 1組もない場合には、 キヤ リ ブレーショ ン ずれ補正ができないと して、 再度ステ ップ S 8 1 に移行 して 撮影処理等が繰り 返される。 2つ 目 は、 登録された特徴対の 数が、 ある所定の数よ り少ない場合には、 撮影されたステ レ ォ画像は不適切であつたと判定でき 、 再度ステ ップ S 8 1 に 移行して撮影処理等が繰り返される。

この撮影処理の繰り 返しは、 特徴抽出装置 2 6 6 の出力デ ータ に基づいて制御装置 2 6 2 から発せられる制御指令によ つて行われる。 この点は、 図 4 2 、 図 4 3 、 図 6 2、 図 6 4 、 図 6 6及び図 6 9 の各構成に於いて同様である。 一方、 前述 した排除の条件に該当せず、 信頼性のある特徴 対が得られた と判断された場合には、 特徴対の集合がキヤ リ ブレーショ ンデータ捕正装置 2 6 8 へ送出される。

続く ステ ップ S 8 6 では、 前記ステ ップ S 8 4 で抽出 され た特徴が利用 されて、 キヤ リ ブレーシ ョ ンデータ の補正が行 われる。 これは、 キャ リ ブレーシ ョ ンデータ補正装置 2 6 8 にて行われる。 こ こでは、 先ず、 キャ リ ブレーシ ョ ンデータ を捕正する ために必要と なる数学的記述を行 う こ と から始め る。 尚、 こ こでは、 自 然特徴或いは既知特徴の対応関係が与 え られた場合に、 どの よ う な拘束条件がある かについて、 先 ず説明する。

[自然特徴に関する拘束条件]

いま、 左カ メ ラ座標系 L を基準 と して、 その座標系で規定 される 3 次元点 ， ^を考える。 する と 、 同 じ 3 次元点が 右カ メ ラ座標系 R で ^， "で記述される とする と 、 両者に 間には、 e = (4, ,, )を変数とする

"11 ^r 2 ^j 13

,'21 ^r22 ⁱ 23

31 32 ,'33

が成立する。 '

いま、 こ の 3 次元点の左カ メ ラへの射影点 と右カ メ ラへの 射影点を考える。 射影された後にディ ス トーシ ョ ン補正を施 した左カ メ ラ 画像の座標値を こ れに対応する右カ メ ラ画像の座標値を ， )と する。 こ の と き 正規化された座標 値は L L

v_p ^L ~vo^L

u^L≡

⁼

(109) x^R

u^R≡

，

で表すこ と ができ る。 上記式（48)を代入する と

~_R ruxL + ri₂y^L + r₁₃z^L + t_x (r u^L + r₁₂v^L + r₁₃)z^L + t_x r₃₁xL + r₃₂y^L + r₃₃zL + t_z (r₃₁u^L + r₃₂ L + r₃₃)z^L + t_z

~n ^r21^xL +_¾2y^L + ₃zL + t_y _ (r₂]G^L + r₂₂v^L +— r₂₃)z^L_+ t_y r₃₁x^L + r3₂y^L + r₃₃z^L + t_z (r₃iu^L + r₃₂v^L + r₃₃)z^L + t_z （110) と な る の で、 対応する 各左右 自 然特徴点

と (uf'vf)につ いて （i = l, 2 ... n)

]

或いは

(r₃₁¾ + r₃₂ + r₃₃) t_y 一 (∑₂χη^ + r₂₂ + r₂₃) t_z ^

f

(r₃i + r₃₂¾ + r₃₃) t_x - (r uj + r₁₂¾ + r₁₃) t_z ¹

(r₂₁S +— 2 ^vi + ¹ w₂3) t_xx _ - (rnu^土一 +' ¾ ^- ₂.¾" ± + r₁₃)— t_y y ―

+

(r₃₁3^ + r₃₂¾ + r₃₃) t_x 一 (r u^ + r₁₂¾ + r₁₃) t_z

（111) なる拘束条件 （拘束式） が成立 しなければな らない。

またこの と きの zfについて、

…（112) となる。

従って、 左原画像と右原画像の対応点がディ ス トーシヨ ン を含んだ画像点 ,1 )と (iif,vf)で与え られた と き 、 すべてに 関わる制約式は ：

)² + g₃ ^L u v_f ^L + {g₂ ^L + g₄ ^L )( )² +k,^Lv^L )² + _t

(113) +(g +^)(^)² + ^ vf ₊g (ν ² ₊k-u- )² + ( 、²

V_d ^R = ^ + g₂ ^R )² + g ^ V- + (g₂ ^R + g,^R )( )² + f V,^R )² + {V,^R

R R ,

(114) f h^,^L + W^L + ¾ ) ty一 + + ¾ ) J

+ ^ [一 i ¾ + ) + {w^L + r_l2v^ + r_l3 ) t_z ]

+ + r₂₂v,^L + r₂₃ ) t_x― (r^ + + ,'₁₃ )t_y= 或いは

f = + Γ3₂ ^ + ¾₃) t_y - (r₂iu^ + r₂₂¾† + r₂₃) t_z ~_R

(^r31 + ^r32 + ^r33) t_x一 (r u^ + ¾₂¾ + r₁₃) t_z ¹

+ + ¾₃) _x - (xiinf + r₁₂ ^ + r₁₃) t_v ―。

(¾1 + ¾2¾ + r₃₃) t_x - (rnuf + r₁₂ + r₁₃) t_z

…（115) で与えられる。

[既知特徴間の拘束条件]

少な く と も 2個の既知特徴点 i ， j が観察された場合には、 そ の 3 次 元 空 間 に お け る 左 カ メ ラ 座標 系 で の 座標値 を

と する場合、 その定義か ら既知特徴点間の 3次元距離も.は既知であるから、

+(^ - )²+ — )²

/ 、2 "' ^{( 1 1 6 )}

+K)

これから、 拘束条件 ：

ϋ≡ (u_t ^L z

…（ 117) が成立 しなければな ら ない。 こ こ で、 zf は、 式 （ 11⁸)か ら 得られる ものである。 '

従って、 既知特徴点の場合には、 自 然特徴点の場合に加え て、 t_x - u^t.

₇L

uj(r₃₁uj + r₃₂v^ + r₃₃) - (r uj + r₁₂ + r₁₃)

t_x - _z

(13丄 + r32Vj + 3) - (^rll + ¾₂ν^ + r₁₃)

(118)

(119) と な り 、 絶対距離に関する制約式 （式 （ 115) ： 1 自 由度拘 束の制約式） が付加される こ と になる。

以上説明 してきた拘束条件が利用されなが ら、 キヤ リ ブレ ーショ ンデータ補正装置 6 では、 キヤ リ ブレーショ ンデータ が補正される。

キヤ リ ブ レーショ ンずれが想定される場合、 補正或いは更 新すべきパラメ ータ を P とする場合、 その補正方法を説明す る。

具体的には、 拡張カルマ ンフ ィ ルタが利用 される。 その詳 細 は 、 例 え ば 、 文献 A. Kosaka and A. C. Kak, "Fast vision - guided mobile robot navigation using mode丄— based reasoning and prediction of uncertainties, " Computer Vision, Graphics and Image Processing ― Image Understanding, Vol. 56, No. 3, November, pp. 271-329, 1992 に説明 されているので、 こ こではその概略だけを説明 する。

キヤ リ プレーショ ンパラメ ータ にずれの最大値、 或いはず れの平均値等から得られるずれに関する統計量が先ず用意さ れる。 すなわち、 パラメ ータ ρ に関する推定誤差平均値 pと 推定誤差共分散行列∑が用意される。 また、 画像から計測さ れる測定値 r に関する実際の測定値が？、 その測定誤差共分 散行列が Λ と される。 こ の と き、 各制約式は、 ノ ラメ ータ ！） と各測定値 r に関する関数となり 、

f(p, r) = 0 …（1 20 ) で与えられる こ と は、 先に説明 した。 これらの制約式を用い ながら、 p を如何にして補正するかを説明する。

具体的には、 以下のよ う なステップをと る。

[拡張力ノレマ ンフ ィ ルタ ステ ッ プ]

( K - 1 ) 補正すべきパラメ ー タ の推定平均値 p と推定誤 差共分散行列∑を用意する。

( K - 2 ) 各特徴或いは特徴の組が拘束する制約式 f につ いて、 以下のス テ ッ プで p の統計値 （推定平均値 と推定誤 差共分散行列∑ ) を更新する こ と を繰り 返す。

K一 2 — 1 ) M = を算出。 但し、 M は p = ,r = fで評

cp 価する。

K - 2 - 2 ) 測定値 r に関する計測誤差共分散行列 Λ を利用 して

^ δί 丫

G =—— Λ—

or ^orj

を算出する。 但し、 Gは p = r = iで評価する。 K - 2 - 3 ) カルマンゲイ ンである Kを算出する。 K一 2 一 4 ) 制約式 f を p = ^r = ίで評価する。

Κ - 2 - 5 ) ρの統計値 （推定平均値 と推定誤差共 分散行列∑ ) の更新値 を計算する。

(I は単位行列。 ）

\ P new = P~Kf

\∑_new = (l~KM)∑

K - 2 - 6 ) 次の制約式による更新のために、

p r二 ρ t*"ew ,， ∑ =∑ new

とする。

このよ う な更新が、 全ての制約式について繰り 返し行われ る と で、 ノ、。ラメ ータ ！） は、 徐々 に更新され、 p に関する推定 誤差共分散行列が示す個々 のパラ メータ の分散値が小さ く な り 、 P の更新をロバス ト に行う こ とができる。

こ う した拡張力ノレマンフィノレタの方式を、 キヤ リ ブレーシ ョ ンずれ補正の方法に具体的に適用する と、 以下のよ う にな る ：

サブステ ップ S — 1 ：

( S 一 1 一 1 ) キヤ リ ブレーショ ンずれで補正すべきパラ メ ータの選択

先ず、 補正すべき キヤ リ ブレーショ ンパラ メータを選択す る。 これは、 前述した （課題 1 一 1 ) 或いは （課題 1 一 2 ) に従い、 p = (cl, cl2， e)とする力、、 或いは p = e とする かによ り決定する。

( S — 1 一 2 ) 初期推定パラメ ータの設定 補正すべきキヤ リ ブレーシ ョ ンパラ メータ p の想定される 最大ずれ値に対応して、 パラ メ ータ pがと るべき、 推定誤差 平均値 と推定誤差共分散行列∑ を設定する。 これは、 キヤ リ ブレーシ ヨ ンずれに関する経験的法則や実験等から、 容易 に決定する こ とができる。

サブステップ S— 2 ：

上記式 （101) 、 式 （ 102) で示される既知特徴の集合 B , Dに関 して、 上記式 （ 115) と式 （ 117) の制約式を利用 して、 順次キヤ リ ブレーショ ンパラメ ータ p の更新及び補正を行う。

サブステップ S — 3 :

集合 Aに含まれる 自然特徴について、 式 （115) の拘束条 件を利用 して、 キヤ リ ブレーショ ンパラメ ータ p の補正を行 う。

この よ う な方式を と る こ と に よ り 、 キャ リ ブレーシ ョ ンパ ラメータの補正を容易に行う こ とが可能となる。

また、 前記の方法では、 画像内での測定値に異常値や、 対 応点探索には誤対応がないと仮定したが、 実際にはそのよ う な異常値除去や誤対応除去を行 う こ と も重要である。 その方 法に関 しては、 例えば、 文献 A. Kosaka and A. Kak, "Fast vision-guided mob lie robot navigation using model-based reasoning and prediction of uncertainties, " Computer Vision, Grapnics and Image Processing ― Image Understanding, Vol. 56, No. 3， November, pp. 271-329, 1992、 或！ヽ ま、 A. Kosaka and A. C. Kak, "Stereo vision for industrial applications, " Handbook of Industrial Robotics, Second Edition, Edited by S. Y. Nof , John Wiley & Sons, Inc. , 1999, pp. 269-294 等に詳 し く 説明 さ れてい'る のでこ こでは詳細 を省略する。 もちろんそのよ う な方法を利用 しても よい。

尚、 以上のよ う にキヤ リ ブレーショ ンずれの補正パラ メ一 タ p が算出されるわけであるが、 拡張カルマ ンフ ィ ルタ の副 次効果と して、 上記ステ ップ K— 2 — 4で算出される制約式 f の値を判断する こ とで、 補正パラ メ ータ p が どの程度信頼 がおける も のかを判断する こ と が可能と なる。 キヤ リ ブレー シヨ ンずれ補正装置では、 この制約式 f の値を持って、 信頼 度算出を行う わけである。

図 4 9 のフ ロ ーチャー ト に戻 り 、 ステ ップ S 8 7 では、 キ ャ リ プレーシ ヨ ンずれ補正装置 2 8 0 が算出された信頼度に 基づいて、 キヤ リ ブレーショ ンずれ補正装置で算出された捕 正パラメ ータが信頼於けるデータであるか否かが判定される。 このデ タが信頼でき る場合には、 ステ ップ S 8 8 へ移行し、 そ う でない場合には、 前記ステ ップ S 8 1 に移行してキヤ リ ブレーショ ンずれ補正のステ ップが繰り返される。

ステ ップ S 8 8 では、 前記ステ ップ S 8 7 で判定された結 果が、 補正結果呈示装置 8 7 によって呈示される。 加えて、 更新されたキヤ リ ブレーシ ョ ンデータ はキヤ リ ブレーシ ョ ン データ記憶装置 2 7 2に格納される。

図 5 9 は、 補正結果呈示装置 2 7 0 の一例を示 した図であ る。 本実施の形態では、 補正結果呈示装置 2 7 0 と して、 表 示装置を利用 したものであ り 、 よ り 具体的には、 ディ スプレ ィゃ L C Dモニタ等で構成されている。 もちろんこのディ ス プレイ は、 別の用途のディ スプレイでも よ く 、 そのディ スプ レイ の画面一部分を利用 して、 補正結果を表示する ものでも よい し、 補正結果表示のために、 画面表示のモー ドを切 り 替 えるタイプのものでも よい。

本発明の実施の形態に於ける この補正結果呈示装置 2 7 0 は、 前記制御装置 2 6 2乃至キャ リ ブレーシ ョ ンデータ補正 装置 2 6 8 との協働によ り 、 キャ リ ブレーシ ョ ンずれ補正に 係る処理動作中である 旨を表示可能に構成され （すなわち、 この旨を表示するイ ンジケータ と して機能し） 、 また、 前記 ずれ補正に係る処理の結果と して得られたパラメ ータ と前記 キヤ リ ブレーショ ンデータ保持部に予め保持されていたパラ メ ータ との差異を表す情報を表示可能になされ、 更に、 前記 ずれ捕正に係る信頼度を表すステータスを表示可能になされ、 更にまた、 正規のずれ補正が行われ得なかった と きにはその 旨を表すエラーコ ー ドを表示可能に構成される。 - 図 5 9 の表示では、 3個のカ ラム A 、 B 、 C を有してお り 、 それぞれのカラムに結果を表示される よ う になっている。

カ ラム Aの部分は、 キヤ リ ブレーショ ンずれ補正中にはフ ラ ッシュする こ と にな り 、 捕正の結果が得られた と きには、 カラム B の部分にずれ量や補正量に関する結果等が表示され る。 また、 カラ ム Cの部分には、 ずれ補正に関わる信頼度が 表示される。 信頼度 （ステータ ス） に加えて、 前述したステ ップ S 8 5 、 S 8 6 で示される途中結果や補正処理に関わる エラーコー ド等が表示される よ う になつている。 このよ う な方法を と る こ と によ り 、 補正の各種モー ドゃ処 理結果が、 ユーザ或いはステ レオ撮影装置等をメ ンテナンス する作業者等に、 効果的に表示するこ とが可能となる。

その他のずれ補正結果の呈示方法と しては、 音声の よ る呈 示、 警報アラームや音源による呈示等を考える こ とができ る。

尚、 前述の表示装置は、 キャ リ ブレーシ ョ ン補正装置を含 んで構成される距離画像処理システム並びに制御装置と機能 的に結合されて、 キャ リ ブレーシ ョ ン補正装置 （その内部の キャ リ ブレーシ ョ ンずれ補正部） や演算部 （距離を算出する ための機能部） 、 並びに、 前記撮像部 （撮像装置） の出力に 関連した所要の表示をユーザ （運転者） に認識され得る よ う に行 う も のであ り 、 前述したよ う に補正結果呈示装置乃至同 装置の部分と しても機能する。

図 6 0 は、 前述した図 4 9 のフ ローチャー トを変形した動 作フローチヤ一トである。

図 6 0 に於いて、 図 4 9 のフ ローチャー ト と異なるのは、 ステ ップ S 9 7、 S 9 8及び S 9 9 である。 その他のステ ツ プ S 9 1〜 S 9 6 は、 図 4 9 のフ ローチャー ト に於けるステ ップ S 8 1〜 S 8 6 と 同様であるので、 こ こでは説明を省略 する。

ステ ップ S 9 7では、 先ずキヤ リ ブレーショ ンずれの補正 パラ メ ータ等の結果が、 ユーザや作業員等に呈示される。 そ の後、 ステ ップ S 9 8 にて、 その補正結果が充分信頼於ける か否かが、 ユーザや作業員によ り 判断される。 その結果に応 じて、 ステ ップ S 9 9 に移行してキャ リ ブレーショ ンデータ 記憶装置 2 7 2 に記憶されるか、 前記ステ ップ S 9 1 に移行 して処理が繰り返される。

以上のよ う な方法によ り 、 よ り 高信頼度のキヤ リ プレーシ ョ ンずれ補正を実現する こ とができる。

尚、 前述した方法では、 ステ ップ S 9 3 にて レクテ ィ フィ ケーショ ン処理が行われる こ とが前提と されて説明 してきた が、 図 6 1 のフ ローチャー ト に示される よ う に、 もちろんレ タティ フィ ケーシヨ ン処理を省いて、 全体の処理を行 う こ と も可能である。 その際には、 ェピポーラ線拘束は必ず しも水 平線にな らないとい う こ と があ り 、 特徴点の対応探索上、 処 理量が増えるが、 基本構成的には同様の効果が得られる こ と は明白である。

こ の図 2 0 のフ ロ ーチャー ト に於けるステ ップ S 1 0 1 〜 S 1 0 2 、 S I 0 4 〜 ： 1 0 7 は、 それぞれ図 4 9 のフ ローチ ヤー ト に於けるステ ップ S 8 1 〜 S 8 2、 S 8 5 〜 S 8 8 と 同様であ り 、 ステ ッ プ S 1 0 3 でステ レオ画像から特徴が抽 出される動作のみが異なるだけである。 従って、 こ こでの各 ステ ップの動作説明は省略する。

[第 1 3 の実施の形態]

次に、 本発明の第 1 3 の実施の形態を説明する。

この第 1 3 の実施の形態と しては、 ステ レオ撮影装置と外 部装置間の位置姿勢ずれのキヤ リ ブレーショ ン捕正について 説明する。

前述した第 1 2 の実施の形態では、 ステ レオ撮影装置内部 のキャ リ ブレーシ ョ ンパラ メ ータ （課題 1 — 1 、 課題 1 一 2 ) の捕正について述べた。 こ の第 1 3 の実施の形態では、 ス テ レオ撮影装置と外部装置間の位置姿勢ずれ （課題 2 ) の キヤ リ プレーショ ン補正を行う方法について述べる。

図 6 2 は、 本発明の第 1 3 の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の基本構成を示すプロ ック図である。 図 6 2 に於いて、 ステ レオ画像を撮影してキヤ リ ブレーシ ヨ ンずれを補正すべき撮影装置 2 7 6 が、 キ ヤ リ プ レーシ ョ ンずれ補正装置 3 5 0 でキヤ リ プレーショ ンずれ補正される _c キヤ リ プ レーシ ョ ンずれ捕正装置 3 5 0 は、 図 4 3 に示さ れるキャ リ ブ レーシ ョ ンずれ補正装置 2 8 0 と 同様に、 制御 装置 2 6 2 と、 状況判断装置 2 6 4 と、 レ ク ティ フ ィ ケーシ ヨ ン処理装置 2 8 2 と、 特徴抽出装置 2 6 6 と、 キヤ リ ブレ ーショ ンデータ補正装置 2 6 8 と、 補正結果呈示装置 2 7 0 と、 キヤ リ ブレーショ ンデータ記憶装置 2 7 2 と から構成さ れている。 更に、 こ の キャ リ ブ レーシ ョ ンずれ捕正装置 3 5 0 には、 基準位置を規定する外部装置 3 5 2 が加わっている _t すなわち、 ス テ レオ撮影装置の位置姿勢を、 外部装置が規定 する座標系に基づいて、 測定したキヤ リ ブレーショ ンデータ を補正する方法を表している。

従って、 キヤ リ ブレーショ ンずれを補正すべきノ、。ラ メ ータ は、 式 （88 ) の p = e ' に対応する。

尚、 キャ リ ブレーシ ョ ンずれ補正装置 3 5 0 内の各装置は. ハー ドウエアや回路で構成されたも よい し、 コ ン ピュータや データ処理装置のソ フ ト ウエアで処理されてもよい。

こ こ で、 本第 1 3 の実施の形態で利用される特徴について 簡単に説明する。

具体的には、 既知特徴のみが扱われる。 且つ、 その特徴は、 外部装置を基準と して、 その位置が規定されている特徴のみ が利用される。 例えば、 図 5 0 A乃至図 5 0 Eに示される よ う に、 車両を外部装置とする と きには、 車両前方にある既知 特徴が利用される。

この際、 既知特徴は、 外部装置が規定する座標系における 特徴と して ， 。) （i- 1, 2, ... ， n) と して、 キヤ リ ブ レ ーシヨ ンデータ記憶装置に記憶されている ものとする。

図 6 3 は、 本第 1 3 の実施の形態に於けるキヤ リ プレーシ ョ ンずれ補正装置の詳細な動作を説明するフ ローチヤ一 トで ある。 尚、 本実施の形態に於いては、 制御装置 2 6 2 の制御 によって動作される。

基本的なステ ップは、 図 4 9 に示される第 1 2 の実施の形 態のフローチャー ト と 同様である。 すなわち、 ステップ S 1 1 1〜 S 1 1 3、 S I 1 5、 S 1 1 7〜 S 1 1 8 は、 前述し た図 4 9 のフ ロ ーチャー ト に於けるステ ップ S 8 1〜 S 8 3、 S 8 5、 S 8 7〜 S 8 8 と 同様であ り 、 ステ ップ S 1 1 4及 び S 1 1 6 が異なっている。 従って、 以下の説明では、 異な るステップのみ説明する。 '

ステ ップ S 1 1 4 に於いて、 レクテ ィ フ ィ ケーシヨ ンされ た画像から抽出される特徴は、 前述したよ う に既知特徴のみ とする。 その特徴抽出方法に関 しては、 前述 した第 1 2 の実 施の形態で詳細に説明したので、 ここでは説明は省略する。

伹し、 既知特徴 (；^，ヌ 。) （i- 1， 2, ... ， n)に対応する左 画像と右画像の特徴は、 ( ，vf ^Mf，^vf )の形で抽出 される こ と に ¾る。

そ して、 ステ ップ S 1 1 6 では、 キャ リ ブレーショ ンずれ の補正が行われる。

すなわち、 キャ リ ブ レーシ ョ ンデータ p = e， が補正さ れる。 この補正について説明する前に、 キャ リ ブレーシ ョ ン データ であ る位置姿勢パラ メ ータ p = e ' が満たすべき拘 束条件について説明する。

[ステ レオ撮影装置 と外部装置間の位置姿勢パラ メ ータ に 関する拘束条件]

ステ レオ撮影装置の基準座標系を左カ メ ラ の座標系 L と と る と 、 左カ メ ラ座標系 L と右カ メ ラ座標系 Rで観察される画 像特徴 (^,、' )で与え られる。 この と き 、 レンズディ ス ト ーシ ョ ン処理、 レク ティ フ ィ ケーシ ョ ン処理後の正規化され たカ メ ラ 画像面での画像特徴の位置を )と すれば、 左カメ ラ座標系 Lに対する特徴の 3 次元位置 (_X! ^L, ήは、

b

~i

x

… （ 121 )

で与える こ と ができ る。 こ こで b はカ メ ラ間の基線長であ り 、 左カ メ ラ座標系の原点 と右カ メ ラ座標系の原点間の距離と し て表現する こ と ができ る。

い ま 、 外部装置が規定す る 座標系 で、 同一 の特徴点が ( , f )で与え られる とする と 、 V" V Ίΐ r' r '1'3一 X

r '2'1 _r '2'2 r '2'3 + ( 122)

31 32

が成立する。 こ こ で、 6 次元パラ メ ータ ( , , t;)は、 座 標変換パラ メ ータ R。, _£Γ。)に含まれるパラ メ ータ であ る。 こ れらに関 して、 制約式 ： h R_c =0 ( 123)

が成立しなければな らない。

外部装置 と撮影装置間の位置姿勢パラ メ ータ に関する キヤ リ プレーシ ョ ンずれを補正する には、 特徴抽出部で抽出 され た ("f から、 式 （ 121) に よって算出 される , )を 用いて、 上述 した第 1 2 の実施の.形態で説明 したの と 同様の 処理、 すなわち拡張カ ルマ ン フ ィ ル タ を利用する こ と で p = e ' なるパラ メ ータ を補正する こ と ができ るわけである。

以上の よ う なス テ ッ プの処理動作を施すこ と に よ って、 ス テ レオ撮影装置 と外部装置間の位置姿勢ずれのキヤ リ プレー ショ ン補正を行 う こ と ができ る。

尚、 前述 した方法では、 ステ ップ S 1 1 3 でレク テ ィ フ ィ ケーショ ン処理を行 う こ と を前提と して説明 してきたが、 も ちろんレク ティ フ ィ ケーシ ョ ン処理を省いて、 全体の処理を 行 う こ と も可能であ る。 その際には、 ェピポーラ線拘束は必 ず しも水平線にな ら ない と い う こ と があ り 、 特徴点の対応探 索上、 処理量が増え るが、 基本構成的には同様の効果が得ら れる こ とは明白である。

[第 1 4の実施の形態]

次に、 第 1 4 の実施の形態と して、 外部装置と撮影装置間 のキヤ リ ブ レーシ ョ ン と撮影装置自 体のキ ヤ リ プ レーシ ョ ン について説明する。

第 1 4 の実施の形態では、 ステ レオ撮影装置の内部キヤ リ ブレーショ ンパラメ ータに関する キヤ リ ブレーショ ンずれと、 外部装置とステ レオ撮影装置間の位置姿勢ずれのキヤ リ ブ レ ーショ ン補正を行う方法について説明する。

こ の第 1 4の実施の形態で利用する特徴と しては、 前述し た第 1 2 の実施の形態の場合に含まれる 自然特徴と、 第 1 3 の'実施の形態の場合に含まれる既知特徴を含んでいる。

図 6 4 は、 本発明の第 1 4の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の基本構成例を示 したプロ ック 図で ある。

図 6 4 に於いて、 ステ レオ画像を撮影してキヤ リ ブレーシ ヨ ンずれを補正すべき撮影装置 2 7 6 が、 キヤ リ プレーショ ンずれ補正装置 3 5 6 でキヤ リ プレーショ ンずれ補正される。

キャ リ ブ レーシ ョ ンずれ補正装置 3 5 6 は、 制御装置 2 6 2 と、 状況判断装置 2 6 4 と、 レ クティ フ ィ ケーシヨ ン処理 装置 2 8 2 と 、 特徴抽出装置 2 6 6 と 、 キ ャ リ ブ レーシ ョ ン データ補正装置 2 6 8 と、 捕正結果呈示装置 2 7 0 と、 キヤ リ プレーシヨ ンデータ記憶装置 2 7 2 と から構成されている _c すなわち、 図 6 2 に示される第 1 3 の実施の形態のキヤ リ ブ レーシ ョ ンずれ補正装置 3 5 0 と、 構成上は同 じである。 こ こ でキヤ リ プレーシ ョ ンずれ補正装置 3 5 6 内の各装置 は、 ハー ドウェアや回路で構成された も よい し、 コ ン ビユー タゃデータ処理装置のソフ ト ウエアで処理されても よい。

また、 図 6 5 は、 本発明の第 1 4 の実施の形態に於けるキ ャ リ プレーシ ョ ンずれ補正装置の動作を説明する フ ロ ーチヤ 一 トである。

基本的なステ ップは、 図 6 3 に示される第 1 3 の実施の形 態のフ ロ ーチャー ト と 同様である。 すなわち、 ステ ップ S 1

2 1 〜 S 1 2 3 、 S 1 2 5 、 S 1 2 7 〜 S 1 2 8 は、 前述 し た図 6 3 のフ ロ ーチャー ト に於けるステ ップ S I 1 1 〜 S 1 1 3 、 S 1 1 5 、 S 1 1 7 〜 S 1 1 8 と 同様であ り 、 ステ ツ プ S 1 2 4及ぴ S 1 2 6 が異なっている。 従って、 以下の説 明では、 異なるステ ップのみ説明する。

ステ ップ S 1 2 4 では、 既知特徴と 自然特徴の両方が抽出 される。

そ して、 ステ ップ S 1 2 6 では、 既知特徴と 自 然特徴の両 方が利用 されなが ら、 以下の 2 つのサブステ ップによ り 、 キ ャ リ ブレーショ ンパラ メ ータの補正が行われる。

よ り 具体的には、 キ ヤ リ プレ シ ョ ンデータ補正装置内に 於いて、 サブステ ップ C 1 と して、 ス テ レオ撮影装置の内部 キヤ リ ブレーシ ョ ンノ、。ラ メ ータ のキヤ リ ブレーシ ョ ンずれが 前述 した第 1 2 の実施の形態の方法で行われる。 また、 サブ ステ ップ C 2 と して、 前記サブステ ッ プ C 1 で得られたステ レオ内部キヤ リ ブレーショ ンノ ラ メ ータ を正 しい値と して、 次に前述 した第' 1 3 の実施の形態で説明 した方法によ り 、 外 部装置と ステ レオ撮影装置間の位置姿勢ずれのキヤ リ プレー ショ ン補正が行われる こ とによ り 実施される。

以上のよ う な構成及び処理手順によって、 ステ レオ撮影装 置の内部キヤ リ ブレーショ ンパラ メ ータ に関する キヤ リ ブレ ーシ ヨ ンずれと、 外部装置とステ レオ撮影装置間の位置姿勢 ずれのキヤ リ ブレーショ ン捕正を行う こ とが可能になるわけ である。

[第 1 5 の実施の形態]

次に、 第 1 5 の実施の形態と して、 キャ リ ブレーショ ンず れ検出機能の追加について説明する。

本第 1 5 の実施の形態では、 キャ リ ブレーショ ンずれ検出 装置を更に導入する こ とで、 捕正処理をよ り 効率化する こ と を行う。

図 6 6 は、 本発明の第 4 の実施の形態に於けるキヤ リ ブレ ーショ ンずれ補正装置の基本構成例を示したプロ ック 図であ る。

図 6 6 に於いて、 ステ レオ画像を撮影してキヤ リ ブレーシ ヨ ンずれを補正すべき撮影装置 2 7 6 が、 キヤ リ プレーショ ンずれ補正装置 3 6 0 でキヤ リ プレーショ ンずれ補正 される。

キヤ リ ブレ "ショ ンずれ補正装置 3 6 0 は、 制御装置 2 6 2 と 、 状況判断装置 2 6 4 と 、 レク テ ィ フ ィ ケ一シヨ ン処理 装置 2 8 2 と、 特徴抽出装置 2 6 6 と 、 キャ リ ブレーシ ョ ン データ補正装置 2 6 8 と、 補正結果呈示装置 2 7 0 と、 キヤ リ プレーシ ョ ンデータ記憶装置 2 7 2 と、 更にキヤ リ ブレー ショ ンずれ判定装置 3 6 2 と を有して構成されている。 すなわち、 前述した第 1 4 の実施の形態で説明 した図 6 4 の構成の装置に加えて、 特徴抽出装置 2 6 6 から抽出された 特徴に基づいてキヤ リ プレーショ ンずれの有無判定及びずれ 種類を決定するキヤ リ プ レーシ ョ ンずれ判定装置 3 6 2 を備 えている。 そ して、 キャ リ ブレーショ ンずれ判定装置 3 6 2 でずれあ り と判定された場合に、 ずれ種類に基づいてキ ヤ リ ブレーシヨ ンデータ記録装置 2 7 2 に記憶されたキヤ リ ブレ ーショ ンデータに関するキヤ リ ブレーショ ンずれが、 キヤ リ ブレーショ ンデータ補正装置 2 6 8 で補正される。

こ の よ う に、 キヤ リ プ レーシ ョ ンずれ判定装置 3 6 2 が付 加される こ とで、 キヤ リ ブレーショ ンずれ判定及ぴずれの種 類を特定する こ とが可能と なる。 従って、 ずれに特化したキ ヤ リ ブレーショ ンずれの補正をする こ とが可能と な り 、 無駄 な計算処理を省く こ とが可能と なる。

こ こで、 キャ リ ブ レーシ ョ ンずれ補正装置 3 6 0 内の各装 置は、 ハー ドウェアや回路で構成されたも よいし、 コ ン ビュ ータゃデータ処理装置のソ フ ト ウェアで処理されてもよい。

図 6 7 は、 本発明の第 1 5 の実施の形態に於けるキヤ リ ブ レーショ ンずれ補正装置の動作を説明する フ ロ ーチヤ一 トで あ 。

基本的なス テ ッ プは、 図 6 0 に示される フ ローチャー ト と 同様である。 すなわち、 ス テ ッ プ S 1 3 1〜 S 1 3 5、 S I 3 8〜 S 1 4 0 は、 前述した図 6 0 のフローチャー ト に於け るステップ S 9 1〜 S 9 5、 S 9 7〜 S 9 9 と同様であ り 、 ステ ップ S 1 3 6及び S 1 3 7 が異なってレヽる。 従って、 以 下の説明では、 異なるステップのみ説明する。

先ず、 ステップ S 1 3 6 の処理動作について説明する。

キ ヤ リ ブ レーシ ョ ンずれ検出には、 以下の 3 つの判定があ る。

(判定 1 ) 自然特徴或いは既知特徴のェピポーラ線拘束 からのずれがあるかどう かを判定する。

(判定 2 ) キャ リ ブ レーシ ョ ンデータ記憶装置に登録さ れた既知特徴間の距離が、 ス テ レオ画像で撮影された既知特 徴によって計測された距離と等しいかどう かを判定する。

(判定 3 ) 基準位置を規定する外部装置を基準と して、 キヤ リ ブ レーシ ョ ンデータ記憶装置にその 3 次元位置が登録 された既知特徴について、 キヤ リ ブレーショ ンデータ にずれ がないと仮定したと きに、 ス テ レオ撮影装置が撮影する左右 画像の所定位置に、 その既知特徴が存在するかを判定する。

そ して、 前記の判定結果を、 正しいと き〇、 誤り の と き X とすれば、 以下の 3つのケース の可能性がある こ とがわかる _c ケース 1 ： (判定 1 ： X )

p = (cl, c2， e)あるいは p = (cl, c2， e， e' ) にずれ

ケース 2 ： (判定 1 ： 〇） （判定 2 ： X )

ρ = e あるいは p= (e， e， ）にずれ

ケース 3 ： (判定 1 ： 〇） （判定 2 ： 〇）

(判定 3 ： X )

p = e， にずれ

ケース 3 ： (判定 1 ： 〇） （判定 2 ： 〇） - (判定 3 ： 〇）

一 S 1

キャ リ ブ レーシ ョ ンには、 ずれな し。

もちろん、 こ一一れらの判定に関 しては、 ずれ判定に関する計測

一 κ 1

誤差が多少ある こ と を踏まえて、 測定誤差許容範囲を考慮し て判定する こ とが重要である。

次に、 前記判定 1 の方法を説明する。

特徴抽出装置 2 6 6 で抽出され対応の とれた n個の 自然特 徴或いは既知特徴に関 して、 事前に得られているキヤ リ ブ レ ーショ ンデータ に基づいて レクティ フィ ケーショ ンされた特 徴対の画像座標値が利用 される。 すなわち、 キヤ リ プ レーシ ョ ンデータのず'れが全く ないとすれば、 登録された特徴対は 完全にェピポーラ線拘束を満た している こ と になる。 逆に言 えば、 キ ャ リ ブ レーシ ョ ンずれが生じている場合には、 こ の ェピポーラ線拘束が満たされていないと判断できる。

そこで、 特徴対全体と して、 どの程度ェピポーラ線拘束が 満たされていないかを評価値と して、 キヤ リ プレーショ ンず れを判定する こ と にする。

すなわち、 各特徴対 i について、 ェピポーラ線拘束からの ずれ量を d i と して、

を算出する。 そ して、 全ての特徴対に対する平均値を

に よ っ て算出 し、 その平均値 が所定の閾値 t h r e s h o l d よ り 大きい場合には、 キヤ リ ブレーショ ンずれが著しいと判定 する。

図 6 8 A及び図 6 8 Bは、 こ の様子を示したものである。 図 6 8 B に於いて、 各特徴に関 して、 ェピポーラ線からのず れ d i は、 特徴点のェ ピポーラ線か ら の画像内距離に対応 するわけである。

また、 前記判定方法 1 で説明 した方法で、 対応探索の信頼 度が高いときには良好な結果が得られる。

しかしながら、 対応探索結果に信頼度が低いものが含まれ ている可能性がある場合には、 判定 1 の方法のその 2 と して

で算出された各特徴の差異の中、 ソィ ズ成分が多く 含まれて いる可能性がある と考えられる。 '

このよ う な場合には、 ノ イズ成分と思われる異常値を予め 取り 除いた後に平均を取る作業によ り 、 キヤ リ ブレーショ ン ずれを判定する方法が有効である。

すなわち、 このよ う な形で異常値を排除した後の特徴対の 集合を B と して B 内での di の平均値を

I ¹ 1

丄∑ =丄 ΣΚ一 ^v (127) によって算出すればよい。 こ こで mは集合 B の要素数を表す その平均値 が所定の閾値 threshold よ り 大きい と き には キヤ リ ブ レーシ ョ ンずれが著しいと判定する。

次に、 判定 2の方法について説明する。

ス テ レオ撮影装置が撮影した左右画像内の既知特徴の対応 点を )と して、 それから左カメ ラ座標系で規定され る 3次元座標値が計算される。

もちろん、 この計算では、 キャ リ ブレーシ ョ ンずれがない と仮定して、 キヤ リ プレーショ ンデータ記憶装置 2 7 2 が記 Itしたキヤ リ プレーショ ンパラ メ ータ を利用 して計算される， こ う して得られた既知特徴の間の距離が算出され、 その距離 と予めキャ リ ブレーシ ョ ンデータ記憶装置 2 7 2 内の登録さ れた既知特徴点間の距離と の間に どの程度の差があるかが、 前記式 （ 1 19 ) に基づいて算出 される。 その差が所定の閾値 よ り 小さ ければ、 ずれな しと判断され、 大き ければ、 ずれあ り と判断される。

更に、 判定 3 の方法について説明する。

ステ レオ画像内で、 先ず既知特徴が利用 されて、 その既知 特徴が画像内であるべき位置にあるかが判定される。

このためには、 キヤ リ ブレーショ ンデータ記録装置に記録 されている既知特徴 k の 3 次元位置 ， )が、 ステ レオ カメ ラで撮影された画像内での位置にあるかが、 以下のよ う に して判定される。

いま、 外部装置の座標系を O と して、 その座標系で既知特 徴の 3 次元位置 , )が登録されてい る とする と 、 その 点 に 関す る 左 カ メ ラ 座標系 L に於 け る 3 次元位置座標 (x^,y_k ^L, )と 、 右 カ メ ラ 座標 系 に 於 け る 3 次 元位置 座標 ， ， )の位置が算出される。

¾⁰ V ^r\\ r ^r\'2 r '1'3一 X

y y_k° +_LTo = ' _r2'1 ^r _r2'2 _r '2'3 + ( 1 28)

_^r3l ^r32 ^T3S _ ' 4 ^rU

=R^RL y_k ^L 22 23 + (129)

4 /31 32 33一 t. 次に、 これらに対して、 上記式 （66) 及び （67) のよ う な 式で算出される画像内での投影位置 )が算出され る。

もちろん、 この画像内での位置は、 キャ リ ブレーシ ョ ンデ ータが全て正しいと仮定した場合に成立する式である。 従つ て、 前記式 （ 101) の集合 B で表される画像内での位置と、 キヤ リ プレーショ ンデータが正しい 仮定した場合の画像位 置と の差が計算される こ と によ り 、 キャ リ ブレーシ ョ ンずれ が起こっているか否かが判定されるわけである。

すなわち、 画像内での差 ：

が各画像で算出され、

> threshold ある 、 fま j > threshold (131) が成立するか否かが判断される。

こ こで、 閾値 threshold を超えた場合には、 少なく と もキ ャ リ ブレーショ ンずれが起こっている こ と がわかる。 また、 前述した第 1 2 の実施の形態で説明 したの と 同様に、 異常値 除去等の処理をこの中に含んでもかまわない。

すなわち既知特徴 m 個の う ち、 少な く と も s 個 （ s≤ ) が、 上記式 （ 131) で示される不等式を満た している場合に は、 キャ リ ブレーシ ョ ンずれが起こっている と判断されるわ けである。

すなわち、 前述 したサヲステ ップ C 1 によってキヤ リ ブレ ーシヨ ンずれが少な く と も起きているか否かを判定する こ と ができる。

次に、 ステ ッ プ S 1 3 7 の処理動作について説明する。

キャ リ ブ レーシ ョ ンずれ判定装置 3 6 2 で判定されたずれ 有無とずれ分類の結果を踏まえて、 キ ヤ リ ブレーショ ンデー タ補正装置 2 6 8 にてキヤ リ プレーショ ンずれが補正される わけである。 すなわち、 キ ャ リ ブ レーシ ョ ンずれがある と判 定された場合には、 以下の 3つの方法によ り キヤ リ ブレーシ ョ ンずれ捕正を行えばよい。

' ( i ) キャ リ ブ レーシ ョ ンずれが p = e 或いは p = (cl, c2， e)の場合に関 しては、 上述した第 1 の実施の形態で説明 した方法によ り 、 キヤ リ ブレーショ ンずれ補正が行われる。

( ii) キャ リ ブ レーシ ョ ンずれが p = e' の場合に関 し ては、 上述した第 2 の実施の形態で説明 した方法によ り 、 キ ャ リ ブ レーシ ョ ンずれ補正が行われる。

(iii) キ ャ リ ブ レ ー シ ョ ンずれが p = (cl, c2， e) の 場合には、 上述した第 3 の実施の形態で説明 した方法によ り 、 キヤ リ ブレーショ ンずれ補正が行われる。

以上のよ う に、 キャ リ ブレーシ ョ ンずれ検出装置を更に導 入する こ と で、 捕正処理に関 して、 捕正すべきパラメ ータを 分類した り決定する こ とが可能と なるので、 よ り 信頼度が高 く 、 効率的な補正処理を行 う こ と が可能である。 もちろん、 本第 1 5 の実施の形態で説明 したキャ リ ブ レーシ ョ ンずれ検 出装置は、 前述 した第 1 1 乃至第 1 4 の実施の形態に応用す る こ とが可能である と共に、 後述する第 1 6 或いは第 1 7の 実施の形態でも利用する こ とが可能である こ と は明白である。

[第 1 6 の実施の形態]

次に、 本発明の第 1 6 の実施の形態と して、 車載に特化し た例について説明する。

前述した第 1 2乃至第 1 5 の実施の形態では、 状況判断装 置について詳細には説明 していないが、 こ の第 1 6 の実施の 形態では、 この状況判断装置の機能を中心に説明する。

図 6 9 は、 本発明の第 1 6 の実施の形態に於けるキヤ リ ブ レーショ ンずれ捕正装置の基本構成例を示したプロ ック 図で ある。

こ の第 1 6 の実施の形態のキャ リ ブ レー シ ョ ンずれ補正装 置の構成が前述 した第 1 2 乃至第 1 5 の実施の形態と異なる のは、 外部センサ 3 7 2 が、 キャ リ ブレーシ ョ ンずれ補正装 置 3 7 0 内の状況判断装置 2 6 4 に、 各種のセンサ出力の信 号を与える こ と である。 また、 必要に応じて、 キヤ リ プレー シ ョ ンずれ検出に関わる情報が、 キヤ リ ブレーシ ョ ンデータ 記憶装置 2 7 2 に送出 され、 その情報が、 キ ヤ リ ブレーシ ョ ンデータ記憶装置 2 7 2 に書き込まれる点も異なる。

尚、 こ の図 6 9 に示される構成の第 1 6 の実施の形態に於 ける キヤ リ プレーショ ンずれ捕正装置 3 7 0 に関する処理動 作は、 前述した第 1 2 乃至第 1 4 の実施の形態で説明 したも のと 同様である。 従って、 動作フ ローチャー トは、 図 4 9、 図 6 0 、 図 6 3及び図 6 5 の フ ロ ーチャー ト を参照する も の と して、 こ こでの図示及びその説明は省略する。

以下の説明では、 状況判断装置 2 6 4の応用 と して、 車両 にステ レオ撮影装置を装着 した場合について説明する。 もち ろん、 本方式は、 車両用の車載ステ レオ撮影装置に限る もの ではなく 、 その他の監視カ メ ラシステム等にも応用が可能で あるこ とは明白である。

状況判断装置に接続される外部センサと しては、 走行距離 計、 時計或いはタイ マ、 温度セ ンサ、 車両傾斜計測センサ或 いはジャイ ロセンサ、 車速センサ、 エンジン 台動センサ、 日 射センサ、 雨滴センサ等がある。 そ して、 状況判断装置 2 6 4 では、 以下のよ う な条件で、 車載応用に必要な条件に基づ いて、 キヤ リ ブレーショ ンずれの検出が現在必要であるか否 かが判定されるわけである。

また、 キャ リ ブレーシ ョ ンデータ記憶装置が記憶するキヤ リ プレーショ ンデータ と しては、 過去にキヤ リ ブレーショ ン を行った と きのキヤ リ ブレーショ ンパラ メ ータ pや既知特徴 のデータなどを含みなが ら、 手課のよ う な情報が書き込まれ ている。

すなわち、

( a ) 過去に行ったステ レオ撮影装置の内部キヤ リ ブレ ーシヨ ンノヽ。ラ メ ータ （c l , c 2， e )

( b ) 過去に行ったステ レオ撮影装置と外部装置間の位 置姿勢キャ リ ブレーショ ンパラ メータ _e，

( c ) 過去に行った既知特徴の 3次元位置

( d ) 過去にキヤ リ ブレーショ ンした際の車両走行距離 ( e ) 過去にキヤ リ ブレーショ ンした際の 日時と時刻

( f ) 過去にキャ リ ブレーショ ン した際の外部温度

( g ) 過去にキヤ リ ブレーショ ン補正あるいは検出 した 際の車両走行距離

( h ) 過去にキャ リ ブレーシ ョ ン補正あるいは検出 した 際の日時と時刻

( i ) 過去にキヤ リ プレーショ ン補正あるいは検出 した 際の外部温度

次に、 状況判断装置 2 6 4 が、 どの よ う にキヤ リ ブレーシ ヨ ン検出をすべきか、 その状況判断の方法を説明する。

本装置では、 キヤ リ プレーシ ョ ンずれ検出を行 う条件と し て、 車両が停止 している と きに行う 、 以前ずれ検出 した と き から、 少な く と も一定時間 T を経た後に行う 、 晴天で昼間に 行う 、 等の条件が成立する と き に行う場合について説明する。

先ず、 1 つ目 の条件を満たすために、 車速センサ或いはジ ャィ 口センサ等で、 車両が移動していないこ とが確認される _c 次いで、 2つ目 の条件を満たすために、 過去にキヤ リ ブレー シヨ ンずれ補正が行われた と きの時刻 と時計等から算出され る現時刻 と の時間差が算出される。 そ して、 3つ 目 の条件 3 に関 しては、 日射センサや雨滴センサ等が利用 されて、 条件 が満たされるかどう かが判断される。

このよ う に して、 キヤ リ ブレーショ ンずれ補正が実行され る と、 その結果は補正結果呈示装置 2 7 0 に送出される。 そ して捕正結果は、 キャ リ ブレーシ ョ ンデータ記憶装置 2 7 2 に書き込まれる。 また、 車載応用の場合には、 既知特徴と じて、 更にいろい ろなバリエーショ ンを考えるこ とができ る。 すなわち、 各種 道路交通法で大き さや位置が規格が決定している もの、 その 他条例等で規格が決定する ものについては、 その規格に基づ く形状を、 本キヤ リ ブレーショ ンずれ補正装置のための既知 特徴と して、 利用する こ とが可能である。 こ う した規格が決 定している ものと しては、 標識、 車両に装着されているナン バプレー ト、 横断歩道、 白線の距離間隔、 等を考えるこ とが でき る。

更に、 車両に応じて、 車両の一部が視野の一部に入ってい る場合には、 その車両の一部を既知な特徴と して登録してお き、 その特徴間の相対的距離も利用 して、 キヤ リ ブレーシヨ ン捕正を行 う。 こ う した例については、 前述 した第 1 2 の実 施の形態で説明したとおり であるので、 説明は省略する。

また、 ユーザやメ イ ンテナンス作業者が、 積極的にキヤ リ ブレーショ ンずれ捕正を行 う こ と も考え られる。 すなわち、 ユーザ等が、 撮影装置前に大き さや形状が既知なキヤ リ ブレ ーシ ョ ンパターンを呈示 し、 そのキヤ リ プレーシ ョ ンパタ一 ンをステ レオ撮影装置で撮影する こ と によ り 、 キヤ リ プ レー ショ ン補正する こ と も可能である。

このキヤ リ ブレーショ ンパターン と しては、 図 7 0 に示さ れる よ う に、 平面の格子状にキヤ リ ブレーショ ンパターンが 配置されているキヤ リ ブレーショ ンポー ドでも よい。 或いは、 図 7 1 に示される よ う に、 コーナキュープの 3 平面の格子状 にキヤ リ ブレーシ ョ ンパターンが配置されている キヤ リ ブレ ーショ ン治具であってもよい。

以上のよ う な方法を採用する こ と によ り 、 本キヤ リ プレー シヨ ンずれ補正装置は、 車載等に応用する こ とが可能と なる。

[第 1 7の実施の形態]

次に、 本発明の第 1 7 の実施の形態と して、 撮影装置が複 数回撮影してその画像を利用する例について説明する。

前述した実施の形態では、 ステ レオ画像の撮影に関する回 数に関 しては、 特に特定していないものであった。 本第 1 7 の実施の形態では、 よ り 口バス トで信頼性の於けるキヤ リ ブ レーシヨ ンずれ補正装置を提供する こ と を 目的と して、 複数 回撮影されたステ レオ画像から、 よ り 多く の対応のとれた特 徴を抽出する こ と によ り 、 キャ リ ブレーシ ョ ンずれ補正装置 を構成する例について説明する。

尚、 本第 1 7 の実施の形態に於ける キャ リ ブレーシ ョ ンず れ補正装置は、 撮影装置によ り 複数回撮影する点が前述した 実施の形態と異なるだけであ り 、 その基本構成は同様である ので説明は省略する。

図 7 2 A及び図 7 2 B は、 第 1 7 の実施の形態のキヤ リ ブ レーシ ョ ンずれ補正装置によるステ レオ画像の様子を表した ものであ り 、 図 7 2 Aは時刻 1 での左画像の例を示した図、 図 7 2 Bは時刻 1 と は異なる時刻 2 での左画像の例を示した 図である。 尚、 こ こでは、 異なる時刻 1 と 時刻 2 で撮影され た二組のステレオ画像 （図には、 左画像のみ示す） で、 既知 特徴が複数撮影された場合が示されている。

図 7 3 は、 本第 1 7 の実施の形態に於ける キヤ リ プレーシ ョ ンずれ補正装置の処理動作を説明するフ ロ ーチヤ一トであ る。

尚、 ステ ップ S 1 5 1〜 S 1 5 5 の処理動作は、 前述 した 第 1 2 の実施の形態の図 4 9 9 のフ ローチャー ト に於けるス テツプ S 8 1〜 S 8 5 とそれぞれ同様である。

そ して、 ステ ップ S 1 5 6 に於いて、 例えば既知特徴がこ れまで抽出された個数がある一定以上の個数に達しているか が判断される。 こ こ で、 その個数が所定の数を以上と なって いれ.ば、 ステ ップ S 1 5 7 に移行してキャ リ ブレーショ ンず れの判定及び分類が行われる。 次いで、 ステ ップ S 1 5 8 で キヤ リ プレーシ ョ ンずれの補正処理が行われた後、 ステ ップ S 1 5 9 でその判定結果が呈示される。

一方、 前記ステ ップ S 1 5 6 にて所定の数に達していなけ れば、 前記ステ ッ プ 1 5 1 に移行し、 再度ス テ レオ画像が撮 影される。 もちろん、 こ こで、 撮影する場所や視点を変更 し ても構わない。 - ステップ S 1 6 0 では、 算出された信頼度に基づいて、 キ ャ リ ブ レーショ ンずれ補正装置で算出された補正パラ メ ータ が信頼於けるデータであるか否かが判定される。 こ のデータ が信頼でき る場合にはステ ップ S 1 6 1 へ移行し、 そ う でな い場合には、 前記ステ ップ S 1 5 1 に移行してキヤ リ ブレー シヨ ンずれ補正のステ ップが繰り 返される。 一方、 ステ ップ S 1 6 1 では、 更新されたキャ リ ブ レーシ ョ ンデータはキヤ リ プ レーシ ョ ンデータ記憶装置 2 7 2 に格納される。

尚、 これらは状況判断装置や制御装置で制御される。 こ こ で、 一組のステ レオ画像で抽出 された既知特徴は、 それぞれ 別の特徴群 と して登録され、 キヤ リ ブ レーシ ョ ンずれ補正の 処理に関 しては、 それらの群に応じた処理が行われる。

図 7 4 は、 本第 1 7 の実施の形態に於け る キヤ リ ブレーシ ョ ンずれ補正装置の別の処理動作を説明する フ ロ ーチヤ一 ト である。

こ の図 7 4 に示される フ ローチヤ一 ト に於いては、 ステ ツ プ S 1 7 1〜 S 1 7 5、 S 1 7 6〜 S 1.7 7、 S 1 7 9〜 l 8 1 の処理動作は、 前述した図 7 3 のフ ロ ーチャー ト に於け るステ ップ S 1 5 1〜 S 1 5 5、 S 1 5 7〜 S 1 5 8、 S 1 5 9〜 S 1 6 1 と それぞれ同様である。 従って、 異なる処理 動作のステ ップのみ説明する。

ステ ップ S 1 7 7 にて、 キャ リ ブレーシ ョ ンデータ補正装 置で、 新たに得られる特徴が利用 されなが ら、 キヤ リ ブレー シヨ ンデータ の補正結果の精度が常に算出 される。 そ して、 続く ステ ップ S 1 7 8 に於いて、 その精度が充分であ るか否 かが判断される。

こ こで、 ずれ補正の精度が充分であ る と判断された場合に は、 ステ ップ S 1 7 9〜 S 1 8 1 に移行 してキヤ リ ブレーシ ヨ ンデータ補正装置での処理が終了する。 一方、 精度が充分 でない と 判断された場合には、 前記ステ ッ プ S 1 7 1 に移行 して、 再度ステ レオ画像を撮影 して、 よ り 多く の特徴が抽出 される こ と が繰り 返される。

この方式で、 どの よ う にキヤ リ プレーシ ョ ンデータ の補正 処理の精度を算出する かは、 前述 した拡張カルマンフ ィ ルタ の処理ステ ップ K一 2 - 6 で計算される補正パラ メータの共 分散行列∑ から得られる各パラ メ ータ要素の分散の値が、 ど の程度小さ く なるかで判定すればよい。 この記述は例えば Α. Kosaka and A. C. Kak, "Fast vis ion-guided mobile robot navigation using model-based reasoning and prediction of uncertainties, " Computer Vision, Graphics and Image Processing ― Image Understanding, Vol. 56, No. 3， November, pp. 271— 329, 1992 に詳 し く 書力 れて！/、る ので、 こ こでは詳しく 述べない。

以上のよ う な実施の形態によれば、 よ り 多く の特徴を用い てキヤ リ ブレーショ ンずれ補正処理を行う こ とができ るので- よ り 口バス ト で信頼性の於ける キヤ リ ブレーシ ョ ンずれ補正 装置を提供する こ とが可能となる。

尚、 本発明は、 前述 した実施の形態そのままに限定される ものではな く 、 実施段階ではその要旨を逸脱しない範囲で構 成要素を変形して具体化でき る。 また、 前記実施の形態に開 示されている複数の構成要素の適宜な組み合せによ り 種々 の 発明を形成でき る。 例えば、 実施の形態に示される全構成要 素から幾つかの構成要素を削除しても よい。 制御手段 （支持 制御装置の制御演算機能部等） を、 当該車両の姿勢乃至位置 を検出する検出手段の検出出力をその制御に於ける状態変数 と して、 且つ、 前記ステ レオカ メ ラによ る映像に依拠する こ と な く 、 制御動作を行な う よ う に構成する等である。 更に、 異なる実施の形態に亘る構成要素を適宜組み合せてもよい。 産業上の利用可能性 本発明によれば、 背景その他の周囲の他部に依存せずにそ の被写体自体の距離等当該被写体に着目 した情報を効率的に 取得する こ とができ るステ レオカ メ ラ支持装置及びステ レオ カメ ラ支持方法並びにステ レオカメ ラシステムが得られる。

また、 本発明によれば、 3次元計測等を行 う ステレオ画像 を撮影する撮影装置のキヤ リ ブレーシ ョ ンが、 経時変化ゃ衝 撃振動な どの機械ずれによっても、 ステ レオ画像を解析する こ と によ り 、 簡易にキヤ リ プレーショ ンずれを定量的に検出 する こ と が可能なキヤ リ プレーショ ンずれ検出装置及びこの 装置を備えたステ レオカメ ラ並びにステ レオカメ ラシステム が得られる。

' 更に、 本発明によれば、 3次元計測等を行う ステ レオ画像 を撮影する撮影装置のキャ リ ブレーショ ンが、 経年変化ゃ衝 撃振動などの機械ずれによっても、 ステ レオ画像を解析する こ と によ り 、 簡易にキヤ リ ブレーショ ンずれを定量的に且つ 絶対値と して補正する こ とが可能なキャ リ ブレーショ ンずれ 補正装置及びこの装置を備えたステ レオカメ ラ並びにステ レ ォカ メ ラシステムが得られる。

請 求 の 範 囲

1 . 相互に離隔 した複数の視点による視差を持った複数 の映像を得る よ う になされたステ レオカメ ラ を支持する ステ レオカメ ラ支持装置であって、

前記ステ レオカメ ラを設置する車両側に設けられた支持メ ンバ と 、 該ステ レオカ メ ラの所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカメ ラ を前 記車両に支持する よ う に構成された結合部材と、

前記結合部材によって前記車両に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御部と、

を備 、

前記制御部は、 前記ステ レオカ メ ラ によ って得られる映像 に関 して、 当該映像中の注目被写体の輪郭の う ち最高水準位 置にある輪郭部分が、 前記車両の姿勢乃至位置の変化によ ら ず、 映像のフ レーム上端乃至その近傍に位置する よ う に、 当 該ステレオカメ ラの姿勢乃至位置を制御し得る よ う に構成さ れたものである こ と を特徴とするステ レオカメ ラ支持装置。

2 . 前記制御部は、 当該車両の姿勢乃至位置を検出する 検出部の検出出力に基づいて制御動作を行う よ う に構成され たものである こ と を特徴とする請求項 1 に記載のステ レオ力 メ ラ支持装置。

3 . 前記制御部は、 前記ステ レオカメ ラ によって得られ る映像の特徴を評価して認識する映像認識部の出力に依拠し て制御動作を行う よ う に構成されたものである こ と を特徴と する請求項 1 に記載のステレオカメ ラ支持装置。

4 . 前記制御部は、 当該車両の姿勢乃至位置を検出する 検出手段の検出出力と、 前記ステ レオカ メ ラ によって得られ る映像の特徴を評価して認識する映像認識部の出力と、 に依 拠して制御動作を行う よ う に構成されたものである こ と を特 徴とする請求項 1 に記載のステ レオカメ ラ支持装置。

5 . 前記検出部は、 当該車両の傾きを検出する傾斜検出 部、 当該車両の所定部の水準位置を検出する高さ検出部の少 なく と も 1 つを含むこ と を特徴とする請求項 2若しく は 4 に 記載のステ レオカメ ラ支持装置。

6 . 前記傾斜検出部は鉛直方向若しく は水平方向に対す る相対的な角度を検出する ものである こ と を特徴とする請求 項 5 に記載のステ レオカメ ラ支持装置。

7 . 前記高さ検出部は当該車両の接地面に対する相対的 な位置を検出する ものである こ と を特徴とする請求項 5 に記 載のステ レオカメ ラ支持装置。

8 . 前記制御部は、 フィー ドバック制御を行う こ と を特 徴とする請求項 1 乃至 3 の何れか 1 に記載のステ レオカ メ ラ 支持装置。

9 . 前記制御部は、 フ ィ ー ドフォ ワー ド制御を行う こ と を特徴とする請求項 1 乃至 3 の何れか 1 に記載のステ レオ力 メ ラ支持装置。

1 0 . 相互に離隔 した複数の視点によ る視差を持った複 数の映像を得る よ う になされたステ レオカ メ ラを支持するス テレオカメ ラ支持装置であって、 前記ステ レオカメ ラを設置する物体側に設けられた支持メ ンバ と 、 該ス テ レオカメ ラ の所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカ メ ラ を前 記物体上に支持する よ う に構成された結合部材と、

前記結合部材によ って前記物体上に支持されたステ レオ力 メ ラの姿勢乃至位置を制御する制御部と、

を備え、

前記制御部は、 前記ステ レオカ メ ラ によって得られる映像 中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分力 前記物体と前記撮像視野内の注目被写体との相対的姿勢乃至 位置の変化によ らず、 映像のフ レーム上端乃至その近傍に位 置する よ う に当該ステ レオカメ ラの姿勢乃至位置を制御 し得 る よ う に構成されたものである こ と を特徴とするス テ レオ力 メ ラ支持装置。

1 1 . 相互に離隔 した複数の視点による視差を持った複 数の映像を得る よ う になされたス テ レオカメ ラを支持する ス テレオカメ ラ支持方法であって、

前記ステ レオカメ ラを設置する車両側に設けられた支持メ ンバ と 、 該ス テ レオカ メ ラ の所定部位に設け られた被支持メ ンバと、 を前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合し、

前記結合によって前記車両に支持されたステ レオカメ ラの 姿勢乃至位置を、 前記ステ レオカ メ ラによって得られる映像 中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分が、 前記車両の姿勢乃至位置の変化によ らず、 映像のフ レーム上 端乃至その近傍に位置する よ う に、 当該ス テ レオカメ ラの姿 勢乃至位置を制御する こ と を特徴とするス テ レオカメ ラ支持 方法。

1 2 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を得る よ う になされたス テ レオカ メ ラを支持する ス テレオカメ ラ支持方法であって、

前記ス テ レオカメ ラ を設置する物体側に設け られた支持メ ンバと、 該ス テ レオカ メ ラ の所定部位に設け られた被支持メ ンバと、 を前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合し、

'前記結合によって前記物体上に支持されたス テ レオカ メ ラ の姿勢乃至位置を.、 前記ス テ レオカメ ラによ って得られる映 像中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分 が、 前記物体と前記撮像視野内の注目被写体との相対的姿勢 乃至位置の変化によ らず、 映像のフ レーム上端乃至その近傍 に位置する よ う に、 当該ステレオカメ ラの姿勢乃至位置を制 御する こ と を特徴とするステ レオカ メ ラ支持方法。

. 1 3 . 前記制御部は、 当該車両の姿勢乃至位置を検出す る検出部の検出出力を状態変数と し、 且つ、 前記ステ レオ力 メ ラ によ る映像に依拠する こ と な く 制御動作を行 う よ う に構 成されたものである こ と を特徴とする請求項 1 に記載のス テ レオカ メ ラ支持装置。

1 4 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を得る よ う になされたス テ レオカメ ラを備えたス テ レオカメ ラシステムであって、

前記ステレオカメ ラを設置する車両側に設けられた支持メ ンバ と 、 該ステ レオカ メ ラ の所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対位置が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカ メ ラ を前 記車両に支持するよ う に構成された結合部材と、

前記結合部材によって前記車両に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御部と、

を備え、

前記制御部は、 前記ステ レオカ メ ラ の撮像光学系乃至その 近傍に設定した視点から該ステ レオカ メ ラの撮像視野を見込 んで撮影する こ と によって得られる映像に関 して当該映像中 の注目被写体の輪郭の う ち最高水準位置にある輪郭部分が、 前記車両の姿勢乃至位置の変化によ らず、 映像のフ レーム上 端乃至その近傍に位置する よ う に、 当該ステ レオカ メ ラ の姿 勢乃至位置を制御し得る よ う に構成されたものである こ と を 特徴とするステ レオカメ ラシステム。

1 5 . 前記ステ レオカ メ ラ による撮影によって得られる 映像情報に基づいて前記注目被写体の距離を算出する情報処 理部を更に備えたこ と を特徴とする請求項 1 4 に記載のステ レオカメ ラシステム。

1 6 . 前記情報処理部は、 前記ステ レオカ メ ラ によ る撮 影によって得られる映像情報に基づいて当該車両に適用 され た表示部に道路の状況を表す映像を映出するためのデータ を 生成する よ う に構成されたものである こ と を特徴とする請求 項 1 5 に記載のステ レオカメ ラシステム。

1 7 . 前記情報処理部は、 前記ステ レオカメ ラ に よ る撮 影によって得られる映像情報に基づいて当該車両に適用 され た表示段に道路の状況を表す映像に該車両から等距離にある 道路上の点群を表す指標をスーパーィ ンポーズ表示して映出 するためのデータを生成する よ う に構成されたものである こ と を特徴とする請求項 1 5 に記載のステ レオカ メ ラ システム。

1 8 . 前記情報処理部は、 前記ステ レオカ メ ラによる撮 影によって得られる映像情報に基づいて当該車両に適用 され た警告部に警告を発報させるためのデータ を生成する よ う に 構成されたものである こ と を特徴とする請求項 1 5 に記載の ステ レオカメ ラシステム。

1 9 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を得る よ う になされたステ レオカメ ラを備えたステ レオカメ ラシステムであって、

前記ステ レオカメ ラを設置する物体側に設けられた支持メ ンバ と、 該ステ レオカメ ラの所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対位置が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカメ ラ を前 記車両に支持する よ う に構成された結合部材と、 '

前記結合部材によって前記物体に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御部と、

を備 _、

前記制御部は、 前記ステ レオカ メ ラ の撮像光学系乃至その 近傍に設定した視点から該ステ レオカ メ ラ の撮像視野を見込 んで撮影する こ と によって得られる映像に関して、 当該映像 中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分力 S、 前記物体と前記撮像視野内の注目被写体との相対的姿勢乃至 位置の変化によ らず、 映像のフ レーム上端乃至その近傍に位 置する よ う に当該ステ レオカメ ラ の姿勢乃至位置を制御 し得 る よ う に構成されたものである こ と を特徴とするステ レオ力 メ ラシステム。

2 0 . 前記制御部は、 初動時には、 前記ステ レオカ メ ラ を、 その撮像光学系乃至その近傍に設定した視点から該ステ レオカメ ラの撮像視野を見込んで撮影する と きの視野の中心 線が実質的に水平方向となる姿勢に制御する よ う構成された ものである こ と を特徴とする請求項 1 4 に記載のステ レオ力 メ ラシステム。

2 1 . 前記制御部は、 初動時には、 前記ステ レオカメ ラ を、 その撮像光学系乃至その近傍に設定した視点から該ステ レオカメ ラの撮像視野を見込んで撮影する と きの視野の中心 線が実質的に前回の制御で設定された最後の状態を維持する よ う な姿勢に制御する よ う構成されたものである こ と を特徴 とする請求項 1 4 に記載のステレオカメ ラシステム。

2 2 . 前記制御部は、 初動時には、 前記ステ レオカ メ ラ を、 その撮像光学系乃至その近傍に設定した視点から該ステ レオカメ ラの撮像視野を見込んで撮影する と きの視野の中心 線が実質的に水平方向よ り も下向きになる姿勢に制御する よ う構成されたものである こ と を特徴とする請求項 1 4 に記載 のステ レオカメ ラシステム。 2 3 . 前記制御部は、 当該車両の高速走行時には、 前記 ステ レオカ メ ラを、 その撮像光学系乃至その近傍に設定した 視点から該ステ レオカメ ラの撮像視野を見込んで撮影する と きの視野の中心線が相対的に下向きになる姿勢に制御 し、 低 速走行時には前記中心線が相対的に上向きになる姿勢に制御 する よ う構成されたものである こ と を特徴とする請求項 1 4 に記載のステ レオカ メ ラシステム。

2 4 . 前記制御部は、 注目すべき被写体の輪郭の最高水 準部分が映像のフ レームの上端を更に上方に逸脱して しま う よ う な高い被写体に遭遇したこ と が認識されたと きには前記 ステ レオカ メ ラ の姿勢を上向きに制御する よ う構成され'たも のである こ と を特徴とする請求項 1 4 に記載のステ レオカメ ラシステム。

2 5 . 相互に離隔した複数の視点による視差を持った複 数の映像を得る よ う になされたステ レオカメ ラを支持するス テレオカメ ラ支持装置であって、 - 前記ステレオカメ ラを設置する車両側に設けられた支持メ ンバ と 、 該ステ レオカ メ ラ の所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカメ ラ を前 記車両に支持するよ う に構成された結合部材と、

前記結合部材によって前記車両に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御手段と、

を備え、

前記制御手段は、 前記ステレオカメ ラによって得られる映 像に関 して、 当該映像中の注目被写体の輪郭の う ち最高水準 位置にある輪郭部分が、 前記車両の姿勢乃至位置の変化によ らず、 映像のフ レーム上端乃至その近傍に位置する よ う に、 当該ステ レオカメ ラ の姿勢乃至位置を制御し得る よ う に構成 されたものである こ と を特徴とするステ レオカメ ラ支持装置。

2 6 . 相互に離隔 した複数の視点によ る視差を持った複 数の映像を得る よ う になされたステ レオカメ ラを支持するス テレオカメ ラ支持装置であって、

前記ステ レオカメ ラ を設置する物体側に設け られた支持メ ンバ と 、 該ステ レオカ メ ラ の所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対関係が所定範囲内で可変で ある よ う に結合するこ と によって、 当該ステ レオカメ ラ を前 記物体上に支持するよ う に構成された結合部材と、

前記結合部材によって前記物体上に支持されたステ レオ力 メ ラの姿勢乃至位置を制御する制御手段と、

を備え、 - 前記制御手段は、 前記ステ レオカメ ラによって得られる映 像中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分 が、 前記物体と前記撮像視野内の注目被写体との相対的姿勢 乃至位置の変化によ らず、 映像のフ レーム上端乃至その近傍 に位置する よ う に当該ステ レオカメ ラの姿勢乃至位置を制御 し得る よ う に構成されたものである こ と を特徴とするステ レ ォカメ ラ支持装置。

2 7 . 相互に離隔した複数の視点による視差を持った複 数の映像を得る よ う になされたステ レオカメ ラを備えたステ レオカメ ラシステムであって、

前記ステ レオカメ ラを設置する車両側に設けられた支持メ ンバと、 該ステ レオカ メ ラ の所定部位に設けられた被支持メ ンバと、 が前記両メ ンバ間の相対位置が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカメ ラ を前 記車両に支持するよ う に構成された結合部材と、

前記結合部材によって前記車両に支持されたステ レオカメ ラの姿勢乃至位置を制御する制御手段と、

を備え、

前記制御手段は、 前記ステ レオカ メ ラの撮像光学系乃至そ の近傍に設定した視点から該ステ レオカメ ラの撮像視野を見 込んで撮影する こ と によって得られる映像に関して当該映像 中の注目被写体の輪郭の う ち最高水準位置にある輪郭部分が , 前記車両の姿勢乃至位置の変化によ らず、 映像のフ レーム上 端乃至その近傍に位置する よ う に、 当該ステ レオカメ ラ の姿 勢乃至位置を制御し '得る よ う に構成されたものである こ と を 特徴とするステ レオカメ ラシステム。

2 8 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を得る よ う になされたステ レオカメ ラを備えたステ レオカメ ラシステムであって、

前記ステ レオカメ ラを設置する物体側に設けられた支持メ ンバと、 該ステ レオカ メ ラの所定部位に設け られた被支持メ ンバと、 が前記両メ ンバ間の相対位置が所定範囲内で可変で ある よ う に結合する こ と によって、 当該ステ レオカメ ラ を前 記車両に支持するよ う に構成された結合部材と、 前記結合部材によって前記物体に支持されたス テ レオカメ ラの姿勢乃至位置を制御する制御手段と、

を備え、

前記制御手段は、 前記ス テ レオカ メ ラ の撮像光学系乃至そ の近傍に設定した視点から該ステレオカメ ラの撮像視野を見 込んで撮影するこ と によって得られる映像に関して

当該映像中の注目被写体の輪郭の う ち最高水準位置にある輪 郭部分が、 前記物体と前記撮像視野内の注目被写体との相対 的姿勢乃至位置の変化によ らず、 映像のフ レーム上端乃至そ の近傍に位置する よ う に当該ステ レオカメ ラの姿勢乃至位置 を制御し得る よ う に構成されたものである こ と を特徴とする ステ レオカ メ ラ システム。

2 9 . ステ レオ画像を撮影する撮影装置に係るキヤ リ プ レーシ ョ ンデータを保持するキヤ リ プ レーショ ンデータ保持 部と、

前記撮影装置が撮影 したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キャ リ ブ レーシ ョ ンデータ保持部に保持されたキ ヤ リ プ レー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ ヤ リ ブレーシ ヨ ンずれ判定部と、

を具備するこ と を特徴とするキヤ リ プレ "ショ ンずれ検出

3 0 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータを保持するキヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キ ヤ リ プレーショ ンデータ保持部に保持されたキヤ リ ブレーショ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フィケーシヨ ン処理部と、

前記レクティ フィ ケーシヨ ン処理部によってレクティ フィ ケーシヨ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ プレーシ ョ ンデータ保持部に保持されたキヤ リ プレー シ ョ ンデータに関するキヤ リ ブ レーシ ョ ンずれを判定するキ ャ リ プレーシ ョ ンずれ判定部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出

3 1 . 基準位置を規定するために利用 される所定の外部 装置と撮影装置.間の キ ヤ リ ブレーシ ョ ンに係 る キヤ リ プ レー シ ョ ンデータ を保持するキヤ リ ブ レーシ ョ ンデータ保持部と 前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ プ レーシ ョ ンデータ保持部に保持されたキヤ リ プ レー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ ャ リ ブレーシ ョ ンずれ判定部と、

を具備する こ と を特徴とするキヤ リ ブ レーショ ンずれ検出 装置。 3 2 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する撮影装置間の キヤ リ プ レーシ ョ ンに係る キヤ リ ブレーショ ンデータ を保持するキヤ リ ブレ ーシ ョ ンデータ保持部と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キ ヤ .リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ ブレーシ ョ ン データ に基づく レク ティ フ ィ ケーシヨ ン処理を施すレク ティ フィ ケーシ ョ ン処理部と、

前記レク ティ フ ィ ケーショ ン処理部によ って レクティ フ ィ ケーシヨ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キャ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ プ レー シ ョ ンデータ に関するキヤ リ ブ レーシ ョ ンずれを判定する キ ャ リ ブレーシ ョ ンずれ判定部と、

を-具備するこ と を特徴とする キヤ リ プレ シ ヨ ンずれ検出 装置。

3 3 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータ を保持するキヤ リ プレーシ ョ ンデータ保持 部と、

前記撮影装置が撮影 したステ レオ画像か ら特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ プ レーショ ンデータ保持部に保持されたキヤ リ プ レー ショ ンデータ に関する キヤ リ ブレーシ ョ ンずれを判定する キ ャ リ ブレーシ ョ ンずれ判定部と、

前記キヤ リ ブ レーシ ョ ンずれ判定部が判定したキヤ リ プ レ ーショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

を具備する こ と を特徴とするキ ヤ リ ブ レーシ ョ ンずれ検出

3 4 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータを保持するキヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレーショ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フィケーシ ヨ ン処理装置と、

前記レクティ フィ ケーシヨ ン処理部によってレクティ フィ ケーショ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、 .

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ ヤ リ ブレーシ ヨ ンずれ判定部と、

前記キヤ リ プ レーシ ヨ ンずれ判定部が判定したキヤ リ プ レ ーショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 3 5 . 基準位置を規定するために利用される所定の外部 装置とス テ レオ画像を撮影する撮影装置間のキヤ リ プ レーシ ョ ンに係るキヤ リ ブ レーシ ョ ンデータ を保持する キヤ リ ブ レ ーシ ョ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ ヤ リ ブ レーシ ヨ ンずれ判定部と、

前記キヤ リ ブ レーシ ョ ンずれ判定部が判定したキヤ リ ブ レ ーショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

を具備する こ と を特徴とするキヤ リ プレ シ ョ ンずれ検出

3 6 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する撮影装置間のキヤ リ プ レーシ ョ ンに係るキヤ V ブレーショ ンデータ を保持するキヤ リ プレ ーシ ヨ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ ブレーショ ン データに基づく レクティ フィ ケーショ ン処理を施すレクティ フィ ケーシ ヨ ン処理部と、

前記レクティ フィ ケーショ ン処理部によってレクティ フィ ケーシヨ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレー シ ョ ンデータに関するキヤ リ プレーシヨ ンずれを判定するキ ヤ リ ブレーシ ヨ ンずれ判定部と、

前記キヤ リ ブ レーシ ョ ンずれ判定部が判定したキヤ リ プ レ ーシ ヨ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ検出

3 7 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータを保持するキヤ リ プレーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ プレーショ ンずれを判定するキ ャ リ プレーシ ヨ ンずれ判定部と、

前記撮影装置に係るキヤ リ ブレーショ ンと所定の相関を有 する情報乃至所定の操作に応じてキヤ リ プレーショ ンずれ検 出を行うか否かを判断する状況判断部と、

を具備する こ と を特徴とするキャ リ ブ レーシ ョ ンずれ検出 装置。

3 8 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータを保持するキ ヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ ブレーショ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フ ィ ケーシ ョ ン処理装置と、

前記レクティ フィ ケーショ ン処理部によってレクティ フィ ケーシヨ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ プレーショ ンずれを判定するキ ャ リ ブレーシ ョ ンずれ判定部と、

前記撮影装置に係るキャ リ ブ レーシ ョ ン と所定の相関を有 する情報乃至所定の操作に応じてキヤ リ ブレーシ ョ ンずれ検 出を行うか否かを判断する状況判断部と、 - を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 装置。

3 9 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する撮影装置間のキヤ リ プ レーシ ョ ンに係るキヤ リ ブレーショ ンデータ を保持するキヤ リ ブレ ーショ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータ に関する キヤ リ プレーシ ョ ンずれを判定する キ ャ リ ブレーシ ョ ンずれ判定部と、

前記撮影装置に係る キヤ リ プレーシ ョ ンと所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ ブレーシ ョ ンずれ検 出を行う か否かを判断する状況判断部と、

を具備する こ と を特徴とするキヤ リ ブレーシ ョ ンずれ検出

4 0 . 基準位置を規定するために利用 される所定の外部 装置と ス テ レオ画像を撮影する撮影装置間のキヤ リ プ レーシ ョ ンに係る キヤ リ ブレーショ ンデータ を保持する キヤ リ ブレ ーシヨ ンデータ保持部と、

前記撮影装置が撮影 したステ レオ画像に対し、 前記キ ヤ リ プレーシ ョ ンデータ保持部に保持されたキヤ リ プ レーシ ョ ン データ に基づく レク ティ フ ィ ケーシヨ ン処理を施すレク ティ フ ィ ケーシ ヨ ン処理部と、 - . 前記レク ティ フィ ケーシヨ ン処理部によ って レクティ フ ィ ケーショ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータ に関する キヤ リ プレーシ ョ ンずれを判定するキ ャ リ ブレーショ ンずれ判定部と、

前記撮影装置に係る キヤ リ ブレーシ ョ ンと所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ プレーシ ョ ンずれ検 出を行う か否かを判断する状況判断部と、

を具備する こ と を特徴とするキヤ リ ブ レーシ ョ ンずれ検出 装置。

4 1 . ステ レオ商像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータ を保持する キ ヤ リ プ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ プ レーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ 千 リ ブレーシ ョ ンずれ判定部と、

前記キ ヤ リ ブ レーショ ンずれ判定部が判定したキヤ リ ブ レ ーショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

前記撮影装置に係るキヤ リ ブレーショ ンと所定の相関を有 する情報乃至所定の操作に応じてキヤ リ プレーショ ンずれ検 出を行う か否かを判断する状況判断部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 装置。

4 2 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータ を保持するキ ヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キ ヤ リ プレーショ ンデータ保持部に保持されたキヤ リ ブレーショ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フィケーシヨ ン処理部と、

前記レクティ フィ ケーショ ン処理部によってレクティ フィ ケーショ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出ぶが抽出 した特徴を表す情報に.基づき、 前記 キヤ リ プ レーシ ョ ンデータ保持部に保持ざれたキヤ リ ブ レー ショ ンデータに関するキヤ リ プレーショ ンずれを判定するキ ャ リ ブレーショ ンずれ判定部と、

前記キヤ リ ブレーシ ョ ンずれ判定部が判定したキヤ リ プレ ーシヨ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、 ，

前記撮影装置に係るキヤ リ プレーショ ン と所定の相関を有 する情報乃至所定の操作に応じてキヤ リ ブレーショ ンずれ検 出を行うか否かを判断する状況判断部と、

を具備する こ と.を特徴とするキ ヤ リ プ レーショ ンずれ検出. 装置。

4 3 . 基準位置を規定するために利用された所定の外部 装置とステ レオ画像を撮影する撮影装置間のキヤ リ ブ レーシ ョ ンに係るキヤ リ プレーショ ンデータ を保持するキヤ リ プレ ーシ ョ ンデータ保持部と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ ブレーショ ンずれを判定するキ ャ リ ブレーシ ョ ンずれ判定部と、

前記キ ヤ リ ブ レーシ ョ ンずれ判定部が判定したキヤ リ ブ レ ーショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

前記撮影装置に係るキヤ リ プレーショ ンと所定の相関を有 する情報乃至所定の操作に応じてキヤ リ ブレーショ ンずれ検 出を行う'か否かを判断する状況判断部と、

を具備する こ と を特徴とするキ ヤ リ ブレーシ ョ ンずれ検出 装置。

4 4 . 基準位置を規定するために利用される所定の外部 装置とス テ レオ画像を撮影するための撮影装置間のキヤ リ プ レーシ ョ ンに係るキ ヤ リ ブレーシ ョ ンデータを保持するキヤ リ ブレーシ ョ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キ ヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ プレーショ ン. データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フ ィ ケーショ ン処理部と、

前記レ ク テ ィ フ ィ ケーシ ョ ン処理部に よ っ て レク テ ィ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部が抽出した特徴に基づき、 前記キヤ リ ブレ ーショ ンデータ保持部に保持されたキヤ リ プレーショ ンデー タに関するキヤ リ ブレーショ ンずれを判定するキヤ リ ブレー シ ョ ンずれ判定部と、 前記キ ヤ リ ブ レーシ ョ ンずれ判定部が判定したキヤ リ プ レ —ショ ンずれの有無等の判定結果を呈示するためのずれ結果 呈示部と、

前記撮影装置に係るキヤ リ ブレーショ ンと所定の相関を有 する情報乃至所定の操作に応じてキヤ リ プレーショ ンずれ検 出を行う か否かを判断する状況判断部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出

4 5 . 前記キヤ リ プ レーシ ョ ンデータ保持部に保持され たキ ャ リ ブ レーシ ョ ンデータに基づき、 前記撮影装置によ り 得たステ レオ画像に対しディ ス トーシ ョ ンを補正するデイ ス ト ーシ ョ ン処理を施すディ ス ト ーショ ン捕正処理部を更に具 備する こ と を特徴とする請求項 2 9乃至 4 4 の何れか 1 に記 载のキヤ リ プレーシ ョ ンずれ検出'装置。

4 6 . 前記特徴抽出部は、 当該ステレオ画像の対応関係 にある特徴を複数抽出する よ う に構成されたこ と を特徴とす る請求項 2 9 乃至 4 4の何れか 1 に記載のキヤ リ ブレーショ ンずれ検出装置。 '

4 7 . 前記特徴抽出部は、 前記撮影装置によ り得たステ 'レオ画像の対応関係にある特徴を複数抽出 し、 該複数抽出さ れた対応のとれた特徴の う ち異常と判定でき る特徴は排除し て、 前記キヤ リ ブレーショ ンずれ判定部でのずれ判定に供す る よ う に構成されたこ と を特徴とする請求項 2 9 乃至 4 4 の 何れか 1 に記載のキヤ リ ブレーショ ンずれ検出装置。

4 8 . 前記キャ リ ブ レーシ ョ ンずれ判定部は、 前記撮影 装置によ り 得たステ レオ画像の対応関係にある特徴について、 前記キヤ リ プ レーシ ョ ンデータ保持部が保持するキヤ リ プ レ ーショ ンデータ に基づく ェピポーラ線拘束を利用してキヤ リ プレーショ ンずれを判定する よ う に構成されたこ と を特徴と する請求項 2 9 乃至 4 4の何れか 1 に記載のキヤ リ プレーシ ョ ンずれ検出装置。

4 9 . 前記特徴抽出部は、 前記撮影装置によ り得たス テ レオ画像の一方の画像内でキヤ リ ブレーショ ンずれ検出に有 効な特徴を選択する特徴選択部と、 当該選択された特徴に対 応する特徴を他方の画像内から抽出若しく は探索する特徴対 応探索部と、 を含んでなる こ と を特徴とする請求項 2 9 乃至 4 4の何れか 1 に記載のキヤ リ ブレ ショ ンずれ検出装置。 ·

5 0 . 前記キャ リ ブ レーシ ョ ンデータ保持部は、 相対的 な位置関係が既知な複数の特徴のデータを保持する も のであ り 、 前記キ ャ リ ブ レーシ ョ ンずれ判定部は、 前記特徴抽出部 が抽出 した特徴を表す情報に前記キヤ リ ブ レーシ ヨ ンデータ 保持部が保持する前記位置関係を表すデータ も利用 してキヤ リ プレーシヨ ンずれ判定を行う ものである こ .と を特徴とする 請求項 2 9 乃至 4 4 の何れカゝ 1 に記載のキヤ リ ブレーショ ン ずれ検出装置。

5 1 . 前記撮影装置と して、 複数の視点によ る視差を生 じ る複数の像を得る光学系と単一のカメ ラ部と を有するステ レオアダプタ方式の撮影装置に対してそのキヤ リ プレーショ ンずれ検出を行う よ う に構成されたこ と を特徴とする請求項 2 9 乃至 4 4の何れ力 > 1 に記載のキヤ リ プレーショ ンずれ検 出装置。

5 2. 前記撮影装置と しての、 複数のカメ ラ を含んでな る撮像システムを対象と してキヤ リ ブレーシ ョ ンずれ検出を 行う よ う に構成されたものである こ と を特徴とする請求項 2 9 乃至 4 4 の何れか 1 に記載のキヤ リ プレーショ ンずれ検出 装置。

5 3 . 車载型の前記撮像装置に係るキャ リ ブレーシ ョ ン ずれを検出する よ う に構成されたこ と を特徴とする請求項 2 9 乃至 4 4の何れ力 1 に記載のキヤ リ プレーショ ンずれ検出

5 4. 前記状況判断部は、 外部センサの出力に基づいて 状況判断を行う こ と を特徴とする請求項 3 7乃至 4 4 の何れ か 1 に記載のキヤ リブレーショ ンずれ検出装置。

5 5 . 前記ずれ結果呈示部は、 前記キャ リ ブレーシ ョ ン ずれ判定部との協働によ り ずれ検出に係る処理動作中であ る 旨を表示可能に構成されたものである こ と を特徴とする請 求項 3 3、 3 4、 3 5、 3 6、 4 1、 4 2、 4 3及ぴ 4 4の 何れか 1 に記載のキヤ リ ブレーシ ョ ンずれ検出装置。

5 6 . ' 前記ずれ結果呈示部は、 前記キャ リ ブレーシ ョ ン ずれ判定部との協働によ り 、 ずれ検出に係る処理の結果と し て得られたパラ メータ と前記キヤ リ ブレーショ ンデータ保持 部に予め保持されていたパラメ ータ との差異を表わす情報を 表示可能に構成されたものである こ と を特徴とする請求項 3 3、 3 4、 3 5、 3 6、 4 1、 4 2、 4 3及び 4 4 の何れか 1 に記載のキヤ リ プレーショ ンずれ検出装置。 5 7 . 前記ずれ結果呈示部は、 前記キャ リ ブ レーシ ョ ン ずれ判定部との協働によ り 、 正規のずれ検出が行われ得なか つたと きにはその旨を表わすエラーコー ドを表示可能に構成 されたものである こ と を特徴とする請求項 3 3 、 3 4、 3 5 、

3 6 、 4 1 、 4 2、 4 3及ぴ 4 4 の何れ力 1 に記載のキヤ リ ブレーショ ンずれ検出装置。

5 8 . 前記ずれ結果呈示部は、 前記キ ャ リ ブ レーシ ョ ン ずれ判定部どの協働によ り 、 ずれ検出に関する信頼度を表す ス テータ スを表示可能に構成された も のである こ と を特徴と する請求項 3 3 、 3 4、 3 5 、 3 6 、 4 1 、 4 2 、 4 3及び

4 4の何れか 1 に記載のキヤ リ プレーシ ョ ンずれ検出装置。

5 9 . 前記特徴抽出部は、 前記撮影装置によ り得たステ レオ画像に関する信頼度を弁別する よ う に構成され、 該特徴 抽出部が前記撮影装置によ り 得たステ レオ画像に関する信頼 度が不十分である こ と を弁別したと き には、 該撮影装置によ る撮影処理を繰り 返すよ う に制御する制御が更に設け られる こ と を特徴とする請求項 2 9 乃至 4 4 の何れかに記載のキヤ リ プレーシ ョ ンずれ検出装置。

6 0 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像部と . 前記撮像部のキヤ リ プレーショ ンずれを検出するキヤ リ プ レーシ ョ ンずれ検出部と、

前記キヤ リ プ レーシ ョ ンずれ検出部の検出出力データ を勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、 を具備するステ レオカメ ラであって、

前記キャ リ ブレーショ ンずれ検出部は、

前記撮像部に係るキヤ リ プレーショ ンデータを保持するキ ャ リ プレーショ ンデータ保持部と、

前記撮像部によ り 得た映像信号出力と してのステ レオ画像 から特徴を抽出する特徴抽出部と、

前記特徴抽出部で抽出された特徴を表す情報に基づき前記 キヤ リ ブレーシ ョ ンデータ記憶部に記憶されたキヤ リ ブレ一 シ ョ ンデータ に関するキヤ リ ブレーショ ンずれを判定するキ ャ リ ブレーショ ンずれ判定部と、

を有するこ とを特徴とするステ レオカメ ラ。

6 1 . 相互に離隔した複数の視点による視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像部と、 前記撮像部のキヤ リ プレーシ ョ ンずれを検出するキヤ リ ブ レーショ ンずれ検出部と、

前記キヤ リ ブレーシ ョ ンずれ検出部の検出出力データを勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

を具備するステ レオカメ ラであって、

前記キャ リ ブレーショ ンずれ検出部は、 '

前記撮像部に係るキヤ リ プレーショ ンデータを保持するキ ャ リ ブレーショ ンデータ保持部と、

前記撮像部が撮像したステ レオ画像を、 前記キヤ リ プレー シ ョ ンデータ保持部に保持されたキヤ リ ブレーシ ョ ンデータ に基づいて レク ティ フ ィ ケーシ ョ ン処理する レク ティ フ ィ ケ ーシ ョ ン処理部と、

前記レクティ フィ ケーショ ン処理部が処理した レクティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出部と、

前記特徴抽出部で抽出された特徴を表す情報に基づき前記 キヤ リ ブ レーショ ンデータ記憶部に記憶されたキヤ リ プレー シ ョ ンデータに関するキヤ リ プ レーシ ョ ンずれを判定する キ ヤ リ ブ レーシ ヨ ンずれ判定部と、

を有する こ とを特徴とするステ レオカ メ ラ。

6 2 . 相互に離隔した複数の視点による視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像部と、 前記撮像部と所定の基準位置を規定する外部装置と の間の キヤ リ ブ レーシ ヨ ンずれを検出する キ ヤ リ プ レーショ ンずれ 検出部と、

前記キヤ リ ブレーショ ンずれ検出部の検出出力を勘案して 前記撮像部で得た映像信号出力に依拠して被写体の距離等の データを算出する演算部と、

を具備するステ レオカ メ ラ であっ て、

前記キヤ リ ブレーシ ョ ンずれ検出部は、

前記基準位置を規定するために利用される所定の外部装置 と前記撮像部の間のキヤ リ プレーショ ンずれに係るキヤ リ プ レーシ ョ ンデータを記憶するキヤ リ ブ レーシ ョ ンデータ記憶 部と、

前記撮像部によ り 得た映像信号出力 と してのス テ レオ画像 から特徴を抽出する特徴抽出部と、 前記特徴抽出部で抽出された特徴に基づき前記キヤ リ ブレ ーショ ンデータ保持部に保持されたキヤ リ プレーショ ンデー タに関するキヤ リ プレーショ ンずれを判定するキヤ リ ブレー ショ ンずれ判定部と、

を有するこ とを特徴とするステ レオカメ ラ。

6 3 . 相互に離隔 した複数の視点によ る視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像部と、 前記撮像部と所定の基準位置を規定する外部装置との間の キヤ リ プレーショ ンずれを検出する キヤ リ ブレーショ ンずれ 検出部と、

前記キヤ リ ブレーショ ンずれ検出部の検出出力を勘案して 前記撮像部で得た映像信号出力に依拠して被写体の距離等の データを算出する演算部と、

を具備するステレオカメ ラであって、

前記キヤ リ ブレーショ ンずれ検出部は、

前記撮像部に係るキヤ リ プレーショ ンデータを保持するキ ャ リ ブレーショ ンデータ保持部と、

前記撮像部が撮像したステ レオ画像を、 前記キヤ リ プレー ショ ンデータ保持部に保持されたキヤ リ ブレーショ ンデータ に基づいて レクティ フ ィ ケーシ ョ ン処理する レク ティ フ ィ ケ ーショ ン処理部と、

前記レクティ フィ ケーシ ョ ン処理部によ って レク ティ フィ ケーショ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出部で抽出された特徴を表す情報に基づき前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ プレーショ ンずれを判定するキ ャ リ ブレーシ ョ ンずれ判定部と、

を有することを特徴とするステ レオカメ ラ。

6 4 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表わす映像信号出力を.得る よ う になされた撮像部 と、

前記撮像部のキヤ リ ブレーシ ョ ンずれを検出するキヤ リ ブ レーシ ヨ ンずれ検出部と、

前記キ ヤ リ ブ レーショ ンずれ検出部の検出出力データを勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キャ リ ブ レーシ ョ ンずれ検出部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行 う ための表示部と、 を含んで構成されたステ レオカメ ラシステムであっ て、 前記キヤ リ-ブレーシ ヨ ンずれ検出部は、 · - 一

前記撮像部に係るキヤ リ プ レーシ ョ ンデータ を保持する キャ リ ブレーシ ョ ンデータ保持部と、

前記撮像部によ り得た映像信号出力と してのステ レオ画 像から特徴を抽出する特徴抽出部と、

前記特徴抽出部で抽出された特徴を表わす情報に基づき 前記キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ プ レーシ ョ ンデータに関するキヤ リ プ レーシ ョ ンずれを判定す るキヤ リ プレーシ ョ ンずれ判定部と、

を含んで構成された も のであり 、 前記表示部は、

前記キヤ リ ブレーショ ンずれ判定部の判定結果を自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステレオカメ ラシステム。

6 5 . 相互に離隔 した複数の視点によ る視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像部 と、

前記撮像部のキヤ リ ブレーショ ンずれを検出するキヤ リ ブ レーショ ンずれ検出部と、

前記キヤ リ ブレーショ ンずれ検出部の検出出力データを勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キャ リ ブレーシ ョ ンずれ検出部、 演算部、 並びに、 前 記撮像部の出力に関連 した所要の表示を行 う ための表示部と、 を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リ プレーショ ンずれ検出部は、 . - 前記撮像部に係るキヤ リ プレーシ ョ ンデータを保持する キャ リ ブレーショ ンデータ保持部と、

前記撮像部によ り 得た映像信号出力と してのステ レオ画 像に対し前記キヤ リ ブレーショ ンデータ保持部に保持された キヤ リ プレーシ ョ ンデータ に基づ く レクティ フ ィ ケーシ ョ ン 処理を施すレクティ フィケーショ ン処理部と、

前記レクテ ィ フ ィ ケーショ ン処理部に よ って レク ティ フ ィ ケーシ ョ ンされたステ レオ画像から特徴を抽出する特徴抽 出部と、 前記特徴抽出部で抽出された特徴を表わす情報に基づき 前記キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ ブ レーシ ョ ンずれを判定す る キヤ リ ブレーシ ョ ンずれ判定部と、

を含んで構成された も のであ り 、

前記表示部は、

前記キヤ リ ブ レーシ ョ ンずれ判定部の判定結果を 自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステ レオカ メ ラ システム。

6 6 . 相互に離隔した複 の視点による視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像部 と'、

前記撮像部と所定の基準位置を規定する外部装置との間の キヤ リ プ レーシ ョ ンずれを検出するキ ヤ リ ブ レーシ ョ ンずれ 検出部と、

前記キヤ リ プレーシ ョ ンずれ検出部の検出出力データ を勘 案して前記撮像部で た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、 ' 前記キャ リ ブ レーシ ョ ンずれ検出部、 演算部、 並びに、 前 記撮像部の出力に関連 した所要の表示を行 う ための表示部と . を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リ ブレーショ ンずれ検出部は、

前記基準位置を規定するために利用される所定の外部装 置と前記撮像部間のキヤ リ プレーショ ンに係るキヤ リ プレー シ ョ ンデータを保持するキヤ リ ブ レーシ ョ ンデータ保持部と， 前記撮像部によ り 得た映像信号出力と してのステ レオ画 像から特徴を抽出する特徴抽出部と、

前記特徴抽出部で抽出された特徴を表わす情報に基づき 前記キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ プ レーショ ンデータに関するキヤ リ プレーショ ンずれを判定す るキヤ リ ブレーショ ンずれ判定部と、

を含んで構成されたものであり 、

前記表示部は、

前記キヤ リ ブレーショ ンずれ判定部の判定結果を自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステ レオカメ ラ システム。

6 7 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像部 と、

前記撮像部と所定の基準位置を規定する外部装置との間の キヤ リ ブレーシ ョ ンずれを検出するキヤ リ ブ .レ^ショ ンずれ 検出部と、

前記キヤ リ プレーショ ンずれ検出部の検出出力データ を勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キャ リ ブレーシ ョ ンずれ検出部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行 う ための表示部と， を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リ プレーショ ンずれ検出部は、

前記基準位置を規定するために利用される所定の外部装 置と前記撮像部間のキャ リ ブ レーシ ョ ンに係るキ ヤ リ ブレー シ ョ ンデータを保持する キヤ リ ブ レーシ ョ ンデータ保持部と、 前記撮像部によ り得た映像信号出力と してのステ レオ画 像に対し前記キヤ リ ブ レーショ ンデータ保持部に保持された キヤ リ ブ レーシ ョ ンデータ に基づ く レ ク テ ィ フ ィ ケーシ ョ ン 処理を施すレクティ フィケーショ ン処理部と、

前記レクティ フィ ケーショ ン処理部によって レクティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出部と、

前記特徴抽出部で抽出された特徴を表わす情報に基づき 前記キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ ブ レーシ ョ ンずれを判定す るキヤ リ プ レーショ ンずれ判定部と、

を含んで構成されたものであ り 、

前記表示部は、

前記キヤ リ ブレ シ ョ ンずれ判定部の判定結果を自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステ レオカメ ラ システム。

6 8 . 前記表示部は、 前記キャ リ ブ レーシ ョ ンずれ判定 部との協働によ り 、 ずれ検出に係る処理動作中である旨を表 示可能に構成されたものである こ と を特徴とする請求項 6 4 、 6 5 、 6 6 及ぴ 6 7の何れか 1 に記載のステ レオカメ ラシス テム。

6 9 . 前記ずれ結果呈示部は、 前記キ ャ リ ブ レーシ ョ ン ずれ判定部との協働によ り 、 ずれ検出に係る処理の結果と し て得られたパラメータ と前記キヤ リ プレーショ ンデータ保持 部に予め保持されていたパラメ ータ との差異を表わす情報を 表示可能に構成されたものである こ と を特徴とする請求項 6 4、 6 5、 6 6及ぴ 6 7の何れ力 1 に記載のステ レオカメ ラ システム。

7 0 . 前記ずれ結果呈示部は、 前記キャ リ ブレーシ ョ ン ずれ判定部との協働によ り 、 正規のずれ検出が行われ得なか つた と き にはその旨を表わすエラーコー ドを表示可能に構成 されたものである こ と を特徴とする請求項 6 4、 6 5、 6 6 及び 6 7の何れか 1 に記載のステレオカメ ラシステ.ム。

7 1 . 前記キヤ リ ブレーショ ンずれ検出部は、 その特徴 抽出部が前記撮像部によ り 得たステ レオ画像に関する信頼度 を弁別する よ う に構成され、 該特徴抽出部が前記撮像部によ . り得たステ レオ画像に関する信頼度が不十分である こ と を弁 別したと きには、 該撮像部によ る撮像処理を繰り 返すよ う に 制御する制御部を更に具えたこ と を特徴とする請求項 6 4、 6 5、 6 6及び 6 7の何れ力 1 に記載のステ レオカメ ラシス テム。

7 2 . 前記キャ リ ブレーシ ョ ンずれ検出部は、 当該外部 装置と して、 前記撮像部が装備された車両の特定の形状部を 適用する ものであるこ と を特徴とする請求項 6 5若しく は 6 6 に記載のステ レオカメ ラシステム。

7 3 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータを保持する キヤ リ ブレーシ ョ ンデータ保持 手段と、 前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ プ レーシ ョ ンデータに関するキヤ リ プ レーシ ョ ンずれを判定す る キャ リ ブレーシ ョ ンずれ判定手段と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 装置。

7 4 . ステ レオ画像を撮影する撮影装置に係るキヤ リ プ レーシ ョ ンデータを保持するキヤ リ プ レーシ ョ ンデータ保持 手段と、 '

前記撮影装置が撮影したス テ レオ画像に対し、 前記キ ヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータに基づく レクティ フィ ケーシ ョ ン処理を施すレクテ ィ フィケーショ ン処理手段と、

前記レクティ フィ ケーショ ン処理手段によってレクティ ブ ィ ケーシ ョ ンざれたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プ レーショ ンデータ保持手段に保持されたキヤ リ プ レーシ ョ ンデー タ に関するキヤ リ プ レーシ ョ ンずれを判定す るキヤ リ プレーシ ョ ンずれ判定手段と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 装置。

7 5 . 基準位置を規定するために利用 される所定の外部 装置と撮影装置間のキヤ リ ブレーショ ンに係るキヤ リ プレー ショ ンデータを保持するキヤ リ ブレーショ ンデータ保持手段 と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ ブ レーショ ンデータに関するキヤ リ ブレーショ ンずれを判定す るキヤ リ プレーショ ンずれ判定手段と、

を具備する こ と 特徴とするキヤ リ ブレーシ ョ ンずれ検出

7 6 . 基準位置を規定するために利用される所定の外部 装置とステ レオ画像を撮影する撮影装置間のキヤ リ ブレーシ ョ ンに係る キヤ リ プレーシ ョ ンデータ を保持する キヤ リ ブレ ーシヨ ンデータ保持手段と、

前記撮影.装置が撮影 したステ レオ画像に対し、.前記キヤ リ. ブレーシヨ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に基づく レクティ フィ ケーショ ン処理を施すレクテ ィ フィ ケーショ ン処理手段と、

前記レク ティ フィ ケーシ ョ ン処理手段によ って レク ティ フ ィ ケーシ ョ ンされたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ プ レーショ ンデータに関するキヤ リ プレーシ ョ ンずれを判定す る キヤ リ プレーシ ョ ンずれ判定手段 と 、

を具備する こ と を特徴とする キヤ リ プレーショ ンずれ検出

7 7 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータ を保持するキヤ リ ブレーシ ョ ンデータ保持 手段と、

前記撮影装置が撮影 したステ レオ画像か ら特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを判定す るキヤ V ブレーショ ンずれ判定手段と、

前記キヤ リ ブ レーシ ョ ンずれ判定手段が判定したキヤ リ ブ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

を具備する こ と を特徴とする キヤ リ ブ レーシ ョ ンずれ検出 装置。

7 8 . ステ レオ画像を撮影する撮影装置に係る キヤ リ ブ レーショ ンデータ を保持するキヤ リ ブレーシ ョ ンデータ保持 手段と、 '

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ プ レーシ ョ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に基づ く レク ティ フ ィ ケーシ ヨ ン処理を施すレクテ ィ フ ィ ケーシ ョ ン処理装置と 、

前記レク ティ フィ ケーシ ヨ ン処理手段によ って レクティ フ ィ ケーショ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キ ヤ リ プ レーシ ョ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ ブ レーシ ョ ンずれを判定す るキャ リ ブレーショ ンずれ判定手段と、

前記キヤ リ プレーショ ンずれ判定手段が判定したキヤ リ ブ レーショ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

を具備する こ と を特徴とするキ ャ リ ブ レーシ ョ ンずれ検出

7 9 . 基準位置を規定するために利用 される所定の外部 装置とステ レオ画像を撮影する撮影装置間のキヤ リ ブレーシ ョ ンに係るキヤ リプレーショ ンデータ を保持するキヤ リ プレ ーシ ョ ンデータ保持手段と、

前記撮影装置が撮影 したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ プ レーシ ョ ンデータ に関するキヤ リ ブ レーシ ョ ンずれを判定す るキヤ リ プレーショ ンずれ判定手段と、

前記キヤ リ プレーショ ンずれ判定手段が判定したキヤ リ ブ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

を具備するこ と を特徴とするキヤ リ ブレーショ ンずれ検出 装置。

8 0 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する撮影装置間のキヤ リ プレーシ ョ ンに係るキヤ リ プレーショ ンデータ を保持するキヤ リ プレ ーシ ョ ンデータ保持手段と、

前記撮影装置が撮影 したステ レオ画像に対し、 前記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータに基づく レクティ フィ ケーショ ン処理を施すレクテ ィ フィケーシヨ ン処理手段と、 .

前記レクティ フィ ケーシヨ ン処理手段によってレクティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ ブレーシ ョ ンずれを判定す る キャ リ ブレーシ ョ ンずれ判定手段と、 - 前記キヤ リ ブレーショ ンずれ判定手段が判定したキヤ リ プ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

を具備するこ と を特徴とするキヤ リ プレーシ ョ ンずれ検出 装置。

8 1 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーシ ョ ンデータを保持する キヤ リ プ レーシ ョ ンデータ保持 手段と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーショ ンデータ に関する キヤ リ ブレーシ ョ ンずれを判定す るキャ リ ブレーシ ョ ンずれ判定手段と、

前記撮影装置に係る キヤ リ プレーシ ョ ンと所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ プレーシ ョ ンずれ検 出を行う か否かを判断する状況判断手段と、

を具備する こ と を特徴とする キャ リ ブ レーシ ョ ンずれ検出

8 2 . ステ レオ画像を撮影する撮影装置に係る キ ヤ リ ブ レーショ ンデータ を保持するキヤ リ ブレーシ ョ ンデータ保持 手段と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ ブレーショ ンデータ に基づく レク ティ フィ ケーシ ヨ ン処理を施すレク テ ィ フィ ケーショ ン処理装置と、

前記レク ティ フ ィ ケーシ ョ ン処理手段に よ って レク テ ィ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、 - 前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを判定す るキヤ リ ブレーショ ンずれ判定手段と、

前記撮影装置に係る キャ リ ブ レーシ ョ ン と所定の相関を有 する情報乃至所定の操作に応じてキヤ リ プレーショ ンずれ検 出を行うか否かを判断する状況判断手段と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ検出 装置。

8 3 . 基準位置を規定するために利用される所定の外部 装置とステ レオ画像を撮影する撮影装置間のキヤ リ プレーシ ョ ンに係るキヤ リ ブレーショ ンデータ を保持するキヤ リ ブレ ーショ ンデータ保持手段と、

前記撮影装置が撮影 したス テ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ ブレーシ ョ ンずれを判定す るキャ リ ブレーシ ョ ンずれ判定手段と、

前記撮影装置に係るキヤ リ ブレーショ ンと所定の相関を有 する情報.乃至所定の操作に応じてキヤ リ ブレーショ ンずれ検 出を行うか否かを判断する状況判断手段と、

を具備する こ と を特徴とするキヤ リ ブレーシ ョ ンずれ検出 装置。

8 4 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する撮影装置間の キヤ リ プ レーシ ョ ンに係るキヤ リ プレーショ ンデータ を保持するキヤ リ プレ ーシ ョ ンデータ保持手段と、

前記撮影装置が撮影 したス テ レオ画像に対し、 前記キ ヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に基づ く レク ティ フィ ケーシ ヨ ン処理を施すレクテ ィ フィ ケーショ ン処理手段と、

前記レク ティ フ ィ ケーショ ン処理手段によ って レク ティ フ ィ ケーシ ヨ ンされたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プ レーシ ョ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを判定す るキヤ リ ブレーショ ンずれ判定手段と 、

前記撮影装置に係る キヤ リ プレーシ ョ ン と所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ ブレーショ ンずれ検 出を行う か否かを判断する状況判断手段と、

を具備する こ と を特徴とする キヤ リ ブレーシ ョ ンずれ検出

8 5 . ス テ レオ画像を撮影する撮影装置に係るキ ヤ リ ブ レーシ ョ ンデータ を保持するキ ヤ リ プ レーシ ョ ンデータ保持 手段と、

前記撮影装置が撮影 したステ レオ画像か ら特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブ レーシ ョ ンデータ保持手段に保持されたキ ヤ リ ブ レーシ ョ ンデータ に関する キヤ リ プ レーシ ョ ンずれを判定す るキヤ リ プレーショ ンずれ判定手段と、

前記キヤ リ プレーシ ヨ ンずれ判定手段が判定したキヤ リ ブ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

前記撮影装置に係る キヤ リ ブレーシ ョ ン と所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ ブレーシ ョ ンずれ検 出を行う か否かを判断する状況判断手段と、

を具備する こ と を特徴とする キヤ リ ブレーショ ンずれ検出

8 6 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータ を保持するキヤ リ ブレーシ ョ ンデータ保持 手段と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ ブレーショ ンデータ に基づく レク ティ フィ ケーシ ヨ ン処理を施すレク テ ィ フィ ケーシ ヨ ン処理手段と、

前記レク ティ フ ィ ケーショ ン処理手段に よ って レク テ ィ フ ィ ケーシ ヨ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出ぶが抽出 した特徴を表す情報に基づき、 前記 キヤ リ プレーシ ョ ンデータ保持手段に保持されたキヤ リ ブレ ーシ ョ ンデータ に関するキヤ リ ブレーシ ョ ンずれを判定する キヤ リ ブレーシ ョ ンずれ判定手段と、

前記キヤ リ プレーシ ョ ンずれ判定手段が判定したキヤ リ ブ レーショ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

前記撮影装置に係るキャ リ ブ レーシ ョ ン と所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ プレーシ ョ ンずれ検 出を行うか否かを判断する状況判断手段と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ検出

8 7 . 基準位置を規定するために利用 された所定の外部 装置とス テ レオ画像を撮影する撮影装置間のキヤ リ プ レーシ ョ ンに係るキヤ リ プレーショ ンデータ を保持するキヤ リ プレ ーショ ンデータ保持手段と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ヨ ンデータ に関するキヤ リ プ レーシ ョ ンずれを判定す るキヤ リ ブレーショ ンずれ判定手段と、

前記キヤ リ プレーショ ンずれ判定手段が判定したキヤ リ プ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、 - 前記撮影装置に係るキャ リ ブレーショ ンと所定の相関を有 する情報乃至所定の操作に応じてキヤ リ ブレーショ ンずれ検 出を行うか否かを判断する状況判断手段と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ検出 装置。

8 8 . 基準位置を規定するために利用 される所定の外部 装置とス テ レオ画像を撮影する た めの撮影装置間のキヤ リ プ レーショ ンに係るキヤ リ プレーシヨ ンデータ を保持するキヤ リ プレーシ ョ ンデータ保持手段と、 前記撮影装置が撮影 したステ レオ画像に対し、 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーシ ョ ンデータ に基づ く レク ティ フ ィ ケーシ ヨ ン処理を施すレクテ ィ フィ ケーショ ン処理手段と、

前記レク テ ィ フィ ケーシ ヨ ン処理手段によ って レクティ フ ィ ケーシ ヨ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴に基づき、 前記キヤ リ ブ レーシ ョ ンデータ保持手段に保持されたキヤ リ プレーシ ョ ン データ に関する キヤ リ ブ レーシ ョ ンずれを判定する キヤ リ ブ レーシ ョ ンずれ判定手段と、

前記キ ヤ リ ブレーシ ョ ンずれ判定手段が判定したキヤ リ ブ レーシヨ ンずれの有無等の判定結果を呈示するためのずれ結 果呈示手段と、

前記撮影装置に係る キヤ リ ブレーシ ョ ンと所定の相関を有 する情報乃至所定の操作に応 じてキヤ リ ブレーシ ョ ンずれ検 出を行う か否かを判断する状況判断手段と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ検出 装置。

8 9 . 相互に離隔 した複数の視点によ る視差を持った複 数の映像を表す映像信号出力を得る よ う にな された撮像手段 と、

前記撮像手段のキヤ リ プレーシ ョ ンずれを検出するキヤ リ プレーシ 3 ンずれ検出手段と、

前記キヤ リ ブレーシ ョ ンずれ検出手段の検出出力データ を 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

を具備するステ レオカメ ラであって、

前記キヤ リ プ レーシ ョ ンずれ検出手段は、

前記撮像手段に係るキヤ リ ブ レーシ ョ ンデータを保持する キヤ リ プレーシ ョ ンデータ保持手段と、

前記撮像手段によ り 得た映像信号出力 と してのステ レオ画 像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき前 記キヤ リ プ レーシ ョ ンデータ記憶手段に記憶されたキヤ リ ブ レーシ ョ ンデータに関するキヤ リ プ レーシ ョ ンずれを判定す る キヤ リ ブ レーシ ョ ンずれ判定手段と、

を有する こ と を特徴とするステ レオカメ ラ。

9 0 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像手段 と、

前記撮像手段のキヤ リ プ レーシ ョ ンずれを検出するキ ヤ リ ブレーショ ンずれ検出手段と、

前記キヤ リ ブレーショ ンずれ検出手段の検出出力データを 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

を具備するステ レオカメ ラであって、

前記キヤ リ プレーシ ョ ンずれ検出手段は、

前記撮像手段に係るキヤ リ プレーショ ンデータを保持する キヤ リ プレーショ ンデータ保持手段と、 前記撮像手段が撮像したステ レオ画像を、 前記キヤ リ プレ ーシ 3 ンデータ保持手段に保持されたキヤ リ ブレーシ ョ ンデ ータ に基づいて レク ティ フ ィ ケーシ ョ ン処理する レクテ ィ フ ィケーショ ン処理手段と、

前記レクティ フィ ケーショ ン処理手段が処理したレクティ フィ ケーシ ョ ンされたステ レオ画像から特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき前 記キヤ リ ブレーショ ンデータ記憶手段に記憶されたキヤ リ ブ レーショ ンデータに関するキヤ リ プレーシ ョ ンずれを判定す るキャ リ ブレーショ ンずれ判定手段と、

を有する こ とを特徴とするステ レオカメ ラ。

9 1 . 相互に離隔した複数の視点による視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像手段 と、

前記撮像手段と所定の基準位置を規定する外部装置と の間 のキヤ リ プレーショ ンずれを検出するキヤ リ プレーショ ンず れ検出手段と、

前記キヤ リ プレーショ ンずれ検出手段の検出出力を勘案し て前記撮像手段で得た映像信号出力に依拠して被写体の距離 等のデータを算出する演算手段と、

を具備するステ レオカメ ラであって、

前記キヤ リ ブレーショ ンずれ検出手段は、

前記基準位置を規定するために利用 される所定の外部装置 と前記撮像手段の間のキヤ リ プレーショ ンずれに係るキヤ リ ブ レーシ ョ ンデータ を記憶する キ ヤ リ プ レーシ ョ ンデー タ 記 憶手段と、 ' 前記撮像手段によ り 得た映像信号出力と してのステ レオ画 像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴に基づき前記キヤ リ ブ レーシ ョ ンデータ保持手段に保持されたキ ヤ リ プ レーシ ョ ン データに関するキヤ リ ブ レーシ ョ ンずれを判定するキヤ リ ブ レーシ ヨ ンずれ判定手段と、

を有する こ と を特徴とするステ レオカメ ラ。

9 2 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表す映像信号出力を得る よ う になされた撮像手段 と、

前記撮像手段と所定の基準位置を規定する外部装置と の間 のキヤ リ ブレーショ ンずれを検出するキヤ リ プレーショ ンず れ検出手段と、

前記キヤ リ ブレー.ショ ンずれ検出手段の検出出力を勘案し て前記撮像手段で得た映像信号出力に依拠して被写体の距離 等のデータを算出する演算手段と、

を具備するステレオカメ ラであって、

前記キヤ リ ブレーショ ンずれ検出手段は、

前記撮像手段に係るキヤ リ プ レーシ ョ ンデータを保持する キヤ リ プレーショ ンデータ保持手段と、

前記撮像手段が撮像したス テ レオ画像を、 前記キヤ リ ブレ ーショ ンデータ保持手段に保持されたキヤ リ ブレーショ ンデ ータ に基づいて レク テ ィ フ ィ ケーシ ョ ン処理する レク テ ィ フ ィケーシ ヨ ン処理手段と、

前記レクティ フィ ケーショ ン処理手段によってレクティ フ ィ ケーシヨ ンされたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデー タ に関するキヤ リ ブ レーシ ョ ンずれを判定す るキャ リ ブレーシ ョ ンずれ判定手段と、

を有するこ とを特徴とするステ レオカメ ラ。

9 3 . 相互に離隔した複数の視点による視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像手 段と、

前記撮像手段のキヤ リ プレーショ ンずれを検出するキヤ リ プレーシ ョ ンずれ検出手段と、

前記キヤ リ プレーショ ンずれ検出手段の検出出力データ を 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キ ャ リ ブ レーシ ョ ンずれ検出手段、 演算手段、 並びに、 前記撮像手段の出力に関連した所要の表示を行う ための表示 手段と、 - を含んで構成されたステ レオカメ ラシステムであっ て、 前記キヤ リ ブレーショ ンずれ検出手段は、

前記撮像手段に係るキヤ リ プレーショ ンデータを保持す るキヤ リ ブレーショ ンデータ保持手段と、

前記撮像手段によ り得た映像信号出力と してのス テ レオ 画像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴を表わす情報に基づ き前記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ プレーシヨ ンデータに関するキャ リ ブレーシ ョ ンずれを判 定するキヤ リ ブレーショ ンずれ判定手段と、

を含んで構成されたものであ り 、

前記表示手段は、

前記キヤ リ ブレーシ ョ ンずれ判定手段の判定結果を 自 己 の表示面に表示可能に構成されたものである こ と を特徴とす るステ レオカメ ラシステム。

9 4 . 相互に離隔した複数の視点によ る視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像手 段と、

前記撮像手段のキヤ リ ブレーショ ンずれを検出するキヤ リ ブレーショ ンずれ検出手段と、

前記キャ リ ブレーシ ョ ンずれ検出手段の検出出力データを 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キヤ 3；·プレーシヨ ンずれ検出手段、 演算手段、 並びに、 前記撮像手段の出力に関連 した所要の表示を行う ための表示 手段と、

を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リ プレーショ ンずれ検出手段は、

前記撮像手段に係るキヤ リ プレーショ ンデータを保持す るキヤ リ ブレーショ ンデータ保持手段と、 前記撮像手段によ り得た映像信号出力 と してのス テ レオ 画像に対し前記キヤ リ ブレーショ ンデータ保持手段に保持さ れたキヤ リ ブレーショ ンデータ に基づく レクティ フィ ケーシ ョ ン処理を施すレクティ フ ィ ケーシ ョ ン処理手段と、

前記レクティ フィ ケーショ ン処理手段によってレクティ フィ ケーシヨ ンされたステ レオ画像から特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段で抽出された特徴を表わす情報に基づ き前記キヤ リ プレーシ ョ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関するキ ヤ リ ブ レーシ ョ ンずれを半 IJ 定するキヤ リ ブレーショ ンずれ判定手段と、

を含んで構成されたものであ り 、

前記表示手段は、

前記キヤ リ プレーショ ンずれ判定手段の判定結果を自 己 の表示面に表示可能に構成された も のである こ と を特徴とす る ステ レオカ メ ラ システム。

9 5 . 相互に離隔した複数の視点による視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像手 段と、

前記撮像手段と所定の基準位置を規定する外部装置と の間 のキヤ リ ブレーショ ンずれを検出するキヤ リ ブレ一ショ ンず れ検出手段と、

前記キヤ リ ブレーシ ョ ンずれ検出手段の検出出力データ を 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、 前記キャ リ ブレーシ ョ ンずれ検出手段、 演算手段、 並びに、 前記撮像手段の出力に関連 した所要の表示を行う ための表示 手段と、

を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リ ブレーショ ンずれ検出手段は、

前記基準位置を規定するために利用される所定の外部装 置と前記撮像手段間のキヤ リ ブレーショ ンに係るキヤ リ プレ ーシ ョ ンデータを保持するキヤ リ ブレーシ ョ ンデータ保持手 段と、

前記撮像手段によ り 得た映像信号出力と してのステ レオ 画像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴を表わす情報に基づ き前記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブレーシ ョ ンデータに関するキヤ リ ブレーシ ョ ンずれを判 定するキヤ リ プレーショ ンずれ判定手段と、

を含んで構成されたものであ り 、

前記表示手段は、

前記キヤ リ ブレーショ ンずれ判定手段の判定結果を自 己 の表示面に表示可能に構成された ものである こ と を特徴とす るステ レオカメ ラシステム。

9 6 . 相互に離隔した複数の視点による視差を持った複 数の映像を表わす映像信号出力を得る よ う になされた撮像手 段と、

前記撮像手段と所定の基準位置を規定する外部装置と の間 のキヤ リ ブレーシ ョ ンずれを検出する キヤ リ ブレーシ ョ ンず

Claims

れ検出手段と、

前記キヤ リ ブレーシ ョ ンずれ検出手段の検出出力データ を 勘案 して前記撮像手段で得た映像信号出力に依拠 して被写体 の距離等のデータを算出する演算手段と、

前記キ ャ リ ブ レーシ ョ ンずれ検出手段、 演算手段、 並びに、 前記撮像手段の出力に関連 した所要の.表示を行 う ための表示 手段と、

を含んで構成されたステ レオカメ ラシステムであっ て、 前記キヤ リ ブ レーシ ョ ンずれ検出手段は、

前記基準位置を規定するために利用 される所定の外部装 置と前記撮像手段間のキヤ リ ブレーシ ョ ンに係る キヤ リ プレ ーシ ョ ンデータ を保持する キヤ リ プレーショ ンデータ保持手 段と、

前記撮像手段によ り 得た映像信号出力 と してのステ レオ 画像に対 し前記キヤ リ ブレーシ ョ ンデータ保持手段に保持さ れたキヤ リ プレーシ ョ ンデータ に基づく レク ティ フ ィ ケーシ ョ ン処理を施すレクティ フィ ケーショ ン処理手段と、

前記レクテ ィ フ ィ ケーショ ン処理手段によ って レク ティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段で抽出 された特徴を表わす情報に基づ き前記キ ヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ ブレーシ ヨ ンデータ に関する キヤ リ プレーショ ンずれを判 定するキヤ リ ブレーシ ョ ンずれ判定手段と、

を含んで構成された ものであ り 、 前記表示手段は、 - 前記キヤ リ プ レーシ ョ ンずれ判定手段の判定結果を 自 己 の表示面に表示可能に構成された も のである こ と を特徴とす る ステ レオカ メ ラ システム。

9 7 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブ レーショ ンデータを保持するキ ヤ リ プ レーショ ンデータ保持 部と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ ブレーショ ンずれを捕正するキ ャ リ ブレー、 ョ ンデータ捕正部と、

を具備する こ と を特徴とするキヤ リ ブ レーショ ンずれ補正 装置。

9 8 . ステ レオ画像を撮影する撮影装置に係るキ ヤ リ ブ レーシ ョ ンデータを保持するキヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したス テ レオ画像に対し、 前記キ ヤ リ プ レーシ ョ ンデータ保持部に保持されたキヤ リ ブ レーシ ョ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フ ィ ケーシ ヨ ン処理部と、

前記レクティ フィ ケーシヨ ン処理部によってレクティ フィ ケーシヨ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と、 前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブ レーシ ョ ンデータ保持部に保持されたキ ヤ リ プ レー ショ ンデータに関するキヤ リ ブレーショ ンずれを捕正するキ ャ リ プレーシ ョ ンデータ補正部と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ補正 装置。

9 9 . 基準位置を規定するために利用される所定の外部 装置と撮影装置との間のキヤ リ プレーシ ョ ンに係るキヤ リ プ レーシ ョ ンデータを保持する キヤ リ ブ レーシ ョ ンデータ保持 部と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ プレー ショ ンデータに関するキヤ リ ブレーショ ンずれを補正するキ ヤ リ ブレーシヨ ンデータ補正部と、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ補正

1 0 0 . 基準位置を規定するために利用 される所定の外 部装置と ステレオ画像を撮影する撮影装置との間のキヤ リ ブ レーシ ョ ンずれを捕正する キヤ リ ブ レーシ ョ ンデータ を保持 するキヤ リ ブレーシ ョ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ プ レーシ ョ ンデータ保持部に保持されたキヤ リ プ レーシ ョ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フィ ケーシヨ ン処理部と、

前記レクティ フィ ケーショ ン処理部が処理した レクティ フ ィ ケーシヨ ンされたス テ レオ画像から特徴を抽出する特徴抽 出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ ブレーショ ンずれを補正するキ ャ リ ブレーショ ンデータ補正部と、

を具備するこ と を特徴とするキヤ リ ブ レーショ ンずれ補正 装置。

1 0 1 . 基準位置を規定するために利用 される所定の外 部装置と ス テ レオ画像を撮影する撮影装置間のキヤ リ プ レー シ ョ ンと 当該撮影装置本体のキヤ リ ブレーシ ョ ンに関わるキ ャ リ ブ レーシ ョ ンデータを保持する キヤ リ ブ レーシ ョ ンデー タ保持部と、

前記撮.影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータに関するキヤ リ プレーショ ンずれを補正するキ ャ リ プ レーシ ョ ンデータ捕正部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ補正

1 0 2 . 基準位置を規定するために利用 される所定の外 部装置と ス テ レオ画像を撮影する撮影装置間のキヤ リ プ レー ショ ンと 当該撮影装置本体のキヤ リ プレーシ ヨ ンに係る キヤ リ ブレーシ ョ ンデータ を保持する キヤ リ ブレーシ ョ ンデータ 保持部と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ プレーシ ョ ンデータ保持部に保持されたキヤ リ プレーシ ョ ン データ に基づく レク ティ フ ィ ケーシ ヨ ン処理を施すレク ティ フィ ケーシヨ ン処理部と、

前記レク ティ フィ ケーシ ョ ン処理部によ って レク ティ フ ィ ケーショ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と 、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 前記 キヤ リ ブレーシ ョ ンデータ保持部に保持されたキヤ リ ブレー ショ ンデータ に関する キヤ リ ブレーシ ョ ンずれを補正するキ ャ リ プレーショ ンデータ捕正部と、

を具備する こ と を特徴とする キヤ リ ブレーショ ンずれ補正

1 0 3 . ステ レオ画像を撮影する撮影装置に関わるキヤ リ プレーシ ョ ンのキヤ リ プレーシ ョ ンデータ を保持する キヤ リ プレーショ ンデータ保持部と、

前記撮影装置が撮影 したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出した特徴を表す情報に基づき、 前記 キヤ リ ブレーシ ョ ンずれの有無を判定する キヤ リ ブレーショ ンずれ判定部と、

前記キヤ リ プレーシ ョ ンずれ判定部がずれあ り と判定した 場合には、 前記キヤ リ プ レーシ ョ ンデータ保持部に保持され たキヤ リ プレーシ ョ ンデータに関するキヤ リ プ レーシ ョ ンず れを捕正するキヤ リ ブレーシ ョ ンデータ補正部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ補正 装置。

1 0 4 . ス テ レオ画像を撮影する撮影装置のキヤ リ ブレ ーショ ンに係るキヤ リ ブレーショ ンデータ を保持するキヤ リ ブレーシ ョ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ ブ レーシ ョ ンデータ保持部に保持されたキ ヤ リ ブ レーシ ョ ン データに基づく レクティ フィ ケーシヨ ン処理を施すレクティ フ ィ ケーシ ヨ ン処理部と、

前記レクティ フィ ケーシヨ ン処理部によってレクティ フィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽出 部と、

前記特徴抽出装置が抽出 した特徴を表す情報に基づき キ ャ リ プレーショ ンずれの有無を判定するキヤ リ ブレーショ ン ずれ判定部と、

前記キ ヤ リ プ レーシ ヨ ンずれ判定部がずれあ り と判定した 場合には、 前記特徴抽出部が抽出 した特徴を表す情報に基づ き、 前記キヤ リ プ レーシ ョ ンデータ保持部に保持されたキヤ リ ブレーショ ンデータ に関するキヤ リ プレーショ ンずれを補 正するキヤ リ ブレーショ ンデータ補正部と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ補正 装置。

1 0 5 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ プレーショ ンのキヤ リ ブレーショ ンデータ を保持するキヤ リ プレーショ ンデータ保持部と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出部と、

前記特徴抽出部が抽出 した特徴を表す情報に基づき、 キヤ リ ブレーショ ンずれの有無判定及びずれの種類を決定するキ ャ リ プレーシ ョ ンずれ判定部と、

前記キャ リ ブ レーシ ョ ンずれ判定部がずれあ り と判定した 場合には、 ずれの種類に応じて前記キヤ リ プレーショ ンデー タ保持部に保持されたキヤ リ プレーショ ンデータに関するキ ャ リ ブレーショ ンずれを捕正するキヤ リ ブレーショ ンデータ 補正部と、

を具備する こ と を特徴とするキヤ リ ブレーシ ョ ンずれ補正

1 0 6 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ プ レーシ ョ ンの キヤ リ プ レーシ ョ ンデータ を保持する キ ヤ リ プレーショ ンデータ保持部と、

前記撮影装置が撮影したス テ レオ画像に対し、 前記キヤ リ ブ レーシ ョ ンデータ保持部に保持されたキヤ リ ブ レーシ ョ ン データに基づく レクティ フ ィ ケーショ ン処理を施すレクティ フ ィ ケーシ ヨ ン処理部と、

前記レクティ フィ ケーショ ン処理部によってレクティ フィ ケーシ ョ ンされたステ レオ画像から特徴を抽出する特徴抽出 部と、 前記特徴抽出部が抽出 した特徴を表す情報に基づき、 キヤ リ ブレーショ ンずれの有無判定及びずれの種類を決定するキ ャ リ ブレーシ ョ ンずれ判定部と、

前記キ ヤ リ ブ レーシ ョ ンずれ判定部がずれあ り と判定した 場合には、 ずれの種類に応じて前記キヤ リ ブレーショ ンデー タ保持部に保持されたキヤ リ ブ レーシ ョ ンデータに関するキ ャ リ プ レーシ ョ ンずれを補正する キヤ リ プ レーシ ョ ンデータ 捕正部と、

を具備するこ と を特徴とするキヤ リ ブ レーシ ョ ンずれ補正 装置。

1 0 7 . 前記キ ャ リ ブ レーシ ョ ンデー タ補正部が判定し たキヤ リ ブレーショ ンずれ補正結果を呈示するための補正結 果呈示部を更に具備する こ と を特徴とする請求項 9 7乃至 1 0 6 の何れか 1 に記載のキヤ リ ブレーショ ンずれ補正装置。

1 0 8 . 前記撮影装置に係るキャ リ ブ レーシ ョ ン と所定 の相関を有する情報乃至所定の操作に応じてキヤ リ プレーシ ヨ ンずれ補正を行う か否かを判断する状況判断部を更に具備 する こ と を特徴とする請求項 9 7 乃至 1 0 6 の何れかに 1記 載のキヤ リ プレーショ ンずれ補正装置。

1 0 9 . - キャ リ ブレーショ ンデータ保持部は、 前記キヤ リ プレーシヨ ンデータ補正部が補正したキヤ リ ブレーショ ン データを保持する よ う に構成されたこ と を特徴とする請求項 9 7 乃至 1 0 6 の何れか 1 に記載のキャ リ ブレーシ ョ ンずれ 捕正装置。 .

1 1 0 . 前記キ ャ リ ブ レーシ ョ ンデータ保持部に保持さ れたキャ リ ブ レーシ ョ ンデータに基づき、 前記撮影装置によ り得たス テ レオ画像に対しディ ス ト ーシ ョ ン補正処理を施す デイ ス トーショ ン補正処理部を更に備えたこ と を特徴とする 請求項 9 7 乃至 1 0 6 の何れか 1 に記載のキヤ リ プレーシ ョ ンずれ捕正装置。

1 1 1 . 前記キャ リ ブ レーシ ョ ンデータ補正部が補正し たデータ の精度に基づいて、 前記撮影装置によるステ レオ画 像の撮影の繰り 返しを制御する制御部を更に備えたこ と を特 徴とする請求項 9 7 乃至 1 0 6 の何れか 1 に記載のキヤ リ ブ レーシ ョ ンずれ捕正装置。

1 1 2 . 前記キャ リ ブ レーシ ョ ンデータ補正部が捕正処 理に使用する特徴の数に応じて、 前記撮影装置によるス テ レ ォ画像の撮影の繰り 返しを制御する制御部を更に備えたこ と を特徴とする請求項 9 7乃至 1 0 6 の何れか 1 に記載のキヤ リ プレーショ ンずれ補正装置。

1 1 3 . 前記特徴抽出部は、 前記撮影装置によ り 得たス テ レオ画像の対応関係にある特徴を複数抽出 し、 該複数抽出 された対応のとれた特徴の う ち異常と判定できる特徴は排除 して、 前記キヤ リ ブレーショ ンデータ捕正部での補正処理に 供する よ う に構成されたこ と を特徴とする請求項 9 7乃至 1 0 6 の何れか 1 に記載のキヤ リ プレーショ ンずれ補正装置。

1 1 4 . 前記特徴抽出部は、 前記撮影装置によ り得たス テ レオ画像の対応関係にある特徴抽出をする際、 前記キヤ リ ブレーシ ョ ンデータ保持部が保持する キヤ リ プ レーシ ョ ンデ ータ に基づく ェピポーラ線の近傍で対応可能な特徴を抽出す る こ と を特徴とする請求項 9 7乃至 1 0 6 の何れか 1 に記載 のキヤ リ プレーショ ンずれ補正装置。

1 1 5 . 前記特徴抽出部は、 前記撮影装置によ り得たス テ レオ画像の一方の画像内でキヤ リ ブレーシ ョ ンずれ検出に 有効な特徴を選択する特徴選択部と、 選択された特徴に対応 する特徴を、 他方の画像内から抽出あるいは探索する特徴対 応探索部を含んでなる こ と を特徴とする請求項 9 7乃至 1 0 6 の何れか 1 に記載のキヤ リ ブレーショ ンずれ補正装置。

1 1 6 . 前記キャ リ ブレーショ ンデータ保持部は、 相対的な 位置関係が既知な複数の特徴のデータを保持するものであり、 前 記キヤ リ プ ーショ ンデータ捕正部は、 前記特徴抽出部が前記キ ャ リ プレーショ ンデータ保持部に保持された特徴に係るデータを 用いる場合には、 そのデータの表す位置関係の情報に依拠してキ ャ リ プレーショ ンデータ捕正を行う ことを特徴とする請求項 9 7 乃至 1 0 6 の何れか 1 に記載のキヤ リ プレーショ ンずれ捕正装置 _c

1 1 7 . 前記撮影装置と しての、 複数の視点による視差を生. じる複数の像を得る光学系と単一のカメ ラ部とを含んでなるステ レオアダプタ方式の撮影装置を対象と してキヤ リ ブレーショ ンず れ捕正を行う こ とを特徴とする請求項 9 7乃至 1 0 6の何れか 1 に記載のキヤ リ ブレーショ ンずれ捕正装置。

1 1 8 . 前記撮影装置と しての、 複数のカメ ラを含んで構成 される撮影システムを対象と してキヤ リ プレーショ ンずれ捕正を 行う ことを特徴とする請求項 9 7乃至 1 0 6の何れか 1 に記載の キヤ リ プレーシ ンずれ捕正装置。

1 1 9 . 車載型の前記撮影装置に係るキャ リ ブレーショ ンず れを捕正するよ う に構成されたこ とを特徴とする請求項 9 7乃至 1 0 6の何れか 1 に記載のキヤ リ プレーショ ンずれ補正装置。

1 2 0 . 前記状況判断部は、 外部センサの出力に基づいて状 況判断を行う こ とを特徴とする請求項 1 0 8 に記載のキヤ リブレ ーシヨ ンずれ捕正装置。

1 2 1 . 前記外部装置と して前記撮影装置が装備された 車両の特定の形状部分を適用する こ と を特徴とする請求項 9 9 乃至 1 0 2の何れ力 1 に記載のキャ リ ブレーシ ョ ンずれ補 正装置。

1 2 2 . 前記外部装置と して、 車両に装備された前記撮 影装置によ り 撮影される車外の既知形状物を適用する こ と を 特徴とする請求項 9 9 乃至 1 0 2 の何れか 1 に記載のキヤ リ ブレーショ ンずれ補正装置。

1 2 3 . 前記補正結果呈示部は、 キャ リ ブレーシ ョ ンず れ補正中である こ と を表すイ ンジケータ と して機能し得る よ う に構成される こ-と を特徴とする請求項 1 0 7 に記載のキヤ リ プレーショ ンずれ補正装置。

1 2 4 . 前記補正結果呈示部は、 キャ リ ブレーショ ンず れ補正によ り得られたパラ メータ と、 予め記憶されたキヤ リ プレーショ ンパラメ ータ と の差異を表示し得るよ う に構成さ れたこ と を特徴とする請求項 1 0 7 に記載のキヤ リ プレーシ ョ ンずれ捕正装置。

1 2 5 . 前記補正結果呈示部は、 キャ リ ブレーシ ョ ンず れ補正にかかわる信頼度を表すステータスを表示 し得る よ う に構成されたこ と を特徴とする請求項 1 0 7 に記載のキヤ リ プレーショ ンずれ補正装置。

1 2 6 . 前記補正結果呈示部は、 キャ リ ブ レーショ ンず れ補正処理がエラーと なった場合に、 該エラーに基づく エラ 一コー ドを呈示し得る よ う に構成されたこ と を特徴とする請 求項 1 0 7 に記載のキヤ リ ブレーショ ンずれ補正装置。

1 2 7 . 相互に離隔した複数の視点による視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像部 と、

前記撮影部のキヤ リ ブレーショ ンずれを補正するキヤ リ ブ レーシ ヨ ンずれ捕正部と、

前記キャ リ ブ レーシ ョ ンずれ補正部の補正出力データを勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キ ャ リ ブ レーシ ョ ンずれ補正部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行う ための表示部と、 を含んで構成されたステレオカメ ラシステムであって、 前記キャ リ ブ レーシ ョ ンずれ補正部は、

前記撮像部に係るキヤ リ ブ レーショ ンデータを保持する キヤ U'ブレーシ ョ ンデータ保持部と、

前記撮影部によ り 得た映像信号出力と してのステ レオ画 像から特徴を抽出する特徴抽出部と、

前記特徴抽出部で抽出された特徴を表す情報に基づき前 記キヤ リ プレーショ ンデータ保持部に保持されたキヤ リ プレ ーシ ョ ンデータ に関するキヤ リ ブ レーシ ョ ンずれを補正する キヤ リ ブレーショ ンデータ補正部と、 を含んで構成された も のであ り、

前記表示部は、

前記キヤ リ プレーショ ンずれ補正部の補正結果を自 己の 表示面に表示可能に構成された も のである こ と を特徴とする ステ レオカ メ ラ システム。

1 2 8 . 相互に離隔した複数の視点による視差を持った 複数の映像を表わす映像信号出力を得る よ う になされた撮像 部と、

前記撮影部のキヤ リ プレーシ ョ ンずれを補正するキヤ リ ブ レーシ ヨ ンずれ補正部と、 ' 前記キヤ リ ブレーショ ンずれ補正部の補正出力データ を勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キ ャ リ ブ レーシ ョ ンずれ補正部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行う ための表示部と . を含んで構成されたステレオカメ ラシステムであって、 前記キヤ リ ブレーシ ョ ンずれ補正部は、

前記撮像部に係るキヤ リ プレーシ ョ ンデータ を保持する キャ リ ブレーシ ョ ンデータ保持部と、

前記撮影部によ り 得た映像信号出力と してのステ レオ画 像に対し前記キヤ リ ブレーショ ンデータ保持部に保持された キャ リ ブレーシ ョ ンデータ に基づく レクティ フィ ケーシヨ ン 処理を施すレクティ フィケーショ ン処理部と、

前記レクティ フィ ケーショ ン処理部によってレクティ フ ィ ケーシヨ ンされたステ レオ画像から特徴を抽出する特徴抽 出部と、

前記特徴抽出部で抽出された特徴を表す情報に基づき前 記キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ プレ ーシ ョ ンデータに関するキヤ リ プレーショ ンずれを補正する キヤ リ ブレーショ ンずれ補正部と、

を含んで構成されたものであ り 、

前記表示部は、

前記キヤ リ プレーショ ンずれ補正部の補正結果を自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステ レオカ メ ラシステム。

1 2 9 . 相互に離隔した複数の視点によ る視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像部 と、

前記撮影部と所定の基準位置を規定する外部装置との間の キヤ リ ブレーシ ョ ンずれを捕正する キヤ リ ブレーシヨ ンずれ 補正部と、

前記キヤ リ プレーシ ョ ンずれ捕正部の補正出力データ を勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キャ リ ブレーシ ョ ンずれ補正部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行う ための表示部と、 を含んで構成されたステレオカメ ラシステムであって、 前記キヤ リ プレーショ ンずれ補正部は、

前記基準位置を規定するために利用される所定の外部装 置と前記撮像部間のキヤ リ プレーショ ンに係るキヤ リ ブレー ショ ンデータを保持するキヤ リ プレーショ ンデータ保持部と、 前記撮影部によ り 得た映像信号出力と してのステ レオ画 像から特徴を抽出する特徴抽出部と、

前記特徴抽出部で抽出された特徴を表わす情報に基づき 前記キヤ リ プレーシ ョ ンデータ保持部に保持されたキヤ リ ブ レーシ ョ ンデータ に関するキヤ リ プ レーシ ョ ンずれを補正す る キヤ リ プレーシ ョ ンずれ捕正部と、

を含んで構成されたものであ り 、

前記表示部は、

前記キヤ リ プレーショ ンずれ補正部の補正結果を自 己の 表示面に表示可能に構成されたものである'こ と を特徴とする ズテ レオカ メ ラ システム。

1 3 0 . 相互に離隔した複数の視点による視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像部 と、

前記撮影部と所定の基準位置を規定.する外部装置との間の キヤ リ ブレーショ ンずれを補正するキヤ リ ブレーショ ンずれ 補正部と、

前記キヤ リ プレーショ ンずれ捕正部の補正出力データ を勘 案して前記撮像部で得た映像信号出力に依拠して被写体の距 離等のデータを算出する演算部と、

前記キャ リ ブ レーシ ョ ンずれ捕正部、 演算部、 並びに、 前 記撮像部の出力に関連した所要の表示を行う ための表示部と、 を含んで構成されたステ レオカメ ラシステムであっ て、 前記キヤ リ プレーショ ンずれ補正部は、 前記基準位置を規定するために利用される所定の外部装 置と前記撮像部間のキヤ リ プレーショ ンに係るキヤ リ ブレー シ ョ ンデータを保持するキ ヤ リ ブレーシ ョ ンデータ保持部と、 前記撮影部によ り得た映像信号出力と してのス テ レオ画 像に対し前記キヤ リ ブレーショ ンデータ保持部に保持された キヤ リ ブレーショ ンデータ に基づく レクティ フィ ケーンョ ン 処理を施すレクティ フィケーショ ン処理部と、

前記レクティ フィ ケーショ ン処理部によって レクティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出部と、

'前記特徴抽出部で抽出された特徴を表す情報に基づき前 記キヤ リ ブレーショ ンデータ保持部に保持されたキヤ リ ブ ーシ ョ ンデータに関するキヤ リ プ レーシ ョ ンずれを補正する キヤ リ ブレーシ ョ ンずれ補正部と、

を含んで構成された も のであ り 、

前記表示部は、

前記キヤ リ ブレーショ ンずれ補正部の補正結果を自 己の 表示面に表示可能に構成されたものである こ と を特徴とする ステ レオカ メ ラ システム。

1 3 1 . 前記表示部は、 前記キャ リ ブ レーシ ョ ンデータ 捕正部と の協働によ り キヤ リ ブレーショ ンずれ補正に係る処 理動作中である 旨を表示可能に構成されたものである こ と を 特徴とする請求項 1 2 7乃至 1 3 0 の何れか 1 に記載のステ レオカ メ ラ システム。

1 3 2 . 前記表示部は、 前記キャ リ ブ レーシ ョ ンデータ 補正部と の協働によ り キヤ リ プレーショ ンずれ補正に係る処 理の結果と して得られたパラメ ータ と前記キヤ リ プレーショ ンデータ保持部に予め保持されていたパラ メ ータ との差異を 表わす情報を表示可能に構成されたものである こ と を特徴と する請求項 1 2 7乃至 1 3 0 の何れか 1 に記載のステ レオ力 メ ラ システム。

1 3 3 . 前記表示部は、 前記キャ リ ブ レーシ ョ ンデータ 捕正部との協働によ り 正規のキヤ リ プ レーシ ョ ンずれ補正が 行われ得なかったと きにはその旨を表わすエラーコ ー ドを表 示可能に構成された も のである こ と を特徴とする請求項 1 2 7乃至 1 3 0の何れか 1 に記載のステレオカメ ラシステム。

1 3 4 . 前記キャ リ ブ レーシ ョ ンずれ補正部は、 その特 徴抽出部が、 前記撮像装置によ り 得たステ レオ画像に関する 信頼度を弁別するよ う に構成され、 該特徴抽出部が前記撮像 装置によ り 得たステ レオ画像に関する信頼度が不十分である こ と を弁別したと きには、 該撮像装置による撮影処理を繰返 すよ う に制御する制御部を更に備えたたこ と を特徴とする請 求項 1 2 7乃至 1 3 0 の何れか 1 に記載のス テ レオカメ ラシ ステム。

1 3 5 . ス テ レオ画像を撮影する撮影装置に係るキヤ リ プ レーシ ョ ンデータを保持する キヤ リ プ レーシ ョ ンデータ保 持手段と、

前記撮影装置が撮影したス テ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを補正す るキヤ リ ブレーショ ンデータ補正手段と、

を具備する こ と を特徴とする キヤ リ プレーショ ンずれ補正 装置。

1 3 6 . ステ レオ画像を撮影する撮影装置に係る キヤ リ ブレーシ ョ ンデータ を保持する キヤ リ プレーシ ョ ンデータ保 持手段と、

前記撮影装置が撮影 したス テ レオ画像に対 し、 前記キヤ リ プレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーショ ンデ一タ に基づく レク ティ フ ィ ケーシ ョ ン処理を施すレクテ ィ フ ィ ケーシ ヨ ン処理手段と 、

前記レク ティ フ ィ ケーシ ョ ン処理手段によ って レク ティ フ ィ ケーシ ヨ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ プ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを補正す るキヤ リ ブレーショ ンデータ補正手段と、

を具備する こ と を特徴とする キヤ リ ブレーシ ョ ンずれ補正

1 3 7 . 基準位置を規定するために利用 される所定の外 手段装置と撮影装置と の間のキヤ リ プレーシ ョ ンに係る キヤ リ ブ レーシ ョ ンデータ を保持する キヤ リ ブ レーシ ョ ンデータ 保持手段と、 前記撮影装置が撮影 したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーシ ョ ンデータ保持手段に保持されたキヤ リ ブ レーショ ンデータ に関する キヤ リ ブレーシ ョ ンずれを捕正す るキヤ リ ブレーシ ョ ンデータ補正手段と、

を具備する こ と を特徴とする キヤ リ ブレーショ ンずれ補正

1 3 8 . 基準位置を規定する ために利用 される所定の外 部装置と ス テ レオ画像を撮影する撮影装置と の間のキ ヤ リ ブ レーショ ンずれを補正する キヤ リ ブレーシ ョ ンデータ を保持 するキヤ リ プレーショ ンデータ保持手段と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーシ ョ ンデータ に基づ く レク ティ フィ ケーシ ョ ン処理を施すレク テ ィ フィ ケーショ ン処理手段と、

前記レク ティ フィ ケーシ ョ ン処理手段が処理したレク ティ フ ィ ケーシ ヨ ンされたステ レオ画像から特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーシ ョ ンデータ に関する キヤ リ ブ レーシ ョ ンずれを補正す るキヤ リ プレーショ ンデータ補正手段と、

を具備する こ と を特徴とする キ ヤ リ プ レーシ ョ ンずれ捕正 装置。

1 3 9 . 基準位置を規定するために利用 される所定の外 部装置と ステ レオ画像を撮影する撮影装置間のキヤ リ ブレー ショ ンと 当該撮影装置本体のキヤ リ ブレーシ ョ ンに関わるキ ャ リ ブレーショ ンデータ を保持する キヤ リ ブレーショ ンデー タ保持手段と、

前記撮影装置が撮影 したステ レオ画像か ら特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブ レーショ ンデータ に関する キヤ リ プレーシ ョ ンずれを補正す るキヤ リ ブレーシヨ ンデータ補正手段と 、

を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ補正

1 4 0 . 基準位置を規定するために利用 される所定の外 部装置と ス テ レオ画像を撮影する撮影装置間のキ ヤ リ プ レー シヨ ンと 当該撮影装置本体のキヤ リ ブレーシ ョ ンに係る キヤ リ ブ レー シ ョ ンデータ を保持する キヤ リ プ レーシ ョ ンデータ 保持手段と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キ ヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に基づ く レク ティ フ ィ ケーシ ヨ ン処理を施すレク テ ィ フィ ケーショ ン処理手段と、

前記レク ティ フ ィ ケーシ ョ ン処理手段に よ って レクティ フ ィ ケーシ ョ ンされたス テ レオ画像から特徴を抽出する特徴抽 出手段と、 前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ ブ レーショ ンデータに関するキヤ リ ブレーシ ョ ンずれを補正す るキヤ リ ブレーショ ンデータ補正手段と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ補正 装置。

1 4 1 . ステ レオ画像を撮影する撮影装置に関わるキヤ

V プレーシ ョ ンのキヤ リ ブレーシ ョ ンデータ を保持する キヤ リ プレーショ ンデータ保持手段と、

前記撮影装置が撮影したステ レオ画像から特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 前 記キヤ リ プレーショ ンずれの有無を判定するキヤ リ プレーシ ョ ンずれ判定手段と、

前記キヤ リ ブレーシ ョ ンずれ判定手段がずれあ り と判定し た場合には、 前記キャ リ ブレーシ ョ ンデータ保持手段に保持 されたキャ リ ブレーシ ョ ンデータ に関するキヤ リ ブレーシ ョ ンずれを補正するキヤ リ ブレーショ ンデータ補正手段と、 を具備する こ と を特徴とするキヤ リ ブレーショ ンずれ補正

1 4 2 . ステ レオ画像を撮影する撮影装置のキヤ リ ブレ ーシ ョ ンに係る キヤ リ プレーシ ョ ンデータ を保持するキヤ リ プレーシヨ ンデータ保持手段と、

前記撮影装置が撮影したステ レオ画像に対し、 前記キヤ リ プレーショ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に基づ く レク ティ フィ ケーシ ヨ ン処理を施すレクテ ィ フ ィ ケーシ ヨ ン処理手段 と 、

前記レク ティ フ ィ ケーシ ョ ン処理手段に よ って レクティ フ ィ ケーシ ョ ンされたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出装置が抽出 した特徴を表す情報に基づき、 キ ャ リ ブ レーショ ンずれの有無を判定するキヤ リ プレーシ ョ ン ずれ判定手段と、

前記キヤ リ プレーシ ョ ンずれ判定手段がずれあ り と判定し た場合には、 前記特徴抽出手段が抽出 した特徴を表す情報に 基づき、 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持され たキヤ リ プレーショ ンデータ に関する キヤ リ プレーシ ョ ンず れを捕正するキヤ リ ブレーシ ョ ンデータ補正手段と.、

を具備する こ と を特徴とする キ ャ リ ブ レーシ ョ ンずれ補正

1 4 3 . ス テ レオ画像を撮影する撮影装置に係る キヤ リ ブ レーシ ョ ンのキヤ リ ブ レーシ ョ ンデータ を保持する キヤ リ ブレーシヨ ンデータ保持手段と、

前記撮影装置が撮影 したステ レオ画像か ら特徴を抽出する 特徴抽出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 キ ャ リ ブレーショ ンずれの有無判定及ぴずれの種類を決定する キヤ リ ブレーシ ョ ンずれ判定手段と、

前記キヤ リ プ レーシ ヨ ンずれ判定手段がずれあ り と判定し た場合には、 ずれの種類に応 じて前記キヤ リ プレーシ ョ ンデ ータ保持手段に保持されたキヤ リ ブレーショ ンデータ に関す るキヤ リ プレーショ ンずれを補正する キヤ リ プレーシ ョ ンデ ータ補正手段と 、

を具備する こ と を特徴とする キヤ リ ブレーショ ンずれ補正 装置。

1 4 4 . ステ レオ画像を撮影する撮影装置に係るキヤ リ ブレーシ ョ ンのキヤ リ ブレーシ ョ ンデータ を保持する キヤ リ プレーショ ンデータ保持手段と、

前記撮影装置が撮影 したステ レオ画像に対 し、 前記キヤ リ プレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に基づ く レク ティ フ ィ ケーシ ヨ ン処理を施すレク テ ィ フィ ケーショ ン処理手段と、

前記レク ティ フィ ケーシ ョ ン処理手段に よ って レク ティ フ ィ ケーシ ヨ ンされたステ レオ画像から特徴を抽出する特徴抽 出手段と、

前記特徴抽出手段が抽出 した特徴を表す情報に基づき、 キ ャ リ ブレーショ ンずれの有無判定及びずれの種類を決定する キャ リ ブレーショ ンずれ判定手段と、

前記キヤ リ プレーシ ョ ンずれ判定手段がずれあ り と判定し た場合には、 ずれの種類に応 じて前記キャ リ ブレーシ ョ ンデ ータ保持手段に保持されたキヤ リ プレーシ ョ ンデータ に関す るキヤ リ ブレーショ ンずれを補正する キヤ リ ブレーシ ョ ンデ 一タ補正手段と、

を具備する こ と を特徴とするキヤ リ プレーショ ンずれ補正

1 4 5 . 相互に離隔した複数の視点による視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像手 段と、

前記撮影手段のキヤ リ ブレーショ ンずれを補正するキヤ リ ブレーシ ョ ンずれ補正手段と、

前記キヤ リ プレーシ ョ ンずれ補正手段の補正出力データを 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キャ リ ブ レーシ ョ ンずれ補正手段、 演算手段、 並びに、 前記撮像手段の出力に関連 した所要の表示を行う ための表示 手段と、

を含んで構成されたステ レオカメ ラシステム'であって、 前記キャ リ ブレーシ ョ ンずれ捕正手段は、

前記撮像手段に係るキヤ リ ブ レーシ ョ ンデータを保持す るキヤ リ ブレーシ ョ ンデータ保持手段と、

• 前記撮影手段によ り得た映像信号出力 と してのス テ レオ 画像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき 前記キヤ リ ブ レーシ ョ ンデータ保持手段に保持されたキ ヤ リ ブ レーシ ョ ンデータに関するキ ヤ リ プ レーシ ョ ンずれを補正 するキヤ リ ブレーショ ンデータ補正手段と、

を含んで構成されたものであ り 、

前記表示手段は、

前記キヤ リ ブレーショ ンずれ補正手段の補正結果を 自 己 の表示面に表示可能に構成されたものである こ と を特徴とす るステ レオカメ ラシステム。

1 4 6 . 相互に離隔した複数の視点によ る視差を持った 複数の映像を表わす映像信号出力を得る よ う になされた撮像 手段と、

前記撮影手段のキヤ リ ブレーショ ンずれを補正するキヤ リ ブレーショ ンずれ捕正手段と、

前記キヤ プレーショ ンずれ補正手段の補正出力データを 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キャ リ ブレーシ ョ ンずれ補正手段、 演算手段、 並びに、 前記撮像手段の出力に関連した所要の表示を行う ための表示 手段と、

を含んで構成されたステ レオカメ ラシステムであって、 前記キャ リ ブレーショ ンずれ補正手段は、

前記撮像手段に係るキヤ リ ブレーショ ンデータを保持す るキャ リ ブレーショ ンデータ保持手段と.、

前記撮影手段によ り得た映像信号出力 と してのステ レオ 画像に対し前記キヤ リ ブレーシ ョ ンデータ保持手段に保持さ れたキヤ リ ブレーシヨ ンデータに基づく レクティ フィ ケーシ ョ ン処理を施すレクティ フィケーショ ン処理手段と、

前記レクティ フィ ケーショ ン処理手段によってレクティ フィ ケーシ 3 ンされたステ レオ画像から特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき 前記キヤ リ ブレーシ ョ ンデータ保持手段に保持されたキヤ リ プレーショ ンデータ に関するキヤ リ プレーショ ンずれを補正 するキヤ リ ブレーショ ンずれ捕正手段と、

を含んで構成されたものであり 、

前記表示手段は、

前記キヤ リ ブレーショ ンずれ補正手段の補正結果を 自 己 の表示面に表示可能に構成されたものである こ と を特徴とす るステ レオカメ ラシステム。

1 4 7 . 相互に離隔した複数の視点によ る視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像手 段と、

前記撮影手段と所定の基準位置を規定する外部装置と の間 のキヤ リ プレーショ ンずれを補正するキヤ リ ブレーショ ンず れ補正手段と、 . '

前記キヤ リ プレーショ ンずれ補正手段の補正出力データを 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キャ リ ブレーショ ンずれ補正手段、 演算手段、 並びに、 前記撮像手段の出力に関連した所要の表示を行う ための表示 手段と、 ·

を含んで構成されたステ レオカメ ラシステムであって、 前記キヤ リプレーショ ンずれ補正手段は、

前記基準位置を規定するために利用される所定の外部装 置と前記撮像手段^のキヤ リ ブレーショ ンに係るキヤ リ ブレ ーショ ンデータ を保持するキヤ リ プレーショ ンデータ保持手 段と、 前記撮影手段によ り得た映像信号出力 と してのステ レオ 画像から特徴を抽出する特徴抽出手段と、

前記特徴抽出手段で抽出された特徴を表わす情報に基づ き前記キヤ リ ブレーショ ンデータ保持手段に保持されたキヤ リ ブレーショ ンデータ に関するキヤ リ ブレーショ ンずれを補 正するキヤ リ ブレーショ ンずれ捕正手段と、

を含んで構成されたものであ り 、

前記表示手段は、

前記キヤ リ プレーショ ンずれ補正手段の補正結果を自 己 の表示面に表示可能に構成されたものである こ と を特徴とす るステレオカメ ラシステム。

1 4 8 . 相互に離隔した複数の視点によ る視差を持った 複数の映像を表す映像信号出力を得る よ う になされた撮像手 段と、

前記撮影手段と所定の基準位置を規定する外部装置との間 のキヤ リ プレーショ ンずれを補正する キヤ リ ブレーシ ョ ンず れ補正手段と、

前記キヤ リ ブレーショ ンずれ捕正手段の捕正出力データ を 勘案して前記撮像手段で得た映像信号出力に依拠して被写体 の距離等のデータを算出する演算手段と、

前記キャ リ ブレーシ ョ ンずれ補正手段、 演算手段、 並びに - 前記撮像手段の出力に関連 した所要の表示を行う ための表示 手段と、

を含んで構成されたステ レ.ォカメ ラシステムであって、 前記キヤ リ ブレーショ ンずれ補正手段は、 前記基準位置を規定するために利用 される所定の外部装 置と前記撮像手段間のキヤ リ ブレーシ ョ ンに係る キヤ リ プレ ーシ ョ ンデータ を保持する キヤ リ プ レーシ ョ ンデータ保持手 段と、

前記撮影手段に よ り 得た映像信号出力 と してのス テ レオ 画像に対 し前記キヤ リ ブレーショ ンデータ保持手段に保持さ れたキヤ リ ブレーシ ョ ンデータ に基づ く レク ティ フィ ケーシ ョ ン処理を施すレクティ フィ ケーショ ン処理手段と、

前記レク ティ フ ィ ケーシ ョ ン処理手段によって レク ティ フ ィ ケーシ ョ ンされたステ レオ画像か ら特徴を抽出する特徴 抽出手段と、

前記特徴抽出手段で抽出された特徴を表す情報に基づき 前記キヤ リ プ レーシ ョ ンデータ保持手段に保持されたキヤ リ ブレーシ ョ ンデータ に関するキヤ リ ブレーシ ョ ンずれを捕正 するキヤ リ ブレーショ ンずれ補正手段と、

を含んで構成されたものであ り 、 - 前記表示手段は、

前記キヤ リ ブレーショ ンずれ捕正手段の補正結果を 自 己 の表示面に表示可能に構成されたものである こ と を特徴とす る ステ レオカ メ ラ システム。