WO1995004329A1 - Dispositif et procede de detection de l'appariement d'images - Google Patents

Description

明細書 画像一致検出装置及び画像一致検出方法 技術分野 本発明は、 2 つの撮像 した画像の一致を画素又はブロ ッ ク単位で 検出評価する画像一致検出装置と画像一致検出方法に関 し、 特 に解 像度の異なる撮像装置で撮影 した低解像度画像と高解像度画像 と を —致させる際 に用 いて好適な画像一致検出装置及び画像一致検出方 法に関する。 背景技術 一般に、 画像のディ ジ タル信号処理 にお い て、 同 じカ メ ラ系で撮 像さ れた画像を用 いて一方の撮影画像 と他方の撮影画像 と の一致を 図る方法があ る。 動 き量検出で知 ら れるブロ ッ ク マ ッ チン グ法であ る。

こ のブ ロ ッ ク マ ツ チ ン グ法は、 先ず、 一方の撮影画像上 に所定の 大き さ のブロ ッ ク を設定する。 ま た、 上記他方の撮影画像上に は、 設定 したプロ ッ ク を探索する ための探索範囲 を設定す る。 画像一致 の評価は、 上記プロ 、ソ ク と上記探索範囲 内の探索ブロ ッ ク が類似性 を有するかど う かに よ つ て行って い る。 ブロ ッ ク マ ッ チ ン グ法は、 この一連の処理を画面全体に行っ て一方の撮影画像 と他方の撮影画 像が一致する か検出 して いる。 こ の場合、 用 いる撮影画像が上述 し た よ う に同 じ カ メ ラ 系で撮影 した画像であ るか ら、 各画像は画角フ ォ ー マ ッ ト、 すなわ ちァス ぺ ク 卜 比が一致 してお り、 画像内の各画素がそ れぞれ一対一の関係 に なっ て い る。 このため、 各画像の信号特性、 特に輝度信号には違い が生 じな い。 結果と してブロ ッ ク マ ッ チ ング法では、 所望の各画像 に対する一致.検出を容易 に行っ て い る。

と こ ろ で、 同一被写体を同 じカ メ ラ系での撮影でな く、 異な る 力 メ ラ 系で撮影 した際、 上述 し たよ う な一方の画像 と他方の画像の一 致検出は、 簡単に行 う こ とができ な い。 この原因は、 異な るカ メ ラ 系の画角フ ォ ー マ ヅ 卜 が一致 しな いため、 すなわ ち一方の画像のブ ロ ッ ク の画素位置に対す る他方の画像の探索範囲 内の画素位置が一 致 しな いため に起こ る。

こ の他、 互い に異な る カ メ ラ系は、 互い に仕様が異な る ため、 例 えば使用 する カ メ ラ の光学フ ィ ルタが異なっ た り、 撮像 し た画像の ノ イ ズ特性に も違い を生 じて しま う。 こ のよ う な仕様の異な る カ メ ラ系で撮影す る こ と に よ っ て それぞれの出力信号特性の違 いが顕著 にな っ て く る。 特に、 解像度の異な る カ メ ラ系で撮影 した画像間 に は、 定量的に輝度信号の レベル分布 と信号間のダイ ナ ミ ッ ク レ ン ジ に違いが生 じ る。 こ のた め、 異な る フ ォ ーマ ヅ ト にお いて撮影 し た 画像間の一致を検出 し よ う と して も、 画像を構成する画素位置が一 致 し な い こ と と 出力画像間の特性が一致 しな い こ と に よ り、 完全に —致 した画像の検出がで きなかっ た。

本発明は、 異な る フ ォ ー マ ッ ト、 例えば画角の異な る画像に応 じ て双方の画素位置が異な って しま う画像であ って も画像あ る い は画 素の一致を検出でき る画像一致検出装置及び画像一致検出方法の提 供を 目的 とす る _c 発明の開示 本発明 に係る画像一致検出装置は、 第 1 の画素数か らな る第 1 の 撮像素子が 力する第 1 の画像と第 2 の画素数か ら な る第 2 の撮像 素子が出力す る第 2 の画像と の各画素間の一致関係を検出する画像 一致検出装置であっ て、 上記第 1 及び第 2 の画像の基準位置に基づ いて低精度の画素合わせを行 う低精度画像一致検出手段と、 上記低 精度画像一致検出手段の検出結果 に応 じて第 1 の画像上でのブロ ヅ ク に対応する探索範囲を上記第 2 の画像上に設定 し、 上記第 1 の画 像上のプロ ヅ ク にマ ヅ チ ングする第 2 の画像上のブロ ッ ク を上記探 索範囲内で探索するプロ ッ ク マ ッ チ ン グ処理を行 う ブ ロ ッ ク マ ッ チ ング処理手段 と を有する こ と を特徴 と する。

こ の場合、 上記ブロ ッ ク マ ッ チ ング処理手段は、 上記第 1 及び第 2 の画像の各画素間のデータ を補間 に よ り 生成 し た後 に、 上記プロ ッ ク マ ッ チン グ処理を行 う こ と を特徴 と する。

ま た、 上記第 1 の画像を低解像度画像 と し上記第 2 の画像を高解 像度画像 と する と き、 上記ブロ ッ ク マ ッ チ ン グ処理手段は、 上記低 精度画像一致検出手段の検出結果 に応 じ て上記低解像度画像上での プロ ッ ク に対応する探索範囲 を上記高解像度画像上に設定 し、 上記 低解像度画像上のプロ ッ ク にマッ チ ン グする上記高解像度画像上の プロ ッ ク を上記探索範囲内で大域的 に探索 して候補を見つ け、 さ ら に上記低解像度画像 と上記高解像度画像のそ れぞれの画素間を補間 する こ と によ っ て設定 したプロ ヅ ク と探索範囲内のブ ロ ッ ク と の類 似性を高精度に評価 し、 一致がと れる画像を検出する こ と を特徴 と する。

ま た、 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体を撮像す る こ と を特徴 と する。

ま た、 上記被写体 には、 基準の画素位置を示すマ 一 力が付さ れて いる こ と を特.徴 とする。

ま た本発明 に係る画像一致検出装置は、 上記第 1 の画素数か ら な る第 1 の撮像素子が出力する第 1 の画像 と第 2 の画素数か ら な る第 2 の撮像素子が出力する第 2 の画像 と の各画素間の一致関係を検出 する画像一致検出装置であっ て、 上記第 1 及び第 2 の画像の基準位 置に基づ いて低精度の画素合わせを行 う 低精度画像一致検出手段 と、 上記低精度画像一致検出手段の検出結果 に応 じて上記第 1 及び第 2 の画像を該第 2 の画像上に探索範囲を設定 して大域的 にサーチ して それぞれの注 目点を選定 し、 この注目点を含む対応ブロ ッ ク を上記 第 1 及び第 2 の画像 に設定 して こ れ ら の輝度信号の平均 レベル又は 標準偏差が一致する よ う に補正 し た後 に上記対応プロ ッ ク にプロ ッ クマ ッ チ ング処理を施すブロ ッ ク マ ッ チ ング処理手段 と を有す る こ と を特徴 と す る。

こ の場合、 上記ブロ ッ クマ ッ チ ング処理手段は、 上記対応ブ ロ ヅ ク を n 回階層的 に小さ く しなが ら輝度信号の平均 レベルの差の検出 ¾び補正又は輝度信号の標準偏差の比の検出及び補正 とプロ ッ ク マ ツ チ ング処理を n 回繰 り 返す こ と を特徴 と す る。

ま た、 上記ブロ ッ ク マ ッ チ ング処理手段は、 上記第 1 及び第 2 の 画像の各画素間のデ一夕 を補間に よ り 生成 した後 に、 上記ブロ ッ ク マ ッ チ ン グ処理を行 う こ と を特徴 と する。 ま た、 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体を撮像す る こ と を特徴 と する。

ま た、 上記被写体 には、 基準の画素位置を示すマ一 力が付さ れて いる こ と を特徴 と する。

ま た本発明 に係る画像一致検出装置は、 第 1 の画素数か らな る第 1 の撮像素子-が出力する第 1 の画像 と第 2 の画素数か らな る第 2 の 撮像素子が出力する第 2 の画像と の各画素間の一致関係を検出する 画像一致検出装置であ っ て、 上記第 1 及び第 2 の画像の基準位置 に 基づ いて低精度の画素合わせを行 う低精度画像一致検出手段と、 上 記低精度画像一致検出手段の検出結果 に応 じ て上記第 1 及び第 2 の 画像を大域的 にサーチ してそれぞれの注 目点を選定 し、 こ の注 目点 を含む対応ブロ ッ ク をそれぞれ設定 した後に、 こ の対応ブロ ッ ク を 段階的 に大き く しなが ら上記第 1 の画像内のブロ ッ ク と上記第 2 の 画像内のプロ ッ クの輝度信号平均 レ ベル の差又は標準偏差の比を求 め、 該差又は比が収束 し た と きの差又は比の値を用 いて、 上記対応 プロ ッ ク 内の輝度信号平均 レ ベル又は標準偏差を補正 し、 階層的な 複数のブロ ッ ク の大 き いブロ ヅ ク か ら小 さ いブロ ヅ ク へ順次マ ヅ チ ング処理を施すプロ ッ ク マ ッ チン グ処理手段 と を有する こ と を特徴 と す る。

こ の場合、 上記ブロ ッ ク マ ッ チ ン グ処理手段は、 上記第 1 及び第 2 の画像の各画素間のデータ を補間 に よ り 生成 した後 に、 上記プロ ッ ク マ ッ チ ン グ処理を行 う こ と を特徴 と する。

ま た、 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体を撮像す る こ と を特徴 と する。

ま た、 上記被写体 に は、 基準の画素位置を示すマー カが付さ れて い る こ と を特徴 とする。

ま た本発明 に係る画像一致検出方法は、 解像度の異な る カ メ ラ で 撮影 した各静止画像の一致を検出する画像一致検出方法にお い て、 低解像度画像内 に所定の大き さのプロ ッ ク を設定するプロ ッ ク設定 工程 と、 高解像度画像上 に上記プロ ッ ク に対応す る探索範囲を設定 する探索範囲..設定工程 と、 上記探索範囲 を大域的 に探索 して候補を 見つ ける候補探索工程と、 こ れ ら高解像度画像と低解像度画像のそ れそれの画素間 を補間す る こ と に よ っ て設定 したプロ ッ ク と探索範 囲内のブロ ッ ク との類似性を高精度に評価 し、 一致が とれる画像を 検出 するプロ ッ ク一致検出工程と を有す る こ と を特徴 と する。

こ の場合、 上記画像一致検出処理を行 う前に、 高解像度画像 と低 解像度画像の輝度信号 レベルの平均値又は標準偏差を画面全体で一 致させ、 ブロ ッ ク単位の一致検出 を行 う 際に、 再度、 局所的な対応 ブロ ッ ク単位に輝度信号 レベルの平均値又は標準偏差 と を一致させ る こ と を特徴 と する。

ま た、 上記ブロ ッ ク一致検出工程にお いて、 高解像度画像と低解 像度画像のブロ ッ ク 間の類似性を評価する方法と して、 ブロ ッ ク 間 の相関係数を用 いて評価する こ と を特徴 と する。

ま た、 上記ブロ ッ ク一致検出工程にお いて、 高解像度画像と低解 像度画像のブロ ッ ク 間の類似性を評価する方法と して、 ブロ ッ ク 間 の差分の絶対値和を用 いて評価する こ と を特徴と する。

ま た、 上記ブロ ッ ク一致検出工程にお いて、 高解像度画像と 低解 像度画像のブロ ッ ク 間の類似性を評価す る方法と して、 ブロ ッ ク 間 の差分の 2乗和を用 いて評価する こ と を特徴 とす る。

ま た本発明 に係る画像一致検出方法は、 解像度の異な る カ メ ラ で 撮影 した各静止画像の一致を検出す る画像一致検出方法に お いて、 低解像度画像内 に所定の大き さのプロ ッ ク を設定するプロ ッ ク設定 工程 と、 高解像度画像上 に上記ブロ ッ ク に対応す る探索範囲を設定 する探索範囲設定工程 と、 上記探索範囲 を大域的 に探索 し て候補を 見つ ける候補探索工程 と、 上記候補探索工程で探索 し た候補を含む 対応ブロ ッ ク ^を低解像度及び高解像度の画像 に設定 して こ れ ら の輝 度信号平均レベル又は標準偏差が一致する よ う に補正 した後に上記 対応ブロ ッ ク の類似性を高精度に評価 し、 一致が と れ る画像を検出 するプロ ッ ク 一致検出工程と を有する こ と を特徴 と する。

こ の場合、 上記ブロ ッ ク一致検出工程は、 上記対応ブロ ッ ク を n 回階層的 に小さ く しなが ら輝度信号の平均 レベルの差の検出及び補 正又は輝度信号の標準偏差の比の検出及び補正とブロ ッ ク マ ツ チ ン グ処理を n回繰 り 返す こ と を特徴 と する。

ま た、 上記ブロ ッ ク一致検出工程は、 各階層毎 にマ ッ チ ングの際 'の評価値を総合的に判定 して、 マ ッ チ ン グ候補画素の補正を行 う こ と を特徴 と す る。

ま た、 上記ブロ ッ ク一致検出工程は、 上位階層の評価値を下位階 層の評価値に適用す る際、 下位階層の評価対象画素位置に対応す る 上位階層の評価値が存在する よ う に、 マ ヅ チ ングの際のブロ ッ クサ ィ ズ とサーチエ リ ア を調整する こ と を特徴と する。

ま た本発明 に係る画像一致検出方法は、 解像度の異な る カ メ ラ で 撮影 した各静止画像の一致を検出する画像一致検出方法にお いて、 低解像度画像内 に所定の大き さのブロ ッ ク を設定するプロ ッ ク設定 工程 と、 高解像度画像上 に上記プロ ッ ク に対応する探索範囲を設定 する探索範囲設定工程 と、 上記探索範囲 を大域的 に探索 して候補を 見つ ける候補探索工程 と、 上記候補探索工程で探索 し た候補を含む 対応ブロ ッ ク をそれぞれ設定 した後に、 こ の対応ブロ ッ ク を段階的 に大 き く しなが ら上記低解像度画像内のプロ ッ ク と上記高解像度画 像内のブロ ッ ク の輝度信号平均 レ ベル又は標準偏差の比を求め、 該 差又は該比が収束 して と きの差又は比の値を用 いて、 階層的な複数 のブ ロ ヅ ク 大 き いブ ロ ヅ ク か ら 小 さ いブロ ヅ ク へ順次マ ヅ チ ン グ 処理を施 し、 一致が と れ る画像を検出するプロ ッ クー致検出工程 と を有する こ と を特徴 と する。

こ の場合、 上記ブロ ッ ク一致検出工程は、 上記第 1 及び第 2 の画 像の各画素間のデー タ を補間 によ り 生成 した後に、 上記候補探索ェ 程で探索 した候補を含む対応ブロ ッ ク をそれぞれ設定 し、 こ の対応 プロ ッ ク を段階的 に大き く しなが ら上記低解像度画像内のプロ ヅ ク と上記高解像度画像内のブロ ッ ク の輝度信号平均 レベル又は標準偏 差の比を求め、 該差又は該比が収束 して と き の差又は比の値を用 い て、 階層的な複数のブロ ッ ク の大 き いブロ ッ クか ら小 さ いブロ ヅ ク へ順次マ ッチ ン グ処理を施 し、 一致が と れる画像を検出する こ と を 特徴 と する。 図面の簡単な説明 図 1 は、 本発明の第 1 の実施例の画像一致検出装置の機能構成 を 示 し た機能ブロ ッ ク 図である。

図 2 は、 本発明の第 1 の実施例の画像一致検出装置の機能プ ロ ッ ク 中の前処理部 に対応す る回路構成を示 したブロ ッ ク 回路図であ る。 図 3 は、 撮影画像中 にお いて位置検出の基準 と して用 い るマーカ を示 した模式図であ る。

図 4 は、 撮影画像中において位置検出の基準 と して用 い るマ一力 の配置関係を示 した模式図である。

図 5 は、 本発明の第 1 実施例の画像一致検出装置を用 い て画像一 致検出す る手順を示 した メ イ ンフ ロ ー チヤ一 ト であ る。

図 6 は、 ¾ D画像 と S D画像の画像一致検出にお いて走査線の位 相を合わせた際の両画像の水平方向の画素の位置関係 を示 した模式 図であ る。

図 7 は、 図 5 に示 した メ イ ンフ ロ ー チヤ一 ト 中のサブルーチ ン S U B 1 の手順 を示 したフ ローチヤ 一 卜 である。

図 8 は、 図 5 に示 した メ イ ンフ 口 一 チ ヤ一 ト 中のサブルーチ ン S U B 2 の手順 を示 し た フ ロー チヤ一 卜 である。

図 9 は、 図 5 に示 した メ イ ンフ ロ 一チヤ一 卜 中のサブルーチ ン S U B 3 の手順を示 した フ ロー チヤ 一 卜 であ る。

図 1 0 は、 画素以下の高精度なブロ ッ ク マ ッ チ ング を行 う 際 に行 う H D画像と S D画像での水平方向の画素間補間の関係を示 し た模 式図であ る。

図 1 1 は、 本発明の第 2 の実施例の画像一致検出装置を用 いて画 像一致検出す る手順 を示 した メ イ ンフ 口 一チヤ一 ト である。

図 1 2 は、 図 1 1 に示 し た メ イ ン フ ロ ーチ ヤ一 卜 中 のサブル 一 チ ン S U B 4 の手順を示 し たフ ロ ーチヤ 一 ト である。

図 1 3 は、 本発明の第 2 の実施例の画像一致検出装置の評価値テ

—ブル と最適位置の遷移を示す図であ る。

図 1 4 は、 解像度の異な る画像のマ ッ チ ングを説明する ための図 であ る。 図 1 5 は、 マ ッ チ ングの構成を示す図であ る。

図 1 6 は、 本発明の第 3 の実施例の画像一致検出装置が行う 大域 マ ッ チ ン グ処理の手順を示 したフ ロ ーチ ヤ一 卜 であ る。

図 1 7 は、 本発明の第 3 の実施例の画像一致検出装置が行う 解像 マ ヅ チ ン グ処理の手順を示 したフ ロ ーチャー ト であ る。

図 1 8 は、 画像信号変換の例を示す図であ る。

図 1 9 は、 オフセ ヅ 卜、 ゲイ ンの変化の例を示す図であ る。 発明 を実施するた めの最良の形態 以下、 本発明 に係 る画像一致検出装置及び画像一致検出方法の い く つかの実施例 につ いて、 図面を参照 しなが ら説明す る。

こ こ で、 画像一致検出装置 と は、 例えば第 1 の画素数か らな る第 1 の撮像素子が出力する第 1 の画像 と第 2 の画素数か らな る第 2 の 撮像素子が出力する第 2 の画像と の各画素間の一致関係を検出す る 装置であ る。 本発明では具体的に上記第 1 の画像 と して、 標準テ レ ビジ ョ ン方式の一つであ る例えば N T S C方式の 5 2 5本か ら な る 画像を低解像度画像 （以下、 S D (標準解像度） 画像 と い う ） 、 上 記第 2 の画像 と して、 高精細度方式であ る例えば 1 1 2 5 本か ら な る高解像度画像 （以下, H D (高精細度 ） 画像と い う ） を扱う 場合 を例 に挙げる。

本発明 を適用 した第 1 の実施例 と な る画像一致検出装置は、 例え ば図 1 に示すよ う に、 第 1 及び上記第 2 の画像の基準位置及び画素 数に基づ いて低精度の画素合わせを行 う 低精度画像一致検出手段 と しての低精度画像プ ロ ッ ク合わせ機能部 1 と、 低精度画像ブロ ッ ク 合わせ機能部 1 の検出結果に応 じて各画素間 を補間 し た画像に対 し てブロ ッ クマ ッ チ ン グ処理を施すブロ ッ クマ ッ チ ング処理手段 と し ての高精度画像プロ ッ ク合わせ機能部 2 と を有 し て構成さ れる。 ま た、 画像一致検出装置は、 低精度画像 と高精度画像間の信号特性の 差を前処理部 3 に吸収させて いる。

入力端子 _、 5 を介 してそれぞれ S D画像 と H D画像が低精度画 像ブロ ッ ク合わせ機能部 1 と前処理部 3 に供給さ れる。 前処理部 3 は第 1 及び上記第 2 の画像の画素か ら位置データ の関係を示す情報

(基準位置情報 ） 及び画素数デ一 夕 を抽出 し、 低精度画像ブロ ッ ク 合わせ機能部 1 に供給 し て い る。 低精度画像ブロ ッ ク合わせ機能部

1 は、 前処理部 3 か ら供給さ れた画素データ と基準位置情報に応 じ て S D画像と H D画像 と に対 して低精度の画素合わせを行 う。 こ の 低精度画像ブロ ッ ク合わせ機能部 1 が行 う低精度の画素合わせ と は、 画素のブロ ッ ク化を行う 際の基準位置 と しての初期ァ ド レ スの設定 の こ とである。 すなわち、 こ の低精度画像ブロ ッ ク合わせ機能部 1 では、 H D画像 と S D画像の画像デ一 夕 の位置関係をマ一力位置を 基準 に し、 予測 した対応画素位置を初期値と して与えて い る。 .なお、 この低精度画像プロ ッ ク合わせ機能部 1 の処理につ いては後段で詳 述す る。

高精度画像ブロ ッ ク合わせ機能部 2 は、 上述 し た よ う に低精度画 像プ ロ ッ ク合わせ機能部 1 の検出結果 に応 じて各画素間を補間 した 画像 に対 してブロ ッ ク マ ッ チ ング処理を施す。 具体的 に、 この高精 度画像ブロ ッ ク合わせ機能部 2 は、 S D 画像内 に設定さ れた任意の 範囲のプロ ッ ク に対応する探索範囲 を上記低精度プロ ッ ク合わせ機 能部 1 の検出結果、 すなわち初期ア ド レ ス に応 じ て設定 し、 上記 S D画像上のブロ ッ ク に対応する上記 H D 画像上のプロ ッ ク を上記探 索範囲内で大域的に探索 して一致領域の候補を見つ け、 さ ら に S D 画像 と H D画像のそれぞれの画素間を補間する こ と に よ っ て設定 し たプロ ヅ ク と探索範囲内のプロ ッ ク と の類似性を高精度で評価 し、 —致が と れる画像を検出する。 そ して、 高精度に一致が検出さ れた それぞれの画-像を出力端子 6、 7 か ら 出力す る。 なお、 こ の高精度 画像ブロ ッ ク合わせ機能部 2 の処理につ いて も後段で詳述する。 次に、 画像一致検出装置の処理を効果的に行わせる ための前処理 部 3 の回路構成 につ いて説明する。

前処理部 3 は、 例えば図 2 に示すよ う にそ れぞれの仕様に応 じ た 撮像装置 1 1、 1 2 で撮影 したマ一力付 きの同一被写体に対する S D画像 と H D画像の画像データの中か ら被写体内 に書 き込ま れた マ —力 をそれぞれの画像について検出す る マーカ検出部 1 3 と、， 該マ 一力検出部 1 3 の検出結果を基にマー カ位置判定を行 う マーカ位置 判定部 1 4 と で構成 さ れる。

撮像装置 1 1 は、 上記被写体を撮像する第 1 の画素数か ら な る第 1 の撮像素子部 1 1 a と、 該第 1 の撮像素子部 1 1 a で撮像 した第 1 の画像 に相当 する S 画像を蓄積する S D画像蓄積部 1 1 b と、 マー カ位置判定部 1 4 か ら供給さ れる制御信号に応 じ て撮影装置の 例えば物理的位置、 角度、 ズーム率等 を調整する カ メ ラ調整部 1 1 c と で構成さ れる。

ま た、 撮像装置 1 2 は、 上記被写体を撮像する第 2 の画素数か ら なる第 2 の撮像素子部 1 2 a と、 該第 2 の撮像素子部 1 2 aで撮像 した第 2 の画像 に相当す る H D画像を蓄積する H D画像蓄積部 1 2 と、 マーカ位置判定部 1 4 か ら供給 さ れる制御信号 に応 じて カ メ ラの調整を行 う カ メ ラ調整部 1 2 c と で構成 さ れ る。

前処理部 3 は、 撮像装置 1 1、 1 2 で撮影された S D画像と H D 画像 と をそれぞれ S D画像蓄積部 1 l b と H D画像蓄積部 1 2 b と を介 して マ一力検出部 1 3 に入力 させる。 マーカ検出部 1 3 は、 同 一被写体 に対す る S D画像と H D画像の画像データ か ら、 基準の画 素位置を示す.'マ一力 を検出す る。 こ のマーカ は被写体撮影時に一緒 に記録さ れる。 マー カ検出部 1 3 で検出 さ れたマ一力 は、 マ一 力位 置判定部 1 4 に供給さ れ る。 このマ一力位置判定部 1 4は、 マー カ 検出部 1 3の検出結果を基に マー カ位置判定を行 う。 具体的 に、 こ のマーカ位置判定部 1 4 は、 上記検出結果を基に、 低精度画像プロ ッ ク合わせ機能部 1 に低精度の画素合わせを行わせる ため、 S D画 像と H D画像の信号特性の差を吸収する。 こ の処理は、 各画像の輝 度信号の平均値及び標準偏差を と る こ と によ り、 例えば S D画像の 輝度信号を補正 して い る。 こ の結果を基 に して設定さ れた画枠条件 に検出 したマー カ位置が合致する か判定を行って い る。 合致 しな い 場合、 マ一力位置判定部 1 4 は、 撮像装置 1 1、 1 2 が有する カ メ ラ調整部 1 1 c、 1 2 c にそれぞれ制御信号を供給 し て撮像装置 1 1、 1 2 の例えば物理的位置、 角度、 ズーム率、 必要に応 じて光量 等を調整 して再度撮影 し、 画枠条件を満足さ せる こ とがで き る ま で 上述 した操作を繰 り 返す。 こ こで、 設定 さ れた画枠条件につ いて は 後段で詳述す る。

こ の よ う な処理を行う こ と によ っ て前処理部 3 は、 S D画像 と H D画像 と の信号特性の差を吸収す る と共 に、 アス ペク ト比 1 6 : 9 の H D画像に対 して ァス ぺク ト比 4 : 3 の S D画像を どの よ う に調 整すべ き かを画像データ や各画素の基準位置情報か ら知る こ と も で き る。 なお、 こ の前処理部 3 のマーカ位置判定部 1 4 の判定結果に 応 じた切換制御信号を例えば図 2 に示す よ う に、 切換ス ィ ツ チ S W に送っ て画像の採用の可否を制御す る こ と も でき る。

こ こで、 画枠の基準位置を示すマーカ につ いて説明する。

マ一力 は、 例えば図 3 に示すよ う なマ一力領域 2 0 に 白地に黒線 が十字に入つ ,.すこ もの を用 いて いる。 こ の マー カ を 図 4 の （ a ) 及び ( b ) に示す よ う に、 被写体位置上で水平方向、 垂直方向の 4箇所 M l、 M 2、 M 3及び M 4 に付け、 該マ一力 M l、 M 2、 M 3 及び M 4 を含んだ画像をそれぞれ撮影する。 各マ一力 は被写体の上の画 枠 2 1 内 に配さ れる。 マーカ M l、 M 2が同一の高さ で水平方向 に、 マ一 力 M 3、 M 4が、 同 じ列 に、 すなわち垂直方向にそれぞれ配さ れて い る。

H D画像では、 例えば図 4 ( a ) に示すよ う に、 水平方向のマ一 力 M l、 M 2 の交点間が w l、 垂直方向のマーカ M 3、 M 4の交点 間が h 1 と設定さ れて い る。 ま た、 S D画像では、 例えば図 4 ( b ) に示すよ う に、 水平方向のマ一力 M l、 M 2の交点間が w 2、 垂直 方向のマ一力 M 3、 M 4の交点間が h 2 と い う よ う に、 上記 H D画 像と は画角フ ォ ーマ ッ ト が異なる ため異な る位置 に設定さ れる こ と にな る。

次 に、 図 2 に示 したマーカ検出部 1 3 で行われ るマ一力 の検出手 順につ いて簡単に説明す る。 マー カ検出部 1 3では、 黒線の交点位 置を計算によ り 求めて い る。 先ず、 各画像上に付け ら れたマー カ近 傍で、 近傍内が白地 と黒線のみの画像 に な る よ う にマ一力領域 2 0 を設定す る。 そ して、 各マー カ領域 2 0 内の座標を （ X, y ) 、 こ の座標 （ X, y ) での輝度信号レベル を Y 、 と して、 水平 X方向、 垂直 y方向に対する輝度信号 レベルの積算値 をそ れぞれ求め る。 水平方向の輝度信号 レベル積算値 S _h は、 1走査線 に対 して一定 ( すなわ ち y座標 y = h—定 ） に し、 X 座標 と し て の変数 i を例え ぱゼ ロ か ら N ま で変化さ せた際の各画素の輝度信号 レベル を加算 し て求め る こ と に よ っ て、

S Σ , h (1)

0

と表 さ れる。

ま た、 走査線のラ イ ン方向、 すなわち垂直方向のマーカ位置決定 にお いて輝度信号レベル積算値 S _w は、 所定の X 座標 X = w と 固定 し、 y座標と しての示す変数 j を例えばゼロ か ら N ま で変化さ せた 際の各画素の輝度信号 レベル を加算 して求め る こ と に よ っ て、

» (2)

j = 0

と表さ れる。 こ こで、 添字 w は固定す る X座標、 添字 h は固定す る ラ イ ン位零、 N はマーカ領域 2 0 の水平方向 と垂直方向の画素数を 示 して い る。 こ の関係か ら明 らかな よ う に、 この輝度信号 レベル積 算値 S _h の最小値 rain( S _h )を示す添字 hは、 十字のマーカ の垂直方 向の線 と交わ る y座標 h _m を示 し て い る。 ま た、 輝度信号 レベル積 算値 S « の最小値 m i n ( S _u )を示す添字 hは、 十字のマーカ の水平方 向の鎳 と交わ る X座標 w _m を示 し て い る。 従っ て、 マーカ の交点座 標は、 関数 rain ()が最小座標を 出力する関数 と す る と、

( min( S u ), min(S h ) ) = ι w _m ， h m )

[条件： w = 0, · · ·， N; h = 0, · · ·, N ] · · · ( 3 ) と表さ れる。 こ の よ う に してマ 一力領域 2 0 の交点座標 （ w , h - ) を交点 と し て検出 して いる。

次 に、 検出 さ れたマー カ位置の判定を マー カ位置判定部 1 4で行 う。 H D画像 と S D画像 には、 画像上 に図 4 ( a ) と 図 4 ( b ) に 示すマーカ M l 〜 M 4 も撮像 して取 り 込んでいる。 こ こ では、 撮像 装置 1 1、 2の相対的位置のずれに よ り、 撮像 した画像 に回転成 分が入るのを防 ぐ ため に、 H D画像 と S D画像の水平、 垂直性が一 致する よ う に撮像する。 予め被写体に付 した マ一 力 の交点座標はマ —力 M l、 M 2の y座標 と マ 一力 M 3、 M 4の x座標を同 じ位置に 配 し て い るか ら、 各マ一力の上述 した座標をポイ ン ト に し て両画像 も同 じ座標値を取る必要が生 じる。 こ れ らマ 一力 中心座標の位置関 係を維持 して撮像する こ とが、 各画像 にお け るマーカ位置に対する 撮像条件であ る。 前述 し たよ う に こ の撮像条件を満足する ためマ ー 力位置判定部 1 4は、 撮像装置 1 1、 1 2 に設けて い るカ メ ラ調整 部 l l c、 1 2 c を制御 し、 マー カ位置調整を行っ て いる。

—方、 マ ッ チ ング を取る画像が H D画像対 S D画像の場合、 各画 像の フ ォ ーマ ヅ ト か ら H D画像は S D画像に対 し て略々 2倍の解像 度を有 して い る。 しか し、 マ一力 間に含ま れる画素数は、 H D画像 と S D画像のアスペ ク ト 比が異な る た め、 マーカ 中心の水平、 垂直 方向でずれて し ま う。 ま た、 S D画像を H D画像 にア ップコ ンパ一 ト する と きや H D画像を S D画像 にダウ ン コ ンパ一 卜 する と き、 上 記アス ペク ト 比の違 い を考慮 して例えば大き な H D画像領域内 に S D画像を はめ込んで表示させた り、 画像表示する位置を一方側 に寄 せて表示 した り、 ズーム率を変化させて画面の一部を削っ た り と各 種の大 き さ に画面表示させる こ と がで き る。 この両画像の関係を画 像データ、 画像デー タ の位置関係か ら求める必要が生 じる。

こ こで、 H D画像 にお ける水平方向の マー カ間画素数を w l、 S

D画像におけ る水平方向のマ一力間画素数を w 2、 H D画像にお け る垂直方向の マ一力間画素数を h 1、 S D画像にお け る垂直方向の マ一 力間画素数を h 2 と する と、 H D画像と S D画像のマーカ間画 素数関係は、

w 1 = 2 X w 2 · · · ( 4 )

h 1 = 2 X h 2 · · · ( 5 )

と い う 関係に表され るが、 式 （ 4 ) と （ 5 ) を同時に満足させる こ と は上述 した よ う なァス ぺク ト比の違 いか ら でき な い。

従っ て、 こ の実施例では垂直方向のマーカ間画素数の関係、 すな わち式 （ 5 ) を満足させる と、 H D画像 と S D画像のマ一 力間画素 数関係は、 画素ァス ぺク 卜比の関係か ら、

w 1 < 2 X w 2 . . · ( 6 ) h 1 = 2 X h 2 · · · ( 5 ) とな る （ 図 6 の関係を参照） 。

こ の よ う に H D画像 と S D画像の各マ一力位置の一致すなわち基 準位置条件及び式 （ 6 ) と式 （ 5 ) の画素データ 条件を同時に満た す と き、 画像一致検出装置は入力 し た H D画像と S D画像を採用 す る。

次 に、 上述 し た H D画像と S D画像を用 いて こ の第 1 の実施例の 画像一致検出装置はそれぞれ対応画素 を決定する処理動作を開始す る。 この手順 につ いて例えば図 5 に示すメ イ ンフ 口 一 チヤ 一 卜 や図 6 の H D画像 と S D画像のマーカ 間画素数関係を示 し た模式図 を参 照 し なが ら説明する。 こ こでの手順はお も に S D画像 を H D画像 に ア ッ プコ ンパ一 卜 さ せる際の画像一致手順を説明 して い る。

こ こで、 撮像され H D画像と S D画像は、 両者の輝度信号 レべ ル平均や信号間のダイ ナ ミ ヅ ク レ ン ジが異な るた め、 画素合わせが 難 し い。 したがって、 最初 に画像一致前処理サブルー チン S U B 1 では、 こ の信号特性の違い を吸収する ため に、 例えばそれぞれの画 像にお ける輝-度信号 レベルの平均値及び標準偏差を補正する。 すな わち、 画像一致前処理サブルーチ ン S U B 1 では、 S D画像を H D 画像への対応付けを可能 にする輝度信号 レベルの平均値 （適宜 にォ フセ ッ ト と い う。 ） と標準偏差 （適宜 に ゲイ ン と い う。 ） の補正を 行う。

こ の画像一致前処理サブルーチ ン S U B 1 の処理手順を図 7 を参 照 し なが ら説明する。 こ の図 7 にお いて、 ステ ッ プ S 1 0 では、 H D画像に対する この画像の輝度信号 レ ベルの平均値及び標準偏差が 1 フ レーム 中のマ ッ チ ン グを と る全画素 を対象に算出 さ れる。

次 に、 ステ ッ プ S 1 1 では、 S D画像 に対する この画像の輝度信 号レベルの平均値及び標準偏差が 1 フ レ ーム 中の マ ッ チ ン グを と る 全画素を対象 に算出 さ れる。

ス テ ヅ ブ S 1 2 ではス テ ッ プ S 1 0、 S 1 1 でそれぞれ求めた値 を用 いて S D画像の輝度信号 レベルの平均値及び標準偏差を H D画 像の輝度信号 レベル及び標準偏差 に補正する。 こ の補正方法 と して は、 各変数を例えば H D 画像の輝度信号 レベルの平均値を M e a n :、 その輝度信号レ ベル の標準偏差を S t d v -：、 S D画像の輝度 信号 レ ベルの平均値を M e a n s：、 そ の輝度信号 レ ベルの標準偏差 を S t d v -: と する と、 補正 さ れた S D画像の輝度信号レベル Y S L が、 Stdv

ϊ HD

SD [Y HD - ^MeailSD ) ^X Mean

Stdv HD (7)

SD

か ら求め られる。

こ の よ う に して S D画像を H D画像の信号特性 に近づ く よ う に補 正 して信号特性の違い を吸収 して い る。

そ して、 こ JD画像一致前処理サブルーチ ン S U B 1 での補正が終 了す る と、 ス テ ップ S 1 に進む。

ス テ ッ プ S 1 では、 低精度画像ブロ ッ ク合わせ機能部 1 に対応画 素の初期ア ド レ スの設定を行わせる。 上記 （ 5 ) 、 （ 6 ) 式に示 し たよ う に垂直方向の 2つのマーカ 間、 すなわち、 マ一 力 M 3 と マ一 力 M 4間の H D画像の走査線数が S D画像の走査線数の丁度 2 倍 に なる場合、 水平方向の画素位置関係は、 図 6 に示すよ う に マー カ M 3 と M 4 の垂直方向のマ一力 中心線 M e uを軸 と し て軸対称に画素の 配設する位相がずれる関係になる。 従っ て、 マーカ 中心線 M c uの位 置か ら水平方向 に離れれば離れる ほ ど位相がずれ る こ と になる。

こ こで、 図 6 か ら 明かな よ う に H D 画像にお け る画素数 w 1 と S D画像における画素数 w 2の関係が例えば画素数 w 2 = 2個 と す る と、 この S D画素 2個の間に H D画素数 w l は 3 個 しか入れる こ と がで き な い。 この こ と よ り、 画素数関係 w l く 2 x w 2が成 り 立つ て い る こ とが判る。

一般的な関係を各画素間距離か ら求め る と、 図 6 の垂直方向 に関 して H D画素間距離 h ø , と S D画素間距離 h _{B 2}の関係は、 式 （ 5 ) か ら H D画素間距離 h ₀ , を基準にする と、

h a s— Δ h. ø l

であ る。 ま た、 図 6 の水平方向に関 して H D画素間距離 w ₀₁ と S D 画素間距離 w _{D 2}の関係は、 式 （ 6 ) か ら H D画素間距離 w _P！を基準 にする と、

w e 2 < 2 w β 1

にな っ て いる。 H D画素の画素間距離 に対する S D画素の画素間距 離の比率は、 w ø 2 Z w ø ,なる。

こ の よ う な. 係か ら 1 H D画素 あた り S D画素 に対する H D画素 の画素間距離の比率を求め、 画素数で表す と この比率は、 （ 2 x w 2 ) Zw l と な る。 図 6 の垂直方向の 中心位置 M _{c u}か ら水平方向 に 離れた画枠内の任意 H Dの画素数 d H _Dは、 同様に 中心位置 M _{c u}か ら 水平方向 に離れた S Dの画素数を d _{S D}と する と、

•d_Kn -- d_SB X —^― (8) で求める こ とができ る。 ステ ップ S 1 にお いて、 こ の画素数 d s _D、 d H Dを用 いて画素のブロ ッ ク化を行 う 際の基準位置と して の初期ァ ド レ スが設定さ れる。

こ の初期ァ ド レス が低精度画像プロ ッ ク合わせ機能部 1 で設定 さ れた後、 該初期ァ ド レ ス を基に高精度画像ブロ ッ ク合わせ機能部 2 は対応画素のブロ ッ ク マ ッ チ ング処理をサブルー チ ン S U B 2 の よ う に行う。 すなわち、 こ のサブルーチ ン S U B 2 にお いて、 高精度 画像プロ ッ ク合わせ機能部 2 は、 S D画像内 に設定さ れた任意の範 囲のブロ ッ ク に対応する探索範囲 を上記低精度プ ロ ッ ク合わせ機能 部 1 の検出結果、 すなわ ち初期ア ド レ ス に応 じて設定 し、 上記 S D 画像上のブロ ッ ク に対応する上記 H D画像上のブ ロ ッ ク を上記探索 範囲 内で大域的 に探索 し て一致領域の候補を見つ ける。

こ の対応画素のブ ロ ッ ク マ ッ チ ング を行う サブルー チン S U B 2 の処理手順を 図 8 を参照 しなが ら説明す る。 先ず、 ス テ ッ プ S 2 0 で図 6 の 中心軸 上の画素 を対象画素 と し、 こ の対象画素を 中心 に近傍のブロ ッ ク を S D 画像上で設定する。 図 6 か ら も明かな よ う に対象画素近傍の S D画素 と H D画素の水平方向の位相ずれは微小 であ る。

こ のため、 .,. S D画像 と H D画像の各画素の画角、 すなわちァス ぺ ク ト 比の影響が無視でき る。 従っ て、 H D画像側 に設けるブロ ッ ク は、 1 サ ンプルお き に画素を と つ たブロ ッ ク構成 にする。

次 に、 ステ ッ プ S 2 1 にお いて、 H D画像上での対応ブロ ヅ ク の 探索範囲の設定を行 う。

ス テ ヅプ S 2 2では、 ステ ップ S 2 0、 S 2 1 で設定 した S D 画 像側のブロ ッ ク と H D画像側の探索ブロ ッ ク の間で輝度信号レベル の平均値及び標準偏差をプロ ッ ク単位で補正処理する。

こ の補正処理は、 サブルー チ ン S U B 1 のステ ップ 1 2 で 1 フ レ —ム の画面につ いて輝度信号 レベルの補正を行っ て い るが、 こ の補 正処理だ けでは不十分な場合が多 いため、 個々のブロ ッ ク につ いて 局所的 に再補正 を行っ て いる。 こ の補正処理はこ の処理に よ り、 マ ツチ ング を と り 易 く する こ と を狙っ て い る。

ス テ ッ プ S 2 3では、 上述 した ス テ ッ プ S 2 2 での結果を基 に S D画像側のブロ ッ ク と H D画像側の採索範囲内の探索ブロ ッ ク で こ れ ら 両者のブ ロ ヅ ク を対応ブ ロ ッ ク と し て評価が行われる。

ブロ ッ クマ ッ チン グ を行う ための評価関数 N C C F ( i， j ) は、 S D画像側のブ ロ ッ クサイ ズを M x N画素、 探索範囲 を ± d m画素、 S D フ レ ーム の輝度信号 レベルを Y S L 、 H D フ レ ームの輝度信号 レ ベル を Y - _sと する と、 rt Λ

K H H 1 ΰ-i

…（9) で表 して いる。 こ こで、 i, j は一 d m以上、 d m以下 （ すなわち、 一 d m i， J ≤ d m の範囲で変化す る。 ま た、 輝度信号 レベル Y H Dの変数を （ 2 m + i ) 、 （ 2 n + i ) と したの は、 図 6 に示 し すよ う に、 S D画像 と H D画像とでは対応画素の抽出度が異な る た めである。 こ の式 （ 9 ) はブ ロ ッ ク 間の相関係数を求めて お り、 算 出 した N C C F ( i, j ) が最大にな るブロ ッ ク 同士 を相関があ る 最適値と する。 なお.、 こ の実施例では、 評価関数 と し て N C C F ( i , J ) を用 いたが、 ブロ ッ クマ ッ チ ングさせる方法は評価関数 と して N C C F ( i， j ) に限定さ れる も のでな く、 通常ブロ ヅ ク 間 の差分の絶対値和 M A D ( i, j ) やブ ロ ッ ク間の差分の 2乗和 M S E ( i， j ) を用 い る場合があ る。 M A D ( i， j ) と M S E ( i， j ) につ いては、 それぞれ、

M D I (10)

M ti

M S E -- -^- [r_SD[m,n) - Y 2nin,2n*j)} (ID

Λ =1 D--1 と表す。 これ ら の関数の評価は、 最小 と な る M A D ( i, j ) や M S E ( i， j ) を最適値 と して用 い る。 通常、 式 （ 1 0 ) の M A D ( i, j ) を用 いる場合が一般的であ る。 こ のよ う に ステ ップ S 2 3 で求めたブロ ッ ク を 「候補」 と して設定す る こ と に よ り、 ブ ロ ヅ ク マ ッ チ ング処理が行われ、 ブロ ッ ク 間の違いが最も少な い位置 を 確か ら し い画素 と し て を切 り 出す こ と ができ る。

ス テ ヅ ブ S 2 4 では、 すべてマ ヅ チ ン グ処理を行っ て探索が完了 したか ど う かの判断が行われて い る。 すべての探索が未完の と き、 ステ ップ S 2 0 に戻っ て上述 した一連の処理を繰 り 返す。 ま た、 す ベての探索が完了 した と き、 処理がすべて完了 した も の と して こ の サブルーチ ^ S U B 2 を終了 し図 5 の メ イ ン フ ロ ーの ステ ヅブ S 2 に戻 る。

ス テ ッ プ S 2 では、 サブルーチ ン S U B 2 での 「候補」 の探索結 果を用 いて、 H D画像 と S D 画像の対応ブロ ッ ク を大域的 に探索 し て最適な 「候補」 を決定する。

次に、 求めた最適な 「候補」 に対する高精度なブロ ッ ク マツ チ ン グ処理がサブルーチ ン S U B 3 で行われる。 この高精度なブロ ヅ ク マ ッ チ ング処理につ いて 図 9 及び図 1 0 を参照 しなが ら以下に説明 する。 先ず、 こ の高精度なブロ ッ ク マ ヅ チン グ処理を行う 必要性は、 図 6 に示 した よ う に H D画像 と S D画像 にお ける垂直方向の走査線 の位相を一致さ せて も水平方向の画素位置が基準か ら離れる につれ て大 き く なる よ う なずれ を生 じて い るので、 この水平方向の画素の ずれがあ って も画素のマ ッチ ングを と つ て一致を図る ためであ る。 これ に よ り、 画素の位相合わせは、 対応画素のな い位置に対 して も 例えば補間処理 によ っ て生成 した画素 を用 い て実際の画素以下の精 度でマ ッ チ ン グ を と つ て行っ て い る。

先ず、 高精度なブロ ッ クマ ッ チ ング処理を行う ため、 画像が有す る画素以下の画素を設定する。 こ のた め、 画素以下の画素 は、 線形 補間 した画素で表す。

S D画像と H D画像のそれぞれが元々有す る水平方向の画素 と補 間画素 と の関係は、 例えば図 1 0 に示す よ う な関係 に あ る。 画素間 補間の関係を説明す る と、 H D画像の解像度が S D画像の略々 2倍 ある ため、 S D画像の補間画素数が H D画像の 2倍 に な る よ う にす る。 図 1 0 に示 した補間画素の関係は、 S D画像の画素間の元々 の 分解能が 4で画素候補 A、 Bの間 に 3つの補間画素 Q , 、 Q ₂ 、 Q を配 して補.闆 し、 H D画像の画素間の元々 の分解能が 2で画素候 補 a、 bの間 に 1つの補間画素 P , を配 して補間す る関係の場合を 示 して い る。 この補間画素の生成は、 線形補間処理 に よ り 行っ て い る。

先ず、 ステ ッ プ S 3 0では、 S D画像の例 えば図 1 0の画素候補 A、 B を用 いて画素近傍の画素以下の画素であ る補間画素 Q > 、 Q ₂ 、 Q ₃ が計算に よ っ て求め られる。 線形補間 に よ る補間画素 Q , .

Q 、 Q は、 \ 4 "~ (12)

2-A + 2-B

(13)

4

の各式 （ 1 2 ) 、 （ 1 3 ) 、 （ 1 4 ) に よ っ て求め ら れる。

次 に、 ステ ッ プ S 3 1 で、 H D画像の例えば図 1 0 の画素候補 a、 b を用 いて画素近傍の画素以下の画素であ る補間画素 P , が計算 に よ っ て求め ら れる。 線形補間 に よ る補間画素 P , は、

2 の式 （ 1 5 ) に よっ て求め ら れる。

こ の線形補間計算を一般式で表す と、 分解能 nで画素 を補間 した 場合、 補間画素値 H ； は、 n •B

H (16) で求める こ と ^$でき る。 こ こで、 上記変数 i は、 i = 1 , · · -， ( n — Γ ) であ る。

次 に行 う ステ ップ S 3 2〜 ステ ップ S 3 6 ま での 5 ステ ップ分は、 サブルーチン S U B 2の ステ ップ S 2 0 〜ス テ ッ プ S 2 4 ま での 5 ステ ップ分の処理と全 く 同 じ処理を補間画素 を含めたブロ ッ ク に対 してブロ ッ ク マ ッ チ ン グ を行 う。

こ のサブルーチ ン S U B 3 の結果を基 にス テ ッ プ S 3でマ ツ チ ン グの判定を行 う。 すなわち、 ステ ッ プ S 3では、 サブルーチ ン S U B 3 で算出 し た画素以下の精度でマ ッ チ ング を調べた候補画素 を採 用 して よ いか ど う かの判定を行う。 こ の判定は、 マ ッ チ ングの最適 値が補間画素や候補画素以外の画素位置ではな く、 候補画素の位置 であ る こ と と、 その候補画素の評価値が予め設定 して お い た閩値よ り も 良い値の と き採用 する。

こ のブロ ッ ク を採用する際 にマー ク 位置 · ブロ ッ ク マ ヅ チ ング処 理部は切換ス ィ ツ チ S Wにブロ ッ ク の画素を 出力 する よ う に切 り 換 える。 こ の よ う に し て精度の異な る画像の対応を画素毎に行 う こ と がで き る。

そ して、 サブルー チ ン S U B 3 の結果であ る 「 候補」 の画素位置 が最適 と な る画素位置のア ド レス と一致 し、 さ ら にその と きの評価 値が妥当 と判断された どき、 ステ ッ プ S 4 に進む。 ま た、 妥当 と判 断さ れなかっ た と き、 ス テ ッ プ S 5 に進む。 この よ う に してス テ ヅ プ S 3 では設定 したプロ ッ ク と探索範囲内の探索プロ ッ ク との類似 性が高精度に評価さ れて いる。 そ して、 ステ ップ S 4 では、 マ ヅ チ ングの と れた画素ァ ド レ スの登録が行わ れる。

ス テ ヅ ブ S 5 では、 こ の画像にお け る すべての 「候補」 につ いて のマ ヅ チ ン 処理が行われたかど う かを判定 して い る。 すべての 「 候補」 の判定がま だ （ N o ) の と き、 ス テ ッ プ S 1 に戻 り、 すべて につ いて終了 した （ Y e s の ） と き、 画像一致の処理を終了する。 以上よ り、 上記画像一致処理に よ り、 S D画像 に対応す る H D画 像が決定するので、 この関係 に基づ いて例えば S D画像を H D画像 にア ップコ ンパ一 卜 する よ う に画像一致検出装置の出力結果を使用 する こ とがで き る。 例えばア ップコ ンパ一 卜 する際に画像一致処理 によ り 予め S D画像の レベル分布 に応 じ た候補を用 い て適応的な ク ラ ス の選択を行って い る ため画像の局所的性質に追従 したア ッ プコ ンバー ト を可能 に して い る。 したがっ て、 従来のア ッ プコ ンバー ト にお いて得ら れ る S D画像の解像度 と何等変わ ら な い補間画像 に比 ベて高精度な H D画像を生成 させる こ と がで き る。

ま た、 上述 した実施例は、 垂直方向の画枠を一致さ せた場合 を示 したが、 水平方向の画素数を一致させる場合も あ る。 この と き の式

( 6 )、 （ 5 ) に対応す る条件は、 画素数で表す と、

w 1 = 2 X w 2 · · · ( 1 7 ) h 1 < 2 X h 2 · · · ( 1 8 ) とな る。 この場合の高精度なブロ ッ ク マ ッ チ ング を行 う際の線形補 間は、 垂直方向 に対 して行われ、 補間画素を生成する こ と にな る。

こ の他、 上述 した実施例にお いてブロ ッ ク マッ チ ン グは、 対応画 素近傍で設定 し、 評価を 1 画素 に対 し て行っ て い るが上述 した方法 に限定さ れる も のでな く、 マ ッ チ ング をブロ ッ ク、 あ る い は領域単 位に行 う こ と も でき る。

さ ら に、 こ の画像一致検出装置及び画像一致検出方法を アプ リ ケ — シ ヨ ン と して適用 する と、 S D画像 と H D画像のマ ヅ チ ング を行 い、 マ ッ チ 、人 の と れた S D画像を H D画像 に置 き換える こ と に よ り 解像度を改善する こ とがで き る よ う になる。 ま た、 ステ レオ視を 可能 にするカ メ ラ装置で、 例えばカ メ ラ 系が異な る画像同士の対応 付け に も適用 し て画像の対応の認識を行っ て使用可能なカ メ ラ装置 の範囲を広げる こ とがで き る。

次 に、 本発明を適用 した第 2 の実施例 と な る画像一致検出装置に ついて説明する。 こ の画像一致検出装置も、 例えば図 1 に示すよ う に、 低精度画像一致検出手段 と しての低精度画像プロ ッ ク合わせ機 能部 1 と、 ブロ ッ ク マ ッ チン グ処理手段 と しての高精度画像ブ ロ ヅ ク合わせ機能部 2 と を有 して構成 さ れ る。 ま た、 こ の画像一致検出 装置は、 低精度画像 と高精度画像間の信号特性の差を前処理部 3 に 吸収させて い る。

こ こで、 低精度画像ブロ ッ ク合わせ機能部 1 は、 上記第 1 の実施 例のそれ と同様であ るが、 高精度画像ブロ ッ ク合わせ機能部 2 は、 上記第 1 の実施例のそれ と異なる。

上述 した第 1 実施例の高精度画像ブ ロ ッ ク 合わせ機能部 2 は、 S D画像内 に設定さ れた任意の範囲のブロ ッ ク に対応す る探索範囲 を 上記低精度ブロ ッ ク合わせ機能部 1 の検出結果、 すなわち初期ァ ド レス に応 じて設定 し、 上記 S D画像上のブロ ッ ク に対応す る上記 H D画像上のブロ ッ ク を上記探索範囲内で大域的に探索 して一致領域 の候補を見つ け、 さ ら に S D 画像 と H D画像のそ れぞれの画素間 を 補間する こ と に よ っ て設定 し たブロ ッ ク と探索範囲内のプロ ヅ ク と の類似性を高精度で評価 して い る。 評価方法は、 S D 画像側 と H D 画像側のブロ ッ ク （ 対応ブロ ッ ク ） 間で輝度信号の平均値 と標準偏 差の補正を行 い、 ブロ ッ ク間の違いが最も小さ い位置を確か ら し い 対応画素の候補 と する も のであっ た。

しか し、 対応画素の候補は、 後 に行 う 画素間補間マ ッ チ ングの時 に用 い るブロ ッ クサイ ズ に比べる とかな り 大き いブロ ッ ク で探索 さ れた画素であ る。 そ こで、 候補画素が局所的 に見た場合で もマ ッ チ ング を と る候補画素であ るかを調べ、 ずれが生 じて い た場合候補位 置の補正を行 う こ とが考え ら れる。

そ こで、 この第 2 の実施例の画像一致検出装置は、 高精度画像ブ ロ ッ ク合わせ機能部 2 に、 具体的 に、 階層構造を持つマッ チ ン グを 行わせ、 ブロ ッ クサイ ズを順次小さ く す る こ とで画素間補間マ ッ チ ングのブロ ヅ クサイ ズに近ずける ものである。

低精度画像ブロ ッ ク合わせ機能部 1 が前処理部 3 か ら供給さ れた 画素データ と基準位置情報に応 じて S D画像 と H D画像と に対 して 低精度の画素合わせを行 う の は、 上記第 1 の実施例のそれ と同様で あるので説明 を省略する。 ま た、 前処理部 3 の構成及び動作も説明 を省略する。

高精度画像ブロ ッ ク合わせ機能部 2 は、 S D画像内 に設定さ れた 任意の範囲のプロ ッ ク に対応する探索範囲を上記低精度プロ ッ ク合 わせ機能部 1 の検出結果、 すなわち初期ァ ド レス に応 じて設定 し、 上記 S D 画像上のブロ ッ ク に対応する上記 H D画像上のブロ ッ ク を 上記探索範囲内で大域的 に探索 して一致領域の候補を見つ けた後、 さ ら にブロ ッ ク サイ ズ と サーチエ リ ア を順次切 り 換えて該候補を補 正 し た後、 S D画像 と H D画像のそれぞれの画素間 を補間する こ と によ っ て高精度で上記ブロ ッ ク と上記探索ブロ ッ ク と の類似性を評 価 し、 一致が と れる画像を検出する。 そ して、 高精度 に一致が検出 されたそれぞれの画像を 出力端子 6、 7 か ら 出力する。

こ の第 20X実施例の画像一致検出装置が H D画像 と S D画像を用 いて それぞれ対応画素を決定する処理動作を図 1 1 に示すメ イ ン フ 口一 チャー ト を参照 しなが ら説明する。 こ こ での手順はお も に S D 画像を H D画像 にア ップコ ンパ一 卜 さ せ る際の画像一致手順を説明 して い る。

図 1 1 に示すフ ロ 一チヤ一 卜 にお いて、 サブルーチ ン S U B 1、 ステ ッ プ S l、 サブルーチン S U B 2、 ステ ヅプ S 2、 サブルーチ ン S U B 3、 ス テ ッ プ S 3、 ステ ップ S 4及びス テ ッ プ S 5 にお け る処理は、 図 5 に示 した処理 と 同様であ るのでこ こでは説明を省略 する。 こ の第 2 の実施例の画像一致検出装置が第 1 の画像一致検出 装置 と異な らせる処理は、 サブルーチ ン S U B 4 の処理手順であ る。 このサブルーチ ン S U B 4は、 ス テ ッ プ S 2 の後、 サブルーチ ン 3 の前 に行われる。

こ のサブルーチン S U B 4 では、 サブルーチン S U B 2、 ス テ ツ ブ S 2 で決定 した候補を S U B 3 で行 う 画素補間マ ヅ チ ン グのブ口 ヅ ク サイ ズに近い領域に追い込むための階層マ ッ チ ン グを行い、 マ ツ チ ング候補を再決定 して い る。 すなわち、 候補画素の位置にずれ が生 じれば、 候補画素の位置を補正 し、 再度候補を決定する。

こ の S U B 4で行 う マ ッ チ ング候補の再決定の処理手順 を図 1 2 のフ ロ ーチヤ一 ト を参照 しなが ら説明す る。 この 図 1 2 にお いて、 ステ ップ S 4 0では、 ブロ ヅ クサイ ズ、 サーチエ リ アの設定の変更 を行 う。 階層が進む につれて、 上記ブロ ッ クサイ ズ、 サーチエ リ ア は小さ く なる よ う に設定され る。 こ れは、 ブ ロ ッ クサイ ズを大 き い ブロ ッ ク か ら画素マ ッ チ ング に近 い局所ブロ ヅ ク のサイ ズに追い込 む必要があるか らで、 順次プロ ヅ ク を小さ く してブロ ッ ク 同士の対 応が と れるな.,らば、 サーチエ リ ア も小さ く て済む。

次に、 ステ ッ プ S 4 1 で図 6の中心軸 M 上の画素 を対応画素 と し、 こ の対応画素を 中心 に近傍のプロ ッ ク を S D画像上で設定する。 図 6 か ら も明かなよ う に対応画素近傍の S D画素 と H D画素の水平 方向の位相ずれは微小である。 こ のため、 S D画像 と H D画像の各 画素の画角、 すなわち アスペク ト 比の影響が無視でき る。 従っ て、 H D画像側に設けるブロ ッ ク は、 1 サ ンプルお き に画素を と つ たブ ロ ヅ ク構成にする。 このブロ ッ ク のサイ ズは、 上述 し たよ う に順次 小さ く する。

次 に、 ステ ッ プ S 4 2 にお いて、 H D画像上での対応ブロ ッ ク の 探索範囲の設定を行 う。

ス テ ヅ ブ S 4 3では、 ステ ップ S 4 1、 S 4 2 で設定 し た S D画 像側のブロ ッ ク と H D画像側の探索ブロ ッ ク の間で輝度信号 レベル の平均値 （ オフセ ッ ト ） 及び標準偏差 （ ゲイ ン ） をブ ロ ッ ク単位で 補正処理する。

ス テ ッ プ S 4 4では、 上述 した ス テ ッ プ S 4 3 での結果を基 に S D画像側のブロ ッ ク と H D画像側の探索範囲内のブロ ッ ク 間で こ れ ら両者のブロ ヅ ク を対応ブロ ッ ク と し て評価が行われ る。 ブロ ッ ク マ ッ チ ングを行 う ための評価関数 N C C F ( i， j ) は、 上記 （ 9 ) 式の よ う に表さ れる。 ま た、 評価関数 と して は、 上記 （ 1 0 ) 式や、 上記 （ 1 1 ) 式 に表さ れ る も のを用 い て も よ い。

こ の よ う にス テ ッ プ S 4 4 で求めたブ ロ ッ ク を 「候補」 と し て設 定す る こ と に よ り、 ブロ ッ ク マ ッ チ ン グ処理が行われ、 ブ ロ ッ ク 間 の違いが最も少な い位置を確か ら し い画素 と して を切 り 出すこ と が でき る。

ス テ ヅ プ 4 5 では、 サーチ毎 に算出 され る評価値を評価のため のメ モ リ であ る評価メ モ リ に加算する。 探索 を全て終える と評価値 テーブル を参照 して、 最適な評価値を選択 し、 候補画素の ア ド レ ス を決定する。

ス テ ッ プ S 4 6 では、 予め設定さ れた階層数以上の処理を行 う よ う に繰 り 返すか終わ り かの選択を行う。

そ して、 階層ループを繰 り 返す度に、 ステ ップ S 4 7 で評価値テ —ブルか ら最適な評価値を選択 し、 その画素位置が前の階層での位 置と異なれば更新する。

以上の処理を設定さ れた階層数だけ行 う ため にス テ ップ S 4 8 の 判定が行われ る。

図 1 3 は、 階層数 3 を例に と っ て、 評価値テーブルの領域と最適 位置の変化の様子を示 し た も のであ る。 最適位置は階層毎 に加算さ れた評価値テーブル に よ り 決定 し、 最適位置は変化す る。 そ して、 最後の第 3 階層で決定さ れた位置が最適位置 と な る。

評価値テーブルは、 階層毎の評価値を重み付け加算する こ と で、 精度を向上さ せて い る。 この例で は、 第 2 階層の評価値テーブル に、 対応する第 1 階層の評価値を加算 して い るが、 第 3 階層 と 第 2 階層 も同様であ る。 その と き、 評価値テ一ブルへの加算は、 対応する評 価値が存在す る必要があ るか ら、 それ を考慮 したブロ ッ ク サイ ズ と サーチエ リ アの設定が必要である。

例えば、 今、 第 1 階層 と し てブロ ッ クサイ ズ 1 3 x 1 3、 サー チ エ リ ア ± 4 ( 制限 ± 2 ) 、 第 2 階層 と し てブロ ッ クサイ ズ 9 x 9、 サー チエ リ ア ± 2 ( 制限 ± 1 ) 、 第 3 階層 と してブロ ッ クサイ ズ 5 5, サーチエ リ ア ± 1 と い う値を設定する。 第 1 階層 と第 2 階展 では、 評価錄テーブルはサー チエ リ アサイ ズだけを算出するが、 検 出で き る範囲を制限する こ と で階層毎の加算を行え る よ う に して い る。 そ して、 各階層 にお いて制限サーチ内で最適な位置を求め る。 ま た、 評価値テ一ブルの重み付け加算は、

E S T , = w： · E S T ·. + w = · E S Τ ί + w？ · E S T :.

• • • ( 1 9 ) とな る。 こ こ で、 i = 1、 2、 3 は階層番号、 w は重みを表す。 こ のサブルーチン S U B 4 でのマ ッ チ ング候補再決定の処理が終 了する と、 図 1 1 に示すサブルーチ ン S U B 3 に進み、 その後ス テ ヅプ S 3、 ス テ ヅブ S 4 及びステ ップ S 5 に進む。

こ のた め、 第 2実施例の画像一致検出装置は、 サブルーチ ン S U B 4 に示 した よ う なマ ッ チン グ候補の再決定処理を行 い、 階層マ ツ チン グを導入す る こ と に よ っ て、 大域マ ヅ チ ング と補間に よ るサブ ビク セルマ ヅ チ ングのブロ ヅ クサイ ズの違い に橋渡 し的に働き、 ブ 口 ヅ クサイ ズの違い に よ る対応ブロ ッ ク のずれが生 じ た場合に対応 画素位置を補正する こ とがで き る。 しか も、 階層構造の評価を総合 的に行う と に よっ て、 精度を向上さ せる こ とができ る。

ま た、 この第 2 の実施例である画像一致検出装置も マ ッ チ ン グ処 理をブ口 ヅ ク、 ある い は領域単位に行 う こ とがで き る。

さ ら に、 こ の第 2 の実施例で行われ る画像一致検出方法をアプ リ ケ一 シ ヨ ン と し て適用 す る と、 S D画像 と H D画像のマ ッ チ ン グを 行い、 マ ッ チ ン グの と れた S D画像を H D画像に置き換え る こ と に よ り 解像度を改善す る こ とができ る よ う にな る。 ま た、 ス テ レ オ視 を可能にする カ メ ラ装置で、 例えばカ メ ラ系が異な る画像同士の対 応付けに も適用 して画像の対応の認識を行っ て使用可能な カ メ ラ装 置の範囲 を広 る こ とができ る。

次 に、 本発明 を適用 し た第 3 の実施例 と な る画像一致検出装置 に つ い て説明する。 こ の画像一致検出装置も、 例えば図 1 に示すよ う に、 低精度画像一致検出手段 と しての低精度画像プロ ッ ク 合わせ機 能部 1 と、 ブロ ッ ク マ ッ チング処理手段 と しての高精度画像ブロ ッ ク合わせ機能部 2 と を有 して構成 さ れる。 ま た、 こ の画像一致検出 装置は、 低精度画像 と高精度画像間の信号特性の差を前処理部 3 に 吸収 させて い る。

こ こ で、 低精度画像ブ ロ ッ ク合わせ機能部 1 は、 上記第 1 の実施 例及び上記第 2 の実施例のそれと 同様であるが、 高精度画像プ ロ ッ ク合わせ機能部 2 は、 上記第 1 の実施例又は上記第 2 の実施例のそ れ と異な る。

上述 した第 2 実施例の高精度画像プロ ッ ク合わせ機能部 2 は、 解 像度の異な る画像間のマ ッ チ ング を と る場合、 大域的 に探索 し た候 補画素か ら さ ら に階層的なマ ッ チ ン グで対応画素 を決定 し て い る。 その時、 解像度が異なっ て い る点を考慮する と、 画素単位 にマ ッ チ ングが と れたか どう かの判定は、 画素以下の精度ま で追い込む こ と で精度を確保 し判定を行って いた。

しか し、 画素単位でマ ッ チ ング を と つ て い るので、 ノ イ ズ等の外 乱の影響を受 けやす く、 ノ ィ ズで振 ら れた画素間の画素以下デー タ はノ イ ズの影響を直接受 けた画素で求め られ るた め、 マ ッ チ ン グ判 定が困難にな る可能性がある。

ま た、 画素以下精度でのマ ッ チ ング条件はかな り 厳 し い条件 と な るため、 マ ッ チ ングを行っ た全画素 に対する マ ッ チ ン グの と れた割 合であ る マ ヅ チ ング率は、 4 %程度と かな り 低い もの にな って し ま う。 マ ヅ チ、ん 率が低い と、 マ 、ソ チ ン グ画素の傾向を把握するの に 必要なデータ数は多 く な るため、 処理に時間 を要する可能性があ る。

ま た、 階展的なマ ッ チ ング にお ける輝度信号レベルの平均値 （ ォ フセ ッ ト ） 及び標準偏差 （ ゲイ ン ） の補償は、 マ ッ チ ングの評価を する際の両ブロ ッ ク毎 に補償を行っ てお り、 ブロ ッ クサイ ズを小 さ く した と き に画像形状が大き く 異な る と補償の程度がプロ ッ クサイ ズゃ画像形状に依存 して し ま う可能性があ る。

そ こ で、 こ の第 3 の実施例の画像一致検出装置は、 画素以下 （ サ ブピピ ククセセル ） でのマ ッ チ ング を行わず、 マ ヅ チ ン グ部での制約条件 を工夫 し、 マ ヅ チングの精度を損なわず、 マ ッ チ ング率を向上させ る tこ_ と_ 'を£E t目j B的'J Cと すするる。

先ず、 解像度の異な る マッ チングの意味を図 1 4 を参照 しなが ら 説明 してお く。 図 1 4 の （ a ) に示さ れた S D画像に は、 初期ア ド レ ス であ る対応画素 P を 中心 と し たブロ ヅ ク B を設定する。 図 1 4 の （ b ) に示された H D画像に は探索範囲 （サーチエ リ ア ） E ;を 設定する。 そ して、 ブロ ヅ ク とサーチエ リ ア E 内の探索ブロ ッ ク B H Dと の間でマ ヅ チ ン グを と る。

マ ヅ チ ング方法 と して は、 図 1 5 に示すよ う に、 全画面を対象 と した補正を し た後、 大域マ ッ チン グを行 い、 最適な評価を与え る画 素を候補画素 と し、 こ の候補画素 に よ り 近い領域での マ ッ チ ン グ を 取る ため階層マ ッ チ ン グ を行 い、 候補画素のマ ッ チ ン グを判定す る 方法であ った。

こ のマ ヅチ ング方法で行っ て い る大域マ ッ チン グでは、 画素ァス ぺク 卜 を考慮 した対応画素の初期ァ ド レ ス設定を行 い、 探索ループ で最適画素を探索 し て い るが、 その評価、 すなわ ち マ ッ チ ングの判 定条件に は挹関係数を用 いて いた。

こ の第 3 の実施例は、 この大域マ ッ チ ング にお ける マヅ チ ン グの 判定方法を上記相関係数を用 いた相関評価の他に、 3 つの判定を加 えた方法 と して いる。 こ の 3 つの判定 と は、 相関値判定、 ゲイ ン判 定及びテーブル形状判定であ る。

こ の 3 つの判定を加えた大域マ ッ チ ン グの処理の流れを図 1 6 の フ ロ ーチヤ一 卜 を参照 しなが ら説明す る。

先ず、 第 3 の実施例の画像一致検出装置は、 ス テ ッ プ S 5 0 に示 すよ う に低精度画像プロ ッ ク合わせ機能部 1 に初期ァ ド レ ス を設定 させる。 その後、 ス テ ッ プ S 5 1 では、 高精度画像ブロ ヅ ク合わせ 機能部 2 に上記初期ァ ド レ ス を基に S D画像内に任意の範囲か ら な るブロ ッ ク を設定させ、 H D画像上に該ブロ ッ ク を探索す るた めの 探索範囲 と さ ら に探索ブロ ッ ク を設定させ、 上記任意の範囲のプロ ッ ク と上記採索プロ ッ ク を大域的 に探索させて一致領域の候補 と な る候補が有るか否か を判定す る。 実際に は、 S D 画像側のブロ ッ ク と H D画像側のブロ ッ ク の間で輝度信号 レベルの平均値 （ オフ セ ッ 卜 ） 及び標準偏差 （ ゲイ ン ） をブロ ッ ク単位で補正処理 し てか ら行 われ る。

次 に、 ステ ッ プ S 5 2 では、 ス テ ッ プ S 5 1 でのサーチエ リ ア探 索で候補が見つかつ た と い う 結果を基 に、 S D画像側のブ ロ ッ ク と H D画像側の探索範囲内の探索プロ ッ ク 間でマ ッ チ ン グが と れたか 否かの判定が行われ る。 ' この判定は、 ブロ ッ ク間の相関関数を用 い て行われる相関評価に よ り 行われる。 そ して、 ス テ ッ プ S 5 2 での 判定が終了する とス テ ッ プ S 5 1 に戻 る。

ス テ ッ プ S 5 1 でのサ一チェ リ アの探索の結果、 一致領域の候補 が見つか らな ぃ場合、 すなわち S D画像側のプロ ヅ ク と H D画像側 の探索範囲内の探索プロ ッ ク 間でマ ッ チ ングがと れな い場合、 ス テ ヅプ S 5 3の判定に向か う。 このステ ッ プ S 5 3 は、 ステ ップ S 5 2での評価値である相関係数が小 さ すぎ る とサー チエ リ ア内の最適 値であっ て も マ ッ チ ングがと れな い と判定する も ので、 最適相関値 を R sと する と マ ヅ チ ン グ条件は、

R _? > T H - · · · ( 2 0 ) とな る。 こ こで、 T H . は し き い値であ る。

こ の （ 2 0 ) 式にお いて、 最適相関値 R _;が T H . よ り 犬であ る と、 ステ ップ S 5 4 に進む。 このステ ップ S 5 4 は、 最適位置 にお け る マ ヅ チ ン グ と と ったブ Π ヅ ク のゲイ ン、 すなわち標準偏差の比が大 きすぎる とマ ヅ チングは とれて いな い と判定する。 そ れぞれの標準 偏差を び _s び _h aと する と マ ッ チ ング条件は、

び > び 。の場合、

σ σ > Τ Η ( 2 1 )

とな る。

ま た、 σ = > σ の場合、

σ , σ T H s . . . ( 2 2 )

とな る。 こ こ で、 T H ₉は所定の し き い値である _c

上記マ ッ チ ン グ条件を満足する場合、 ステ ップ S 5 5 に進む。 のス テ ッ プ S 5 5 では、 サーチを した と きの評価値テ一ブルの形状 を判定 して、 形状が一つ の山で急峻な ほ どマ ッ チ ングは正 し い と判 定する。 マ ッ チ ング条件は、 最適評価値に対する割合を r と して、

T H 1 = r X R s · · · ( 2 3 )

とな る し き い値を求め る。 テーブル上の評価値 R につ いて、

R > T.H〗 · ' · （ 2 4 )

を満たす評価値に対 して、 今度は最適評価値の位置 （ X ₅、 y s ) と の ノ ルム を積算する。 すなわち、 評価値の位置を （ x ;、 y ； ) と し て、

1 ^B

= 丄 ∑ xrx. (ダ厂 Λ)' (25)

但 し、 ηは （ 2 4 ) 式を満たす数であ る。

こ こで、 Ν「が小さ い ほ どテーブルの形状は急峻であ る と判断で き る こ とか ら、 マ ッ チ ング条件は、

N < T H a · · · ( 2 6 )

であ る。 こ こで T H ₂は し き い値であ る。

評価値テーブルの形状を判定す るその他の実施例 と して、 （ 2 5 ) 式の ノ ルム を求める代わ り に、 （ 2 4 ) 式を満た す評価値で （ X _s、 ) か ら最遠点の距離 に ある評価値の位置を （ X y , ) と し て、

を求め、 . D _sが小さ いほ ど形状が急峻に な る傾向 に あ る か ら、 マ ッ チ ング条件は、

r / D > T H 3 . —— （ 2 8 ) と する。 こ こ で、 T H ₃は し き い値であ る。 ま た、 ( 2 ) 式を満たす評価値 R の標準偏差 び _ftを求め る と、 標 準偏差が小さ い ほ ど形状が急峻だ と判断でき るか ら、 マ ッ チ ン グ条 件は、

σ < T H . · · · ( 2 9 ) とな る。 こ こ で、 Τ Η は しき い値であ る。

以上の判定-でマッ チ ン グが とれた と判断さ れた画素は、 後段の階 層マ ッ チ ング に渡さ れる。

階層マ ツ チ ングは、 ブロ ッ クサイ ズを小さ く しなが らブロ ッ ク を 画素近傍に追い込み、 各階層 にお ける最適位置を総合判断 して最終 的にマ ツ チン グがと れたか否かを判定す る。 特に、 こ の第 3 の実施 例の画像—致検出装置の階層マ ッ チ ングが上述 した第 2 の実施例の 画像一致検出装置の階層マ ッ チン グ処理 と異なるのは , 定常オフセ ッ ト （輝度信号の レベルの平均値） 及びゲイ ン （ 輝度信号の標準偏 差） に よ る補償を加えた こ と にあ る。 第 2 の実施例の画像一致検出 装置では . マ ッ チングの評価をする際の両ブロ ッ ク毎 に補償を行つ て いたが、 ブロ ッ クサイ ズを小さ く し た と き に画像形状が大き く 異 なる と補償の程度がブロ ッ クサイ ズゃ画像形状に依存 して し ま う 可 能性があ つた。 このため、 こ の第 3 実施例の画像一致検出装置では、 ブロ ッ クサイ ズや画像形状に あま り 左右さ れな い定常値を求めて い る。

こ の定常オフ セ ッ ト、 ゲイ ン に よ る補償を加えた階層マ ッ チ ング 処理の流れを図 1 7 のフ ロ ーチヤ一ト を参照 しなが ら説明する。

高精度画像ブロ ヅ ク合わせ機能部 2 は、 ス テ ッ プ S 6 0 にお いて、 ブロ ッ クサイ ズ、 サーチエ リ アを縮小す る。 この縮小は、 階層が進 むに したがっ て進行する。 こ れは、 ブロ ッ クサイ ズを大き いブ ロ ヅ クか ら画素マ ッ チン グ に近い局所ブロ ッ ク のサイ ズに追い込む必要 があ るか らで、 順次ブロ ッ ク を小 さ く し てブロ ッ ク 同士の対応が と れる な ら ば、 サーチエ リ ア も小さ く て済む。

次 に、 高精度画像ブロ ッ ク 合わせ機能部 2 は、 ス テ ップ S 6 1 に お いて、 サーチエ リ ア を探索 して、 一致領域の候補 と な る対応ブロ ヅ ク があ るか.否かを判定する。 こ こ で有る と判定する と ス テ ッ プ S 6 2 に進み、 無 い と判定する とス テ ッ プ S 6 4 に進む。

ス テ ッ プ S 6 2では、 上述 した よ う な定常オフ セ ッ ト、 ゲイ ン に よ る補償が行われる。 図 1 8 ( a ) 及び （ b ) は、 各信号変化を簡 単のため 1次元で表 した例である。 注 目画素 （黒点） を中心に して ブロ ヅ クサイ ズを大き く して いた と き、 それぞれのブ ロ ッ ク 内の輝 度が図 1 9の （ a ) 及び （ b ) の よ う に変化 した と する。 オフ セ ヅ 卜 0 と は、 そ れぞれの輝度平均 Mの差分で、

0 = M hd - M _{s d} · · · ( 3 0 ) で定義する。 定常状態の判定は、 各ブロ ッ クサイ ズでのオ フセ ッ ト を 0 _uと する と、

I O u - O u-i I < T H _m · · · ( 3 1 ) - とな る。 ただ し、 こ こで uは u — 1 よ り 大き いブロ ッ クサイ ズで あ る。 この （ 1 2 ) 式を満たすオフ セ ッ ト が、 N個連続 した と き に定 常状態 と判定 し、 その と きの定常値 0 ,は連続 N個の平均で求め、

(32) .1

とな る。

ゲイ ン G と は、 各ブロ ッ ク 内の輝度の標準偏差の比であ り、

G = σ / σ s c · · · ( 3 3 ) で定義さ れて い るか ら、 各ブロ ッ クサイ ズでのゲイ ン を G ,とす る と、 I G v - G v-, I < Τ Η ₅ · · · ( 3 4 )

を満たすゲイ ン力¹'、 N個連続 した と き定常状態 と判定する。 但 し、 T H ₅は し き い値であ り、 V は V — 1 よ り 大 き いブ ロ ッ クサイ ズであ る。

その と きの,定常値 G , も 同様 に、

G (35)

.1

で求める こ とができ る。

以上で求めたオフ セ ッ ト と ゲイ ンの定常値を用 いて、 マ ッ チ ン グ の探索時の補償を行う。 補償 と は、 低解像度側のブロ ッ ク と高解像 度側のサーチエ リ ア 内のブロ ッ ク 間でマ ッ チ ング評価を行 う際、 低 解像度側の輝度平均 と標準偏差を高解像度側 に合わせる。 それぞれ の輝度値を Y s« Y hdと する と、

Y 3 d = ( Y h d - Y _S d ) G r + M ₃ d + O _f · · · ( 3 6 ) に よ り 行 う。 こ の補償を行う こ と に よ っ て、 ブロ ッ ク サイ ズや画像 形状 に左右さ れず精度の よ いマ ッ チ ン グ判定を行 う こ とができ る。

そ して、 ス テ ップ S 6 3 に進み、 絶対値差分評価に よ る判定を行 い、 その後ステ ヅブ S 6 1 に戻る。

ス テ ップ S 6 4では、 サー チ毎 に算出 さ れ る評価値を評価のた め のメ モ リ であ る評価メ モ リ に加算する。 探索 を全て終える と評価値 テーブル を参照 して、 最適な評価値を選択 し、 候補画素の ア ド レ ス を決定する。 すなわ ち、 このステ ッ プ S 6 4では、 対応 H Dァ ド レ ス を シフ ト する。

こ こで、 階層ループを繰 り 返す度に、 評価値テーブルか ら最適な 評価値を選択 し、 その画素位置が前の階層での位置 と異なれば更新 する。

そ して、 以上の処理を設定さ れた階層数だ け行 う ために ステ ッ プ S 6 5 の判定が行われる。 こ こで、 次の階層 に進む場合、 上述 し た よ う に、 ステ ッ プ S 6 0 で、 ブロ ヅ ク サイ ズ、 サ一チェ リ アの設定 の縮小が行ねれる。

最後に ステ ッ プ S 6 6 で総合的な判定が行われ、 高精度画像プロ ッ ク合わせ機能部 2 のマ ッ チ ング処理が終了する。

以上よ り、 こ の第 3 実施例の画像一致検出装置は、 解像度の異な るマ ッ チ ング を と る場合、 大域マ ッ チ ン グ と 階層マ ッ チン グを制約 条件を加えなが ら順次行 う こ と に よ っ て、 マ ッ チ ングの精度を確保 する よ う にな り、 画素以下 （サブ ピ ク セル ） マ ッ チ ン グを行わな い ため、 マ ッ チ ン グの率を向上させる こ とがで き る。

ま た、 階層的なマ ヅ チ ング にお ける オ フセ ヅ 卜、 ゲイ ンの補償を 定常値を用 いて行っ て い るた め、 プロ ッ クサイ ズや画像形状に左右 さ れ に く く な つ て い る。

Claims

請求の範囲

1 . 第 1 の画素数か ら な る第 1 の撮像素子が出力 する第 1 の画像 と 第 2 の画素数か らな る第 2 の撮像素子が出力する第 2 の画像と の各 画素間の一致関係を検出する画像一致検出装置であ っ て、

上記第 1 及 ^び第 2 の画像の基準位置に基づ いて低精度の画素合わ せを行う 低精度画像一致検出手段 と、

上記低精度画像一致検出手段の検出結果に応 じ て第 1 の画像上で のブロ ッ ク に対応する探索範囲を上記第 2 の画像上に設定 し、 上記 第 1 の画像上のブロ ヅ ク にマ ヅ チ ン グす る第 2 の画像上のブロ ヅ ク を上記探索範囲内で探索するブロ ッ ク マ ッ チ ング処理を行 うブロ クマ ッ チ ング処理手段と を有する こ と を特徴 とす る画像一致検出装 置。

2. 上記ブロ ッ ク マ ッ チ ング処理手段は、 上記第 1 及び第 2 の画像 の各画素間のデータ を補間に よ り 生成 した後に、 上記ブロ ッ ク マ ツ チ ン グ処理を行 う こ と を特徴 と す る請求の範囲第 1 項記載の画像一 致検出装置。

3. 上記第 1 の画像を低解像度画像 と し上記第 2 の画像を高解像度 画像 と する と き、 上記ブロ ッ クマ ッ チ ン グ処理手段は、 上記低精度 画像一致検出手段の検出結果 に応 じて上記低解像度画像上でのプロ ッ ク に対応する探索範囲 を上記高解像度画像上に設定 し、 上記低解 像度画像上のプロ ッ ク にマ ッ チン グする上記高解像度画像上のブロ ッ ク を上記探索範囲内で大域的に探索 し て候補を見つ け、 さ ら に上 記低解像度画像 と上記高解像度画像のそ れぞれの画素間を補間す る こ と に よ って設定 したブロ ッ ク と探索範囲内のブロ ッ ク と の類似性 を高精度に評価 し、 一致がと れる画像を検出する こ と を特徴と す る 請求の範囲第 1 項記載の画像一致検出装置。

4. 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体を撮像する こ と を特徴 とする請求の範囲第 1 項記載の画像一致検出装置。

5. 上記被写体 には、 基準の画素位置を示すマ一 力が付さ れて い る こ と を特徴 する請求の範囲第 4 項記載の画像一致検出装置。

6. 第 1 の画素数か ら な る第 1 の撮像素子が出力 する第 1 の画像 と 第 2 の画素数か らな る第 2 の撮像素子が出力する第 2 の画像と の各 画素間の一致関係を検出する画像一致検出装置であっ て、

上記第 1 及び第 2 の画像の基準位置に基づ いて低精度の画素合わ せを行う 低精度画像一致検出手段 と、

上記低精度画像一致検出手段の検出結果に応 じ て上記第 1 及び第 2 の画像を該第 2 の画像上に探索範囲 を設定 して大域的にサーチ し てそれぞれの注 目点を選定 し、 こ の注 目点を含む対応ブロ ッ ク を上 記第 1 及び第 2 の画像に設定 して こ れ ら の輝度信号の平均 レベル又 は標準偏差が一致する よ う に補正 した後 に上記対応プ ロ ッ ク にプロ ッ ク マ ッ チン グ処理を施すブロ ッ ク マ ッ チン グ処理手段と を有する こ と を特徴と す る画像一致検出装置。

7. 上記ブロ ッ クマ ッ チ ング処理手段は、 上記対応ブ ロ ッ ク を n 回 階層的 に小さ く しなが ら輝度信号の平均 レ ベルの差の検出及び補正 又は輝度信号の標準偏差の比の検出及び補正 とブ ロ ッ クマ ッ チ ン グ 処理を n 回繰 り 返す こ と を特徴と する請求の範囲第 6 項記載の画像 一致検出装置。

8. 上記ブロ ッ ク マ ッ チ ング処理手段は、 上記第 1 及び第 2 の画像 の各画素間のデ一夕 を補間 に よ り 生成 し た後 に、 上記プロ ヅ ク マ ツ チン グ処理を行 う こ と を特徴 と す る請求の範囲第 6 項記載の画像一 致検出装置。

9. 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体 を撮像する こ と を特徴 とする請求の範囲第 6項記載の画像一致検出装置。

1 0. 上記被写体に は、 基準の画素位置を示すマ一力が付されて い る こ と を特徴 する請求の範囲第 9 項記載の画像一致検出装置。

1 1 . 第 1 の画素数か ら なる第 1 の撮像素子が出力す る第 1 の画像 と第 2 の画素数か ら な る第 2 の撮像素子が出力す る第 2 の画像 と の 各画素間の一致関係を検出す る画像一致検出装置であ って、

上記第 1 及び第 2 の画像の基準位置に基づ いて低精度の画素合わ せを行う 低精度画像一致検出手段 と、

上記低精度画像一致検出手段の検出結果に応 じて上記第 1 及び第 2 の画像を大域的にサーチ してそ れぞれの注目点を選定 し、 こ の注 目点を含む対応ブロ ッ ク をそれぞれ設定 した後に、 こ の対応ブロ ッ ク を段階的に大き く しなが ら上記第 1 の画像内のブロ ッ ク と上記第 2 の画像内のブロ ッ クの輝度信号平均 レベルの差又は標準偏差の比 を求め、 該差又は比が収束 した と きの差又は比の値を用 いて、 上記 対応ブロ ッ ク 内の輝度信号平均 レベル又は標準偏差を補正 し、 階層 的な複数のブロ ヅ ク の大 き いブロ ヅ ク か ら小さ いブロ ヅ ク へ順次マ ツチ ング処理を施すブロ ッ ク マ ッ チ ン グ処理手段 と を有する こ と を 特徴 と する画像一致検出装置。

1 2. 上記ブ ロ ッ ク マ ッ チ ン グ処理手段は、 上記第 1 及び第 2 の画 像の各画素間のデ一 夕 を補間 によ り 生成 した後に、 上記ブロ ッ ク マ ツ チ ング処理を行う こ と を特徴と する請求の範囲第 1 1 項記載の画 像一致検出装置。

1 3. 上記第 1 及び上記第 2 の撮像素子は、 同 じ被写体を撮像する こ と を特徴と す る請求の範囲第 1 1 項記載の画像一致検出装置。

1 4. 上記被写体に は、 基準の画素位置を示すマ 一力が付さ れて い る こ と を特徴 と する請求の範囲第 1 3 項記載の画像一致検出装置。

1 5 . 解像度の異な るカ メ ラ で撮影 し た各静止画像の一致を検出す る画像一致検出方法 にお いて、

低解像度画像内に所定の大 き さ のブロ ッ ク を設定するブロ ッ ク設 定工程 と、

高解像度画像上に上記ブロ ッ ク に対応する探索範囲 を設定する探 索範囲設定工程 と、

上記探索範囲 を大域的 に探索 して候補を見つけ る候補探索工程 と、 こ れ ら高解像度画像 と低解像度画像のそれぞれの画素間 を補間す る こ と に よっ て設定 したプロ ヅ ク と探索範囲内のプロ ヅ ク との類似 性を高精度に評価 し、 一致が と れ る画像を検出す るブロ ッ ク一致検 出工程 と を有す る こ と を特徴 と する画像一致検出方法。

1 6 . 上記画像一致検出処理を行 う前 に、 高解像度画像と低解像度 画像の輝度信号 レベルの平均値又は標準偏差を画面全体で一致させ、 ブロ ッ ク単位の一致検出 を行 う際 に、 再度、 局所的な対応ブロ ッ ク 単位 に輝度信号 レベルの平均値又は標準偏差 と を一致させる こ と を 特徴 と す る請求の範囲第 1 5 項記載の画像一致検出方法。

1 7. 上記ブ ロ ッ ク 一致検出工程 にお い て、 高解像度画像 と低解像 度画像 ώブロ ッ ク間の類似性を評価す る方法 と し て、 ブロ ッ ク 間の 相関係数を用 いて評価す る こ と を特徴 と する請求の範囲第 1 5 項記 載の画像一致検出方法。

1 8. 上記ブロ ッ ク 一致検出工程にお いて、 高解像度画像 と低解像 度画像のブロ ッ ク間の類似性を評価す る方法 と し て、 プロ ヅ ク 間の 差分の絶対値和を用 いて評価する こ と を特徴 と す る請求の範囲第 1 5 項記載の画像一致検出方法。

1 9. 上記ブロ ッ ク一致検出工程にお いて、 高解像度画像 と低解像 度画像のプロ ッ ク間の類似性を評価す る方法 と して、 プロ ッ ク 間の 差分の 2 乗 ¾1を用 い て評価する こ と を特徴と する請求の範囲第 1 5 項記載の画像一致検出方法。

2 0. 解像度の異な るカ メ ラ で撮影 し た各静止画像の一致を検出す る画像一致検出方法 にお いて、

低解像度画像内に所定の大き さ のブロ ッ ク を設定するブロ ッ ク設 定工程と、

高解像度画像上に上記プロ ッ ク に対応する探索範囲 を設定す る探 索範囲設定工程 と、

上記探索範囲 を大域的 に探索 し て候補を見つけ る候補探索工程 と、 上記候補探索工程で探索 し た候補を含む対応プロ ッ ク を低解像度 及び高解像度の画像 に設定 し て こ れ ら の輝度信号平均 レベル又は標 準偏差が一致するよ う に補正 した後に上記対応ブロ ッ クの類似性を 高精度に評価 し、 一致が と れる画像を検出するプロ ッ ク一致検出ェ 程と を有する こ と を特徴 とす る画像一致検出方法。

2 1 . 上記ブロ ッ ク 一致検出工程は、 上記対応ブロ ッ ク を n 回階層 的に小さ く し なが ら輝度信号の平均 レ ベルの差の検出及び補正又は 輝度信号の標準偏差の比の検出及び補正 とブロ ッ ク マ ッ チ ング処理 を n 回繰 り 返す こ と を特徴と する請求の範囲第 2 0 項記載の画像一 致検出方法。

2 2. 上記ブロ ッ ク一致検出工程は、 各階層毎に マ ヅ チ ン グの際の 評価値を総合的 に判定 し て、 マ ッ チ ン グ候補画素の補正を行う こ と を特徴 と する請求の範囲第 2 1 項記載の画像一致検出方法。

2 3. 上記ブ ロ ッ ク 一致検出工程は、 上位階層の評価値を下位階層 の評価値に適用 する際、 下位階層の評価対象画素位置 に対応す る上 位階層の評価値が存在する よ う に、 マ ッ チン グの際のプロ ヅ ク サイ ズと サー チェ^リ ァを調整する こ と を特徴 と する請求の範囲第 2 1 項 記載の画像一致検出方法。

2 4. 解像度の異な る カ メ ラ で撮影 し た各静止画像の一致を検出す る画像一致検出方法 にお いて、

低解像度画像内に所定の大 き さ のブロ ッ ク を設定す るプロ ッ ク設 定工程と、

高解像度画像上に上記ブロ ッ ク に対応する探索範囲 を設定する探 索範囲設定工程 と、

上記探索範囲 を大域的 に探索 して候補を見つけ る候補探索工程 と、 上記候補探索工程で探索 し た候補を含む対応プロ ッ ク をそれぞれ 設定 した後に、 この対応ブロ ッ ク を段階的に大き く しなが ら上記低 解像度画像内のプロ ッ ク と上記高解像度画像内のプロ ッ ク の輝度信 号平均 レベル又は標準偏差の比を求め、 該差又は該比が収束 して と きの差又は比の値を用 いて、 階層的な複数のブロ ッ ク の大 き いブロ ッ ク か ら小さ いブロ ッ ク へ順次マ ッ チ ン グ処理を施 し、 一致が と れ る画像を検出す るブ ロ ッ クー致検出工程 と を有す る こ と を特徴 と す る画像一致検出方法。

2 5. 上記ブロ ッ ク 一致検出工程は、 上記第 1 及び第 2 の画像の各 画素間のデ一 夕 を補間 に よ り 生成 した後 に、 上記候補探索工程で探 索 し た候補を含む対応ブ ロ ッ ク を それぞれ設定 し、 こ の対応ブロ ッ ク を段階的に大 き く しながら上記低解像度画像内のブロ ッ ク と上記 高解像度画像内のプロ ッ クの輝度信号平均 レ ベル又は標準偏差の比 を求め、 該差又は該比が収束 して と き の差又は比の値を用 いて、 階 S的な複数のブロ ヅ クの大き いブロ ッ ク か ら小さ いブロ ッ クへ順次 マ ッ チ ング処理を施 し、 一致がと れる画像を検出する こ と を特徴 と する請求の範囲第 2 4項記載の画像一致検出方法。 '