JP3448868B2 - 画像一致検出装置及び画像一致検出方法 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、２つの撮像した画像の一致を画素又はブロ
ック単位で検出評価する画像一致検出装置と画像一致検
出方法に関し、特に解像度の異なる撮像装置で撮影した
低解像度画像と高解像度画像とを一致させる際に用いて
好適な画像一致検出装置及び画像一致検出方法に関す
る。

背景技術 一般に、画像のディジタル信号処理において、同じカ
メラ系で撮像された画像を用いて一方の撮影画像と他方
の撮影画像との一致を図る方法がある。動き量検出で知
られるブロックマッチング法である。

このブロックマッチング法は、先ず、一方の撮影画像
上に所定の大きさのブロックを設定する。また、上記他
方の撮影画像上には、設定したブロックを探索するため
の探索範囲を設定する。画像一致の評価は、上記ブロッ
クと上記探索範囲内の探索ブロックが類似性を有するか
どうかによって行っている。ブロックマッチング法は、
この一連の処理を画面全体に行って一方の撮影画像と他
方の撮影画像が一致するか検出している。

この場合、用いる撮影画像が上述したように同じカメ
ラ系で撮影した画像であるから、各画像は画角フォーマ
ット、すなわちアスペクト比が一致しており、画像内の
各画素がそれぞれ一対一の関係になっている。このた
め、各画像の信号特性、特に輝度信号には違いが生じな
い。結果としてブロックマッチング法では、所望の各画
像に対する一致検出を容易に行っている。

ところで、同一被写体を同じカメラ系での撮影でな
く、異なるカメラ系で撮影した際、上述したような一方
の画像と他方の画像の一致検出は、簡単に行うことがで
きない。この原因は、異なるカメラ系の画角フォーマッ
トが一致しないため、すなわち一方の画像のブロックの
画素位置に対する他方の画像の探索範囲内の画素位置が
一致しないために起こる。

この他、互いに異なるカメラ系は、互いに仕様が異な
るため、例えば使用するカメラの光学フィルタが異なっ
たり、撮像した画像のノイズ特性にも違いを生じてしま
う。このような仕様の異なるカメラ系で撮影することに
よってそれぞれの出力信号特性の違いが顕著になってく
る。特に、解像度の異なるカメラ系で撮影した画像間に
は、定量的に輝度信号のレベル分布と信号間のダイナミ
ックレンジに違いが生じる。このため、異なるフォーマ
ットにおいて撮影した画像間の一致を検出しようとして
も、画像を構成する画素位置が一致しないことと出力画
像間の特性が一致しないことにより、完全に一致した画
像の検出ができなかった。

本発明は、異なるフォーマット、例えば画角の異なる
画像に応じて双方の画素位置が異なってしまう画像であ
っても画像あるいは画素の一致を検出できる画像一致検
出装置及び画像一致検出方法の提供を目的とする。

発明の開示 本発明に係る画像一致検出装置は、第１の画素数から
なる第１の撮像素子が出力する第１の画像と第２の画素
数からなる第２の撮像素子が出力する第２の画像との各
画素間の一致関係を検出する画像一致検出装置であっ
て、上記第１及び第２の画像の基準位置に基づいて低精
度の画素合わせを行う低精度画像一致検出手段と、上記
低精度画像一致検出手段の検出結果に応じて第１の画像
上でのブロックに対応する探索範囲を上記第２の画像上
に設定し、上記第１の画像上のブロックにマッチングす
る第２の画像上のブロックを上記探索範囲内で探索する
ブロックマッチング処理を行うブロックマッチング処理
手段とを有することを特徴とする。

この場合、上記ブロックマッチング処理手段は、上記
第１及び第２の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする。

また、上記第１の画像を低解像度画像とし上記第２の
画像を高解像度画像とするとき、上記ブロックマッチン
グ処理手段は、上記低精度画像一致検出手段の検出結果
に応じて上記低解像度画像上でのブロックに対応する探
索範囲を上記高解像度画像上に設定し、上記低解像度画
像上のブロックにマッチングする上記高解像度画像上の
ブロックを上記探索範囲内で大域的に探索して候補を見
つけ、さらに上記低解像度画像と上記高解像度画像のそ
れぞれの画素間を補間することによって設定したブロッ
クと探索範囲内のブロックとの類似性を高精度に評価
し、一致がとれる画像を検出することを特徴とする。

また、上記第１及び上記第２の撮像素子は、同じ被写
体を撮像することを特徴とする。

また、上記被写体には、基準の画素位置を示すマーカ
が付されていることを特徴とする。

また本発明に係る画像一致検出装置は、上記第１の画
素数からなる第１の撮像素子が出力する第１の画像と第
２の画素数からなる第２の撮像素子が出力する第２の画
像との各画素間の一致関係を検出する画像一致検出装置
であって、上記第１及び第２の画像の基準位置に基づい
て低精度の画素合わせを行う低精度画像一致検出手段
と、上記低精度画像一致検出手段の検出結果に応じて上
記第１及び第２の画像を該第２の画像上に探索範囲を設
定して大域的にサーチしてそれぞれの注目点を選定し、
この注目点を含む対応ブロックを上記第１及び第２の画
像に設定してこれらの輝度信号の平均レベル又は標準偏
差が一致するように補正した後に上記対応ブロックにブ
ロックマッチング処理を施すブロックマッチング処理手
段とを有することを特徴とする。

この場合、上記ブロックマッチング処理手段は、上記
対応ブロックをｎ回階層的に小さくしながら輝度信号の
平均レベルの差の検出及び補正又は輝度信号の標準偏差
の比の検出及び補正とブロックマッチング処理をｎ回繰
り返すことを特徴とする。

また、上記ブロックマッチング処理手段は、上記第１
及び第２の画像の各画素間のデータを補間により生成し
た後に、上記ブロックマッチング処理を行うことを特徴
とする。

また、上記第１及び上記第２の撮像素子は、同じ被写
体を撮像することを特徴とする。

また、上記被写体には、基準の画素位置を示すマーカ
が付されていることを特徴とする。

また本発明に係る画像一致検出装置は、第１の画素数
からなる第１の撮像素子が出力する第１の画像と第２の
画素数からなる第２の撮像素子が出力する第２の画像と
の各画素間の一致関係を検出する画像一致検出装置であ
って、上記第１及び第２の画像の基準位置に基づいて低
精度の画素合わせを行う低精度画像一致検出手段と、上
記低精度画像一致検出手段の検出結果に応じて上記第１
及び第２の画像を大域的にサーチしてそれぞれの注目点
を選定し、この注目点を含む対応ブロックをそれぞれ設
定した後に、この対応ブロックを段階的に大きくしなが
ら上記第１の画像内のブロックと上記第２の画像内のブ
ロックの輝度信号平均レベルの差又は標準偏差の比を求
め、該差又は比が収束したときの差又は比の値を用い
て、上記対応ブロック内の輝度信号平均レベル又は標準
偏差を補正し、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施すブロ
ックマッチング処理手段とを有することを特徴とする。

この場合、上記ブロックマッチング処理手段は、上記
第１及び第２の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする。

また、上記第１及び上記第２の撮像素子は、同じ被写
体を撮像することを特徴とする。

また、上記被写体には、基準の画素位置を示すマーカ
が付されていることを特徴とする。

また本発明に係る画像一致検出方法は、解像度の異な
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、これら高解像度画像と低解像
度画像のそれぞれの画素間を補間することによって設定
したブロックと探索範囲内のブロックとの類似性を高精
度に評価し、一致がとれる画像を検出するブロック一致
検出工程とを有することを特徴とする。

この場合、上記画像一致検出処理を行う前に、高解像
度画像と低解像度画像の輝度信号レベルの平均値又は標
準偏差を画面全体で一致させ、ブロック単位の一致検出
を行う際に、再度、局所的な対応ブロック単位に輝度信
号レベルの平均値又は標準偏差とを一致させることを特
徴とする。

また、上記ブロック一致検出工程において、高解像度
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の相関係数を用いて評価すること
を特徴とする。

また、上記ブロック一致検出工程において、高解像度
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の差分の絶対値和を用いて評価す
ることを特徴とする。

また、上記ブロック一致検出工程において、高解像度
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の差分の２乗和を用いて評価する
ことを特徴とする。

また本発明に係る画像一致検出方法は、解像度の異な
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、上記候補探索工程で探索した
候補を含む対応ブロックを低解像度及び高解像度の画像
に設定してこれらの輝度信号平均レベル又は標準偏差が
一致するように補正した後に上記対応ブロックの類似性
を高精度に評価し、一致がとれる画像を検出するブロッ
ク一致検出工程とを有することを特徴とする。

この場合、上記ブロック一致検出工程は、上記対応ブ
ロックをｎ回階層的に小さくしながら輝度信号の平均レ
ベルの差の検出及び補正又は輝度信号の標準偏差の比の
検出及び補正とブロックマッチング処理をｎ回繰り返す
ことを特徴とする。

また、上記ブロック一致検出工程は、各階層毎にマッ
チングの際の評価値を総合的に判定して、マッチング候
補画素の補正を行うことを特徴とする。

また、上記ブロック一致検出工程は、上位階層の評価
値を下位階層の評価値に適用する際、下位階層の評価対
象画素位置に対応する上位階層の評価値が存在するよう
に、マッチングの際のブロックサイズとサーチエリアを
調製することを特徴とする。

また本発明に係る画像一致検出方法は、解像度の異な
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、上記候補探索工程で探索した
候補を含む対応ブロックをそれぞれ設定した後に、この
対応ブロックを段階的に大きくしながら上記低解像度画
像内のブロックと上記高解像度画像内のブロックの輝度
信号平均レベル又は標準偏差の比を求め、該差又は該比
が収束してときの差又は比の値を用いて、階層的な複数
のブロックの大きいブロックから小さいブロックへ順次
マッチング処理を施し、一致がとれる画像を検出するブ
ロック一致検出工程とを有することを特徴とする。

この場合、上記ブロック一致検出工程は、上記第１及
び第２の画像の各画素間のデータを補間により生成した
後に、上記候補探索工程で探索した候補を含む対応ブロ
ックをそれぞれ設定し、この対応ブロックを段階的に大
きくしながら上記低解像度画像内のブロックと上記高解
像度画像内のブロックの輝度信号平均レベル又は標準偏
差の比を求め、該差又は該比が収束してときの差又は比
の値を用いて、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施し、一
致がとれる画像を検出することを特徴とする。

図面の簡単な説明 図１は、本発明の第１の実施例の画像一致検出装置の
機能構成を示した機能ブロック図である。

図２は、本発明の第１の実施例の画像一致検出装置の
機能ブロック中の前処理部に対応する回路構成を示した
ブロック回路図である。

図３は、撮影画像中において位置検出の基準として用
いるマーカを示した模式図である。

図４は、撮影画像中において位置検出の基準として用
いるマーカの配置関係を示した模式図である。

図５は、本発明の第１実施例の画像一致検出装置を用
いて画像一致検出する手順を示したメインフローチャー
トである。

図６は、HD画像とSD画像の画像一致検出において走査
線の位相を合わせた際の両画像の水平方向の画素の位置
関係を示した模式図である。

図７は、図５に示したメインフローチャート中のサブ
ルーチンSUB1の手順を示したフローチャートである。

図８は、図５に示したメインフローチャート中のサブ
ルーチンSUB2の手順を示したフローチャートである。

図９は、図５に示したメインフローチャート中のサブ
ルーチンSUB3の手順を示したフローチャートである。

図10は、画素以下の高精度なブロックマッチングを行
う際に行うHD画像とSD画像での水平方向の画素間補間の
関係を示した模式図である。

図11は、本発明の第２の実施例の画像一致検出装置を
用いて画像一致検出する手順を示したメインフローチャ
ートである。

図12は、図11に示したメインフローチャート中のサブ
ルーチンSUB4の手順を示したフローチャートである。

図13は、本発明の第２の実施例の画像一致検出装置の
評価値テーブルと最適位置の遷移を示す図である。

図14は、解像度の異なる画像のマッチングを説明する
ための図である。

図15は、マッチングの構成を示す図である。

図16は、本発明の第３の実施例の画像一致検出装置が
行う大域マッチング処理の手順を示したフローチャート
である。

図17は、本発明の第３の実施例の画像一致検出装置が
行う解像マッチング処理の手順を示したフローチャート
である。

図18は、画像信号変換の例を示す図である。

図19は、オフセット、ゲインの変化の例を示す図であ
る。

発明を実施するための最良の形態 以下、本発明に係る画像一致検出装置及び画像一致検
出方法のいくつかの実施例について、図面を参照しなが
ら説明する。

ここで、画像一致検出装置とは、例えば第１の画素数
からなる第１の撮像素子が出力する第１の画像と第２の
画素数からなる第２の撮像素子が出力する第２の画像と
の各画素間の一致関係を検出する装置である。本発明で
は具体的に上記第１の画像として、標準テレビジョン方
式の一つである例えばNTSC方式の525本からなる画像を
低解像度画像（以下、SD（標準解像度）画像という）、
上記第２の画像として、高精細度方式である例えば1125
本からなる高解像度画像（以下、HD（高精細度）画像と
いう）を扱う場合を例に挙げる。

本発明を適用した第１の実施例となる画像一致検出装
置は、例えば図１に示すように、第１及び上記第２の画
像の基準位置及び画素数に基づいて低精度の画素合わせ
を行う低精度画像一致検出手段としての低精度画像ブロ
ック合わせ機能部１と、低精度画像ブロック合わせ機能
部１の検出結果に応じて各画素間を補間した画像に対し
てブロックマッチング処理を施すブロックマッチング処
理手段としての高精度画像ブロック合わせ機能部２とを
有して構成される。また、画像一致検出装置は、低精度
画像と高精度画像間の信号特性の差を前処理部３に吸収
させている。

入力端子４、５を介してそれぞれSD画像とHD画像が低
精度画像ブロック合わせ機能部１と前処理部３に供給さ
れる。前処理部３は第１及び上記第２の画像の画素から
位置データの関係を示す情報（基準位置情報）及び画素
数データを抽出し、低精度画像ブロック合わせ機能部１
に供給している。低精度画像ブロック合わせ機能部１
は、前処理部３から供給された画素データと基準位置情
報に応じてSD画像とHD画像とに対して低精度の画素合わ
せを行う。この低精度画像ブロック合わせ機能部１が行
う低精度の画素合わせとは、画素のブロック化を行う際
の基準位置としての初期アドレスの設定のことである。
すなわち、この低精度画像ブロック合わせ機能部１で
は、HD画像とSD画像の画像データの位置関係をマーカ位
置を基準にし、予測した対応画素位置を初期値として与
えている。なお、この低精度画像ブロック合わせ機能部
１の処理については後段で詳述する。

高精度画像ブロック合わせ機能部２は、上述したよう
に低精度画像ブロック合わせ機能部１の検出結果に応じ
て各画素間を補間した画像に対してブロックマッチング
処理を施す。具体的に、この高精度画像ブロック合わせ
機能部２は、SD画像内に設定された任意の範囲のブロッ
クに対応する探索範囲を上記低精度ブロック合わせ機能
部１の検出結果、すなわち初期アドレスに応じて設定
し、上記SD画像上のブロックに対応する上記HD画像上の
ブロックを上記探索範囲内で大域的に探索して一致領域
の候補を見つけ、さらにSD画像とHD画像のそれぞれの画
素間を補間することによって設定したブロックと探索範
囲内のブロックとの類似性を高精度で評価し、一致がと
れる画像を検出する。そして、高精度に一致が検出され
たそれぞれの画像を出力端子６、７から出力する。な
お、この高精度画像ブロック合わせ機能部２の処理につ
いても後段で詳述する。

次に、画像一致検出装置の処理を効果的に行わせるた
めの前処理部３の回路構成について説明する。

前処理部３は、例えば図２に示すようにそれぞれの仕
様に応じた撮像装置11、12で撮影したマーカ付きの同一
被写体に対するSD画像とHD画像の画像データの中から被
写体内に書き込まれたマーカをそれぞれの画像について
検出するマーカ検出部13と、該マーカ検出部13の検出結
果を基にマーカ位置判定を行うマーカ位置判定部14とで
構成される。

撮像装置11は、上記被写体を撮像する第１の画素数か
らなる第１の撮像素子部11aと、該第１の撮像素子部11a
で撮像した第１の画像に相当するSD画像を蓄積するSD画
像蓄積部11bと、マーカ位置判定部14から供給される制
御信号に応じて撮影装置の例えば物理的位置、角度、ズ
ーム率等を調整するカメラ調整部11cとで構成される。

また、撮像装置12は、上記被写体を撮像する第２の画
素数からなる第２の撮像素子部12aと、該第２の撮像素
子部12aで撮像した第２の画像に相当するHD画像を蓄積
するHD画像蓄積部12bと、マーカ位置判定部14から供給
される制御信号に応じてカメラの調整を行うカメラ調整
部12cとで構成される。

前処理部３は、撮像装置11、12で撮影されたSD画像と
HD画像とをそれぞれSD画像蓄積部11bとHD画像蓄積部12b
とを介してマーカ検出部13に入力させる。マーカ検出部
13は、同一被写体に対するSD画像とHD画像の画像データ
から、基準の画素位置を示すマーカを検出する。このマ
ーカは被写体撮影時に一緒に記録される。マーカ検出部
13で検出されたマーカは、マーカ位置判定部14に供給さ
れる。このマーカ位置判定部14は、マーカ検出部13の検
出結果を基にマーカ位置判定を行う。具体的に、このマ
ーカ位置判定部14は、上記検出結果を基に、低精度画像
ブロック合わせ機能部１に低精度の画素合わせを行わせ
るため、SD画像とHD画像の信号特性の差を吸収する。こ
の処理は、各画像の輝度信号の平均値及び標準偏差をと
ることにより、例えばSD画像の輝度信号を補正してい
る。この結果を基にして設定された画枠条件に検出した
マーカ位置が合致するか判定を行っている。合致しない
場合、マーカ位置判定部14は、撮像装置11、12が有する
カメラ調整部11c、12cにそれぞれ制御信号を供給して撮
像装置11、12の例えば物理的位置、角度、ズーム率、必
要に応じて光量等を調整して再度撮影し、画枠条件を満
足させることができるまで上述した操作を繰り返す。こ
こで、設定された画枠条件については後段で詳述する。

このような処理を行うことによって前処理部３は、SD
画像とHD画像との信号特性の差を吸収すると共に、アス
ペクト比16:9のHD画像に対してアスペクト比4:3のSD画
像をどのように調整すべきかを画像データや各画素の基
準位置情報から知ることもできる。なお、この前処理部
３のマーカ位置判定部14の判定結果に応じた切換制御信
号を例えば図２に示すように、切換スイッチSWに送って
画像の採用の可否を制御することもできる。

ここで、画枠の基準位置を示すマーカについて説明す
る。

マーカは、例えば図３に示すようなマーカ領域20に白
地に黒線が十字に入ったものを用いている。このマーカ
を図４の（ａ）及び（ｂ）に示すように、被写体位置上
で水平方向、垂直方向の４箇所M1、M2、M3及びM4に付
け、該マーカM1、M2、M3及びM4を含んだ画像をそれぞれ
撮影する。各マーカは被写体の上の画枠21内に配され
る。マーカM1、M2が同一の高さで水平方向に、マーカM
3、M4が、同じ列に、すなわち垂直方向にそれぞれ配さ
れている。

HD画像では、例えば図４（ａ）に示すように、水平方
向のマーカM1、M2の交点間がw1、垂直方向のマーカM3、
M4の交点間がh1と設定されている。また、SD画像では、
例えば図４（ｂ）に示すように、水平方向のマーカM1、
M2の交点間がw2、垂直方向のマーカM3、M4の交点間がh2
というように、上記HD画像とは画角フォーマットが異な
るため異なる位置に設定されることになる。

次に、図２に示したマーカ検出部13で行われるマーカ
の検出手順について簡単に説明する。マーカ検出部13で
は、黒線の交点位置を計算により求めている。先ず、各
画像上に付けられたマーカ近傍で、近傍内が白地と黒線
のみの画像になるようにマーカ領域20を設定する。そし
て、各マーカ領域20内の座標を（x,y）、この座標（x,
y）での輝度信号レベルをＹ_x,yとして、水平ｘ方向、垂
直ｙ方向に対する輝度信号レベルの積算値をそれぞれ求
める。

水平方向の輝度信号レベル積算値S_hは、１走査線に対
して一定（すなわちｙ座標ｙ＝ｈ一定）にし、ｘ座標と
しての変数ｉを例えばゼロからＮまで変化させた際の各
画素の輝度信号レベルを加算して求めることによって、 と表される。

また、走査線のライン方向、すなわち垂直方向のマー
カ位置決定において輝度信号レベル積算値S_wは、所定の
ｘ座標ｘ＝ｗと固定し、ｙ座標としての示す変数ｊを例
えばゼロからＮまで変化させた際の各画素の輝度信号レ
ベルを加算して求めることによって、 と表される。ここで、添字ｗは固定するｘ座標、添字ｈ
は固定するライン位置、Ｎはマーカ領域20の水平方向と
垂直方向の画素数を示している。この関係から明らかな
ように、この輝度信号レベル積算値S_hの最小値min
（S_h）を示す添字ｈは、十字のマーカの垂直方向の線と
交わるｙ座標h_mを示している。また、輝度信号レベル積
算値S_wの最小値min（S_w）を示す添字ｈは、十字のマー
カの水平方向の線と交わるｘ座標W_mを示している。従っ
て、マーカの交点座標は、関数min（）が最小座標を出
力する関数とすると、 （min（S_w）,min（S_h））＝（W_m,h_m） ［条件:w＝0,…,N;h＝0,…,N］ ・・・（３） と表される。

このようにしてマーカ領域20の交点座標（w,h）を交
点として検出している。

次に、検出されたマーカ位置の判定をマーカ位置判定
部14で行う。HD画像とSD画像には、画像上に図４（ａ）
と図４（ｂ）に示すマーカM1〜M4も撮像して取り込んで
いる。ここでは、撮像装置11、12の相対的位置のずれに
より、撮像した画像に回転成分が入るのを防ぐために、
HD画像とSD画像の水平、垂直性が一致するように撮像す
る。予め被写体に付したマーカの交点座標はマーカM1、
M2のｙ座標とマーカM3、M4のｘ座標を同じ位置に配して
いるから、各マーカの上述した座標をポイントにして両
画像も同じ座標値を取る必要が生じる。これらマーカ中
心座標の位置関係を維持して撮像することが、各画像に
おけるマーカ位置に対する撮像条件である。前述したよ
うにこの撮像条件を満足するためマーカ位置判定部14
は、撮像装置11、12に設けているカメラ調整部11c、12c
を制御し、マーカ位置調整を行っている。

一方、マッチングを取る画像がHD画像対SD画像の場
合、各画像のフォーマットからHD画像はSD画像に対して
略々２倍の解像度を有している。しかし、マーカ間に含
まれる画素数は、HD画像とSD画像のアスペクト比が異な
るため、マーカ中心の水平、垂直方向でずれてしまう。
また、SD画像をHD画像にアップコンバートするときやHD
画像をSD画像にダウンコンバートするとき、上記アスペ
クト比の違いを考慮して例えば大きなHD画像領域内にSD
画像をはめ込んで表示させたり、画像表示する位置を一
方側に寄せて表示したり、ズーム率を変化させて画面の
一部を削ったりと各種の大きさに画面表示させることが
できる。この両画像の関係を画像データ、画像データの
位置関係から求める必要が生じる。

ここで、HD画像における水平方向のマーカ間画素数を
w1、SD画像における水平方向のマーカ間画素数をw2、HD
画像における垂直方向のマーカ間画素数をh1、SD画像に
おける垂直方向のマーカ間画素数をh2とすると、HD画像
とSD画像のマーカ間画素数関係は、 w1＝２×w2 ・・・（４） h1＝２×h2 ・・・（５） という関係に表されるが、式（４）と（５）を同時に満
足させることは上述したようなアスペクト比の違いから
できない。

従って、この実施例では垂直方向のマーカ間画素数の
関係、すなわち式（５）を満足させると、HD画像とSD画
像のマーカ間画素数関係は、画素アスペクト比の関係か
ら、 w1＜２×w2 ・・・（６） h1＝２×h2 ・・・（５） となる（図６の関係を参照）。

このようにHD画像とSD画像の各マーカ位置の一致すな
わち基準位置条件及び式（６）と式（５）の画素データ
条件を同時に満たすとき、画像一致検出装置は入力した
HD画像とSD画像を採用する。

次に、上述したHD画像とSD画像を用いてこの第１の実
施例の画像一致検出装置はそれぞれ対応画素を決定する
処理動作を開始する。この手順について例えば図５に示
すメインフローチャートや図６のHD画像とSD画像のマー
カ間画素数関数を示した模式図を参照しながら説明す
る。ここでの手順はおもにSD画像をHD画像にアップコン
バートさせる際の画像一致手順を説明している。

ここで、撮像されたHD画像とSD画像は、両者の輝度信
号レベル平均や信号間のダイナミックレンジが異なるた
め、画素合わせが難しい。したがって、最初に画像一致
前処理サブルーチンSUB1では、この信号特性の違いを吸
収するために、例えばそれぞれの画像における輝度信号
レベルの平均値及び標準偏差を補正する。すなわち、画
像一致前処理サブルーチンSUB1では、SD画像をHD画像へ
の対応付けを可能にする輝度信号レベルの平均値（適宜
にオフセットという。）と標準偏差（適宜にゲインとい
う。）の補正を行う。

この画像一致前処理サブルーチンSUB1の処理手順を図
７を参照しながら説明する。この図７において、ステッ
プS10では、HD画像に対するこの画像の輝度信号レベル
の平均値及び標準偏差が１フレーム中のマッチングをと
る全画素を対象に算出される。

次に、ステップS11では、SD画像に対するこの画像の
輝度信号レベルの平均値及び標準偏差が１フレーム中の
マッチングをとる全画素を対象に算出される。

ステップS12ではステップS10、S11でそれぞれ求めた
値を用いてSD画像の輝度信号レベルの平均値及び標準偏
差をHD画像の輝度信号レベル及び標準偏差に補正する。
この補正方法としては、各変数を例えばHD画像の輝度信
号レベルの平均値をMean_HD、その輝度信号レベルの標準
偏差をStdv_HD、SD画像の輝度信号レベルの平均値をMean
_SD、その輝度信号レベルの標準偏差をStdv_SDとすると、
補正されたSD画像の輝度信号レベルY_SDが、 から求められる。

このようにしてSD画像をHD画像の信号特性に近づくよ
うに補正して信号特性の違いを吸収している。

そして、この画像一致前処理サブルーチンSUB1での補
正が終了すると、ステップS1に進む。

ステップS1では、低精度画像ブロック合わせ機能部１
に対応画素の初期アドレスの設定を行わせる。上記
（５）、（６）式に示したように垂直方向の２つのマー
カ間、すなわち、マーカM3とマーカM4間のHD画像の走査
線数がSD画像の走査線数の丁度２倍になる場合、水平方
向の画素位置関係は、図６に示すようにマーカM3とM4の
垂直方向のマーカ中心線M_CUを軸として軸対称に画素の
配設する位相がずれる関係になる。従って、マーカ中心
線M_CUの位置から水平方向に離れれば離れるほど位相が
ずれることになる。

ここで、図６から明かなようにHD画像における画素数
w1とSD画像における画素数w2の関係が例えば画素数w2＝
２個とすると、このSD画素２個の間にHD画素数w1は３個
しか入れることができない。このことより、画素数関係
w1＜２×w2が成り立っていることが判る。

一般的な関係を各画素間距離から求めると、図６の垂
直方向に関してHD画素間距離h₀₁とSD画素間距離h₀₂の関
係は、式（５）からHD画素間距離h₀₁を基準にすると、 h₀₂＝2h₀₁ である。また、図６の水平方向に関してHD画素間距離w
₀₁とSD画素間距離w₀₂の関係は、式（６）からHD画素間
距離w₀₁を基準にすると、 w₀₂＜2w₀₁ になっている。HD画素の画素間距離に対するSD画素の画
素間距離の比率は、w₀₂/w₀₁なる。

このような関係から1HD画素あたりSD画素に対するHD
画素の画素間距離の比率を求め、画素数で表すとこの比
率は、（２×w2）/w1となる。図６の垂直方向の中心位
置M_CUから水平方向に離れた画枠内の任意HDの画素数d_HD
は、同様に中心位置M_CUから水平方向に離れたSDの画素
数をd_SDとすると、 で求めることができる。ステップS1において、この画素
数d_SD、d_HDを用いて画素のブロック化を行う際の基準位
置としての初期アドレスが設定される。

この初期アドレスが低精度画像ブロック合わせ機能部
１で設定された後、該初期アドレスを基に高精度画像ブ
ロック合わせ機能部２は対応画素のブロックマッチング
処理をサブルーチンSUB2のように行う。すなわち、この
サブルーチンSUB2において、高精度画像ブロック合わせ
機能部２は、SD画像内に設定された任意の範囲のブロッ
クに対応する探索範囲を上記低精度ブロック合わせ機能
部１の検出結果、すなわち初期アドレスに応じて設定
し、上記SD画像上のブロックに対応する上記HD画像上の
ブロックを上記探索範囲内で大域的に探索して一致領域
の候補を見つける。

この対応画素のブロックマッチングを行うサブルーチ
ンSUB2の処理手順を図８を参照しながら説明する。先
ず、ステップS20で図６の中心軸M_CV上の画素を対象画素
とし、この対象画素を中心に近傍のブロックをSD画像上
で設定する。図６からも明かなように対象画素近傍のSD
画素とHD画素の水平方向の位相ずれは微小である。

このため、SD画像とHD画像の各画素の画角、すなわち
アスペクト比の影響が無視できる。従って、HD画像側に
設けるブロックは、１サンプルおきに画素をとったブロ
ック構成にする。

次に、ステップS21において、HD画像上での対応ブロ
ックの探索範囲の設定を行う。

ステップS22では、ステップS20、S21で設定したSD画
像側のブロックとHD画像側の探索ブロックの間で輝度信
号レベルの平均値及び標準偏差をブロック単位で補正処
理する。

この補正処理は、サブルーチンSUB1のステップ12で１
フレームの画面について輝度信号レベルの補正を行って
いるが、この補正処理だけでは不十分な場合が多いた
め、個々のブロックについて局所的に再補正を行ってい
る。この補正処理はこの処理により、マッチングをとり
易くすることを狙っている。

ステップS23では、上述したステップS22での結果を基
にSD画像側のブロックとHD画像側の探索範囲内の探索ブ
ロックでこれら両者のブロックを対応ブロックとして評
価が行われる。

ブロックマッチングを行うための評価関数NCCF（i,
j）は、SD画像側のブロックサイズをＭ×Ｎ画素、探索
範囲を±dm画素、SDフレームの輝度信号レベルをY_SD、H
Dフレームの輝度信号レベルをY_HDとすると、 で表している。ここで、i,jは−dm以上、dm以下（すな
わち、−dm≦i,j≦dm）の範囲で変化する。また、輝度
信号レベルY_HDの変数を（2m＋ｉ）、（2n＋ｉ）とした
のは、図６に示しすように、SD画像とHD画像とでは対応
画素の抽出度が異なるためである。この式（９）はブロ
ック間の相関係数を求めており、算出したNCCF（i,j）
が最大になるブロック同士を相関がある最適値とする。
なお、この実施例では、評価関数としてNCCF（i,j）を
用いたが、ブロックマッチングさせる方法は評価関数と
してNCCF（i,j）に限定されるものでなく、通常ブロッ
ク間の差分の絶対値和MAD（i,j）やブロック間の差分の
２乗和MSE（i,j）を用いる場合がある。MAD（i,j）とMS
E（i,j）については、それぞれ、 と表す。これらの関数の評価は、最小となるMAD（i,j）
やMSE（i,j）を最適値として用いる。通常、式（10）の
MAD（i,j）を用いる場合が一般的である。このようにス
テップS23で求めたブロックを「候補」として設定する
ことにより、ブロックマッチング処理が行われ、ブロッ
ク間の違いが最も少ない位置を確からしい画素としてを
切り出すことができる。

ステップS24では、すべてマッチング処理を行って探
索が完了したかどうかの判断が行われている。すべての
探索が未完のとき、ステップS20に戻って上述した一連
の処理を繰り返す。また、すべての探索が完了したと
き、処理がすべて完了したものとしてこのサブルーチン
SUB2を終了し図５のメインフローのステップS2に戻る。

ステップS2では、サブルーチンSUB2での「候補」の探
索結果を用いて、HD画像とSD画像の対応ブロックを大域
的に探索して最適な「候補」を決定する。

次に、求めた最適な「候補」に対する高精度なブロッ
クマッチング処理がサブルーチンSUB3で行われる。この
高精度なブロックマッチング処理について図９及び図10
を参照しながら以下に説明する。先ず、この高精度なブ
ロックマッチング処理を行う必要性は、図６に示したよ
うにHD画像とSD画像における垂直方向の走査線の位相を
一致させても水平方向の画素位置が基準から離れるにつ
れて大きくなるようなずれを生じているので、この水平
方向の画素のずれがあっても画素のマッチングをとって
一致を図るためである。これにより、画素の位相合わせ
は、対応画素のない位置に対しても例えば補間処理によ
って生成した画素を用いて実際の画素以下の精度でマッ
チングをとって行っている。

先ず、高精度なブロックマッチング処理を行うため、
画像が有する画素以下の画素を設定する。このため、画
素以下の画素は、線形補間した画素で表す。

SD画像とHD画像のそれぞれが元々有する水平方向の画
素と補間画素との関係は、例えば図10に示すような関係
にある。画素間補間の関係を説明すると、HD画像の解像
度がSD画像の略々２倍あるため、SD画像の補間画素数が
HD画像の２倍になるようにする。図10に示した補間画素
の関係は、SD画像の画素間の元々の分解能が４で画素候
補Ａ、Ｂの間に３つの補間画素Q₁、Q₂、Q₃を配して補間
し、HD画像の画素間の元々の分解能が２で画素候補ａ、
ｂの間に１つの補間画素P₁を配して補間する関係の場合
を示している。この補間画素の生成は、線形補間処理に
より行っている。

先ず、ステップS30では、SD画像の例えば図10の画素
候補Ａ、Ｂを用いて画素近傍の画素以下の画素である補
間画素Q₁、Q₂、Q₃が計算によって求められる。線形補間
による補間画素Q₁、Q₂、Q₃は、 の各式（12）、（13）、（14）によって求められる。

次に、ステップS31で、HD画像の例えば図10の画素候
補ａ、ｂを用いて画素近傍の画素以下の画素である補間
画素P₁が計算によって求められる。線形補間による補間
画素P₁は、 の式（15）によって求められる。

この線形補間計算を一般式で表すと、分解能ｎで画素
を補間した場合、補間画素値H_iは、 で求めることができる。ここで、上記変数ｉは、ｉ＝1,
・・・，（ｎ−１）である。

次に行うステップS32〜ステップS36までの５ステップ
分は、サブルーチンSUB2のステップS20〜ステップS24ま
での５ステップ分の処理と全く同じ処理を補間画素を含
めたブロックに対してブロックマッチングを行う。

このサブルーチンSUB3の結果を基にステップS3でマッ
チングの判定を行う。すなわち、ステップS3では、サブ
ルーチンSUB3で算出した画素以下の精度でマッチングを
調べた候補画素を採用してよいかどうかの判定を行う。
この判定は、マッチングの最適値が補間画素や候補画素
以外の画素位置ではなく、候補画素の位置であること
と、その候補画素の評価値が予め設定しておいた閾値よ
りも良い値のとき採用する。

このブロックを採用する際にマーク位置・ブロックマ
ッチング処理部は切換スイッチSWにブロックの画素を出
力するように切り換える。このようにして精度の異なる
画像の対応を画素毎に行うことができる。

そして、サブルーチンSUB3の結果である「候補」の画
素位置が最適となる画素位置のアドレスと一致し、さら
にそのときの評価値が妥当と判断されたとき、ステップ
S4に進む。また、妥当と判断されなかったとき、ステッ
プS5に進む。このようにしてステップS3では設定したブ
ロックと探索範囲内の探索ブロックとの類似性が高精度
に評価されている。そして、ステップS4では、マッチン
グのとれた画素アドレスの登録が行われる。

ステップS5では、この画像におけるすべての「候補」
についてのマッチング処理が行われたかどうかを判定し
ている。すべての「候補」の判定がまだ（No）のとき、
ステップS1に戻り、すべてについて終了した（Yesの）
とき、画像一致の処理を終了する。

以上より、上記画像一致処理により、SD画像に対応す
るHD画像が決定するので、この関係に基づいて例えばSD
画像をHD画像にアップコンバートするように画像一致検
出装置の出力結果を使用することができる。例えばアッ
プコンバートする際に画像一致処理により予めSD画像の
レベル分布に応じた候補を用いて適応的なクラスの選択
を行っているため画像の局所的性質に追従したアップコ
ンバートを可能にしている。したがって、従来のアップ
コンバートにおいて得られるSD画像の解像度と何等変わ
らない補間画像に比べて高精度なHD画像を生成させるこ
とができる。

また、上述した実施例は、垂直方向の画枠を一致させ
た場合を示したが、水平方向の画素数を一致させる場合
もある。このときの式（６）、（５）に対応する条件
は、画素数で表すと、 w1＝２×w2 ・・・（17） h1＜２×h2 ・・・（18） となる。この場合の高精度なブロックマッチングを行う
際の線形補間は、垂直方向に対して行われ、補間画素を
生成することになる。

この他、上述した実施例においてブロックマッチング
は、対応画素近傍で設定し、評価を１画素に対して行っ
ているが上述した方法に限定されるものでなく、マッチ
ングをブロック、あるいは領域単位に行うこともでき
る。

さらに、この画像一致検出装置及び画像一致検出方法
をアプリケーションとして適用すると、SD画像とHD画像
のマッチングを行い、マッチングのとれたSD画像をHD画
像に置き換えることにより解像度を改善することができ
るようになる。また、ステレオ視を可能にするカメラ装
置で、例えばカメラ系が異なる画像同士の対応付けにも
適用して画像の対応の認識を行って使用可能なカメラ装
置の範囲を広げることができる。

次に、本発明を適用した第２の実施例となる画像一致
検出装置について説明する。この画像一致検出装置も、
例えば図１に示すように、低精度画像一致検出手段とし
ての低精度画像ブロック合わせ機能部１と、ブロックマ
ッチング処理手段としての高精度画像ブロック合わせ機
能部２とを有して構成される。また、この画像一致検出
装置は、低精度画像と高精度画像間の信号特性の差を前
処理部３に吸収させている。

ここで、低精度画像ブロック合わせ機能部１は、上記
第１の実施例のそれと同様であるが、高精度画像ブロッ
ク合わせ機能部２は、上記第１の実施例のそれと異な
る。

上述した第１実施例の高精度画像ブロック合わせ機能
部２は、SD画像内に設定された任意の範囲のブロックに
対応する探索範囲を上記低精度ブロック合わせ機能部１
の検出結果、すなわち、初期アドレスに応じて設定し、
上記SD画像上のブロックに対応する上記HD画像上のブロ
ックを上記探索範囲内で大域的に探索して一致領域の候
補を見つけ、さらにSD画像とHD画像のそれぞれの画素間
を補間することによって設定したブロックと探索範囲内
のブロックとの類似性を高精度で評価している。評価方
法は、SD画像側とHD画像側のブロック（対応ブロック）
間で輝度信号の平均値と標準偏差の補正を行い、ブロッ
ク間の違いが最も小さい位置を確からしい対応画素の候
補とするものであった。

しかし、対応画素の候補は、後に行う画素間補間マッ
チングの時に用いるブロックサイズに比べるとかなり大
きいブロックで探索された画素である。そこで、候補画
素が局所的に見た場合でもマッチングをとる候補画素で
あるかを調べ、ずれが生じていた場合候補位置の補正を
行うことが考えられる。

そこで、この第２の実施例の画像一致検出装置は、高
精度画像ブロック合わせ機能部２に、具体的に、階層構
造を持つマッチングを行わせ、ブロックサイズを順次小
さくすることで画素間補間マッチングのブロックサイズ
に近ずけるものである。

低精度画像ブロック合わせ機能部１が前処理部３から
供給された画素データと基準位置情報に応じてSD画像と
HD画像とに対して低精度の画素合わせを行うのは、上記
第１の実施例のそれと同様であるので説明を省略する。
また、前処理部３の構成及び動作も説明を省略する。

高精度画像ブロック合わせ機能部２は、SD画像内に設
定された任意の範囲のブロックに対応する探索範囲を上
記低精度ブロック合わせ機能部１の検出結果、すなわち
初期アドレスに応じて設定し、上記SD画像上のブロック
に対応する上記HD画像上のブロックを上記探索範囲内で
大域的に探索して一致領域の候補を見つけた後、さらに
ブロックサイズとサーチエリアを順次切り換えて該候補
を補正した後、SD画像とHD画像のそれぞれの画素間を補
間することによって高精度で上記ブロックと上記探索ブ
ロックとの類似性を評価し、一致がとれる画像を検出す
る。そして、高精度に一致が検出されたそれぞれの画像
を出力端子６、７から出力する。

この第２の実施例の画像一致検出装置がHD画像とSD画
像を用いてそれぞれ対応画素を決定する処理動作を図11
に示すメインフローチャートを参照しながら説明する。
ここでの手順はおもにSD画像をHD画像にアップコンバー
トさせる際の画像一致手順を説明している。

図11に示すフローチャートにおいて、サブルーチンSU
B1、ステップS1、サブルーチンSUB2、ステップS2、サブ
ルーチンSUB3、ステップS3、ステップS4及びステップS5
における処理は、図５に示した処理と同様であるのでこ
こでは説明を省略する。この第２の実施例の画像一致検
出装置が第１の画像一致検出装置と異ならせる処理は、
サブルーチンSUB4の処理手順である。このサブルーチン
SUB4は、ステップS2の後、サブルーチン３の前に行われ
る。

このサブルーチンSUB4では、サブルーチンSUB2、ステ
ップS2で決定した候補をSUB3で行う画素補間マッチング
のブロックサイズに近い領域に追い込むための階層マッ
チングを行い、マッチング候補を再決定している。すな
わち、候補画像の位置にずれが生じれば、候補画素の位
置を補正し、再度候補を決定する。

このSUB4で行うマッチング候補の再決定の処理手順を
図12のフローチャートを参照しながら説明する。この図
12において、ステップS40では、ブロックサイズ、サー
チエリアの設定の変更を行う。階層が進むにつれて、上
記ブロックサイズ、サーチエリアは小さくなるように設
定される。これは、ブロックサイズを大きいブロックか
ら画素マッチングに近い局所ブロックのサイズに追い込
む必要があるからで、順次ブロックを小さくしてブロッ
ク同士の対応がとれるならば、サーチエリアも小さくて
済む。

次に、ステップS41で図６の中心軸M_CU上の画素を対応
画素とし、この対応画素を中心に近傍のブロックをSD画
像上で設定する。図６からも明かなように対応画素近傍
のSD画素とHD画素の水平方向の位相ずれは微小である。
このため、SD画像とHD画像の各画素の画角、すなわちア
スペクト比の影響が無視できる。従って、HD画像側に設
けるブロックは、１サンプルおきに画素をとったブロッ
ク構成にする。このブロックのサイズは、上述したよう
に順次小さくする。

次に、ステップS42において、HD画像上での対応ブロ
ックの探索範囲の設定を行う。

ステップS43では、ステップS41、S42で設定したSD画
像側のブロックとHD画像側の探索ブロックの間で輝度信
号レベルの平均値（オフセット）及び標準偏差（ゲイ
ン）をブロック単位で補正処理する。

ステップS44では、上述したステップS43での結果を基
にSD画像側のブロックとHD画像側の探索範囲内のブロッ
ク間でこれら両者のブロックを対応ブロックとして評価
が行われる。ブロックマッチングを行うための評価関数
NCCF（i,j）は、上記（９）式のように表される。ま
た、評価関数としては、上記（10）式や、上記（11）式
に表されるものを用いてもよい。

このようにステップS44で求めたブロックを「候補」
として設定することにより、ブロックマッチング処理が
行われ、ブロック間の違いが最も少ない位置を確からし
い画素としてを切り出すことができる。

ステップS45では、サーチ毎に算出される評価値を評
価のためのメモリである評価メモリに加算する。探索を
全て終えると評価値テーブルを参照して、最適な評価値
を選択し、候補画素のアドレスを決定する。

ステップS46では、予め設定された階層数以上の処理
を行うように繰り返すか終わりかの選択を行う。

そして、階層ループを繰り返す度に、ステップS47で
評価値テーブルから最適な評価値を選択し、その画素位
置が前の階層での位置と異なれば更新する。

以上の処理を設定された階層数だけ行うためにステッ
プS48の判定が行われる。

図13は、階層数３を例にとって、評価値テーブルの領
域と最適位置の変化の様子を示したものである。最適位
置は階層毎に加算された評価値テーブルにより決定し、
最適位置は変化する。そして、最後の第３階層で決定さ
れた位置が最適位置となる。

評価値テーブルは、階層毎の評価値を重み付け加算す
ることで、精度を向上させている。この例では、第２階
層の評価値テーブルに、対応する第１階層の評価値を加
算しているが、第３階層と第２階層も同様である。その
とき、評価値テーブルへの加算は、対応する評価値が存
在する必要があるから、それを考慮したブロックサイズ
とサーチエリアの設定が必要である。

例えば、今、第１階層としてブロックサイズ13×13、
サーチエリア±４（制限±２）、第２階層としてブロッ
クサイズ９×９、サーチエリア±２（制限±１）、第３
階層としてブロックサイズ５×５、サーチエリア±１と
いう値を設定する。第１階層と第２階層では、評価値テ
ーブルはサーチエリアサイズだけを算出するが、検出で
きる範囲を制限することで階層毎の加算を行えるように
している。そして、各階層において制限サーチ内で最適
な位置を求める。また、評価値テーブルの重み付け加算
は、 EST_ａ＝W₁・EST₁＋w₂・EST₂＋w₃・EST₃ ・・・（19） となる。ここで、ｉ＝１、２、３は階層番号、ｗは重み
を表す。

このサブルーチンSUB4でのマッチング候補再決定の処
理が終了すると、図11に示すサブルーチンSUB3に進み、
その後ステップS3、ステップS4及びステップS5に進む。

このため、第２実施例の画像一致検出装置は、サブル
ーチンSUB4に示したようなマッチング候補の再決定処理
を行い、階層マッチングを導入することによって、大域
マッチングと補間によるサブピクセルマッチングのブロ
ックサイズの違いに橋渡し的に働き、ブロックサイズの
違いによる対応ブロックのずれが生じた場合に対応画素
位置を補正することができる。しかも、階層構造の評価
を総合的に行うことによって、精度を向上させることが
できる。

また、この第２の実施例である画像一致検出装置もマ
ッチング処理をブロック、あるいは領域単位に行うこと
ができる。

さらに、この第２の実施例で行われる画像一致検出方
法をアプリケーションとして適用すると、SD画像とHD画
像のマッチングを行い、マッチングのとれたSD画像をHD
画像に置き換えることにより解像度を改善することがで
きるようになる。また、ステレオ視を可能にするカメラ
装置で、例えばカメラ系が異なる画像同士の対応付けに
も適用して画像の対応の認識を行って使用可能なカメラ
装置の範囲を広げることができる。

次に、本発明を適用した第３の実施例となる画像一致
検出装置について説明する。この画像一致検出装置も、
例えば図１に示すように、低精度画像一致検出手段とし
ての低精度画像ブロック合わせ機能部１と、ブロックマ
ッチング処理手段としての高精度画像ブロック合わせ機
能部２とを有して構成される。また、この画像一致検出
装置は、低精度画像と高精度画像間の信号特性の差を前
処理部３に吸収させている。

ここで、低精度画像ブロック合わせ機能部１は、上記
第１の実施例及び上記第２の実施例のそれと同様である
が、高精度画像ブロック合わせ機能部２は、上記第１の
実施例又は上記第２の実施例のそれと異なる。

上述した第２実施例の高精度画像ブロック合わせ機能
部２は、解像度の異なる画像間のマッチングをとる場
合、大域的に探索した候補画素からさらに階層的なマッ
チングで対応画素を決定している。その時、解像度が異
なっている点を考慮すると、画素単位にマッチングがと
れたかどうかの判定は、画素以下の精度まで追い込むこ
とで精度を確保し判定を行っていた。

しかし、画素単位でマッチングをとっているので、ノ
イズ等の外乱の影響を受けやすく、ノイズで振られた画
素間の画素以下データはノイズの影響を直接受けた画素
で求められるため、マッチング判定が困難になる可能性
がある。

また、画素以下精度でのマッチング条件はかなり厳し
い条件となるため、マッチングを行った全画素に対する
マッチングのとれた割合であるマッチング率は、４％程
度とかなり低いものになってしまう。マッチング率が低
いと、マッチング画素の傾向を把握するのに必要なデー
タ数は多くなるため、処理に時間を要する可能性があ
る。

また、階層的なマッチングにおける輝度信号レベルの
平均値（オフセット）及び標準偏差（ゲイン）の補償
は、マッチングの評価をする際の両ブロック毎に補償を
行っており、ブロックサイズを小さくしたときに画像形
状が大きく異なると補償の程度がブロックサイズや画像
形状に依存してしまう可能性がある。

そこで、この第３の実施例の画像一致検出装置は、画
素以下（サブピクセル）でのマッチングを行わず、マッ
チング部での制約条件を工夫し、マッチングの精度を損
なわず、マッチング率を向上させることを目的とする。

先ず、解像度の異なるマッチングの意味を図14を参照
しながら説明しておく。図14の（ａ）に示されたSD画像
には、初期アドレスである対応画素Ｐを中心としたブロ
ックB_SDを設定する。図14の（ｂ）に示されたHD画像に
は探索範囲（サーチエリア）E_Sを設定する。そして、ブ
ロックB_SDとサーチエリアE_S内の探索ブロックB_HDとの間
でマッチングをとる。

マッチング方法としては、図15に示すように、全画面
を対象とした補正をした後、大域マッチングを行い、最
適な評価を与える画素を候補画素とし、この候補画素に
より近い領域でのマッチングを取るため階層マッチング
を行い、候補画素のマッチングを判定する方法であっ
た。

このマッチング方法で行っている大域マッチングで
は、画素アスペクトを考慮した対応画素の初期アドレス
設定を行い、探索ループで最適画素を探索しているが、
その評価、すなわちマッチングの判定条件には相関係数
を用いていた。

この第３の実施例は、この大域マッチングにおけるマ
ッチングの判定方法を上記相関係数を用いた相関評価の
他に、３つの判定を加えた方法としている。この３つの
判定とは、相関値判定、ゲイン判定及びテーブル形状判
定である。

この３つの判定を加えた大域マッチングの処理の流れ
を図16のフローチャートを参照しながら説明する。

先ず、第３の実施例の画像一致検出装置は、ステップ
S50に示すように低精度画像ブロック合わせ機能部１に
初期アドレスを設定させる。その後、ステップS51で
は、高精度画像ブロック合わせ機能部２に上記初期アド
レスを基にSD画像内に任意の範囲からなるブロックを設
定させ、HD画像上に該ブロックを探索するための探索範
囲とさらに探索ブロックを設定させ、上記任意の範囲の
ブロックと上記探索ブロックを大域的に探索させて一致
領域の候補となる候補が有るか否かを判定する。実際に
は、SD画像側のブロックとHD画像側のブロックの間で輝
度信号レベルの平均値（オフセット）及び標準偏差（ゲ
イン）をブロック単位で補正処理してから行われる。

次に、ステップS52では、ステップS51でのサーチエリ
ア探索で候補が見つかったという結果を基に、SD画像側
のブロックとHD画像側の探索範囲内の探索ブロック間で
マッチングがとれたか否かの判定が行われる。この判定
は、ブロック間の相関関数を用いて行われる相関評価に
より行われる。そして、ステップS52での判定が終了す
るとステップS51に戻る。

ステップS51でのサーチエリアの探索の結果、一致領
域の候補が見つからない場合、すなわちSD画像側のブロ
ックとHD画像側の探索範囲内の探索ブロック間でマッチ
ングがとれない場合、ステップS53の判定に向かう。こ
のステップS53は、ステップS52での評価値である相関係
数が小さすぎるとサーチエリア内の最適値であってもマ
ッチングがとれないと判定するもので、最適相関値をR_S
とするとマッチング条件は、 R_S＞TH_ｇ ・・・（20） となる。ここで、TH_ｇはしきい値である。

この（20）式において、最適相関R_SがTH_ｇより大であ
ると、ステップS54に進む。このステップS54は、最適位
置におけるマッチングととったブロックのゲイン、すな
わち標準偏差の比が大きすぎるとマッチングはとれてい
ないと判定する。それぞれの標準偏差をσ_Sd、σhdとす
るとマッチング条件は、 σ_hd＞σ_{Ｓ ｄ}の場合、 σ_hd／σ_{Ｓ ｄ}＞THg ・・・（21） となる。

また、σ_{Ｓ ｄ}＞σ_hdの場合、 σ_{Ｓ ｄ}／σ_hd＞THg ・・・（22） となる。ここで、THgは所定のしきい値である。

上記マッチング条件を満足する場合、ステップS55に
進む。このステップS55では、サーチをしたときの評価
値テーブルの形状を判定して、形状が一つの山で急峻な
ほどマッチングは正しいと判定する。マッチング条件
は、最適評価値に対する割合をｒとして、 TH₁＝ｒ×R_S ・・・（23） となるしきい値を求める。テーブル上の評価値Ｒについ
て、 Ｒ＞TH₁ ・・・（24） を満たす評価値に対して、今度は最適評価値の位置
（x_s、y_s）とのノルムを積算する。すなわち、評価値の
位置を（x_i、y_i）として、 但し、ｎは（24）式を満たす数である。

ここで、N_rが小さいほどテーブルの形状は急峻である
と判断できることから、マッチング条件は、 N_r＜TH₂ ・・・（26） である。ここでTH₂はしきい値である。

評価値テーブルの形状を判定するその他の実施例とし
て、（25）式のノルムを求める代わりに、（24）式を満
たす評価値で（x_s、y_s）から最遠点の距離にある評価値
の位置を（x_f、y_f）として、 を求め、D_sが小さいほど形状が急峻になる傾向にあるか
ら、マッチング条件は、 r/D_s＞TH₃ ・・・（28） とする。ここで、TH₃はしきい値である。

また、（24）式を満たす評価値Ｒの標準偏差σ_Ｒを求
めると、標準偏差が小さいほど形状が急峻だと判断でき
るから、マッチング条件は、 σ_Ｒ＜TH₄ ・・・（29） となる。ここで、TH₄はしきい値である。

以上の判定でマッチングがとれたと判断された画素
は、後段の階層マッチングに渡される。

階層マッチングは、ブロックサイズを小さくしながら
ブロックを画素近傍に追い込み、各階層における最適位
置を総合判断して最終的にマッチングがとれたか否かを
判定する。特に、この第３の実施例の画像一致検出装置
の階層マッチングが上述した第２の実施例の画像一致検
出装置の階層マッチング処理と異なるのは、定常オフセ
ット（輝度信号のレベルの平均値）及びゲイン（輝度信
号の標準偏差）による補償を加えたことにある。第２の
実施例の画像一致検出装置では、マッチングの評価をす
る際の両ブロック毎に補償を行っていたが、ブロックサ
イズを小さくしたときに画像形状が大きく異なると補償
の程度がブロックサイズや画像形状に依存してしまう可
能性があった。このため、この第３実施例の画像一致検
出装置では、ブロックサイズや画像形状にあまり左右さ
れない定常値を求めている。

この定常オフセット、ゲインによる補償を加えた階層
マッチング処理の流れを図17のフローチャートを参照し
ながら説明する。

高精度画像ブロック合わせ機能部２は、ステップS60
において、ブロックサイズ、サーチエリアを縮小する。
この縮小は、階層が進むにしたがって進行する。これ
は、ブロックサイズを大きいブロックから画素マッチン
グに近い局所ブロックのサイズに追い込む必要があるか
らで、順次ブロックを小さくしてブロック同士の対応が
とれるならば、サーチエリアも小さくて済む。

次に、高精度画像ブロック合わせ機能部２は、ステッ
プS61において、サーチエリアを探索して、一致領域の
候補となる対応ブロックがあるか否かを判定する。ここ
で有ると判定するとステップS62に進み、無いと判定す
るとステップS64に進む。

ステップS62では、上述したような定常オフセット、
ゲインによる補償が行われる。図18（ａ）及び（ｂ）
は、各信号変化を簡単のため１次元で表した例である。
注目画素（黒点）を中心にしてブロックサイズを大きく
していたとき、それぞれのブロック内の輝度が図19の
（ａ）及び（ｂ）のように変化したとする。オフセット
Ｏとは、それぞれの輝度平均Ｍの差分で、 Ｏ＝M_hd−M_sd ・・・（30） で定義する。定常状態の判定は、各ブロックサイズでの
オフセットをO_uとすると、 |O_u−O_u-1|＜TH_m ・・・（31） となる。ただし、ここでｕはｕ−１より大きいブロック
サイズである。この（12）式を満たすオフセットが、Ｎ
個連続したときに定常状態と判定し、そのときの定常値
O_fは連続Ｎ個の平均で求め、 となる。

ゲインＧとは、各ブロック内の輝度の標準偏差の比で
あり、 Ｇ＝σ_hd/σ_sd ・・・（33） で定義されているから、各ブロックサイズでのゲインを
G_vとすると、 |G_v−G_v-1|＜TH_s ・・・（34） を満たすゲインが、Ｎ個連続したとき定常状態と判定す
る。但し、TH_sはしきい値であり、ｖはｖ−１より大き
いブロックサイズである。

そのときの定常値G_fも同様に、 で求めることができる。

以上で求めたオフセットとゲインの定常値を用いて、
マッチングの探索時の補償を行う。補償とは、低解像度
側のブロックと高解像度側のサーチエリア内のブロック
間でマッチング評価を行う際、低解像度側の輝度平均と
標準偏差を高解像度側に合わせる。それぞれの輝度値を
Y_sd、Y_hdとすると、 Y_sd＝（Y_hd−Y_sd）G_f＋M_sd＋O_f ・・・（36） により行う。この補償を行うことによって、ブロックサ
イズや画像形状に左右されず精度のよいマッチング判定
を行うことができる。

そして、ステップS63に進み、絶対値差分評価による
判定を行い、その後ステップS61に戻る。

ステップS64では、サーチ毎に算出される評価値を評
価のためのメモリである評価メモリに加算する。探索を
全て終えると評価値テーブルを参照して、最適な評価値
を選択し、候補画素のアドレスを決定する。すなわち、
このステップS64では、対応HDアドレスをシフトする。

ここで、階層ループを繰り返す度に、評価値テーブル
から最適な評価値を選択し、その画素位置が前の階層で
の位置と異なれば更新する。

そして、以上の処理を設定された階層数だけ行うため
にステップS65の判定が行われる。ここで、次の階層に
進む場合、上述したように、ステップS60で、ブロック
サイズ、サーチエリアの設定の縮小が行われる。

最後にステップS66で総合的な判定が行われ、高精度
画像ブロック合わせ機能部２のマッチング処理が終了す
る。

以上より、この第３実施例の画像一致検出装置は、解
像度の異なるマッチングをとる場合、大域マッチングと
階層マッチングを制約条件を加えながら順次行うことに
よって、マッチングの精度を確保するようになり、画素
以下（サブピクセル）マッチングを行わないため、マッ
チングの率を向上させることができる。

また、階層的なマッチングにおけるオフセット、ゲイ
ンの補償を定常値を用いて行っているため、ブロックサ
イズや画像形状に左右されにくくなっている。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/20 H04N 5/00 - 5/93

Claims (25)

(57)【特許請求の範囲】
1. 【請求項１】第１の画素数からなる第１の撮像素子が出
   力する第１の画像と第２の画素数からなる第２の撮像素
   子が出力する第２の画像との各画素間の一致関係を検出
   する画像一致検出装置であって、 上記第１及び第２の画像の基準位置に基づいて低精度の
   画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて第１の
   画像上でのブロックに対応する探索範囲を上記第２の画
   像上に設定し、上記第１の画像上のブロックにマッチン
   グする第２の画像上のブロックを上記探索範囲内で探索
   するブロックマッチング処理を行うブロックマッチング
   処理手段とを有することを特徴とする画像一致検出装
   置。
2. 【請求項２】上記ブロックマッチング処理手段は、上記
   第１及び第２の画像の各画素間のデータを補間により生
   成した後に、上記ブロックマッチング処理を行うことを
   特徴とする請求の範囲第１項記載の画像一致検出装置。
3. 【請求項３】上記第１の画像を低解像度画像とし上記第
   ２の画像を高解像度画像とするとき、上記ブロックマッ
   チング処理手段は、上記低精度画像一致検出手段の検出
   結果に応じて上記低解像度画像上でのブロックに対応す
   る探索範囲を上記高解像度画像上に設定し、上記低解像
   度画像上のブロックにマッチングする上記高解像度画像
   上のブロックを上記探索範囲内で大域的に探索して候補
   を見つけ、さらに上記低解像度画像と上記高解像度画像
   のそれぞれの画素間を補間することによって設定したブ
   ロックと探索範囲内のブロックとの類似性を高精度に評
   価し、一致がとれる画像を検出することを特徴とする請
   求の範囲第１項記載の画像一致検出装置。
4. 【請求項４】上記第１及び上記第２の撮像素子は、同じ
   被写体を撮像することを特徴とする請求の範囲第１項記
   載の画像一致検出装置。
5. 【請求項５】上記被写体には、基準の画素位置を示すマ
   ーカが付されていることを特徴とする請求の範囲第４項
   記載の画像一致検出装置。
6. 【請求項６】第１の画素数からなる第１の撮像素子が出
   力する第１の画像と第２の画素数からなる第２の撮像素
   子が出力する第２の画像との各画素間の一致関係を検出
   する画像一致検出装置であって、 上記第１及び第２の画像の基準位置に基づいて低精度の
   画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて上記第
   １及び第２の画像を該第２の画像上に探索範囲を設定し
   て大域的にサーチしてそれぞれの注目点を選定し、この
   注目点を含む対応ブロックを上記第１及び第２の画像に
   設定してこれらの輝度信号の平均レベル又は標準偏差が
   一致するように補正した後に上記対応ブロックにブロッ
   クマッチング処理を施すブロックマッチング処理手段と
   を有することを特徴とする画像一致検出装置。
7. 【請求項７】上記ブロックマッチング処理手段は、上記
   対応ブロックをｎ回階層的に小さくしながら輝度信号の
   平均レベルの差の検出及び補正又は輝度信号の標準偏差
   の比の検出及び補正とブロックマッチング処理をｎ回繰
   り返すことを特徴とする請求の範囲第６項記載の画像一
   致検出装置。
8. 【請求項８】上記ブロックマッチング処理手段は、上記
   第１及び第２の画像の各画素間のデータを補間により生
   成した後に、上記ブロックマッチング処理を行うことを
   特徴とする請求の範囲第６項記載の画像一致検出装置。
9. 【請求項９】上記第１及び上記第２の撮像素子は、同じ
   被写体を撮像することを特徴とする請求の範囲第６項記
   載の画像一致検出装置。
10. 【請求項１０】上記被写体には、基準の画素位置を示す
    マーカが付されていることを特徴とする請求の範囲第９
    項記載の画像一致検出装置。
11. 【請求項１１】第１の画素数からなる第１の撮像素子が
    出力する第１の画像と第２の画素数からなる第２の撮像
    素子が出力する第２の画像との各画素間の一致関係を検
    出する画像一致検出装置であって、 上記第１及び第２の画像の基準位置に基づいて低精度の
    画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて上記第
    １及び第２の画像を大域的にサーチしてそれぞれの注目
    点を選定し、この注目点を含む対応ブロックをそれぞれ
    設定した後に、この対応ブロックを段階的に大きくしな
    がら上記第１の画像内のブロックと上記第２の画像内の
    ブロックの輝度信号平均レベルの差又は標準偏差の比を
    求め、該差又は比が収束したときの差又は比の値を用い
    て、上記対応ブロック内の輝度信号平均レベル又は標準
    偏差を補正し、階層的な複数のブロックの大きいブロッ
    クから小さいブロックへ順次マッチング処理を施すブロ
    ックマッチング処理手段とを有することを特徴とする画
    像一致検出装置。
12. 【請求項１２】上記ブロックマッチング処理手段は、上
    記第１及び第２の画像の各画素間のデータを補間により
    生成した後に、上記ブロックマッチング処理を行うこと
    を特徴とする請求の範囲第11項記載の画像一致検出装
    置。
13. 【請求項１３】上記第１及び上記第２の撮像素子は、同
    じ被写体を撮像することを特徴とする請求の範囲第11項
    記載の画像一致検出装置。
14. 【請求項１４】上記被写体には、基準の画素位置を示す
    マーカが付されていることを特徴とする請求の範囲第13
    項記載の画像一致検出装置。
15. 【請求項１５】解像度の異なるカメラで撮影した各静止
    画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
    ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
    定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
    索工程と、 これら高解像度画像と低解像度画像のそれぞれの画素間
    を補間することによって設定したブロックと探索範囲内
    のブロックとの類似性を高精度に評価し、一致がとれる
    画像を検出するブロック一致検出工程とを有することを
    特徴とする画像一致検出方法。
16. 【請求項１６】上記画像一致検出処理を行う前に、高解
    像度画像と低解像度画像の輝度信号レベルの平均値又は
    標準偏差を画面全体で一致させ、ブロック単位の一致検
    出を行う際に、再度、局所的な対応ブロック単位に輝度
    信号レベルの平均値又は標準偏差とを一致させることを
    特徴とする請求の範囲第15項記載の画像一致検出方法。
17. 【請求項１７】上記ブロック一致検出工程において、高
    解像度画像と低解像度画像のブロック間の類似性を評価
    する方法として、ブロック間の相関係数を用いて評価す
    ることを特徴とする請求の範囲第15項記載の画像一致検
    出方法。
18. 【請求項１８】上記ブロック一致検出工程において、高
    解像度画像と低解像度画像のブロック間の類似性を評価
    する方法として、ブロック間の差分の絶対値和を用いて
    評価することを特徴とする請求の範囲第15項記載の画像
    一致検出方法。
19. 【請求項１９】上記ブロック一致検出工程において、高
    解像度画像と低解像度画像のブロック間の類似性を評価
    する方法として、ブロック間の差分の２乗和を用いて評
    価することを特徴とする請求の範囲第15項記載の画像一
    致検出方法。
20. 【請求項２０】解像度の異なるカメラで撮影した各静止
    画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
    ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
    定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
    索工程と、 上記候補探索工程で探索した候補を含む対応ブロックを
    低解像度及び高解像度の画像に設定してこれらの輝度信
    号平均レベル又は標準偏差が一致するように補正した後
    に上記対応ブロックの類似性を高精度に評価し、一致が
    とれる画像を検出するブロック一致検出工程とを有する
    ことを特徴とする画像一致検出方法。
21. 【請求項２１】上記ブロック一致検出工程は、上記対応
    ブロックをｎ回階層的に小さくしながら輝度信号の平均
    レベルの差の検出及び補正又は輝度信号の標準偏差の比
    の検出及び補正とブロックマッチング処理をｎ回繰り返
    すことを特徴とする請求の範囲第20項記載の画像一致検
    出方法。
22. 【請求項２２】上記ブロック一致検出工程は、各階層毎
    にマッチングの際の評価値を総合的に判定して、マッチ
    ング候補画素の補正を行うことを特徴とする請求の範囲
    第21項記載の画像一致検出方法。
23. 【請求項２３】上記ブロック一致検出工程は、上位階層
    の評価値を下位階層の評価値に適用する際、下位階層の
    評価対象画素位置に対応する上位階層の評価値が存在す
    るように、マッチングの際のブロックサイズとサーチエ
    リアを調製することを特徴とする請求の範囲第21項記載
    の画像一致検出方法。
24. 【請求項２４】解像度の異なるカメラで撮影した各静止
    画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
    ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
    定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
    索工程と、 上記候補探索工程で探索した候補を含む対応ブロックを
    それぞれ設定した後に、この対応ブロックを段階的に大
    きくしながら上記低解像度画像内のブロックと上記高解
    像度画像内のブロックの輝度信号平均レベル又は標準偏
    差の比を求め、該差又は該比が収束してときの差又は比
    の値を用いて、階層的な複数のブロックの大きいブロッ
    クから小さいブロックへ順次マッチング処理を施し、一
    致がとれる画像を検出するブロック一致検出工程とを有
    することを特徴とする画像一致検出方法。
25. 【請求項２５】上記ブロック一致検出工程は、上記第１
    及び第２の画像の各画素間のデータを補間により生成し
    た後に、上記候補探索工程で探索した候補を含む対応ブ
    ロックをそれぞれ設定し、この対応ブロックを段階的に
    大きくしながら上記低解像度画像内のブロックと上記高
    解像度画像内のブロックの輝度信号平均レベル又は標準
    偏差の比を求め、該差又は該比が収束してときの差又は
    比の値を用いて、階層的な複数のブロックの大きいブロ
    ックから小さいブロックへ順次マッチング処理を施し、
    一致がとれる画像を検出することを特徴とする請求の範
    囲第24項記載の画像一致検出方法。