JPS62145991A - 画像の位置ずれ補正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、多色に分光して撮影した画像に生ずる各色相
圧の画像の位置ずれの補正等に使用する画像の位置ずれ
補正装置に関するものである。

（従来の技術） 従来、一般の多色分解した画像で像の色相圧のずれを補
正する場合、位置合わせ用の特別な図を撮影してその図
上のマークを利用して補正を行う方式が一般的であった
。

また、一部のテレビカメラで行われている一般画像での
位置ずれ補正は色の差信号をとり、その誤差が最小にな
る様にする方法で画面中央での補正しか行われず、また
差をとるために異なる色の画像を交互に表示するなどの
手法がとられていた。

上述したように一部の特殊分野において画像間の位置ず
れ補正が行われていたが、一般的な画像特に面順次方式
やインターレース方式における欠点を解消する方式は存
在しないのが現状であった。

（発明が解決しようとする問題点） すなわち、面順次方式カラーカメラ等の順次方式撮像方
法においては、各色（赤、緑、青）の撮像に時間差があ
るので被写体が静止画の場合は問題ないが、被写体又は
カメラが動いている場合は各色画像間に位置ずれ（色ず
れ）を生じ、各色を重ね合わせたカラー画像として見る
と位置ずれが小さい場合は色のにじみとして見え、位置
ずれか大きい場合は異なった色の画像が互いに重なり合
い、被写体が明確に見えない欠点があった。

また、インターレース方式のカメラにより１最像した画
像においては奇数、偶数フィールド間で撮像に時間差が
あるので画像のずれがフリ・２カーとして画面上で観察
され明瞭な画像とならない欠点があった。

本発明の目的は上述した不具合を解消して、一般カラー
カメラの各色画像上の各部での位置ずれ（色ずれ）補正
、面順次等の順次方式カラーカメラの位置ずれ補正およ
びインターレース方式のカラーカメラの奇数、偶数フィ
ールド間の画像の位置ずれ補正等を好適に行なうことが
できる画像の位置ずれ補正装置を提供しようとするもの
である。

（問題点を解決するための手段） 本発明の画像の位置ずれ補正装置は、基準となる画像と
対応する補正すべき画像との間の位置ずれを補正する装
置において、前記基準画像と被補正画像との間の相関を
求め、その相関に基づき前記基準画像に対する被補正画
像の位置ずれを求める手段と、求めた位置ずれに基づき
前記補正すべき画像を再構成する手段とを具えることを
特徴とするものである。

（作　用） 上述した構成において、一部が互いに重なり合った分光
特性を持つカラーフィルタにより分光し撮像するか、又
はカラーフィルタを通した白色光により照明し撮像する
場合や、一般の物体や生体などを撮影した場合は、それ
ら被写体の反射分光特性はなだらかであり、異なった波
長域の画像をとっても相関があるのでこれを利用して位
置ずれを求めている。その後、求めた位置ずれの量およ
び方向に基づき補正すべき画像の再構成を例えば内挿や
補間等の方法で行ない画像の位置ずれを補正している。

ここで異なった色のフレーム間に相関が生ずる理由は以
下の通りである。すなわち、今・物体　：Ｏ（＋ｒ、　
　λ）、ここでｌｒ　ｉ場所、λ；波長 ・照明光：Ｌ、（ｔｒ）；物体上にできる照明むらＬＸ
　（λ）；照明光の強度スペクトル・カメラ又は照明光
に装着されている各色フィルターの透過率分布：１．（
λ）、１．（λ）、ｔｂ（λ）と仮定すると、通常用い
られているＮＴＳＣ方弐では第１図に示すように各透過
率分布は互いに重なり合っている。以上より、得られる
ｌ？、Ｇ、８画像は以下の（１１〜（３）式で与えられ
る。

１Ｍ（１ｒ）＝　ＳＯ（”＋λ）Ｌ、　（１ｒ）ＬＸ（
λ）ｔ、（Ａ）ｄλ・（１１１ｃ（ｔｒ）−５Ｑ（＋ｒ
、λ）Ｌ＋（ｌｒ）Ｌｘ（λ）ｔ９（λ）ｄλ・ｆ２）
１、（ｔｒ）＝　’）Ｏ（＋ｒ、λ）Ｌ＋（ｔｒ）ＬＸ
（λ）ｔｂ（λ）ｄλ・（３）例えばＲ，Ｇの相関をと
ると、 １＊（１ｒ）☆Ｉｃ　（Ｉｒ）　＝　ＳＯ（ｔｒ　、λ
＋）Ｌ＋　（１ｒ）Ｌｚ　（λ１）ｔｒ（λ１）ｄλ☆ ＬＸ（λ１）ＬＸ（λ２） ×ｔｒ（λ＋）ｔｇ（λ２）ｄλ、ｄλｚ−（４１とな
る。ここで（４）式において、λ１−λ２ではｔｒ（λ
ｌ）　Ｘ　ｔ９（λ２）ＮＯにおいて透過率分布は互い
に重なっているため自己相関となり強い相関がある。λ
ｌ々λ２では被写体が強い反射特性をもたない分子であ
れば（この仮定は生体や通常のものでは正しい）Ｏ（＋
ｒ、λＩ）　Ｚ　Ｏ（ｔｒ　、λ２）であり、十分な相
関がある。以上のことより、■８とＩ６および■。

と■８に相関が存在する。

また、インターレース画像の補正においては、偶数フィ
ールドと奇数フィールドの画像に分けて一方の画像を基
準として他方の画像の位置ずれを補正しているが、この
場合は同一色であるので十分な相関が存在する。

本発明では画像間の位置ずれを求めるために画像間の相
関をとっている。以下本発明で使用したＰｈａｓｅ　ｍ
ａｔｃｈ法について簡単に説明する。Ｐｈａｓｅｍａ　
ｔｃｈ法というのは、２つの画像関数ｆ、（ｔｒ）と「
２（ｔｒ）のそれぞれのフーリエ変換を［？１（ω）、
ｐｇ（ω）と仮定すると以下の（５）式を計算すること
に対応している。

ここで＊は共役を表わす。このＰｈａｓｅ　ｍａｔｃｈ
法の利点は以下の点にある。

■）フーリエ変換（ＦＦＴ）であるので計算が高速にで
きる。

２）パラレル演算が可能である。

３）自己相関に対して非常にするどい（δ関数）ピーク
を与える。

４）位相のかけ算値をルックアンプテーブル方式で求め
ることができる。

５）高速演算法が存在する。

なお、上述したＰｈａｓｅ　ｍａｔｃｈ法の詳細につい
ては、例えばＪ、Ｌ、ｔｌｏｒｎｅｒ″Ｐｈａｓｅ　−
ｏｎｌｙ　ｍａｔｃｈｅｄｆｉｌｔｅｒｉｎｇ　　”＾
ｐｐｌｉｅｄ　０ｐｔｉｃｓ、　Ｖｏｌ、２３．　ｔＩ
＆１６に記載がある。

（実施例） 第２図は本発明の画像の位置ずれ補正装置の一実施例を
光源制御形面順次方式の人力装置と組み合わせた例を示
す線図である。光源１から出射した光はＩ？Ｇ１１フィ
ルタ２を介してライトガイド３により導かれ、被写体４
に照射する。このＲＧＢフィルタ２は所望の色フィルタ
に例えばテレビ走査に同期して切替えて使用する。被写
体４より反射した光は光学系５により例えばＣＣＤより
なる白黒撮像板６に結像する。

白黒撮像板６により撮像された画像はカメラ側電子回路
７によりｌｉｌ、Ｇ、Ｂの画像信号として面順次−標準
テレビ変換処理器８に送られ、Ｒ，Ｇ、Ｂ各画像を重ね
合わせたカラー画像としてモニター９で観察する。この
とき、画像の位置ずれが生じている画像については、本
発明の画像の位置ずれ装置１０にＲ，Ｇ、　Ｂ画像信号
を送って位置ずれ補正を行なう。

まず相関比較回路１［では、送られてきた各画像のうち
基準とする色（通常はＧ）の画像と位置ずれの補正を行
う色（例えばＲ）の画像にある一定間隔でサンプリング
点を設定する。それぞれのサンプリング点を含むウィン
ドウを設定し、基準画像のウィンドウと対応する補正画
像のウィンドウとの間の相関をとり、基準画像に対する
被補正画像の位置ずれを求める。この処理をすべてのウ
ィンドウに対して実施して各サンプリング点における基
準画像に対する被補正画像の位置ずれを求めている。

次に画像再構成回路１２では、相関比較回路１１で求め
た基準画像に対する被補正画像の位置ずれに基づいて被
補正画像を再構成して補正した色画像（例えばＲ”）を
作り出す。他の色画像（Ｂ）に対しても同様の処理を行
い、補正した色画像（Ｂｏ）を作り出す。この結果得ら
れた３色の画像（Ｒ’、Ｇ。

Ｂ’）を重ねてモニター１３上に表示して補正後の画像
を観察している。なお、これらカメラ側型子回路７１回
顧次−標準テレビ変換処理器８．相関比較回路１１２画
像再構成回路１１．モニター１３はすべて制御回路１４
により制御されている。

第３図は本発明の画像の位置ずれ装置における位置ずれ
を求める方法および画像再構成の方法を説明するための
フローチャートである。本フローチャートに示した実施
例は、その−例として３色赤、緑、青（Ｉｌ、Ｇ、Ｂ）
に色分解した３２０　ｘ　３２０画素から構成される画
像の位置ずれの補正についての例であり、以下フローチ
ャートの順に説明する。

１）　Ｒ，Ｇ、８画像に例えば１０点×１０点のある間
隔をもったサンプリング点を設定する。

２）このサンプリング点を含み、例えば６４　Ｘ　６４
の大きさのウィンドウを各画像上に設定する。

３）各ウィンドウ内の基準となる０画像の関数をｇ（ｘ
、ｙ）、被補正画像であるＲ画像の関数をｒ（ｘ、ｙ）
として、これらの関数のフーリエ変換を計算してＧ（ξ
、η）およびＲ（ξ、η）を得る。

４）このフーリエ変換関数から０画像とＲ画像との相関
を以下の（６）式を計算することにより求めて相関のピ
ークを検出する。

５）被補正画像であるＲ１１Ｌｉｉ像の上述した計算で
使用したサンプリング点をピークを示す位置に移動して
、そのピークを示す位置により小さなウィンドウ（Ｘ、
　Ｙ共半分）を設定すると共に、基準画像である０画像
上にはもとのサンプリング点に対しこの小さなウィンド
ウを設定する。

６）上述した３）〜５）のステップを例えばウィンドウ
の大きさが８×８になるまで操り返して、このサンプリ
ング点におけるＲ画像の０画像に対する位置ずれ（Ｘ、
Ｙ）を求めて、シフトマツプとして記ｊＱする。

７）設定したサンプリング点全てについて、２）〜６）
のステップを実施する。

８）８画像の６画像に対する位置ずれを示すシフトマツ
プにより８画像の各サンプリング点で補正を行ない、こ
の補正した各サンプリング点の値に基づき８画像を再構
成してＲ゛画像作成する。

９）Ｇ、８画像間についても１）〜８）のステップを繰
り返しＲ°両画像作成する。

上述した説明中最初のウィンドウの大きさは画像全体の
大きさと考えられる位置ずれの量を考慮して決定される
。例えば上述した例で説明した３２０　Ｘ　３２０画素
からなる画像においては、考えられる位置すれが最大で
も３０画素程度であるため、６４　Ｘ　６４のウィンド
ウを設定した。

第４図（ａ）〜（ｉ）は上述したステップのうち位置ず
れを検出する方法を説明するための線図である。

基準となる画像のウィンドウを第４図（ａ）に、また被
補正画像のウィンドウを第４図（ｂ）にそれぞれ示す。

ウィンドウの大きさは６４　Ｘ　６４であり、（ｘｏ、
ｙｏ）がサンプリグ点である。これらの画像間で相関を
とりピークを求めると第４図（Ｃ）のようにサンプリン
グ点を原点として（α、β）の位置にピークが検出され
たものとすると、この（α、β）が６４×６４のウィン
ドウに対する位置ずれ量となる。次に、ウィンドウの大
きさを３２　Ｘ　３２としてさらに相関を求める。すな
わち、基準画像については第４図（ｄｌに示すようにサ
ンプリング点（ｘｏ＋ｙｏ）からウィンドウを設定する
と共に、被補正画像に対しては第４図（８１に示すよう
に上述した６４　Ｘ　６４のウィンドウで求めた位置ず
れ量を考慮して（ｘｏ＋α＋ｙｏ＋β）からウィンドウ
を設定して同様な相関を求める。その結果第４図（ｆｌ
に示すように（α”、β゛）だけ位置ずれしていると検
知された場合は、基準画像については第４図（ｇ）に示
すウィンドウを、また被補正画像については、第４図（
ｈｌに示すウィンドウをそれぞれ設定して相関を求める
。求めたずれ量が（０，Ｏ）かほとんどこれに近い場合
、第４図（１１に示すようにこのサンプリング点の位置
ずれ盪を（α＋α′、β＋β″）として決定している。

この第４図に示す処理をすべてのサンプリング点に対し
て行ない、シフトマツプを求めている。

また、上述した８）ステップで行なった画像の再構成の
方法としては、各サンプリング点（上述した実施例では
ｌ０ＸＩＯの１００点）についてのシフトマツプに基づ
き画像を再びサンプリングして非補正画像を作成してい
る。この際、例えばβスプラインを使用したキュービッ
ク・コンボリューションや５ｉｎＣ関数を使用した補間
法を利用して画像の再構成を行なっている。

第５図は本発明の画像の位置ずれ補正装置の一実施例を
示すブロック図である。本実施例では、Ｉ？、Ｇ、８画
像に対して６画像を基準として位置ずれ（色ずれ）を補
正する例を示している。まず、８画像と６画像との間の
位置ずれ補正について説明すると、被補正画像である８
画像、基準画像である６画像は、ディジタル人力の場合
はインターフェイス回路２１ｒ、　２１ｇを介してまた
アナログ人力の場合ばＡ／Ｄ変換回路２２ｒ、　２２ｇ
を介してそれぞれフレームメモリ２３ｒ、　２３ｇに記
憶する。フレームメモリ２３ｒ、　２３ｇに記憶された
８画像と６画像に対してサンプル点設定回路２４ｒ、　
２４ｇにおいて対応する所望の数のサンプル点を設定し
、次に各サンプル点に対し所定のウィンドウをウィンド
ウ設定回路２５ｒ、　２５ｇにおいて設定する。対応す
るウィンドウ内の８画像と６画像はそれぞれフーリエ変
換計算回路２６ｒ、　２６ｇにおいてフーリエ変換され
、その値に基づいて対応点検出回路２７ａにおいて両者
の間の相関を求め、そのウィンドウ内の基準となる６画
像に対する８画像の位置ずれ量を求める。求めた位置ず
れ星は各サンプル点に対応させてＸ、　Ｙ誤差記憶回路
２８ａ内に記憶して、シフトマツプを作成する。このシ
フトマツプに基づいて、Ｒリサンプリング回路２９ａに
おいてキュービックコンボリューション等の手法を用い
て８画像を再構成して、Ｒ゛フレームメモリ３０ａ補正
後のＲ′両画像記憶する。上述した処理を８画像に対し
て実施してもＢ゛フレームメモリ３０ｂ補正後のＢ′両
画像記・１１！する。これらＩ？″フレームメモリ３０
ａ中のＲ゛画像フレームメモリ２３ｇ中の０画像および
Ｂ゛フレームメモリ３０ｂ中３画像を、それぞれＤ／Ａ
変換回路３１ｒ、３１ｇおよび３１ｂを介して同時に表
示モニター３２上に表示すれば、補正された明瞭な画像
を観察することができる。また、Ｒ’、Ｇ、［１′の画
像をディジタルで外部へ供給する場合は、インターフェ
イヌ回路３３ｒ、　３３ｇおよび３３ｂを介して外部へ
供給している。

第６図（ａｌ、　（ｂｌ、　（Ｃ１は本発明の画像の位
置ずれ補正装置を実際の画像に応用した場合の状態を説
明するための線図である。第６図（ａｌ、　（ｂｌはカ
ラー画像の色ずれ補正に本発明を適用した例を示すもの
で、補正前１？、Ｇ、Ｂの画像がそれぞれ第６図（ａ）
に示すようにずれていたものが、補正後第６図（ｂｌに
示すようにＲ，Ｂの画像がＧの画像と重なり位置ずれが
補正されている。また、第６図（Ｃ１はインターレース
方式で生ずる位置ずれによるフリッカ−の補正に本発明
を適用した例であり、奇数フィールド画像に発生した実
線で示すフリッカ−を点線に示すよう補正することがで
きる。

（発明の効果） 以上詳細に説明したところから明らかなように、本発明
の画像の位置ずれ補正装置によれば、基串となる画像に
対する被補正画像の相関をとることにより位置ずれ量を
検出して、その位置ずれ量に基づき画像の再構成をして
被補正画像を得ているため、−ｉカラーカメラの各色画
像上の各部の位置ずれ補正１回顧次等の順次方式カラー
カメラの位置ずれ補正およびインターレース方式のカラ
ーカメラの奇数、偶数フィールド間の画像の位置ずれ補
正等を好適に実施することができる。

【図面の簡単な説明】

第１図はＮＴＳＣ方式における各色の波長と透過率との
関係を示すグラフ、 第２図は本発明の画像の位置ずれ補正装置を面順次方式
の入力装置と組み合わせた例を示す線図、第３図は本発
明における位置ずれを求める方法を示すフローチャート
、 第４図（ｆｉｌ〜（１）はそれぞれ位置ずれを検出する
方法を説明するための線図、 第５図は本発明の位置ずれ補正装置の一実施例を示すブ
ロック図、 第６図（ａｌ、　（ｂｌ、　（ｃｌは本発明を実際の画
像に応用した例を示す線図である。 ｌ・・・光源　　　　　　　　２・・・ＲＧＢフィルタ
３・・・ライ１〜ガイド　　　４・・・被写体５・・・
光学系　　　　　　６・・・白黒撮像板７・・・カメラ
側電子回路 ８・・・面順次−標準テレビ変換処理器９・・・モニタ
ー　　　　　ＩＯ・・・画像の位置ずれ装置１１・・・
相関比較回路　　　１２・・・画像再構成回路１３・・
・モニター ２１ｒ、　２１ｇ、　２１ｂ・・・インターフェイス回
路２２ｒ、２２ｇ、２２ｈ　＝・Ａ／Ｄ変換回路２３ｒ
、２３ｇ、２３ｂ　−フレームメモリ２４ｒ、　２４ｇ
、　２４ｂ・・・ナンプル点設定回路２５ｒ、　２５ｇ
、　２５ｂ・・・ウィンドウ設定回路２６ｒ、　２６ｇ
、　２６ｂ・・・フーリエ変換計算回路２７ａ、　２７
ｂ・・・対応点検出回路２８ａ、　２８ｂ・・・Ｘ、’
　Ｙ誤差記憶回路２９ａ・・・Ｒリサンプリング回路 ２９ｂ・・・Ｂリサンプリング回路 ３０ａ・・・Ｒ゛フレームメモ リ０ｂ・・・Ｂ°フレームメモリ ３１ｒ、３１ｇ、３１ｂ　−Ｄ／八へ換回路３２・・・
表示モニタ ３３ｒ、　３３ｇ、　３３ｂ・・・インターフェイス回
路特許出願人　池上通信機株式会社 第３図 第４図 （ａ）　　　　（ｂ＞　　　（ｃ） 第６図

Claims (1)

【特許請求の範囲】
1. １、基準となる画像と対応する補正すべき画像との間の
   位置ずれを補正する装置において、前記基準画像と被補
   正画像との間の相関を求め、その相関に基づき前記基準
   画像に対する被補正画像の位置ずれを求める手段と、求
   めた位置ずれに基づき前記補正すべき画像を再構成する
   手段とを具えることを特徴とする画像の位置ずれ補正装
   置。