WO2007129436A1

WO2007129436A1 - 画像圧縮方法、画像圧縮装置、および動画符号化方法

Info

Publication number: WO2007129436A1
Application number: PCT/JP2007/000356
Authority: WO
Inventors: Shinichi Yamashita; Masuharu Endo; Yuji Baba
Original assignee: Monolith Co., Ltd.
Priority date: 2006-04-18
Filing date: 2007-04-02
Publication date: 2007-11-15
Also published as: JP2007288614A; TW200810565A

Abstract

　画像の品質を保持しつつ高い圧縮率で圧縮を行うことは難しい。　差分画像圧縮装置１００において差分計算器１０は、入力したふたつの画像データの差分画像を算出し、エネルギー取得部１４はふたつの画像のマッチングを行い、画素の位置の変化量を示すマッチングエネルギーを各画素に与えたエネルギーマップを生成する。判定部１６はエネルギーマップに基づき差分画像内のブロックを高圧縮対象領域と低圧縮対象領域に区別する。フィルタ実施部１２は、差分画像のブロックに対し、領域によって異なるフィルタを施して情報量を削減する。圧縮実施部１８はフィルタを施した差分画像を圧縮符号化する。

Description

明細書

画像圧縮方法、画像圧縮装置、および動画符号化方法

技術分野

[0001 ] この発明は、画像処理技術に関し、とくにマッチングを用いた画像圧縮技術および動画符号化技術に関する。

背景技術

[0002] 近年、動画をはじめとする映像の高精細化が進み、情報量が著しく増大してきた。そのため記録媒体における容量や伝送媒体における伝送量を削減するため、画像圧縮の技術がさかんに研究されている。例えば M P E G (Mot i o n P i cture Experts Group) は動画圧縮のひとつの標準技術である。 M P E G では、ブロックマッチングが利用される。このマッチングは、ブロック間の差分が最小になるようブロック探索を行う。

特許文献 1 ：特許第 2 9 2 7 3 5 0号

発明の開示

発明が解決しょうとする課題

[0003] M P E Gの場合、圧縮率を上げようとすると、いわゆるブロックノイズが問題になる。このように画像の品質と圧縮率はトレードオフの関係にあるのが一般的である。しかしながら画像のデータ量は増大する一方であるため、画像の品質を保持しながら高効率で圧縮を行うことのできる技術が望まれている。

[0004] 本発明はこのような課題に鑑みてなされたものであり、その目的は画像圧縮を効率よく行うことのできる技術を提供することにある。

課題を解決するための手段

[0005] 本発明のある態様は画像圧縮方法に関する。この画像圧縮方法は、ふたつの画像フレームの差分画像を生成するステップと、差分画像に含まれるエツジを検出し、当該エッジを構成する画素の位置を記憶するステップと、差分画像に含まれるノイズ成分を除去するステップと、ノイズ成分を除去した差分画像に含まれる画素のうち、記憶するステップにおいて位置を記憶した画素の画素値を、除去するステップの前の値に近づけるステップと、を含むことを特徴とする。

[0006] 本発明の別の態様も画像圧縮方法に関する。この画像圧縮方法は、ふたつの画像フレームの差分画像を生成するステップと、ふたつの画像フレームのマッチングを行い対応点情報を取得するステップと、ふたつの画像フレームにおける対応点の変化量を表す指標値が所定の変化量しきい値より大きい画素を含む領域を重要領域として差分画像上で特定するステップと、重要領域に含まれるエッジを検出し、当該エッジを構成する画素の位置を記憶するステツプと、重要領域に含まれるノイズ成分を除去するステップと、ノイズ成分を除去した重要領域に含まれる画素のうち、記憶するステップにおいて位置を記憶した画素の画素値を、除去するステップの前の値に近づけるステツプと、を含むことを特徴とする。

[0007] 本発明の別の態様は動画符号化方法に関する。この動画符号化方法は、 a ) 1以上の画像フレームを間に挟む第 1、第 2キーフレーム間でマッチングを計算し、第 1、第 2キーフレーム間の対応点情報を生成するステップと、 b ) 第 1、第 2キーフレーム間の対応点情報をもとに当該キーフレームに含まれる画素を移動させることによって、仮想の第 2キーフレームを生成するステップと、 c ) 現実の第 2キーフレームと仮想の第 2キーフレームとの差分画像を圧縮符号化するステップと、 d ) 第 1キーフレーム、第 1、第 2キ一フレーム間の対応点情報、および、現実の第 2キーフレームと仮想の第 2 キーフレーム間で圧縮符号化された差分画像をこれらのキーフレーム間の符号化データとして出力するステップと、を備え、 c ) のステップは、 a ) のステップにおけるマッチングの精度が低いと判断された領域に対応する差分画像上の領域に含まれるェッジを検出し、当該ェッジを構成する画素の位置を記憶するステップと、当該差分画像上の領域に含まれるノイズ成分を除去するステップと、ノイズ成分を除去した当該差分画像上の領域に含まれる画素のうち、前記記憶するステップにおいて位置を記憶した画素の画素値を、除去するステップの前の値に近づけるステップとを備えることを特徴とする

[0008] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0009] 本発明によれば、画像の品質を保持しながら効率的に圧縮を行うことがでさる。

図面の簡単な説明

[0010] [図 1]図 1 (a) と図 1 (b) は、ふたりの人物の顔に平均化フィルタを施して得られる画像、図 1 (c) と図 1 (d) は、ふたりの人物の顔に関して前提技術で求められる P ⁽⁵' の画像、図 1 (e) と図 1 ( f ) は、ふたりの人物の顔に関して前提技術で求められる P ⁽⁵' "の画像、図 1 (g) と図 1 (h ) は、ふたりの人物の顔に関して前提技術で求められる p ⁽⁵· ²⁾の画像、図 1 ( i ) と図 1 ( j ) は、ふたりの人物の顔に関して前提技術で求められる p (

5, 3)の画像をそれぞれディスプレイ上に表示した中間調画像の写真である。

[図 2]図 2 (R) はもとの四辺形を示す図、図 2 (A) 、図 2 (B) 、図 2 ( C) 、図 2 (D) 、図 2 (E) はそれぞれ相続四辺形を示す図である。

[図 3]始点画像と終点画像の関係、および第 mレベルと第 m_ 1 レベルの関係を相続四辺形を用いて示す図である。

[図 4]パラメータ 77とエネルギー C_fの関係を示す図である。

[図 5]図 5 (a) 、図 5 (b) は、ある点に関する写像が全単射条件を満たすか否かを外積計算から求める様子を示す図である。

[図 6]前提技術の全体手順を示すフローチャートである。

[図 7]図 6の S 1の詳細を示すフローチヤ一トである。

[図 8]図 7の S 1 0の詳細を示すフローチヤ一トである。

[図 9]第 mレベルの画像の一部と、第 m_ 1 レベルの画像の一部の対応関係を示す図である。 [図 10]前提技術で生成された始点階層画像を示す図である。

[図 11]図 6の S 2に進む前に、マッチング評価の準備の手順を示す図である

[図 12]図 6の S 2の詳細を示すフローチヤ一トである。

[図 13]第 0レベルにおいて副写像を決定する様子を示す図である。

[図 14]第 1 レベルにおいて副写像を決定する様子を示す図である。

[図 15]図 1 2の S 2 1の詳細を示すフローチヤ一トである。

[図 16]ある f について λを変えながら求められた f U = i △ λ

) に対応するエネルギー C ^(m' ^s) _fの挙動を示す図である。

[図 17] 77を変えながら求められた f ( η = i Α η ) ( i = 0, 1 , ■■■) に対応するエネルギー C ⁽ⁿ⁾ _fの挙動を示す図である。

[図 18]改良後の前提技術において第 mレベルにおける副写像を求めるフローチヤ一トである。

[図 19]本実施の形態における差分画像圧縮装置の構成を示す図である。

[図 20]本実施の形態において圧縮テーブルを生成する手順を示すフローチヤ一トである。

[図 21]本実施の形態において差分画像にフィルタを施す手順を示すフローチヤートである。

[図 22]本実施の形態における低圧縮対象領域用フィルタを施すためのフィルタ実施部の構成を示す図である。

[図 23]本実施の形態の差分画像圧縮装置を適用できる符号化装置および復号装置の構成および処理を示す図である。

符号の説明

1 0 差分計算器、 1 2 フィルタ実施部、 1 4 エネルギー取得部、 1 6 判定部、 1 8 圧縮実施部、 30 差分データ記憶部、 3 2 ラプラシアンフィルタ実施部、 34 エツジ情報記憶部、 3 6 メジアンフィルタ実施部、 3 8 統合部、 1 00 差分画像圧縮装置。発明を実施するための最良の形態 [0012] はじめに、実施の形態で利用する多重解像度特異点フィルタ技術とそれを用いた画像マッチングを「前提技術」として詳述する。これらの技術は本出願人がすでに特許第 2 9 2 7 3 5 0号を得ている技術であり、本発明との組合せに最適である。ただし、実施の形態で採用可能な画像マッチング技術はこれに限られない。図 1 9以降、前提技術を利用した画像処理技術を具体的に説明する。

[前提技術の実施の形態]

[0013] 最初に [ 1 ] で前提技術の要素技術を詳述し、 [ 2 ] で処理手順を具体的に説明する。さらに [ 3 ] で前提技術に基づき改良を施した点について述べる。

[ 1 ] 要素技術の詳細

[ 1 . 1 ] イントロダクション

[0014] 特異点フィルタと呼ばれる新たな多重解像度フィルタを導入し、画像間のマッチングを正確に計算する。オブジェク卜に関する予備知識は一切不要である。画像間のマッチングの計算は、解像度の階層を進む間、各解像度において計算される。その際、粗いレベルから精細なレベルへと順に解像度の階層を迪つていく。計算に必要なパラメータは、人間の視覚システムに似た動的計算によって完全に自動設定される。画像間の対応点を人手で特定する必要はない。

[0015] 本前提技術は、例えば完全に自動的なモーフイング、物体認識、立体写真測量、ボリュームレンダリング、少ないフレームからの滑らかな動画像の生成などに応用できる。モーフイングに用いる場合、与えられた画像を自動的に変形することができる。ボリュームレンダリングに用いる場合、断面間の中間的な画像を正確に再構築することができる。断面間の距離が遠く、断面の形状が大きく変化する場合でも同様である。

[ 1 . 2 ] 特異点フィルタの階層

[001 6] 前提技術に係る多重解像度特異点フィルタは、画像の解像度を落としながら、しかも画像に含まれる各特異点の輝度及び位置を保存することができる。ここで画像の幅を N、高さを Mとする。以下簡単のため、 N=M=2ⁿ (n は自然数）と仮定する。また、区間 [0， N] C Rを I と記述する。（ i ， j ) における画像の画素を p _{( i} , j ) と記述する（ i , j E I ) 。

[0017] ここで多重解像度の階層を導入する。階層化された画像群は多重解像度フ

II

ィルタで生成される。多重解像度フィルタは、もとの画像に対して二次元的な探索を行って特異点 Xを検出し、検出された特異点を抽出してもとの画像よりも解像度の低い別の画像を生成する。ここで第 mレベルにおける各画像のサイズは 2^mx 2^m (0≤m≤ n) とする。特異点フィルタは次の 4種類の新たな階層画像を nから下がる方向で再帰的に構築する。

[0018] [数 1]

(式 1) ただしここで、

[数 2]

(η,θ) (τι,ΐ) (η,2) (η,3) _η

) = P ) 二 ^p ) = ') = ') (式 2 ) とする。以降これら 4つの画像を副画像（サブイメージ）と呼ぶ。 m i n _{x≤ 1} ≤χ + ι , ma χ _{x≤t≤x + 1}をそれぞれ α及び δと記述すると、副画像はそれぞれ以下のように言己述できる。

P (rr n+ 1 , 0)

( y ) P ^Cr

P (rr '' D = （ x ) β n+ 1 , 1 )

( y ) P ^Cr

P (rr' ² = β ( X ) Οί n+ 1 , 2)

( y ) P ^Cr

P (rr n+ 1 , 3)

' ³) = β ( X ) β ( y ) P ^Cr [0019] すなわち、これらはひと 8のテンソル積のようなものと考えられる。副画像はそれぞれ特異点に対応している。これらの式から明らかなように、特異点フィルタはもとの画像について 2 X 2画素で構成されるブロックごとに特異点を検出する。その際、各ブロックのふたつの方向、つまり縦と横について、最大画素値または最小画素値をもつ点を探索する。画素値として、前提技術では輝度を採用するが、画像に関するいろいろな数値を採用することができる。ふたつの方向の両方について最大画素値となる画素は極大点、ふたつの方向の両方について最小画素値となる画素は極小点、ふたつの方向の一方について最大画素値となるとともに、他方について最小画素値となる画素は鞍点として検出される。

[0020] 特異点フィルタは、各ブロックの内部で検出された特異点の画像（ここでは 1画素）でそのブロックの画像（ここでは 4画素）を代表させることにより、画像の解像度を落とす。特異点の理論的な観点からすれば、ひ（ X ) ひ ( y ) は極小点を保存し、 ( X ) ( y ) は極大点を保存し、ひ（ X ) ( y ) 及び ( X ) a ( y ) は鞍点を保存する。

[0021] はじめに、マッチングをとるべき始点（ソース）画像と終点（デステイネーシヨン）画像に対して別々に特異点フィルタ処理を施し、それぞれ一連の画像群、すなわち始点階層画像と終点階層画像を生成しておく。始点階層画像と終点階層画像は、特異点の種類に対応してそれぞれ 4種類ずつ生成される。

[0022] この後、一連の解像度レベルの中で始点階層画像と終点階層画像のマッチングがとられていく。まず p ^(m' を用いて極小点のマッチングがとられる。次に、その結果に基づき、 p ^(m' ¹⁾を用いて鞍点のマッチングがとられ、 p ⁽ m, 2)を用いて他の鞍点のマッチングがとられる。そして最後に p ^(m' ³⁾を用いて極大点のマッチングがとられる。

[0023] 図 1 (c) と図 1 (d) はそれぞれ図 1 (a) と図 1 (b) の副画像 p ' 0)を示している。同様に、図 1 (e) と図 1 ( f ) は p (⁵' "、図 1 (g) と図 1 (h) は p . ²)、図 1 ( i ) と図 1 ( j ) は p (⁵' をそれぞれ示している。これらの図からわかるとおり、副画像によれば画像の特徴部分のマツチングが容易になる。まず p ' ⁰⁾によって目が明確になる。目は顔の中で輝度の極小点だからである。 P ⁽⁵' ¹⁾によれば口が明確になる。口は横方向で輝度が低いためである。 p (⁵· ²⁾によれば首の両側の縦線が明確になる。最後に、 ρ ' ³⁾によって耳ゃ頰の最も明るい点が明確になる。これらは輝度の極大点だからである。

[0024] 特異点フィルタによれば画像の特徴が抽出できるため、例えばカメラで撮影された画像の特徴と、予め記録しておいたいくつかのオブジェク卜の特徴を比較することにより、カメラに映つた被写体を識別することができる。

[ 1 . 3] 画像間の写像の計算

[0025] 始点画像の位置（に j ) の画素を ρ ^(η) い， j ) と書き、同じく終点画像の位置（k， I ) の画素を q w (_k, Dで記述する。 i ， j ， k， I e I とする。画像間の写像のエネルギー（後述）を定義する。このエネルギーは、始点画像の画素の輝度と終点画像の対応する画素の輝度の差、及び写像の滑らかさによって決まる。最初に最小のエネルギーを持つ p ^(m' ⁰⁾ と q ^Cm' 間の写像 f (m, ； p (m, 0) _{→ q} (m, 0)が計算される。 f (-. 0)に基づき、最小エネルギーを持つ P ^(m' ¹ ) 、 q ^Cm' "間の写像 f (^m, "が計算される。この手続は、 p ³⁾ と q (-. )の間の写像 f (-. 3)の計算が終了するまで続く。各写像 f i ) ( i = 0, 1 , 2, ■■■) を副写像と呼ぶことにする。 f ^Cm' i )の計算の都合のために、 iの順序は次式のように並べ替えることができる。並べ替えが必要な理由は後述する。

[0026] [数 3]

(m'i) . p(m,cr(i)) _{→ d}( ,ff(i))

(式 o )

ここで σ ( i ) e {0, 1 ， 2， 3 } である。

[ 1 ■ 3. 1 ] 全単射

[0027] 始点画像と終点画像の間のマッチングを写像で表現する場合、その写像は両画像間で全単射条件を満たすべきである。両画像に概念上の優劣はなく、互いの画素が全射かつ単射で接続されるべきだからである。しかしながら通常の場合とは異なり、ここで構築すべき写像は全単射のデジタル版である。前提技術では、画素は格子点によって特定される。

[0028] 始点副画像（始点画像について設けられた副画像）から終点副画像（終点画像について設けられた副画像）への写像は、 f ' ： I Z2 ⁿ_^mx I Z2 n__m→ I Z2 ⁿ- ^mx I 2ⁿ- ^m ( s = 0, 1 , ■■■) によって表される。ここで

、 f ' ^S) ( ί , j ) = (k, I ) は、始点画像の P (^m. s) j )が終点画像の q ^(m' ^s) ，に写像されることを意味する。簡単のために、 f ( i , j ) = ( I ) が成り立つとき画素 q _(k, , )を q _{f (i}, と記述する。

[0029] 前提技術で扱う画素（格子点）のようにデータが離散的な場合、全単射の定義は重要である。ここでは以下のように定義する（に， j , j ' , Iは全て整数とする）。まず始めに、始点画像の平面において Rによつて表記される各正方形領域、

[数 4]

(式 4 )

を考える（ i =0， …， 2^m— 1、 j = 0, …， 2^m- 1 ) 。ここで Rの各辺 (エッジ）の方向を以下のように定める。

[0030] [数 5]

). _： ^ ί

(m,s) (m _S) (m,j) (m,s) (m,s) (m,s) „ , (m,s)

j) P(»'+i，j)' P{i+iJ)P(i+U+i)^ P(i+i,j+i)P{ij+i) ^and P(i,j+i)P(ij)

(式 5 ) この正方形は写像 f によって終点画像平面における四辺形に写像されなければならない。 f ^(m. ^s) (R) によって示される四辺形、

[0031] [数 6]

は、以下の全単射条件を満たす必要がある。

1. 四辺形 f (m' ^S) (R) のエッジは互いに交差しない。

2. f ' ^s) (R) のエッジの方向は Rのそれらに等しい（図 2の場合、時計回り）。

3. 緩和条件として収縮写像（リトラクシヨン： retractions) を許す。

[0032] 何らかの緩和条件を設けないかぎり、全単射条件を完全に満たす写像は単位写像しかないためである。ここでは f ^(m' ^s) (R) のひとつのエッジの長さが 0、すなわち f ' ^s) (R) は三角形になってもよい。しカヽし、面積が 0となるような図形、すなわち 1点または 1本の線分になってはならない。図 2 (R) がもとの四辺形の場合、図 2 (A) と図 2 (D) は全単射条件を満たすが、図 2 (B) 、図 2 (C) 、図 2 (E) は満たさない。

[0033] 実際のインプリメンテーションでは、写像が全射であることを容易に保証すべく、さらに以下の条件を課してもよい。つまり始点画像の境界上の各画素は、終点画像において同じ位置を占める画素に写影されるというものである。すなわち、 f ( i， j ) = ( i , j ) (ただし i =0， i = 2^m_ 1， j =0， j = 2^m_ 1の 4本の線上）である。この条件を以下「付加条件」とも呼ぶ。

[ 1■ 3. 2] 写像のエネルギー

[1. 3. 2. 1 ] 画素の輝度に関するコスト

[0034] 写像 f のエネルギーを定義する。エネルギーが最小になる写像を探すことが目的である。エネルギーは主に、始点画像の画素の輝度とそれに対応する終点画像の画素の輝度の差で決まる。すなわち、写像 f ^(m' ^s)の点（ i , j ) におけるエネルギー C ^(m' ^s) 】）は次式によって定まる。

[0035] [数 7]

(式 7 )

ここで、 V (p (^m. j ) ) 及び V (q ^(m' ^s) _{f (i}, _η ) はそれぞれ画素 p ^(m' ^{s )} ( i , i )及び q ^Cm' ^{s )} _f ( i , j )の輝度である。 f の I ^一タルのエネルギ一 C ^(m' ^s)は、マッチングを評価するひとつの評価式であり、つぎに示す C ⁽ m, s) _{( i} , j )の合計で定義できる。 [数 8] Γ、 c

zf (式 8)

[ 1 . 3. 2. 2] 滑らかな写像のための画素の位置に関するコスト

[0036] 滑らかな写像を得るために、写像に関する別のエネルギー D f を導入する。このエネルギーは画素の輝度とは関係なく、 p ^(m' ^s) _{( i} , j )および q (^m. ^s) t ( i , j)の位置によって決まる（ i = 0， …， 2^m- 1 , j = 0, …， 2^m- 1

) 。点（ i ， j ) における写像 f (^m. ^S)のエネルギー D (^m. ^S) j )は次式で定義される。

[0037] [数 9]

(式 _{9 )}

ただし、係数パラメータ 77は 0以上の実数であり、また、

[数 10] ;? = [|(i,i)-/^M( )li² (式 1 0〉

[数川 ) = ∑ ∑ W(f^M(i ) - (id)) - (f^im^(^f) - (ΐ', ))ΙΙ²4

(式 1 1 ) とする。ここで、

[数 12]

(式丄 _{2 )} であり、く 0およびく 0に対して f ( ， j ' ) は 0と決める。

E₀は ( i , j ) 及び f ( i ， j ) の距離で決まる。 E。は画素があまりにも離れた画素へ写影されることを防ぐ。ただし E。は、後に別のエネルギー関数で置き換える。 E は写像の滑らかさを保証する。 E は、 _Ρ , 』）の変位とその隣接点の変位の間の隔たりを表す。以上の考察をもとに、マッチングを評価する別の評価式であるエネルギー D _fは次式で定まる。 [0038] [数 13]

,_2>n^₁ j₌2^m-l

- ^D{i ) (式 1 3)

[1. 3. 2. 3] 写像の総エネルギー

[0039] 写像の総エネルギー、すなわち複数の評価式の統合に係る総合評価式は I

C ⁽m. _f + D s) _fで定義される。ここで係数パラメータ； Iは 0以上の実数である。目的は総合評価式が極値をとる状態を検出すること、すなわち次式で示す最小エネルギーを与える写像を見いだすことである。

[0040] [数 14] mm

+ D†'^a) (式 14 )

[0041] ス=0及び 77 = 0の場合、写像は単位写像になることに注意すべきである

(すなわち、全ての i =0， …， 2^m_ 1及び j =0， …， 2^m_ 1に対して f (^m. s) ( i , j ) = ( i , j ) となる）。後述のごとく、本前提技術では最初に; 1 = 0及び 77 = 0の場合を評価するため、写像を単位写像から徐々に変形していくことができる。仮に総合評価式の; Iの位置を変えて C ^ ^s) f +ス

D ^(m. ^s) _f と定義したとすれば、ス =0及び 77 = 0の場合に総合評価式が C ^(m

, s) _fだけになリ、本来何等関連のない画素どうしが単に輝度が近いというだけで対応づけられ、写像が無意味なものになる。そうした無意味な写像をもとに写像を変形していってもまったく意味をなさない。このため、単位写像が評価の開始時点で最良の写像として選択されるよう係数パラメータの与えかたが配慮されている。

[0042] オプティカルフローもこの前提技術同様、画素の輝度の差と滑らかさを考慮する。しかし、オプティカルフローは画像の変換に用いることはできない。オブジェク卜の局所的な動きしか考慮しないためである。前提技術に係る特異点フィルタを用いることによって大域的な対応関係を検出することがでさる。

[1. 3. 3] 多重解像度の導入による写像の決定 [0043] 最小エネルギーを与え、全単射条件を満足する写像 f _{m i n}を多重解像度の階層を用いて求める。各解像度レベルにおいて始点副画像及び終点副画像間の写像を計算する。解像度の階層の最上位（最も粗いレベル）からスタートし、各解像度レベルの写像を、他のレベルの写像を考慮に入れながら決定する。各レベルにおける写像の候補の数は、より高い、つまりより粗いレベルの写像を用いることによって制限される。より具体的には、あるレベルにおける写像の決定に際し、それよりひとつ粗いレベルにおいて求められた写像が —種の拘束条件として課される。

まず、

[数 15] '，j'') = ([i],[i]) ぱ ^{1 5 )}

が成り立つとき、 P (m- ¹ ' _i ' , j ' ) q (m— ¹ ' ^S )をそれぞれ P (^m

, s) 、 q (^m, ^s) _{( i} , j )の p a r e n tと呼ぷことにする。 [x] は xを越えない最大整数である。また p ^(m' ^s) j ) q ^(m' ^s) j )をそれぞれ p (m— i , _s) ( ， j ' ) q (m- ¹ ' （， j ' )の c h i I dと呼ぶ。関数 p a r e n t ( i ， j ) は次式で定義される。

[数 16] parent(i ) = ([^],[^]) (式 16 )

[0044] p s) j ) と q _(K, Dの間の写像 f は、エネルギー計算を行って最小になったものを見つけることで決定される。 f ( j ) =

( I ) の値は f (m- ¹ ' (m= 1 , 2， …， η) を用いることによって、以下のように決定される。まず、 q ^(M' ^S) _{( K}, Dは次の四辺形の内部になければならないという条件を課し、全単射条件を満たす写像のうち現実性の高いものを絞り込む。

[0045] [数 17]

(式 17) ただしここで、

[数 18]

(式 1 8) である。こうして定めた四辺形を、以下 p ^(m' ^s) _{( i}, 】）の相続（inherited) 四辺形と呼ぶことにする。相続四辺形の内部において、エネルギーを最小にする画素を求める。

[0046] 図 3は以上の手順を示している。同図において、始点画像の A, B, C, Dの画素は、第 m_ 1 レベルにおいてそれぞれ終点画像の A' ， B' ， C' ， D' へ写影される。画素 p (^m. s) _{( i} , j )は、相続四辺形 A' B' C D' の内部に存在する画素 q ^(m. ^s) _{f (m) (i}, _j へ写影されなければならない。以上の配慮により、第 m_ 1 レベルの写像から第 mレベルの写像への橋渡しがなされる。

[0047] 先に定義したエネルギー E。は、第 mレベルにおける副写像 f ^ 。）を計算するために、次式に置き換える。

[数 19]

(式 _{1 9})

また、副写像 f を計算するためには次式を用いる。

[数 20]

¾ = ll/(^m'^s)( ')―

(i < (式 _{2 0} )

[0048] こうしてすべての副写像のエネルギーを低い値に保つ写像が得られる。式

20により、異なる特異点に対応する副写像が、副写像どうしの類似度が高くなるように同一レベル内で関連づけられる。式 1 9は、 f . ( i , j ) と、第 m_ 1 レベルの画素の一部と考えた場合の（ i， j ) が射影されるべき点の位置との距離を示している。

[0049] 仮に、相続四辺形 A' B' C D' の内部に全単射条件を満たす画素が存在しない場合は以下の措置をとる。まず、 A' B' C D' の境界線からの距離が L (始めは L = 1 ) である画素を調べる。それらのうち、エネルギーが最小になるものが全単射条件を満たせば、これを f ' ^{S )} ( i , j ) の値として選択する。そのような点が発見されるか、または Lがその上限の L ⁽ m a xに到達するまで、 Lを大きくしていく。 L ^(m) m a Xは各レベル mに対して固定である。そのような点が全く発見されない場合、全単射の第 3の条件を一時的に無視して変換先の四辺形の面積がゼロになるような写像も認め、 f ^(m' ^{s )} ( i , j ) を決定する。それでも条件を満たす点が見つからない場合、つぎに全単射の第 1及び第 2条件を外す。

[0050] 多重解像度を用いる近似法は、写像が画像の細部に影響されることを回避しつつ、画像間の大域的な対応関係を決定するために必須である。多重解像度による近似法を用いなければ、距離の遠い画素間の対応関係を見いだすことは不可能である。その場合、画像のサイズはきわめて小さなものに限定しなければならず、変化の小さな画像しか扱うことができない。さらに、通常写像に滑らかさを要求するため、そうした画素間の対応関係を見つけにくくしている。距離のある画素から画素への写像のエネルギーは高いためである。多重解像度を用いた近似法によれば、そうした画素間の適切な対応関係を見いだすことができる。それらの距離は、解像度の階層の上位レベル（粗いレベル）において小さいためである。

[ 1 . 4 ] 最適なパラメータ値の自動決定

[0051 ] 既存のマッチング技術の主な欠点のひとつに、パラメータ調整の困難さがある。大抵の場合、パラメータの調整は人手作業によって行われ、最適な値を選択することはきわめて難しい。前提技術に係る方法によれば、最適なパラメータ値を完全に自動決定することができる。

[0052] 前提技術に係るシステムはふたつのパラメータ、ス及び 77を含む。端的にいえば、スは画素の輝度の差の重みであり、 77は写像の剛性を示している。これらのパラメータの値は初期値が 0であり、まず ?7 = 0に固定して； Iを 0 から徐々に增加させる。スの値を大きくしながら、しかも総合評価式（式 1 4 ) の値を最小にする場合、各副写像に関する C ^ ^{s )} _fの値は一般に小さくなっていく。このことは基本的にふたつの画像がよリマツチしなければならないことを意味する。しかし、スが最適値を超えると以下の現象が発生する

1. 本来対応すべきではない画素どうしが、単に輝度が近いというだけで誤って対応づけられる。

2. その結果、画素どうしの対応関係がおかしくなり、写像がくずれはじめる。

3. その結果、式 1 4において D ^(m' ^s) _fが急激に増加しょうとする。

4. その結果、式 1 4の値が急激に増加しょうとするため、 D ^(m' ^s) _fの急激な増加を抑制するよう f ^(m' ^s)が変化し、その結果 C ^ ^s) _fが増加する。

[0053] したがって、スを増加させながら式 1 4が最小値をとるという状態を維持しつつ C (-. _S) _fが減少から増加に転じる閾値を検出し、その; Iを 77 = 0における最適値とする。つぎに 77を少しずつ増やして C ^(m. ^s) _fの挙動を検査し、後述の方法で ηを自動決定する。その 77に対応して； Lも決まる。

[0054] この方法は、人間の視覚システムの焦点機構の動作に似ている。人間の視覚システムでは、一方の目を動かしながら左右両目の画像のマッチングがとられる。オブジェクトがはっきりと認識できるとき、その目が固定される。

[1. 4. 1 ] スの動的決定

[0055] スは 0から所定の刻み幅で増加されていき、スの値が変わる度に副写像が評価される。式 1 4のごとく、総エネルギーは； L C s) _f + D ) _fによつて定義される。式 9の D ^(m' s〕 _fは滑らかさを表すもので、理論的には単位写像の場合に最小になり、写像が歪むほど E。も E，も増加していく。 E，は整数であるから、 D ^s) _fの最小刻み幅は 1である。このため、現在の； I C ^(m , s) (；, _j の変化（減少量）が 1以上でなければ、写像を変化させることによつて総エネルギーを減らすことはできない。なぜなら、写像の変化に伴って D ^(m. ^s) _fは 1以上増加するため、ス C ^(m. ^s) _{( i}, が 1以上減少しない限り総エネルギーは減らないためである。

[0056] この条件のもと、スの増加に伴い、正常な場合に C ^(m' ^s) _{( i}, _nが減少することを示す。 C ^(m' ^s) j )のヒストグラムを h ( I ) と記述する。 h ( I ) はエネルギー C 3) _υが | ²である画素の数である。 λ I ²≥ 1が成り立っために、例えば I ²= 1 スの場合を考える。スが; L，から； L₂まで微小量変化するとき、

[数 21]

(式 2 1 ) で示される A個の画素が、

[数 22]

^Cf^m,3) - ¹² = ^CT^< '^S) - J (式 2 2)

のエネルギーを持つより安定的な状態に変化する。ここでは仮に、これらの画素のエネルギーがすべてゼロになると近似している。この式は C ^(m' ^s) _fの値が、

[数 23] dC^[ '^a) = ~i (式 2 3)

だけ変化することを示し、その結果、

[数 24]

dC '^a)一 _h{l)

~Ί ~^=:~λ^ (式 24)

が成立する。 h ( I ) >0であるから、通常 C ^(m' ^s) _fは減少する。しカヽし、スが最適値を越えようとするとき、上述の現象、つまり C ^(m. ^s) _fの増加が発生する。この現象を検出することにより、スの最適値を決定する。

なお、 H (h>0) 及び kを定数とするとき、

[数 25] h(l) ^ Hl^k = ^ (式 2 5) と仮定すれば、

[0058] [数 26] dC H

dX (式 2 6 )■ が成り立つ。このとき k≠_ 3であれば、

[数 27]

H

C

(3/2 + fc/2)A³/^2+A/² (式 2 7) となる。これが C ^ ^s) _fの一般式である（Cは定数）。

[0059] スの最適値を検出する際、さらに安全を見て、全単射条件を破る画素の数を検査してもよい。ここで各画素の写像を決定する際、全単射条件を破る確率を P。と仮定する。この場合、

[0060] [数 28]

d ₌ i (式 2 8) が成立しているため、全単射条件を破る画素の数は次式の率で増加する。

[数 29]

Λ(/)Ρο

Β₀ =

(式 2 9 )

従って、

[数 30]

¾ ^/3 ，

Poh{l) (式 30) は定数である。仮に h ( I ) =H ^kを仮定するとき、例えば、

[数 31]

β^ : _H (式 _{3 1 )} は定数になる。しかし； Lが最適値を越えると、上の値は急速に増加する。の現象を検出し、 B。；L^{3 2 + k 2} 2^mの値が異常値 B_{ot h r es}を越えるかフかを検査し、スの最適値を決定することができる。同様に、巳，ス^{3 2}^ ²

2 ^mの値が異常値 B， _{t h r e s}を越えるかどうかを検査することにより、全単射の第 3の条件を破る画素の増加率 B，を確認する。ファクター 2^Mを導入する理由は後述する。このシステムはこれら 2つの閾値に敏感ではない。これらの閾値は、エネルギー C _fの観察では検出し損なった写像の過度の歪みを検出するために用いることができる。

[0062] なお実験では、副写像 f (^m. ^s)を計算する際、もし λが 0. 1を越えたら f

(m, s)の計算は止めて f (^m. ^{s + 1)}の計算に移行した。ス>0. 1のとき、画素の輝度 255レベル中のわずか「3」の違いが副写像の計算に影響したためであり、ス>0. 1のとき正しい結果を得ることは困難だったためである

[1. 4. 2] ヒストグラム h ( I )

[0063] C ^(m. ^s) _fの検査はヒストグラム h ( I ) に依存しない。全単射及びその第

3の条件の検査の際、 h ( I ) に影響を受けうる。実際に（ス， C 3) _f ) をプロットすると、 kは通常 1付近にある。実験では k= 1を用い、 B。；L ² と巳，ス²を検査した。仮に kの本当の値が 1未満であれば、巳。ス²と巳₁ス² は定数にならず、ファクター; L ⁽¹_^{k) /2}に従って徐々に増加する。 h ( I ) が定数であれば、例えばファクタ一は L ^1/2である。しカヽし、こうした差は閾値 B 0 _{t h r e s}を正しく設定することによって吸収することができる。

[0064] ここで次式のごとく始点画像を中心が（x₀， y₀) 、半径 rの円形のォブジェク卜であると仮定する。

[数 32]

I

(otherwise)

(式 32)

—方、終点画像は、次式のごとく中心（x _1; y j 、半径が rのオブジェク卜であるとする。

[0065] [数 33] a₌ ι) + (j ~yif ≤

w)

(otherwise)

(式 33)

[0066] ここで c (x) は c (x) = x ^kの形であるとする。中心（x ₀， y ₀) 及び

(χ 1 , y ι) が十分遠い場合、ヒストグラム h ( I ) は次式の形となる。

[数 34]

(式

[0067] k= 1のとき、画像は背景に埋め込まれた鮮明な境界線を持つオブジェクトを示す。このオブジェクトは中心が暗く、周囲にいくに従って明るくなる。 k=_ 1のとき、画像は曖昧な境界線を持つオブジェクトを表す。このォブジェクトは中心が最も明るく、周囲にいくに従って暗くなる。一般のォブジェクトはこれらふたつのタイプのオブジェク卜の中間にあると考えてもさして一般性を失わない。したがって、 kは一 1 ≤ k≤ 1 として大抵の場合をカバーでき、式 27が一般に減少関数であることが保障される。

[0068] なお、式 34からわかるように、 rは画像の解像度に影響されること、すなわち rは 2 mに比例することに注意すべきである。このために [ 1. 4. 1 ] においてファクター 2mを導入した。

[ 1■ 4. 3] 77の動的決定

[0069] パラメータ 77も同様の方法で自動決定できる。はじめに 77 = 0とし、最も細かい解像度における最終的な写像 f (ⁿ)及びエネルギー C ( _fを計算する。つづいて、 77をある値 Λ 77だけ増加させ、再び最も細かい解像度における最終写像 f ）及びエネルギー C ( _fを計算し直す。この過程を最適値が求まるまで続ける。 77は写像の剛性を示す。次式の重みだからである。

[0070] [数 35]

E^ = \\f^ ) -f^- ,j)\\'

(式 3 5 )

[0071] ?7が 0のとき、 D w _fは直前の副写像と無関係に決定され、現在の副写像は弾性的に変形され、過度に歪むことになる。一方、 7が非常に大きな値のとき、 D w _fは直前の副写像によってほぼ完全に決まる。このとき副写像は非常に剛性が高く、画素は同じ場所に射影される。その結果、写像は単位写像になる。 77の値が 0から次第に増えるとき、後述のごとく _fは徐々に減少する。しかし 77の値が最適値を越えると、図 4に示すとおり、エネルギ一は増加し始める。同図の X軸は 77、 Y軸は C _fである。

[0072] この方法で C ^{( n}) _fを最小にする最適な 7?の値を得ることができる。しかし、スの場合に比べていろいろな要素が計算に影響する結果、 C ^{( n} は小さく揺らぎながら変化する。スの場合は、入力が微小量変化するたびに副写像を 1回計算しなおすだけだが、 77の場合はすべての副写像が計算しなおされるためである。このため、得られた C ^ _fの値が最小であるかどうかを即座に判断することはできない。最小値の候補が見つかれば、さらに細かい区間を設定することによって真の最小値を探す必要がある。

[ 1 . 5 ] スーパーサンプリング

[0073] 画素間の対応関係を決定する際、自由度を増やすために、 f の値域を R x Rに拡張することができる（Rは実数の集合）。この場合、終点画像の画素の輝度が補間され、非整数点、

[0074] [数 36]

（ノ（式 3 6 )

における輝度を持つ f ^(m' ^{s )}が提供される。つまりスーパーサンプリングが行われる。実験では、 f ^(m' ^{s )}は整数及び半整数値をとることが許され、

[数 37]

^(9(¾ + (0.5,0.5) ) (式^{3 7} )

は、

[数 38]

によって与えられた。

[1. 6] 各画像の画素の輝度の正規化

[0075] 始点画像と終点画像がきわめて異なるオブジェクトを含んでいるとき、写像の計算に元の画素の輝度がそのままでは利用しにくい。輝度の差が大きいために輝度に関するエネルギー C ^(m' ^s) _fが大きくなりすぎ、正しい評価がしづらいためである。

[0076] 例えば、人の顔と猫の顔のマッチングをとる場合を考える。猫の顔は毛で覆われており、非常に明るい画素と非常に暗い画素が混じっている。この場合、ふたつの顔の間の副写像を計算するために、まず副画像を正規化する。すなわち、最も暗い画素の輝度を 0、最も明るいそれを 255に設定し、他の画素の輝度は線形補間によって求めておく。

[ 1. 7] インプリメンテーション

[0077] 始点画像のスキャンに従って計算がリニアに進行する帰納的な方法を用いる。始めに、 1番上の左端の画素（ i ， j ) = (0, 0) について f の値を決定する。次に i を 1ずつ増やしながら各 f ^(m' ^s) ( i , j ) の値を決定する。 iの値が画像の幅に到達したとき、 jの値を 1増やし、 i を 0に戻す。以降、始点画像のスキャンに伴い f ^(m' ^s) ( i , j ) を決定していく。すべての点について画素の対応が決まれば、ひとつの写像 f が決まる。ある p _(i, nについて対応点 q _{f (i}, nが決まれば、つぎに P ( i , j + 1 )のメ寸応点 q _{f (i}, _{j +} が決められる。この際、 q _{f ( i}, の位置は全単射条件を満たすために、 q _f ， nの位置によって制限される。したがって、先に対応点が決まる点ほどこのシステムでは優先度が高くなる。つねに（0， 0) が最も優先される状態がつづくと、求められる最終の写像に余計な偏向が加わる。本前提技術ではこの状態を回避するために、 f ' ^を以下の方法で決めていく。

[0078] まず（s mo d 4) が 0の場合、（0， 0) を開始点とし i及び j を徐々に增やしながら決めていく。（s mo d 4) が 1の場合、最上行の右端点を開始点とし、 i を減少、 j を増加させながら決めていく。（s mo d 4) が 2のとき、最下行の右端点を開始点とし、 i及び j を減少させながら決めていく。（s mo d 4) が 3の場合、最下行の左端点を開始点とし、 i を増加、 j を減少させながら決めていく。解像度が最も細かい第 nレベルには副写像という概念、すなわちパラメータ sが存在しないため、仮に s = 0及び s = 2であるとしてふたつの方向を連続的に計算した。

[0079] 実際のインプリメンテーションでは、全単射条件を破る候補に対してペナルティを与えることにより、候補（ I ) の中からできる限り全単射条件を満たす f (^{m s}) ( i , j ) (m=0, n) の値を選んだ。第 3の条件を破る候補のエネルギー D (k、 I ) には øを掛け、一方、第 1または第 2の条件を破る候補にはを掛ける。今回は 0 = 2、 φ= Λ 00000を用いた

[0080] 前述の全単射条件のチェックのために、実際の手続として（k， I ) = f ( m, s) ( i , j ) を決定する際に以下のテストを行った。すなわち f (^m. ^s) ( i， j ) の相続四辺形に含まれる各格子点（ I ) に対し、次式の外積の z成分が 0以上になるかどうかを確かめる。

[数 39]

^{W = A}^^S (式 3 9)

ただしここで、

[数 40]

^Ά一 )( '— ,')(i₊i, _i) (式 40 )

[数 41]

Ώ一„ '

°一？/ ( - 1)

(式 4 1 )

である（ここでベクトルは三次元ベクトルとし、 ζ軸は直交右手座標系において定義される）。もし Wが負であれば、その候補については D s) _{| }} にを掛けることによってペナルティを与え、できるかぎり選択しないようにする。

[0081] 図 5 ( a ) 、図 5 ( b ) はこの条件を検査する理由を示している。図 5 ( a ) はペナルティのない候補、図 5 ( b ) はペナルティがある候補をそれぞれ表す。隣接画素（ i ， j + 1 ) に対する写像 f ^(m' ( i , j + 1 ) を決定する際、 Wの z成分が負であれば始点画像平面上において全単射条件を満足する画素は存在しない。なぜなら、 q ^(M' ^S) _{( K}, Dは隣接する四辺形の境界線を越えるためである。

[ 1 . 7. 1 ] 副写像の順序

[0082] インプリメンテーションでは、解像度レベルが偶数のときには σ (0) = 0、 σ ( 1 ) = 1、 σ ( 2) = 2、 σ ( 3 ) = 3、 σ (4) = 0を用い、奇数のときは σ (0) = 3、 σ ( 1 ) = 2、 σ ( 2) = 1、 σ ( 3 ) = 0、 σ (4) = 3を用いた。このことで、副写像を適度にシャッフルした。なお、本来副写像は 4種類であり、 sは 0~ 3のいずれかである。しカヽし、実際には s = 4に相当する処理を行った。その理由は後述する。

[ 1. 8] 補間計算

[0083] 始点画像と終点画像の間の写像が決定された後、対応しあう画素の輝度が補間される。実験では、トライリニア補間を用いた。始点画像平面における正方形 Ρ ( i , j ) P ( i + 1 , j ) P ( i , j + i ) P ( i + i , j + i )が終点画像平面上の四辺形 f ( i , j ) f ( i + i , j ) q f ( i , j + i ) f ( i + i , j + 1 )に射影されると仮定する。簡単のため、画像間の距離を 1 とする。始点画像平面からの距離が t (0 ≤ t ≤ 1 ) である中間画像の画素 r ( x， y， t ) (0≤ x≤ N - 1 , 0≤ y≤M- 1 ) は以下の要領で求められる。まず画素 r ( x , y , t ) の位置 (ただし x， y , t e R) を次式で求める。

[0084] [数 42]

(χ,ϊ/) = (1- dx)(l― dy)(l - t)(i,j) + (1— - dy)if{i,j)

+ dx{\ - dy){\ - t)(i + l,j) + dx(l - dy)tf{i

+ (1— dx)dy{\ - t)(i,j + 1) + (1— dx)dytf(i,j + i)

+ dxdy{l― ί)(ΐ + + dxdytj{% + + 1)

(式 42) つづいて r (x， y， t ) における画素の輝度が次の式を用いて決定される。

[0085] [数 43]

V(r(x,y,t)) = {1 - dx){l一 dy){\一 i)V(_{P(ii )}) + (1— dx){\ - dy)tV{q ₎)

+ dx{l― dy)(l一 t)V{p_{i+i )) + dx{l - dy)tV{qf_{{i+ j}))

+ (1 -

+ (1 - dx)dytV{q_f{i)j+1))

+ dxdy{l - i)V(p(_i+i,_J+i)) +

(式 4 3 ) ' ここで d X及び d yはパラメータであり、 0から 1まで変化する。

[ 1 . 9 ] 拘束条件を課したときの写像

[0086] いままでは拘束条件がいっさい存在しない場合の写像の決定を述べた。しかし、始点画像と終点画像の特定の画素間に予め対応関係が規定されているとき、これを拘束条件としたうえで写像を決定することができる。

[0087] 基本的な考えは、まず始点画像の特定の画素を終点画像の特定の画素に移す大まかな写像によって始点画像を大まかに変形し、しかる後、写像 f を正確に計算する。

[0088] まず始めに、始点画像の特定の画素を終点画像の特定の画素に射影し、始点画像の他の画素を適当な位置に射影する大まかな写像を決める。すなわち、特定の画素に近い画素は、その特定の画素が射影される場所の近くに射影されるような写像である。ここで第 mレベルの大まかな写像を F ^ と記述する。

[0089] 大まかな写像 Fは以下の要領で決める。まず、いくつかの画素について写像を特定する。始点画像について n _s個の画素、

[数 44]

P(i0J0) ? (i'l Jl)' ··， P(in₃— l,jn_s— l)

(式 4 4 ) を特定するとき、以下の値を決める。 [数 45]

(式 45 )

[0090] 始点画像の他の画素の変位量は、 P (_{i h}, _{j h}) (h = 0， ■■

位に重み付けをして求められる平均である。すなわち画素 P

像の以下の画素に射影される。

[0091] [数 46]

、ノ

(式 46) ただしここで、

[数 47] weighik[i, j) =

total weight(i,j) (式 47)

[数 48] i t l weighty, ) = VII ん一 jh一 (式 48)

h=0

とする。

[0092] つづいて、 F ^に近い候補写像 f がよリ少ないエネルギーを持つように, その写像 f のエネルギー D ^(m' を変更する。正確には、 D ^s) i)は、

[数 49] ( ' ）一 +

(式 49) である。ただし、

[数 50]

(式 5 0 ) であり、 κ, p≥0とする。最後に、前述の写像の自動計算プロセスにより、 f を完全に決定する。

ここで、 f ^s) (i，j)が F ^(m) (i，j) に十分近いとき、つまりそれらの距離が、

[0093] [数 51]

(式 5 1)

以内であるとき、 E₂ ^(m s〕が 0になることに注意すべきである。そのように定義した理由は、各 f . （i，j) が F (m) (i，j) に十分近い限り、終点画像において適切な位置に落ち着くよう、その値を自動的に決めたいためである。この理由により、正確な対応関係を詳細に特定する必要がなく、始点画像は終点画像にマッチするように自動的にマッピングされる。

[2] 具体的な処理手順

[ 1 ] の各要素技術による処理の流れを説明する。

[0094] 図 6は前提技術の全体手順を示すフローチヤ一トである。同図のごとく、まず多重解像度特異点フィルタを用いた処理を行い（S 1 ) 、つづいて始点画像と終点画像のマッチングをとる（S 2) 。ただし、 S 2は必須ではなく、 S 1で得られた画像の特徴をもとに画像認識などの処理を行ってもよい。

[0095] 図 7は図 6の S 1の詳細を示すフローチヤ一トである。ここでは S 2で始点画像と終点画像のマッチングをとることを前提としている。そのため、まず特異点フィルタによって始点画像の階層化を行い（S 1 0) 、一連の始点階層画像を得る。つづいて同様の方法で終点画像の階層化を行い（S 1 1 ) 、一連の終点階層画像を得る。ただし、 S 1 0と S 1 1の順序は任意であるし、始点階層画像と終点階層画像を並行して生成していくこともできる。 [0096] 図 8は図 7の S 1 0の詳細を示すフローチャートである。もとの始点画像のサイズは 2。x 2。とする。始点階層画像は解像度が細かいほうから順に作られるため、処理の対象となる解像度レベルを示すパラメータ mを nにセッ卜する（S 1 00) 。つづいて第 ΓΥ1レベルの画像 P (^m. ⁰) 、 P (^m. ¹) 、 P (^m. 、 p (m, ³⁾から特異点フィルタを用いて特異点を検出し（S 1 01 ) 、それぞれ第 m_ 1 レベルの画像 P (^m_¹' 0) 、 P (^m_¹' ¹) 、 P (m_ ¹ ' ²) 、 P (^m_¹

, 3)を生成する（S 1 02) 。ここでは m= nであるため、 p (^m, ⁰⁾ = p ^(m' 1 ) = p ^(m> ²⁾ = p ^(m> ³⁾ = p ⁽ⁿ⁾であり、ひとつの始点画像から 4種類の副画像が生成される。

[0097] 図 9は第 mレベルの画像の一部と、第 m_ 1 レベルの画像の一部の対応関係を示している。同図の数値は各画素の輝度を示す。同図の p ^(m' ^s)は p ^Cm' o) 〜 p (m, 3)の 4つの画像を象徴するもので、 p -¹' °>を生成する場合には、 p ^ は p 。）であると考える。 [1. 2] で示した規則により、 p

0)は例えば同図で輝度を記入したブロックについて、そこに含まれる 4画素のうち「3」、 p ⁽ ，' ¹⁵は「8」、 P —¹' ²)は「6」、 p (m— ¹ ' ³

)を「1 0」をそれぞれ取得し、このブロックをそれぞれ取得したひとつの画素で置き換える。したがって、第 m_ 1 レベルの副画像のサイズは 2^m_¹ X 2 m- 1【^"' 。

[0098] つづいて mをデクリメントし（図 8の S 1 03) 、 mが負になっていないことを確認し（S 1 04) 、 S 1 01に戻ってつぎに解像度の粗い副画像を生成していく。この繰り返し処理の結果、 m=0、すなわち第 0レベルの副画像が生成された時点で S 1 0が終了する。第 0レベルの副画像のサイズは 1 X 1である。

[0099] 図 1 0は S 1 0によって生成された始点階層画像を n = 3の場合について例示している。最初の始点画像のみが 4つの系列に共通であり、以降特異点の種類に応じてそれぞれ独立に副画像が生成されていく。なお、図 8の処理は図 7の S 1 1にも共通であり、同様の手順を経て終点階層画像も生成される。以上で図 6の S 1による処理が完了する。 [0100] 前提技術では、図 6の S 2に進むためにマッチング評価の準備をする。図 1 1はその手順を示している。同図のごとく、まず複数の評価式が設定される（S 30) 。 [1. 3. 2. 1 ] で導入した画素に関するエネルギー C s_{) f} と [1. 3. 2. 2] で導入した写像の滑らかさに関するエネルギー D ^(m , s) _fがそれである。つぎに、これらの評価式を統合して総合評価式を立てる (S 31 ) 。 [1. 3. 2. 3] で導入した総エネルギー； I C ' _f + D (^m , _{s) f}がそれであり、 [1. 3. 2. 2] で導入した 7?を用いれば、

[0101] [数 52]

となる。ただし、総和は i、 jについてそれぞれ 0、 1■■■、 2^m_ 1で計算する。以上でマッチング評価の準備が整う。

[0102] 図 1 2は図 6の S 2の詳細を示すフローチャートである。 [1 ] で述べたごとく、始点階層画像と終点階層画像のマッチングは互いに同じ解像度レべルの画像どうしでとられる。画像間の大域的なマッチングを良好にとるために、解像度が粗いレベルから順にマッチングを計算する。特異点フィルタを用いて始点階層画像および終点階層画像を生成しているため、特異点の位置や輝度は解像度の粗いレベルでも明確に保存されており、大域的なマツチングの結果は従来に比べて非常に優れたものになる。

[0103] 図 1 2のごとく、まず係数パラメータ 77を 0、レベルパラメータ mを 0に設定する（S 20) 。つづいて、始点階層画像中の第 mレベルの 4つの副画像と終点階層画像中の第 mレベルの 4つの副画像のそれぞれの間でマッチングを計算し、それぞれ全単射条件を満たし、かつエネルギーを最小にするような 4種類の副写像 f (^m' (s = 0, 1 , 2, 3) を求める（S 21 ) 。全単射条件は [1. 3. 3] で述べた相続四辺形を用いて検査される。この際、式 1 7、 1 8が示すように、第 mレベルにおける副写像は第 m_ 1 レベルのそれらに拘束されるため、より解像度の粗いレベルにおけるマッチングが順次利用されていく。これは異なるレベル間の垂直的参照である。なお、いま m=0であってそれより粗いレベルはないが、この例外的な処理は図 1 3 で後述する。

—方、同一レベル内における水平的参照も行われる。 [ 1. 3. 3] の式 2

0のごとく、 f (^m. ³⁾は f ^(m' ²⁾に、 f ⁽ は f に、 f は f

, o)に、それぞれ類似するように決める。その理由は、特異点の種類が違っても、それらがもともと同じ始点画像と終点画像に含まれている以上、副写像がまったく異なるという状況は不自然だからである。式 20からわかるように、副写像どうしが近いほどエネルギーは小さくなり、マッチングが良好とみなされる。

[0104] なお、最初に決めるべき f (^m. ⁰⁾については同一のレベルで参照できる副写像がないため、式 1 9に示すごとくひとつ粗いレベルを参照する。ただし、実験では f ^(m. ³⁾まで求まった後、これを拘束条件として f ^ ⁰⁾を一回更新するという手続をとつた。これは式 20に s = 4を代入し、 f ^(m' ⁴⁾を新たな f とすることに等しい。 f (-. と f ³⁾の関連度が低くなリ過ぎる傾向を回避するためであり、この措置によって実験結果がより良好になった

。この措置に加え、実験では [ 1. 7. 1 ] に示す副写像のシャッフルも行つた。これも本来特異点の種類ごとに決まる副写像どうしの関連度を密接に保つ趣旨である。また、処理の開始点に依存する偏向を回避するために、 s の値にしたがって開始点の位置を変える点は [ 1. 7] で述べたとおりである。

[0105] 図 1 3は第 0レベルにおいて副写像を決定する様子を示す図である。第 0 レベルでは各副画像がただひとつの画素で構成されるため、 4つの副写像' （o はすべて自動的に単位写像に決まる。図 1 4は第 1 レベルにおいて副写像を決定する様子を示す図である。第 1 レベルでは副画像がそれぞれ 4画素で構成される。同図ではこれら 4画素が実線で示されている。いま、 p い' 〕の点の対応点を ⁽¹' の中で探すとき、以下の手順を踏む。

1. 第 1 レベルの解像度で点の左上点 a、右上点、左下点 c、右下点 d める。

[0106] 2. 点 a〜dがひとつ粗いレベル、つまり第 0レベルにおいて属する画素を探す。図 1 4の場合、点 a~dはそれぞれ画素 A~Dに属する。ただし、画素 A ~ Cは本来存在しない仮想的な画素である。

[0107] 3. 第 0レベルですでに求まっている画素 A~Dの対応点 A' ~D，を q ⁽

1 , _s)の中にプロットする。画素 A' 〜C' は仮想的な画素であり、それぞれ画素 A〜Cと同じ位置にあるものとする。

[0108] 4. 画素 Aの中の点 aの対応点 a' が画素 A' の中にあるとみなし、点 a

' をプロットする。このとき、点 aが画素 Aの中で占める位置（この場合、右下）と、点 a' が画素 A' の中で占める位置が同じであると仮定する。

5. 4と同様の方法で対応点 b' 〜d' をプロットし、点 a' 〜d' で相続四辺形を作る。

[0109] 6. 相続四辺形の中でエネルギーが最小になるよう、点 Xの対応点 χ ' を探す。対応点 χ ' の候補として、例えば画素の中心が相続四辺形に含まれるものに限定してもよい。図 1 4の場合、 4つの画素がすべて候補になる。

[0110] 以上がある点 Xの対応点の決定手順である。同様の処理を他のすべての点について行い、副写像を決める。第 2レベル以上のレベルでは、次第に相続四辺形の形が崩れていくと考えられるため、図 3に示すように画素 A' ~D ' の間隔が空いていく状況が発生する。

[0111] こうして、ある第 mレベルの 4つの副写像が決まれば、 mをインクリメン卜し（図 1 2の S 22) 、 mが nを超えていないことを確かめて（S 23) 、 S 21に戻る。以下、 S 21に戻るたびに次第に細かい解像度のレベルの副写像を求め、最後に S 21に戻ったときに第 nレベルの写像 f ^を決める。この写像は 77 = 0に関して定まったものであるから、 f ^ (77 = 0) と書く。

[0112] つぎに異なる 77に関する写像も求めるべく、 77を Λ 77だけシフトし、 mをゼロクリアする（S 24) 。新たな 77が所定の探索打切り値 77_MAXを超えていないことを確認し（S 25) 、 S 21に戻り、今回の 77に関して写像 f w ( ?7 =Λ 77) を求める。この処理を繰り返し、 S 21で f ） (7? = i A T?) ( i =0, 1， ■■■) を求めていく。 77が 77_MAXを超えたとき S 26に進み、後述の方法で最適な ?7 = 77。_{p t}を決定し、 f ^(η) ( η = η _{p t}) を最終的に写像 f ^c n) とする。

[0113] 図 1 5は図 1 2の S 2 1の詳細を示すフローチャートである。このフローチャートにより、ある定まった 77について、第 mレベルにおける副写像が決まる。副写像を決める際、前提技術では副写像ごとに最適な; Iを独立して決める。

[0114] 同図のごとく、まず sと Iをゼロクリアする（S 2 1 0) 。つぎに、そのときの； Iについて（および暗に？7について）エネルギーを最小にする副写像 f (^m. ^s)を求め（S 2 1 1 ) 、これを f (^m. s) ( λ = 0) と書く。異なるに関する写像も求めるべく、スをだけシフトし、新たな; Iが所定の探索打切り値 l _{ma x}を超えていないことを確認し（S 2 1 3 ) 、 S 2 1 1に戻り、以降の繰り返し処理で f ^(m' s) ( λ = i Δ λ ) ( i = 0 , 1 , …；）を求める。 λ が L _{ma x}を超えたとき S 2 1 4に進み、最適な λ = λ。 _Ρ ιを決定し、 f ^ s) (A = A _{o p t}) を最終的に写像 f (^m' とする（S 2 1 4) 。

[0115] つぎに、同一レベルにおける他の副写像を求めるべく、スをゼロクリアし、 sをインクリメントする（S 2 1 5) 。 sが 4を超えていないことを確認し（S 2 1 6) 、 S 2 1 1に戻る。 s = 4になれば上述のごとく f (^m. ³)を利用して f . 0)を更新し、そのレベルにおける副写像の決定を終了する。

[0116] 図 1 6は、ある mと sについて； Lを変えながら求められた f (^m. ( λ = i Δ A ) ( i = 0， 1， ■■■) に対応するエネルギー C (^m' _fの挙動を示す図である。 [ 1 . 4] で述べたとおり、スが増加すると通常 C ^(m' ^s) _fは減少する。しかし、スが最適値を超えると C _S) _fは増加に転じる。そこで本前提技術では c _fが極小値をとるときの; Iを； I。_{p t}と決める。同図のように λ

>ス。_{p t}の範囲で再度 C _fが小さくなつていつても、その時点ではすでに写像がくずれていて意味をなさないため、最初の極小点に注目すればよい。 i。_{p t}は副写像ごとに独立して決めていき、最後に f (ⁿ⁾についてもひとつ定まる。

[0117] —方、図 1 7は、 77を変えながら求められた f ） ( η = i Α η ) ( i = 0 ， 1， ■■■) に対応するエネルギー C ⁽ _fの挙動を示す図である。ここでも？ 7 が増加すると通常 C w _fは減少するが、？7が最適値を超えると C w _fは増加に転じる。そこで C w _fが極小値をとるときの? 7を? 7。_{p t}と決める。図 1 7 は図 4の横軸のゼロ付近を拡大した図と考えてよい。 77。_{p t}が決まれば f ^{( n )} を最終決定することができる。

[01 18] 以上、本前提技術によれば種々のメリッ卜が得られる。まずエッジを検出する必要がないため、エッジ検出タイプの従来技術の課題を解消できる。また、画像に含まれるオブジェクトに対する先験的な知識も不要であり、対応点の自動検出が実現する。特異点フィルタによれば、解像度の粗いレベルでも特異点の輝度や位置を維持することができ、オブジェクト認識、特徴抽出、画像マッチングに極めて有利である。その結果、人手作業を大幅に軽減する画像処理システムの構築が可能となる。

なお、本前提技術について次のような変形技術も考えられる。

( 1 ) 前提技術では始点階層画像と終点階層画像の間でマッチングをとる際にパラメータの自動決定を行ったが、この方法は階層画像間ではなく、通常の 2枚の画像間のマッチングをとる場合全般に利用できる。

[01 19] たとえば 2枚の画像間で、画素の輝度の差に関するエネルギー E。と画素の位置的なずれに関するエネルギー E，のふたつを評価式とし、これらの線形和 E _t。 _t = E。十 E，を総合評価式とする。この総合評価式の極値付近に注目してひを自動決定する。つまり、いろいろなひについて E _t。_tが最小になるような写像を求める。それらの写像のうち、ひに関して E，が極小値をとるときのを最適パラメータと決める。そのパラメータに対応する写像を最終的に両画像間の最適マッチングとみなす。

[0120] これ以外にも評価式の設定にはいろいろな方法があり、例えば 1 曰，と 1

Ε ₂のように、評価結果が良好なほど大きな値をとるものを採用してもよい。総合評価式も必ずしも線形和である必要はなく、 η乗和（ η = 2、 Λ / Ζ 、 _ 1、 _ 2など）、多項式、任意の関数などを適宜選択すればよい。

[0121 ] パラメータも、のみ、前提技術のごとく 77と Iのふたつの場合、それ以上の場合など、いずれでもよい。パラメータが 3以上の場合はひとつずつ変化させて決めていく。

( 2 ) 本前提技術では、総合評価式の値が最小になるよう写像を決めた後、総合評価式を構成するひとつの評価式である C ^ ^{s )} _fが極小になる点を検出してパラメータを決定した。しかし、こうした二段回処理の代わりに、状況によっては単に総合評価式の最小値が最小になるようにパラメータを決めても効果的である。その場合、例えば α Ε。 + /8 E を総合評価式とし、 a + /S = 1なる拘束条件を設けて各評価式を平等に扱うなどの措置を講じてもよい

。パラメータの自動決定の本質は、エネルギーが最小になるようにパラメ一タを決めていく点にあるからである。

( 3 ) 前提技術では各解像度レベルで 4種類の特異点に関する 4種類の副画像を生成した。し力、し、当然 4種類のうち 1、 2、 3種類を選択的に用いてもよい。例えば、画像中に明るい点がひとつだけ存在する状態であれば、極大点に関する f ^(m' ^{3 )}だけで階層画像を生成しても相応の効果が得られるはずである。その場合、同一レベルで異なる副写像は不要になるため、 sに関する計算量が減る効果がある。

( 4 ) 本前提技術では特異点フィルタによってレベルがひとつ進むと画素が 1 4になった。例えば 3 X 3で 1 ブロックとし、その中で特異点を探す構成も可能であり、その場合、レベルがひとつ進むと画素は 1 9になる。

( 5 ) 始点画像と終点画像がカラーの場合、それらをまず白黒画像に変換し、写像を計算する。その結果求められた写像を用いて始点のカラー画像を変換する。それ以外の方法として、 R G Bの各成分について副写像を計算してもよい。

[ 3 ] 前提技術の改良点

[0122] 以上の前提技術を基本とし、マッチング精度を向上させるためのいくつかの改良がなされている。ここではその改良点を述べる。

[ 3 . 1 ] 色情報を考慮に入れた特異点フィルタおよび副画像

[0123] 画像の色情報を有効に用いるために、特異点フィルタを以下のように変更した。まず色空間としては、人間の直感に最も合致するといわれている H I Sを用いた。但し色を輝度に変換する際は、輝度 Iに代わり人間の目の感度に最も近いといわれている輝度 Yを選択した。

[0124] [数 53]

R + G + B nun(R, G, B)

S=l- 3

7 = 0.299xi? + 0.587xG+ 0.114xS (式 53)

[0125] ここで画素 aにおける Y (輝度）を Y (a) 、 S (彩度）を S (a) して、次のような記号を定義する。

[数 54]

■■(Y(a)≤Y(b))

Y(a,b) =

■■(Y(a) >Y(b))

■■(Y(a)≥Y(b))

b ■■(Y(a)<Y(b))

■■(S(a)≥S(b))

b ■■(S(a)<S(b)) (式 54) 上の定義を用いて以下のような 5つのフィルタを用意する。

[0126] [数 55]

(式 55)

[0127] このうち上から 4つのフィルタは改良前の前提技術におけるフィルタとほぼ同じで、輝度の特異点を色情報も残しながら保存する。最後のフィルタは色の彩度の特異点をこちらも色情報を残しながら保存する。

[0128] これらのフィルタによって、各レベルにつき 5種類の副画像（サブィメージ）が生成される。なお、最も高いレベルの副画像は元画像に一致する。

[0129] [数 56]

n (",0) _ (« ) _ _n (",2) _ _n (",3) _ («,4) _

(式 5 6 )

[ 3 . 2 ] エッジ画像およびその副画像

[0130] 輝度微分（エッジ）の情報をマッチングに利用するため、さらに一次微分エッジ検出フィルタを用いる。このフィルタはあるオペレータ Gとの畳み込み積分で実現できる。第 nレベルの画像の、水平方向、垂直方向の微分に対応した 2種類のフィルタをそれぞれ以下のように表す。

[数 57]

(式 5 7 )

[0131 ] ここで Gは画像解析においてエッジ検出に用いられる一般的なオペレータを適用することが可能であるが、演算スピードなども考慮して以下のようなオペレータを選択した。

[0132] [数 58]

(式 5 8 )

[0133] 次にこの画像を多重解像度化する。フィルタにより 0を中心とした輝度をもつ画像が生成されるため、次のような平均値画像が副画像としては最も適切である。

[数 59]

1

„ (^' ） _ f ） , ^m+l.h) (m+l,h) ,_ (m+l,h) 、

d ) - ^ (2i,2j) ^ r(2i,2j+\) ^ r(2i+\,2j) ^(2;+l,2j+l) n(m,v) _ J_ _n(m+l.v) , (m+l,v) „(m+l,v) „(m+l,v)

P(i,f) ~ ~^ ^(2i,2j) ^† (2i,2ゾ +1) ^† (2i+l,2ゾ） ^'.+ Uゾ +1)

(式 59)

[0134] 式 59の画像は後述する Forward Stage, すなわち初回副写像導出ステージの計算の際、エネルギー関数のうち新たに導入された輝度微分（ェッジ)の差によるエネルギーに用いられる。

エッジの大きさ、すなわち絶対値も計算に必要なため、以下のように表す

[0135] [数 60]

(式 60) この値は常に正であるため、多重解像度化には最大値フィルタを用いる。

[0136] [数 61]

(m ） _ ( (m+ e) (m+ ) \ n (m+le) (m+le) \

r{i,j) 一 Y Υ (2i,2j) ， (2i,2 j+l) )^ Y r(2i+\,2 j) , (2i+\,2 j+l) ))

(式 61 ) 式 6 1の画像は後述する Forward Stageの計算の際、計算する順序を決定するのに用いられる。

[3. 3] 計算処理手順

[0137] 計算は最も粗い解像度の副画像から順に行う。副画像は 5つあるため、各レベルの解像度において計算は複数回行われる。これをターンと呼び、最大計算回数を tで表すことにする。各ターンは前記 Forward Stageと、副写像再計算ステージである Ref i nement Stageという二つのェネルギー最小化計算から構成される。図 1 8は第 mレベルにおける副写像を決める計算のうち改良点に係るフローチヤ一トである。

[0138] 同図のごとく、 sをゼロクリアする（S40) 。つぎに Forward Stage (S 41 ) において始点画像 pから終点画像 qへの写像 f (^m' および、終点画像 qから始点画像 Pへの写像 g (^m、 ^s)を順次、エネルギー最小化によって求める。以下、写像 f ^(m' ^s)の導出について記述する。ここで最小化するエネルギーは、改良後の前提技術においては、対応する画素値によるエネルギー Cと、写像の滑らかさによるエネルギー Dの和である。

[0139] [数 62] min ( +

ί (式 t 2 )

[0140] エネルギー Cは、輝度の差によるエネルギー (前記改良前の前提技術におけるエネルギー Cと等価）と、色相、彩度によるエネルギー C_c、輝度微分 (エッジ）の差によるエネルギー C_Eで構成され、以下のように表される。

[0141] [数 63] 0¾)_7( |²

^U) = I ； ^；^ ;;;)》 - )) _COS(2^( )》「

+ 1 )5ΐη(2^(_Λ ;)》 - S« )sm(2;/ ( 》 f

( )=|; にに^^ Γ

C^f (/, j) = 2C/ (/， ) +≠_c (ΐ, ) + 6 (i, j) (式 6 3 ) ここでパラメータ 1、および 0は 0以上の実数であり、本改良後の技術においては定数である。ここでこれらのパラメータを定数とできるのは、新たに導入された Refinement Stageにより、パラメータに対する結果の安定性が向上したためである。また、エネルギー C_Eは副写像 f ^(m' ^s)の種類 sに関わらず、座標と解像度のレベルによつて決定する値である。

[0142] エネルギー Dは前記改良前の前提技術と同じものを用いる。ただし前記改良前の前提技術において、写像の滑らかさを保証するエネルギー E，を導出する際、隣接する画素のみを考慮していたが、周囲の何画素を考慮するかをパラメータ dで指定できるように改良した。

[0143] [数 64]

E! )- ∑ ∑\\(f( j)-(i,j))-(f(i f)-(i f)

(式 6 4)

[0144] 次の Refinement Stageに備えて、このステージでは終点画像 qから始点画像 pへの写像 g (-. s)も同様に計算する。

[0145] Refinement Stage (S 42) では Forward Stageにおいて求めた双方向の写像 f ^s)および g (^m. ^s)を基に、より妥当な写像（^m. を求める。ここでは新たに定義されるエネルギー Mについてエネルギー最小化計算を行う。エネルギー Mは終点画像から始点画像への写像 gとの整合度 M。と、もとの写像との差 I hより構成され、 Mを最小とするような（^{m s)}が求められる。

[0146] [数 65]

(式 ₆

[0147] 対称性を損なわないように、終点画像 qから始点画像 Pへの写像 g' ^(m' ^s) も同様の方法で求めておく。

その後、 sをインクリメントし（S43) 、 sが tを超えていないことを確認し（S44) 、次のターンの Forward Stage (S 41 ) に進む。その際前記 E。を次のように置き換えてエネルギー最小化計算を行う。

[0148] [数 66] ',ゾ）=||/ ',ゾ）_/ ,ゾ)『（式 6 6)

[3. 4] 写像の計算順序

[0149] 写像の滑らかさを表すエネルギー E，を計算する際、周囲の点の写像を用いるため、それらの点がすでに計算されているかどうかがエネルギーに影響を与える。すなわち、どの点から順番に計算するかによって、全体の写像の精度が大きく変化する。そこでエッジの絶対値画像を用いる。エッジの部分は情報量を多く含むため、エッジの絶対値が大きいところから先に写像計算を行う。このことによって、特に二値画像のような画像に対して非常に精度の高い写像を求めることができるようになった。

[差分画像圧縮技術に関する実施の形態]

以上の前提技術を一部利用した圧縮処理の具体例を述べる。

[0150] まず本実施の形態における差分画像圧縮装置について述べる。差分画像圧縮装置は基本的には、ふたつの画像データを入力することにより、それらの画像の差分画像のデータを効率的に圧縮した差分画像圧縮データを出力する。同じ構成で 3つ以上の画像のデータをストリームとして入力し、ストリー厶内で隣接する画像の差分画像の圧縮データをストリームとして出力することもできる。以後の説明では理解を容易にするため、ふたつの画像データを入力した場合について説明する。出力した差分画像圧縮データは、例えば当該差分画像の始点画像のデータとともに保存または送信し、別に用意した復号化装置が読み取る。そして復号化装置が差分画像圧縮データを復号化して差分画像を生成し、始点画像との和をとることにより終点画像を復元することができる。

[0151 ] 図 1 9は、本実施形態に係る差分画像圧縮装置の構成を示している。差分画像圧縮装置 1 0 0は差分計算器 1 0、フィルタ実施部 1 2、エネルギー取得部 1 4、判定部 1 6、および圧縮実施部 1 8を備える。

[0152] 差分計算器 1 0は、ふたつの画像のデータを取得して、位置的に対応しあう画素どうしの画素値の差分をとる。これにより、各画素が両フレーム間の画素値の差をもつ一種の画像が形成され、これを差分画像と呼ぶ。エネルギ一取得部 1 4は、ふたつの画像のデータを取得して両画像のマッチングを行し、、エネルギーマップを生成する。エネルギーマップとは、ふたつの画像間の対応点それぞれの変化量を表す指標値を、基本的には始点画像の各画素に関して記述したデータである。なお、エネルギーマップは終点画像上に表してもよい。

[0153] 変化量を表す指標値として、ここでは前提技術における式 4 9に示されているマッチングエネルギーを用いる。マッチングエネルギーとは対応点どうしの距離と画素値の違いのいずれか、または両方で定まるものである。距離と画素値を両方導入した場合は所定の重み付け和で定まる。前提技術の画像マッチングでは、画像間の各画素につき、写像のマッチングエネルギーが最小となるものを対応点として検出する。マッチングエネルギーの高い箇所は、画像間で位置や画素値の変化の大きい画素が含まれている。そのため復号において重要な情報をより多く含む傾向にあることが実験によっても確認されている。以下詳説するが、本実施形態ではマッチングエネルギーの低い部分については差分の圧縮率を高め、マッチングエネルギーの高い部分については圧縮率を抑え、情報の保持を優先させる。

[0154] エネルギー取得部 1 4は、エネルギーマップを判定部 1 6へと送る。判定部 1 6はエネルギーマップを利用して、差分画像のうち高圧縮対象領域と低圧縮対象領域とを区別した圧縮テーブルを生成し、フィルタ実施部 1 2に通知する。フィルタ実施部 1 2は、当該圧縮テーブルに基づき、高圧縮対象領域と低圧縮対象領域で別々に用意したフィルタを差分画像に施す。このフィルタによってそれぞれの領域に適した手法で、差分画像の情報量を削減する。そしてフィルタを施した差分画像と圧縮テーブルを圧縮実施部 1 8へ送る

[0155] 圧縮実施部 1 8は、フィルタを施した差分画像を J P E G形式にて圧縮符号化する。この際、圧縮テーブルの情報を利用し、圧縮率を低圧縮対象領域と高圧縮対象領域との間で適応的に変化させる。具体的には、高圧縮対象領域は D C T係数の量子化幅を低圧縮対象領域に比べて大きくする処理などが利用できる。いずれにせよ、マッチングエネルギーの大小によって情報量削減のフィルタおよび圧縮率を変化させるのは次の理由による。

[0156] すなわち、上述のごとくマッチングエネルギーが低い部分は、背景など差分が生じにくい箇所であり、ノイズ等、重要性の少ない成分の差分に対する割合が高い傾向にある。よって、マッチングエネルギーが低い領域は圧縮率も高くできる。ここで重要性とは復号した際の画質の維持に対する重要性である。一方、マッチングエネルギーの高い領域は、復号した画像において重要な情報が含まれている可能性が高いため、情報量の削減および圧縮率を低くとどめ、復号時の正確性を優先する。

[0157] 次に以上の構成によって実現される本実施の形態の動作について説明する。図 2 0はエネルギー取得部 1 4および判定部 1 6が圧縮テーブルを生成する手順を示している。まずふたつの画像データを取得したエネルギー取得部 1 4は、両画像のマッチングをとる（S 1 0 ) 。このマッチングには前提技術を用いることができる。そして、画像間での各画素の位置の変化量の大きさを画素値として保持する、マッチングエネルギーのエネルギーマップを生成する（S 1 2 ) 。マッチングエネルギーは前述のとおり、前提技術の式 4 9を利用することができるが、本実施の形態はこれに限らず、同様の意味合いを有する別のパラメータを導入してもよい。

[0158] 次に判定部 1 6は、差分画像を例えば 1 6 X 1 6画素単位のブロックに分割する（S 1 4 ) 。そしてブロックごとに高圧縮対象領域か低圧縮対象領域かを判定する（S 1 6、 S 1 8の N ) 。判定では、各ブロックに含まれる画素の全てについて、エネルギーマップ中の同じ位置にある画素のエネルギーと所定のしきい値とを比較する。しきい値は、実験などによって最適値をあらかじめ設定しておく。比較の結果、ブロック内の全ての画素のマッチングエネルギーがしきい値以下であつた場合は、そのブロックを高圧縮対象領域と判定する。しきい値を上回る画素がひとつでも存在するブロックは低圧縮対象領域と判定する。判定結果はブロックごとに高圧縮対象領域か低圧縮対象領域かを表す 2値のいずれかを保持する圧縮テーブル内に書き込んでいく。そして全ブロックに対する判定を行ったら処理を終了する（S 1 8の Y )

[0159] なお S 1 6において対象ブロックを低圧縮対象領域と判定する基準は上記のものに限らない。例えば、マッチングエネルギーがしきい値を上回る画素がブロック内に 2以上の所定数存在する場合、またはブロック内の画素のマツチングエネルギーの平均値がしきい値を上回る場合などでもよく、マッチングエネルギーが高い箇所であるという条件に合致する基準を実験などによつてあらかじめ設定する。

[0160] 図 2 1はフィルタ実施部 1 2が差分画像に対して情報量を削減するフィルタを施す手順を示している。まずフィルタ実施部 1 2は差分画像の対象プロックごとに、図 2 0に示した手順により取得された圧縮テーブルを参照して、当該ブロックが高圧縮対象領域か低圧縮対象領域かを特定する（S 2 0 ) 。高圧縮対象領域であった場合は（3 2 0の丫）、当該ブロックに対し高圧縮対象領域用のフィルタを施す（S 2 2 ) 。高圧縮対象領域は上述のとおり、復号したときの画質を維持するうえで重要となる情報を多く含まない傾向にあるため、大幅に情報量を削減することができる。したがって高圧縮対象領域用フィルタとして、例えば画素平均フィルタまたは D Cフィルタを用いることができる。

[0161 ] 画素平均フィルタおよび D Cフィルタはいずれも、対象ブロックに含まれる全ての画素の値を単一の画素値へ置換する「塗りつぶし」を行うフィルタである。画素平均フィルタは画素値の平均値に置き換えて塗りつぶしを行うフィルタであり、 D Cフィルタは、 D C T変換を施してブロックの D C成分を抽出し、その値に置き換えて塗りつぶしを行うフィルタである。これらのフィルタを施すことにより、実施対象のブロックの情報量を大きく削減することができる。

[0162] —方、対象ブロックが低圧縮対象領域であった場合は（3 2 0の1\1 ) 、当該ブロックに対し低圧縮対象領域用のフィルタを施す（S 2 4 ) 。低圧縮対象領域は上述のとおり、復号化において重要な、ひいては映像の品質を保持するために重要な差分情報を含む可能性が高いため、もとの画素情報をできるだけ確保しながらノィズ成分を補正するフィルタを施す。低圧縮対象領域用フィルタについては後述する。以上のフィルタ処理をブロックごとに行つていき（S 2 6の N ) 、差分画像の全ブロックに対して高圧縮対象領域用フィルタまたは低圧縮対象領域用フィルタのいずれかが施されたら処理を終了する（S 2 6の Y ) 。

[0163] 低圧縮対象領域用フィルタとしては、差分画像におけるェッジ部分の情報を残しつつ、それ以外の部分のノイズを除去するフィルタを用いる。これはエッジ部分が、オブジェク卜の輪郭線のように映像の品質を保証するうえで重要な箇所であり、差分画像においても重要な差分情報を有すると考えられるためである。したがってここではエッジ検出フィルタと、ノイズ除去フィルタとして作用するローパスフィルタを利用する。以下の説明では前者にラブラシアンフィルタを、後者にメジアンフィルタを用いるが、本実施の形態はこれに限らない。

[0164] 図 2 2は、低圧縮対象領域用フィルタを実施するためのフィルタ実施部 1 2の構成を示している。フィルタ実施部 1 2には図 2 1の処理を実現するために、対象ブロックがいずれの領域に含まれるかを特定したり、高圧縮対象領域用フィルタを施したりする機能も含まれるが、ここでは省略している。フィルタ実施部 1 2は、差分データ記憶部 3 0、ラプラシアンフィルタ実施部 3 2、エツジ情報記憶部 3 4、メジアンフィルタ実施部 3 6、統合部 3 8 を含む。

[0165] ラプラシアンフィルタ実施部 3 2およびメジアンフィルタ実施部 3 6において実施されるラブラシアンフィルタおよびメジアンフィルタは、一般的に用いられているものを利用することができる。

[0166] 図 2 1の S 2 0において対象ブロックが低圧縮対象領域であることが特定されたら、差分計算器 1 0から送られた差分画像データのうち、当該ブロックに含まれる画素のデータ力差分データ記憶部 3 0からラプラシアンフィルタ実施部 3 2、メジアンフィルタ実施部 3 6へと送られる。ラプラシアンフィルタ実施部 3 2は、当該ブロックにラプラシアンフィルタを施し、隣接する画素と比較して画素値の変化率が大きな、エッジとみなされる画素を検出する。そしてその画素の位置情報と画素値とを対応づけてエツジ情報記憶部 3 4に記憶させる。

[0167] —方メジアンフィルタ実施部 3 6は、当該ブロックにメジアンフィルタを施し、ブロック内のノイズ成分を除去する。ノイズ成分が除去されたブロックの画素データは統合部 3 8に送られる。統合部 3 8はエッジ情報記憶部 3 4を参照し、ノイズ成分が除去されたブロック内の画素のうち、エッジ情報記憶部 3 4にエッジとして記憶された画素の画素値を、ノイズ除去を行う前の値に戻す。ノイズ除去を行う前の値とは、エッジ情報記憶部 3 4において当該画素の位置情報に対応付けて記憶された画素値である。

[0168] このように低圧縮対象領域では、メジアンフィルタによってノイズ成分を除去した後、画素値の変化率が大きい画素のみ、値を元に戻すことにより、重要な差分情報を失うことなくノイズ成分を除去することができ、情報量も削減することができる。

[0169] 上述の例ではノイズ除去の手法としてメジアンフィルタを導入したが、別の手法を用いてもよい。例えば各画素の周囲でエッジを含まない局所領域を探索し、その領域の平均画素値を対象画素の画素値とする選択的局所平均法や、前述の画素平均フィルタなどを利用することができる。

[0170] 以上のようにしてブロックごとにフィルタを施した差分画像のデータは、フィルタ実施部 1 2に含まれるバッファ（図示せず）などの記憶領域に保存していき、差分画像を完成させる。そして圧縮実施部 1 8は当該記憶領域から差分画像を読み出し、前述したとおり圧縮符号化を行う。これによりふたつのフレームの差分画像を効率的に圧縮した差分画像圧縮データが生成される。

[0171 ] 以上述べた構成および処理手順により、定性的ではあるが復号化した際の画像の品質を保持しながら圧縮率の高い差分画像圧縮データを生成することができる。実際の比較実験においても良好な結果を得ることができた。すなわち、高圧縮対象領域と低圧縮対象領域とを分けずに差分画像を圧縮し、かつ画質低下が全く知覚されない場合の圧縮率に比べ、本実施の形態で領域を分けた場合、同じく画質低下が全く近くされない場合の圧縮率が 1〜 2割良くなつた。

[0172] なお上述の例では、図 2 0の S 1 6において、対象ブロックが高圧縮対象領域か低圧縮対象領域かをマッチングエネルギーとしきい値との比較によつて決定していたが、さらに別の判定基準を設けてもよい。なぜなら S 1 0のマッチング処理において、うまくマッチングを行うことができずに偶然マツチングエネルギーが低くなつてしまった場合、本来は重要な差分情報を含むプロックが高圧縮対象領域に含まれてしまい、情報が削除されてしまうことが考えられるためである。

[0173] 例えば S 1 6においてエネルギーマップに基づき判定を行い高圧縮対象領域と判定されたブロックに対して、差分画像の画素値の平均値を算出し、マツチングエネルギーとは別に設定したしきい値と比較する。そして平均値がしきい値を上回っていた場合、当該ブロックを低圧縮対象領域と判定しなおす。このようなブロックは、差分画像のうちマッチングエネルギーが低い部分にはフレーム間の差分が生じにくい、という前述した前提に対し矛盾した状態にある。したがって差分にはノイズ以外の情報が多く含まれると考えることができるため、低圧縮対象領域として情報の削減量および圧縮率を低く抑える。これにより、本来必要な情報をフィルタによって削除してしまうことを防ぐことができ、復号化後の画像の品質を保つことができる。なおこのときのしきい値も実験などによつて最適値をあらかじめ導出しておく。

[0174] また上述したように画素平均フィルタや D Cフィルタなどの高圧縮対象領域用フィルタによってブロックごとに単一の値を画素に与えた場合、隣接するブロックで画素値が急に変化する可能性がある。この場合、その差分画像を用いて復元した画像において、ブロックの境界線が顕著に表れてしまう可能性が高い。この現象を抑制するため差分画像圧縮装置 1 0 0は、高圧縮対象領域用フィルタを施したブロックの頂点に位置する 4つの画素の、フィルタを施す前の値を、差分画像圧縮データとともに出力してもよい。

[0175] そして復号装置においてその 4画素の値に基づきバイリニア補間を行い、ブロック内の塗りつぶしがグラデーションを有するようにパラメータを設定した出力データとする。これによりプロック内で差分値が緩やかに変化し、復元した画像においても隣接するブロックの境界が目立ちにくくなる。

[0176] 以上述べた差分画像圧縮装置 1 00は、前提技術を利用した、次のような符号化装置に組み込むことによつても効果を発揮できる。図 23は差分画像圧縮装置 1 00を適用した符号化装置と復号化装置の構成および処理を示している。同図上段が符号化装置、下段が復号装置に関する。

[ 1 ] 符号化装置の構成

[0177] CP F ：前提技術の Critical Point Fi Iter、すなわち特異点フィルタを用いる画像マッチングプロセッサ。マッチングの対象となるフレームであるキーフレーム間のマッチングを画素単位で計算し、対応点情報を出力する。この情報はファイルとして出力される。このファイルは、ソース側のキーフレームの各画素がデスティネーション側のキーフレームのいずれの画素に対応するかを記述する。したがって、このファイルをもとに、これらのキーフレーム間で対応しあう画素の位置と画素値を内挿計算すれば、ふたつのキーフレーム間のモーフイング画像が得られる。

[0178] DE + NR ：ノイズリデューサ（maskable Noise Reducer) 機能つき差分

(誤差）符号化器（Differential Encoder) 。ふたつの画像フレームの差分を、ノイズを削減したうえで圧縮する。ここに本実地の形態の差分画像圧縮装置 1 00を適用する。

[0179] DD ： Differential Decoder 差分（誤差）復号器。 DEで符号化された差分を復号し、その差分が生じた画像フレームに加算することで、その画像フレームの精度を高める。

[0180] なお、これらのほかに、ある単一のキーフレームに対応点情報を作用させ、そのキーフレームの画素移動だけから仮想的に別のキーフレームを生成する機能が存在する。以下、この機能を実現する機能ブロックを画素シフタとよふ。

[2] 符号化処理

[0181] 図 23において、「F 0」等は処理の対象となる動画の各フレーム、「M 0— 4」は CP Fによって生成された FOと F 4間の対応点情報を示す。符号化は以下の手順で進む。

[0182] a) 1以上の画像フレーム（F 1 ~F3) を間に挟む第 1、第 2キーフレーム（FO、 F4) 間で CP Fによってマッチングを計算し、第 1、第 2 キーフレーム間の対応点情報（M0— 4) を生成するステップ。

b) 第 1、第 2キーフレーム間の対応点情報（M0— 4) をもとに、画素シフタによって第 1キーフレーム（FO) に含まれる画素を移動させて仮想の第 2キーフレーム（F4' ) を生成するステップ。

c) 現実の第 2キーフレーム（F4) と仮想の第 2キーフレーム（F4 ' ) との差分を DE + NR、すなわち本実施の形態の差分画像圧縮装置 1 0 0で圧縮符号化するステップ。

d) 第 1キーフレーム（FO) 、第 1、第 2キーフレーム間の対応点情報（M0— 4) 、および、現実の第 2キーフレームと仮想の第 2キーフレー厶間で圧縮符号化された差分画像圧縮データ（Δ4) をこれらのキーフレー厶（FO、 F4) 間の符号化データとして出力するステップ。出力先は記録媒体、伝送媒体を問わない。実際には後述の j ) で出力される情報と一体となり、動画符号化データとして記録媒体等に出力される。

[0183] つづいて、第 2キーフレーム（F4) 以降について以下の処理を行う。

e) 現実の第 2キーフレーム（F4) と仮想の第 2キーフレーム（F4 ' ) 間で圧縮符号化された差分画像圧縮データ（Δ4) を DDで復号するステツプ。

f ) 復号された差分と前記仮想の第 2キーフレーム（F4' ) とから、改良された仮想の第 2キーフレーム（F4" ) を DDで生成するステップ。 g) 1以上の画像フレーム（F5〜F7) を間に挟む第 2、第 3キーフレーム（F4、 F8) 間で CP Fによってマッチングを計算し、第 2、第 3 キーフレーム間の対応点情報（M4— 8) を生成するステップ。

h) 第 2、第 3キーフレーム間の対応点情報（M4— 8) をもとに、画素シフタによって、改良された仮想の第 2キーフレーム（F4" ) に含まれる画素を移動させることによって、仮想の第 3キーフレーム（F8' ) を生成するステツプ。

i ) 現実の第 3キーフレーム（F8) と仮想の第 3キーフレーム（F8 ' ) との差分を DE + NR、すなわち本実施の形態の差分画像圧縮装置 1 0 0で圧縮符号化するステップ。

j ) 第 2、第 3キーフレーム間の対応点情報（M4— 8) 、および現実の第 3キーフレームと仮想の第 3キーフレーム間で圧縮符号化された差分画像圧縮データ（Λ8) をこれらのキーフレーム（F4、 F8) 間の符号化データとして出力するステップ。出力先は一般に d) の出力先と同じである。

[0184] 以下、さらに後続のキーフレームについて、図 23のフレーム F 9以下に示すごとく、順次前記の e) から』）のステップを繰り返し、所定のグループ終了キーフレームに到達したときに繰り返し処理を終了する。

[3] 復号装置の構成

符号化側にもましてシンプルな構成である。

D D：符号化装置の D Dと同じ。

I NT ：補間プロセッサ（INTerpolator) 。

[0185] これらの他に符号化側同様の画素シフタが存在する。ふたつの画像フレー厶と対応点情報から内挿処理による中間フレームを生成する。

[4] 復号処理

復号は以下の手順で進む。

[0186] k) 1以上の画像フレーム（F 1 ~F3) を間に挟む第 1、第 2キーフレーム（F0、 F 4) 間の対応点情報（M0— 4) 、および第 1キーフレーム（F0) を取得するステップ。取得は伝送媒体、記録媒体のいずれからでもよい。

I ) 第 1、第 2キーフレーム間の対応点情報（M0— 4) をもとに、画像シフタによって第 1キーフレーム（F0) に含まれる画素を移動させることによって、仮想の第 2キーフレーム（F4' ) を生成するステップ。 m) 予め符号化側にて I ) 同様の処理により、仮想の第 2キーフレーム (F4' ) が生成され、符号化側でこれと現実の第 2キーフレーム（F4) との差分の差分画像圧縮データ（Δ4) を生成しているため、これを取得するステップ。

o) 取得された差分画像圧縮データ（Δ4) を DDで復号し、仮想の第 2キーフレーム（F4' ) と加算して、改良された仮想の第 2キーフレーム (F4' ' ) を生成するステップ。

p) 第 1、第 2キーフレーム間の対応点情報（M0— 4) をもとに、 I NTによって、第 1キーフレーム（FO) と改良された仮想の第 2キーフレーム（F4" ) 間で補間計算をすることにより、これらのキーフレーム（F 0、 F4" ) の間に存在すべき中間フレーム（F 1 " 〜F3" ) を生成するステップ。

q) 第 1キーフレーム（FO) 、生成された中間フレーム（F 1 " 〜F 3" ) 、改良された仮想の第 2キーフレーム（F4" ) をこれらのキーフレー厶間の復号データとして表示装置等へ出力するステップ。

つづいて、第 2キーフレーム（F4) 以降について以下の処理を行う。 r ) 1以上の画像フレーム（F5~F7) を間に挟む第 2、第 3キーフレーム（F4、 F 8) 間の対応点情報（M4— 8) を取得するステップ。

s) 第 2、第 3キーフレーム間の対応点情報（M4— 8) をもとに、画素シフタによって、改良された仮想の第 2キーフレーム（F4" ) に含まれる画素を移動させることによって、仮想の第 3キーフレーム（F8' ) を生成するステツプ。

t ) 予め符号化側にて s) 同様の処理により、符号化側でも仮想の第 3 キーフレーム（F8' ) が生成され、符号化側でこれと現実の第 3キーフレーム（F8) との差分画像の圧縮データ（Λ8) を生成しており、これを取得するステップ。

u) 取得された差分画像圧縮化データ（Δ8) と仮想の第 3キーフレーム（F8' ) とから、 DDによって、改良された仮想の第 3キーフレーム（ F8" ) を生成するステップ。 v) 第 2、第 3キーフレーム間の対応点情報（M4— 8) をもとに、 I NTによって、改良された仮想の第 2キーフレーム（F4" ) と改良された仮想の第 3キーフレーム（F8" ) 間で補間計算をすることにより、これらのキーフレームの間に存在すべき中間フレーム（F5' 〜F7' ) を生成するステップ。

w) 改良された仮想の第 2キーフレーム（F4" ) 、生成された中間フレーム（F5' 〜F7' ) 、改良された仮想の第 3キーフレーム（F8" ) をこれらのキーフレーム（F4" 、 F 8" ) 間の復号データとして表示装置などへ出力するステップ。

[0188] 以下、さらに後続のキーフレームについて、図 23のフレーム F 9以降に示すごとく、順次前記の r) から w) のステップを繰り返し、グループ終了キーフレームに到達したときに繰り返し処理を終了する。このフレームの次のフレームが新たなグループの先頭フレームとして新たに第 1キーフレームと見なされ、 k) 以下の処理が繰り返される。

[0189] 図 23に示した符号化装置の D E + N Rにおいて本実施の形態の差分画像圧縮装置 1 00を適用する場合、入力される画像データは仮想の第 2キーフレーム（F4' ) および現実の第 2キーフレーム（F4) などである。そしてこの場合、 C P Fにおける画像マッチングの際に得られるマッチングエネルギーをそのまま利用できる。したがってエネルギー取得部 1 4が図 20の S 1 0で行うマッチング処理を省略し、 CP Fから必要なデータを取得することによりエネルギーマップを生成する。具体的には以下の処理を行う。

[0190] まずエネルギー取得部 1 4は、画像データに代わり、〇「が第1、第 2 のキーフレームのマッチングを計算する際に算出する各画素のマッチングェネルギーを取得し、第 1のキーフレーム（FO) 上に各画素のマッチングェネルギーを記述したエネルギーマップを生成する。その他の隣接しあうキーフレーム間でも同様にエネルギーマップを生成する。さらにエネルギー取得部 1 4は、 M0— 4など、各キーフレーム間の対応点情報も取得する。

[0191] 次にエネルギー取得部 1 4は、差分計算器 1 0から差分画像データを取得する。そして例えば第 1、第 2キーフレーム間の対応点情報（M 0— 4 ) を利用して、差分画像から仮想の第 2キーフレーム（F 4 ' ) 、第 1キーフレー厶（F O ) とたどっていくことで、差分画像のどの画素が第 1キーフレーム（F O ) のどの画素をシフトしたものに対応しているか、対応関係を取得する。その上で第 1キーフレーム上に表されたエネルギーマップ上の各画素のエネルギーを参照し、差分画像の各画素に対応する第 1キーフレーム（F 0 ) 上の画素のマッチングエネルギーを、差分画像の各画素のマッチングェネルギ一として取得する。これにより差分画像上のエネルギーマップを生成できる。

[0192] 以降、図2 0の5 1 4〜5 1 8、および図 2 1で示したのと同様の処理を行うことにより、例えば現実の第 2キーフレーム（F 4 ) と仮想の第 2キーフレーム（F 4 ' ) の圧縮符号化された差分画像圧縮データ（Δ 4 ) を得ることができる。

[0193] 以上述べた本実施の形態によれば、差分画像を圧縮符号化する際に、マツチングの結果を参照して差分画像に含まれる情報の重要性を推定し、それに応じて適応的にフィルタ実施および圧縮を行う。これにより、差分画像を復号化して画像を復元した際の画像品質を保ちながら、高効率で圧縮を行うことができる。また、低圧縮対象領域においては、まず差分画像におけるエツジを検出しておき、ノイズ成分を除去した後でエッジ部分のみ元の画素値に戻す。これにより一般的に重要な情報を含む低圧縮対象領域の中でも特に重要なエツジ部分の情報を保持しながらノィズ成分を除去することができ、復元された画像の品質がより保ちやすくなる。

[0194] さらに、各圧縮領域の判定においてマッチングエネルギー以外の基準を導入することにより判定の正確性が増し、重要な情報をエラーによって削除してしまう可能性を低減することができる。これによつても復元された画像の品質がより保ちやすくなる。また本実施の形態を、前段で前提技術のマッチング処理を行う符号化装置に適用すれば、マッチングの副産物であるマッチングエネルギーをそのまま利用することができ、本実施の形態を実行するための処理の負荷が少なくてすむ。別の用途に利用した場合でも、簡素な構成で実現可能であるため導入コストを抑えつつ、高品質な画像をもたらす差分画像を高効率で圧縮する効果を得ることができる。

[0195] 以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プ口セスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

[0196] 例えば本実施の形態ではフィルタ実施部 1 2の統合部 3 8力エッジを構成する画素の画素値をノイズ除去を行う前の値に戻したが、ノイズ除去前後の画素値の平均値や重み付けした平均値など、ノイズ除去前後の値の中間の値にしてもよい。すなわちノィズ除去前の値に戻した場合にノィズ成分が顕著に現れる場合などを考慮し、実験により最適な計算式を導入してよい。産業上の利用可能性

[0197] 本発明によれば、画像の品質を保持しながら効率的に圧縮を行うことがでさる。

Claims

請求の範囲

[1 ] ふたつの画像フレームの差分画像を生成するステップと、

前記差分画像に含まれるエッジを検出し、当該エッジを構成する画素の位置を記憶するステップと、

前記差分画像に含まれるノィズ成分を除去するステツプと、

ノイズ成分を除去した前記差分画像に含まれる画素のうち、前記記憶するステップにおいて位置を記憶した画素の画素値を、前記除去するステップの前の値に近づけるステップと、

を含むことを特徴とする画像圧縮方法。

[2] ふたつの画像フレームの差分画像を生成するステップと、

前記ふたつの画像フレームのマッチングを行い対応点情報を取得するステップと、

前記ふたつの画像フレームにおける前記対応点の変化量を表す指標値が所定の変化量しきい値より大きい画素を含む領域を重要領域として前記差分画像上で特定するステップと、

前記重要領域に含まれるエッジを検出し、当該エッジを構成する画素の位置を記憶するステップと、

前記重要領域に含まれるノィズ成分を除去するステツプと、

ノイズ成分を除去した前記重要領域に含まれる画素のうち、前記記憶するステップにおいて位置を記憶した画素の画素値を、前記除去するステップの前の値に近づけるステップと、

を含むことを特徴とする画像圧縮方法。

[3] 前記特定するステップは、前記差分画像の単位ブロックごとに前記重要領域に含まれるか否かを判定し、

前記ノイズ成分を除去するステップと前記前の値に近づけるステップは前記単位ブロックごとに実行することを特徴とする請求項 2に記載の画像圧縮方法。

[4] 前記差分画像のうち前記重要領域以外の領域に含まれる画素は、前記単位ブロックごとに単一の画素値を与えることを特徴とする請求項 3に記載の画像圧縮方法。

[5] 前記特定するステップは、前記差分画像のうち前記対応点の変化量を表す指標値が所定の変化量しきい値以下の領域に含まれる画素について、単位ブロックごとに画素値の平均値を算出するステツプと、

前記平均値が所定の画素値しきい値より大きい単位ブロックをさらに前記重要領域に含めることを特徴とする請求項 3または 4に記載の画像圧縮方法

[6] a ) 1以上の画像フレームを間に挟む第 1、第 2キーフレーム間でマツチングを計算し、第 1、第 2キーフレーム間の対応点情報を生成するステツプと、

b ) 第 1、第 2キーフレーム間の対応点情報をもとに当該キーフレームに含まれる画素を移動させることによって、仮想の第 2キーフレームを生成するステップと、

c ) 現実の第 2キーフレームと仮想の第 2キーフレームとの差分画像を圧縮符号化するステップと、

d ) 第 1キーフレーム、第 1、第 2キーフレーム間の対応点情報、および、現実の第 2キーフレームと仮想の第 2キーフレーム間で圧縮符号化された差分画像をこれらのキーフレーム間の符号化データとして出力するステツプと、

を備え、

前記 c ) のステップは、前記 a ) のステップにおけるマッチングの精度が低いと判断された領域に対応する前記差分画像上の領域に含まれるエッジを検出し、当該エツジを構成する画素の位置を記憶するステップと、

前記差分画像上の領域に含まれるノィズ成分を除去するステツプと、ノイズ成分を除去した前記差分画像上の領域に含まれる画素のうち、前記記憶するステップにおいて位置を記憶した画素の画素値を、前記除去するステツプの前の値に近づけるステップと、を備えることを特徴とする動画符号化方法。

ふたつの画像フレームの差分画像を生成する差分計算器と、

前記差分計算器が生成した前記差分画像に含まれるェッジを検出し、当該ェッジを構成する画素の位置を記憶するエツジ情報記憶部と、

前記差分計算器が生成した前記差分画像に含まれるノイズ成分を除去するノイズ除去部と、

前記ノイズ除去部がノイズ成分を除去した前記差分画像に含まれる画素のうち、前記エッジ情報記憶部が位置を記憶した画素の画素値を、ノイズ成分を除去する前の値に近づけるエッジ復元部と、

を含むことを特徴とする画像圧縮装置。