JP4328780B2 - 不要領域画像消去装置および不要領域画像消去方法 - Google Patents

Description

本発明は、画像内の不要領域をその痕跡を残さずに消去する不要領域画像消去装置および不要領域画像消去方法に関する。本発明は、例えば、デジタルコンテンツを高度に変形補正する技術の発達した映像製作の分野全般に適用される。また、本発明は、例えば、地上デジタルＴＶ、デジタルカメラ、デジタルビデオ、ＤＶＤレコーダなど画像系の情報家電の分野に広く適用される。

情報家電の高度化と普及により、鮮明なデジタル映像（画像）を誰でも手軽に楽しめるようになってきている。情報家電には、デジタルＴＶ、デジタルカメラ、ビデオ、ＤＶＤレコーダなどがあるが、そこの画面には時刻、ニューステロップなど、画像とは必ずしも直接関係のない情報が一緒に保存されてしまうことがある。このような場合、元の画像に時刻などの文字・数字が画素単位に上書きされてしまっているために、元の画像（画素）に戻すことは容易ではない。特に、動画の場合は、数百、数千枚（フレーム）もあるため、１枚ずつ画像編集ツールを用いた手作業での不要画像の消去は現実的に不可能に近い。 また、近年、半自動的に補正できる技術が登場した。画像や映像の製作現場で頻繁に使われる基本手法の一つである。その多くが、拡散方程式を用いた補正方法であり、補正すべき領域の周りの画像にテクスチャがほとんどない場合には有効な手段となっていた。しかし、複雑なテクスチャが含まれている場合は、拡散方程式に起因したテクスチャの平滑化が生じるために、補正領域内で周辺と同じテクスチャを再現することが困難であった（非特許文献１）。

デジタルＴＶで、ニュース速報が表示された場合でも、そこを消去することができなかったため、録画された映像を繰り返し視聴する場合は、見づらさが問題となっていた。

また、録画された画像を修正して２次配信する場合、修正された領域への暗号化処理はなされていなかった。
M.Bertalmio, G.Sapiro, V.Caselles, and C.Ballester,"Image inpainting", Proceedings of SIGGRAPH 2000, pp.417-424, July 2000.

本発明が解決する課題設定の背景には、以下の問題点がある。

第１の問題点）複雑なテクスチャが補正領域の周辺に含まれている場合は、拡散方程式に起因したテクスチャの平滑化が生じるために、補正領域内で周辺と同じテクスチャを再現することが困難である。第２の問題点）細かいテクスチャと粗いテクスチャの両方ができる統一的な手法が利便上必要である。第３の問題点）細かいテクスチャと粗いテクスチャで、演算量が多く必要として、高速化が操作上、必要である。第４の問題点）異方拡散方程式に基づく方法だけでは、欠落した領域にテクスチャ構造がはっきりした周辺情報を伝播させることが困難であり、視覚的に表示された画質としての向上問題がある。第５の問題点）異方拡散方程式による補正するための計算コストが高い。第６の問題点）どこの画素、画像領域を消去するかを何らか定義する必要がある。第７の問題点）ニュース速報が表示されるタイミングを検出する必要がある。第８の問題点）家庭などでは、不要画像が消去された画像を２次的に配信する場合があるので、デジタル著作権マネージメント（ＤＲＭ：Digital Right Management）が必要である。

以上を踏まえて、本発明は、画像内の不要領域をその痕跡を残さずに消去できる不要領域画像消去装置および不要領域画像消去方法を提供することを目的とする。

本発明では、どこの画素、画像領域を消去するかを何らか定義する必要があり、この領域をマスク画像で定義する。

デジタルＴＶでの、デジタル時刻の消去はチャネルごとに表示される位置、大きさ、フォント、色などが規格で定まっているため、予め、数字、点などをデータベースにしておいて、パターンマッチングにより数字を認識するか、実際の時刻とデータベースから引き出す数字を連動させ、こうして、検出された不要領域を含む部分を覆うマスク画像を自動生成する。例えば、過去に録画された映像の場合は、上記のパターンマッチングによる方法を用いる。

また、ニュース速報の場合は音声認識により警報音を検出し、同時に、規格のデジタル文字表示領域において、文字認識をデータベースに基づいて行い、こうして、検出された不要領域を含む部分を覆うマスク画像を自動生成する。

過去の映像データベース（アーカイブ）に蓄積されていない映像については、本装置に接続されたキーボードやマウスへの操作内容に基づいて、マスク画像を生成する。つまり、画像編集ツールなどを用いてマスク画像を生成すればよい。

また、本発明では、異方拡散方程式、等方拡散方程式、移流方程式、ナビエ・ストークス方程式を併用することにより、細かいテクスチャから粗いテクスチャまで統一的に不要画像を消去する方法を採用する。欠落領域の面積が小さい場合は、等方拡散方程式と異方拡散方程式を併用（交互に適用）し、面積が大きい場合は、移流方程式を適用する。これは、テクスチャ構造がはっきりしている画像の場合は、等方拡散方程式により、テクスチャが不自然にぼやけてしまうので、異方拡散方程式を代わりに用いる。

移流方程式の解法に、有限差分法に代えて、ＣＩＰ法を適用することで、高速化と高精度化（画質）が両立できる。移流方程式における移流項中の速度項については、欠落領域周辺のテクスチャ（模様）を画像処理解析することで、テクスチャ（模様）から速度ベクトルに相当する量を推定して反映させる。周辺のテクスチャ上で推定された速度ベクトルを欠落領域内へ反映させるために、流体力学分野のナビエ・ストークス方程式を適用する。ナビエ・ストークス方程式を適用する際に、初期速度ベクトルとして、欠落領域周辺の速度ベクトルだけでは安定した数値計算が困難であるために、得られている速度ベクトルに基づいて反復的に移動平均を画像全体に加える必要がある。

また、家庭などでは、不要画像が消去された画像を２次的に配信する場合があるので、デジタル著作権マネージメント（ＤＲＭ：Digital Right Management）が必要である。そこで、マスク領域の画像に、視覚ではそれとわからない暗号を埋め込むことで、著作権の侵害を抑制できる。その意味では、電子すかしも適用可能である。

つまり、本発明では、１）文字認識技術をマスク画像生成の際、併用する。また、２）予め、数字、点などをデータベースにしておいて、パターンマッチングにより数字を認識するか、実際の時刻とデータベースから引き出す数字を連動させることで、マスク画像を自動生成する。過去に録画された映像の場合は、上記のパターンマッチングによる方法を用いる。ニュース速報の場合は音声認識により警報音を検出し、同時に、規格のデジタル文字表示領域において、文字認識をデータベースに基づいて行い、マスク画像を自動生成する。過去の映像データベースに蓄積されていない映像については、キーボードやマウスへの操作内容に基づいて、マスク画像を生成する。つまり、画像編集ツールなどを用いてマスク画像を生成する。また、３）画像処理による画素単位への自動処理を高効率な処理による手段により実現する。また、４）異方拡散方程式と等方拡散方程式を交互に用いる。また、５）マスク画像により欠落する欠落領域の面積の大小を判定し、適用する方程式を適応に切り替える。また、６）移流拡散方程式を用いる。また、７）ＣＩＰ法と移流拡散方程式を用いる。また、８）ナビエ・ストークス方程式を用いる。また、９）ナビエ・ストークス方程式を適用する際に、初期速度ベクトルとして、欠落領域周辺の速度ベクトルだけでは安定した数値計算が困難であるために、得られている速度ベクトルに基づいて反復的に移動平均を画像全体に加える。また、１０）欠落領域を補った画像（マスク画像の領域）に、視覚ではそれとわからない暗号を埋め込むことで、著作権の侵害を抑制する。また、電子すかしも適用可能である。

本装置によれば、画像内の不要領域をその痕跡を残さずに消去できる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本実施の形態に係る不要領域画像消去装置の構成図である。

本装置は、データ入力手段１００、画像蓄積手段１１０、不要領域検出手段１２０、マスク画像生成手段１３０、欠落領域面積検出手段１４０、テクスチャ解析手段１５０、速度生成手段１６０、画像補正手段１７０、画像暗号化手段１８０および画像表示手段１９０により構成される。

本装置では、映像データをデータ入力手段１００が入力し、それを画像蓄積手段１１０が蓄積する。映像データが読み出されるとその映像データを構成する画像内の不要領域を不要領域検出手段１２０が検出する。例えば、デジタルテレビの規格に従って、画像内の文字があるべき領域を検出し、その映像データのチャネルに対応する文字フォントや他のチャネルに対応する文字フォントを蓄積したデータベースを参照し、文字自体の領域を不要領域として検出する。なお、文字でなく、不要な図柄などの領域を検出してもよい。マスク画像生成手段１３０は、検出された不要領域を含む部分を覆うマスク画像を生成する。例えば、不要領域より数画素大きいマスク画像を生成する。マスク画像は、それを不要領域を含む部分に重ね合わせ、それにより当該部分の領域を欠落させるためのものであり、欠落領域面積検出手段１４０は、当該マスク画像の面積つまり、マスク画像により欠落する欠落領域の面積を求め、テクスチャ解析手段１５０が、欠落領域の周辺領域のテクスチャを解析する。速度生成手段１６０は、解析結果からテクスチャの方向性を推定し、その方向性から速度ベクトルを推定する。画像補正手段１７０は、求められた面積が予め設定された面積未満の場合は等方拡散方程式と異方拡散方程式を用いて欠落領域を補う一方、求められた面積が予め設定された面積以上の場合は、推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて欠落領域を補う。そして、画像暗号化手段１８０が、欠落領域を補った画像（マスク画像の領域）を、例えば、予め設定されたデジタル著作権マネージメントの規定により暗号化し、暗号化後の全体の画像を画像表示手段１９０が出力（表示）する。また、本装置では、等方拡散方程式、異方拡散方程式、移流方程式およびナビエ・ストークス方程式を、計算格子面で離散化した上で解くようになっている。

デジタルＴＶでの、デジタル時刻の消去はチャネルごとに表示される位置、大きさ、フォント、色などが規格で定まっているため、予め、数字、点などをデータベースにしておいて、不要領域検出手段１２０が、パターンマッチングにより数字を認識するか、実際の時刻とデータベースから引き出す数字を連動させ、こうして、検出された不要領域を含む部分を覆うマスク画像をマスク画像生成手段１３０が自動生成する。例えば、過去に録画された映像の場合は、上記のパターンマッチングによる方法を用いる。

また、ニュース速報の場合は音声認識により警報音を検出し、同時に、規格のデジタル文字表示領域において、不要領域検出手段１２０が、文字認識をデータベースに基づいて行い、こうして、検出された不要領域を含む部分を覆うマスク画像をマスク画像生成手段１３０が自動生成する。

また、過去の映像データベース（アーカイブ）に蓄積されていない映像については、本装置に接続されたキーボードやマウスへの操作内容に基づいて、マスク画像を生成するようになっている。つまり、画像編集ツールなどを用いてマスク画像を生成すればよい。

また、家庭などでは、不要画像が消去された画像を２次的に配信する場合があるので、デジタル著作権マネージメント（ＤＲＭ：Digital Right Management）が必要である。そこで、欠落領域を補った画像（マスク画像の領域）に、画像暗号化手段１８０が、視覚ではそれとわからない暗号を埋め込むことで、著作権の侵害を抑制できる。その意味では、電子すかしも適用可能である。

電子すかしは、元となる画像を破壊することなく、肉眼で認識しにくい文字などを埋め込む技術であり、ほとんどの場合、暗号キーと設定したソフトウェアを利用することで元の画像に復元できる。

なお、不要領域検出手段１２０、マスク画像生成手段１３０、欠落領域面積検出手段１４０、テクスチャ解析手段１５０、速度生成手段１６０、画像補正手段１７０は、他の装置（コンピュータ）に構成してもよい。

図２は、従来における画像内の時刻表示テロップをぼかす例である。

画像２０に複雑な模様があり、テロップの文字２１が表示されている。このテロップの文字の領域２２は、従来は、自動もしくは手動でぼかしを入れられていた。しかし、この工程のあと、文字の領域２２を、本来の複雑な背景の模様（テクスチャ）をもつ画像にまで置換することが困難であった。

図３は、本装置によりテロップの領域を背景置換した結果を示す例である。

画像３０に複雑な模様があり、テロップの文字３１が表示されている。本装置によれば、文字の領域を本来の画像３２に置換することができる。

図４は、本装置が行う画像補正の説明図である。画像修復技術については古い絵画での専門家による手作業によるものがよく知られており、inpaintingと呼ばれる。新しい絵画や写真でも傷がついたものを本来あったと推定される絵や画像に局所的に置き換えることで違和感のない元に限りなく近いものを復元する技術であり、保存性の観点から重要な手法である。修復される領域のまわり、近傍の図柄を手がかりに行われていると考えられる。近年、コンピュータグラフィックスの分野では、参考文献１にあるように、異方拡散（Anti-Diffusion：ＡＤ）方程式を用いた方法で、計算機による自動修復が試みられている。図４はこの原理と考え方を示すものである。

本来の図柄、画像２００に基づいて、その内側の画像がない、欠落した領域２１０を補間する。欠落した領域２１０をマスク画像とした場合、その外側は境界条件として含める。マスク画像の法線ベクトルに沿って、周辺の画像２００を境界条件として既知（初期値）とする。異方拡散方程式の変数は画像領域の画素とする。初期値を異方拡散方程式に入力して、時間積分を繰り返すことで、境界の図柄が法線ベクトルに沿って内側のマスク画像へ伝播する。その結果内側のマスク画像に相当する領域が補間される（符号２２０で示す）。これを繰り返すことで、中心部まですべての領域が周辺の画像情報により修復される。モノクロからカラーの図柄（テクスチャ）まで適用できる。

以下に、従来法についてと、本発明における方法の数式について説明する。

従来法は、式（１）をメイン方程式にしながら、ある時間積分回数ごとに、式（９）のみを用いる。これに対して、本発明では、式（９）と（１１）を併用（交互に適用）する。画像濃淡値をＩとし、画素（ｉ，ｊ）、離散化された時間のｎ番目に関する情報をもつものとする。ｉ，ｊ，ｎは整数である。時間幅δｔ、画素の縦横の幅をそれぞれ、Δｘ，Δｙとする。式（１）では、式（２）〜式（７）が使われる。各式の概要について述べる。Ωは画像補正を行う領域を示す。Ｌは画像に関する情報であるが、式（３）は式（４）からわかるように、画像Ｉの２次の空間微分値である。式（５）は単位ベクトルを表す。式（６）は、画像濃淡値の等高線（等濃度線）の法線ベクトルである。これは、既知の画像から補正する画像内へ、どちらの方向へ計算を進めるか（補正を行うか）を決定する量である。式（７）は画像濃淡値のエッジの大きさを表す。式（７）中、右辺の添え字、ｆ，ｂはそれぞれ差分法における前進差分、後退差分を表す。Min，Maxはそれぞれ、０と微分値を比べて小さい方、大きい方を選択する。これまで、収束判定条件は、式（１）（時間発展方程式という）における画像濃淡値Ｉの時間変化がほとんどなくなった場合、もしくは、式（２）が微小値以下になったときとしていた。

異方拡散方程式（８）を離散化表現すると式（９）となる。これは、画像中、エッジ形状を保存しながら、拡散させる２つの効果をあわせもっているのが特徴である。Ｋは拡散係数相当である。等方拡散方程式は式（１０）からその離散化表現された等方拡散方程式（１１）を用いる。λは拡散係数である。式（１０）の左辺は画像濃淡値Ｉに関しての時間変化項、右辺は空間２次微分項である。等方拡散は拡散係数の大きいと単位時間当りの、初期の画像濃淡値を薄めながら、その面積を広げていく効果がある。

従来法として、式（１）と式（８）を併用した（交互に用いた）とき、式（８）は既知画像の濃淡値を境界条件として拾う。そのあと、式（８）だけで時間積分して補正領域内に境界条件から拾った画像濃淡値を伝播、拡散させる。

図５は、マスク画像により欠落した欠落領域の面積に応じて補正方法を選択することの説明図である。マスク画像（ステップＳ１：マスク画像の入力）には、画像表示するときの画素位置情報が含まれていることを利用して、欠落領域面積検出手段１４０が欠落領域の面積を求める（ステップＳ２：欠落領域の面積を求める）。ここでは、図５（ｂ）に示すように、例えば、マスク画像を構成する画素のアドレスからなる一次元配列を二次元配列に変換した場合の４点近傍連結および８点連結近傍の画素の数を求める。次に、計算された面積と予め設定された面積（例えば、１００画素）とを比較する（ステップＳ３：面積比較）。予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を併用する（ステップＳ４：等方拡散方程式／異方拡散方程式）一方、予め設定された面積以上のときは、移流方程式とナビエ・ストークス方程式を併用する（ステップＳ５：移流方程式／ナビエ・ストークス方程式）。

また、等方拡散方程式と異方拡散方程式を所定回数毎に交互に適用してもよい。この場合は、例えば、等方拡散方程式の適用回数を１０回、異方拡散方程式の適用回数を３回等と設定する。

図６は、図５におけるステップＳ４の補足説明図である。ここでは、時間発展方程式を所定の回数用いる（Ｓ４１：時間発展方程式）が、例えば、偶数回では、等方拡散方程式を適用し（Ｓ４３：等方拡散方程式）、奇数回では異方拡散方程式を適用し（Ｓ４４：異方拡散方程式）、所定回数に達したら、または収束したら（Ｓ４２：所定回数？収束？）、欠落領域に画像補正されて修復された画像を出力する（Ｓ４５：出力）。

面積が大きいときに、等方拡散方程式のみを適用すると、十分な画像補正がなされず、滑らかなぼやけ補正となる。また、粗いテクスチャパターンは平滑効果により、ぼやけてしまう。一方、異方拡散方程式のみだと、逆に、細かいテクスチャは補正画像として伝播されずに、粗いテクスチャのみが補正となる。したがって、両者の利点を生かすことで、細かいテクスチャと粗いテクスチャを欠落領域において生成することができる。

図７は、図５におけるステップＳ５の補足説明図である。まず、速度生成手段１６０が、ナビエ・ストークス方程式を適用して、時間発展となった速度を作り出す（Ｓ５１：速度生成）。次に、時間発展方程式を所定の回数用いる（Ｓ５２：時間発展方程式）が、その後に、移流方程式を適用し（Ｓ５３：移流方程式）、所定回数に達したら、または収束したら（Ｓ５４：所定回数？収束？）、欠落領域に画像補正されて修復された画像を出力する（Ｓ５５：出力）。

図８は、周辺領域のテクスチャ３００（波状パターン）を欠落領域（点線枠内）へどのように伝播させるかについての説明図である。

ここでは、周辺領域のテクスチャ３００とこれに連続するテクスチャ（欠落領域を補うテクスチャ）とからなるテクスチャ３１０を得るのが目的となる。その目的達成のためには、周辺領域のテクスチャの特徴を解析する必要がある。解析については、テクスチャの方向性、周期性、大きさなどを空間周波数画像上で解析すればよい。特に、テクスチャの方向性については、移流方程式における速度ベクトルとして使用する。欠落領域内へ周辺領域上のテクスチャの方向性（速度ともよぶ）を伝播させるためには、速度の成分に対して、移動平均フィルタを反復的に繰り返して使用し、初期速度場を形成する。続いて、ナビエ・ストークス方程式へこの初期速度場を代入して、適当な回数だけ時間積分を行って、流体的に速度場を伝播させながら、連続にしていく。このとき、欠落領域の境界部の速度場は四辺とも常に固定しておく。このようにして、ナビエ・ストークス方程式により、欠落領域の内外で速度場が連続になる。続いて、移流方程式を用いて、テクスチャを欠落領域へ伝播させる。このようにして、欠落領域の内外でテクスチャを用いて、テクスチャを欠落領域へ伝播させる。このようにして、欠落領域の内外でテクスチャを含んだ連続的な画像修復が達成できる。

次に、ナビエ・ストークス方程式の解法について説明する（参考文献２）。

ここでは、ＨＳＭＡＣ法という方法でナビエ・ストークス方程式を解く。

連続式を圧力（もしくは気圧）に関して調整をしながら、非線形連立方程式を反復的に解いていく。ナビエ・ストークス方程式は、速度と圧力の２つの独立変数を含む。流れの対象を被圧縮流体と仮定すると、離散化した連続式はゼロが速度場に対する条件となる（Ａ１）。計算格子点上、圧力変数は１メッシュ毎に１変数、速度変数については、その垂直・水平成分を格子点上に配置するものとする。

次に、未来の速度場を得るために、時間項に関して、前進差分化する（Ａ２）。

画像特徴量から速度成分をナビエ・ストークス方程式を解くときの初期値として与え、圧力については全領域ゼロとして推定している。境界条件は、画像輪郭部に連続条件を課している。また、粘性係数と密度については経験的に決定した。

各メッシュ毎に、圧力の傾きを考えた場合、その傾きに沿って速度の方向と大きさが決定される。式（Ａ１）が各メッシュ毎に満たされるように、圧力を調整するような解法をとる。式（Ａ３），（Ａ４）を用いて、メッシュ毎に速度成分と圧力を微小量ずつ、全メッシュについて反復的に計算を進める。条件式（Ａ１）が一定微小値未満になるまで続ける。

収束した結果が、ある離散時間から次の時間ステップまでの、速度成分と圧力が予測できる。時間積分を所定回数繰り返せばよい。

以上のように、本装置によれば、画像内の不要領域をその痕跡を残さずに消去できる。つまり、テロップやスーパーインポーズなどの領域を自動的にもとの背景図柄に置換することができる。また、これまでの手作業によるテロップ領域へのぼかし作業を超えて、違和感のない、もとの画像への置換が自動的かつ効率的にできる。また、ＤＲＭの枠組みをマスク画像の領域に適用することで、不要画像が消去された画像（映像）の不正な流通を抑制する機能も備えている。

以上により、ブロードバンド時代における家庭からプロ仕様まで、デジタルカメラ、デジタルビデオ、デジタルテレビにおける国内外のデジタル産業における新しい画像変換技術の中核となることが考えられる。

なお、これまで説明した不要領域画像消去方法を本装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。

（参考文献１）暗号化技術の例，http://www.sys.cs.meiji.ac.jp/~masao/Board.Infosys2000/security/firewall.htm
（参考文献２）荒川忠一、“数値流体工学”，東京大学出版会，1995.
（参考文献３）電子すかし,http://chubu.yomiuri.co.jp/news_i/me050703_1.htm

本実施の形態に係る不要領域画像消去装置の構成図である。 従来における画像内の時刻表示テロップをぼかす例である。 本装置によりテロップの領域を背景置換した結果を示す例である。 本装置が行う画像補正の説明図である。 マスク画像により欠落した欠落領域の面積に応じて補正方法を選択することの説明図である。 図５におけるステップＳ４の補足説明図である。 図５におけるステップＳ５の補足説明図である。 周辺領域のテクスチャ３００（波状パターン）を欠落領域（点線枠内）へどのように伝播させるかについての説明図である。

符号の説明

１００ データ入力手段
１１０ 画像蓄積手段
１２０ 不要領域検出手段
１３０ マスク画像生成手段
１４０ 欠落領域面積検出手段
１５０ テクスチャ解析手段
１６０ 速度生成手段
１７０ 画像補正手段
１８０ 画像暗号化手段
１９０ 画像表示手段

Claims (10)

1. 画像内の不要領域を検出する不要領域検出手段と、
   前記検出された不要領域を含む部分を覆うマスク画像を生成するマスク画像生成手段と、
   前記生成されたマスク画像により欠落する欠落領域の面積を求める欠落領域面積検出手段と、
   前記欠落領域の周辺領域のテクスチャを解析するテクスチャ解析手段と、
   前記周辺領域のテクスチャの解析結果から当該テクスチャの方向性を推定し、推定した方向性から速度ベクトルを推定する速度生成手段と、
   前記計算された面積が予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を用いて前記欠落領域を補う一方、前記計算された面積が前記予め設定された面積以上のときは、前記推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて前記欠落領域を補う画像補正手段と、
   を備えることを特徴とする不要領域画像消去装置。
2. 不要領域画像消去装置に構成された不要領域検出手段が、画像内の不要領域を検出し、
   前記不要領域画像消去装置に構成されたマスク画像生成手段が、前記検出された不要領域を含む部分を覆うマスク画像を生成し、
   前記不要領域画像消去装置に構成された欠落領域面積検出手段が、前記生成されたマスク画像により欠落する欠落領域の面積を求め、
   前記不要領域画像消去装置に構成されたテクスチャ解析手段が、前記欠落領域の周辺領域のテクスチャを解析し、
   前記不要領域画像消去装置に構成された速度生成手段が、前記周辺領域のテクスチャの解析結果から当該テクスチャの方向性を推定し、推定した方向性から速度ベクトルを推定し、
   前記不要領域画像消去装置に構成された画像補正手段が、前記計算された面積が予め設定された面積未満のときは、等方拡散方程式と異方拡散方程式を用いて前記欠落領域を補う一方、前記計算された面積が前記予め設定された面積以上のときは、前記推定された速度ベクトルと移流方程式とナビエ・ストークス方程式を用いて前記欠落領域を補う、
   ことを特徴とする不要領域画像消去方法。
3. 前記不要領域画像消去装置に構成された画像暗号化手段が、前記欠落領域を補った画像を暗号化することを特徴とする請求項２記載の不要領域画像消去方法。
4. 前記画像暗号化手段は、予め設定されたデジタル著作権マネージメントの規定により暗号化を行うことを特徴とする請求項３記載の不要領域画像消去方法。
5. 前記等方拡散方程式、異方拡散方程式、移流方程式およびナビエ・ストークス方程式を、計算格子面で離散化した上で解くことを特徴とする請求項２ないし４のいずれかに記載の不要領域画像消去方法。
6. 前記テクスチャ解析手段は、前記周辺領域のテクスチャからエッジ構造を検出することを特徴とする請求項２ないし５のいずれかに記載の不要領域画像消去方法。
7. 前記速度ベクトル生成手段は、前記推定された速度ベクトルを基にした移動平均処理を反復して行うことにより速度場を画像全体に形成することを特徴とする請求項２ないし６のいずれかに記載の不要領域画像消去方法。
8. 画像を構成する画素のアドレスからなる一次元配列を二次元配列に変換した場合の４点近傍連結および８点連結近傍の画素を欠落領域として検出し、該欠落領域を構成する画素の数を当該欠落領域の面積とすることを特徴とする請求項２ないし７のいずれかに記載の不要領域画像消去方法。
9. 前記マスク画像生成手段は、前記不要領域画像消去装置に接続された装置への操作内容に基づいてマスク画像を生成することを特徴とする請求項２ないし８のいずれかに記載の不要領域画像消去方法。
10. 請求項２ないし９のいずれかに記載の不要領域画像消去方法を不要領域画像消去装置に実行させるコンピュータプログラム。