JP5410231B2 - 不等間隔標本化装置、そのプログラム、及び、多次元不等間隔標本化装置 - Google Patents

Description

本発明は、入力された入力画像の複雑度を算出すると共に、複雑度を用いて入力画像を不等間隔で標本化して不等間隔標本化画像を生成する技術に関する。

従来から、画像の解像度を変換する技術として、最近傍法（ニアレストネイバー法）、双一次法（バイリニア法）、双三次法（バイキュービック法）等の補間処理に基づく技術が知られている。

また、解像度が低い低解像度画像を解像度が高い高解像度画像に変換する技術として、時間方向に各画素乃至ブロックの移動量を入力画像（低解像度画像）から推定し、推定された移動量と複数時点の画像群とに基づいて高解像度画像を生成する超解像技術がある（例えば、特許文献１，２参照）。

また、エッジ等の空間的な画像特徴を適応的に判断しつつ補間値を生成することで、線形補間よりも鮮鋭な画質の高解像度画像を生成する超解像技術がある（例えば、非特許文献１参照）。さらに、視覚的に重要な領域の解像度を損なわぬように、空間的に不均等な画像変形を行うseam carving法がある（例えば、非特許文献２参照）。

特開２００６−１２７２４１号公報（特許第３８３７５７５号公報） 特開２００８−１０９３７５号公報

松本信幸、井田孝，"フレーム内再構成型超解像の領域適応処理による高画質化の検討，" 電子情報通信学会技術報告，Ｖｏｌ．１０８， Ｎｏ．４，ｐｐ．３１−３６（２００８）． Shai Avidan, Ariel Shamir,"Seam Carving for Content-Aware Image Resizing,"ACM Trans.Graph.26,3,10.

しかし、前記した従来技術では、以下で述べるような様々な問題がある。
最近傍法、双一次法、双三次法等の補間処理に基づく技術を用いて、入力された高解像度画像を低解像度画像に変換し、この低解像度画像を高解像度画像にさらに再変換して出力した場合を考える。この場合、入力された高解像度画像に含まれていた画像情報の高周波成分、すなわち、細かい模様に関する情報が失われ、再変換した高解像度画像がぼけてしまう。

また、特許文献１，２及び非特許文献１に記載の超解像技術では、時間方向に各画素乃至ブロックの移動量を入力画像から推定し、画像特徴に応じた複雑な非線形演算により補間値を生成する必要があり、演算量が大きくなる。

また、非特許文献２に記載のseam carving法では、視覚的に重要な部分の解像度や形状を保持したまま非線形的な写像を行って画像サイズを変形するものであり、復元に必要な変形の度合等を記述する方法が与えられておらず、元の画像を復元することは考慮されていない。すなわち、非特許文献２に記載のseam carving法では、非線形な写像で変形されたものを復元するための逆写像が必要になるが、この非線形な逆写像の情報（変形パラメータ）は、元の画像における全標本点の情報であるため、その情報量が大きくなるという問題がある。

そこで、本発明は、簡易な演算で、鮮明な画像に復元可能な不等間隔標本化画像を生成すると共に、不等間隔標本化画像を復元するときに必要となる変形パラメータの情報量を少なくできる技術を提供することを目的とする。

前記した課題を解決するため、本願第１発明に係る不等間隔標本化装置は、入力された入力画像の複雑度を算出すると共に、前記複雑度を用いて前記入力画像を不等間隔で標本化して不等間隔標本化画像を生成する不等間隔標本化装置であって、複雑度算出手段と、標本点座標算出手段と、標本化手段と、を備え、前記標本点座標算出手段が、当該標本点座標算出手段が算出した標本点の座標を、補間処理によって前記走査線の間に補間する補間手段をさらに備えることを特徴とする。

かかる構成によれば、不等間隔標本化装置は、複雑度算出手段によって、前記入力画像を複数の部分領域に分割すると共に、当該部分領域毎に、予め設定された空間方向又は時間方向の標本軸で隣接する画素同士の画素値の差を示す差分画像を生成し、当該差分画像に含まれる画素値の絶対値の総和を、前記入力画像における前記部分領域毎の複雑さを示す前記複雑度として算出して出力する。この複雑度は、不等間隔標本化画像を復元するときに必要となる変形パラメータであり、部分領域毎に算出する情報である。つまり、複雑度は、全標本点の情報である従来の変形パラメータに比べて、その情報量が少ない。

また、不等間隔標本化装置は、標本点座標算出手段によって、前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、予め設定された標本点の数だけ、前記複雑度算出手段によって算出された複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように前記標本点の座標を算出する。さらに、前記標本点座標算出手段は補間手段を備えて、当該標本点座標算出手段が算出した標本点の座標を、補間処理によって前記走査線の間に補間する。そして、不等間隔標本化装置は、標本化手段によって、前記標本点座標算出手段が算出した標本点の座標で、前記入力画像を前記標本軸の方向に標本化して前記不等間隔標本化画像を生成する。つまり、不等間隔標本化装置は、入力画像で複雑な部分は細かく標本化を行い、かつ、入力画像で単純な部分は粗く標本化を行う。これによって、不等間隔標本化装置は、等間隔で標本化した画像に比べて、同程度の情報量で細かな表現がされた不等間隔標本化画像を生成できる。また、標本点の座標を補間するので、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。さらに、不等間隔標本化装置は、１次元の標本化であることから、その演算が簡易である。

なお、不等間隔の標本化とは、標本点同士の間隔が異なるように標本化することを言い、必ずしも全標本点の間隔が異ならなくとも良い。
また、等間隔の標本化とは、全標本点の間隔が等しくなるように標本化することを言う。

また、本願第２発明に係る不等間隔標本化装置は、前記標本化手段が、注目している前記標本点である注目標本点の画素値と、前記注目標本点の周囲に位置する１以上の前記標本点である周囲標本点の画素値との平均値を算出し、前記平均値を前記注目標本点の画素値とするフィルタをさらに備えることを特徴とする。かかる構成によれば、不等間隔標本化装置は、フィルタによってエイリアシングを低減して、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。

また、本願第３発明に係る不等間隔標本化装置は、前記複雑度算出手段が出力した複雑度を、電子透かしとして、前記標本化手段が生成した不等間隔標本化画像に付加する電子透かし付加手段をさらに備えることを特徴とする。かかる構成によれば、不等間隔標本化装置は、複雑度の存在を隠蔽することができる。

また、前記した課題を解決するため、本願第４発明に係る不等間隔標本化プログラムは、コンピュータを、前記した不等間隔標本化装置として機能させる。

また、前記した課題を解決するため、本願第５発明に係る多次元不等間隔標本化装置は、本願第１発明に係る不等間隔標本化装置をｋ台直列に接続した多次元不等間隔標本化装置であって、第１の不等間隔標本化装置は、前記入力画像としてｋ次元画像が入力されると共に、予め設定された空間方向又は時間方向の第１標本軸で当該ｋ次元画像を標本化して不等間隔標本化画像を生成し、第ｋの不等間隔標本化装置は、第ｋ−１の不等間隔標本化装置によって標本化された不等間隔標本化画像が入力されると共に、第ｋ標本軸の方向に当該不等間隔標本化画像を標本化することを特徴とする多次元不等間隔標本化装置（但し、ｋは２以上の整数）。

かかる構成によれば、多次元不等間隔標本化装置は、全標本点の情報である従来の変形パラメータに比べて、情報量が少ない複雑度を変形パラメータとして算出する。また、多次元不等間隔標本化装置は、等間隔で標本化した多次元画像に比べて、同程度の情報量で細かな表現がされた多次元の不等間隔標本化画像を生成できる。さらに、多次元不等間隔標本化装置は、１次元の標本化をｋ回繰り返すだけであるから、その演算が簡易である。

前記したｋは、標本化の次元数を示すものであり、２以上の整数である。
ここで、ｋ＝２の場合、入力画像（２次元画像）としては、例えば、静止画像がある。また、ｋ＝３の場合、入力画像（３次元画像）としては、例えば、動画像又は立体静止画像がある。さらに、ｋ＝４の場合、入力画像（４次元画像）としては、例えば、立体動画像がある。

本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、簡易な演算で、鮮明な画像に復元可能な不等間隔標本化画像を生成すると共に、補間処理によって標本点の座標を補間するので、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。

本願第２発明によれば、フィルタによってエイリアシングを低減して、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。
本願第３発明によれば、複雑度の存在を隠蔽することができ、不等間隔標本化装置をスクランブル装置として用いる場合に特に好ましい。

本発明における画像変形復元システムの概略を説明する図である。 等間隔での標本化を説明する図であり、（ａ）は等間隔の標本化の概念図であり、（ｂ）は等間隔で標本化された画像を示す図である。 本発明における変形画像を説明する図であり、（ａ）は不等間隔の標本化の概念図であり、（ｂ）は変形画像を示す図である。 図１の画像変形装置の構成を示すブロック図である。 本発明における複雑度と標本点とを説明する図であり、（ａ）は複雑度を説明する図であり、（ｂ）は標本点の座標の算出を説明する図であり、（ｃ）は標本点の座標の補間を説明する図である。 図５（ａ）の最上段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は複雑度と部分領域位置との関係を示す図であり、（ｂ）は複雑度と画素領域位置との関係を示す図である。 図５（ａ）の最上段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は累計複雑度と画素位置との関係を示す図であり、（ｂ）は累計複雑度から算出した標本点の座標を説明する図である。 図５（ａ）の最下段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は複雑度と部分領域位置との関係を示す図であり、（ｂ）は複雑度と画素領域位置との関係を示す図である。 図５（ａ）の最下段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は累計複雑度と画素位置との関係を示す図であり、（ｂ）は累計複雑度から算出した標本点の座標を説明する図である。 図４のフィルタの具体例を説明する図であり、（ａ）は周囲８近傍の周囲標本点を用いたフィルタ処理であり、（ｂ）は標本軸の方向に隣接する周囲標本点を用いたフィルタ処理である。 図４の画像変形装置の動作を示すフローチャートである。 図４の画像変形装置の変形例１を示すブロック図である。 図４の画像変形装置の変形例２を示すブロック図である。 図４の画像変形装置の変形例３を示すブロック図である。 図４の画像変形装置の変形例４を示すブロック図である。 本発明の第２実施形態に係る画像変形装置の構成を示すブロック図である。 本発明の第３実施形態に係る画像変形装置の構成を示すブロック図である。 本発明において、３次元画像の部分領域を示す図である。 図１８の３次元画像において、中央の部分領域の拡大図である。 図１９を上面視した図である。 図１９を右側面視した図である。 図１７の画像変形装置による補間処理を説明する図である。 本発明の第４実施形態に係る画像変形装置の構成を示すブロック図である

［画像変形復元システムの概略］
以下、図１を参照して、本発明における画像変形復元システム１の概略について説明する。図１に示すように、画像変形復元システム１は、画像変形装置（不等間隔標本化装置）２と、画像復元装置３とを備える。また、画像変形復元システム１は、図示を省略したネットワーク又は放送波を介して、画像変形装置２と、画像復元装置３とが接続されている。

画像変形装置２は、入力された入力画像の変形パラメータ（複雑度）を算出すると共に、変形パラメータを用いて、標本軸の方向に入力画像を不等間隔で標本化して変形画像（不等間隔標本化画像）を生成する。なお、画像変形装置２が、請求項に記載の不等間隔標本化装置に相当する。

画像復元装置３は、画像変形装置２から変形画像と変形パラメータとが入力されると共に、変形パラメータを用いて、変形画像から復元画像を復元する。具体的には、画像復元装置３は、変形パラメータから入力画像と変形画像との標本点の座標の対応関係を算出し、この対応関係に基づいて、標本軸の方向に変形画像から復元画像を復元する。ここで、画像変形装置２の標本軸と画像復元装置３の標本軸とは、同一方向であることが好ましい。なお、画像復元装置３の詳細は、省略する。

入力画像は、任意の画像であり、例えば、２次元画像、３次元画像又は４次元画像である。ここで、例えば、入力画像を２次元画像として説明する。
変形画像は、入力画像から、不等間隔の標本化により生成した画像であり、入力画像と同じ次元数となる。なお、変形画像が、請求項に記載の不等間隔標本化画像に相当する。

変形パラメータは、変形画像から復元画像を復元するときに必要となるパラメータであり、入力画像における部分領域毎の模様（濃淡変化）の複雑さを示す複雑度である。
復元画像は、変形パラメータを用いて、変形画像から復元された画像である。

＜変形画像の具体例＞
以下、図２，図３を参照し、変形画像の具体例について、従来の等間隔で標本化した画像と比べながら説明する。図２（ａ）及び図３（ａ）では、標本化の間隔（つまり、標本点同士の間隔）を、格子の大きさで示している。つまり、格子が小さくなる程、細かい標本化を行うことを示し、格子が大きくなる程、粗い標本化を行うことを示す。なお、この格子は説明のために図示したものであり、この格子が変形画像に付加されるわけでない。

ここで、図２及び図３に示すように、この具体例の画像は、左上部分が背景（例えば、空及び雲）で、これ以外の部分が被写体（例えば、建物を含めた街の風景）である。従って、この画像は、左上部分が単純な模様となっており、これ以外の部分が複雑な模様となっている。

等間隔の標本化では、図２（ａ）に示すように、各格子が同じ大きさであることから、画像の複雑さに関係なく、模様が複雑な部分でも、模様が単純な部分でも同一の間隔で標本化を行う。従って、等間隔で標本化した画像は、図２（ｂ）に示すように、画像に含まれる被写体及び背景が、変形することなく描写されている。

一方、本発明における不等間隔の標本化では、図３（ａ）に示すように、模様が複雑な部分では細かい標本化を行い（格子が小さい）、模様が単純な部分では粗い標本化を行う（格子が大きい）。そして、この不等間隔で標本化された変形画像は、等間隔で標本化した画像と比べ、同程度の情報量で細かな表現が可能となる。なお、この変形画像は、図３（ｂ）に示すように、例えば、被写体が背景を埋めるように変形する。

（第１実施形態）
［画像変形装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。図４に示すように、画像変形装置２は、画像解析手段（複雑度算出手段）２１と、写像生成手段（標本点座標算出手段）２３と、標本化手段２５とを備える。

以下、水平方向にｍ番目（ｍ＝０，１，・・・，Ｍ−１）で、垂直方向にｎ番目（ｎ＝０，１，・・・，Ｎ−１）の部分領域をＢ_ｍ，ｎとする。また、入力画像をＩ（ｘ，ｙ）とする。ここで、ｘは水平座標、ｙは垂直座標であり、いずれも画素単位とする。さらに、入力画像の幅をＸ画素、入力画像の高さをＹ画素とする。また、部分領域をＢ_ｍ，ｎの複雑度をＣ_ｍ，ｎとする。

画像解析手段２１は、入力画像Ｉ（ｘ，ｙ）が入力されると共に、この入力画像Ｉ（ｘ，ｙ）のどの部分がどの程度複雑であるかを解析し、複雑度Ｃ_ｍ，ｎを算出する。まず、画像解析手段２１は、入力画像Ｉ（ｘ，ｙ）を水平方向でＭ個、垂直方向でＮ個、合計Ｍ×Ｎ個の部分領域Ｂ_ｍ，ｎに分割（等分）する。

次に、画像解析手段２１は、差分画像Ｄ（ｘ，ｙ）を生成する。ここで、例えば、画像解析手段２１は、標本軸が水平方向であれば水平方向の差分画像Ｄ（ｘ，ｙ）を生成し、標本軸が垂直方向であれば垂直方向の差分画像Ｄ（ｘ，ｙ）を生成する。以下、水平方向の差分画像Ｄ（ｘ，ｙ）を生成する第１例と、垂直方向の差分画像Ｄ（ｘ，ｙ）を生成する第２例とをそれぞれ説明する。

＜水平方向の差分画像の生成：第１例＞
この場合、画像解析手段２１は、入力画像Ｉ（ｘ，ｙ）において、水平方向の標本軸で隣接する画素同士の画素値の差を算出し、水平方向の差分画像Ｄ（ｘ，ｙ）を生成する。つまり、画像解析手段２１は、下記の式（１）で表される差分画像Ｄ（ｘ，ｙ）を生成する。

＜垂直方向の差分画像の生成：第２例＞
この場合、画像解析手段２１は、入力画像Ｉ（ｘ，ｙ）において、垂直方向の標本軸で隣接する画素同士の画素値の差を算出し、垂直方向の差分画像Ｄ（ｘ，ｙ）を生成する。つまり、画像解析手段２１は、下記の式（２）で表される差分画像Ｄ（ｘ，ｙ）を生成する。

そして、画像解析手段２１は、部分領域Ｂ_ｍ，ｎ毎に、差分画像Ｄ（ｘ，ｙ）に含まれる全画素の画素値の絶対値の総和を、複雑度Ｃ_ｍ，ｎとして算出する。つまり、画像解析手段２１は、下記の式（３）で表される複雑度Ｃ_ｍ，ｎを算出する。さらに、画像解析手段２１は、算出した複雑度Ｃ_ｍ，ｎを写像生成手段２３に出力すると共に、この複雑度Ｃ_ｍ，ｎを変形パラメータとして、画像復元装置３に出力する。

このように算出した複雑度Ｃ_ｍ，ｎは、標本軸が水平方向の場合（式（１）を用いた場合）、入力画像Ｉ（ｘ，ｙ）における水平方向の濃淡変化の回数と濃淡のコントラストとの両者に関連した値となる。また、この複雑度Ｃ_ｍ，ｎは、標本軸が垂直方向の場合（式（２）を用いた場合）、入力画像Ｉ（ｘ，ｙ）における垂直方向の濃淡変化の回数と濃淡のコントラストとの両者に関連した値となる。つまり、この複雑度Ｃ_ｍ，ｎは、その値が大きい程、標本軸の方向で模様が複雑であることを示す。

ここで、図５（ａ）に、画像解析手段２１が、入力画像Ｉ（ｘ，ｙ）を、入力画像を水平方向で４個（Ｍ＝４）、かつ、垂直方向で３個（Ｎ＝３）に等分し、部分領域Ｂ_ｍ，ｎに対して複雑度Ｃ_ｍ，ｎを求めた例を示す。なお、図５（ａ）では、複雑度Ｃ_ｍ，ｎを数字で図示した。例えば、左上の部分領域Ｂ_０，０の複雑度Ｃ_０，０は、６である。

図４に戻り、画像変形装置２の構成について説明を続ける。
写像生成手段２３は、後記する補間手段２３ａを備えると共に、画像解析手段２１から複雑度Ｃ_ｍ，ｎが入力される。また、写像生成手段２３は、この複雑度Ｃ_ｍ，ｎに基づいて、標本点の座標を算出して、算出した標本点の座標を標本化手段２５に出力する。

ここで、例えば、写像生成手段２３は、標本軸が水平方向であれば水平方向に標本点の座標を算出し、標本軸が垂直方向であれば垂直方向に標本点の座標を算出する。以下、水平方向に標本点の座標を算出する第１例と、水平方向に標本点の座標を算出する第２例とをそれぞれ説明する。なお、写像生成手段２３が、請求項に記載の標本点座標算出手段に相当する。

このとき、各部分領域Ｂ_ｍ，ｎには、予め代表点を設定しておく。この代表点は、例えば、各部分領域Ｂ_ｍ，ｎの中心点としても良く、各部分領域Ｂ_ｍ，ｎの頂点（例えば、右上、左上、右下、左下）等の任意の点としても良い。

＜水平方向に標本点の座標を算出：第１例＞
この場合、写像生成手段２３は、水平方向で連続した部分領域Ｂ_ｍ，ｎについて、その代表点を水平方向（標本軸の方向）に通過する走査線Ｓ_ｎを生成する。ここで、走査線Ｓ_ｎの長さは、入力画像Ｉ（ｘ，ｙ）の幅Ｘと同一とする。そして、写像生成手段２３は、走査線Ｓ_ｎ上におけるｕ番目（ｕ＝０，・・・，Ｕ−１）の標本点の座標ｘ_ｎ（ｕ）を以下のように算出する（但し、０≦ｘ_ｎ（ｕ）≦Ｘ−１）。なお、Ｕは走査線Ｓ_ｎの一本に予め設定された標本点の数である。

まず、複雑度Ｃ_ｍ，ｎに基づき、複雑度の関数ｃ_ｎ（ｘ）を下記の式（４）のように定義する。

図６を参照して、式（４）を説明する。図６（ａ）は、ｎを固定しつつｍを変化させた場合の複雑度Ｃ_ｍ，ｎの例であり、図５（ｂ）の最上段の走査線Ｓ_ｎに対応する。ここで、式（４）右辺において、下記の式（５）の項「Ｍ・ｘ／Ｘ」の小数点以下を切り捨てた値が、複雑度Ｃ_ｍ，ｎの第一インデックス（ｍ方向）となり、図６（ｂ）の関数が得られる。すなわち、図６（ｂ）のグラフは、図６（ａ）のグラフを、横軸方向にＸ／Ｍ倍にスケーリング（引き伸ばし）した後、零次ホールドを適用したものとなる。このため、図６（ａ）の横軸の「部分領域位置ｍ」が、図６（ｂ）の横軸の「画素位置ｘ」に変化する。

次に、図７（ａ）に示すように、複雑度の関数ｃ_ｎ（ｘ）をｘ＝０からｘ方向に定積分し、下記の式（６）で表される累計複雑度の関数ａ_ｎ（ｘ）とする。

さらに、図７（ｂ）に示すように、ｕ＝０，１，・・・，Ｕ−１に対して、ａ_ｎ（ｘ）＝ｕを満たすｘをξ_ｎ（ｕ）とする。最後に、下記の式（７）に示すように、ξ_ｎ（ｕ）の小数点以下を切り捨てて、標本点の座標ｘ_ｎ（ｕ）とする。

以上のように、写像生成手段２３は、式（４）から式（７）を用いることで、走査線Ｓ_ｎ毎に、標本点の数Ｕだけ、複雑度Ｃ_ｍ，ｎが高い部分領域Ｂ_ｍ，ｎでは標本点が多く、かつ、複雑度Ｃ_ｍ，ｎが低い部分領域Ｂ_ｍ，ｎでは標本点が少なくなるように、標本点の座標ｘ_ｎ（ｕ）を算出できる。言い換えると、写像生成手段２３は、全ての走査線Ｓ_ｎについて、同数の標本点を割り振ることになる。

ここで、図５（ａ）の最上段の各部分領域Ｂ_０，ｎについて、標本点の座標ｘ_ｎ（ｕ）の計算例を説明する。このとき、標本点の数Ｕを１２とする。この場合、図６（ａ）に示すように、複雑度Ｃ_ｍ，ｎの値は、６，２，３，１となる。また、この複雑度の関数ｃ_ｎ（ｘ）に零次ホールドを適用すると、図６（ｂ）のようになる。

そして、複雑度の関数ｃ_ｎ（ｘ）を式（６）により定積分すると、図７（ａ）の累計複雑度の関数ａ_ｎ（ｘ）が得られる。なお、図７（ａ）では、累計複雑度の関数ａ_ｎ（ｘ）の傾きが複雑度Ｃ_ｍ，ｎを示す。さらに、図７（ｂ）に示すように、累計複雑度の関数ａ_ｎ（ｘ）とｕ（０，・・・，１１）の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるｘをξ_ｎ（ｕ）とし、このξ_ｎ（ｕ）の小数点以下を切り捨てた後、標本点の座標ｘ_ｎ（ｕ）とする。

同様に、図５（ａ）の最下段の各部分領域Ｂ_２，ｎについて、標本点の座標ｘ_ｎ（ｕ）の計算例を説明する。図８（ａ）に示すように、複雑度Ｃ_ｍ，ｎの値は、１，１，３，１となる。また、この複雑度の関数ｃ_ｎ（ｘ）に零次ホールドを適用すると、図８（ｂ）のようになる。

そして、複雑度の関数ｃ_ｎ（ｘ）を式（６）により定積分すると、図９（ａ）の累計複雑度の関数ａ_ｎ（ｘ）が得られる。さらに、図９（ｂ）に示すように、累計複雑度の関数ａ_ｎ（ｘ）とｕ（０，・・・，１１）の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるｘをξ_ｎ（ｕ）とし、このξ_ｎ（ｕ）の小数点以下を切り捨てた後、標本点の座標ｘ_ｎ（ｕ）とする。

例えば、図５（ａ）の最上段の各部分領域Ｂ_０，ｎでは、複雑度Ｃ_０，ｎは、６，２，３，１で合計１２となる。一方、図５（ａ）の最下段の各部分領域Ｂ_２，ｎでは、複雑度Ｃ_２，ｎは、１，１，３，１で合計６となる。つまり、この例では、入力画像の上側が複雑な模様で、下側が単純な模様と言える。この場合、模様が複雑な箇所の標本点を単純に多くすると、上側の画素数が下側の画素数より多くなる逆台形状のような歪な形状の変形画像になる。このような歪んだ変形画像は、画像処理の際に不都合を生じることが多い。しかし、写像生成手段２３は、式（６）を用いることから、複雑度Ｃ_ｍ，ｎの合計値に関わらす、各走査線Ｓ_ｎの標本点の数を等しくでき（図５の例では１２個）、画像処理に都合が良い、正方形、長方形状等の整った形状の変形画像を生成できる。

続いて、写像生成手段２３は、補間手段２３ａによって、式（７）で算出した標本点の座標ｘ_ｎ（ｕ）を、零次補間又は線形補間等の補間処理によって走査線Ｓ_ｎの間に補間する。ここで、補間手段２３ａは、標本点の座標ｘ_ｎ（ｕ）が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標ｘ_ｎ（ｕ）を整数にしても良い。

例えば、図５（ｃ）では、式（４）〜式（７）で算出した標本点の座標ｘ_ｎ（ｕ）を黒丸で図示し、補間した標本点の座標ｘ_ｎ（ｕ）を白丸で図示した。ここで、最上段、上から二番目及び最下段の走査線Ｓ_ｎ上にある白丸は、零次外挿によって補間したものである。また、それ以外の走査線Ｓ_ｎ上にある白丸は、線形内挿によって補間したものである。この例では、小数画素位置の標本点に対しては、四捨五入処理を行っている。このように、補間手段２３ａによって標本点の座標ｘ_ｎ（ｕ）を補間するので、画像変形装置２は、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。

＜垂直方向に標本点の座標を算出：第２例＞
この場合、写像生成手段２３は、垂直方向で連続した部分領域Ｂ_ｍ，ｎについて、その代表点を垂直方向（標本軸の方向）に通過する走査線Ｔ_ｍを生成する。ここで、走査線Ｔ_ｍの長さは、入力画像Ｉ（ｘ，ｙ）の高さＹと同一とする。そして、写像生成手段２３は、走査線Ｔ_ｍ上におけるｖ番目（ｖ＝０，・・・，Ｖ−１）の標本点の座標ｙ_ｍ（ｖ）を以下のように算出する（但し、０≦ｙ_ｍ（ｖ）≦Ｙ−１）。なお、Ｖは走査線Ｔ_ｍの一本に予め設定された標本点の数である。

まず、複雑度Ｃ_ｍ，ｎに基づき、複雑度の関数ｄ_ｍ（ｙ）を下記の式（８）のように定義する。

ここで、式（８）右辺において、下記の式（９）の項「Ｎ・ｙ／Ｙ」の小数点以下を切り捨てた値が、複雑度Ｃ_ｍ，ｎの第二インデックス（ｎ方向）となる。

次に、複雑度の関数ｄ_ｍ（ｙ）をｙ＝０からｙ方向に定積分し、下記の式（１０）で表される累計複雑度の関数ｂ_ｍ（ｙ）とする。

さらに、ｖ＝０，１，・・・，Ｖ−１に対して、ｂ_ｍ（ｙ）＝ｖを満たすｙをη_ｍ（ｖ）とする。最後に、下記の式（１１）に示すように、η_ｍ（ｖ）の小数点以下を切り捨てて、標本点の座標ｙ_ｍ（ｖ）とする。

以上のように、写像生成手段２３は、式（８）から式（１１）を用いることで、走査線Ｔ_ｍ毎に、標本点の数Ｖだけ、複雑度Ｃ_ｍ，ｎが高い部分領域Ｂ_ｍ，ｎでは標本点が多く、かつ、複雑度Ｃ_ｍ，ｎが低い部分領域Ｂ_ｍ，ｎでは標本点が少なくなるように、標本点の座標ｙ_ｍ（ｖ）を算出できる。言い換えると、写像生成手段２３は、全ての走査線Ｔ_ｍについて、同数の標本点を割り振ることになる。

続いて、写像生成手段２３は、補間手段２３ａによって、式（１１）で算出した標本点の座標ｙ_ｍ（ｖ）を、零次補間又は線形補間等の補間処理によって走査線Ｔ_ｍの間に補間する。ここで、補間手段２３ａは、標本点の座標ｙ_ｍ（ｖ）が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標ｙ_ｍ（ｖ）を整数にしても良い。

図４に戻り、画像変形装置２の構成について説明を続ける。
標本化手段２５は、フィルタ２５ａを備えると共に、入力画像と、写像生成手段２３から標本点の座標とが入力される。そして、標本化手段２５は、入力画像を標本軸の方向に標本化して変形画像を生成する。このとき、標本化手段２５は、例えば、入力画像に対して、注目する標本点である注目標本点と、注目標本点の周囲に位置する周囲標本点との配置に応じて、タップ係数及びカットオフ周波数の異なるフィルタ処理を適用する。そして、標本化手段２５は、そのフィルタ処理された結果（入力画像）に基づいて標本値を算出して変形画像を生成し、この変形画像を画像復元装置３に出力する。なお、注目標本点とは、標本値を算出する対象となる標本点のことである。

＜周囲８近傍の周囲標本点を用いたフィルタ処理：第１例＞
ここで、図１０を参照し、フィルタ２５ａについて、周囲８近傍の周囲標本点を用いた第１例と、標本軸の方向に隣接する周囲標本点を用いた第２例とを説明する。なお、図１０では、入力画像において、注目標本点を黒丸で図示し、周囲標本点を白丸で図示し、画素を十字で図示した。また、図１０（ａ）では、説明のために台形α５を網掛けで図示した。

図１０（ａ）に示すように、フィルタ２５ａは、周囲８近傍の周囲標本点について、１個の注目標本点（黒丸）と３個の周囲標本点（白丸）とを結んだ４個の台形α１〜α４を生成する。なお、この台形α１〜α４には、平行四辺形、ひし形、長方形及び正方形を含むものとする。また、フィルタ２５ａは、台形α１〜α４を、高さと幅とで２分したときの中点β１〜β４をそれぞれ求め、中点β１〜β４の４点を結んで台形α５を生成する。そして、フィルタ２５ａは、入力画像において、台形α５内に位置する画素の画素値の平均値を算出し、注目標本点の標本値（画素値）とする。このとき、フィルタ２５ａは、注目標本点と各画素との距離、又は、各画素が台形α５（図１０（ａ）のハッチング）に重なる割合に応じて、重み付きの平均値を求めても良い。この第１例のフィルタ処理は、２本の標本軸で不等間隔の標本化を行う場合（例えば、後記する２次元不等間隔標本化装置）に特に適する。

＜標本軸の方向に隣接する周囲標本点を用いたフィルタ処理：第２例＞
図１０（ｂ）に示すように、標本軸が水平方向の場合、フィルタ２５ａは、注目標本点と、標本軸の方向（水平方向）に隣接する周囲標本点とに基づいて、入力画像の画素の画素値の平均値を算出して、標本値とすることができる。

具体的には、フィルタ２５ａは、注目標本点と、注目標本点に左隣の周囲標本点との中点γ１、及び、注目標本点と、注目標本点に右隣の周囲標本点との中点γ２を求める。そして、フィルタ２５ａは、中点γ１と注目標本点との間、及び、中点γ２と注目標本点との間に位置する各画素の画素値の平均値を算出して標本値とする。なお、図１０（ｂ）では、中点γ１，γ２と注目標本点との線分が示す領域をハッチングで図示した。

ここで、フィルタ２５ａは、平均値を算出する際、各画素の開口とハッチング部分との重なり度合、注目標本点と各画素との距離、又は、注目標本点に対する各画素の位置に基づいて、重み付けを行っても良い。図１０（ｂ）には、各画素の開口と網掛け領域との重なりの一例として、５０％，１００％を図示した（画素の開口率を１００％とする）。より詳細には、図１０（ｂ）において、注目標本点の左隣の画素（十字）は、網掛け部分に半分重なるため、重なり度合が５０％となる。一方、注目標本点に重なる画素及び注目標本点に右隣の画素は、網掛け部分に全て重なるため、重なり度合が１００％となる。

このように、画像変形装置２は、フィルタ２５ａによってエイリアシングを低減するので、より鮮明な画像に復元可能な不等間隔標本化画像を生成できる。なお、フィルタ処理の第２例では、水平方向にフィルタ処理を行うとして説明したが、同様のフィルタ処理を垂直方向に行っても良い。

［画像変形装置の動作］
以下、図１１を参照し、図４の画像変形装置２の動作について、説明する（適宜図４参照）。まず、画像変形装置２は、画像解析手段２１によって、変形パラメータ（複雑度）を算出する（ステップＳ１）。また、画像変形装置２は、写像生成手段２３によって、標本点の座標を算出する（ステップＳ２）。

ステップＳ２の処理に続いて、画像変形装置２は、補間手段２３ａによって、標本点の座標を補間する（ステップＳ３）。また、画像変形装置２は、フィルタ２５ａによって、フィルタ処理を行う（ステップＳ４）。そして、画像変形装置２は、標本化手段２５によって、変形画像を生成する（ステップＳ５）。

以上のように、本発明の第１実施形態に係る画像変形装置２によれば、入力画像で模様が複雑な部分について細かい標本化を行い、かつ、模様が単純な部分では粗い標本化を行う。このため、画像変形装置２によれば、従来の等間隔で標本化を行った画像に比べ、同程度の情報量で細かく表現された復元画像に復元できる変形画像を生成できる。また、画像変形装置２によれば、変形パラメータが部分領域Ｂ_ｍ，ｎ毎の情報であることから、従来の全標本点の情報に比べ、その情報量を少なくできる。さらに、画像変形装置２によれば、標本軸方向（１次元）の簡易な演算で入力画像を標本化でき、演算負荷を軽減できる。これによって、画像変形装置２は、従来の等間隔の標本化に比べて、効率的な標本化を可能とする。

また、画像変形装置２は、変形画像の全画素数が入力画像の全画素数より少なくなるように、前記した標本点の数Ｕ，Ｖを設定すれば、変形画像の情報量を低減できる。これによって、画像変形装置２は、鮮明な画像に復元可能な変形画像を、より少ない情報量で送信できる。

ここで、図１の画像復元装置３は、変形パラメータが無ければ、変形画像を復元できない。このため、画像変形装置２は、変形パラメータをデスクランブル鍵とするスクランブル装置として用いることもできる。また、例えば、画像変形装置２は、画像を符号化する符号化装置、画像の変形を行う画像処理装置、又は、画像の解像度を変換する解像度変換装置として利用できる。

なお、第１実施形態では、標本軸を水平方向又は垂直方向として説明したが、これに限定されない。例えば、標本軸は、斜め方向等の空間方向の軸としても良く、入力画像を動画像としたときは、フレーム画像間又はフィールド画像間の時間方向の軸としても良い。

なお、第１実施形態では、本発明に係る画像変形装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算装置、記憶装置等を、前記した各手段として協調動作させるプログラムによっても実現できる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

（変形例１）
以下、図４の画像変形装置２の各変形例について、具体的に説明する。
図１２に示すように、本発明の変形例１に係る画像変形装置２は、電子透かし付加手段２６をさらに備える。この電子透かし付加手段２６は、画像解析手段２１からの変形パラメータを、電子透かしとして、標本化手段２５からの変形画像に付加する。これによって、画像変形装置２は、変形パラメータの存在を隠蔽することができ、画像変形装置２をスクランブル装置として用いる場合、特に好ましい。

（変形例２）
図１３に示すように、本発明の変形例２に係る画像変形装置２は、記憶手段２７をさらに備える。ここで、画像変形装置２は、変形画像と変形パラメータとを記憶手段２７に記憶させる。ここで、記憶手段２7としては、例えば、ハードディスク、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＲＡＭ、又は、ＲＯＭがある。これによって、画像変形装置２は、変形画像と変形パラメータとを効率的に記憶することができる。なお、図１の画像復元装置３は、例えば、この記憶手段２７から、変形画像と変形パラメータとを読み出して、復元画像を生成する。

（変形例３）
図１４に示すように、本発明の変形例３に係る画像変形装置２は、変形画像符号化手段２８と、変形パラメータ符号化手段２９と、多重化手段３０とをさらに備える。

変形画像符号化手段２８は、入力された変形画像を圧縮又は誤り耐性を付加し、あるいは、その両方を施して、変形画像をビット列たる符号化信号に変換し、その符号化信号を多重化手段３０に出力する。ここで、変形画像符号化手段２８が用いる手法、アルゴリズム、及び、符号化のパラメータは任意である。ここで、変形画像符号化手段２８が用いる符号化方式は、変形画像及び変形パラメータに対して、その両方に対して可逆的又は非可逆的であっても、何れか一方に対して可逆的で、かつ、残りの他方に対して非可逆的であっても良い。例えば、変形画像符号化手段２８は、静止画用のＪＰＥＧ（Joint Photographic Experts Group）及びＰＮＧ（Portable Network Graphics）、動画像用のＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧ及びＷｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ等のエンコーダを用いることができる。

変形パラメータ符号化手段２９は、入力された変形パラメータを圧縮又は誤り耐性を付加し、あるいは、その両処理を施して、変形パラメータをビット列たる符号化信号に変換し、その符号化信号を多重化手段３０に出力する。ここで、変形パラメータ符号化手段２９が用いる手法、アルゴリズム、及び、符号化のパラメータは任意である。例えば、変形パラメータ符号化手段２９は、座標情報の間引き、及び、ハフマン符号化等のエンコーダを用いることができる。

多重化手段３０は、変形画像符号化手段２８から出力された符号化信号と、変形パラメータ符号化手段２９から出力された符号化信号とを多重化し、多重化された多重化信号を復号化手段６に出力する。ここで、多重化手段３０は、多重化の際、符号化信号における変形画像と変形パラメータとを区別するための付加的情報（例えば、ヘッダ情報としてのビット列又は同期用のビット列）を付加しても良い。

（変形例４）
また、図１５に示すように、本発明の変形例４に係る画像変形装置２は、記憶手段２７と、変形画像符号化手段２８と、変形パラメータ符号化手段２９と、多重化手段３０とをさらに備える。この場合、記憶手段２７は、多重化手段３０が多重化した多重化信号を記憶する。なお、図１の画像復元装置３は、例えば、この記憶手段２７から、多重化信号を読み出す。

（第２実施形態）
［画像変形装置の構成］
以下、図１６を参照し、本発明の第２実施形態に係る画像変形装置の構成について、詳細に説明する。図１６に示すように、画像変形装置（多次元不等間隔標本化装置）２００は、図４の画像変形装置２を２台直列に接続したものであり、第１の画像変形装置（第１の不等間隔標本化装置）２Ａと、第２の画像変形装置（第２の不等間隔標本化装置）２Ｂと、変形パラメータ多重化手段３１Ａとを備える。ここでは、第１標本軸を水平方向とし、第２標本軸を垂直方向として説明する。また、入力画像は、２次元画像（２次元静止画像）である。なお、画像変形装置２００は、請求項６において、ｋ＝２の場合に相当する。

第１の画像変形装置２Ａは、第１標本軸（水平方向）で不等間隔の標本化を行うものであり、画像解析手段（複雑度算出手段）２１Ａと、写像生成手段（標本点座標算出手段）２３Ａと、標本化手段２５Ａとを備える。なお、第１の画像変形装置２Ａが請求項に記載の第１の不等間隔標本化装置に相当する。

画像解析手段２１Ａは、入力画像が入力されると共に、この入力画像のどの部分がどの程度複雑であるかを解析し、水平方向の複雑度を算出する。そして、画像解析手段２１Ａは、算出した水平方向の複雑度を写像生成手段２３Ａに出力すると共に、この水平方向の複雑度を変形パラメータとして変形パラメータ多重化手段３１Ａに出力する。

写像生成手段２３Ａは、画像解析手段２１Ａからの水平方向の複雑度に基づいて、水平方向に標本点の座標を算出する。そして、写像生成手段２３Ａは、算出した標本点の座標を標本化手段２５Ａに出力する。このとき、写像生成手段２３Ａは、図示を省略した補間手段によって、標本点の座標を補間しても良い。

標本化手段２５Ａは、写像生成手段２３Ａからの標本点の座標で、入力画像を水平方向に標本化して変形画像を生成する。そして、標本化手段２５Ａは、この変形画像を、後記する第２の画像変形装置２Ｂに出力する。

なお、画像解析手段２１Ａ、写像生成手段２３Ａ及び標本化手段２５Ａは、それぞれ図４の各手段と同様の構成であることから、その説明を省略する。

第２の画像変形装置２Ｂは、第２標本軸（垂直方向）で不等間隔の標本化を行うものであり、画像解析手段（複雑度算出手段）２１Ｂと、写像生成手段（標本点座標算出手段）２３Ｂと、標本化手段２５Ｂとを備える。

画像解析手段２１Ｂは、入力画像として第２の画像変形装置２Ｂから水平方向の変形画像が入力されると共に、この変形画像のどの部分がどの程度複雑であるかを解析し、垂直方向の複雑度を算出する。ここで、画像解析手段２１Ｂは、例えば、入力画像を画像解析手段２１Ａと同一の部分領域に分割する。そして、画像解析手段２１Ｂは、算出した垂直方向の複雑度を写像生成手段２３Ｂに出力すると共に、この垂直方向の複雑度を変形パラメータとして変形パラメータ多重化手段３１Ａに出力する。

写像生成手段２３Ｂは、画像解析手段２１Ｂからの垂直方向の複雑度に基づいて、垂直方向に標本点の座標を算出する。そして、写像生成手段２３Ｂは、算出した標本点の座標を標本化手段２５Ｂに出力する。このとき、写像生成手段２３Ｂは、図示を省略した補間手段によって、標本点の座標を補間しても良い。

標本化手段２５Ｂは、写像生成手段２３Ｂからの標本点の座標で、入力された変形画像を垂直方向に標本化して２次元方向に不等間隔で標本化した変形画像（第２の不等間隔標本化画像）を生成する。そして、標本化手段２５Ｂは、この変形画像を、図１の画像復元装置３に出力する。このとき、標本化手段２５Ｂは、図示を省略したフィルタによって、図５（ａ）のフィルタ処理を行っても良い。

なお、画像解析手段２１Ｂ、写像生成手段２３Ｂ及び標本化手段２５Ｂは、それぞれ図４の各手段と同様の構成であることから、その説明を省略する。

変形パラメータ多重化手段３１Ａは、画像解析手段２１Ａからの水平方向の変形パラメータと、画像解析手段２１Ｂからの垂直方向の変形パラメータとを多重化し、多重化した変形パラメータを図１の画像復元装置３に出力する。

以上のように、本発明の第２実施形態に係る画像変形装置２００によれば、図４の画像変形装置２と同様の効果を奏する。さらに、画像変形装置２００によれば、簡易な１次元不等間隔の標本化を２回繰り返すだけで２次元画像を標本化でき、演算負荷を軽減できる。

なお、第２実施形態では、第１標本軸を水平方向とし、第２標本軸を垂直方向として説明したが、これに限定されない。例えば、第１標本軸及び第２標本軸が空間方向の軸であるときは、両軸が交われば良い。また、例えば、第１標本軸及び第２標本軸のうち、その一方を空間方向の軸とし、他方を時間方向の軸としても良い。

（第３実施形態）
［画像変形装置の構成］
以下、図１７を参照し、本発明の第３実施形態に係る画像変形装置の構成について、詳細に説明する。図１７に示すように、画像変形装置（多次元不等間隔標本化装置）３００は、図４の画像変形装置２を３台直列に接続したものであり、第１の画像変形装置（第１の不等間隔標本化装置）２Ａと、第２の画像変形装置（第２の不等間隔標本化装置）２Ｂと、第３の画像変形装置（第２の不等間隔標本化装置）２Ｃと、変形パラメータ多重化手段３１Ｂとを備える。なお、画像変形装置３００は、請求項６において、ｋ＝３の場合に相当する。

ここで、第１標本軸を水平方向とし（図１８〜図２１のｘ方向）、第２標本軸を垂直方向（図１８〜図２１のｙ方向）とし、第３標本軸を奥行方向（図１８〜図２１のｚ方向）として説明する。また、入力画像は、３次元画像（立体静止画像）である。なお、図１７では、第１の画像変形装置２Ａ、第２の画像変形装置２Ｂ及び第３の画像変形装置２Ｃの各手段は、その図示を省略した。

第１の画像変形装置２Ａは、入力画像として３次元画像が入力されると共に、この３次元画像から第１標本軸（水平方向）の変形パラメータを算出する。そして、第１の画像変形装置２Ａは、この水平方向の変形パラメータを用いて、３次元画像を水平方向で不等間隔に標本化する。さらに、第１の画像変形装置２Ａは、生成した３次元画像を第２の画像変形装置２Ｂに出力し、水平方向の変形パラメータを変形パラメータ多重化手段３１Ｂに出力する。

第２の画像変形装置２Ｂは、第１の画像変形装置２Ａから３次元画像が入力されると共に、この３次元画像から第２標本軸（垂直方向）の変形パラメータを算出する。そして、第２の画像変形装置２Ｂは、この垂直方向の変形パラメータを用いて、３次元画像を垂直方向で不等間隔に標本化する。さらに、第２の画像変形装置２Ｂは、生成した３次元画像を第３の画像変形装置２Ｃに出力し、垂直方向の変形パラメータを変形パラメータ多重化手段３１Ｂに出力する。

第３の画像変形装置２Ｃは、第２の画像変形装置２Ｂから３次元画像が入力されると共に、この３次元画像から第３標本軸（奥行方向）の変形パラメータを算出する。そして、第３の画像変形装置２Ｃは、この奥行方向の変形パラメータを用いて、３次元画像を奥行方向で不等間隔に標本化する。さらに、第３の画像変形装置２Ｃは、生成した３次元画像（第４の不等間隔標本化画像）を図１の画像復元装置３に出力し、奥行方向の変形パラメータを変形パラメータ多重化手段３１Ｂに出力する。

変形パラメータ多重化手段３１Ｂは、第１の画像変形装置２Ａからの水平方向の変形パラメータと、第２の画像変形装置２Ｂからの垂直方向の変形パラメータと、第３の画像変形装置２Ｃからの奥行方向の変形パラメータとを多重化し、多重化した変形パラメータ（複雑度）を図１の画像復元装置３に出力する。

＜３次元画像の部分領域、走査線及び標本点の補間＞
以下、図１８〜図２２を参照し、３次元画像の部分領域、走査線及び標本点の補間について、詳細に説明する。入力画像が３次元画像であることから、第１の画像変形装置２Ａは、図１８に示すように、入力画像（３次元画像）を立方体又は直方体状の部分領域に分割する。なお、図１９は、図１８の中央に位置する部分領域の拡大図である。また、図１８及び図１９では、説明を簡易にするため、部分領域の一部のみを図示した。

また、第１の画像変形装置２Ａは、図１９に示すように、この部分領域毎に、第１標本軸（水平方向）の複雑度を算出する。図１９の例では、左上手前側の部分領域ＢＬ１の複雑度が５であり、左下手前側の部分領域ＢＬ２の複雑度が２であり、右上手前側の部分領域ＢＬ３の複雑度が２であり、右下手前側の部分領域ＢＬ４の複雑度が３である。また、図１９の例では、走査線Ｓ_１〜Ｓ_４の一本あたりの標本点の数Ｕを５とする。なお、奥側の部分領域ＢＬ５〜ＢＬ８については、説明を簡易にするため、複雑度の図示を省略した。

まず、第１の画像変形装置２Ａは、部分領域ＢＬ１〜ＢＬ８の代表点（例えば、中心点）を水平方向に通過する走査線Ｓ_１〜Ｓ_４毎に、標本点の座標を算出する。ここで、走査線Ｓ_１は、図２０，図２１に示すように、部分領域ＢＬ１，ＢＬ３の中心点を水平方向に通過する。また、走査線Ｓ_２は、部分領域ＢＬ２，ＢＬ４の中心点を水平方向に通過する。そして、走査線Ｓ_３は、部分領域ＢＬ５，ＢＬ７の中心点を水平方向に通過する。さらに、走査線Ｓ_４は、部分領域ＢＬ６，ＢＬ８の中心点を水平方向に通過する。

なお、図２０は図１９を上面視した図（図１９の黒矢印の方向からの図）であり、図２１は、図１９を右側面視した図（図１９の白矢印の方向からの図）である。ここで、図２１では、走査線Ｓ_１〜Ｓ_４は、右側面視すると、点のように見える。

また、第１の画像変形装置２Ａは、図２２に示すように、標本点の座標を算出する。なお、図２２では、算出した標本点を黒丸で図示し、補間した標本点を白丸で図示した。具体的には、図２２（ｂ）に示すように、第１の画像変形装置２Ａは、２本の走査線Ｓ_１，Ｓ_２の間の走査線Ｓ_５上に、補間処理によって、５個の標本点の座標を補間する。また、図２２（ｃ）に示すように、第１の画像変形装置２Ａは、２本の走査線Ｓ_３，Ｓ_２の間の走査線Ｓ_６上に、補間処理によって、５個の標本点の座標を補間する。さらに、図２２（ｄ）に示すように、第１の画像変形装置２Ａは、２本の走査線Ｓ_５，Ｓ_６の間の走査線Ｓ_７上に、補間処理によって、５個の標本点の座標を補間する。

図１８〜図２２では、第１の画像変形装置２Ａによって標本点を水平方向に補間する例を説明した。また、同様の手順にて、第２の画像変形装置２Ｂによって標本点を垂直方向に補間し、第３の画像変形装置２Ｃによって標本点を奥行方向に補間するので、その説明は省略する。

以上のように、本発明の第３実施形態に係る画像変形装置３００によれば、図４の画像変形装置２と同様の効果を奏する。さらに、画像変形装置３００によれば、簡易な１次元不等間隔の標本化を３回繰り返すだけで３次元画像を標本化でき、演算負荷を軽減できる。

なお、第３実施形態では、第１標本軸を水平方向とし、第２標本軸を垂直方向とし、第３標本軸を奥行方向として説明したが、これに限定されない。例えば、入力画像が動画像であれば、第１標本軸を水平方向とし、第２標本軸を垂直方向とし、第３標本軸を時間方向としても良い。このようにして、画像変形装置３００は、動画像を不等間隔で標本化できる。

（第４実施形態）
［画像変形装置の構成］
以下、図２３を参照し、本発明の第４実施形態に係る画像変形装置の構成について、詳細に説明する。図２３に示すように、画像変形装置（多次元不等間隔標本化装置）４００は、図４の画像変形装置２を４台直列に接続したものであり、第１の画像変形装置（第１の不等間隔標本化装置）２Ａと、第２の画像変形装置（第２の不等間隔標本化装置）２Ｂと、第３の画像変形装置（第３の不等間隔標本化装置）２Ｃと、第４の画像変形装置（第４の不等間隔標本化装置）２Ｄと、変形パラメータ多重化手段３１Ｃとを備える。なお、画像変形装置４００は、請求項６において、ｋ＝４の場合に相当する。

ここで、第１標本軸を水平方向とし、第２標本軸を垂直方向とし、第３標本軸を奥行方向とし、第４標本軸を時間方向として説明する。また、入力画像は、４次元画像（立体動画像）である。なお、第１の画像変形装置２Ａ、第２の画像変形装置２Ｂ及び第３の画像変形装置２Ｃは、図１７の各装置と同様のものであるため、説明を省略する。

第４の画像変形装置２Ｄは、第３の画像変形装置２Ｃから、第１標本軸、第２標本軸、及び、第３標本軸で標本化された４次元画像が入力される。また、第４の画像変形装置２Ｄは、この４次元画像から第４標本軸（時間方向）の変形パラメータを算出し、この時間方向の変形パラメータを用いて、４次元画像を時間方向で不等間隔に標本化する。そして、第４の画像変形装置２Ｄは、生成した４次元画像（第４の不等間隔標本化画像）を図１の画像復元装置３に出力し、時間方向の変形パラメータを変形パラメータ多重化手段３１Ｃに出力する。

変形パラメータ多重化手段３１Ｃは、第１の画像変形装置２Ａからの水平方向の変形パラメータと、第２の画像変形装置２Ｂからの垂直方向の変形パラメータと、第３の画像変形装置２Ｃからの奥行方向の変形パラメータと、第４の画像変形装置２Ｄからの時間方向の変形パラメータとを多重化し、多重化した変形パラメータ（複雑度）を図１の画像復元装置３に出力する。

以上のように、本発明の第４実施形態に係る画像変形装置４００によれば、図４の画像変形装置２と同様の効果を奏する。さらに、画像変形装置４００によれば、簡易な１次元不等間隔の標本化を４回繰り返すだけで４次元画像を標本化でき、演算負荷を軽減できる。

１ 画像変形復元システム
２ 画像変形装置（不等間隔標本化装置）
２Ｂ 第２の画像変形装置（不等間隔標本化装置）
２Ｃ 第３の画像変形装置（不等間隔標本化装置）
２Ｄ 第４の画像変形装置（不等間隔標本化装置）
２１，２１Ａ，２１Ｂ 画像解析手段（複雑度算出手段）
２３，２３Ａ，２３Ｂ 写像生成手段（標本点座標算出手段）
２３ａ 補間手段
２５，２５Ｂ 標本化手段
２５ａ フィルタ
２６ 電子透かし付加手段
２７ 記憶手段
２８ 変形画像符号化手段
２９ 変形パラメータ符号化手段
３ 画像復元装置
３０ 多重化手段
３１Ａ，３１Ｂ，３１Ｃ 変形パラメータ多重化手段
２００ 画像変形装置（多次元不等間隔標本化装置）
３００ 画像変形装置（多次元不等間隔標本化装置）
４００ 画像変形装置（多次元不等間隔標本化装置）

Claims (5)

1. 入力された入力画像の複雑度を算出すると共に、前記複雑度を用いて前記入力画像を不等間隔で標本化して不等間隔標本化画像を生成する不等間隔標本化装置であって、
   前記入力画像を複数の部分領域に分割すると共に、当該部分領域毎に、予め設定された空間方向又は時間方向の標本軸で隣接する画素同士の画素値の差を示す差分画像を生成し、当該差分画像に含まれる画素値の絶対値の総和を、前記入力画像における前記部分領域毎の複雑さを示す前記複雑度として算出して出力する複雑度算出手段と、
   前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、予め設定された標本点の数だけ、前記複雑度算出手段によって算出された複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように前記標本点の座標を算出する標本点座標算出手段と、
   前記標本点座標算出手段が算出した標本点の座標で、前記入力画像を前記標本軸の方向に標本化して前記不等間隔標本化画像を生成する標本化手段と、
   を備え、
   前記標本点座標算出手段は、
   当該標本点座標算出手段が算出した標本点の座標を、補間処理によって前記走査線の間に補間する補間手段をさらに備えることを特徴とする不等間隔標本化装置。
2. 前記標本化手段は、
   注目している前記標本点である注目標本点の画素値と、前記注目標本点の周囲に位置する１以上の前記標本点である周囲標本点の画素値との平均値を算出し、前記平均値を前記注目標本点の画素値とするフィルタをさらに備えることを特徴とする請求項１に記載の不等間隔標本化装置。
3. 前記複雑度算出手段が出力した複雑度を、電子透かしとして、前記標本化手段が生成した不等間隔標本化画像に付加する電子透かし付加手段をさらに備えることを特徴とする請求項１又は請求項２に記載の不等間隔標本化装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載の不等間隔標本化装置として機能させるための不等間隔標本化プログラム。
5. 請求項１に記載の不等間隔標本化装置をｋ台直列に接続した多次元不等間隔標本化装置であって、
   第１の不等間隔標本化装置は、前記入力画像としてｋ次元画像が入力されると共に、予め設定された空間方向又は時間方向の第１標本軸で当該ｋ次元画像を標本化して不等間隔標本化画像を生成し、
   第ｋの不等間隔標本化装置は、前記第ｋ−１の不等間隔標本化装置によって標本化された不等間隔標本化画像が入力されると共に、第ｋ標本軸の方向に当該不等間隔標本化画像を標本化することを特徴とする多次元不等間隔標本化装置（但し、ｋは２以上の整数）。

Images