JP6463625B2

JP6463625B2 - 画像のリサイジング

Info

Publication number: JP6463625B2
Application number: JP2014251027A
Authority: JP
Inventors: ミシェルファブリス
Original assignee: Dassault Systemes SE
Current assignee: Dassault Systemes SE
Priority date: 2013-12-20
Filing date: 2014-12-11
Publication date: 2019-02-06
Anticipated expiration: 2034-12-11
Also published as: JP2015122069A; CN104732479B; US20150178889A1; US9501811B2; KR20150073120A; CA2875426C; EP2887305A1; EP2887305B1; CA2875426A1; CN104732479A

Description

本発明は、コンピュータプログラムおよびシステムに関し、より詳細には、画像をリサイズするための方法、システムおよびプログラムに関する。

コンテンツアウェアの画像リターゲティングは、画像がそのコンテンツに従ってリサイズされる画像処理と関連している。画像サイズは、（画像クロッピングとは対照的に）画像のピクセルを除去せずに、または（ピクセルサイズが削減された画像スケーリングとは対照的に）関連のあるコンテンツを歪ませずに変更される。

Seam carving for content-aware image resizing (Avidan and Shamir, in proceeding of SIGGRAPH ’07 ACM SIGGRAPH 2007, Article No. 10) において、隣接ピクセルの垂直線および水平線は、画像から除去され、従って、画像のサイズが削減される。画像サイズの増加は、隣接ピクセルの線を追加することによって行われる。画像重要度（significance）コストの計算は、アルゴリズムを駆動するために、および隣接ピクセルのどの線を除去すべきかをアルゴリズムに教えるために実施される。

しかしながら、シームカービング(seam carving)は、垂直線が除去される時に画像の１行当たり１ピクセルしか除去されないので、画像のアーチファクトを作り出す場合がある。この除去は、この種の方法の特性である、画像の不連続を生成する。

１つまたは一群のピクセルの一度による除去は、離散変換方法(Discrete transformation methods)の特性を示す。しかしながら、このような離散変換方法はすべて、同じ欠点に悩まされる。それらの方法は、最初の段階では隣接していなかったピクセルの除去または集合によって発生した不連続が原因で深刻なアーチファクトが発生する。

離散変換方法は、連続数学関数が新しい位置をピクセルに割り当てる、連続変換方法(Continuous transformation methods)とは対照的であり、コンピュータのメモリ内で表される画像のピクセルの位置は常に整数であるが、その新しい位置は、常に整数位置（integral positions）であるとは限らないので、画像を回復するための補間（線形補間、二次補間、、、）が必要である。周知の連続変換方法は一般に、補間を通じて画像に適用される連続変換を処理する。

しかしながら、このような変換は、画像上で定義されるセル内の単なるアフィン縮小であり、そのため、その変換は、画面全域が区分的に滑らかであるにすぎず、アーチファクトを、特にセルのエッジ上に生成することもあり得る。このような方法はまた、フォールドオーバー(fold overs)に対する明白な説明も必要であり、即ち、その変換によって変換自体が丸め込まれて、ピクセルが画像から単純に消失する結果、不快な視覚的結果となる。

この状況において、画像をリサイズするための改善方法がなおも必要とされる。

そのため、画像Ｉをリサイズするためのコンピュータ実装方法が提供される。本方法は、
−リサイズする画像Ｉを提供するステップと、
−リサイズする画像内の各ピクセルの重要度を計算することによって画像重要度を提供するステップと、
−有意画像(significance image)のオリジナル空間領域を抽出するステップと
−制御ポイントのセットによる、オリジナル空間領域からリサイズされた空間領域までの補間スプラインとしてパラメータ化された変換Ｔ_θを提供するステップと、
−オリジナル空間領域をセルにサブ分割するステップであって、各セルは、そのセットの制御ポイントのサブセットによって定義される、サブ分割するステップと、
−各セルに対し、セル内のピクセルの重要度の重み付け平均を計算するステップであって、重み付け平均は、補間スプラインを使用して計算される、計算するステップと、
−重み付け平均よりも下回るセルの１または複数の制御ポイントを変位することによってオリジナル空間領域のセルを変形するステップと、
−変位された１または複数の制御ポイントを使用して、画像Ｉの空間領域にわたって変換Ｔ_θを計算するステップと、
−計算された変換Ｔ_θをリサイズする画像Ｉの空間領域に適用することによってリサイズされた画像Ｊを計算するステップとを備える。

本方法は、以下のうちの１または複数を備えることができる。
−提供される変換Ｔ_θは、

となる微分同相変換（diffeomorphic transformation）Ｔ_θであり、ここにＩは、リサイズされる画像であり、Ｊは、リサイズされた画像であり、ｘは、オリジナル空間領域（Ω）における所与のピクセルの位置であることと、
−微分同相変換Ｔ_θは、式、Ｔ_θ＝ｘ＋ｕ_θ（ｘ）によって定義され、ここにｘは、オリジナル空間領域（Ω）における所与のピクセルの位置であり、ｕ_θ（ｘ）は、ｕがオリジナル空間領域（Ω）からリサイズされた空間領域（Ω’）へのマッピングである変位関数（displacement function）であることと、
−変換Ｔ_θは、自由形状変形（free form deformation）の補間スプラインとしてパラメータ化され、その変位関数ｕ_θ（ｘ）は、式

によって定義され、ここにＢ⁰，Ｂ¹，Ｂ²，Ｂ³は、３次Ｂスプライン関数であり、θは、制御ポイントを表す関数であり、Ｓ_wは、水平方向の２つの制御ポイント間の間隔であり、Ｓ_hは、垂直方向の２つの制御ポイント間の間隔であり、ｘ_wは、水平軸上のオリジナル空間領域（Ω）におけるピクセルの位置であり、ｘ_hは、垂直軸上のオリジナル空間領域（Ω）におけるピクセルの位置であることと、
−制御ポイントのセットは、グリッドを形成し、そしてθは、制御ポイントのグリッドを表す関数であることと、
−計算するステップは、各セルに対し、関数

を用いてセル内のピクセルの重要度の重み付け平均が実施され、ここにΩ_(i,j)は、オリジナル空間領域（Ω）のパーティションであり、Ｓ（ｘ）は、提供された有意画像を表すことと、
−パーティションΩ_(i,j)は、セルによってカバーされる領域であることと、
−有意画像から抽出されたオリジナル空間領域（Ω）は、リサイズする画像Ｉの空間領域（Ω）と同じであることと、
−リサイズされた画像Ｊを計算するステップは、その画像サイズを削減するまたは増大することを備えること。

本方法を遂行するための命令を備えるコンピュータプログラムがさらに提供される。

コンピュータプログラムが記録されているコンピュータ可読記憶媒体がさらに提供される。

メモリに結合されたプロセッサを備えるシステムがさらに提供され、そのメモリは、コンピュータプログラムを記録している。

本発明の実施形態は、限定されない例によって、および添付図面を参照してこれより説明される。
発明の例のフローチャートを示す図である。本発明に従ってコンテンツアウェアの画像リターゲティングを遂行するためのコンピュータプログラムの計算モジュールの例を示す図である。画像重要度計算の例を示す図である。画像重要度計算の例を示す図である。サマリ(summary)画像計算の例を示す図である。サマリ画像計算の例を示す図である。フォワードマッピング変換の例を示す図である。バックワードマッピング変換の例を示す図である。Ｂスプライン補間グリッドの例を示す図である。Ｂスプライン補間グリッドの制御ポイントの変位の効果の例を示す図である。リサイズするオリジナル画像Ｉを示す図である。図１１の画像の有意画像を示す図である。変換をエンコードするために使用されるＢスプライン補間グリッドを示す図である。図１２の有意画像のサマリ画像を示す図である。最大重要度を用いてグリッド列を削減することによって変形された図１３のグリッドの例を示す図である。図１１のオリジナル画像Ｉに変換を適用することによって取得されたリサイズされた画像を示す図である。本発明に従って方法を実施するためのコンピュータシステムの例を示す図である。

図１のフローチャートに関して、画像Ｉをリサイズするためのコンピュータ実装方法が提案されている。方法は、リサイズする画像Ｉを提供するステップを備える。方法は、リサイズする画像Ｉ内の各ピクセルの重要度を計算すること、および画像重要度を提供することをさらに備える。画像重要度は、リサイズする画像Ｉの重要度をピクセルごとに記述する。方法はまた、有意画像のオリジナル空間領域（Ω）を抽出することも備える。方法は、制御ポイントのセットによって補間スプラインとしてパラメータ化されたＴ_θと表記された変換を提供することをさらに備える。変換は、オリジナル空間領域（Ω）からリサイズされた空間領域（Ω’）へのマッピングである。さらに、方法は、オリジナル空間領域（Ω）をセルにサブ分割することを備える。各セルは、そのセットの制御ポイントのサブセットによって定義される。方法は、各セルに対し、セル内のピクセルの重要度の重み付け平均を計算することをさらに備える。重み付け平均は、補間スプラインを使用して計算される。方法はまた、重み付け平均よりも下回るセルの１または複数の制御ポイントを変位することによってオリジナル空間領域（Ω）のセルを変形することも備える。さらに、方法は、変位された１または複数の制御ポイントを使用して、リサイズする画像Ｉの空間領域にわたって変換Ｔ_θを計算することを備える。方法は、計算された変換Ｔ_θをリサイズする画像Ｉの空間領域に適用することによってリサイズされた空間領域（Ω’）上でリサイズされた画像Ｊを計算することをさらに備える。

このような方法は、画像内のいずれのフォールドオーバーも防ぎ、そして現れる可能性のあるアーチファクトを回避することによって画像のリサイジングを改善する。さらに、方法は、標準の圧縮アルゴリズムを使用してより容易に圧縮できるリサイズされた画像を提供する。実際には、リサイズする画像Ｉに適用される、変換Ｔ_θのパラメータは、補間スプラインの制御ポイントのセットを用いてローカルに制御されるグローバル変換を定義する。グローバル変換は、連続的で可逆であり、その変換の導関数も連続的で可逆である。従って、変換のプロパティが画像内のいずれのフォールドオーバーも防ぎ、そしてセルエッジ上に現れる可能性のあるアーチファクトを回避するので、本発明は、人間の目にはより自然に見えるであろう画像のより滑らかな変換を作り出す。さらに、発明に従ってリサイズされた画像は、画像の特性を示す不連続に大きく依存する、つまり画像が有する不連続が多いほど、ファイルの圧縮が大きくなる標準の圧縮アルゴリズム（例えば、ＪＰＥＧ、ＪＰＥＧ２０００）によってより容易に圧縮できる。従って、画像導関数において不連続を制限することによって、より高い圧縮率を使用することができる。

本方法は、コンピュータ実装される。これは、方法のステップ（または実質的にすべてのステップ）が少なくとも１つのコンピュータ、または同様の任意のシステムによって実行されることを意味する。従って、方法のステップは、コンピュータによって、場合により完全に自動的に、または、半自動的に遂行される。例において、方法のステップの少なくとも一部のトリガリングは、ユーザとコンピュータとのインタラクションを介して遂行され得る。ユーザとコンピュータとのインタラクションに必要なレベルは、予測される自動性(automatism)のレベルに応じて異なってもよく、ユーザの希望を実装するための必要性とバランスをとることができる。例において、このレベルは、ユーザ定義および／または事前定義とすることができる。

例えば、リサイズする画像Ｉを提供するステップは、ユーザアクションの後、即ち、ユーザがリサイズされる画像を選択した後に遂行され得る。選択は、当業者には周知であるやり方で遂行されてもよく、例えば、キーボード、マウス、スタイラス、タッチスクリーンなどの、触覚デバイス（haptic device）によって選択を実施できる。例えば、２ボタンのマウスにおいて、左ボタンが画像を選択するために使用されることが可能である。システムはまた、画像のデフォルトによって、即ち、ユーザ選択を要求せずに特定することもできる。

本方法のコンピュータ実装の典型的な例は、この目的に適応しているシステムを用いて方法を遂行することである。システムは、メモリおよびグラフィカルユーザインタフェース（ＧＵＩ）に結合されたプロセッサを備えることができ、メモリは、方法を遂行するための命令を備えるコンピュータプログラムを記録している。メモリはまた、データベースを保存することもできる。メモリは、そのような保存に適応していて、場合によりいくつかの物理的に区別された部分（例えば、プログラム用に一部分、場合によりデータベース用に一部分）を備える任意のハードウェアである。

図１７は、コンピュータシステム、メモリに結合されたプロセッサの例を示している。プロセッサは、例えば、リサイズされた画像を表示するためのグラフィカルユーザインタフェースに結合され得る。

例のクライアントコンピュータは、内部通信ＢＵＳ１０００に接続されたＣＰＵ（中央処理装置）１０１０を備え、ＲＡＭ（ランダムアクセスメモリ）１０７０もＢＵＳに接続されている。クライアントコンピュータは、ＢＵＳに接続されたビデオランダムアクセスメモリ１１００と関連付けられたＧＰＵ（画像処理装置）１１１０がさらに備わっている。ビデオＲＡＭ１１００はまた、フレームバッファとしても当業者には周知である。マスストレージデバイスコントローラ１０２０は、ハードドライブ１０３０などのマスメモリデバイスへのアクセスを管理する。コンピュータプログラム命令およびデータを有形に具体化するのに適したマスメモリデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイスと、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスクと、光磁気ディスクと、ＣＤ−ＲＯＭディスク１０４０とを含む、あらゆる形態の不揮発性メモリを含む。上述のいずれのメモリも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されるまたは組み込まれることができる。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御デバイス、キーボードなどの触覚デバイス１０９０を含むこともできる。カーソル制御デバイスは、クライアントコンピュータにおいて使用され、ユーザがカーソルをディスプレイ１０８０上の望ましい任意の配置に選択的に置くことを許可する。さらに、カーソル制御デバイスは、ユーザがさまざまなコマンドを選択し、そして制御信号を入力できるようにさせる。カーソル制御デバイスは、制御信号をシステムに入力するための多くの信号発生デバイスを含む。典型的には、カーソル制御デバイスは、マウスとすることができ、マウスのボタンが信号を発生させるために使用される。代替的または追加的には、クライアントコンピュータシステムは、タッチ感知パッド、および／またはタッチ感知スクリーンを備えることができる。

コンピュータプログラムは、コンピュータによって実行可能な命令を備えることができ、命令は、上記のシステムに方法を遂行させるための手段を備える。プログラムは、システムのメモリを含む、任意のデータストレージ媒体上で記録可能であってよい。プログラムは、例えば、デジタル電子回路に実装されるか、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることができる。プログラムは、装置として、例えば、プログラマブルプロセッサによって実行されるためのマシン可読ストレージデバイスに有形に具体化された製品として実装され得る。方法ステップは、入力データで動作して、出力を発生することによって方法の機能を遂行するための命令のプログラムを実行するプログラマブルプロセッサによって遂行され得る。プロセッサは、従って、データおよび命令を少なくとも１つの入力デバイスにおいてデータストレージシステムから受信し、そしてデータおよび命令を少なくとも１つの出力デバイスにおいてデータストレージシステムに送信するようにプログラム可能に結合されることができる。アプリケーションプログラムは、ハイレベル手続き型またはオブジェクト指向のプログラミング言語に実装され得るか、または必要に応じてアセンブリ言語または機械語に実装され得る。いずれの場合も、それらの言語は、コンパイラ型言語またはインタプリタ型言語となり得る。プログラムは、フルインストールプログラムまたは更新プログラムとなり得る。システムへのプログラムの適用は、結果としていずれの場合も本方法を遂行するための命令となる。

図１のフローチャートに戻って参照すると、ステップＳ１０において、リサイズする画像Ｉが提供される。画像（例えば、リサイズする画像Ｉ）の提供は、その画像が、システムが発明に従って方法を遂行するために利用可能であることを意味する。例えば、画像は、コンピュータのメモリに一時的に保存され、そしてコンピュータプログラムによってアクセスされ、方法を遂行するための命令を備えたコンピュータによって実行されることができる。言い換えれば、ステップＳ１０は、リサイズする画像Ｉの入力である。画像は、例えば、図１７のディスプレイ１０８０上でユーザに表示されてもよいし、されなくてもよい。

画像は、ベクトル形式またはラスタ形式とすることができるが、これらに限定されない。画像がラスタ形式である場合には、発明に従って方法は、ビットマップピクセルアレイ上で直接実施することができる。画像がベクトル形式である場合には、リサイズする画像は、発明に従って方法が実施されるラスタ形式に変換される。

説明のみを目的として、画像の数学的定義がこれより論じられる。画像は、空間領域Ω（空間領域Ωは次元ｄとする）から画像値の空間であるＶ（Ｖは次元ｃとする）までのマッピングである。画像をその最も一般的な意味において定義するために、ΩまたはＶの性質を仮定しない。

例えば、コンピュータメモリ内の２５６階調に及ぶ、次元ｍ行ｎ列の２次元（２Ｄ）画像Ｉは、マッピングとして（式１）：

定義することができる。この例において、空間領域Ωは、次元ｄ＝２とし、画像値Ｖの空間は、次元ｃ＝１とする。２Ｄ画像は、離散画像が離散空間領域Ω上で定義される時の離散画像と見なされる。これは、形式：

の空間領域Ω上で定義される連続画像とは対照的である。

離散変換は通常、離散画像に作用する変換を指し、一方、連続変換は、連続画像に作用する。離散画像空間のみがコンピュータのメモリ内で表されるので、当業者には周知であるように、補間などの数値法を使用して、整数位置

における画像の値を計算する。

ステップＳ２０において、画像Ｉの画像重要度Ｓは、リサイズする画像Ｉ内の各ピクセルの重要度を計算することによって提供される。画像重要度は、画像の各ピクセルと関連付けられたコストとして定義される。このコストは、ピクセルが伝達する情報量と直接リンクされる。ピクセルによって伝達される情報量は、画像内のピクセルの関連度とすることができ、例えば、関連度がユーザによって判定されることができるが、これに限定されない。画像Ｉのピクセルの重要度は、画像の完全性に対するピクセルの重要性を数値化する。従って、画像Ｉの画像重要度は、他のピクセルよりも多く情報を伝達する画像Ｉ内のピクセルを示す。

例えば、図３において、左側およびキャラクターの右側の白色ゾーンを削減してもシーンの視覚的理解は変わらない。実際には、見る人は、図３の画像と白色範囲が削減された画像のいずれからも同じ情報を集める。理想的には、画像重要度は、コンテンツが外観の大きな変更の有無で調節されないエリアにおいてより高い値を有する。

実際には、画像重要度は、それ自体が画像として表される。さらに、画像と有意画像の両方の空間領域は、同じである。言い換えれば、両方の画像のピクセル配置は、同じ空間位置を表す。

有意画像の各ピクセルに割り当てられる値は、ピクセルによって伝達される情報量を表す。これは、図４に図示されたように、図３の画像から取得された有意画像を示す。図４において、より黒いエリアは、高い情報コンテンツエリアを表す。有意画像の表現は、すべての白色エリアが画像のグローバル情報力に大きく影響を与えずに削減できることを容易に理解させる。

当業者には周知である画像重要度の計算方法を使用することができる。例えば、画像重要度を計算する最も基本的なやり方のうちの１つ：２Ｄガウシアンフィルタを使用してスムージングが行われる画像勾配ノルムの平滑化されたバージョンが使用され得る。図４は、図３上で画像の勾配ノルムが滑らかにされた図を表示している。画像重要度計算の別の例として、画像顕著性計算が使用され得る。画像の顕著性は、画像のセグメンテーションごとに画像の関連のある部分を見つけることを目的とする。興味深いことに、画像重要度はまた、画像が静的でなく動的である時の動き情報、例えば、ビデオの場合にあるような動き情報を使用することによって計算されることもできる。これは、ビデオをリターゲットする時、ビデオのリターゲットされたフレーム間の時間コヒーレンスを維持するために特に役立つ。動き情報は通常、画像のオプティカルフローとしてコード化され、そして当業者には周知の方法のいずれかを使用して計算されることもある。

次に、ステップＳ３０において、有意画像のオリジナル空間領域が抽出される。オリジナル空間領域は、Ωで表記される。空間領域は、デジタル画像がその画像のピクセルの空間座標（２Ｄ画像の場合はｘ，ｙで一般の場合は

）によって定義される領域（例えば、平面）である。論じたように、有意画像の空間領域は、リサイズする画像Ｉの空間領域と同じであってよい。有意画像と画像Ｉの両方の空間領域が同じである場合において、両方の画像のピクセル配置は、同じ空間位置を表す。

次に、ステップＳ４０において、Ｔ_θと表記された変換が提供される。Ｔ_θは、制御ポイントのセットによって補オリジナル空間領域（Ω）からリサイズされた空間領域（Ω’）までの補間スプラインとしてパラメータ化される。

変換という用語は、画像Ｉのピクセル位置に適用されて、Ｉの既存のピクセルの位置を単純に変位させ、結果としてリサイズされた画像Ｊとなる、オペレータを意味する。従って、変換は、ピクセル値ではなく、ピクセル座標に作用する。リサイズする画像Ｉのピクセル座標のサブセットのみが考慮される離散画像から、画像Ｉのすべてのピクセルが考慮される連続変換までのあらゆる種類の変換が可能である。後で説明されるように、変換は、Ｔ_θと表記され、ここにＴは、変換を指定するためのものであり、θは、変換のパラメータを指定するためのものである。

説明を目的として、変換Ｔ_θの数学的定義がこれより論じられる。変換Ｔ_θなどの画像変換は、入力空間領域Ωから出力空間領域Ω’までのマッピングである。入力空間領域Ωは、ステップＳ３０において抽出された有意画像のオリジナル空間領域とすることができる。出力空間領域Ω’は、リサイズされた画像Ｊの空間領域になる。Ω’は、Ωのリサイズされたバージョンである。Ω’とΩは、同じ密度を有する。密度という用語は、空間内の値の種類（実空間、定量化空間、積分空間、、、）の特性を示すが、場合により異なる境界を有する。変換は、ΩからΩ’までのマッピングのすべてのプロパティを有する。即ち、マッピングが線形であれば、その変換は、線形であると考えられ、マッピングが連続的であれば、その変換は、連続的である。

リサイズされた画像Ｊは、変換Ｔ_θが適用されるリサイズされる画像Ｉとして定義される。従って、Ωにおけるピクセルのすべての位置ｘに対して、以下の式（式２）

を適用する。
言い換えれば、ピクセルの各新しい位置ｙ＝Ｔ_θ（ｘ）において、Ｉ（ｘ）の値は、Ｊ（ｙ）にコピーされる。ピクセルの値は、変更されず、ピクセルの位置のみが変更される。ピクセルは、リサイズする画像の座標フレームからリサイズされた画像の座標フレームに「フォワード」移動される。この場合において、図７に図示されたように、変換が新しい画像内の非整数位置にマップするので、影付き正方形が空ピクセル図示する、フォワードマッピングが実施される。

興味深いことに、変換Ｔ_θは、可逆であり得る。即ち、変換は、可逆になる。この場合において、リサイズする画像Ｉの空間領域Ωにおけるすべての位置ｘに対して、以下の式（式３）：

を適用する。式３の結果として、リサイズされた画像Ｊ内のすべてのピクセルに画像Ｉ内の位置が割り当てられる。ピクセルは、リサイズされた画像Ｊの座標フレームからリサイズする画像Ｊの座標フレームに「バックワード」移動される。この場合において、図８に図示されたように、バックワードマッピングが実施される。オリジナル位置空間において非整数位置を処理する場合に補間方式が可能であるので、このバックワードマッピングが遂行されることができる。実際には、任意の変換可逆性方式が使用され得る。例えば、Seam carving for content-aware image resizing (Avidan and Shamir, in proceeding of SIGGRAPH ’07 ACM SIGGRAPH 2007, Article No. 10) において論じられる可逆性方式が使用され得る。

ステップＳ４０において提供される変換Ｔ_θは、微分同相変換とすることができる。微分同相変換は、連続的、全単射、可微分、全単射の導関数である変換であり、その逆も連続的で可微分である。有利なことに、微分同相変換は、リサイズする画像を、アーチファクトを全く生成せずに、さらにリサイズする画像の導関数においても全く生成せずに滑らかなやり方で変換する。これは、入力空間領域Ωがパーティションされて、パーティションのエッジ上にアーチファクトを生成する、区分的に滑らかな変換とは対照的である。これらのアーチファクトのそれぞれは、圧縮しにくい画像をレンダーする高周波数を生成する。微分同相変換の別の利点は、変換が可逆であることである。不自然に見えるすべての変換が廃棄され、従って、よく知られているフォールドオーバーの問題を回避する。実際には、変換が１つの場所で可逆でない場合、場合により空間領域Ω内の２つの異なるピクセル位置がリサイズされた空間領域Ω’内の同じピクセル位置にマップすることを取得することができる。その結果として画像の視覚効果がフォールドオーバー自体となる。

変換Ｔ_θは、パラメータ化される。これは、空間領域Ωが非常に大きくなり得る（場合により無限）ので計算的に実行不可能であるので、変換が全空間領域Ω上で明示的に行われないことを意味する。パラメータ化された変換は、Ω内の一つ一つの位置において評価されることができるが、限定された数のパラメータの変換の場合、Ωの濃度よりも小さい。

変換Ｔ_θは、補間スプラインとしてパラメータ化される。スプラインは、当業者には周知であるように、区分的に定義された多項式関数であり、スプラインの次数に応じて、ピース(pieces)間の接続における滑らかさの次数を設定することができる。ピース接続におけるスプラインの滑らかさの次数はまた、スプラインの滑らかさの全体の次数でもある。スプラインは、制御ポイントを有し、補間ノードとも呼ばれる。制御ポイントの変位は、スプラインの形状を変更する。従って、変換Ｔ_θは、Ｔ_θをパラメータ化する補間スプラインの制御ポイントのセットによってパラメータ化される。

変換関数Ｔ_θをパラメータ化するためにあらゆる種類のスプラインが考慮され得る。実際には、以下のような画像処理に関して特に興味深いスプラインがあるが、これらに限定されない。
-Thin Plate Splines discussed in Bookstein, Fred L. “Principal warps: Thin-plate splines and the decomposition of deformations.” In IEEE Transactions on Pattern Analysis and Machine Intelligence archive, Volume 11 Issue 6, June 1989, Page 567-585
-Free Form Deformations discussed in Sederberg, Thomas W., and Scott R. Parry. “Free-form deformation of solid geometric models.” In Proceeding of SIGGRAPH ’86 Proceedings of the 13th annual conference on Computer graphics and interactive techniques,Pages 151-160
-Non Uniform Rational B-splines or NURBS discussed in Piegl, Les A., and Wayne Tiller. “The NURBS book”
変換は、入力空間領域Ωから出力空間領域Ω’までのマッピングである。変換Ｔ_θは、各ピクセルに対する、ピクセル位置ｘとその変位ｕ_θ（ｘ）との和とすることができ、ここで、ｕ_θは、ΩからΩ’までのマッピングである。Ω内のすべての位置ｘに対して、変換Ｔ_θは、以下の式（式４）：

によって表すことができる。

変換Ｔ_θのこの表現を使用することによって有利には、ピクセルの変位の観点から、一般性を失わずにＴ_θの表現が可能となる。変換は、その変換の位置に関連付けられた成分とピクセル位置の実変位とに分解され、（大きい空間上で）変位が小さい場合でも変換をかなり大きくすることができる。

これより図９に関して、有意画像から抽出されたオリジナル空間領域Ωにわたって定義された制御ポイントのセットの例が図示されている。ついでながら、いくつかの制御ポイントがオリジナル空間領域Ωの外側にあることに気付くことができる。この例において、オリジナル空間領域Ωは、次元ｄ＝２とし、影付き長方形で表されている。制御ポイントのセットは、変換Ｔ_θをパラメータ化する補間スプラインのパラメータを制御し、それらは、黒色の点で表されている。説明のみを目的として、本考察は、自由形状変形（Free Form Deformations：ＦＦＤ）補間スプラインに重点を置く。

各制御ポイントを置く位置は、θ（ｉ，ｊ）として示され、ここにθ（ｉ，ｊ）は、（ｉ，ｊ）制御ポイントの位置を表す２Ｄベクトルである。制御ポイントは、インデックスｉおよびｊを用いてそれぞれ、左から右へ、上から下へと任意にインデックス化される。水平方向の２つの制御ポイント間の間隔は、Ｓ_wと示され、垂直方向においはＳ_hと示される。同じように、水平軸上のオリジナル空間領域Ω内の位置ｘのプロジェクションは、ｘ_wと示され、垂直軸上のオリジナル空間領域Ω内の位置ｘのプロジェクションは、ｘ_hと示される。リサイズする画像Ｉの空間領域もまた、左から右へおよび上から下へと方向付けられると見なされる。

水平方向および垂直方向は、任意に選択され、参照フレーム（ｘ、ｙ）を使用して定義され得る。例えば、図９において、参照フレームは、Ωの左上隅に配置されている、共通起源(origin)を有する２つの矢印で表されている。従って、図９において、ｘ軸は、水平方向を表し、ｙ軸は、垂直方向を表す。

さらに図９を参照して、制御ポイントのセットは、制御ポイントがオリジナル空間領域Ωにわたって一様に広がった正則グリッドを形成する。制御ポイントのグリッドは、ＦＦＤから取得されていて、スプラインの次数に応じて、この例においては４つの制御ポイントによってサポートされた２Ｄベジエ補間スプラインが計算されている。正則グリッドという用語は、２つの制御ポイント間のオリジナル水平間隔Ｓ_wの値が通常同じであることを伴う。同様に、２つの制御ポイント間のオリジナル垂直間隔Ｓ_hの値も通常同じである。水平間隔Ｓ_wは、図９に示されるように、垂直間隔Ｓ_hと同じ値を有することができる。以下に説明されるように、図９の制御ポイントのセットの制御ポイントが本発明のプロセス中に移動され得ることを理解されたい。

興味深いことに、制御ポイントのセットは、オリジナル空間領域Ωにわたって定義される新しい領域を生成する。この新しい領域は、Λと呼ばれ、後で論じられる。Λは、Ωに作用し、これは、制御ポイント（例えば、図１０の制御ポイント１００）の変位がスプラインに影響を及ぼし、今度はスプラインがΩにローカルに影響を及ぼすことを意味する。

すでに論じたように、変換Ｔ_θは、入力空間領域Ωから出力空間領域Ω’までのマッピングであり、ΩからΩ’までの変換は、ピクセル位置ｘとその変位ｕ_θ（ｘ）との和である。任意のピクセル位置から、変位関数ｕ_θ（ｘ）は、制御ポイント位置から取得され得る。従って、式４の変位関数ｕ_θは、以下の式５：

に示されるように、制御ポイントの位置の重み付け線形結合として定義され得る。

式５において、ＦＦＤの表現は、３次Ｂスプラインを使用する。その関数Ｂ^kとＢ^lは、当業者には周知であるように、同じ次数のベルンシュタイン多項式とも一致する３次Ｂスプラインである。異なる次数の任意のＢスプラインを使用することができ、そして本発明が３次数のＢスプラインに限定されないことが理解される。発明は、ＦＦＤとリンクされるＢスプラインに限定されず、すでに論じたように、あらゆる種類のスプラインを使用することができる。

すでに論じたように、各制御ポイントの位置をθ（ｉ，ｊ）と表記することができる。式５において、θは、パラメータ化された変換の制御ポイントのセットを表す関数である。具体的には、関数θは、変換Ｔ_θの単独パラメータである。実際には、θの知識は、変位ｕ_θを完全に記述させることができ、従って、変換Ｔ_θを完全に記述させることができる。結果として、グリッド内の制御ポイントの変位は、それに応じて変換Ｔ_θを変更する。制御ポイントの変位のみが空間領域Ωのローカル部分に影響を及ぼす。実際には、式５で説明されるように、制御ポイントの位置の周囲のサイズ４ｓ_h×４ｓ_wの近隣のΩ内のピクセル位置のみがその動きによって影響を受ける。近隣のサイズは、より少ない次数のＢスプラインによって異なる可能性があることが理解される。

式５の３次Ｂスプラインに基づくＦＦＤは、意図的に３次数に滑らかである。その次数は、ベルンシュタイン多項式の位数が低い場合、より小さい。変位の可逆性および全単射性とその第１の導関数は、制御ポイントの変位上の制約を介して達成される。制御ポイントの変位が制御ポイントの間隔ｓ_hとｓ_wの０．４８倍よりも小さい場合、ＦＦＤ変位からの結果となる変換は、微分同相である。この結果は、例えば、Lee, Seungyoung, et al. “Image metamorphosis with scattered feature constraints.” in IEEE Transactions on Visualization and Computer Graphics archive, Volume 2 Issue 4, December 1996, Page 337-354において、当業者には周知である。従って、制御ポイントの動きからの結果となるΩ内の位置ｘの変位は、制御ポイントの変位に従う。結果として、２つの制御ポイントが近づくと、制御ポイントの配置間における画像を削減し、一方、制御ポイント間の空間が拡張すると、制御ポイントの配置間における画像を大きくする。Ω内の変位された位置の囲まれたエリア（４ｓ_h×４ｓ_w）もまた、変換の連続性を維持するために影響を受けることを理解されたい。

図１に戻って参照すると、ステップＳ５０において、オリジナル空間領域Ωは、セルにサブ分割される。各セルは、そのセットの制御ポイントのサブセットによって定義される。従って、セルという用語は、リサイズされた空間領域Ω’のサブパートを定義し、このサブパートは、制御ポイントのサブセットによって区切られる。セルは、そのセットの制御ポイントに接続するエッジによって区切られる閉曲面である。セルのセットは、空間領域Ωにわたって空間領域を形成する。セルは、閉曲面であり、これは、セルが少なくとも３つの制御ポイントによって形成されることを伴う。

図９において、セル９０は、４つの制御ポイントに接続する４つのエッジによって定義される。セル９０の閉曲面内にある２つの対角線エッジは、表されない。これらの２つのエッジは、セルの閉曲面を区切ることに寄与しない。さらに図９を参照して、制御ポイントは、セルの正則グリッドを形成する。例えば、４つの制御ポイントによって定義されたセル９０は、４つの制御ポイントによって区切られるポリゴンである。制御ポイントのセットは、必ずしも正則グリッドを形成するわけではなく、例えば、４つの制御ポイントよりも多いまたは少ないセルが使用され得ることを理解されたい。

制御ポイントのセットから取得されたグリッドは、空間領域Ω内の制御ポイントの座標の表現として企図することができる。

制御ポイントは、空間領域Ω内で定義されないが、一部の制御ポイントの位置は、空間領域Ωとオーバーラップし、セルは、Ωとオーバーラップする制御ポイントを使用して空間領域Ω内で定義される。

セルのセットは、オリジナル空間領域Ωにわたるレイヤーとして見られる場合がある。各セルは、オリジナル空間領域Ωの１または複数のピクセルと関連付けられる。各セルによって形成されるエリアは、１または複数のピクセルをカバーする。ΩおよびΛは、分離されない。Λは、Ωのサブ分割である。ΛがΩにわたる４つのセルの正則グリッドである場合において、セルインデックス（０，０）、（０，１）、（１，０）および（１，１）が得られ、各セルは、Ωのサブ領域であり、例えば、セル（０，０）は、Ωから

を包含する。これは、ポリゴンが画像上で描画され、ポリゴン内の一つ一つのピクセルがセルに属すると言うのに等しい。

セルのサイズを削減すること、即ち、セルの曲面エリアを削減することは、セルを囲む制御ポイントを近づけることと同じであり、従って、そのセルの配置における画像領域を削減することと同じである。これはまた、セルのサイズの増加の場合においても真である。画像領域は、実際には、セルが変形されるのと同じように振る舞う。空間領域Ωの外側で定義される制御ポイントが空間領域Ωの内側に配置された制御ポイントの距離Ｓ_wとＳ_hに留まって固定されていれば、出力画像領域の空間領域Ω’は、内部セルの集積エリアと同じエリアを有する。固定される必要がある制御ポイントの数は、スプラインの次数によって異なることが理解される。この変換Ｔ_θからの結果は、式４において定義される。

ステップＳ５０において、オリジナル空間領域Ωをサブ分割するセルのセットが判定された。このセルのセットは、Λと表記されたオリジナル空間領域Ωの離散領域を定義する。各セルは、画像に対するピクセル配置と同じように見なされることができ、同じやり方でインデックス化されることができる。例えば、４つのセルが式１の空間領域Ω上で定義されていれば、４つのセルは、それぞれ、（０，０）、（０，１）、（１，０）および（１，１）にインデックス化され、そして各セルは、例えば、セル（０，０）は、Ωから [0,1,…,(m/2)-1]×[0,1,…,(n/2)-1]
を包含する。

次に、ステップＳ６０において、セル内のピクセルの重要度の重み付け平均がΛの各セルに対して計算される。その結果として、Λにわたる重要度が定義される。サマリ画像(Summary Image)Ｓは、Λを形成するセルのセットから形成される。サマリ画像(Summary image)の各セルは、サマリ画像のピクセルであると企図することができる。

ΛはΩのパーティションから成るので、領域Λは、

と書くことができ、ここにＫおよびＬは、Ωの各方向におけるパーティションの数であり、Ω_(i,j)は、Ωのパーティションであり、その領域は、セル（ｉ，ｊ）によってカバーされる。Ωの水平方向および垂直方向は、任意に選択されてよく、すでに論じたように、参照フレーム（ｘ、ｙ）を使用して定義され得る。

重み付け平均は、補間スプラインを使用して計算される。実際には、Λ内の各位置ｙ＝（ｉ，ｊ）位置に対して、３次ＢスプラインＦＦＤによってサマリ画像を定義することが可能である。サマリ画像ＳＩは、式６：

によって定義することができる。ここにＳ（ｘ）は、提供された有意画像を表す関数である。

これより図５に関して、セルのセットがオリジナル空間領域Ωの離散領域Λを定義する図４の画像の有意画像が示されている。領域Λは、有意画像のオリジナル空間領域Ωにわたって置かれている。図５において、領域Λは、図４のオリジナル空間領域Ωを完全にカバーする。さらに、セルのセットは、図９を参照して論じたように、オリジナル空間領域Ωにわたって一様に広がった制御ポイントのグリッドを形成する制御ポイントのセットから取得されている。

これより図６に関して、Λを形成するセルのセットから計算されるサマリ画像(Summary Image)が示されていて、セル内のピクセルの重要度の重み付け平均が各セルに対して計算されている。サマリ画像(Summary image)の各セルは、セルの重要度を表すために使用される灰色スケールを使用して色付けされ、従って、ピクセルのセットの重要度がセルに含まれる。例えば、キャラクターの左側および右側のエリアは、白色で表され、従って、これらのエリアがシーンの視覚的理解に重要ではないことを意味する。

図１のフローチャートに戻って、ステップＳ７０において、オリジナル空間領域（Ω）のセルは、重み付け平均よりも下回るセルの１または複数の制御ポイントを変位することによって変形される。

画像をリサイズするためにピクセルを除去または追加するためのコンテンツアウェアのアルゴリズムの分野において使用されることで知られたアルゴリズムの中から１つのアルゴリズムがサマリ画像に直接適用されもよく、ただし、これらのアルゴリズムがピクセル上ではなくセル（即ち、制御ポイントのグループ）上で動作することを除く。これらのアルゴリズムは、画像重要度によって導かれ、そしていくつかの最適化の制約に従って画像を変更するように変換パラメータを調整し、その間に画像サマリが最小に変更される。最適化の制約は、画像が真っすぐなエッジを保たなければならないという事実を含むが、画像を最小に歪ませる制約も含むことができる（同じ結果となる画像重要度コストを用いて、いくつかの変換がパラメータの空間サイズに応じてさらに可能であり、これらの制約を追加することによって可能な変換パラメータの中から選択できるようにし、従って、最も適切な変換ができるようになる）。

セル上での動作は、アルゴリズムが（ｉ）重み付け平均よりも下回る１または複数のセルを特定し、（ii）特定されたセルのサイズを変更することを伴う（これらのアルゴリズムによって行われる時にピクセルを除去または追加する代わりに）。対応するセルのサイズは、変更される。すでに論じたように、
−セルのサイズは、このセルがアルゴリズムによって除去されなければならないと特定された時に削減される
−セルのサイズは、このセルがアルゴリズムによってピクセルが追加されなければならないと特定された時に増加される。実際には、セルのリサイジングは、変換の微分同相性を保つために、制御ポイントの間隔の０．４８倍まで行われ得る。

次に、ステップＳ８０において、変換Ｔ_θは、変位された１または複数の制御ポイントを使用して、画像Ｉの空間領域にわたって計算される。式５の関数θは、パラメータ化された変換の制御ポイントのセットを表す関数であり、そして関数θは、変換Ｔ_θの単独パラメータである。従って、ひとたび制御ポイントが変位されると、ステップＳ７０において遂行されるように、変換Ｔ_θのパラメータが設定される。従って、式５において定義されたように、変換Ｔ_θを計算することが可能である。

最後に、ステップＳ９０において、リサイズされた画像Ｉは、計算された変換Ｔ_θをリサイズする画像Ｉの空間領域に適用することによって計算される。リサイズされた画像は、リサイズされた空間領域Ω’上で定義される。計算された変換Ｔ_θの適用は、画像Ｉの入力空間領域Ωから画像Ｊの出力空間領域Ω’までのマッピングが実施されることを意味する。各ピクセルの位置は、式３および式４に従って変更される。

これより図２に関して、本発明に従って画像のリサイズを遂行するためのコンピュータプログラムの計算モジュールの例が示されている。各モジュールは、コンピュータ、例えば、図１７のコンピュータシステムによって実行可能な命令を備える。

重要度計算モジュール２０は、入力としてリサイズする画像Ｉを受け取る（ステップＳ１０）。リサイズする画像Ｉは、例えば、図１１の画像とすることができる。モジュール２０は、画像Ｉの各ピクセルの重要度を計算する。モジュールの出力は、ステップＳ２０に従って、画像Ｉの画像重要度を提供する。図１２は、図１１の画像の有意画像の例を示す。

サマリ画像計算モジュール３０は、入力としてモジュール２０の出力を受け取り、そしてステップＳ３０からステップＳ６０までに従ってサマリ画像を計算する。図１４は、モジュール３０によって図１２の有意画像から計算されたサマリ画像の例を示す。従って、モジュール３０は、変換Ｔ_θをパラメータ化する補間スプラインの制御ポイントのセットを計算する。サマリ画像計算モジュール３０は、いくつかの種類の補間スプライン関数を実装できる。１つの補間スプラインの選択がユーザアクションの後、またはデフォルトによって遂行され得る。補間スプラインから取得された制御ポイントのセットは、グリッドとして、例えば、図１３に図示したように、制御ポイントが図１１の入力画像のオリジナル空間領域Ωにわたって一様に広がっている正則グリッドとして表すことができる。

オプティマイザモジュール４０は、入力としてサマリ画像を受け取る。オプティマイザモジュールは、サマリ画像のどのピクセルが削除または追加されなければならないかを返す。

オプティマイザモジュール４０は、画像重要度をサマリ画像変換定義にリンクする計算モジュールである。そのモジュールは、コンテンツアウェアのアルゴリズムの分野においてピクセルの除去または追加に特化した１または複数の周知のアルゴリズムを実装する。重み付け平均よりも下回る１または複数のセルを特定し、そして特定されたセルのサイズの変更を決定することが可能である任意のアルゴリズムを使用することができることを理解されたい。従って、このモジュールは、サマリ画像の変換パラメータを提供する。いくつかのアルゴリズムのうちの１つのアルゴリズムの選択がユーザアクションの後、またはデフォルトによって遂行され得る。

制御ポイント動きモジュール５０は、ステップＳ７０において定義されたように、１または複数の制御ポイントの変位を定義し、そして変換Ｔ_θをさらに計算する（ステップＳ８０）。このモジュールの出力は、計算された変換の変換パラメータを備える。これらの変換パラメータは、図１５に示されたグリッドなどの、変更されたグリッドを形成する。このモジュール５０は、モジュール４０の出力から、即ち、サマリ画像のどのピクセルが削除または追加されなければならないかによって制御ポイントの位置を推測する。

変換モジュール６０は、計算されたＴ_θをリサイズする画像Ｉの空間領域上で適用する（ステップＳ９０）。変換モジュールの出力は、リサイズされた画像Ｊ、例えば、図１６の画像である。

その後、画像Ｉの新しいサイズが期待されたサイズに適合するかどうかがチェックされ、実際には、変換された画像を計算せずに変換された画像の期待された次元のチェックをすることが可能である。リサイズされた画像が期待されたサイズに適合する場合、変換モジュール８０の出力は、新しいリサイズされた画像Ｊであると見なされる。リサイズされた画像が期待されたサイズに適合しない場合、全体のプロセス（ステップＳ２０からＳ８０まで）が新しい変換パラメータを用いて繰り返される。制御ポイントの新しい変位は、制御ポイント動きモジュール５０がオプティマイザモジュール４０と協調することによって決定される。

オプティマイザモジュール４０によって使用されるアルゴリズムに依存し、その後１つのみのパスが要求され、そしてどの反復８０も行われないか、または希望のサイズが１つのステップにおいて実現されないのであれば、希望のサイズが達成されるまで反復８０がさらに遂行される。

興味深いことに、オプティマイザモジュール４０において使用されるアルゴリズムが画像重要度(Image Significance)を再計算する必要があれば、画像重要度(Image Significance)は、現在変位されているグリッドを用いていつでも再計算されることができる。最終画像は、最終的に取得された変換がオリジナル画像に適用される場合に一度のみ計算される。

本発明は、有利には、Seam carving for content-aware image resizingにおいて説明されるような、現在のコンテンツアウェアの画像リターゲティングを用いてすでに使用されているいくつかの計算モジュールを再使用させることができる。既存の重要度計算モジュール２０、オプティマイザモジュール４０および変換モジュール６０が再使用される可能性がある。これは、有利には、開発コストを制限して、本発明と現在のコンテンツアウェアの画像リターゲティングソフトウェアとの統合を容易にする。

本発明の好適な実施形態が説明されている。本発明の精神と範囲から逸脱せずにさまざまな変更が行われ得ることが理解されよう。従って、他の実装は、以下の特許請求の範囲の範囲内である。例えば、計算速度を上げる多重スケール／多重分解能手法（Lee, Seungyong, George Wolberg, and Sung Yong Shin. “Scattered data interpolation with multilevel B-splines”, In IEEE Transactions on Visualization and Computer Graphics, Volume 3 Issue 3, July 1997, Page 228-244において説明されるように）は、アルゴリズムの変更をせずに本発明においても使用されることができ、各新しいスケール／分解能レベルの後に画像重要度のみが再計算されればよい。

Claims

画像Ｉをリサイズするためのコンピュータによって実装される方法であって、
−リサイズする前記画像Ｉを提供するステップと、
−リサイズする前記画像内の各ピクセルの重要度を計算することによって画像重要度を提供するステップと、
−有意画像のオリジナル空間領域（Ω）を抽出するステップと、
−制御ポイントのセットによる、前記オリジナル空間領域（Ω）からリサイズされた空間領域（Ω’）までの補間スプラインとしてパラメータ化された変換Ｔ_θを提供するステップと、
−前記オリジナル空間領域（Ω）をセルにサブ分割するステップであって、各セルは、前記セットの制御ポイントのサブセットによって定義される、ステップと、
−各セルに対し、前記セル内の前記ピクセルの前記重要度の重み付け平均を計算するステップであって、前記重み付け平均は、前記補間スプラインを使用して計算される、ステップと、
−重み付け平均よりも下回る前記セルの１または複数の制御ポイントを変位させることによって前記オリジナル空間領域（Ω）の前記セルを変形させるステップと、
−前記変位された１または複数の制御ポイントを使用して、前記画像Ｉの空間領域にわたって前記変換Ｔ_θを計算するステップと、
−前記計算された変換Ｔ_θを、リサイズする前記画像Ｉの前記空間領域に適用することによって、リサイズされた画像Ｊを計算するステップと、
を備える方法。
前記提供される変換Ｔ_θは、
となる微分同相変換Ｔ_θであり、ここにＩは、リサイズされる前記画像であり、Ｊは、前記リサイズされた画像であり、ｘは、前記オリジナル空間領域（Ω）における所与のピクセルの位置である、請求項１に記載の方法。
前記微分同相変換Ｔ_θは、式Ｔ_θ＝ｘ＋ｕ_θ（ｘ）によって定義され、ここにｘは、前記オリジナル空間領域（Ω）における所与のピクセルの前記位置であり、ｕ_θ（ｘ）は、ｕが前記オリジナル空間領域（Ω）から前記リサイズされた空間領域（Ω’）へのマッピングである変位関数である、請求項２に記載の方法。
前記変換Ｔ_θは、自由形状変形の補間スプラインとしてパラメータ化され、変位関数ｕ_θ（ｘ）は、式
によって定義され、ここにＢ⁰，Ｂ¹，Ｂ²，Ｂ³は、３次Ｂスプライン関数であり、θは、制御ポイントを表す関数であり、Ｓ_wは、水平方向の２つの制御ポイント間の間隔であり、Ｓ_hは、垂直方向の２つの制御ポイント間の間隔であり、ｘ_wは、水平軸上の前記オリジナル空間領域（Ω）におけるピクセルの前記位置であり、ｘ_hは、垂直軸上の前記オリジナル空間領域（Ω）におけるピクセルの前記位置である、請求項３に記載の方法。
制御ポイントの前記セットは、グリッドを形成し、θは、制御ポイントの前記グリッドを表す関数である、請求項４に記載の方法。
計算する前記ステップは、各セルに対し、関数
を用いて前記セル内の前記ピクセルの前記重要度の重み付け平均が実行され、ここにΩ_(i,j)は、前記オリジナル空間領域（Ω）のパーティションであり、Ｓ（ｘ）は、前記提供された有意画像を表す、請求項３乃至４のいずれかに記載の方法。
前記パーティションΩ_(i,j)は、前記セルによってカバーされる領域である、請求項６に記載の方法。
前記有意画像から抽出された前記オリジナル空間領域（Ω）は、リサイズする前記画像Ｉの前記空間領域（Ω）と同じである、請求項１乃至７のいずれかに記載の方法。
リサイズされた画像Ｊを計算する前記ステップは、画像サイズを削減するまたは増加させることを含む、請求項１乃至８のいずれかに記載の方法。
コンピュータ実行可能命令を含むコンピュータプログラムであって、前記コンピュータ実行可能命令は、コンピュータによって実行されると、請求項１乃至９のいずれかに記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
請求項１０のコンピュータプログラムが記録されたコンピュータ可読記憶媒体。
メモリに結合されたプロセッサを備えるシステムであって、前記メモリは、請求項１０の前記コンピュータプログラムを記録している、システム。