JP5081922B2 - フォトリアルな画像サムネイルを生成する装置及び方法 - Google Patents

フォトリアルな画像サムネイルを生成する装置及び方法 Download PDF

Info

Publication number
JP5081922B2
JP5081922B2 JP2009539244A JP2009539244A JP5081922B2 JP 5081922 B2 JP5081922 B2 JP 5081922B2 JP 2009539244 A JP2009539244 A JP 2009539244A JP 2009539244 A JP2009539244 A JP 2009539244A JP 5081922 B2 JP5081922 B2 JP 5081922B2
Authority
JP
Japan
Prior art keywords
input image
resolution
local input
image
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009539244A
Other languages
English (en)
Other versions
JP2010511928A (ja
Inventor
ラミン サマダニ,
スーク, ウォン リム,
ダニエル, アール. トレッター,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2010511928A publication Critical patent/JP2010511928A/ja
Application granted granted Critical
Publication of JP5081922B2 publication Critical patent/JP5081922B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

サムネイル画像は、ユーザが多くの画像を素早くブラウジングすることを可能にするが、オリジナル画像のサイズを削減してサムネイル画像を生成するプロセスは、通常、オリジナル画像の局所的特徴を除去する。その結果、サムネイル画像の外観は、対応するオリジナル画像の内容又は品質を明らかにしないことが多く、標準的なサムネイルによるブラウジングは、誤りが起こりやすくなり、非効率的なものとなる。
いくつかの視覚探索手法は、オリジナル画像の選択された特徴の視認性を高める非フォトリアルなサムネイルを合成することによってこの問題に取り組んでいる。このような一手法では、目立たない領域(たとえば、背景領域)は、オリジナル画像からクロッピングされ、クロッピングされた結果の領域からサムネイル画像が生成される。別の手法では、オリジナル画像のサムネイルバージョンは、他の要素に対して強調されて(たとえば、フォントがより大きく又はよりボールドにされ、彩度がより飽和されて)、ユーザがオリジナル画像を識別又は分類するのを助ける手掛かりを提供する、選択された「関連のある」要素で生成される。
必要とされているものは、対応するオリジナル画像の品質を有する改良された表現を提供するフォトリアルな画像サムネイルを生成する装置及び方法である。
本発明は、入力画像を処理する方法、システム、及びマシン可読媒体を特徴とする。
本発明の一態様では、第1のピクセル解像度を有する入力画像の局所入力画像領域の各視覚的特徴が解析されて、結果が生成される。視覚的特徴を解析した結果に基づいて、局所入力画像領域のうちの対応する局所入力画像領域の低減された解像度の視覚表現が、入力画像から導出される。第1のピクセル解像度よりも低い第2のピクセル解像度を有する、入力画像の配置、全体のバランス、及び局所的な細部を反映したサムネイル画像が、低減された解像度の視覚表現から生成される。このサムネイル画像が出力される。
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の記載から明らかになるであろう。
一例示の適用環境における入力画像処理システムの一実施形態のブロック図である。 入力画像処理方法の一実施形態のフロー図である。 図1に示す入力画像処理システムの一実施形態のブロック図である。 図3に示す入力画像処理システムの一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図5の入力画像処理方法の一実施形態のフロー図である。 図6の入力画像処理方法の一実施形態のフロー図である。 図7の入力画像処理方法の一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図9の入力画像処理方法の一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図11の入力画像処理方法の一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図13の入力画像処理方法の一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図16の入力画像処理方法の一実施形態によって生成される情報のフロー図である。 入力画像処理方法の一実施形態のフロー図である。 図18の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
以下の説明では、同様の参照符号は、同様の要素を識別するのに使用される。さらに、図面は、例示の実施形態の主要な特徴を図式的に示すことを目的としている。図面は、実際の実施形態のあらゆる特徴を描写することを目的としているとは限らず、また、描写された要素の相対的な寸法を描写することを目的ともしておらず、一律の縮尺で描かれていない。
[I.序論]
以下で詳細に説明される実施形態は、対応するオリジナル画像の品質を有する改善された表現を提供するフォトリアルな画像サムネイルを生成することができる。このように、これらの実施形態によって、ユーザは、オリジナル画像の品質を正確に確認することが可能になる。この情報は、たとえば、コレクション内のどの画像を写真アルバムに組み込むのか、ハードコピーとして印刷するのか、電子メールによって他者へ送信するのか、及びコレクションから削除するのかを選択するのに使用することができる。
本明細書で使用される場合に、「フォトリアルなサムネイル画像」という用語は、対応する入力画像の配置、割合、及び局所的な細部を反映した入力画像の低減された解像度のバージョンを指す。フォトリアルなサムネイル画像は、高解像度の視覚要素を必ずしも客観的に再現することなく、対応する入力画像の異なる視覚的要素の視覚的な外観を主観的に伝達する再現要素又は合成要素のいずれかを含むことができる。これとは対照的に、「非フォトリアルなサムネイル画像」は、情報を伝えることに観察者の注意を集中させるように入力画像の視覚要素の局所的な細部を意図的且つ様式的に変更する入力画像の低減された解像度のバージョンを指す。
[II.一例示の適用環境における入力画像処理システムの概観]
図1は、データベース14を含む一例示の適用環境12における入力画像処理システム10の一実施形態を示している。この入力画像処理システム10は、視覚的特徴解析モジュール16、解像度低減モジュール18、及びサムネイル画像生成モジュール20を含む。作動中、入力画像処理システム10は、入力画像22を処理して、サムネイル画像24を生成する。サムネイル画像24は、出力される(たとえば、不揮発性コンピュータ可読媒体上のデータベース14に記憶されるか、揮発性コンピュータ可読媒体上に記憶されるか、ディスプレイ上にレンダリングされるか、又は用紙等の印刷媒体上にレンダリングされる)。
入力画像処理システム10は、どの特定のハードウェア構成、ファームウェア構成、又はソフトウェア構成にも制限されない1つ又は複数のディスクリートモジュール(又はデータ処理コンポーネント)によって実施することができる。図示した実施形態では、モジュール16〜20は、デジタル電子回路機構(たとえば、デジタル信号プロセッサ(DSP)等の特定用途向け集積回路)又はコンピュータハードウェア、コンピュータファームウェア、コンピュータデバイスドライバ、若しくはコンピュータソフトウェアを含めて、任意のコンピューティング環境又はデータ処理環境で実施することができる。いくつかの実施形態では、モジュール16〜20のうちの複数のモジュールの機能は、単一の処理コンポーネントに結合される。いくつかの実施形態では、モジュール16〜20のうちの1つ又は複数のそれぞれの各機能は、複数の処理コンポーネントの各セットによって遂行される。いくつかの実施態様では、入力画像処理システム10によって実行される方法を実施するためのコンピュータプロセス命令、及び入力画像処理システム10が生成するデータは、1つ又は複数のマシン可読媒体に記憶される。これらの命令及びデータを有形に実施するのに適した記憶デバイスには、すべての形態の不揮発性コンピュータ可読メモリが含まれる。このすべての形態の不揮発性コンピュータ可読メモリには、たとえば、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスク及び着脱可能ハードディスク等の磁気ディスク、光磁気ディスク、DVD−ROM/RAM、及びCD−ROM/RAMが含まれる。
図2は、入力画像処理システム10によって実施される方法の一実施形態を示している。
この方法によれば、視覚的特徴解析モジュール16は、入力画像22の局所入力画像領域の各視覚的特徴26を解析して結果を生成する(図2、ブロック28)。一般に、視覚的特徴を解析した結果は、局所入力画像領域の1つ又は複数の視覚的特性又は視覚的属性(たとえば、ブラー、雑音、テクスチャ、彩度、又はスペキュラハイライトの量又はレベル)を特徴付けるか、測定するか、又は指定するパラメータの値とすることもできるし、局所入力画像領域のこのような視覚的特性又は視覚的属性を表すモデルとすることもできる。
入力画像22は、第1のピクセル解像度によって特徴付けられる。本明細書で使用されるように、「ピクセル解像度」は、デジタル画像におけるピクセルのカウントを指す。このピクセルカウントは、たとえば、デジタル画像に対応するピクセルのアレイの総ピクセルカウントとして表すこともできるし、当該ピクセルのアレイの横寸法及び縦寸法の積として表すこともできる。一般に、入力画像22は、任意のタイプのデジタル画像に対応することができる。この任意のタイプのデジタル画像には、画像センサ(たとえば、デジタルビデオカメラ、デジタル静止画像カメラ、若しくは光スキャナ)によって取り込まれたオリジナル画像(たとえば、ビデオキーフレーム、静止画像、若しくはスキャンされた画像)又はこのようなオリジナル画像の処理(たとえば、サブサンプリング、フィルタリング、再フォーマット、強調、若しくは別の方法で変更)されたバージョンが含まれる。代替的に、入力画像22は、レイトレーシング又は他の任意の画像生成技法を使用して、コンピュータグラフィックスモデルから合成された人工生成画像に対応することができる。これらの合成画像は、たとえば、特殊効果映画フレーム、コンピュータゲームビジュアル、及び他の人工画像を生成するのに使用することができる。
視覚的特徴26を解析した結果に基づいて、解像度低減モジュール18は、入力画像22から、局所入力画像領域のうちの対応する局所入力画像領域の低減された解像度の視覚表現30を導出する(図2、ブロック32)。低減された解像度の視覚表現30は、通常、局所入力画像領域のうちの対応する局所入力画像領域の1つ又は複数の視覚的特徴をモデル化する。いくつかの場合には、これらのモデルは、視覚的特徴と基礎となる画像表現とを組み合わせたものに対応する。他の場合には、これらのモデルは、視覚的特徴自体の表現に対応する。この場合、これらのモデルは、通常、入力画像22の基礎となる低減された解像度の表現と組み合わせられる摂動又は変更として指定される。
サムネイル画像生成モジュール20は、低減された解像度の視覚表現30からサムネイル画像24を生成する(図2、ブロック34)。サムネイル画像24は、入力画像22のピクセル解像度よりも低いピクセル解像度を有する。サムネイル画像14は、入力画像22の配置、割合、及び局所的な細部を反映している。
サムネイル画像生成モジュール20は、サムネイル画像24を出力する(図2、ブロック36)。たとえば、いくつかの実施形態では、サムネイル画像生成モジュール20は、サムネイル画像24の少なくとも一部をマシン可読データ記憶媒体上に記憶することによってサムネイル画像24を出力する。このマシン可読データ記憶媒体は、通常、コンピュータ可読記憶媒体等の電子メモリデバイスである。いくつかの実施形態では、サムネイル画像生成モジュール20は、マシン可読データ記憶媒体にサムネイル画像24全体を一時に記憶する。他の実施形態では、サムネイル画像生成モジュール20は、処理資源及びメモリ資源の一方又は双方が厳しく制約される組み込みプリンタ環境等の組み込み環境によって課せられた制約条件を満たすために、マシン可読データ記憶媒体にラインごとにサムネイル画像24を記憶する。いくつかの実施形態では、サムネイル画像生成モジュール20は、サムネイル画像24をレンダリングすることによってサムネイル画像24を出力する。たとえば、いくつかの実施形態では、サムネイル画像生成モジュール20は、サムネイル画像24をディスプレイ上にレンダリングする。このディスプレイは、たとえば、LCD(液晶ディスプレイ)、プラズマディスプレイ、ELディスプレイ(エレクトロルミネセンスディスプレイ)、FED(電界放出ディスプレイ)等のフラットパネルディスプレイとすることができる。他の実施形態では、サムネイル画像生成モジュール20は、サムネイル画像24を印刷媒体(たとえば、1枚の用紙)上にレンダリングする。
[III.入力画像処理システムの例示の実施形態]
視覚的特徴解析モジュール16によって解析される局所入力画像領域の視覚的特徴は、入力画像22の1つ又は複数の視覚的特性又は視覚的属性に対応する。いくつかの実施形態では、入力画像処理システム10は、単一の処理パイプラインを通じて入力画像22を処理する。この単一の処理パイプラインは、入力画像22の複数の視覚的特性又は視覚的属性を同時に解析し、それら視覚的特性又は視覚的属性を解析した結果から局所入力画像領域の低減された解像度の視覚表現を導出する。他の実施形態では、入力画像処理システム10は、各視覚的特性又は各視覚的属性について別々の処理パイプラインを通じて入力画像22を処理する。
図3は、視覚的特徴解析モジュール16がN個の局所入力画像領域解析モジュール42(Nは、少なくとも2の整数値を有する)を含む入力画像処理システム10の一実施形態40を示している。これらN個の局所入力画像領域解析モジュール42のそれぞれは、局所入力画像領域の各視覚的特性又は視覚的属性を解析した各結果44を生成する。また、入力画像処理システム40は、N個の解像度低減処理パイプライン46も含む。これらN個の解像度低減処理パイプライン46のそれぞれは、局所入力画像領域の視覚的特徴を解析した対応する結果44から低減された解像度の視覚表現の各セット48を導出する。いくつかの実施形態では、低減された解像度の視覚表現の各セット48は、低減された解像度の合成画像又はマップの形でサムネイル画像生成モジュール20に渡される。他の実施形態では、低減された解像度の視覚表現は、局所入力画像領域のうちの個々の局所入力画像領域にそれぞれ対応する分離した個別のサブ画像又はサブマップとしてサムネイル画像生成モジュールに渡される。
図4は、入力画像22からサムネイル画像24を生成するプロセスの一実施形態中のさまざまな段階において入力画像処理システム40によって生成される情報のフロー図を示している。このプロセスによれば、解像度低減処理パイプライン46のそれぞれは、局所入力画像領域の視覚的特徴を解析した結果44から局所入力画像領域の低減された解像度の視覚表現の各セット48を導出する。解像度低減処理パイプライン46は、低減された解像度の視覚表現のセット48をサムネイル画像生成モジュール20に渡す。サムネイル画像生成モジュール20は、低減された解像度の視覚表現のセット48を結合して、サムネイル画像24を生成する。このプロセスでは、サムネイル画像生成モジュール20は、1つ又は複数の合成演算(たとえば、オーバーレイ合成演算及び加算合成演算の1つ又は複数)を使用することができる。低減された解像度の視覚表現のセット48を結合するために画像生成モジュール20によって使用することができる合成演算のタイプに関する追加の詳細は、Porter及びDuff著「Compositing Digital Images」(Computer Graphics, Vol. 18, No. 3, pp.253-259 (July 1984))に見つけることができる。
[IV.入力画像処理システムのコンポーネントの例示の実施形態]
上記で説明したように、入力画像処理システム10の実施形態は、入力画像22の局所領域の1つ又は複数の視覚的特性又は視覚的属性に対応する視覚的特徴をモデル化する低減された解像度の視覚表現からサムネイル画像24を生成することができる。入力画像処理システム10によってモデル化される例示の視覚的特性又は視覚的属性には、ブラー、雑音、テクスチャ、彩度、及びスペキュラハイライトが含まれるが、これらに限定されるものではない。
[A.局所入力画像領域のブラーのモデル化]
図5は、入力画像処理システム10が入力画像22の局所領域のブラーをモデル化する方法の一実施形態を示している。
図5のブラーモデル化方法によれば、視覚的特徴解析モジュール16は、局所入力画像領域のそれぞれについて、対応するブラーパラメータ値を求める(図5、ブロック50)。いくつかの実施形態では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って局所入力画像領域のブラーの量と相関する。他の実施形態では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って局所入力画像領域のブラーの量の直接的又は間接的な尺度を提供する。
解像度低減モジュール18は、対応するブラーパラメータ値に基づいて、局所入力画像領域のブラーを表す各低減された解像度のブラーモデルを求める(図5、ブロック52)。いくつかの実施形態では、ブラーモデルは、対応するブラーパラメータ値によって求められる各量によってブラー化される低減された解像度のベース画像の各領域に対応する。他の実施形態では、ブラーモデルは、各ブラーフィルタによってフィルタリングされた局所入力画像領域のダウンサンプリングされたバージョンに対応する。ここで、ブラーフィルタによって生成されたブラーの量は、対応するブラーパラメータ値によって設定される。
いくつかの実施形態では、サムネイル画像生成モジュール20は、低減された解像度のブラーモデルからサムネイル画像24を合成することができる。これら低減された解像度のブラーモデルのそれぞれは、サムネイル画像24の各局所領域に対応する。
図6は、図5のブラーモデル化方法の一例示の実施態様を示している。この方法によれば、視覚的特徴解析モジュール16は、局所入力画像領域のそれぞれについて、対応するブラーパラメータ値を求める(図6、ブロック54)。この方法では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って、局所入力画像領域のブラーの量と相関する。解像度低減モジュール18は、局所入力画像領域のそれぞれについて、複数の低減された解像度のブラーモデルを生成する(図6、ブロック56)。局所入力画像領域のそれぞれについて、解像度低減モジュール18は、対応するブラーパラメータ値に基づいて、ブラーモデルの1つを、各局所入力画像領域のブラーを表すブラーモデルとして選択する(図6、ブロック58)。
図7は、図6のブラーモデル化方法の一例示の実施態様を示している。図8は、このブラーモデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図7のブラーモデル化方法によれば、入力画像処理システム10は、局所入力画像領域のそれぞれについて、対応するレンジパラメータ値を求める(図7、ブロック60)。いくつかの実施形態では、レンジパラメータ値は、局所入力画像領域の絶対差の大きさがある。絶対差の大きさは、局所入力画像領域のブラーの量と相関する。これらの実施態様のいくつかでは、視覚的特徴解析モジュール16は、入力画像22上にスライディングウィンドウを重ね合わせ、スライディングウィンドウ内の入力画像ピクセルからレンジ画像62におけるレンジパラメータ値を求める。一例示の実施形態では、スライディングウィンドウは、3×3ピクセルの寸法を有する。各レンジパラメータ値は、局所入力画像ピクセルのそれぞれ1つに重ね合わされたスライディングウィンドウ内の最大ルミナンス値と最小ルミナンス値との間の差に対応する。解像度低減モジュール18は、レンジ画像62から低減された解像度のレンジ画像64を生成する。一例示の実施形態では、解像度低減モジュール18は、(たとえば、サムネイルのサイズが各長さ寸法で10倍小さい場合に10×10ピクセル内で)レンジ画像62の最大値を計算し、結果の非線形フィルタリングされたレンジ画像をサムネイル画像24の目標ピクセル解像度にダウンサンプリングして、低減された解像度のレンジ画像64を生成する。
解像度低減モジュール18は、入力画像の平均近似に対応する低減された解像度のベース画像66を生成する(図7、ブロック68)。いくつかの実施形態では、ベース画像66は、入力画像22を低域通過フィルタ(たとえば、ボックスカーフィルタ)でフィルタリングし、フィルタリングされた画像をサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準画像サムネイルに対応する。
解像度低減モジュール18は、ベース画像66を複数のブラーフィルタでフィルタリングして、局所入力画像領域のそれぞれについて複数の低減された解像度のブラーモデル70を生成する(図7、ブロック72)。この方法によるいくつかの実施形態では、解像度低減モジュール18は、ブラーフィルタのセットでベース画像66をブラー化して、低減された解像度のブラーモデル70のスケール空間を生成する。これら低減された解像度のブラーモデル70のそれぞれは、局所入力画像領域のうちのそれぞれの局所入力画像領域の低減された解像度のブラー化されたバージョンに対応する局所領域を有する。一例示の実施形態では、ブラーフィルタは、横方向及び縦方向の双方において、式(1)で規定されるガウス分布を使用してベース画像66のピクセル値をブラー画像70に変換する可分ガウスブラーフィルタである。
Figure 0005081922
ここで、フィルタ係数は、式(1)によって整数ピクセルオフセット値rについて与えられ、σは、ガウス分布の標準偏差である。フィルタがディスクリートフィルタ用に正規化される(総和が1になる)ことを確実にするために、正規化係数kは、フィルタ係数のすべての総和の逆数である。一例示の実施形態では、標準偏差σは、0.5から2.5に変更されて、ブラーモデル70が生成される。
解像度低減モジュール18は、ブラー画像70のそれぞれから各レンジマップ74を求める。このプロセスでは、解像度低減モジュール18は、レンジ画像62を求めるのに使用したプロセスと同じプロセスを使用する。
局所入力画像領域のそれぞれについて、解像度低減モジュール18は、各局所入力画像領域の対応するレンジパラメータ値と一致すると判断されたレンジパラメータ値を有する、対応するブラーモデル70のうちの1つを選択する(図7、ブロック76)。このプロセスでは、解像度低減モジュール18は、低減された解像度のレンジ画像64におけるレンジパラメータ値のそれぞれをレンジマップ74における対応するレンジパラメータ値と比較する。低減された解像度のレンジ画像64における対応するピクセルのレンジパラメータ値と一致する関連付けられたレンジパラメータ値を有すると判断されたブラーモデル70は、インデックスマップジェネレータ80によってインデックスマップ78において識別される。このインデックスマップジェネレータ80は、解像度低減モジュール18のコンポーネントである。一例示の実施形態では、インデックスマップジェネレータ80は、低減された解像度のレンジ画像64における対応するピクセルのレンジパラメータ値をちょうど上回るレンジパラメータ値でブラーモデルをインデックスする。
解像度低減モジュール18は、インデックスマップ78に従ってブラーモデル70からピクセル値を選択することによって、低減された解像度のブラー画像82を合成する。いくつかの実施態様では、低減された解像度のブラー画像82が、サムネイル画像24に対応する。
[B.局所入力画像領域の雑音のモデル化]
図9は、入力画像処理システム10が入力画像22の局所領域の雑音をモデル化する方法の一実施形態を示している。図10は、この雑音モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図9の雑音モデル化方法によれば、視覚的特徴解析モジュール16は、入力画像22の雑音を表す入力画像雑音モデル84を求める(図9、ブロック86)。いくつかの実施形態では、視覚的特徴解析モジュール16は、入力画像22の雑音分散の推定値から入力画像雑音モデル84を導出する。これらの実施形態のいくつかでは、入力画像雑音モデルは、入力画像22の高域通過フィルタリングされたバージョンを計算し、その結果の高域通過フィルタリングされた画像にソフトしきい値を適用することによって生成される。ここで、このしきい値は、入力画像22の雑音の全体的な推定値に基づいて設定される。
解像度低減モジュール18は、入力画像雑音モデル84から低減された解像度の雑音モデル88を生成する(図9、ブロック90)。いくつかの実施形態では、解像度低減モジュール18は、入力画像雑音モデル84をサムネイル画像24の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度の雑音モデル88を生成する。この実施形態のいくつかでは、解像度低減モジュール18は、ジッタを有するグリッド(jittered grid)上で入力画像雑音モデル84をサブサンプリングして、低減された解像度の雑音モデル88を生成する(たとえば、Robert L. Cook著「Stochastic Sampling in Computer Graphics」(ACM Transactions on Graphics (TOG), Volume 5, Issue 1, pp. 51-72 (January 1986))を参照)。
サムネイル画像生成モジュール20は、低減された解像度の雑音モデル88に基づいてサムネイル画像24を生成する(図9、ブロック92)。図示した実施形態では、サムネイル画像生成モジュール20は、低減された解像度の雑音モデル88をベース画像94と結合して、サムネイル画像24を生成する。いくつかの実施形態では、サムネイル画像生成モジュール20は、低減された解像度の雑音モデル88のピクセルの値を、ベース画像94の対応するピクセルの値に加える。
いくつかの実施形態では、ベース画像94は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像94は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像94は、図8に示す低減された解像度のブラー画像82に対応する。
入力画像の雑音と類似の外観を有する雑音を生成する別の方法は、分散や空間共分散等の雑音モデルパラメータを入力画像から推定し、次に、フィルタリングされた疑似乱数を使用することによってこれらの特性パラメータを有する雑音プロセスをシミュレーションすることを伴う。
[C.局所入力画像領域のテクスチャのモデル化]
入力画像は、時に、高い空間解像度のテクスチャを含む。それらの高い空間周波数のために、それよりも低い解像度のサムネイルにおいてテクスチャの構造を正確に反映することは不可能である。他方、テクスチャ局所エネルギーの変動等、テクスチャのいくつかの特定の態様は、それよりも低い解像度のサムネイルに反映させることができる。
入力画像処理システム10のいくつかの実施形態では、視覚的特徴解析モジュール16は、局所テクスチャモデルを生成する。この局所テクスチャモデルは、画像マップとして表すことができる。テクスチャモデルを生成する1つの方法は、まず、入力画像に局所エッジ検出器を適用し、入力画像の局所領域内のエッジ密度を求めることによって、テクスチャコンテンツのエリアを見つけることである。エッジ密度の高い領域は、非常にテクスチャ化されていると考えられる。このエッジ密度マップは、入力画像の高域通過フィルタリングされたバージョンと乗算され、その結果、高周波数のテクスチャを近似するテクスチャモデルとなる。このマップは、解像度低減モジュール18に入力されて、入力画像のテクスチャエネルギーを反映する低解像度テクスチャモデルが生成される。これらの実施形態のいくつかでは、ジッタを有するグリッド上で画像マップをサブサンプリングすることによって、低解像度テクスチャエネルギーモデルが生成される。いくつかの実施形態では、低解像度テクスチャモデルは、サムネイル生成モジュール20に入力される。サムネイル生成モジュール20は、低解像度テクスチャモデルをベース画像に加える。いくつかの実施形態では、ベース画像は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。
[D.局所入力画像領域の彩度のモデル化]
図11は、入力画像処理システム10が入力画像22の局所領域の彩度をモデル化する方法の一実施形態を示している。図12は、この彩度モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図11の彩度モデル化方法によれば、視覚的特徴解析モジュール16は、入力画像22の彩度を表す入力画像彩度モデル96を求める(図11、ブロック98)。彩度の外観は、彩度が現れる空間パターンに依存する(たとえばPoirson他著「Pattern-Color Separable Pathways Predict Sensitivity to Simple Colored Patterns」(Vision Research, Vol. 36, No. 4, pp. 515-526 (1996))を参照)。いくつかの実施形態では、入力画像彩度モデル96の彩度は、Poirson他によって説明されたモデルによって求めることができ、入力画像彩度モデル96のクロミナンス利得のパラメータは、カラーアピアランスを変更するように調整することができる。
解像度低減モジュール18は、入力画像彩度モデル96から低減された解像度の彩度モデル100を生成する(図11、ブロック102)。いくつかの実施形態では、解像度低減モジュール18は、入力画像彩度モデル96をサムネイル画像24の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度の彩度モデル100を生成する。
サムネイル画像生成モジュール20は、低減された解像度の彩度モデル100に基づいてサムネイル画像24を生成する(図11、ブロック104)。図示した実施形態では、サムネイル画像生成モジュール20は、低減された解像度の彩度モデル100をベース画像106と結合してサムネイル画像24を生成する。一般に、ベース画像106のピクセル値を変更する方法で、サムネイル画像生成モジュール20は、低減された解像度の彩度モデル100をベース画像106と結合し、このことによってベース画像106の局所領域が、低減された解像度の彩度モデル100の対応する領域の彩度尺度を近似する彩度尺度を有する。
いくつかの実施形態では、ベース画像106は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像106は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像106は、図8に示す低減された解像度のブラー画像82に対応する。別の例示の実施形態では、ベース画像106は、図10に示すサムネイル画像24のバージョンに対応する。
[E.局所入力画像領域のスペキュラハイライトのモデル化]
図13は、入力画像処理システム10が入力画像22の局所領域のスペキュラハイライトをモデル化する方法の一実施形態を示している。図14は、このスペキュラハイライトモデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図13のスペキュラハイライトモデル化方法によれば、視覚的特徴解析モジュール16は、入力画像22のスペキュラハイライトを表す入力画像スペキュラハイライトモデル108を求める(図13、ブロック110)。一般に、視覚的特徴解析モジュール16は、任意のタイプのスペキュラハイライト検出方法に従って、スペキュラハイライトを含む入力画像22の局所領域を検出することができる。いくつかの実施形態では、まず、明らかなハイライト色の画像色ヒストグラム及びハイライトヒストグラムの形状を自動的に調べることによってスペキュラ領域をセグメント化し、その後、モルフォロジー演算子を適用してスペキュラ領域を適応的に増大させることによって、入力画像スペキュラハイライトモデルが導出され、その結果、スペキュラ領域は、その後、サムネイルにおいてより可視的になる。いくつかの実施形態では、結果の入力画像スペキュラハイライトモデル108は、スペキュラハイライトを含む入力画像22の局所領域を識別するマスクに対応する。
解像度低減モジュール18は、入力画像スペキュラハイライトモデル108から低減された解像度のスペキュラハイライトモデル112を生成する(図13、ブロック114)。いくつかの実施形態では、解像度低減モジュール18は、入力画像スペキュラハイライトモデル108をサムネイル画像24の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度のスペキュラハイライトモデル112を生成する。
サムネイル画像生成モジュール20は、低減された解像度のスペキュラハイライトモデル112に基づいてサムネイル画像24を生成する(図13、ブロック116)。図示した実施形態では、サムネイル画像生成モジュール20は、低減された解像度のスペキュラハイライトモデル112をベース画像118と結合してサムネイル画像24を生成する。一般に、ベース画像118のピクセル値を変更する方法で、サムネイル画像生成モジュール20は、低減された解像度のスペキュラハイライトモデル112をベース画像118と結合し、このことによって、サムネイル画像24の局所領域が、低減された解像度のスペキュラハイライトモデル112の対応する領域のスペキュラハイライトを近似するスペキュラハイライトを有する。いくつかの実施形態では、サムネイル画像生成モジュール20は、スペキュラハイライトモデル112に従い、1つ又は複数の合成演算を使用して、人工的なスペキュラハイライトをベース画像118に加えることができる。
いくつかの実施形態では、ベース画像118は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像118は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像118は、図8に示す低減された解像度のブラー画像82に対応する。別の例示の実施形態では、ベース画像118は、図10に示すサムネイル画像24のバージョンに対応する。別の例示の実施形態では、ベース画像118は、図12に示すサムネイル画像24のバージョンに対応する。
[F.局所入力画像領域の他の視覚的特徴のモデル化]
[1.概観]
一般に、入力画像処理システム10は、入力画像22の品質及びコンテンツについての手掛かりを提供するために、入力画像の任意のタイプの視覚的特徴をモデル化し、モデル化された視覚的特徴の低減された解像度の視覚表現を組み込んだ画像サムネイル24を生成することができる。
図15は、入力画像処理システムが入力画像22の局所領域の視覚的特徴をモデル化する方法の一実施形態を示している。図16は、この視覚的特徴モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図15の視覚的特徴モデル化方法によれば、解像度低減モジュール18は、入力画像22から低減された解像度のベース画像126を生成する(図15、ブロック119)。いくつかの実施形態では、ベース画像126は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像126は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、ベース画像118は、図8に示す低減された解像度のブラー画像82並びに図10、図12、及び図14に示すサムネイル画像24のバージョンの1つに対応することができる。
視覚的特徴解析モジュール16は、入力画像22の局所領域の1つ又は複数の視覚的特徴を検出する(図15、ブロック120)。視覚的特徴解析モジュール16が検出してモデル化することができる低レベルの視覚的特徴の例示のタイプには、ピンぼけ、モーションブラー、サムネイルサンプリングパラメータのナイキスト周波数を超える局所テクスチャコンテンツ、スペキュラハイライト、及び雑音が含まれる。いくつかの実施形態では、視覚的特徴解析モジュール16は、赤目、顔、及び表情、並びに他の対象となる物体等の視覚的に意味のある高レベルの特徴を検出してモデル化する。特定のタイプの視覚的特徴を検出してモデル化する方法の例の説明は、次のセクションで提供される。
解像度低減モジュール18は、検出された視覚的特徴に対応する領域を識別する、低減された解像度の視覚的特徴強調マップ122を生成する(図15、ブロック124)。いくつかの実施形態では、解像度低減モジュール18は、入力画像視覚的特徴マップ126から、低減された解像度の視覚的特徴強調マップ122を生成する。この入力画像視覚的特徴マップ126は、視覚的特徴解析モジュール16によって検出された視覚的特徴のロケーションを識別するか、又は、このような視覚的特徴のモデルを含む。他の実施形態では、解像度低減モジュール18は、低減された解像度の視覚的特徴強調マップ122を入力画像22から直接導出する。このプロセスでは、解像度低減モジュール18は、視覚的特徴解析モジュール16によって検出される視覚的特徴についての情報を使用する。
サムネイル画像生成モジュール20は、低減された解像度の視覚的特徴強調マップ122に基づいてベース画像126を変更し、サムネイル画像24を生成する(図15、ブロック130)。このプロセスでは、サムネイル画像生成モジュール20は、低減された解像度の視覚的特徴強調マップ122に従って、ベース画像126のピクセル値を変更し、このことによって、サムネイル画像24の局所領域が、入力画像22の局所領域のうちの対応する局所領域における視覚的特徴を近似する視覚的特徴を有する。
[2.局所入力画像領域の赤目のモデル化]
図16は、入力画像処理システム10が入力画像22の局所領域の赤目をモデル化する方法の一実施形態を示している。図17は、この赤目モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
図16の赤目モデル化方法によれば、解像度低減モジュール18は、入力画像22から低減された解像度のベース画像136を生成する(図16、ブロック138)。いくつかの実施形態では、ベース画像136は、入力画像22を低域通過フィルタリングしてサムネイル画像24の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像136は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、ベース画像136は、図8に示す低減された解像度のブラー画像82並びに図10、図12、図14、及び図16に示すサムネイル画像24のバージョンの1つに対応することができる。
視覚的特徴解析モジュール16は、入力画像22の赤目領域を検出する(図16、ブロック140)。一般に、視覚的特徴解析モジュール16は、入力画像22の赤目領域を検出するのに、多種多様な異なる方法の任意のものを使用することができる。いくつかの実施形態では、米国特許第7,116,820号明細書に説明された赤目検出方法が、入力画像22の赤目領域を検出するのに使用される。
解像度低減モジュール18は、検出された赤目領域に対応するベース画像領域を識別する、低減された解像度の赤目マップ142を生成する(図16、ブロック144)。いくつかの実施形態では、解像度低減モジュール18は、入力画像赤目領域マップ146から、低減された解像度の赤目強調マップ142を生成する。この入力画像赤目領域マップ146は、視覚的特徴解析モジュール16によって検出された赤目領域のロケーションを識別するか、又は、このような赤目領域のモデルを含む。他の実施形態では、解像度低減モジュール18は、低減された解像度の赤目マップ142を入力画像22から直接導出する。このプロセスでは、解像度低減モジュール18は、視覚的特徴解析モジュール16によって検出される赤目領域についての情報を使用する。
サムネイル画像生成モジュール20は、低減された解像度の赤目マップ142において識別されたベース画像領域の赤さを増加させることによってベース画像136を変更し、サムネイル画像24を生成する(図16、ブロック148)。このプロセスでは、サムネイル画像生成モジュール20は、低減された解像度の赤目強調マップ142に従って、ベース画像136のピクセル値を変更し、このことによって、サムネイル画像24の局所領域が、入力画像22で検出された赤目領域の1つ1つに対応する可視的な赤目領域を有する。
[G.サムネイル画像の対象となる領域の視覚化]
[1.概観]
いくつかの実施形態では、入力画像処理システム10は、入力画像22の1つ又は複数の対象となる領域を識別し、識別された対象となる領域のフォトリアルなサムネイルバージョンを生成して、入力画像22のサブ領域の品質及びコンテンツについての手掛かりを提供するように動作可能である。
図18は、入力画像処理システム10が入力画像22の複数のサムネイルバージョンを生成する方法の一実施形態を示している。図19は、このサムネイル画像生成方法のさまざまな段階において生成される情報のフロー図を示している。
図18のサムネイル画像生成方法によれば、入力画像処理システム10は、入力画像22から低減された解像度のサムネイル画像152を生成する(図18、ブロック154)。いくつかの実施形態では、サムネイル画像152は、入力画像22を低域通過フィルタリングして目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、サムネイル画像152は、本明細書で説明する実施形態に従って、入力画像22の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像22の低減された解像度のバージョンに対応する。たとえば、サムネイル画像152は、図8に示す低減された解像度のブラー画像82並びに図10、図12、図14、図16、及び図18に示すサムネイル画像24のバージョンの一方に対応することができる。
視覚的特徴解析モジュール16は、入力画像22の1つ又は複数の対象となる領域を検出する(図18、ブロック156)。一般に、視覚的特徴解析モジュール16は、入力画像において、任意のタイプの視覚的に意味があるか、重要であるか、又は目立っている領域、物体、又は他の対象となる領域を検出するように構成することができる。いくつかの実施形態では、対象となる領域は、選択された知覚モデル又は注意モデルに基づいて識別される。例示の対象となる領域には、非背景領域、物体(たとえば、人)、及び顔が含まれる。図示した実施形態では、視覚的特徴解析モジュール16は、顔を含む入力画像22の領域158を検出する。入力画像22において顔を検出する例示の方法は、次のセクションで説明される。
入力画像処理システム10は、入力画像22からクロッピングされる対象となる入力画像領域162のうちのそれぞれの入力画像領域から、各クロッピングされた画像サムネイル160を生成する(図18、物体164)。このプロセスでは、入力画像処理システム10は、識別された対象となる領域158のそれぞれを入力画像22からクロッピングして、各クロッピングされた画像162を生成する。対象となる領域は、通常、視覚的特徴解析モジュール16によって識別されるバウンディングボックスにクロッピングされる。入力画像処理システム10は、次に、クロッピングされた画像162から、クロッピングされた画像サムネイル160を生成する。いくつかの実施形態では、クロッピングされた画像サムネイル160のそれぞれは、対応するクロッピングされた画像162を低域通過フィルタリングして目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、クロッピングされた画像サムネイル160のそれぞれは、本明細書で説明する実施形態に従って、クロッピングされた画像162の局所領域のうちの対応する局所領域の1つ又は複数の低減された解像度の視覚表現を組み込んだ、対応するクロッピングされた画像162の低減された解像度のバージョンに対応する。
入力画像処理システム10は、クロッピングされた画像サムネイル160を、サムネイル画像152の対応する領域に関連付ける各ハイパーリンク166を生成する(図18、ブロック168)。いくつかの実施形態では、グラフィカルユーザインターフェースが、サムネイル画像152の対応するハイパーリンクされた領域上で仮想ポインタ(たとえば、カーソル)を動かすことに応答して、クロッピングされた画像サムネイル160を表示する。
[2.入力画像の顔の検出]
一般に、視覚的特徴解析モジュール16は、入力画像22に各顔の存在を判断し、各顔のロケーションを求める任意のタイプの顔検出プロセスを使用することができる。例示の顔検出方法には、ラベル付けされた顔サンプルの集まりに対してマシンシステムをトレーニングする特徴ベース顔検出方法、テンプレートマッチング顔検出方法、ニューラルネットワークベース顔検出方法、及び画像ベース顔検出方法が含まれるが、これらに限定されるものではない。一例示の特徴ベース顔検出手法は、Viola及びJones著「Robust Real-Time Object Detection」(Second International Workshop of Statistical and Computation theories of Vision − Modeling, Learning, Computing, and Sampling, Vancouver, Canada (July 13, 2001))に説明されている。この文献は、参照により本明細書に援用される。一例示のニューラルネットワークベース顔検出方法は、Rowley他著「Neural Network-Based Face Detection」(IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1 (January 1998))に説明されている。この文献は、参照により本明細書に援用される。
通常の顔認識プロセスでは、視覚的特徴解析モジュール16は、最初に、入力画像22内の各顔の存在を判断し、各顔のおおよそのロケーションを求める。顔のおおよそのロケーションが検出された後、視覚的特徴解析モジュール16は、検出された顔を認識することができるように、検出された顔をアライン(又はレジストレーション)する。このプロセスでは、検出された顔の1つ又は複数の特徴点(たとえば、目、鼻の先端、及び口又は唇)が抽出される。一般に、任意のタイプの特徴抽出プロセスを使用することができる。この任意のタイプの特徴抽出プロセスには、エッジ、直線、及び曲線ベースの特徴抽出方法、特定の特徴点(たとえば、目及び口)を検出するように設計されたテンプレートに基づく抽出方法、並びに構造マッチング方法が含まれるが、これらに限定されるものではない。検出された各顔について、視覚的特徴解析モジュール16は、検出された顔のいくつの部分又はすべての部分を包含する各顔バウンディングボックスに対して、抽出された特徴をアラインする。いくつかの実施態様では、顔バウンディングボックスは、目、鼻、口を含むが、検出された顔の額全体又は顎又は頭頂を含まない長方形に対応する。
[V.結論]
本明細書で説明した実施形態は、対応するオリジナル画像の品質を有する改善された表現を提供するフォトリアルな画像サムネイルを生成することができる。このように、これらの実施形態によって、ユーザは、オリジナル画像の品質を正確に確認することが可能になる。この情報は、たとえば、コレクション内のどの画像を写真アルバムに組み込むのか、ハードコピーとして印刷するのか、電子メールによって他者へ送信するのか、及びコレクションから削除するのかを選択するのに使用することができる。
他の実施形態も、特許請求の範囲の範囲内にある。

Claims (5)

  1. 結果を生成するために、第1のピクセル解像度を有する入力画像の複数の局所入力画像領域の各視覚的特徴を解析し、当該解析することにおいて、前記複数の局所入力画像領域のそれぞれについて、第1のブラーパラメータ値を求め、
    前記視覚的特徴を解析することの前記結果に基づいて、前記入力画像から、前記複数の局所入力画像領域の対応する各々の低減された解像度の視覚表現を導出するために、前記複数の局所入力画像領域のそれぞれについて、それぞれ異なる第2のブラーパラメータ値を有する複数の低減された解像度のブラーモデルを決定し、前記複数の局所入力画像領域の各々について、それぞれの局所入力画像領域についての前記第1のブラーパラメータ値と、該それぞれの局所入力画像領域について決定された前記複数のブラーモデルに対応する前記複数の第2のブラーパラメータ値に基づいて、該複数のブラーモデルの一つをそれぞれの局所入力画像領域の前記低減された解像度の視覚表現として選択し、
    前記複数の局所入力画像領域に対応する前記複数の低減された解像度の視覚表現から、前記第1のピクセル解像度よりも低い第2のピクセル解像度を有する、前記入力画像の配置、割合、及び局所的な細部を反映したサムネイル画像を生成し、
    サムネイル画像を出力することを含むことを特徴とする方法。
  2. 前記導出することは、フィルタリングされた画像を生成するために、前記入力画像を低域通過フィルタリングし、低減された解像度のベース画像を生成するために、前記フィルタリングされた画像をサブサンプリングし、前記ベース画像から前記低減された解像度の視覚表現を導出することを含むことを特徴とする請求項1に記載の方法。
  3. 第1のピクセル解像度を有する入力画像の複数の局所入力画像領域の各視覚的特徴を解析して結果を生成し、当該解析することにおいて、該複数の局所入力画像領域のそれぞれについて、第1のブラーパラメータ値を求めるように動作可能な視覚的特徴解析データ処理コンポーネントと、
    前記視覚的特徴を解析することの前記結果に基づいて、前記入力画像から、前記複数の局所入力画像領域のうちの対応する各々の低減された解像度の視覚表現を導出するために、前記複数の局所入力画像領域のそれぞれについて、それぞれ異なる第2のブラーパラメータ値を有する複数の低減された解像度のブラーモデルを決定し、前記複数の局所入力画像領域の各々について、それぞれの局所入力画像領域についての前記第1のブラーパラメータ値と、該それぞれの局所入力画像領域について決定された前記複数のブラーモデルに対応する前記複数の第2のブラーパラメータ値に基づいて、該複数のブラーモデルの一つをそれぞれの局所入力画像領域の前記低減された解像度の視覚表現として選択するように動作可能な解像度低減データ処理コンポーネントと、
    前記複数の局所入力画像領域に対応する前記複数の低減された解像度の視覚表現から、前記第1のピクセル解像度よりも低い第2のピクセル解像度を有する、前記入力画像の配置、割合、及び局所的な細部を反映したサムネイル画像を生成し、サムネイル画像を出力するように動作可能なサムネイル画像生成データ処理コンポーネントと、
    を備えることを特徴とするシステム。
  4. 前記解像度低減データ処理コンポーネントは、前記入力画像を低域通過フィルタリングしてフィルタリングされた画像を生成し、フィルタリングされた画像をサブサンプリングして低減された解像度のベース画像を生成し、ベース画像から前記低減された解像度の視覚表現を導出するように動作可能であることを特徴とする請求項3に記載のシステム。
  5. マシン可読命令を記憶するマシン可読媒体であって、前記マシン可読命令が、
    結果を生成するために、第1のピクセル解像度を有する入力画像の複数の局所入力画像領域の各視覚的特徴を解析し、当該解析することにおいて、前記複数の局所入力画像領域のそれぞれについて、第1のブラーパラメータ値を求め、
    前記視覚的特徴を解析することの前記結果に基づいて、前記入力画像から、前記複数の局所入力画像領域のうちの対応する各々の低減された解像度の視覚表現を導出するために、前記複数の局所入力画像領域のそれぞれについて、それぞれ異なる第2のブラーパラメータ値を有する複数の低減された解像度のブラーモデルを決定し、前記複数の局所入力画像領域の各々について、それぞれの局所入力画像領域についての前記第1のブラーパラメータ値と、該それぞれの局所入力画像領域について決定された前記複数のブラーモデルに対応する前記複数の第2のブラーパラメータ値とに基づいて、該複数のブラーモデルの一つをそれぞれの局所入力画像領域の前記低減された解像度の視覚表現として選択し、
    前記複数の局所入力画像領域に対応する前記複数の低減された解像度の視覚表現から、前記第1のピクセル解像度よりも低い第2のピクセル解像度を有する、前記入力画像の配置、割合、及び局所的な細部を反映したサムネイル画像を生成し、
    サムネイル画像を出力することを含む動作をマシンに遂行させることを特徴とするマシン可読媒体。
JP2009539244A 2006-12-01 2007-10-26 フォトリアルな画像サムネイルを生成する装置及び方法 Expired - Fee Related JP5081922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/607,181 US7941002B2 (en) 2006-12-01 2006-12-01 Apparatus and methods of producing photorealistic image thumbnails
US11/607,181 2006-12-01
PCT/US2007/022647 WO2008069875A1 (en) 2006-12-01 2007-10-26 Apparatus and methods of producing photorealistic image thumbnails

Publications (2)

Publication Number Publication Date
JP2010511928A JP2010511928A (ja) 2010-04-15
JP5081922B2 true JP5081922B2 (ja) 2012-11-28

Family

ID=39477349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009539244A Expired - Fee Related JP5081922B2 (ja) 2006-12-01 2007-10-26 フォトリアルな画像サムネイルを生成する装置及び方法

Country Status (5)

Country Link
US (1) US7941002B2 (ja)
JP (1) JP5081922B2 (ja)
CN (1) CN101601287B (ja)
DE (1) DE112007002904T5 (ja)
WO (1) WO2008069875A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8396290B1 (en) 2007-03-09 2013-03-12 Pixar Saturation varying color space
US8942476B1 (en) * 2007-03-09 2015-01-27 Pixar Saturation varying and lighting independent color color control for computer graphics
KR101362011B1 (ko) * 2007-08-02 2014-02-12 삼성전자주식회사 링잉 아티펙트없는 블러 제거 방법
CN101521004B (zh) * 2008-02-29 2011-12-14 鹏智科技(深圳)有限公司 具有图片处理功能的电子装置及其图片处理方法
EP2269367A4 (en) * 2008-03-20 2012-04-04 Hewlett Packard Development Co IMAGE QUALITY STUDY ON THUMBNAIL BASIS
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US20090327965A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Selection of items in a virtualized view
US20100073398A1 (en) * 2008-09-22 2010-03-25 Microsoft Corporation Visual summarization of web pages
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8249388B2 (en) * 2008-11-24 2012-08-21 Microsoft Corporation Identifying portions of an image for cropping
US9152292B2 (en) 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
US20100299621A1 (en) * 2009-05-20 2010-11-25 Making Everlasting Memories, L.L.C. System and Method for Extracting a Plurality of Images from a Single Scan
KR101129220B1 (ko) * 2009-11-03 2012-03-26 중앙대학교 산학협력단 레인지 영상의 노이즈 제거장치 및 방법
US8600167B2 (en) * 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
JP5408037B2 (ja) * 2010-05-28 2014-02-05 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
JP5158138B2 (ja) * 2010-06-22 2013-03-06 株式会社ニコン 撮像装置、再生装置および再生プログラム
JP5729963B2 (ja) * 2010-10-07 2015-06-03 キヤノン株式会社 画像合成処理装置及びその制御方法
TW201348984A (zh) * 2012-05-18 2013-12-01 Primax Electronics Ltd 相片影像管理方法及相片影像管理系統
GB2500284B (en) * 2012-09-12 2014-04-30 Imagination Tech Ltd Tile based computer graphics
US9235875B2 (en) * 2012-11-01 2016-01-12 Google Inc. Image enhancement using learned non-photorealistic effects
KR101745625B1 (ko) 2012-12-17 2017-06-09 인텔 코포레이션 비디오 스트림에 섬네일 정보 실장
US9858728B2 (en) * 2013-03-08 2018-01-02 Autodesk, Inc. Interactive tool for inspecting and repairing three dimensional models
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
JP5819378B2 (ja) * 2013-09-30 2015-11-24 シャープ株式会社 画像判定装置、画像処理システム、プログラム及び記録媒体
CN103903223B (zh) * 2014-04-24 2017-03-01 厦门美图之家科技有限公司 一种基于图像显著性检测的获取缩略图的方法
US9424653B2 (en) * 2014-04-29 2016-08-23 Adobe Systems Incorporated Method and apparatus for identifying a representative area of an image
US9323984B2 (en) * 2014-06-06 2016-04-26 Wipro Limited System and methods of adaptive sampling for emotional state determination
WO2017165566A1 (en) * 2016-03-25 2017-09-28 The Regents Of The University Of California High definition, color images, animations, and videos for diagnostic and personal imaging applications
US10511846B1 (en) * 2016-09-01 2019-12-17 Google Llc Real-time adaptive video denoiser with moving object detection
CN106454155A (zh) * 2016-09-26 2017-02-22 新奥特(北京)视频技术有限公司 一种视频的遮罩特技处理方法和装置
CN108537721B (zh) * 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
US10395373B1 (en) * 2017-04-03 2019-08-27 Pinterest, Inc. Image feature detection
US10271008B2 (en) * 2017-04-11 2019-04-23 Advanced Micro Devices, Inc. Enhanced resolution video and security via machine learning
US11042770B2 (en) * 2017-10-09 2021-06-22 EagleSens Systems Corporation Artificial intelligence based image data processing method and image sensor
JP7282487B2 (ja) * 2018-06-07 2023-05-29 キヤノンメディカルシステムズ株式会社 医用画像診断装置
TWI680661B (zh) * 2018-07-20 2019-12-21 茂傑國際股份有限公司 加值遠端顯示服務的無線路由伺服裝置及方法
CN109508757B (zh) * 2018-10-30 2020-10-09 北京陌上花科技有限公司 用于文字识别的数据处理方法及装置
CN112218026B (zh) * 2020-08-25 2023-08-29 北京中联合超高清协同技术中心有限公司 一种超高清图像转换装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08510851A (ja) * 1993-03-25 1996-11-12 ライブ ピクチャー,インコーポレイテッド 画像処理方法及び装置
US6148117A (en) * 1996-12-27 2000-11-14 Hewlett-Packard Company Image processing system with alterable local convolution kernel
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
US6075926A (en) * 1997-04-21 2000-06-13 Hewlett-Packard Company Computerized method for improving data resolution
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6272484B1 (en) * 1998-05-27 2001-08-07 Scansoft, Inc. Electronic document manager
US6563959B1 (en) * 1999-07-30 2003-05-13 Pixlogic Llc Perceptual similarity image retrieval method
KR100653026B1 (ko) 1999-11-30 2006-11-30 주식회사 팬택앤큐리텔 임의의 모양의 텍스쳐 검색 방법 및 장치
KR100355404B1 (ko) 1999-12-03 2002-10-11 삼성전자 주식회사 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
US7471834B2 (en) * 2000-07-24 2008-12-30 Vmark, Inc. Rapid production of reduced-size images from compressed video streams
JP2002077526A (ja) * 2000-08-23 2002-03-15 Fuji Photo Film Co Ltd 画像形成装置
JP2002165091A (ja) * 2000-11-29 2002-06-07 Canon Inc 画像処理装置及び方法
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
US8103737B2 (en) * 2001-03-07 2012-01-24 International Business Machines Corporation System and method for previewing hyperlinks with ‘flashback’ images
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
KR100408523B1 (ko) 2001-07-09 2003-12-06 삼성전자주식회사 메타데이터를 이용한 자동 화면 조정 장치 및 그 방법
US6883138B2 (en) * 2001-08-08 2005-04-19 Xerox Corporation Methods and systems for generating enhanced thumbnails usable for document navigation
US7069506B2 (en) * 2001-08-08 2006-06-27 Xerox Corporation Methods and systems for generating enhanced thumbnails
US7095907B1 (en) * 2002-01-10 2006-08-22 Ricoh Co., Ltd. Content and display device dependent creation of smaller representation of images
US20040003351A1 (en) * 2002-06-28 2004-01-01 Microsoft Corporation Navigating a resource browser session
JP2004264920A (ja) * 2003-02-26 2004-09-24 Sony Corp サムネイル画像を作成すると共にサイズ変更された画像の画像品質を改善する装置及び方法
JP2004320363A (ja) * 2003-04-15 2004-11-11 Alps Electric Co Ltd 画像データ処理機能付き装置および画像データ処理方法
US7116820B2 (en) 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
JP4571074B2 (ja) * 2003-06-13 2010-10-27 ノキア コーポレイション 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造
US7587085B2 (en) * 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
JP2005073015A (ja) * 2003-08-26 2005-03-17 Canon Inc 画像処理装置及び画像処理方法及びコンピュータプログラム
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7302116B2 (en) * 2004-02-12 2007-11-27 Xerox Corporation Method and apparatus for reduced size image
KR101037932B1 (ko) 2004-09-16 2011-05-30 삼성전자주식회사 해상도 변경을 이용한 저장공간 확보 장치 및 방법
US7684648B2 (en) * 2005-01-14 2010-03-23 Ricoh Company, Limited Reducing the size of a document image
US8205172B2 (en) * 2005-03-31 2012-06-19 Microsoft Corporation Graphical web browser history toolbar
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US20070165964A1 (en) * 2005-10-31 2007-07-19 Carol Wolf De-emphasis of user-selected portions in a video display
US7715657B2 (en) * 2006-02-17 2010-05-11 Microsoft Corporation Method, device and program for detecting perceptual features of a larger image and incorporating information of the detected perceptual features into a smaller preview image
JP4690266B2 (ja) * 2006-08-08 2011-06-01 富士通株式会社 撮像装置
KR101448308B1 (ko) * 2008-02-04 2014-10-08 삼성전자주식회사 썸네일 이미지 생성 방법 및 장치

Also Published As

Publication number Publication date
WO2008069875A1 (en) 2008-06-12
US20080134094A1 (en) 2008-06-05
JP2010511928A (ja) 2010-04-15
CN101601287B (zh) 2012-05-30
US7941002B2 (en) 2011-05-10
CN101601287A (zh) 2009-12-09
DE112007002904T5 (de) 2010-07-01

Similar Documents

Publication Publication Date Title
JP5081922B2 (ja) フォトリアルな画像サムネイルを生成する装置及び方法
US8977076B2 (en) Thumbnail based image quality inspection
Sun et al. Scale and object aware image retargeting for thumbnail browsing
Bitouk et al. Face swapping: automatically replacing faces in photographs
US9704230B2 (en) Feedback to user for indicating augmentability of an image
Gallagher et al. Image authentication by detecting traces of demosaicing
Vaquero et al. A survey of image retargeting techniques
US7760956B2 (en) System and method for producing a page using frames of a video stream
Setlur et al. Retargeting images and video for preserving information saliency
US7672482B2 (en) Shape detection using coherent appearance modeling
Herzog et al. NoRM: No‐reference image quality metric for realistic image synthesis
Guo et al. Improving photo composition elegantly: Considering image similarity during composition optimization
JP2010072934A (ja) アルバム作成装置及びアルバム作成方法
Kumar et al. Image forgery detection based on physics and pixels: a study
US20110097011A1 (en) Multi-resolution image editing
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2020127194A (ja) コンピュータシステムおよびプログラム
Hsu et al. A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph
Samadani et al. Image thumbnails that represent blur and noise
de Torres et al. An efficient approach to automatic generation of time-lapse video sequences
Samadani et al. Representative image thumbnails: Automatic and manual
Kakar Passive approaches for digital image forgery detection
Hu Novel methods for image processing, image analysis, machine learning and deep learning with applications to on-line fashion retailing, print quality assessment, and image enhancement
KR20230156315A (ko) 이미지로부터 헤드샷을 추출하는 시스템 및 방법
Menaga et al. Identification of Facial Retouching Using Supervised Deep Learning Algorithm

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120406

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees