JP5431754B2

JP5431754B2 - フォトガイドの自動生成

Info

Publication number: JP5431754B2
Application number: JP2009056167A
Authority: JP
Inventors: マルケソッティルカ
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2008-03-17
Filing date: 2009-03-10
Publication date: 2014-03-05
Anticipated expiration: 2029-03-10
Also published as: US20130156341A1; US20090232409A1; US8340452B2; US8731325B2; JP2009225443A

Description

例示的な実施形態は、画像処理の分野に関する。例示的な実施形態は、デジタル画像の自動向上処理に関するフィードバックの備えと関連した特定の適用例を見出し、特にこの適用例を参照して説明される。

写真家は現在、カメラ、携帯電話、及び光学スキャナなどのデジタル画像捕捉装置を用いて、デジタルフォーマットで画像を捕捉する。捕捉された画像は、多くの場合、写真現像サービス又はコンテンツ共有コミュニティに送信される。こうしたサービスは、多くの場合、自動化又は半自動化向上処理方法を使用して、画像に検出される劣化を補正する。

しかし、オリジナル画像の画質及び完成した写真に適用された向上処理の効果に関して、クライアントにフィードバックが与えられることはない。

１つの態様において、画質ガイドドキュメントを自動的に生成する方法は、画像向上処理を受けている１組の画像における少なくとも一枚の画像に対して、画像に適用されている向上処理に基づいて画像に対する画質関連特徴（ＩＱＲＦ）を識別し、画像コンテンツに基づいて画像コンテンツ関連特徴（ＩＣＲＦ）を識別し、識別されたＩＱＲＦ及びＩＣＲＦに基づき画像コンテンツベースの劣化を判断し、画像のサムネイルを生成するステップを含む。本方法は、サムネイルの少なくとも１つが、判断されたコンテンツベースの劣化に基づくそれぞれのテキスト記述と関連付けられる、１組の画像に対する画質ガイドドキュメントを生成するステップをさらに含む。

本方法は、コンテンツベースの劣化に基づき、画像に対する写真撮影情報を取り出すステップをさらに含み、画質ガイドドキュメントにおいては、撮影情報は画像のサムネイルと関連付けられる。
画像に対するＩＱＲＦを識別するステップは、１組の予め定義された画質関連カテゴリに関連したＩＱＲＦを識別するステップを含むことができる。

ＩＱＲＦを識別するステップは、識別されたＩＱＲＦに基づく特徴ベクトルを計算するステップを含むことができる。

画像に対するＩＱＲＦを識別するステップは、実施される画像向上処理のログを調査するステップを含むことができる。

ＩＱＲＦを識別するステップは、向上処理を動作させる識別された画質パラメータが所定の閾値を満たす、画像に適用される画像向上処理を識別するステップを含むことができる。

ＩＣＲＦを識別するステップは、１組の予め定められたコンテンツベースのカテゴリに関連した画像コンテンツ関連特徴を識別するステップを含むことができる。

ＩＣＲＦを識別するステップは、識別されたＩＣＲＦに基づく特徴ベクトルを計算するステップを含むことができる。

ＩＣＲＦを識別するステップは、画像の低レベル特徴を識別し、１組の予め定められたコンテンツベースのカテゴリから選択されたカテゴリに各々割り当てられる画像において訓練された分類器を用いて、低レベル特徴に基づいて画像を分類するステップを含むことができる。

画像のコンテンツベースの劣化を判断するステップは、識別されたＩＱＲＦを表す第１特徴ベクトルと、ＩＣＲＦを表す第２特徴ベクトルを組み合わせるステップを含むことができる。

テキスト記述は、コンテンツベースの劣化の記述及び適用される対応する画像向上処理を含むことができる。

複数のサムネイルは各々、判断されたコンテンツベースの劣化に基づくそれぞれのテキスト記述と関連付けることができる。

組における画像は、写真を含むことができる。

画質ガイドドキュメントは、上述の方法で生成することができる。

サムネイルは、画像から抽出される画像データを含むことができる。

コンピュータプログラム製品は、命令をエンコードすることができ、これはコンピュータ上で実行されたとき、コンピュータが上述の方法を実施するようにさせる。

別の態様において、１組の画像に対して画質ガイドドキュメントを生成する機器は、画像に適用されている向上処理に基づき、組における画像に対してＩＱＲＦを出力する向上処理検出器を含む。画像コンテンツアナライザは、組における画像に対してＩＣＲＦを出力する。劣化分類器は、出力ＩＱＲＦ及びＩＣＲＦを受信し、組における画像の少なくとも一枚に対して、コンテンツベースの劣化を出力する。サムネイルジェネレータは、組における画像に対してサムネイルを生成する。画質ガイドドキュメントジェネレータは、１組の画像に対して画質ガイドドキュメントを生成し、１組の画像においては、サムネイルの少なくとも１つが、判断されたコンテンツベースの劣化に基づくそれぞれのテキスト記述と関連付けられている。

画像処理システムは、述べられた機器と、適用されている向上処理に関連した向上処理モジュールに情報を出力する画像向上処理モジュールとを含むことができる。

別の態様によれば、有形媒体にレンダリングされる画質ガイドドキュメントは、１組の処理された画像のサムネイル及びサムネイルの少なくとも幾つかと関連付けられた、自動的に生成された関連テキスト記述の配置を含み、各々のテキスト記述は、画像のコンテンツベースの劣化及び劣化を補正するのに適用された画像向上処理を記述している。

サムネイルの少なくとも１つは、将来のコンテンツベースの劣化を避けるためのそれぞれの撮影情報に関連付けることができる。

フォトガイドの一部の説明図である。図１のフォトガイドの生成を概略的に示す。写真を生成する装置の機能ブロック図である。フォトガイドの生成方法のステップを示す。

例示的な実施形態の態様は、特に写真現像用途における、画質ガイドドキュメントを自動的に作成するシステム及び方法に関する。例示的な画質ガイドドキュメント又は「フォトガイド」は、画像のサムネイルと併せて、コンテンツベースの画像劣化に基づく人間可読形態で生成される付随のテキスト記述から成る。例示的な方法において、１組の入力画像の知覚品質及びコンテンツを説明する特徴が抽出される。画像劣化は、こうした特徴に基づいて分類し、参照テーブルを通して最終的な写真撮影情報に関連付けることができる。
デジタル画像は、一般的に二次元アレイのピクセルの各々のピクセルに対する画像データを含む。画像データは、グレースケール値の形態で存在することができ、このときグレーは、あらゆる色分解又はあらゆる他の段階的な色強度スケールを指すことができる。本明細書では、特に参照される画像は写真であるが、光学スキャナが取得した画像など、他のデジタル的に取得した画像も、同様に処理できることを理解するべきである。

図１は、一例として、例示的なフォトガイド１０を示す。フォトガイド１０は、１組の現像された画像に対して、画質劣化及び／又は劣化を補正するための向上処理方法を識別し、将来に同様の劣化を避けるようユーザを助けることを目的として、画像捕捉技術を改善するための情報を随意的に提供するデジタルドキュメント又はハードコピードキュメントとすることができる。

向上処理のコンテクストにおいては、画像に適用される画像向上処理方法すべてが、観察者が改善されたと考えるものをもたらすわけではないことが理解される。さらに、観察者によって、視覚的な改善をどうとらえるか、異なることがある。しかし、説明を容易にするため、識別された劣化を補正するために実施されるすべての動作は、観察者がどう考えるかどうかに関わらず、「向上処理」と呼ぶことにする。

ガイド１０は、１組の処理された画像における画像の各々について、１組のサムネイル画像１２を含む。一般的に、各々のサムネイル画像は、それぞれの画像から抽出された画像データを含む。通常、サムネイル画像１２は、オリジナル画像に比べ含まれる情報が少ない。例えば、各々のサムネイル画像１２は、解像度が低い及び／又はトリミングされた、オリジナル画像又は処理されたオリジナル画像から生成されたデジタル画像とすることができる。組におけるすべてのサムネイルは、同じサイズとすることもできる。それ以外の場合、幾つかの実施形態において、画像は、サムネイルを作成する際に、例えばカラーから白黒への変換によってデジタル的に修正することができる（例えば、白黒サムネイル）。他の実施形態において、画像の代表的な部分は、自動的にサムネイルとして選択され、解像度を下げる又はサイズを変更する必要がない。実際、サムネイルは、組において画像を互いに区別することを可能にする、画像のあらゆる視覚表示とすることができる。１つの実施形態において、サムネイルは、例えば上記の特許文献１で説明されるような、コンテクスト依存の画像である。そうした手法において、サムネイルとして選択された画像の一部は、画像が用いられるコンテクストに依存することができる。例えば、ユーザが主に顔に興味を抱いていると知られている場合には、画像の領域は、好適な顔認識ソフトウェアで識別でき、好適なトリミング部分を判断するベースとして用いることができる。

各々のサムネイルと関連付けられているのは、例えば、ガイド１０において各サムネイルに隣接しているテキスト記述１４であり、これはガイドラインとしての役割を果たす。テキスト記述は、英語などの自然言語の語句、文又は他のテキスト文字列とすることもできる。自動画像向上処理工程を経た画像に対し、テキスト記述は、オリジナル画像に対する判断されたコンテンツベースの劣化から抽出され、知覚品質及びコンテンツベースの特徴に基づいている。例示的な実施形態において、フォトガイド１０は、列で配置される。第１列は、対応する１組の処理済画像が出力される順序に配置される１組のサムネイルを含む。第２列は、各々のサムネイルに対して同じ順序でテキスト記述１４を含む。したがって、各行は、サムネイル及び関連テキスト記述（テキスト記述が生成された場合）を含む。しかし、サムネイル１２及びテキスト記述の他の配置方法が考えられる。例えば、サムネイルは、対応する内円又は外円を形成するテキスト記述と共に円形に配置することができる。或いは、テキスト記述をそれぞれのサムネイルと関連付けるため、リード線を用いることができる。又は、サムネイルを対応するテキスト記述と関連付けるために、ナンバリングシステム又は他の固有の識別子を用いることができる。

撮影情報１６は、サムネイル１２とも関連付けられ、将来、判断されたコンテンツベースの劣化を防ぐ画像取得技術を識別する。一般的に、向上処理を経た画像だけが、関連テキスト記述１４、及び随意的に撮影情報１６も有する。デジタルガイド１０の場合、情報アイコン１８が、例えばアイコンをクリックすることによって起動したとき、別のウインドウで開くことができる。テキスト記述に関しては、撮影情報１６を、対応するサムネイル１２に関連付ける別の方法が考えられる。例示的な実施形態において、テキスト記述１４及び撮影情報１６は共に、画像に対して判断された劣化に基づいている。次に劣化は、画像のコンテンツベースのカテゴリ化、並びに、適用された向上処理に関する情報から抽出された画質関連要素に基づいており、以下に更なる詳細が説明される。

フォトガイド１０は、情報２０を識別するステップをさらに含むことができる。例えば１組の画像は、特定のユーザ、日付及び組のタイトル（アルバムのタイトル）により識別することができ、或いは別の方法により一意的に識別することができる。

図２において、図１で説明される種類のフォトガイド１０を生成する例示的な工程の概要が図示される。工程は、処理される１組のオリジナルデジタル画像２２を入力とする。入力された画像２２は、画像向上処理を経て、デジタルフォーマット又はハードコピーフォーマットで、１組の処理済画像２４として出力される。画像に対して、サムネイル１２が生成される。劣化分類では、適用される向上処理に関する情報と共に、画像コンテンツ分析が用いられる。自然言語ジェネレータによって処理されるように、出力された劣化は、フォトガイド１０の作成に用いられる。撮影情報参照テーブル（ＬＵＴ）は、劣化分類に基づいてガイド１０に対する撮影情報を作成する。ガイド１０は、処理済画像２４と共に出力され、例えばユーザに送られる。

図２に示されるように、例示的な方法は、２段階、つまり特徴抽出段階と、フォトガイド作成段階とに分割される。特徴抽出段階では、画像コンテンツ関連特徴（ＩＣＲＦ）ｆ_cと共に、画質関連特徴（ＩＱＲＦ）ｆ_aが抽出される。ＩＱＲＦｆ_aは、画像に適用される向上処理及び／又は適用された向上処理の基準となる劣化に関連した情報から抽出することができる。ＩＣＲＦｆ_cは、画像コンテンツの分析から抽出される。こうした特徴は共に、フォトガイド作成段階で、各々の向上処理済画像に対するコンテンツベースの劣化ｄ、及び随意的に関連撮影情報１６を識別するために用いられる。

図３は、画像処理システムを説明する機能ブロック図であり、そのシステムにおいて、フォトガイド１０を生成する例示的な装置３０が動作する。フォトガイド生成装置３０は、汎用コンピュータ、サーバ又は他の専用コンピューティング装置などのコンピューティング装置３２において実施することができる。処理されるデジタル画像２２の組３３は、図示されるように、コンピューティング装置３２に存在することができる画像向上処理モジュール３４に入力され、又はそこに伝達可能にリンクされる。一般的には、入力画像が与えられると、画像向上処理モジュール３４は、向上処理方法の組み合わせ（例えば、鮮鋭度、カラーバランス、彩度、大域的コントラスト、局所的コントラスト、ノイズなどに対する１つ又はそれ以上の補正）を適用することによって知覚品質を改善する。向上処理モジュール３４は、１組の向上処理済画像２４を生成するため、自動画像向上処理技術を実行することができる。一般的に、向上処理モジュール３４は、画像が向上処理を認めるかどうか判断し、必要に応じて、１つ又はそれ以上の選択された向上処理を各々の画像２２に適用する。向上処理モジュール３４が、向上処理は必要ないと判断した場合には、当然どの組の画像に対しても、１つ又はそれ以上、又はさらにすべての画像２２が、向上処理を経ないことになる。向上処理モジュール３４は、ハードウェア又はソフトウェア、又はその両方で実施することができる。例示的な実施形態において、向上処理モジュール３４は、画質関連パラメータを識別するため、及びそうしたパラメータを修正する向上処理を実施するための関連メモリ内に格納された命令を実行するプロセッサを含む。

パソコン、メモリ記憶装置、カメラ又はスキャナなどのデジタル画像取得装置といったデジタル画像ソース３６から、画像向上処理モジュール３４に画像２２を入力することができる。例示的な実施形態において、デジタル画像ソース３６は、ローカル・エリア・ネットワーク又はインターネットなどのワイド・エリア・ネットワークといった有線リンク又はワイヤレスリンク３８によって、コンピューティング装置にリンクされる。

例示的なフォトガイド生成機器３０は、ソフトウェア、ハードウェア、又はその両方の組み合わせで実施することができる。例示的な実施形態において、機器３０は、本明細書で開示される例示的な方法を実施するための、関連メモリ４２内に格納される命令を実行するプロセッサ４０を含む。プロセッサ４０は、向上処理モジュール３４に用いられるのと同じプロセッサ又は異なるプロセッサとすることもできる。プロセッサ４０は、別個のモジュールとすることができる種々の処理コンポーネントを含み／実行し、向上処理検出器４４、画像コンテンツアナライザ４６、劣化分類器４８、自然言語ジェネレータ５０、サムネイルジェネレータ５２及びガイドアセンブラ５４を含む。プロセッサ４０は、メモリ４２内に格納できる撮影情報ＬＵＴ５６にアクセスする。機器の処理コンポーネント４４、４６、４８、５０、５２、５４及びメモリ４２は、データ制御バス５８を介して通信できる。

メモリ４２は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）などの、あらゆる種類のコンピュータ可読媒体を表すことができる。メモリ４２、又は別のメモリは、入力された及び現像された画像を一時的に格納することに加え、例示的な方法を実施する命令を格納することができる。

向上処理検出器４４は、所与の画像にどのような向上処理方法が適用されたかを判断する。例示的な実施形態において、検出器４４は、オリジナル画像に実施される向上処理の記録を受信する。この記録は、画像向上処理モジュール３４から出力される向上処理ログ６０の形態でもよい。こうした記録６０から、画像の知覚品質（劣化）及び／又は向上処理モジュール３４によって画像に適用される処理を記述するＩＱＲＦｆ_aが識別される。

画像コンテンツアナライザ４６は、視覚コンテンツにより画像２２を分析する。一般的に、アナライザ４６は、定義済みの１組の視覚カテゴリにより、入力画像の視覚コンテンツについての一般的記述を提供する。１つの実施形態において、アナライザ４６は、画像２２からＩＣＲＦｆ_cを抽出する。アナライザ４６は、１組の訓練画像で訓練された分類器（又は１組の分類器）を含むことができる。訓練画像は、画像コンテンツにより手動で分類され、したがって、新規な画像が識別される特徴により分類されることを可能にする確率モデルを開発できる。１つの実施形態において、アナライザ２６は、各々が、１組の識別されたＩＣＲＦｆ_cに基づく視覚カテゴリ（すなわち、視覚カテゴリの一部であるかどうかといった）の１つに対して画像を分類する、１組の２進分類器を含む。別の実施形態において、アナライザ４６は、１組のカテゴリの各々に対して、１組の識別されたＩＣＲＦｆ_cに基づいて、画像がそのカテゴリに存在する確率を出力する。

１組の視覚カテゴリは、例えば「冬（雪の反射の問題）」、「屋内（光量不足から生じる問題）」、「ポートレート（人物の肌色の正確な適合、赤目などの問題を引き起こす照明の問題）」、「風景（過剰露光）」、海辺の風景を含む「海景（過剰露光に加え、動いている水を撮影する問題）」、「都会（暗い建物と空とのコントラストの問題）」、「夜光（ノイズ及びコントラストの問題）」、「花（彩度の問題）」などの、異なる撮影上の問題によって類型化されるカテゴリを含むことがある。理解されるように、画像コンテンツ特徴を生成する際に用いられるカテゴリの数及び種類、及び随意的にこうしたカテゴリのサブカテゴリは、制限されるものではなく、例えば処理中の画像の種類によって変化することがある。

劣化分類器４８は、アナライザ４６が出力する画像コンテンツ特徴ｆ_c及び適用された向上処理に基づくＩＱＲＦｆ_aを考慮に入れることにより、画像２２に影響を与えている劣化を判断する。劣化分類器４８は、特徴ｆ_a及び特徴ｆ_cを入力として受信し、抽出されたＩＣＲＦｆ_c及びＩＱＲＦｆ_a両方の関数である画像に対して、コンテンツ依存劣化ｄを出力する。

自然言語ジェネレータ５０は、画像２２に対して、テキスト記述１４の一部としての役割を果たす、適用された向上処理ｆ_a及び割り当てられた劣化ｄに基づいて、人間可読形態でテキスト記述を生成する。特に、自然言語ジェネレータ５０は、人間可読文（フォトガイドライン）で、写真の劣化、適用された向上処理をアセンブルする。ジェネレータはさらに、ＬＵＴ５６にアクセスすることによって、１つ又はそれ以上の撮影情報１６を生成する。

サムネイルジェネレータ５２は、オリジナル画像又は向上処理された画像２２に基づき、サムネイル画像を生成する。１つの実施形態において、サイズを縮小することによって、及び随意的にオリジナル画像又は向上処理済画像の解像度を減らすことによっても、サムネイルが生成される。典型的には、サムネイルは最大で約２から３センチであり、少なくとも６から１０個のサムネイル群１２は、フォトガイド１０の１ページ上の列の形で配置可能である。

撮影情報ＬＵＴ５６は、劣化ｄを、画像に影響を与える劣化を避ける方法に関する提案（情報）と関連付ける参照テーブル又は他のデータ構造である。例示的なＬＵＴ５６は、劣化分類ｄによって索引を付けられた撮影情報を格納する。各々の劣化分類は、ＬＵＴ内で、１つ又はそれ以上の関連撮影情報１６と結びつけることができる。

ガイドアセンブラ５４は、フォトガイド１０を形成するため、画像の組３３に対して、画像サムネイル１２、関連テキスト記述１４及び撮影情報１６をアセンブルする。ガイド１０は、有形媒体の形で出力できる。有形媒体は、ハードコピードキュメント又はディスク、メモリスティックなど、ガイドが格納されるデータ記憶装置とすることができる。例えば、ガイド１０はハードコピーの形でレンダリングされるように、レンダリング装置６２に出力することができる。レンダリング装置６２は、コピー用紙又は写真用紙などの好適な印刷材料に、ガイド１０を印刷するプリンタとすることができる。プリンタ６２は、写真２４を印刷するのと同じ装置、又は別個の装置とすることもできる。或いは、ガイド１０は電子形態で出力することができる。

図４は、フォトガイド１０を生成する例示的な方法を説明する。本方法は、Ｓ１００から開始する。

Ｓ１０２で、画像の組３３が、処理のため提出される。写真現像店のオペレータは、Ｅメール、ファイル転送プロトコル（ＦＴＰ）によるアップロード、例えばＣＤＲＯＭ又はＤＶＤなどの有形データ記憶媒体を介して、ワークフロー管理ツールを通して、又は顧客がウェブブラウザを介して要求を入力するウェブインターフェースを通して、特定のクライアントから、印刷される画像の組３３を受信することができる。カスタマーＩＤ、日付、画像枚数、ジョブの種類など、種々のデータを画像と関連付けることができる。他のフォーマットでは、画像と関連した要求が、こうした情報の幾つかの又はすべてを提供することができる。

次にＳ１０４で、各々の画像２２に対して、画像向上処理モジュール３４によって画像が自動的に評価され、判断されたあらゆる劣化に適切な向上処理が適用される。

Ｓ１０６で、適用された処理に関する情報を含むログ６０を、画像向上処理モジュールから受信し、例えばメモリ４２内に格納される。

Ｓ１０８で、サムネイル１２が各々の画像に対して生成され、一時的にメモリ４２内に格納することができる。

Ｓ１１０で、向上処理中の各々の画像に対して、適用される向上処理のログ６０に基づき、ＩＱＲＦｆ_aが識別される。

Ｓ１１２で、各々の向上処理済画像に対して、ＩＣＲＦｆ_cが識別される。このステップは、すべての画像に又は向上処理が適用された画像だけに自動的に実施することができる。

Ｓ１１４で、各々の向上処理済画像に対して、ＩＱＲＦｆ_a及びＩＣＲＦｆ_cに基づき、コンテンツベースの劣化ｄが画像に対して判断される。

Ｓ１１６で、劣化ｄに対して撮影情報を識別することができる。

Ｓ１１８で、向上処理方法及び／又は識別された劣化に基づいて、テキスト記述１４が生成される。テキスト記述１４は、文、語句又は複数の文とすることもできる。テキスト記述は、識別された劣化、用いられた画像向上処理法及び意図する結果を簡潔に説明することができる。

Ｓ１２０で、各々の処理済画像２４に対する画像サムネイル１２、テキスト記述１４及び撮影情報１６は、フォトガイド１０にアセンブルされる。１つの実施形態において、組３３におけるすべての画像のサムネイルは、向上未処理画像用に空白のままであるテキスト記述と共にフォトガイドに含まれ、或いはそうした画像が向上未処理であることを示すようにされる。ユーザ名、ジョブタイトル、日付及び他の識別情報２０などの追加情報を、フォトガイドに組み込むことができる。

Ｓ１２２で、完成したガイド１０が出力される。ガイドは、紙に印刷するなどの方法で有形媒体にレンダリングすることができ、又はデジタル形態で格納することができる。印刷された向上処理済画像２４及び印刷されたガイド１０は、一緒に包装し、顧客に配送される及び／又は電子形態で送信することができる。

本方法はＳ１２４で終了し、処理される各々の新たな画像の組３３に対して繰り返すことができる。

図４で説明される方法は、コンピュータで実行できるコンピュータプログラム製品で実施することができる。コンピュータプログラム製品は、ディスク、ハードドライブなど、制御プログラムが記録される有形コンピュータ可読記録媒体、又は制御プログラムがデータ信号として実施される、送信可能搬送波とすることができる。

例示的な方法は、１台又はそれ以上の汎用コンピュータ、特殊用途コンピュータ、プログラミングされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路要素などにおいて実施することができる。

例示的な装置及び方法の種々の態様が、ここでより詳細に説明される。

画像向上処理
画像向上処理モジュール３４は、自動画像向上処理（ＡＩＥ）モジュールを含むことができる。

向上処理モジュール３４は、入力画像に対する多数の画質特徴を自動的に評価して、画像がこうした特徴に対する所定許容値（閾値、範囲などで表すことができる）を満たすかどうか判断する。向上処理を適用すべきかどうか判断するための例示的な画質特徴は、画像コントラスト値、彩度、露光、カラーバランス、明度、バックグラウンド・カラー、赤目検出、及びこれらの組み合わせから選択することができる。こうした特徴は、全体的（画像全体）又は局所的に評価することができ、画像の異なる領域が、異なるように向上処理されるようにする。

こうした特徴を判断する技術は、低解像度の画像のノイズ測定又は輝度、及びクロミナンス分散などの統計を生成することを含む。

例示的な向上処理方法は、鮮明化、露光補正、カラーバランス及び彩度の調節、コントラスト及び縁の強調、遮断アーチファクト軽減、及びノイズ軽減を含む。他の向上処理は、赤目補正、自動トリミング又はガラスグレア除去などの特定の問題に重点を置いている。

１つの実施形態において、自動向上処理は、クラスをベースとした向上処理でもよく、自動向上処理モジュール３４は、アナライザ４６に出力されるとき、画像が割り当てられるクラスを入力とする。

例示的な機器及び方法は、どのような特定の種類の自動画像向上処理方法にも限定されるものではないことが理解される。特徴ｆ_aを生成するには、１組の可能性のある向上処理からどの向上処理が作用（適用）されたかという判断を可能にする何らかの記録、及び／又は、作用をもたらす画質パラメータで一般に十分である。

画質向上処理の検出及び画質特徴の識別
ステップＳ１１０は、適用された向上処理の検出、及び向上処理がどのレベルで適用されるかを、例えば自動向上処理モジュール３４により生成されたログ６０内をキーワード検索することによって検出するステップ、を含むことができる。キーワードは、特定の向上処理方法と共に、向上処理モジュール３４によって用いられることが知られている語を識別するのに用いられる。例えば、局所的コントラストの場合においては、ログは「ＬＣＥ補正を実施中」と報告できる。

向上処理モジュール３４が採用する各々の向上処理方法に対して、活性化閾値が定義される。活性化閾値は、向上処理を作動させる識別された画質パラメータの最低値或いは最高値又は範囲を指定する。閾値に達した場合には、画質特徴を識別する目的のために、向上処理は適用されたと考えられる。活性化閾値は、画質特徴を識別する目的のために、わずかな向上処理は無視できるように設定することができる。

したがって、例えば向上処理が「ノイズ」に関するものであり、０．０などのように、閾値より大きい値を有する画質パラメータ（ノイズパラメータ）が取得される場合、ノイズ向上処理が適用されたと見なされる。同様に、「鮮明度」に対して、画質パラメータは、例えば１を下回る閾値をもつエッジ因数であり得る。この閾値が満たされた場合には、鮮明度は処理されたと見なされる。この閾値が満たされない場合、すなわち１を上回るエッジ因数が検出される場合には、画像向上処理モジュール３４によってある程度の補正が適用された可能性があるとしても、鮮明度向上処理は行われなかったと見なされる。カラーバランスに対しては、いかなる白黒点の変化も、カラーバランスが向上処理中である、といったように指定するのに用いることができる。特徴ｆ_aの各々は、向上処理方法及び向上処理が適用される対応レベルに基づくとすることができる。レベルは、バイナリ、例えば適用された向上処理（少なくとも閾値を満たしている）に対しては１、適用されなかった向上処理（閾値を満たさない）に対しては０とすることができる。又は、特徴は、０から１の間など、最大値と最低値の間で変化し得る値など、向上処理の程度のより具体的な定量化を可能にすることができる。

特徴ｆ_aの組を含む特徴ベクトルを生成することができる。向上処理方法の組の各々は、番号又は他のＩＤなどの固有の識別子を割り当てることができる。ベクトルは、向上処理ＩＤにより索引を付けることができ、各々の向上処理方法に対して検出される活性化レベルを含む。例えば、バイナリベクトルは、［０、１、１、０、０、０、０］など、２番目及び３番目の向上処理だけが、少なくともそれぞれの閾値を満たすレベルで適用されたことを示す、７つの向上処理の各々に対する１つの値を含むことができる。

画像コンテンツの分析及び画像コンテンツ関連特徴の識別
画像コンテンツの分析（Ｓ１１２）は、画像コンテンツに基づいて画像をカテゴリ化できるようにする、あらゆる好適な技術で実施することができる。例示的な実施形態において、画質及び画像コンテンツは独立していると仮定され、すなわち画質特徴ｆ_aは、画像コンテンツ特徴ｆ_cを判断する際に考慮されない。他の実施形態において、画質は、画像コンテンツ特徴を割り当てる際に考慮することができる。

１つの実施形態において、アナライザ４６は、ＸｅｒｏｘＧｅｎｅｒｉｃＶｉｓｕａｌＣｌａｓｓｉｆｉｅｒ（ＧＶＣ）などの一般型視覚分類器を含む。そうした分類器は、意味コンテンツに基づき、例えば各々のパッチに対して１つの、特徴ベクトルなどの低レベル特徴を生成することによって、画像のパッチ（小さな領域）をラベル表示する。抽出された低レベル特徴に基づき、画像に対する画像コンテンツ特徴ｆ_cが識別される。画像コンテンツ特徴ｆ_cの各々は、１組の画像コンテンツカテゴリ（冬、屋内、ポートレート、風景、海景、都会、夜光、花など）のうち、特定の１カテゴリと関連付けることができる。

アナライザ４６は、知覚された画像コンテンツに基づいて、予め定義された画像コンテンツカテゴリの組の１つ又はそれ以上に手動で割り当てられ、その低レベル特徴が計算された訓練画像の組において訓練されることができる。訓練されたアナライザ４６は、画像コンテンツ特徴ｆ_cに基づいて、特徴ベクトルを出力することができる。ベクトルは、向上処理検出器４６が出力した画質ベクトルと同じ方法で生成でき、各々の特徴ｆ_cは、固有のＩＤにより索引が付される。他の実施形態において、アナライザ４６は、画像の組における各々の画像に対して、画像コンテンツ特徴ｆ_cを構成する、単一の、最も有望なカテゴリを出力する。

本明細書で使用できる例示的な分類技術は、ＦｌｏｒｅｎｔＰｅｒｒｏｎｎｉｎによる特許文献２、及び特許文献３並びに特許文献４に見ることができる。一般的には、画像コンテンツに基づくこうしたカテゴリ化技術は、図形入力を、一般に理解できる記述に変換する１組の動作を含むことができる。高度なコンテンツに基づき、画像にキーワードを割り当てる自動化技術が開発された。こうした技術は、全体像を分析する又は画像内のオブジェクトに焦点を当てることが可能である。キーワードの割り当ては、信頼値と関連付けることができる。画像には次に、キーワードがラベル表示され、それに対して信頼値は信頼閾値を越える。最も一般的な作業は、認識、分類又は検出である。認識には、特定のオブジェクトインスタンスを識別することが関係する。オブジェクト及び情景の分類は、１つ又はそれ以上の一般タグを画像に割り当てる作業である。検出は、１つ又はそれ以上のオブジェクトのインスタンスが画像に発生するかどうかの判断に関する問題であり、典型的には、検出されたインスタンスの位置及び度合いを推定する。

幾つかのマルチクラスカテゴリ化システムにおいて、個々の画像ブロブ（セグメント）と１組の予め定義されたキーワードとの間の一種の辞書を訓練するために、統計モデルが用いられる。

１つの実施形態において、分類は、バッグ・オブ・ビジュアル・ワード（ＢＯＶ）ベースの手法を含む。この手法において、画像は最初に視覚ワードカウントのヒストグラムによって特徴付けられる。視覚語彙は、１組の訓練画像から自動的に作成される。これを実行するため、画像から幾つかの画像記述子が抽出される。一般的に、こうした記述子はテクスチャ、色、形状、構造、又はその組み合わせに基づいており、関心領域（ＲＯＩ）で局所的に抽出される。ＲＯＩは、画像のセグメント化、特定の関心点検出器の適用、規則的格子の検討、又は単に画像パッチの無作為抽出によって取得可能である。例えば、ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ（ＳＩＦＴ）記述子は、各々の領域で計算することができる。

抽出されたすべての特徴は、次に特徴空間にマッピングされ、視覚語彙を取得するためにクラスタ化される。多くの場合、単純なＫ平均法が用いられるが、ソフトクラスタリングと同様の視覚ワードの連続的性質を取得するためにガウス混合モデル（ＧＭＭ）を用いることができる。

分類される新たな画像があるとすると、各々の特徴ベクトルは、以前に訓練された語彙の中で最も近い視覚ワード、又は確率論的モデルの場合、確率的方法ですべての視覚ワードに割り当てられる。ヒストグラムは、各々の視覚ワードの出現を蓄積することによって計算される。最後に、ヒストグラムは１組の分類器、例えばＫ最近傍法の統計的潜在意味分類器又はサポート・ベクトル・マシンに送られる。こうした分類器の出力は、画像に対する全体的なカテゴリレベルｆ_c又は画像に対する幾つかのカテゴリレベルｆ_cとすることもできる。

例示的なアナライザ４６は、上述の種類のバッグ・オブ・ビジュアル・ワード（ＢＯＶ）ベースのマルチラベル・カテゴライザを含むことができ、このカテゴライザは、観察者がカテゴリの組（都会、ポートレート、花、屋内、風景、雪及び空）の１つ（又はそれ以上）に手動で割り当てた代表的な画像（訓練画像）の大きい群において訓練された。こうしたカテゴリは、典型的な画像形成シナリオで見出された画像を代表する傾向があるが、他のカテゴリを選択してもよいし、又はより多くの又はより少ないカテゴリを用いてもよい。他の手法において、画像は勾配表現で特徴付けることが可能である。低レベル特徴を識別するため、Ｆｉｓｈｅｒカーネルを用いることができる。

コンテンツベースの劣化の判断
コンテンツベースの劣化ｄは、視覚コンテンツ及び向上処理／劣化の両方に基づいており、すなわち、同様に向上処理されたが、異なるコンテンツを有する２枚の画像は、異なる劣化ｄを受ける。画像に対する劣化ｄの判断は、それぞれ画像コンテンツアナライザ４６及び処理検出器４４により出力された画像２２に対し、識別された画像コンテンツ特徴ｆ_c及び画像向上処理特徴ｆ_aを連結するステップを含むことができる。例えば、向上処理検出器４４により出力される特徴ベクトルは、画像コンテンツアナライザ４６により出力される特徴ベクトルと連結される。この連結されたベクトルｆ_dは、劣化分類器４８に入力され、分類器は画像に基づいて、画像に対するコンテンツベースの劣化ｄを出力する。分類器４８は、劣化により手動で分類された大量の画像において訓練されたとすることができる。そうした分類器は、訓練において、サポート・ベクトル・マシン（ＳＶＭ）、ニューラル・ネットワーク又は他の訓練モデルを採用することができる。

１つの例示的な実施形態において、分類器４８は、１組の有限コンテンツベースの劣化から取り出された、画像に対する１つのコンテンツベースの劣化ｄを出力する。出力された劣化ｄは、分類器４８によって、最も可能性の高い劣化と判断される劣化であり得る。他の実施形態において、複数の劣化を出力することができ、割り当てられた確率によりランク付けされる。

別の実施形態において、向上処理検出器４４及びアナライザ４６の両方が、１回の向上処理及びカテゴリを出力する場合、劣化分類器４８は、コンテンツベースの劣化を識別するため、訓練された分類器ではなく参照テーブル又は他のデータ構造を採用することができる。各々の劣化クラスｄは、ＬＵＴ５６から関連する撮影情報を取り出すため、数などの固有の識別子で識別することができる。

自然言語ジェネレータ
自然言語ジェネレータ５０は、劣化情報を、人間可読フォーマットに変換する。自然言語ジェネレータは、クラスベースの劣化ｄに対応するメモリから、語句又は文を単純に取り出すことができる。一般的に、各々の取り出された記述は、画像カテゴリに特有のオブジェクトに関連した画像劣化を指す。例えば、「冬」とカテゴリ化された画像に対しては、記述は「雪は青く見える」などの「雪」オブジェクトを指すことができる。ポートレートに対しては、記述は「顔」、「赤目」などのオブジェクトに関連することができる。

１つの実施形態において、この記述は、実施された画質改善（向上処理）の説明に追加される。この向上処理記述は、画質特徴ｆ_aから抽出することができる。幾つかの実施形態において、ジェネレータ５０は、作成されたテキスト記述全体の流暢さを確認する、自然言語処理技術を適用することができる。

撮影情報参照テーブル
ＬＵＴ５６は、各々の劣化ｄに対する１つ又はそれ以上の情報１６を含むことができる。例えば、フォトガイド１０が、以前特定の顧客のために生成されたことが知られており、同じ劣化ｄが再度識別されるとき、又は同じ劣化が同じフォトガイドに再度現れるとき、ＬＵＴ５６は、撮影技術を、異なる方法で又はより詳細に説明する異なる撮影情報を出力することができ、又は以前に提供されたことのない他の情報を提供する。或いは、所与の劣化に対する撮影情報の各々は、劣化を補正する異なる技術を提供することができる。カメラは、多くの場合異なる機能を有することから、ユーザは、提案される撮影情報１６を、ユーザのカメラに実施できないことがある。１つの実施形態において、撮影情報はカメラに特定的なものである。例えば、カメラの型及びモデルは、画像と関連したメタデータから又はユーザが提供する情報から取り出すことができ、カメラの型／モデルに特定的な撮影情報を取り出すのに用いることができる。

例示的な実施形態は、ウェブベースの現像サービス及び／又はコンテンツ共有コミュニティにおいて適用例を見出す。方法及びシステムは、さらに、パソコン用の画像向上処理プログラムにおいて適用例を見出すこともできる。

フォトガイド１０は、写真現像業者又は他の画像処理サービス業者が、顧客自身の画像を用いて、用いられる画像向上処理技術の精巧化、及び顧客がこうした技術なしで写真を印刷することにより実現できるものと比較して、こうした技術が提供する違いを強調することにより、サービスの付加価値を示すことを可能にする。さらに、将来の劣化を防ぐ技術も識別する。

フォトガイド１０は、以下の例で説明されるように、一般テンプレートにより、入力画像のサムネイル及び人間可読フォーマットのガイドラインを含むドキュメントに存在することができる。

＜表１＞

表１は、特徴ベクトル及び統計参照テーブルとしての関連撮影情報（すなわち、撮影時の劣化を防ぐ方法に関する提案）から推定できる、例示的な劣化クラス候補の一覧である。

分類された劣化ｄ及び適用された補正（向上処理）の一覧は、次に自然言語生成技術によって、人間可読の単純な文（フォトガイドライン）にアセンブルされる。画像サムネイルは、入力画像のサイズを、固定の大きさに縮小することで抽出される。フォトガイドアセンブラモジュール５４は、予め定義されたドキュメントのテンプレートに配置することによって、サムネイルとガイドラインを統合する。

＜表２＞

図１で説明されるように、フォトガイド１０のレイアウトは、印刷された画像の組を補完し、写真現像店のクライアントに送給される。ドキュメントのヘッダは、処理された画像の組（アルバム）、画像の所有者名及び日付に関する情報を含む。

ユーザは、サムネイル１２を調べることで、印刷された画像２４を、対応するガイドライン１４と一致させることができる。各々のガイドラインは、どのような向上処理（すなわち補正）が適用されたか及び何が直されたか（すなわち劣化）を示す。ユーザの利益のため、情報１６は、将来の撮影時の特定の劣化を防ぐために添付される。

３４：画像向上処理モジュール
３６：画像ソース
４２：メモリ
４４：向上処理検出器
４６：画像コンテンツアナライザ
４８：劣化分類器
５０：自然言語ジェネレータ
５２：サムネイルジェネレータ
５４：フォトガイドアセンブラ
５６：画像撮影情報ＬＵＴ
６０：向上処理ログ
６２：プリンタ

Claims

画質ガイドドキュメントを自動的に生成する方法であって、
画像向上処理を受けている１組の画像における少なくとも１枚の画像に対し、
前記画像に適用されている向上処理に基づき、前記画像に対する画質関連特徴を第１特徴ベクトルとして識別し、
前記画像のコンテンツに基づき、画像コンテンツ関連特徴を第２特徴ベクトルとして識別し、
前記識別された第１特徴ベクトル及び第２特徴ベクトルに基づき、前記画像のコンテンツベースの劣化を決定し、
前記画像のサムネイルを生成する、
ステップと、
前記１組の画像に対する画質ガイドドキュメントを作成する
ステップを含み、前記画質ガイドドキュメントに含まれる前記サムネイルの少なくとも１つは、前記決定されたコンテンツベースの劣化に基づくそれぞれのテキスト記述と関連付けられることを特徴とする方法。
前記方法は、前記コンテンツベースの劣化に基づき、前記画像に対する写真撮影情報を取り出すステップをさらに含み、前記画質ガイドドキュメントにおいては、前記撮影情報は前記画像の前記サムネイルと関連付けられる、請求項１に記載の方法。
前記画像に対し、前記画質関連特徴を識別するステップは、実施される画像向上処理のログを調査するステップを含む、請求項１に記載の方法。
１組の画像に対して画質ガイドドキュメントを生成する機器であって、
画像に適用されている向上処理に基づき、前記組における画像に対して画質関連特徴を第１特徴ベクトルとして出力する向上処理検出器と、
前記組における画像に対して画像コンテンツ関連特徴を第２特徴ベクトルとして出力する画像コンテンツアナライザと、
前記出力された第１特徴ベクトル及び第２特徴ベクトルを受信し、前記組における前記画像の少なくとも１枚に対して、コンテンツベースの劣化を出力する劣化分類器と、
前記組における画像に対して、サムネイルを生成するサムネイルジェネレータと、
前記１組の画像に対して、画質ガイドドキュメントを生成し、前記画質ガイドドキュメントにおいては、前記サムネイルの少なくとも１つが、決定されたコンテンツベースの劣化に基づくそれぞれのテキスト記述と関連付けられている、画質ガイドドキュメントジェネレータと、
を具備することを特徴とする機器。