JP5818799B2 - デジタル画像の美的品質の推定方法 - Google Patents

デジタル画像の美的品質の推定方法 Download PDF

Info

Publication number
JP5818799B2
JP5818799B2 JP2012530957A JP2012530957A JP5818799B2 JP 5818799 B2 JP5818799 B2 JP 5818799B2 JP 2012530957 A JP2012530957 A JP 2012530957A JP 2012530957 A JP2012530957 A JP 2012530957A JP 5818799 B2 JP5818799 B2 JP 5818799B2
Authority
JP
Japan
Prior art keywords
image
aesthetic quality
digital image
photographer
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012530957A
Other languages
English (en)
Other versions
JP2013506198A (ja
Inventor
キャスリーン ディー セロサレッティ
キャスリーン ディー セロサレッティ
アレクサンダー シー ルイ
アレクサンダー シー ルイ
アンドリュー チャールズ ギャラガー
アンドリュー チャールズ ギャラガー
Original Assignee
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ファンド 83 エルエルシー, インテレクチュアル ベンチャーズ ファンド 83 エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Publication of JP2013506198A publication Critical patent/JP2013506198A/ja
Application granted granted Critical
Publication of JP5818799B2 publication Critical patent/JP5818799B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明はデジタル画像処理の分野に関し、より詳細には、メディアアセットの美的品質を自動的に決定することに関する。
デジタルイメージングはユーザーが非常に多くの数の静止画像、ビデオ画像シーケンス、および1つ以上の画像と他のコンテンツを組み合わせたマルチメディア記録を収集する能力を大幅に増加させた。(静止画像、録音、ビデオシーケンス、およびマルチメディア記録は、本明細書では、集合的に「メディアアセット」という用語で示される)。非常に多くの数のメディアアセットがあると、組織化は困難になる。
ユーザーに予測される値のメトリックを示すメタデータを個々のメディアアセットに割り当てることにより、メディアアセットを組織化し、利用する際にユーザーを支援するための努力がなされてきた。例えば、ニューヨーク州ロチェスターのイーストマンコダック社(Eastman Kodak Company)により市販される、V−550デジタルカメラは、「シェア(Share)」と標識されるユーザーコントロールを含み、これは、優先的印刷および電子メールのために個々の画像を指定するためにユーザーにより作動させることができる。このアプローチは有用であるが、メトリックがバイナリであることにより制限される。
米国特許第5,694,484号 米国特許第6,671,405号 米国特許出願公開第2004/0075743号 米国特許第6,516,154号 米国特許第6,930,718号 米国特許出願公開第2007/0263092号 米国特許出願公開第2008/0285860号 米国特許第6,816,847号
「写真品質評価のための高レベル特徴の設計」と題する論文(コンピュータビジョンおよびパターン認識会議録、pp.419−426、2006)
コットレル(Cottrell)らへの、「画像データを自動的に処理し、最適知覚品質の画像を提供するためのシステムおよび方法(System and method for automatically processing image data to provide images of optimal perceptual quality)」と題する米国特許第5,694,484号は、いくつかの画像処理モジュールを含むシステムならびに画像キャプチャ装置および対象とする画像出力装置についての情報を使用して、あるデジタル画像に対し画像品質を最適化する画像処理パラメータを選択するための方法を記載する。方法は、一連の数学的変換として表すことができる画像品質メトリックを計算する工程を含む。画像処理モジュールを制御するために使用されるパラメータは変化され、画像品質メトリックはコントロールパラメータの各順列に対し計算され、画像品質メトリックの最も良好な値を与えたコントロールパラメータ設定値が、デジタル画像を処理するために使用される。コットレルらの方法は、個々の画像に基づき実行され、そのため、他のデジタル画像に対する相対的あるいは絶対的基礎におけるデジタル画像品質の評価を含まない。
サバキス(Savakis)らへの、「消費者画像における強調および魅力の自動評価のための方法(Method for automatic assessment of emphasis and appeal in consumer image)」と題する米国特許第6,671,405号は、ユーザー介入なしで、画像の「強調および魅力」のメトリックを計算するアプローチを開示する。第1のメトリックは多くの因子に基づき、これらとしては下記が挙げられる:画像の意味内容(例えば、人々、顔);客観的特徴(例えば、彩度および鮮明さ);および主対象の特徴(例えば、主対象のサイズ)。第2のメトリックは、それらの因子をコレクション中の他の画像に対して比較する。因子は、訓練された推理エンジンを用いて統合される。チャンタニ(Chantani)らによる、「デジタル画像選択のためのシステムおよび方法(System and method for digital image selection)」と題する米国特許出願公開第2004/0075743号において記載される方法は、幾分類似し、画像における意味内容または客観的特徴のユーザー選択パラメータに基づく画像のソーティングを開示する。これらのアプローチは、画像自体から動作するという利点を有するが、コンピュータ的に集中的であるという欠点を有する。
「画像修正カメラおよび方法(Image revising camera and method)」と題する米国特許第6,516,154号および「修正された再キャプチャカメラおよび方法」と題する米国特許第6,930,718号はどちらもポラルスキー(Parulski)らに対するものであり、ユーザーに、画像の主対象のトリミングおよび中心転換を含む1組の編集提案に対しキャプチャ画像を修正させるデジタルカメラシステムを開示する。米国特許第6,930,718号の方法では、ユーザー入力が、好ましい編集提案に関して提供される。画像はその後、ユーザーの好ましい提案に基づいて編集され、または好ましいパラメータが後の使用のために記録される。米国特許第6,516,154号の方法では、デジタルカメラは、好ましい編集提案に関しユーザー入力に基づく対応するキャプチャ構成に設定される。これらのアプローチはユーザー入力を必要とするという不利益を有し、完全に自動的に実施されない。
フェドロブスカヤ(Fedorovskaya)らへの、「不完全なデータからの価値指数(Value index from incomplete data)」と題する、米国特許出願公開第2007/0263092号は、キャプチャデータ、固有画像データ、画像利用データ、およびユーザー反応データの異なる組み合わせから価値指数を計算する画像管理システムおよび方法を開示する。このアプローチは、値メトリックを計算するのに組み合わされたデータを使用するという利点を有するが、美的値に関するデータを使用しないという欠点を有する。
ダッタ(Datta)らへの、「計算アプローチを用いた写真画像における美学の研究(Studying aesthetics in photographic images using a computational approach)」と題する、米国特許出願公開第2008/0285860号は、ユーザー美的格付けと顕著な相関を有する特徴を見いだすために一次元サポートベクターマシンが使用される、画像の美的品質を計算するアプローチを開示する。その後、単純な特徴選択ヒューリスティックを利用して、自動分類器が構築される。数的美的格付けが推論される。この発明は、美的格付けを自動的に計算する特徴を有する。
トヤマ(Toyama)への、「画像のコンピュータ化された美的判断(Computerized aesthetic judgment of images)」と題する、米国特許第6,816,847号は、画像の特徴に基づく訓練された自動分類器の使用により、画像の美的品質を計算するアプローチを開示する。分類器により選択される同じ特徴に基づく美的スコアを改善するための助言は、この方法を用いて生成させることができる。
「写真品質評価のための高レベル特徴の設計(The design of high−level features for photo quality assessment)」と題する論文(コンピュータビジョンおよびパターン認識会議録(Proc.Computer Vision and Pattern Recognition)、pp.419−426、2006)の中でケ(Ke)らは画像を「高品質専門写真」または「消費者スナップショット」のいずれかとして分類するアプローチを開示する。多くの特徴が提案される:エッジの空間分布、色分布、色相カウント、ぼやけ、コントラスト、および輝度。このアプローチは有用であるが、これもまたメトリックがバイナリであることにより制限される。
本発明は、下記を実行するためにデジタル画像プロセッサを使用することを含む、入力デジタル画像の美的品質を推定するための方法を示す:
a)デジタル画像を自動的に分析することにより、入力デジタル画像と関連する1つ以上の消失点(複数)を決定する工程と、
b)少なくとも消失点(複数)の位置からコンポジショナルモデルを計算する工程と、
c)コンポジショナルモデルに応じて入力デジタル画像のための美的品質パラメータを生成させる工程であって、ここで、美的品質パラメータは入力デジタル画像の美的品質のための推定値である、工程。
本発明は、より広い観点では、美的品質がメディアアセット、例えばデジタル画像およびデジタルビデオに対し自動的に評価される画像処理方法およびシステムを提供する。美的品質パラメータは、メディアアセットを分析し、人特徴および消失点位置を含むコンポジショナルモデルを決定することにより、決定される。美的品質の計算に含ませることができる他の画像特徴としては、色特徴、構造特徴、およびキャプチャ特徴が挙げられる。
本発明は、消失点位置を含むコンポジショナルモデルを使用することにより、改善された美的品質パラメータが決定されるという利点を有する。
本発明は、決定された美的品質パラメータを使用して、高レベルの美的品質を有する画像作成に向けての時間に伴う写真家の進展を測定することができるという追加の利点を有する。
本発明は、決定された美的品質パラメータを使用して、複数の写真家に対し美的品質分布間の比較を提供することができるというさらなる利点を有する。
本発明を使用することができるシステムを示す図である。 本発明の1つの実施形態による美的品質パラメータの決定を示す流れ図である。 (3A)水平および垂直線消失点を示す図である。(3B)消失点位置を表す座標系を示す図である。 (4A)顔サイズカテゴリを示す図である。(4B)コンポジショナルテンプレートを示す図である。(4C)顔位置カテゴリを示す図である。(4D)組み合わされた顔サイズおよび位置カテゴリを示す図である。(4E)組み合わされた消失点位置および顔サイズおよび位置カテゴリを示す図である。 ベイズ(Bayes)ネットワークを示す図である。 本発明の一実施形態と関連するユーザーインターフェースを示す図である。 本発明の一実施形態と関連する情報表示を示す図である。 本発明の1つの実施形態による美的品質パラメータの使用を示す流れ図である。 本発明の一実施形態と関連する情報表示を示す別の図である。 本発明の一実施形態と関連する情報表示を示すさらに別の図である。 本発明の一実施形態と関連するユーザーインターフェースを示す図である。
デジタルキャプチャ装置は、消費者が莫大な数のメディアアセットを撮り、保存することを可能にする。メディアアセットの数は圧倒的なものとなる可能性があり、消費者が彼らの家族または友人と共有するために適切なアセットを見いだすことが困難になっている。本発明の実施形態は、メディアアセットの美的品質の評価基準を提供する、本明細書では「美的品質パラメータ」と呼ばれる、メトリックを効率的に計算する方法を提供する。美的品質パラメータは、その美的品質に基づいてメディアアセットの予測値を評価するための、自動的に計算されたメトリックである。美的品質パラメータは、人々、消失点ならびに色および構造に関連する特徴を抽出することにより決定される。
「メディアアセット」という句は、本明細書では、任意のメディアアセット、例えば、デジタル静止画像、またはデジタルビデオファイルを示す。さらに、文脈により別に明確に示され、要求されない限り、「または」という単語は、本開示において非排他的意味で使用されることに注意すべきである。
下記説明において、本発明のいくつかの実施形態は、通常、ソフトウェアプログラムとして実行されるという観点で記載される。当業者であれば、そのようなソフトウェアの等価物もまたハードウェアにおいて構築され得ることを容易に認識するであろう。画像操作アルゴリズムおよびシステムがよく知られているので、本記載は、特に本発明による方法の一部を形成する、またはその方法とより直接的に協働するアルゴリズムおよびシステムに向けられる。そのようなアルゴリズムおよびシステム、ならびに本明細書で特定的に示され、記載されていない、それらと関連する画像信号を発生させ、そうでなければ処理するためのハードウェアおよび/またはソフトウェアの他の観点が、当技術分野で知られているそのようなシステム、アルゴリズム、構成要素、および要素から選択され得る。下記で本発明に従い記載されるシステムを考えると、本発明の実行に有用である、本明細書で特定的に示され、示唆され、あるいは記載されていないソフトウェアは、従来のものであり、そのような技術分野において通常技術の範囲内である。
図1は本発明を実行するために使用することができるデジタルカメラ付き携帯電話10に基づくイメージングシステムのブロック図である。デジタルカメラ付き携帯電話10は、デジタルカメラの1つの形態である。本発明はまた、任意の他の型のデジタルイメージング装置、例えば他の型のデジタルスチルカメラまたはデジタルビデオカメラ、あるいはデジタル画像を受信する任意のシステムと共に使用するために実行することができる。
好ましくは、デジタルカメラ付き携帯電話10は、画像を撮り、見直す際にユーザーによる取り扱いが容易になるのに十分小さな携帯用電池式装置である。デジタルカメラ付き携帯電話10は、例えば、内部フラッシュEPROMメモリ、またはリムーバブルメモリカードとすることができる画像/データメモリ20を使用して保存されるデジタル画像を作成する。他の型のデジタル画像記憶媒体、例えば磁気ハードドライブ、磁気テープまたは光ディスクを代わりに使用して、画像/データメモリ20を提供することができる。
デジタルカメラ付き携帯電話10は、光景(図示せず)からの光をCMOS画像センサ50の画像センサアレイ40上に集束させるレンズ30を含む。画像センサアレイ40は、よく知られたバイヤーカラーフィルターパターン(Bayer color filter pattern)を用いて、カラー画像情報を提供することができる。画像センサアレイ40は、タイミング発生器60により制御され、これはまた、周囲照明が低い場合に光景を照射するためにフラッシュ70を制御する。画像センサアレイ40は、例えば、1280列x960行のピクセルを有することができる。
いくつかの実施形態では、デジタルカメラ付き携帯電話10はまた、ビデオクリップを撮り、保存することができる。しばしば、ビデオクリップを形成するプロセスは、画像センサアレイ40の複数のピクセル一緒に加算し(例えば、画像センサアレイ40の各4列x4行領域内の同じ色のピクセルの加算)、より低い解像度のビデオ画像フレームを生成させる工程を含む。ビデオ画像フレームはその後、画像センサアレイ40から、一定間隔で、例えば24フレーム/秒の読み出し速度を用いて読み込まれる。
画像センサアレイ40からのアナログ出力信号は増幅され、CMOSセンサ50上のアナログ−デジタル(A/D)コンバータ80によりデジタルデータに変換される。デジタルデータはDRAMバッファメモリ90に保存され、その後、フラッシュEPROMメモリとすることができるファームウェアメモリ110に保存されたファームウェアにより制御されるデジタルプロセッサ100により処理される。デジタルプロセッサ100は、リアルタイムクロック120を含み、これは、デジタルカメラ付き携帯電話10およびデジタルプロセッサ100が、低電力状態にある時であっても日付および時間を維持する。
処理されたデジタル画像ファイルは、画像/データメモリ20に保存される。画像/データメモリ20はまた、本発明の方法を使用して決定される美的品質パラメータを保存するために使用することができる。画像/データメモリ20はまた、他の型のデータ、例えば写真家id、写真家の画像、写真家のランキング、および電話番号を保存することができる。
静止画像モードでは、デジタルプロセッサ100は、典型的にはよく知られたsRGB色空間においてレンダーリングされた画像データを生成させるために、色補間、その後、色および色調修正を実行する。デジタルプロセッサ100はまた、ユーザーにより選択される様々な画像サイズを提供することができる。レンダーリングされたsRGB画像データはその後、JPEG圧縮され、JPEG画像ファイルとして画像/データメモリ20に保存される。JPEG画像ファイルは典型的には、よく知られたEXIF(エクスチェンジャブル・イメージ・ファイル・フォーマット(EXchangable Image File Format))画像フォーマットを使用する。このフォーマットは、様々なTIFFタグを使用して特定の画像メタデータを保存するEXIFアプリケーションセグメントを含む。例えば、写真が撮られた日付および時間、レンズF/#および他のカメラ設定を保存するため、および、画像キャプションを保存するために、別々のTIFFタグを使用することができる。特に、ラベルを保存するために画像説明タグを使用することができる。リアルタイムクロック120は、撮影日/時間値を提供し、これは、日付/時間メタデータとして各Exif画像ファイルに保存される。
位置決定器130は画像撮影に関連する地理的位置を提供する。位置決定器130は、画像の位置を決定するための多くの方法のいずれも使用することができる。例えば、地理的位置は近くの携帯電話の中継塔の位置から、またはよく知られた地球位置決め衛星(Global Positioning Satellites(GPS))からの通信を受信することにより決定することができる。位置は好ましくは、緯度および経度の単位で保存される。位置決定器130は、画像撮影時間とはわずかに異なる時間での地理的位置を決定する可能性があることに注意されたい。その場合、位置決定器130は、画像と関連する地理的位置として最も近い時間からの地理的位置を使用することができる。その代わりに、位置決定器130は、画像撮影時間前後の時間で決定された地理的位置を使用して画像撮影時間での地理的位置を推定することができる。位置決定器130は、地理的位置を決定することが常にできるとは限らないので、これは必然的であり得る。例えば、GPS受信機はしばしば、屋内では信号を検出することができない。その場合、最後の成功した地理的位置(すなわち、ビルに入る前)が位置決定器130により使用され得、特定の画像撮影と関連する地理的位置間が推定される。その代わりに、地理的位置は、画像撮影時間の前後の時間で決定された地理的位置の間で補間することにより、推定することができる。
デジタルプロセッサ100はまた、クフタ(Kuchta)らへの、「最大のおよび減少された解像度の画像のマルチフォーマットストレージを提供する電子スチルカメラ(Electronic Still Camera Providing Multi−Format Storage of Full and Reduced Resolution Images)」と題する、本発明の譲受人に譲渡された米国特許第5,164,831号において記載されるように、低解像度の「サムネイル」サイズ画像を作成することができ、この開示は参照により本明細書に組み込まれる。サムネイル画像は、ランダムアクセスメモリ(RAM)140に保存することができ、およびカラーディスプレイ150に提供することができ、これは、例えば、アクティブマトリクスLCDまたは有機発光ダイオード(OLED)とすることができる。画像が撮られた後、それらは、サムネイル画像データを用いることにより、直ちにカラーディスプレイ150上で見直すことができる。
カラーディスプレイ150上に表示されるグラフィカルユーザーインターフェースは、ユーザーコントロール160により制御される。ユーザーコントロール160は、電話番号をダイヤルするための専用の押しボタン(例えば、電話キーパッド)と、モード(例えば、「電話」モード、「カメラ」モード)を設定するためのコントロールと、4−方向コントロール(上下左右)を含むジョイスティックコントローラと、押しボタンセンター「OK」スイッチなどを含むことができる。
デジタルプロセッサ100に連結されたオーディオコーデック170は、マイクロホン180からの音声信号を受信し、音声信号をスピーカー190に提供する。これらの構成要素は、どちらも電話会話のためにおよびビデオシーケンスまたは静止画像と共にオーディオトラックを記録し、再生するために使用することができる。スピーカー190はまた、ユーザーに電話の着信を知らせるために使用することができる。これは、ファームウェアメモリ110に保存された標準の着信音を使用して、または、携帯電話ネットワーク200からダウンロードされ、画像/データメモリ20に保存されたカスタム着信音を用いることにより、実施することができる。さらに、振動装置(図示せず)を使用して、電話の着信の無音(例えば、聞こえない)通知を提供することができる。
ドックインターフェース210を使用して、デジタルカメラ付き携帯電話10をドック/充電器220に接続することができ、これは、今度は、汎用コンピュータ230に接続される。ドックインターフェース210は、よく知られたUSBインターフェース仕様に従うことができる。その代わりに、デジタルカメラ付き携帯電話10と汎用コンピュータ230の間のインターフェースは、無線インターフェース、例えばよく知られたブルートゥース(Bluetooth)無線インターフェースまたはよく知られた802.1lb無線インターフェースとすることができる。ドックインターフェース210を使用して、画像/データメモリ20から汎用コンピュータ230に画像をダウンロードすることができる。ドックインターフェース210はまた、汎用コンピュータ230からデジタルカメラ付き携帯電話10内の画像/データメモリに情報(例えば、カレンダーデータ)を伝達するために使用することができる。ドック/充電器220はまたデジタルカメラ付き携帯電話10内の電池(図示せず)を再充電するために使用することができる。
本発明は、ソフトウェアおよびハードウェアの組み合わせで実行することができ、物理的に接続され、あるいは同じ物理的位置に配置された装置に限定されないことにもまた注意すべきである。デジタルプロセッサ100は、無線モデム240に結合され、これは、デジタルカメラ付き携帯電話10がRFチャネル250を介して情報を伝送し、受信することができるようにする。無線モデム240は、高周波(例えば、無線)リンクで携帯電話ネットワーク200、例えば3GSMネットワークと通信する。携帯電話ネットワーク200は、写真サービスプロバイダ260と通信することができ、これは、デジタルカメラ付き携帯電話10からアップロードされたデジタル画像を保存することができる。これらの画像は、インターネット270を介して他の装置、例えば汎用コンピュータ230によりアクセスすることができる。携帯電話ネットワーク200はまた、通常の電話サービスを提供するために、標準の電話ネットワーク(図示せず)に接続する。
本発明は本明細書で記載される実施形態の組み合わせを含む。「特定の実施形態」などへの言及は、発明の少なくとも1つの実施形態中に存在する特徴を示す。「一実施形態」または「特定の実施形態」などへの別々の言及は、必ずしも同じ実施形態を示さないが、そのような実施形態は、そのように指示されない限り、または当業者に容易に明らかであるように、相互に排他的ではない。「方法(単数または複数)」などへの言及における単数形および/または複数形の使用は、制限するものではない。
以下、図2では、本発明の一実施形態によるメディアアセット310のための美的品質パラメータ390を決定するための方法が記載される。この実施形態によれば、メディアアセット310のコレクションが存在し、美的品質パラメータ390がそれぞれ1つに対し決定される。様々な異なる人および主対象特徴(例えば、顔位置、顔サイズ、顔コントラスト、顔輝度、主対象の位置、および主対象のサイズ)は当業者に知られており、本発明に従い、メディアアセット310に関しうまく計算することができる。図2の実施形態では、人検出器320が、メディアアセット310内の検出される人々322を見いだすために使用される。好ましくは、検出された人々322は、顔検出アルゴリズムを用いて見いだされる。人間の顔を検出するための方法は、デジタル画像処理の分野ではよく知られている。例えば、画像中の人間の顔を見いだすための顔検出法が、ビオーラ(Viola)らによる論文「ロバスト実時間顔検出(Robust real−time face detection)」(インターナショナルジャーナルオブコンピュータビジョン(Int. Journal of Computer Vision)、Vol.57、pp.137−154、2004)において記載される。この方法は、特定のピクセル位置上方のピクセルのすぐ近くの水平および垂直和からなる「積算画像(integral image)」表示を使用する。その後、完全積算画像は、多くのアレイ参照にわたる連続和として計算することができる。これらの長方形特徴は、エイダブースト(AdaBoost)学習アルゴリズムを使用して構築された分類器に入力され、少数の重要な特徴が選択される。最後に、分類器が「カスケード」で結合され、そのため、画像バックグラウンド領域が廃棄され、よってアルゴリズムは、顔様領域上でのみ動作することができる。
人特徴検出器324を使用して、検出された人々322に対し人特徴326を抽出する。顔が検出されるとすぐに、顔特徴(例えば、目、鼻、口など)はまた、ユイール(Yuille)らにより、「可変テンプレートを用いた顔からの特徴抽出(Feature extraction from faces using deformable templates)」(インターナショナルジャーナルオブコンピュータビジョン、Vol.8、pp.99−111、1992)において記載されているものなどのよく知られた方法を用いて位置決めすることができる。このアプローチは、口、目および虹彩/強膜境界を位置決めするためのテンプレート照合によるエネルギー最小化を使用する方法を用いる。顔特徴はまた、クーテス(Cootes)らにより論文「制約付アクティブアピアランスモデル(Constrained active appearance models)」(コンピュータビジョンに関する第8回国際会議(8th International Conference on Computer Vision)、Vol.1、pp.748−754、2001)において記載されているようなアクティブアピアランスモデルを使用して見いだすことができる。
好ましい実施形態では、ボリン(Bolin)およびチェン(Chen)により、論文「肖像画像のための顔特徴を検出する自動システム(An Automatic facial feature finding system for portrait images)」(IS&T PICS会議会報(Proceedings of IS&T PICS Conference)、2002)に記載される、人間の顔のアクティブシェイプモデルに基づく顔特徴点を位置決めする方法が、使用される。
顔サイズの標準評価基準は、目の間の距離であり、これは、ほとんどの顔検出器の一般的な出力であることはよく知られている。顔全体もまた、目のx、y位置を用いて位置決めすることができる。典型的な顔検出器の他の一般的な出力は、検出された顔を含む長方形バウンディングボックスの頂点に対するx、y画像座標である。顔サイズは、バウンディングボックスの面積により推定することができる。
顔コントラストおよび輝度を決定するために、分析が、バウンディングボックスにより含まれるピクセル値に対して実行される。顔のコントラストは、最初に画像をCIELAB(国際照明委員会(International Commission on Illumination)、略称CIEにより規定されるよく知られた色空間)などの視覚ドメインに変換することにより計算される。この色空間は明度チャネル(L)および2つの彩度チャネル、aおよびbから構成される。輝度およびコントラストの計算は、バウンディングボックス領域に含まれる画像の明度チャネルについて実行される。顔の輝度の簡単な表示は、明度値(L)の平均を用いて計算される。顔のコントラストは明度値(L)の標準偏差を用いて計算される。
その代わりに、他の手段、例えばペリ(Peli)により「複雑な画像におけるコントラスト(Contrast in Complex Images)」(J.Opt.Soc.Am.、Vol A7、pp.2032−2040、1990)に記載されるものを使用して、複雑な画像に対するコントラストおよび輝度を計算することができる。
本発明の好ましい実施形態では、検出された人特徴326は、顔のサイズ、顔の位置、顔のコントラスト、および顔の輝度を含む。
主対象検出アルゴリズム、例えば、ルオ(Luo)への、「消費者画像における主対象の自動決定のための方法(Method for automatic determination of main subjects in consumer images)」と題する米国特許第6,282,317号において開示されているものもまた、人検出器320の代わりに使用して、任意の主対象の位置およびサイズを計算することができる。この方法は、実際の物体により規定される任意形状およびサイズの領域を抽出する。その後、その領域を物理的に一貫した物体に対応するより大きなセグメントにグループ分けし、構造およびセマンティック突出特徴を抽出し、突出特徴を確率的推理エンジンを用いて統合し、各領域が主対象であるという信念の推定とする。主対象信念マップは、x、y画像座標の関数としての確率値P(x,y)から構成され、ここで、信念推定は確率値として表され、グレースケール値に割り当てられる。
主対象全体の位置は、確率により加重された主対象の重心により推定される。主対象の重心(C、C)は以下のように計算され:
(1)
式中、xおよびyは、n番目の画像ピクセルに対するxおよびy画像座標であり、Nは画像ピクセルの総数である。
推定主対象のサイズは、P(x,y)>0.50である、ピクセルの数を計数することにより計算される。主対象のサイズは、不変性を達成するための全画像のスケーリングに対する割合として測定されるべきである:
[数2]
主対象のサイズ=(主対象ピクセルの数)/(総画像ピクセルの数)(2)
消失点検出器330を使用して、メディアアセット310における消失点位置332を見いだす。本発明の好ましい実施形態では、消失点検出器330は、ギャラガー(Gallagher)への「画像から消失点位置を決定する方法(Method of determining vanishing point location from an image)」と題する米国特許第6,778,699号で開示される方法を用いて消失点位置332を検出し、これは参照により本明細書に組み込まれる。この方法は、線分を検出する工程と、対の線分から交差点を計算する工程と、複数の確率に対応する極大を決定する工程と、決定された極大に対応する推定消失点ベクターVEを出力する工程とを含み、そのため、推定消失点ベクターVEについての推定消失点位置332が決定される。
本発明の好ましい実施形態では、コンポジショナルモデラー334を使用して、人特徴326および消失点位置332を使用するコンポジショナルモデル336を作成する。コンポジショナルモデル336は、メディアアセット310に関する構成の型を表現したものである。
画像コンポジションは1組の数として表され、そのため、人特徴326、例えば顔サイズおよび顔位置、ならびに消失点位置332がコンポジショナルモデラー334により直接使用され、コンポジショナルモデル336を作成することができる。その代わりに、コンポジショナルモデラー334は人特徴326、消失点位置332、または両方を、コンポジショナルモデル336の作成における予備段階として説明的カテゴリに変換することができる。例えば、消失点位置332は、1組の消失点位置カテゴリ、例えば、水平、垂直、アップ、ダウン、および中心にマッピングすることができる。
図3Aは、画像404で検出された線を交差させることにより決定された垂直線消失点400および水平線消失点402を示す図である。図3Bはx,y座標系内の消失点カテゴリを表す図を示し、ここで、xおよびyはそれぞれ、−1.0から1.0の範囲である。画像は、単位ベクトルとして表された場合に、それらの主な消失点の位置に基づく座標系上に配置される。x軸は、主な消失点のx構成要素を表し、y軸は主な消失点のy構成要素を表す。座標空間は、図3Bに示されるように、消失点分析に基づく異なるコンポジショナルモデルを表す5つの消失点領域に分割される。上部消失点領域410は、画像の上部の消失点位置を有する画像を含む。右消失点領域415は、画像の右部の消失点位置を有する画像を含む。底消失点領域420は、画像の底部の消失点位置を有する画像を含む。左消失点領域425は、画像の左部の消失点位置を有する画像を含む。中心消失点領域430は、中心消失点位置を有する画像を含む。
同様に、顔サイズの人特徴326は、1組の人サイズカテゴリ、例えば図4Aに示されるように、小−中カテゴリ440および中−大カテゴリ445にマッピングすることができる。他の顔サイズ定義を本発明と共にうまく使用することができるが、小−中顔サイズは、セロサレッティ(Cerosaletti)らにより、QOMEXワークショップ議事録(Proceedings of the QOMEX Workshop)、2009において発表された論文「写真画像の感知された美的品質の測定(Measuring the Perceived Aesthetic Quality of Photographic Images)」において記載されるように、画像面積の10%以下を消費する顔として規定することができ、中−大顔サイズは、画像面積の10%超を消費するものとして規定することができる。
同様に、人特徴326としての顔位置は、図4Bに示されるように、画像コンポジショナルテンプレート450を特定することにより1組の人位置カテゴリにマッピングすることができる。画像は、画像領域をx次元により線形セグメントに分割することにより、大体、3つに分割することができ、x範囲のx値を有する左領域455、x範囲のx値を有する中心領域460、およびx範囲のx値を有する右領域465が作成される。異なる値による、またはxおよびy次元の両方における他の画像分割もまた、本発明により効果的に実施することができる。図4Cは、顔位置が左領域455内にある左人位置画像470、顔位置が中心領域460内にある中心人位置画像475、および顔位置が右領域465内にある右人位置画像480を示す。
顔サイズおよび顔位置カテゴリを組み合わせて、融合カテゴリを形成させることができる。例えば、図4Dは図4Aの顔サイズカテゴリと図4Bおよび4Cの顔位置カテゴリを融合することにより形成させた6カテゴリに入る画像を示す:小−中/左カテゴリ画像482、小−中/中心カテゴリ画像484、小−中/右カテゴリ画像486、中−大/左カテゴリ画像488、中−大/中心カテゴリ画像490、および中−大/右カテゴリ画像492。他の顔位置マッピングを本発明と共にうまく使用することができる。画像コンポジショナルテンプレートもまた同様に、メディアアセット内の主対象または他の物体の位置およびサイズをマッピングするために使用することができる。
顔サイズおよび顔位置カテゴリならびに消失点カテゴリは、コンポジショナルモデラー334において別々に、または一緒に使用することができる。顔位置およびサイズの人特徴326ならびに消失点位置332を結合様式でマッピングして、メディアアセット310を特徴づけることにより、追加のカテゴリがコンポジショナルモデル336により作成され得る。そのようなカテゴリのくつかの例は図4Eで示されるような、アップ、ダウン、ワイドオープン、クローズアップ、遠方である。アップカテゴリ494は、消失点が画像の上部に位置する人の近くにある場合に対応する。この場合、カメラは人に向けられる。ダウンカテゴリ495は、消失点が画像の底部に位置する人の近くにある場合に対応する。この場合、カメラは人に向けられる。クローズアップカテゴリ496、遠方カテゴリ497およびワイドオープンカテゴリ498では、消失点は、画像の中心付近にあり、視野のカメララインはグラウンド層に平行である。クローズアップカテゴリ496は、顔サイズが中−大の場合に対応する。遠方カテゴリ497は顔サイズが小−中の場合に対応する。ワイドオープンカテゴリ498は一群の人々の写真が撮られ、顔サイズが小−中である場合に対応する。
当業者であれば、本発明により、人特徴326と消失点位置332を組み合わせることにより、メディアアセット310に対しコンポジショナルモデル336決定するためにコンポジショナルモデラー334により使用することができる様々な異なる方法を認識するであろう。
色特徴検出器340を使用して、メディアアセット310における色特徴342を検出する。様々な異なる色特徴342、例えば、彩度、色相数、および色分布が当業者に知られており、本発明に従い、メディアアセット310に対し計算することができる。メディアアセット310に対し彩度値を計算する方法がサバキス(Savakis)らへの米国特許第6,671,405号により記載され、これは参照により本明細書に組み込まれる。この方法では、メディアアセット310の画像ピクセル値が、輝度−クロミナンス色空間に変換され、クロミナンス面は量子化され、12の色度面ウェッジまたはビンとされる。画像ピクセルは、ピクセルのクロミナンス構成要素の値に基づく特定のビンと関連する。高彩度ピクセルの数が特定の閾値を超えた活性ビンに対しては、彩度Cは、下記のように計算される:
[数3]
C=min{活性ビンの数,l.0}/10 (3)
本発明の一実施形態において使用することができる色相数を計算するための方法は、ケ(Ke)らにより、論文「写真品質評価のための高レベル特徴の設計(The design of high−level features for photo quality assessment)」(コンピュータビジョンおよびパターン認識会議録、419−426、2006)において記載される。この方法では、色相数は、最初にメディアアセット310の画像ピクセル値をHSV色空間に変換し、その後、0.2を超える彩度および0.15から0.95の範囲の輝度を有するH値を使用して20−ビンヒストグラムを計算することにより算出される。グレースケール画像の色相数は1である。
本発明の一実施形態で使用することができる色分布を計算するための方法は、ケらによる、前記論文「写真品質評価のための高レベル特徴の設計」に記載される。この方法では、画像は、赤、緑、および青チャネルから構成される。赤、緑、および青チャネルは、16値に量子化される。4096=16ビンから構成され、画像内に存在する各量子化された色の数を与えるヒストグラムが作成される。ヒストグラムは、メディアアセット間の絶対的な比較を可能にするために単位長さに対し正規化されなければならない。よく知られたL1統計的メトリックを使用して、ヒストグラム間の距離を計算することができる。その代わりに、ヒストグラム値を色特徴として直接使用することができる。
構造特徴検出器350を使用して、メディアアセット310内の構造特徴352を検出する。様々な異なる構造特徴、例えば鮮明さ、およびエッジの空間分布が当業者に知られており、本発明によりメディアアセット310に対して計算することができる。エッジの空間分布を計算する1つの方法は、ケらによる、前記論文「写真品質評価のための高レベル特徴の設計」に記載される。この方法では、エッジ空間分布特徴エクストラクターが実装される。a=0.2を有する3x3ラプラシアンフィルタが、赤、緑、および青チャネルの各々に別個に適用される。その後、3つのチャネルにわたって平均がとられる。ラプラシアン画像は100x100ピクセルにサイズ変更され、画像の和が1に対し正規化され、画像間およびメディアアセットコンテンツカテゴリ例えば、人々を有する画像および人々のいない画像の群内での絶対的な比較が可能になる。L1統計的メトリックを使用して、対のラプラシアン画像間の距離を計算することができる。その代わりに、ラプラシアン画像を使用して、あるパーセンテージ(例えば、最大96.04%)のエッジエネルギーを含むバウンディングボックスの面積を計算することにより、エッジが占める領域の量を測定することにより、画像構造特徴を計算することができる。
本発明の好ましい実施形態では、サバキス(Savakis)らへの米国特許第6,535,636号により詳細が記載される鮮明さ検出器を使用することにより鮮明さ特徴を計算する方法が使用され、これは参照により本明細書に組み込まれる。メディアアセット310の鮮明さは、画像をグレースケールに変換し、画像エッジを検出し、エッジヒストグラムを作成し、最強エッジ領域を見いだし、最強エッジの統計を計算し、最強エッジの平均を鮮明さの推定値として使用することにより見いだされる。
キャプチャ情報エクストラクター370を使用して、メディアアセット310に対するキャプチャ特徴372を識別する。キャプチャ情報エクストラクター370は、メディアアセット310の撮影に関連するキャプチャ特徴372を決定し、得られたキャプチャ特徴372を出力する。キャプチャ特徴372としては、例えば、メディアアセット310が撮られた時間、焦点距離、被写体距離、倍率、フラッシュがたかれたかどうか、セルフタイマーがアクティブにされたかどうか、および画像解像度が挙げられる。当業者であれば、キャプチャ情報エクストラクター370がキャプチャ特徴372を決定するための様々な異なる可能な方法を認識するであろう。多くの場合、キャプチャ特徴372は、メディアアセット310のファイルヘッダーに埋め込まれる。例えば、メディアアセット310の撮影と関連する情報を保存するために、EXIFメタデータがメディアキャプチャデバイスにより使用され得る。例えば、「日付/時間」メタデータエントリはメディアアセット310が撮られた日付および時間と関連する。キャプチャ情報エクストラクター370は、メディアアセット310に対しキャプチャ特徴372を抽出するための最も適切な方法を使用する。画像解像度(すなわち、画像ピクセルの行および列の数)のキャプチャ特徴が本発明の好ましい実施形態においてキャプチャ特徴372として使用される。
品質コンピュータ380を使用し、品質コンピュータ380により処理されるコンポジショナルモデル336、色特徴342、構造特徴352およびキャプチャ特徴372に応答する美的品質パラメータ390を計算し、美的品質パラメータ390を出力させる。このようにある実施形態が本明細書で記載されているが、本発明はメディアアセット310のために計算することができる他の異なるコンポジショナルモデル336、色特徴342、構造特徴352およびキャプチャ特徴372を排除しない。当業者であれば、様々な異なるコンポジショナルモデル336、色特徴342、構造特徴352およびキャプチャ特徴372が品質コンピュータ380に入力され、美的品質パラメータが計算され得ることを認識するであろう。さらに、品質コンピュータ380は、美的品質パラメータの計算においてこれらの異なる特徴型すべてを使用する必要はない。例えば、本発明の1つの実施形態では、コンポジショナルモデル336のみが、美的品質パラメータ390の計算において使用される。
本発明の好ましい実施形態では、美的品質パラメータ390は単一の一次元値であるが、というのは、メディアアセット間でのより簡単な比較が可能になるからである。得られた美的品質パラメータ390は、データベースの使用によりメディアアセット310と関連づけることができ、またはメタデータとして、メディアアセットデジタルファイルに保存することができる。
品質コンピュータ380を美的品質パラメータ390を決定するために使用することができる単純なアプローチは、公平に評価されたまたは加重された入力を単純に合計するものである。しかしながら、好ましくは、美的品質パラメータ390を決定するためにより精巧な方法が使用される。特定の実施形態では、品質コンピュータ380は分類プロセスにより美的品質パラメータ390を生成させるように訓練された推理エンジンである。この実施形態では、別のモデルがコンポジショナルモデル336内で表される各コンポジションに対して訓練される。推理エンジンでは、個々の入力により識別される、異なる入力値は、実際の画像の人間観察者−評価からの真の美的品質値の結果から誘導される知識に従い、互いに競合し、または補強することができる。競合および補強は、推理エンジンの推論ネットワークにより解決される。現在好ましい推理エンジンはベイズネットである。
真の美的品質値が実際の画像の人間観察者−評価から集められる。経験的データコレクション法を使用することにより、人間観察者が様々な異なる画像を評価する精神測定実験を実施することができる。例えば、画像は、美的美しさに対する「最低想像可能」および「最高想像可能」を用いて二重固定される(bi−anchored)0から100段階評価を用いて格付けすることができる。前記特徴はこれらの画像すべてに対して計算することができる。画像格付けは真の美的品質値と考えられ、その後、訓練データセットとして推理エンジンに提供することができる。画像格付けはまた、デューダ(Duda)らにより「パターン分類(Pattern Classification)」(ジョンワイリアンドサンズ(John Wiley and Sons)、ニューヨーク、2001)において記載されるk−ミーンズクラスタリングなどの技術を使用して、人間観察者応答のパターンによりクラスタリングすることができる。これらのクラスターもまた、訓練データセットとして推理エンジンに提供することができる。
ベイズネットは、グラフ中の様々なエンティティ間の因果関係を表す有向非循環グラフであり、この場合、リンクの向きがグラフ中の様々なエンティティ間の因果関係を表す。ベイズネットの詳解については、例えば、J.パール(Pearl)による「因果関係:モデル、推理および推論(Causality:models,reasoning,and inference)」(ケンブリッジ大学出版局、ケンブリッジ、2000)を参照されたい。評価は様々なエンティティ間の同時確率分布関数(PDF)の知識に基づく。
ベイズネットを使用する利点としては、明白な不確定キャラクタリゼーション、効率的な計算、容易な構成および維持、迅速訓練、ならびにネットワーク構造およびそのパラメータの変化への高速適応が挙げられる。ベイズネットは、4つの構成要素から構成される:
(1)事前:ベイズネットにおける様々なノードについての最初の信念
(2)条件付き確率マトリクス(CPM):ベイズネットにおける2つの連結されたノード間の関係についての専門知識
(3)証拠:ベイズネットへの入力である特徴検出器からの観察
(4)事後:証拠がベイズネットを介して伝搬された後の最終的な計算された信念。
各画像記録に対してアクティブな1つのベイズネットが存在する。現在のシステムでは単純な2レベルベイズネットを使用することができることが予測される。
訓練のための最も重要な構成要素はCPMセットであり、というのは、それらが目下の特定の適用に対するドメイン知識を表すからである。CPMの導出は、推理エンジン、例えばベイズネットを使用するのに熟練したものにとってはよく知られているが、例示的なベイズネット500が図5に示される。この2レベルベイズネット500では、様々な特徴が葉ノード510で入力として与えられると、根ノード530で美的品質パラメータ(AQP)が決定される。条件付き確率マトリクス520が特徴のそれぞれに対し表される。
各リンクは同じレベルの他のリンクと条件付きで独立していると一般に仮定され、各リンクを別々に訓練することによりネット全体の好都合な訓練が得られ、すなわち、あるリンクに対するCPMは、他のすべてから独立して誘導することができることに注意すべきである。この仮定はしばしば、実際には違反されるが、しかしながら、独立単純化は、実装をより簡単にし、いくつかの不正確さが許容され得る。これはまた他の分類器または推理エンジン、例えば2を超えるレベルを有するベイズネットとの比較のためのベースラインを提供する。
の確率分布は、美的品質の評価基準であり、下記式を用いて計算することができる:
[数4]
P(X,X,X,X,X)=P(X)P(X|X)P(X|X)P(X|X)P(X|X)(4)
ベイズネットワークは、条件付き確率係数(前記CPM)の積として、1組の変数(この場合、特徴X、X、XおよびXならびに美的品質を表すクラス変数X)間の同時確率分布を表す。この表示から、いくつかの他の変数のサブセットが観察された場合、任意の変数の周辺確率分布を見いだすことができる。例えば、特徴X、X、XおよびXは、入力画像から計算され、Xの事後確率分布は、下記の通り、ベイズルールに従い見いだされる:
[数5]
P(X|X,X,X,X)=P(X,X,X,X,X)P(X,X,X,X)(5)
この式では、分数の分子はベイズネットワークの条件付き独立アサーションに従い単純化される。その一方で、特徴値(X、X、XおよびX)はすべて観察されるので、分母のみが、得られた事後確率分布をXに対し正規化するように(和が1.0であることを確保すること)機能する。そのため、本発明者らは下記のように書くことができる:
[数6]
P(X|X,X,X,X)∝P(X)P(X|X)P(X|X)P(X|X)P(X|X)(6)
美的品質パラメータ390は、Xの事後確率分布における最大を見いだすことにより、Xの再確値であると考えることができる。その代わりに、美的品質パラメータ390は、Xの予測値と考えることができ、これは、下記のように、Xの事後確率分布から計算することができる:
[数7]
AQP=〈X〉=∫XP(X|X,X、X,X)dX(7)
入力はすべてベイズネットにより組み合わされ、美的品質パラメータ390が得られる。異なる入力が互いに競合、または矛盾する可能性がある。他方、異なる入力は相互に、典型的な写真光景の前のモデルまたは知識に従い互いに補強する可能性がある。競合および補強のどちらも、ベイズネットに基づく推論エンジンにより解決される。
ベイズネットの1つの利点は、各リンクが同じレベルのリンクから独立していると仮定することができることである。そのため、各リンクを別々に訓練することによりネット全体を訓練するのに好都合である。一般に、2つの方法が各根特徴ノード対に対するCPMを得るために使用される:
(1)専門知識の使用:これはアドホック法である。非常に魅力的な画像が与えられると高または低出力を発生させる各特徴検出器の条件付き確率を得るために、専門家に相談される。
(2)分割表の使用:これはサンプリングおよび相関法である。各特徴検出器の複数の観測が、強調または魅力についての情報と共に記録される。これらの観測はその後、共にコンパイルされ、分割表が作成され、これは正規化されるとその後、使用することができる。この方法は、ニューラルネットワーク型訓練(学習)に類似する。
ベイズネットの代わりに他の推理エンジンを使用してもよい。例えば、前記テキスト、デューダ(Duda)らによる「パターン分類」において、パターン認識問題を解決するために使用することができる様々な異なる分類器が記載され、この場合、右セットの特徴を有することが通常最も重要な留意事項である。そのような分類としては、サポートベクターマシン(SVM)、エイダブースト、線形判別分析法、フレキシブル判別式、(フィードフォワード)ニューラルネットワーク、ノンパラメトリック法、およびツリー構造分類器が挙げられる。これらの分類器のいずれも、本発明の実施のために推理エンジンとして適合させることができることは、そのような方法におけるいずれの当業者にとっても明らかであろう。
図6は、本発明の方法に従い決定された美的品質パラメータ390(図2)に対する1つの適用を示す可能なユーザーインターフェースプレゼンテーションエリア600を示す。メディアアセットコレクションが獲得され、図2に示される方法が使用されて、対応する美的品質パラメータ390が決定される(図2)。メディアアセットコレクションはデジタル記憶装置、例えばハードディスク、光ディスクまたはソリッドステートメモリデバイスで提供することができる。その代わりに、メディアアセットコレクションは、デジタル通信ネットワークを用いて提供することができる。画像は、ユーザーインターフェースプレゼンテーションエリア600において表示するためにメディアアセットコレクションから選択される。画像は、静止画像ならびにビデオシーケンスから抽出されたフレームを含むことができる。ユーザーインターフェースプレゼンテーションエリア600は、ソフトコピーディスプレイ、例えばパーソナルコンピュータ上での提示のために作成される。1つの実施形態では、プルダウンメニューの形態のユーザーインターフェースウィジェット620が使用され、メディアアセット310が美的品質により最良から最悪までソートされるべきであることが示される。メディアアセット310と関連する美的品質パラメータ390はその後、数値的に順序付けされ、メディアアセット310がソートされる。この実施形態では、1組のソートされた画像640がユーザーインターフェースプレゼンテーションエリア600において最高美的品質値から最低美的品質値の順で表示され、各画像は、その関連する美的品質値660で標識される。当業者であれば、他のユーザーインターフェースウィジェット、例えばダイアル、左から右の矢印、および映像的表象は、本発明と共にうまく使用することができることを認識するであろう。
ユーザーインターフェースウィジェット620に対しては、他の選択もまた提供することができる。例えば、最も古いものから新しいものまで年代順に画像をソートする選択を使用して、1組のソートされた画像640を時間順に表示することができる。前述同様に、各画像はその関連する美的品質値660で標識することができる。これは、時間に伴う美的品質の視覚表示を提供することができる。ソートされた画像640および関連する美的品質値660を視覚的に比較することにより、写真家は高レベルの美的品質を有する画像の作成に向けての彼/彼女の進展を評価することができる。
美的品質値660を表示する別の手段として、図7は時間の関数としての美的品質のプロットであるグラフ700を示す。時間の関数として美的品質をプロットする曲線720は、美的品質が一般に時間と共に増加することを示す。曲線720におけるランダムネスを減少させるために、個々の画像に対する美的品質ではなく、特定の時間間隔(例えば、数ヶ月)内の画像に対する平均美的品質をプロットすることができる。選択された時間間隔での美的品質の変化の指示は、変化バー740により表すことができ、この実施形態では、これは6ヶ月毎の変動係数を示す。代表的な画像760もまた、選択された時間間隔で示すことができる。時間の関数としての美的品質のこのプロットは、一人の特定の写真家のメディアアセットに対して、かなりの数の写真家のメディアアセットの複合物として、画像共有ウェブサイト上にまたはオンラインソーシャルネットワークにより表示されたメディアアセットの複合物として、作成することができる。
ソーシャルネットワークは、「ノード」と呼ばれる個人(または個人の群)から構成される社会構造であり、それらは、1つ以上の特定の型の相互依存性、例えば友情、親族関係または信念、知識または名声の関係により連結される。場合によっては、ソーシャルネットワークにおける人々(または人々の群)間の社会的関係を示すためにグラフ表示を使用することが好都合であり得る。そのようなグラフ表示では、人々は典型的には頂点により表され、社会的関係は、頂点間の結合により表される。ソーシャルネットワークにおける二人の人々は、人々を表す頂点間に結合が存在すると、「連結される」と言われる。
多くのインターネットサイトが、近年、ソーシャルネットワークのメンバーが互いに通信し、情報を共有するための方法を提供するために、普及している。これらのインターネットサイトは時として、オンラインソーシャルネットワークと呼ばれる。
時間に伴う写真家の進展のメトリックを提供するために、進展スコアを計算することができる。任意の所望の時間範囲について撮られたメディアアセットに対する平均美的品質を計算することができる。その後、時間的な隔たりがある平均美的品質値間の偏差を計算し、進展スコアを生成させることができる。連続する平均美的品質値間の正の偏差は正の進展を示し、連続する平均美的品質値間の負の偏差は特定の写真家に対する進展の欠如を示す。他の統計的評価基準、例えばメジアンまたは範囲をここで使用することができることに注意すべきである。別の実施形態では、進展スコアは、いくらかの時間間隔にわたり時間の関数として美的品質値へ線形回帰を実行することにより計算される。その後、回帰線の傾きを進展スコアとして使用することができる。
本発明の方法に従い決定された美的品質パラメータは、高い美的品質を有する画像の潜在的用途を示唆し、用途の型、例えば、印刷、共有、表示のために特定のメディアアセットを選択するプロセスにおいて有用であり得る。メディアアセットはまた、特殊写真製品を製造するために使用することができる。特殊写真製品としては、マグ、カレンダー、マウスパッド、グリーティングカード、装飾品、およびアルバムが挙げられる。
図8は、閾美的品質規準を満足させる画像の識別に基づく共有のための画像を選択するための方法の流れ図を示す。最初に、美的品質パラメータ810が図2について上記で記載された方法を用いて、メディアアセットコレクション800に対し計算される。次に、アセットセレクタ830が美的品質パラメータ810を、特定の美的品質閾値820と比較し、美的品質閾値820より高い美的品質パラメータ810を有する1組の選択されるメディアアセット840を決定する。例えば、1つの実施形態では、美的品質閾値820は、「83」の美的品質値とすることができる。その後、アセットセレクタ830は、「83」より大きな美的品質パラメータ810を有するメディアアセットコレクション800中のメディアアセットを選択する。最後に、選択されたメディアアセット840は、画像共有器850を用いて共有される。本発明の1つの実施形態では、アセットセレクタ830は、選択されたメディアアセット840を保持領域、例えば画像データメモリに入れる。画像共有器850は、電子的共有のためのかなり多数の異なる方法、例えば、特定のユーザーまたはユーザー群への電子メール送信、または選択されたメディアアセット840の画像共有ウェブサイトへのアップロードを用いて、選択されたメディアアセット840を共有することができる。画像共有ウェブサイトとしては、オンラインソーシャルネットワークが挙げられる。当業者であれば本発明と共にうまく使用することができる、画像を共有する他の手段を認識するであろう。
任意で必要に応じて、ユーザー格付け860を、アセットセレクタ830において美的品質パラメータ810と組み合わせることができ、ユーザーから直接取得された格付けを考慮するように美的品質パラメータ810が修正される。格付けの例は100−値スケールでの数値格付けであり、この場合、100=優秀および0=不良または任意の数の星を示す星−値スケールであり、ここで、多くの星は優秀であり、わずかの星は不良である。アセットセレクタ830は、それらが特定される場合はいつでも、ユーザー格付け860を有する自動的に決定された美的品質パラメータ810を常に無効にするように構成することができ、またはその代わりに、それらを平均化することにより、もしくは2つの値の大きい方を使用することによりそれらを組み合わせることができる。
入力デジタル画像がデジタルカメラを用いて撮られた場合、デジタルカメラのユーザーインターフェース上に品質指標を表示させることにより、入力デジタル画像の美的品質に関するフィードバックを写真家に提供することができる。品質指標の形態での連続フィードバックもまた、写真家がデジタル画像をフレーミングしている間に提供でき、そのため、写真家は、フレーミングを動的に修正し、最も美的に美しい画像を作成することができる。
本発明の方法により決定された美的品質パラメータは、彼の/彼女のデジタル画像の美的品質を改善することができる方法に関するフィードバックを特定の写真家に提供するプロセスにおいて有用であり得る。同様に、美的品質に対し最も正の影響を有するデジタル画像の特定の1つのまたは複数の特徴もまた写真家に特定され、正のフィードバックが提供される。
本発明の1つの実施形態では、フィードバックは、特定の画像に関し、計算された美的品質パラメータに対し最も大きな改善を生成させるためにはどの特徴が変更され得るかを決定することにより、写真家に提供することができる。例えば、その後、対応する美的品質パラメータを決定するのに使用される1組の特徴値(例えば、消失点位置、顔位置、顔サイズ、彩度および鮮明さ)を決定するために分析される特定の画像を検討すること。特徴値の各々は、結果として得られる美的品質パラメータがどのように変化するかを決定するための可能な値の対応する範囲全体で、変化させることができる。美的品質において最も大きな改善が得られるように修正することができる重要な1つまたは複数の特徴が、その後、写真家に特定され、画像の美的品質がどのように改善され得るかについてのフィードバックが提供される。
本発明の別の実施形態では、特定の写真家により撮られた1組の画像が分析され美的品質に対し最もしばしば、負のまたは正の影響を有する因子が決定され得る。例えば、画像コンポジションを調節することにより画像の大部分が改善され得るが、ほとんどの画像は鮮明さに関しては非常に良好であることが決定されるであろう。この方法のバリエーションでは、最も低い美的品質パラメータ値を有する画像が分析され、どのようにそれらか改善され得るかが決定され得る。同様に、最も高い美的品質パラメータ値を有する画像が分析され、写真家がうまくやったことについての正のフィードバックが提供され得る。
本発明の方法はまた、異なる写真家によって撮られた写真の品質を比較するために使用することができる。例えば、図9は、2人の異なる写真家が高レベルの美的品質を有する画像を作成しようとする進展を比較するために使用することができるグラフの一例900を示す。図9は図7と同様の内容であるが、図9は、2人の異なる写真家に対する美的品質格付けを比較する追加の特徴を含む。曲線910は、写真家Aに対する時間に伴う平均美的品質の関係を示し、曲線920は、写真家Bに対する時間に伴う平均美的品質の関係を示す。写真家Aは、写真家Bに対し、彼の/彼女の画像の美的品質の改善の進展がより速いことがわかる。同様に、時間に伴う美的品質の進展は、かなり多数の異なる写真家に対し比較することができる。例えば、写真撮影インストラクターは、この方法を使用して、学期を通して自分の生徒の進展を比較することができる。
時間に伴う1人を超える写真家の進展の比較を提供するために、複数の写真家に対し上記で記載されるように進展スコアを計算することができる。進展スコアは、写真家間で比較することができる。1つの実施形態では、1組の写真家に対する進展スコアは、写真家が属するオンラインソーシャルネットワークを用いて共有される。例えば、写真撮影クラブに属する、または写真撮影クラスを一緒にとっている写真家の一群は、オンラインソーシャルネットワークで同じ興味を持つ人たちの集まりを形成することができる。その群の写真家に対する進展スコアはその後、オンラインソーシャルネットワークを用いて共有することができ、相互評価のためのメカニズムが提供される。
同様に、図10は、2人の異なる写真家に対する美的品質値の分布を比較するグラフ950を示す。分布960は写真家Cに対する美的品質分布を示し、分布970は写真家Dに対する美的品質分布を示す。美的品質分布は、特定の時間間隔中に写真家により撮られた画像に対する美的品質パラメータのヒストグラムまたは確率密度関数(PDF)を表す。この例では、写真家Dにより作成された画像は、写真家Cのものよりも一般に高レベルの美的品質を有することがわかる。同様に、メディアアセットの美的品質分布は、かなり多数の異なる写真家に対し比較することができる。
美的品質分布は、時間に伴う写真家の進展を比較するための方法として、各写真家に対し、複数の時間間隔中に決定することができる。例えば、美的品質分布は、一連の連続する月の間で決定することができる。各月に対する美的品質分布はその後、グラフィカルユーザーインターフェースを用いて、高レベルの美的品質を有する画像の作成に向けての各写真家の進展の指示として、表示することができる。その代わりに、美的品質分布から統計値、例えば平均および分散を決定し、各写真家の進展の指示を提供するために使用することができる。統計値は、写真家の各々に対しグラフまたは表形態で表示することができる。
図11は、別のユーザーインターフェース975を示し、ここでは、美的品質パラメータ390が使用されて、写真家が比較される。この場合、ユーザーインターフェース975は、平均美的品質格付けによりソートされた写真家の画像980を含む。写真家の画像980の各々は、その写真家に対する平均美的品質格付けを示す美的品質ラベル985で標識される。ユーザーインターフェース975は、スクロール矢印990を使用して、写真家の画像980をスクロールすることができることを描いている。多くの他のユーザーインターフェースは、1組の写真家に対し平均美的品質値間の比較を可能にするように設計することができることは当業者には明らかであろう。例えば、写真家の画像980を示すのではなく、ユーザーインターフェースは写真家の各々により撮られた1つの代表的な画像を示すことができる。
10 デジタルカメラ付き携帯電話、20 画像/データメモリ、30 レンズ、40 画像センサアレイ、50 CMOSセンサ、60 タイミング発生器、70 フラッシュ、80 A/Dコンバータ、90 DRAMバッファメモリ、100 デジタルプロセッサ、110 ファームウェアメモリ、120 リアルタイムクロック、130 位置決定器、140 RAM、150 カラーディスプレイ、160 ユーザーコントロール、170 オーディオコーデック、180 マイクロホン、190 スピーカー、200 携帯電話ネットワーク、210 ドックインターフェース、220 ドック/充電器、230 汎用コンピュータ、240 無線モデム、250 RFチャネル、260 写真サービスプロバイダ、270 インターネット、310 メディアアセット、320 人検出器、322 検出された人々、324 人特徴検出器、326 人特徴、330 消失点検出器、332 消失点位置、334 コンポジショナルモデラー、336 コンポジショナルモデル、340 色特徴検出器、342 色特徴、350 構造特徴検出器、352 構造特徴、370 キャプチャ情報エクストラクター、372 キャプチャ特徴、380 品質コンピュータ、390 美的品質パラメータ、400 垂直線消失点、402 水平線消失点、404 画像、410 上部消失点領域、415 右消失点領域、420 底消失点領域、425 左消失点領域、430 中心消失点領域、440 小−中カテゴリ、445 中−大カテゴリ、450 画像コンポジショナルテンプレート、455 左領域、460 中心領域、465 右領域、470 左人位置画像、475 中心人位置画像、480 右人位置画像、482 小−中/左カテゴリ画像、484 小−中/中心カテゴリ画像、486 小−中/左カテゴリ画像、488 中−大/左カテゴリ画像、490 中−大/中心カテゴリ画像、492 中−大/右カテゴリ画像、494 アップカテゴリ、495 ダウンカテゴリ、496 クローズアップカテゴリ、497 遠方カテゴリ、498 ワイドオープンカテゴリ、500 ベイズネット、510 葉ノード、520 条件付き確率マトリクス、530 根ノード、600 ユーザーインターフェースプレゼンテーションエリア、620 ユーザーインターフェースウィジェット、640 ソートされた画像、660 美的品質値、700 グラフ、720 曲線、740 変化バー、760 代表的な画像、800 メディアアセットコレクション、810 美的品質パラメータ、820 美的品質閾値、830 アセットセレクタ、840 選択されたメディアアセット、850 画像共有器、860 ユーザー格付け、900 グラフ、910 曲線、920 曲線、950 グラフ、960 分布、970 分布、975 ユーザーインターフェース、980 写真家の画像、985 美的品質ラベル、990 スクロール矢印。

Claims (13)

  1. デジタル画像プロセッサが、
    a)入力されてくるデジタル画像を自動的に分析することにより、前記デジタル画像と関連付けられる1又は複数の消失点ならびに顔サイズおよび顔位置を決定する工程と、
    b)少なくとも前記消失点の位置ならびに前記顔サイズおよび前記顔位置からコンポジショナルモデルを計算する工程であり、少なくとも前記消失点の位置ならびに前記顔サイズおよび顔位置の組み合わせによって前記デジタル画像が特徴付けられる、工程と、
    )前記デジタル画像についての美的品質パラメータを、前記コンポジショナルモデルに応じて、前記美的品質パラメータと前記コンポジショナルモデル及び追加の画像特徴の組み合わせとにおける確率的因果関係に基づいて生成する工程であり、前記美的品質パラメータは、前記デジタル画像の美的品質についての推定値であり、前記確率的因果関係は、訓練セットの中の各デジタル画像についての真の美的品質値から経験的に学習される前記美的品質パラメータと前記コンポジショナルモデルと前記追加の画像特徴とにおける同時確率分布から導出される、工程と、
    を実行することを特徴とするデジタル画像の美的品質の推定方法。
  2. 請求項1に記載のデジタル画像の美的品質の推定方法であって、
    前記美的品質パラメータは、さらに、前記デジタル画像から計算される、顔位置、顔コントラスト、顔輝度、顔サイズ、彩度、色相数、色分布、鮮明さ、エッジ空間分布、主対象の位置、または主対象のサイズのうちの少なくとも1つに応じて生成されることを特徴とするデジタル画像の美的品質の推定方法。
  3. 高い美的品質を有する画像に対する潜在的用途を示唆する工程をさらに含む、請求項1に記載の方法。
  4. 前記潜在的用途は下記の1つ以上を含む、請求項に記載の方法:特殊写真製品を製造するための印刷、共有、表示または使用。
  5. 特定の写真家に対し1組の入力デジタル画像を分析し、前記特定の写真家が彼/彼女のデジタル画像の美的品質を改善することができる方法を示唆する工程をさらに含む、請求項1に記載の方法。
  6. 請求項1に記載のデジタル画像の美的品質の推定方法であって、
    前記美的品質パラメータは、特定の写真家により撮られた1組のデジタル画像に対して決定され、
    前記1組のデジタル画像を構成する各画像は、前記各画像に関連付けられた撮影時間情報を有し、
    前記各画像の前記美的品質パラメータ及び対応する前記撮影時間情報を用い、高レベルな美的品質の画像の作成に関する前記特定の写真家の進展を示すことを特徴とするデジタル画像の美的品質の推定方法。
  7. 前記写真家の進展の指示は、進展スコアである、請求項に記載の方法。
  8. 前記写真家の進展の指示は、画像を表示するグラフィカルユーザーインターフェースを介する前記美的品質の表示である、請求項に記載の方法。
  9. 前記写真家の進展の指示は、時間に伴う美的品質のプロットである、請求項に記載の方法。
  10. 美的品質パラメータは複数の写真家により撮られたデジタル画像セットに対して決定され、さらに、前記写真家の美的品質分布間の比較を提供する工程を含む、請求項1に記載の方法。
  11. 前記入力デジタル画像はデジタルカメラを用いて撮られ、さらに、前記デジタルカメラのユーザーインターフェース上に品質指標を表示することにより、前記入力デジタル画像の美的品質に関するフィードバックを写真家に提供する工程を含む、請求項1に記載の方法。
  12. 前記デジタル画像はビデオシーケンスのフレームである、請求項1に記載の方法。
  13. 前記デジタル画像はデジタル通信ネットワークを使用して提供される、請求項1に記載の方法。
JP2012530957A 2009-09-25 2010-09-20 デジタル画像の美的品質の推定方法 Expired - Fee Related JP5818799B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/566,706 2009-09-25
US12/566,706 US8311364B2 (en) 2009-09-25 2009-09-25 Estimating aesthetic quality of digital images
PCT/US2010/049473 WO2011037862A1 (en) 2009-09-25 2010-09-20 Estimating aesthetic quality of digital images

Publications (2)

Publication Number Publication Date
JP2013506198A JP2013506198A (ja) 2013-02-21
JP5818799B2 true JP5818799B2 (ja) 2015-11-18

Family

ID=43333331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012530957A Expired - Fee Related JP5818799B2 (ja) 2009-09-25 2010-09-20 デジタル画像の美的品質の推定方法

Country Status (5)

Country Link
US (1) US8311364B2 (ja)
EP (1) EP2481025B1 (ja)
JP (1) JP5818799B2 (ja)
CN (1) CN102576461B (ja)
WO (1) WO2011037862A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238615B2 (en) * 2009-09-25 2012-08-07 Eastman Kodak Company Method for comparing photographer aesthetic quality
US8330826B2 (en) * 2009-09-25 2012-12-11 Eastman Kodak Company Method for measuring photographer's aesthetic quality progress
ES2392292B1 (es) * 2010-09-07 2013-10-16 Telefónica, S.A. Método de clasificación de imágenes.
US9185469B2 (en) * 2010-09-30 2015-11-10 Kodak Alaris Inc. Summarizing image collection using a social network
US8861870B2 (en) * 2011-02-25 2014-10-14 Microsoft Corporation Image labeling with global parameters
US8712157B2 (en) * 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment
CN103020947B (zh) 2011-09-23 2016-04-06 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
US8831360B2 (en) 2011-10-21 2014-09-09 Intellectual Ventures Fund 83 Llc Making image-based product from digital image collection
EP2783302A4 (en) * 2011-11-25 2015-07-15 Microsoft Technology Licensing Llc INDEXIZATION AND SEARCH BASED ON BILDATTRACTIVITY
US9336442B2 (en) 2012-01-18 2016-05-10 Intellectual Ventures Fund 83 Llc Selecting images using relationship weights
US8917943B2 (en) 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
US8837820B2 (en) * 2012-05-25 2014-09-16 Xerox Corporation Image selection based on photographic style
US9104701B1 (en) 2012-05-29 2015-08-11 A9.Com, Inc. Determining similarity using human generated data
US20130322705A1 (en) * 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
US8862584B2 (en) 2012-06-28 2014-10-14 Pic Me First, Llc Method for privately filtering and partitioning a set of photographs of a social media site user
US8897485B2 (en) * 2012-06-29 2014-11-25 Intellectual Ventures Fund 83 Llc Determining an interest level for an image
US9111547B2 (en) * 2012-08-22 2015-08-18 Kodak Alaris Inc. Audio signal semantic concept classification method
US8731291B2 (en) 2012-09-24 2014-05-20 Eastman Kodak Company Estimating the clutter of digital images
US8897560B2 (en) * 2012-09-24 2014-11-25 Eastman Kodak Company Determining the estimated clutter of digital images
EP2741488A1 (en) * 2012-12-10 2014-06-11 Alcatel Lucent A method of extracting the most significant frames out of a video stream based on aesthetical criterions
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
KR102125525B1 (ko) * 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
WO2015145769A1 (ja) * 2014-03-28 2015-10-01 富士通株式会社 撮像装置、情報処理装置、撮影補助システム、撮影補助プログラム及び撮影補助方法
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
US10140517B2 (en) * 2014-08-06 2018-11-27 Dropbox, Inc. Event-based image classification and scoring
US10290019B2 (en) 2014-10-24 2019-05-14 Dropbox, Inc. User re-engagement with online photo management service
CN104834898B (zh) * 2015-04-09 2018-05-15 华南理工大学 一种人物摄影图像的质量分类方法
US11295300B2 (en) * 2015-06-10 2022-04-05 Digital Candy, Inc. Online image retention, indexing, search technology with integrated image licensing marketplace and a digital rights management platform
KR20170013555A (ko) * 2015-07-28 2017-02-07 엘지전자 주식회사 이동단말기 및 그 제어방법
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US9942472B2 (en) 2015-11-27 2018-04-10 International Business Machines Corporation Method and system for real-time image subjective social contentment maximization
CN105528757B (zh) * 2015-12-08 2019-01-29 华南理工大学 一种基于内容的图像美学质量提升方法
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
CN105787966B (zh) * 2016-03-21 2019-05-31 复旦大学 一种计算机图像的美学评估方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
US9940551B1 (en) * 2016-06-17 2018-04-10 Google Llc Image generation using neural networks
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10110868B2 (en) 2016-12-22 2018-10-23 Aestatix LLC Image processing to determine center of balance in a digital image
CN107153838A (zh) * 2017-04-19 2017-09-12 中国电子科技集团公司电子科学研究院 一种照片自动分级方法及装置
JP7149692B2 (ja) 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
CN107590445B (zh) * 2017-08-25 2019-05-21 西安电子科技大学 基于脑电信号的美学图像质量评价方法
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
US11222208B2 (en) 2018-07-13 2022-01-11 Futurewei Technologies, Inc. Portrait image evaluation based on aesthetics
US10929655B2 (en) 2018-07-13 2021-02-23 Futurewei Technologies, Inc. Portrait image evaluation based on aesthetics
US11403664B2 (en) 2019-03-11 2022-08-02 International Business Machines Corporation Generating aesthetics and safety information for billboard marketing
US11086889B2 (en) * 2019-09-27 2021-08-10 Adobe Inc. Content-aware tutorial recommendation
CN111144497B (zh) * 2019-12-28 2023-04-28 天津大学 基于美学分析的多任务深度网络下的图像显著性预测方法
US11290640B2 (en) 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112381083A (zh) * 2020-06-12 2021-02-19 杭州喔影网络科技有限公司 一种基于潜在区域对的显著性感知图像裁剪方法
CN111738141B (zh) * 2020-06-19 2023-07-07 首都师范大学 一种硬笔书法作品评判方法
CN111818363A (zh) * 2020-07-10 2020-10-23 携程计算机技术(上海)有限公司 短视频提取方法、系统、设备及存储介质
CN115601772B (zh) * 2022-12-15 2023-05-02 南京邮电大学 一种基于多模态学习的美学质量评价模型和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164831A (en) 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
US5694484A (en) 1995-05-15 1997-12-02 Polaroid Corporation System and method for automatically processing image data to provide images of optimal perceptual quality
JP3063073B2 (ja) 1995-06-30 2000-07-12 富士ゼロックス株式会社 画像解析表現付加装置
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6535636B1 (en) 1999-03-23 2003-03-18 Eastman Kodak Company Method for automatically detecting digital images that are undesirable for placing in albums
US6816847B1 (en) 1999-09-23 2004-11-09 Microsoft Corporation computerized aesthetic judgment of images
US6671405B1 (en) 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
US6778699B1 (en) 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US6516154B1 (en) 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
US6832006B2 (en) * 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
JP2003087442A (ja) * 2001-09-14 2003-03-20 Fuji Photo Film Co Ltd 画像評価方法および装置並びにプログラム
US20040075743A1 (en) 2002-05-22 2004-04-22 Sony Computer Entertainment America Inc. System and method for digital image selection
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
JP2005354606A (ja) * 2004-06-14 2005-12-22 Fuji Photo Film Co Ltd デジタルカメラ
JP4642757B2 (ja) * 2004-07-23 2011-03-02 パナソニック株式会社 画像処理装置および画像処理方法
JP2007006165A (ja) * 2005-06-24 2007-01-11 Fujifilm Holdings Corp 撮像装置、撮像方法、及び撮像プログラム
WO2007012798A1 (en) * 2005-07-28 2007-02-01 British Telecommunications Public Limited Company Image analysis
JP2007188283A (ja) * 2006-01-13 2007-07-26 Seiko Epson Corp 画像評価装置、画像評価方法、画像評価プログラム、記録媒体、及び画像サーバシステム
US8135684B2 (en) 2006-04-13 2012-03-13 Eastman Kodak Company Value index from incomplete data
CN101192269B (zh) * 2006-11-29 2012-05-02 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
US20080285860A1 (en) 2007-05-07 2008-11-20 The Penn State Research Foundation Studying aesthetics in photographic images using a computational approach
JP2010062853A (ja) * 2008-09-03 2010-03-18 Fujifilm Corp 情報処理装置、方法およびプログラム

Also Published As

Publication number Publication date
EP2481025A1 (en) 2012-08-01
US20110075917A1 (en) 2011-03-31
WO2011037862A1 (en) 2011-03-31
CN102576461A (zh) 2012-07-11
CN102576461B (zh) 2015-10-07
EP2481025B1 (en) 2014-02-12
JP2013506198A (ja) 2013-02-21
US8311364B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
JP5818799B2 (ja) デジタル画像の美的品質の推定方法
US11182590B2 (en) Imaging workflow using facial and non-facial features
US8238615B2 (en) Method for comparing photographer aesthetic quality
US8330826B2 (en) Method for measuring photographer's aesthetic quality progress
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
US8532347B2 (en) Generation and usage of attractiveness scores
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
US7995106B2 (en) Imaging apparatus with human extraction and voice analysis and control method thereof
JP6023058B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP4335476B2 (ja) 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法
CN101262561B (zh) 成像设备及其控制方法
JP2002109525A (ja) 画像の顕著性及びアピール性に基づく画像処理パス変更方法
JP2009533955A (ja) 不完全なデータからの評価指標
JP2008543224A (ja) 撮影者を利用した画像の分類
US20230066331A1 (en) Method and system for automatically capturing and processing an image of a user
JP2022086996A (ja) 情報処理方法、情報処理システム、撮影装置、サーバ装置及びコンピュータプログラム
JP6940106B1 (ja) 情報処理方法、情報処理システム、撮影装置、サーバ装置及びコンピュータプログラム
JP2022086997A (ja) 情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150929

R150 Certificate of patent or registration of utility model

Ref document number: 5818799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees