JP4335476B2 - 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 - Google Patents
画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 Download PDFInfo
- Publication number
- JP4335476B2 JP4335476B2 JP2001190242A JP2001190242A JP4335476B2 JP 4335476 B2 JP4335476 B2 JP 4335476B2 JP 2001190242 A JP2001190242 A JP 2001190242A JP 2001190242 A JP2001190242 A JP 2001190242A JP 4335476 B2 JP4335476 B2 JP 4335476B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- digital
- digital image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Description
【０００１】
【発明の属する技術分野】
本発明は概して画像処理の分野に係り、特定的には画像評価及び画像理解の分野に関する。
【０００２】
【従来の技術】
画像評価及び画像理解は、人間の知的能力によれば容易に解決することが出来るが完全に自動化されたコンピュータシステムでは解決することが非常に困難な問題を扱う。写真技術アプリケーションにおいて重要であると考えられる画像理解の問題には、主被写体検出、シーン分類、空及び草の検出、人物の検出、向きの自動検出等がある。一群の写真を扱う種々のアプリケーションでは、画像を論理的な順序でランク付けし、画像がその順序で処理されること又は取り扱われることを可能とすることが重要である。興味深い写真技術アプリケーションは、ディジタル画像のグループがディジタル写真アルバムへ自動的に編成される自動アルバム作成である。自動アルバム作成では、画像は別々の事象へクラスタ化し、可能であれば各事象は何らかの論理的な順序でレイアウトされる。この順序は、画像の相対的な内容について少なくともいくらか配慮され、幾つかの画像が他の画像よりも好ましいという信念に基づいた配慮がされることを意味する。
【０００３】
自動アルバム作成アプリケーションに関連して、偽造品検出、事象検出、及び、ページレイアウトアルゴリズムといった多数の公知のアルゴリズムが有用である。偽造品検出は、複製画像及び質の悪い画像の除去又は逆強調を行なうが、事象検出は、日付や時間といった一定の明確な規準によって画像を別々の事象へクラスタ化する。同じ事象に属する一組の画像が与えられているとき、ページレイアウトは、例えば各ページ上の最も見た目が良く空間効率の良い画像の表現を見つけるため、各事象を論理的且つ見た目の良い表現へレイアウトすることを目的とする。画像のグループのうちの最も重要な画像、例えばページレイアウト中で最も注意を引くに違いない画像を選択できることが望まれる。
【０００４】
画像評価問題には、自動化されたシステムは高水準の認知能力を備えた人間の（理解）過程を表わす結果を生じさせることが期待されるという性質があるため、評価システムの設計は難しい課題である。特定の視覚的な印象を求めて文書を作成又は編集することを目的として、テキスト及びグラフィックデータをその心理学的な効果について評価する努力がされてきた（例えば、米国特許第５，８７５，２６５号及び第５，４２４，９４５号を参照のこと）。’２６５号特許では、システムは、必要であれば操作者の助けを借りて、視覚的な特徴を、操作者による使用のために表示される微妙な言葉に対応付けるために、画像を解析する。このシステムにおける困難な点は、視覚的な特徴が主に、必ずしも画像内容に関連付けられていない低水準特徴、即ち、色及びテクスチャに基づく特徴であり、言葉による記述は画像の相対的なランク付けのために使用するには難しいことである。’９４５号特許は、文書中のテキスト及びグラフィックスの心理学的な効果を評価するためのシステムを開示する。’９４５号特許の問題点は、特定の内容に関わらず文書の全体的な視覚的な印象を評価し、相対的なランク付けを作成するための有用性が低下することである。これらのシステムは、複雑であり、且つ、心理学的な効果の認識を指向するだけでなく、実在の画像の評価及び利用よりもむしろ知覚的な印象の解析及び作成を重要視したものである。
【０００５】
注文する印画の複製の数を決めるとき、通常は画像についての少なくとも幾らかの判定が必要である。現在利用可能な幾つかの光学的及びディジタル印刷システムは、１つの入力画像に対して１以上の印画を印刷する能力がある。一般的には、店頭においてダブルプリントオプションが抱き合わせで注文され、注文を受けた各画像に対して２の印画が生成される。幾つかの印刷システムには、何らかの状況では画像を全体として受けつけないよう、元のディジタル画像又は写真フィルムネガから得られるディジタル画像の画素値を解析するディジタル画像処理アルゴリズムも含まれる。この種のアルゴリズムは、画像を評価し、画像を印刷するか否かについての決定を行なう。しかしながら、評価試験を通った全ての画像について同数の印画が作成される。
【０００６】
【発明が解決しようとする課題】
一般的に、一組の画像に含まれる全ての画像が同じ美的な値を有するわけではなく、従って同じ数だけ複製されなくともよいことが理解されている。ディジタルイメージングアプリケーションについての幾つかの現行の解法は、画像でない画素情報に、要求される印画の数を示すディジタル画像を入れることによってこの問題を扱ってきた。この情報は、画像１つにつき作成される印画の数を変化させるためにディジタルプリンタによって使用される。或いは、印刷機器の操作者、又は、消費者が、一組の画像に含まれる特定の画像を手で個々に選び、選ばれた特定の画像を特に強調し、より好ましくし、最終的には更なる複製を作成する価値のあるものとするために使用されうる。しかしながら、これらの技術はいずれもユーザの介入を必要とする。幾つの印画が作成されねばならないかについてのユーザ入力なしにインテリジェントな決定を行なうことができる自動ディジタルイメージングアルゴリズムが必要とされている。
【０００７】
【課題を解決するための手段】
本発明は、上述の１つ以上の問題を克服することを目的とする。簡単に概説すると、本発明の１つの面によれば、ディジタル画像から作成される印画の１つ以上の印刷属性を変化させる方法が開示され、この方法は、（ａ）画像の重要度、関心度、又は注目度の決定に基づいてディジタル画像についての印刷属性値を計算する手順と、（ｂ）画像から作成される印画の印刷属性を制御するために印刷属性値を使用する手順とを含む。典型的な実施例では、印刷属性は、画像から作成される印画の数、画像から作成される印画の寸法、又は、画像に対して用いられる倍率のいずれかである。
【０００８】
他の面では、本発明は画素からなるディジタル画像から作成される印画の１つ以上の印刷属性を変化させる方法に関連し、方法は、（ａ）画素から得られる決定に基づいてディジタル画像についての印刷属性値を計算する段階と、（ｂ）画像から作成される印画の数、画像から作成される印画の寸法、又は画像に対して用いられる倍率のいずれかを制御するために印刷属性値を使用する段階を含む。
【０００９】
１つの実施例では、印刷属性値は、画像の本質的な重要度、関心度、又は注目度から決定されるアピール性値に基づく。画像がディジタル画像のグループのうちの１つである他の実施例では、印刷属性値は画像のグループのうちの他の画像に対する画像の重要度、関心度、又は注目度から決定される顕著性値に基づく。
【００１０】
画像の重要度、関心度、又は注目度の決定は、個々のディジタル画像の内容に関する１つ以上の特徴を含む各ディジタル画像の１つ以上の特徴に関する１つ以上の量が計算される幾つかの特徴についての画像の評価に基づく。これらの量は１人以上の人間の観察者の意見に従って学習される推論アルゴリズムで処理され、各画像を評価する推論アルゴリズムから出力が得られる。本発明の従属した面では、ディジタル画像の内容に関する特徴は、人間に関する特徴又は被写体に関する特徴を含む。更に、ディジタル画像の１つ以上の客観的な尺度に関連する追加的な量である例えば色彩の豊富さ（即ちカラフルネス）や鮮明度が計算されうる。推論アルゴリズムの結果は、一組の画像の各画像の質をランク付けするために処理される。各ディジタル画像に適用される印刷属性は、それ自体として又はディジタル画像のグループに関連付けられて決められる画像の重要度、関心度、又は注目度に基づいて変化する。
【００１１】
他の面では、本発明は（ａ）幾つかの自己代表特徴について画像のアピール性（アピール性は個々の画像の重要度、関心度、又は注目度の評価）の決定に基づき印刷パラメータ、例えば印画の数を変化させる方法、又は、（ｂ）或る特徴に関する画像の顕著性（顕著性とは画像のグループ中における個々の画像の他の画像に対する重要度、関心度、又は注目度の評価）の決定に基づいてディジタル画像の同じ印刷パラメータを変化させる方法として理解されうる。この点から、アピール性及び顕著性の評価の両方について、
ａ． 人物関連特徴：人物の有無、肌領域又は顔領域の量、顔の寸法に基づくクローズアップの程度
ｂ． 客観的特徴：画像のカラフルネス及び鮮明度
ｃ． 被写体関連特徴：主被写体の寸法と主被写体の位置取り（マッピング）に基づく構図の良さ
といった自己代表画像特徴が計算される。
【００１２】
上述の特徴は顕著性評価には適しているが、アピール性評価については、以下の、
ａ． カラー内容に関する各画像の代表値
ｂ． 各画像の写真アスペクト形式の独自性
といった追加的な自己代表画像特徴が考えられることが望ましい。
【００１３】
各画像の評価は、上述の特徴を入力として受け入れ画像評価値を発生するよう学習されるベイズネットワークといった推論エンジンによって得られる。この評価は個々の画像について本質的な評価であってもよく、その場合、自己代表特徴は画像アピール性値を発生するよう学習されたベイズネットワークによって処理され、或いは、評価は画像のグループについての相対的な評価であってもよく、その場合、自己代表特徴、任意に、相対代表特徴は、画像顕著性値を発生するよう学習されたベイズネットワークによって処理される。
【００１４】
本発明の利点は、人間が介在することなく、１つ以上の画像の評価を行ない、それによりディジタル画像から作成される印画の数、印画の寸法、印画の倍率といった、しかしこれらに限られない属性値を変化させることである。画像のグループを扱う種々の適用では、かかるアルゴリズムによる評価は画像処理の自動制御を可能とし、それにより画像はランクの順序に従ってより効率的に処理及び印刷されうる。
【００１５】
【発明の実施の形態】
本発明の上述及び他の面、目的、特徴、及び利点については、以下の望ましい実施例及び請求の範囲の記載を読むことにより、また、添付の図面を参照することにより、更に明らかに理解されよう。以下の説明では、本発明の望ましい実施例をソフトウエアプログラムとして説明する。当業者はこのようなソフトウエアと同等のものがハードウエアとしても実施されうることを容易に認識するであろう。画像処理アルゴリズム及びシステムは周知であるため、本願では特に本発明による方法の一部をなす、又はより直接的に協働するアルゴリズム及びシステムについて説明する。本願に特に図示又は説明しないアルゴリズム及びシステムの他の面、及び、それに関連する画像を生成するか他の方法で処理するためのハードウエア及び／又はソフトウエアは、従来技術で公知のシステム、アルゴリズム、構成要素、及び要素から選択される。以下のような本発明による図示され説明された方法及びシステムが与えられているとき、本発明の実施に有用であり本発明願に記載又は提案されていないソフトウエアは、従来通りであり当業者の通常の技術でなされうるものである。
【００１６】
本願では、ディジタル画像は１つ以上のディジタル画像チャネルを含むものであると考えられる。各ディジタル画像チャネルは、各画素値が画素の幾何学的な領域に対応する画像捕捉装置が受けた光の量に関連するような画素の２次元配列からなる。カラーイメージングアプリケーションでは、ディジタル画像は、一般的には赤、緑、及び青のディジタル画像チャネルからなる。例えば、シアン、マゼンタ、及びイエローのディジタル画像チャネルといった他の形態もまた実施されうる。単色アプリケーションでは、ディジタル画像は１つのディジタル画像チャネルからなる。動きイメージングアプリケーションは、ディジタル画像の時間的なシーケンスであると考えられる。当業者は、本発明が上述のいずれのアプリケーションのディジタル画像チャネルにも適用されうるが、これに限られないことを認識するであろう。
【００１７】
本発明は、ディジタル画像チャネルを行と列に配置された画素値の２次元配列として説明されるが、当業者は本発明が同じ効果でモザイク（非直線的な）配列に適用されうることを認識するであろう。更に、各ディジタル画像チャネルを含む信号は、面積又は線形アレイといった様々な捕捉装置から生じうる。
【００１８】
印刷システム
本発明はコンピュータハードウエア中で実施されうる。図１１を参照するに、以下の説明は、１つ以上の画像捕捉装置１１０、ディジタル画像プロセッサ１２０、１つ以上の画像出力装置１３０、及び汎用制御コンピュータ１４０を含むディジタルイメージングシステムに関する。典型的な実施例では、画像出力装置１３０は、インクジェット式、レーザ式、又は、他の形式の電子又はディジタルプリンタといった印刷装置である。当業者は、本発明が、画像出力装置１３０が光学プリンタであるアナログ光学印刷システムで実施されうることを認識するであろう。システムは、コンピュータコンソール又はペーパープリンタ（図示せず）といったモニタ装置１５０を含みうる。システムはまた、キーボード１６０ａ及び／又はマウスポインタ１６０ａといった操作者用の入力装置制御装置１６０を含む。更に、本願で使用され開示されるように、本発明は、コンピュータプログラムとして実施されえ、コンピュータメモリ装置１７０、即ち、コンピュータ読み取り可能な記憶媒体に格納されうる。コンピュータ読み取り可能な記録媒体は、例えば、磁気ディスク（例えばフロッピーディスク）又は磁気テープといった磁気記憶媒体；光ディスク、光テープ、又は機械読み取り可能なバーコードといった光学記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置を含みうる。本発明について説明する前に、本発明はパーソナルコンピュータといった任意の周知のコンピュータシステム上で使用されることが望ましいことに留意すると理解が容易となろう。
【００１９】
本発明が様々なイメージング装置から得られるディジタル画像のために使用されうることを示すために、多数の捕捉装置１１０が図示されている（図１１では別個の装置１１０ａ，１１０ｂ，及び１１０ｃとして示されている）。例えば、図１１は、画像捕捉装置１１０が、カラーネガ又はスライドフィルム透明ポジといった従来の写真画像を走査することによりディジタル画像を生じさせるフィルムスキャナであるディジタル写真仕上システムを表わす。ディジタル画像プロセッサ１２０は、意図される出力装置又は媒体上に満足のいく見た目の画像（例えば特定の目的のために見た目がよいよう、又は他の方法で変更された画像）を生成するようディジタル画像を処理する手段を提供する。多数の画像出力装置１３０は、本発明がディジタル写真プリンタ及び／又はソフトコピーディスプレイを含む様々な出力装置と共に使用されうることを示すため図示されている（装置１３０ａ及び１３０ｂとして示される）。ディジタル画像プロセッサ１２０は、画像出力装置１３０によって満足のいく見え方の画像が生成されるよう、ディジタル画像のソースディジタル画像を調整する。これらの処理段階の間の相互作用については以下詳述する。
【００２０】
図１２は、図１１に示されるディジタル画像プロセッサ１２０をより詳細に示す図である。本発明によって用いられるディジタル画像プロセッサ１２０の一般的な形式は、画像処理モジュール１２２（２つの別々のモジュール１２２ａ及び１２２ｂとして示される）の縦続チェーンを含む。各ソースディジタル画像はディジタル画像プロセッサ１２０によって受け取られ、ディジタル画像プロセッサ１２０は出力処理ディジタル画像を生成する。ディジタル画像プロセッサ１２０に含まれる各画像処理モジュール１２２は、ディジタル画像を受け取り、ディジタル画像を変更するか、又は、ディジタル画像から何らかの情報を導出し、その出力処理ディジタル画像を次の画像処理モジュールへ与えるよう適応する。図１２に示されるように、画像処理モジュール１２２は、プロセッサ１２０が他の画像処理モジュールと共に使用されうることを示すために２つの強調変換モジュール１２２ａ及び１２２ｂとして示されるが、これに限られるものではない。強調変換モジュール１２２ａ及び１２２ｂは、例えば、ディジタル画像の空間的な細部を鮮明化し、ノイズを除去し、色を強調し、階調度を強調するよう設計されたモジュールを含むが、これらに限られるものではない。
【００２１】
図１２を参照するに、画像評価ネットワーク１０は、図１１に示される画像捕捉装置１１０からのディジタル画像のグループ又は図１２に示される顕著性変換モジュール１２２ａからの出力を受信する。画像評価ネットワーク１０は、各ディジタル画像の全体の重要度、関心度、又は注目度を、それ自体によって又は画像のグループのうちの他の画像に関連して示しディジタル画像の画素から導出され望ましくは単一の数値である評価値を計算する。アナログ光学印刷適用では、評価値はフィルムネガから生成される個々の原画像の全体の重要度、関心度、又は注目度示す。各画像に対応するそれ自体の個々の評価値はアピール性値と称され、全ての画像についてのその値はアピール性値の組と称される。画像のグループのうちの他の画像に対する各画像に対応する個々の評価値は顕著性値と称され、全ての画像についてのその値は顕著性値の組と称される。
【００２２】
印刷属性制御器１８０は、顕著性値とアピール性値の組を受信し、これらの値を解析し、ディジタル画像のグループのうちの各ディジタル画像についての印刷属性値を生成する。これらの印刷属性値は画像出力装置１３０によって受信され、例えば印画の数、印画の寸法、又は印画の倍率といった１つ以上の印刷属性を変更又は制御するために使用されるが、これに限られるものではない。
【００２３】
本発明は、アナログ印刷システムで実施されうる。この適用では、印刷属性値は、例えば印画の数、印画の寸法、又は印画の倍率といった１つ以上の印刷属性を変更又は制御するために印刷露光サブシステムを制御するために使用されるが、これに限られるものではない。
【００２４】
［ネットワーク化されたコンピュータシステム］
本発明は、例えばワールドワイドウェブを介してアクセスされるインターネット、或いは、それ以外のコンピュータネットワークを介して接続される多数のコンピュータを用いて実施されうる。本発明の実施に関係のあるディジタル画像処理手順の一部として、２つの中央処理機能、即ち（１）各ディジタル画像に含まれる画素値から導出される評価（顕著性又はアピール性）値の計算と（２）印刷属性値の計算とが含まれる。これらの中央的要素のうちの片方又は両方は単一のコンピュータ内で実現されうるが、評価値の計算と印刷属性値の計算が異なるコンピュータ上で行なわれると共に第３のコンピュータシステムが例えば印刷といった出力機能を実行してもよい。
【００２５】
図１３は、図１１に示されるような２つのコンピュータシステムをコンピュータネットワーク１４５を介して相互に接続されたものとして示す図である。図１３を参照するに、一方のコンピュータシステム１９０ａは、そのディジタル画像プロセッサ１２０ａに画像捕捉装置１１０が接続されたものとして示され、他方のコンピュータシステム１９０ｂはそのディジタル画像プロセッサ１２０ｂに画像出力装置１３０が接続されたものとして示される。画像捕捉装置１１０は、接続されたディジタル画像プロセッサ１２０ａによって受信され処理されるディジタル画像を生成する。評価値の組は、ディジタル画像プロセッサ１２０ａで計算される。ソースディジタル画像及び評価値は、コンピュータネットワーク１４５を介して第２のコンピュータシステム１９０ｂへ送信される。第２のコンピュータシステム１９０ｂのディジタル画像プロセッサ１２０ｂはソースディジタル画像を受信し、各画像についての印刷属性値を計算するために評価値を用い、画像出力装置１３０によって適切な見た目の画像が生成されるようディジタル画像を変換する。
【００２６】
図１３には２つのコンピュータシステム１９０ａ及び１９０ｂが示されているが、本発明は２つ以上のコンピュータシステムを用いても実施されうる。本発明は、ソースディジタル画像を捕捉する第１のコンピュータシステムを用いて実施することが可能であり、その場合、ソースディジタル画像は評価値を計算する第２のコンピュータシステムによって受信され、第３のコンピュータシステムは評価値とソースディジタル画像を受信し、印刷属性値を計算し、第４のコンピュータシステムは印刷属性値を受信し、印刷属性値に従って処理されたディジタル画像の視覚的な表示及び／又はディジタル画像の複製を生成する。
【００２７】
評価値及び印刷属性値は、画像メタデータの例であり、即ちディジタル画像に関連する画素でない情報の一部である。画像メタデータは、例えばディジタル画像が捕捉された方法に関する情報の伝達、撮影者の注釈付けのようなディジタル画像の意味に対する前後関係の付加、又はディジタル画像についての解析情報の付加などを目的として使用されうるが、これらに限られるものではない。本発明の１つの実施例では、これらの評価値はコンピュータネットワークを介して画像メタデータとして送信され、異なるコンピュータシステムがディジタル画像の印刷を制御するために画像メタデータを使用することを可能とする。
【００２８】
図１３は、本明細書に記載されるものを含む様々な画像処理アルゴリズム及びモジュールを使用してオンライン画像処理、注文、印刷を可能とするウェブベースの処理アーキテクチャを示すものと理解されうる。これに関しては、図１３を参照して、ネットワーク１４５（例えばインターネット）を介してクライアントホスト１９０ａと相互接続されるサーバホスト１９０ｂを含む、ウェブベースのアーキテクチャの典型的なクライアント・サーバ構成について考えることが有用である。クライアントホストとサーバホストの間の通信が適切に確立されると、サーバコンピュータ１４０ｂ上でウェブサーバが実行され、クライアントコンピュータ１４０ａ上でウェブブラウザが実行され、モニタ装置１５０ａ上に例えばアプレットによって発生される「要求」ウェブページが表示される。クライアントアプリケーション機能は、例えば少なくとも画像顕著性ネットワーク１０を含むアプレットへ組み込まれる。更に、クライアントアプリケーションは、図１２に示される印刷属性制御器１８０を含む（又はこの機能はウェブサーバ又はウェブサーバに接続されたユーティリティによって与えられうる）。クライアントアプリケーションはこのようにしてウェブブラウザにロードされ実行され、アプレット及びウェブブラウザを介してディスプレイ１５０ａ上に表示される。
【００２９】
動作上、クライアントホスト１９０ａのユーザは、捕捉装置１１０（又は以下の画像記憶装置）を介して特定の画像又は画像のグループを入力し、「要求」ウェブページを介して特定の画像印刷オプションを選択し、これはアプレットに対して評価値及び／又は属性値を発生させ、ウェブブラウザに対して、ウェブサーバに画像をアップロードし画像印刷を開始する要求を実行するよう命令する。或いは、画像はユーザによってアクセス可能な記憶装置（図示せず）からアップロードされうるか、又はサーバホスト１９０ｂにアクセス可能な様々な他のソースから与えられうる。サーバは画像処理チェーンを含むディジタル画像プロセッサ１２０ｂとの通信を開始する。画像出力装置１３０といった画像出力機能もまたサーバホスト１９０ｂに含まれるか、又はサーバホストから別個のユーティリティサービスとしてアクセス可能である。ディジタル画像プロセッサ１２０ｂは画像処理チェーン中で適当な機能を実行し、例えば変更された画像といった適当な応答をウェブサーバに戻し、ウェブサーバにアプレットへ応答を返す。アプレットは、汎用制御コンピュータ１４０ａ上で実行されるウェブブラウザに表示されるべき更なるウェブページを発生する。上述のウェブに基づくアーキテクチャはアプレットを介してウェブページを発生するが、例えばＣＧＩスクリプトを介したウェブページ発生のための他の手段もまた本発明に従って使用されうることが理解されるべきである。
【００３０】
［印刷属性値計算］
画像評価ネットワーク１０は、評価値、即ち顕著性値及び／又はアピール性値を発生する。１からｎまでの番号が付されたディジタル画像のグループは、画像顕著性ネットワーク１０から受信される対応する顕著性値Ｅの組を有するものとし、ｅｊ項がｊ番目のディジタル画像についての個々の顕著性値を指すものとすると、１からｎまで番号が付された要素は、
Ｅ＝｛ｅ１，ｅ２，．．．，ｅｎ｝
と表わされる。これに加えて、又は、これに変えて、やはりｎのディジタル画像に対応するアピール性値Ａの組が画像顕著性ネットワーク１０から受信され、ａｊ項がｊ番目のディジタル画像についての個々の顕著性値を指すものとすると、１からｎまで番号が付された要素は、
Ａ＝｛ａ１，ａ２，．．．，ａｎ｝
と表わされる。顕著性値Ｅの組は、ディジタル画像のグループのうちでのディジタル画像の相対的な重要性を表わす。アピール性値Ａの組は、各ディジタル画像の絶対的な美的な質に関連する。印刷属性制御器１８０は、個々の評価値を番号順にソートするランク順序づけ処理を行なう。処理は、
Ｒ＝｛ｒ１，ｒ２，．．．，ｒｎ｝
と表わされるランク指標Ｒの組を生じさせ、ここで、ｒｊ項はディジタル画像のグループの中のｊ番目のディジタル画像の相対的な重要性を指す。例えば、Ｒは、以下のような値、
Ｒ＝｛５，２，．．．，３｝
を含みうる。この場合、ディジタル画像のグループのうちの第１のディジタル画像は５番目に重要なディジタル画像であり、第２のディジタル画像は２番目に重要なディジタル画像であり、第ｎのディジタル画像はディジタル画像のグループの中の３番目に重要なディジタル画像である。
【００３１】
ランク指標Ｒの組、顕著性値Ｅの組、又はアピール性値Ａの組は、ｐｊ項がディジタル画像のグループのｊ番目のディジタル画像についての印刷属性値を指すものとすると、
Ｐ＝｛ｐ１，ｐ２，．．．，ｐｎ｝
と表わされる印刷属性値Ｐの組を決定するために使用される。印刷属性制御器１８０によって生成される個々の印刷属性値は、図１１に示される画像出力装置１３０によって受信される。印刷属性値は、例えば画像から作成される印画の数、画像から作成される印画の寸法、画像について用いられる倍率といった作成される印画の属性を変化させるために画像出力装置によって使用される。
【００３２】
本発明は、個々のディジタル画像から作成される印画の数を変化させるために使用されうる。一般的には、商業用印刷サービスシステムでは、画像当たりの印画の数は１又は２に決まっている。本発明の望ましい実施例は、作成される画像当たりの印画の数を個々のディジタル画像についての対応する印刷属性値に基づいて変化させる。例えば、ランク指標Ｒの組は４つの部分集合又は四分の一ずつに分割される。上位の四分の一の部分に対応する評価値ランク付けを有するディジタル画像は印刷属性値３を受け取り、中位の２つの四分の一は印刷属性値２を受け取り、下位の四分の一は印刷属性値１を受け取る。次に、例えば、対応する印刷属性値３を有する各ディジタル画像について、画像出力装置１３０は３つの印画を作成するよう命令される。従って、印刷属性値２の各ディジタル画像については、画像出力装置１３０は２つの印画を作成するよう命令され、印刷属性値１の各ディジタル画像については画像出力装置１３０は１つの印画を作成するよう命令される。このように、印刷属性値は個々の画像当たりの印画の数を直接制御する。ディジタル画像値の印画の数を制御する本発明の望ましい実施例では、ディジタル画像のグループ当たりの印画の数は一定である。
【００３３】
本発明の他の実施例は、ディジタル画像のグループについての印画の総数が可変となるようにディジタル画像当たりの印画の数を変化させるものである。この方法では、印刷属性値は、評価値を所定の閾値と比較することによって決定される。例えば、消費者画像を用いた実験では、対応するアピール性値が０．７以上である画像は、０．７よりも小さい対応するアピール性値の画像と比較して、消費者にとってかなり楽しめるものである。従って、０．７以上の対応する顕著性値を有するディジタル画像のグループの全てのディジタル画像に対して、印刷属性値２が割り当てられる。０．７よりも小さい対応する顕著性値を有するディジタル画像のグループの全てのディジタル画像に対して、印刷属性値１が割り当てられる。従って、この実施例では、ディジタル画像のグループについて作成される画像の総数は個々の画像について計算された顕著性値に基づいてグループ毎に異なり、例えば、画像出力装置１３０が画像当たりに作成する印画の数は、印刷属性値２を受け取った印画については、印刷属性値１を受け取った印画よりも多くなる。ディジタル画像の幾つかのグループについては、Ｎの印画のみが作成されるのに対して、他のグループでは最大で２Ｎの印画が作成される。
【００３４】
本発明は、個々のディジタル画像から作成される印画の寸法を変化させるために使用されうる。一般的には、商業用の印刷サービスシステムでは、印画の寸法は決められている。例えば、消費者の印画注文は、７．６２ｃｍ×１２．７ｃｍ（３インチ×５インチ）の寸法の印画を指定しうる。その他に、１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）や１２．７ｃｍ×１７．７８ｃｍ（５インチ×７インチ）といった寸法が人気があるが、寸法はこれらに限られるものではない。本発明の望ましい実施例は、個々のディジタル画像についての印刷属性値に基づいて個々の画像について作成される印画の寸法を変化させる。最も高い対応する評価値を有するディジタル画像はより大きい寸法で印刷される。例えば、対応するランク指標が１であるディジタル画像は、１２．７ｃｍ×１７．７８ｃｍ（５インチ×７インチ）の寸法の紙に印刷される。全ての他のディジタル画像はより小さい寸法の１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の紙に印刷される。本発明のこの実施例では、ディジタル画像のグループから作成される印画の総数は一定である。
【００３５】
本発明の他の実施例では、ディジタル画像値の印画の数は、印画の総数が一定の数となるよう変化される。この方法では、印刷属性値は、評価値を所定の閾値と比較することによって決定される。０．７以上の対応する評価値を有するディジタル画像のグループの中の全てのディジタル画像に対して、印刷属性値２が割り当てられる。０．７よりも小さい対応する評価値を有するディジタル画像のグループの中の全てのディジタル画像に対して、印刷属性値１が割り当てられる。対応する印刷属性値２を有するディジタル画像は１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の寸法の紙に印刷され、対応する印刷属性値１を有するディジタル画像は７．６２ｃｍ×１２．７ｃｍ（３インチ×５インチ）の寸法の紙に印刷される。当業者によれば、望ましい実施例と他の実施例の組合せは容易になされ、本発明の範囲に含まれることが明らかである。
【００３６】
本発明は、個々の画像から作成される印画の倍率を変化させるために使用されうる。一般的には、商業用の印刷サービスシステムでは、印画の倍率は１．０に固定される。倍率が１．０のとき、元の写真の画像内容の全て又は殆ど全てが写真紙上に結像される。画像が１．０以上の倍率で印刷される場合、元の画像内容の一部のみが印刷紙上に表現される。例えば、倍率２．０では、画像領域の中央の四分の一が印刷される。これは印画を作成するのに使用される紙の寸法には全く無関係である。ディジタルイメージングプリンタでは、同等の処理は、元のディジタル画像の部分集合の領域を補間することを含む。例えば、倍率２．０では、画像領域の中央の四分の一が補間され、出力画像装置によって受信される新しいディジタル画像が形成される。
【００３７】
元のディジタル画像の部分集合が補間されるため、画像領域のどの部分集合を使用するかについて選択せねばならない。本発明の望ましい実施例は、ディジタル画像の中央部分を単純に選択する技術を用いる。選択される画像領域の正確な量は、使用される紙の寸法の横縦比と倍率に基づく。或いは、主被写体を中心とする画像領域が選択されうる。クロッピング及びズーミングに適した主被写体領域を測位するための方法の詳細な説明については、ここに参照のため引用されたJiebo Luo及びRobert Grayによる２０００年１月２５日出願の「Method for Automatically Creating Cropped and Zoomed Versions of Photographic Images」なる名称の係属中の米国特許出願第０９／４９０，９１５号に記載されている。
【００３８】
本発明の望ましい実施例は、個々のディジタル画像についての対応する印刷属性値に基づいて個々の画像について作成される印画の倍率を変化させる。最も高い対応する評価値を有する画像はより大きい倍率で印刷される。消費者写真を用いた実験により、多くの消費者写真は、撮影時に使用されるカメラレンズズーム倍率が比較的低いため、あまり重要でないと考えられることが分かった。最も上上位の四分の一の部分に対応する評価値を有するディジタル画像のグループに含まれるディジタル画像には印刷属性値１が割り当てられ、上から二番目の四分の一の部分には印刷属性値２が割り当てられ、上から三番目の四分の一の部分には印刷属性値３が割り当てられ、上から四番目の四分の一の部分には印刷属性値４が割り当てられる。印刷属性値１、２、３、４に関連付けられる対応する倍率は、夫々、１．３、１．２、１．１、１．０である。或いは、あまり重要でないと考えられる写真により高い倍率が適用される場合、これらの数値は逆にされる。
【００３９】
本発明の他の実施例は、最も高い相対評価値ランクを有するディジタル画像を選択し、倍率２．０でそのディジタル画像の更なる印画を印刷する。従って、ディジタル画像のグループの全てのディジタル画像の１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の印画が倍率１．０で作成され、最も良いディジタル画像の１つの追加的な印画が倍率２．０で作成される。
【００４０】
［評価値計算］
ここで説明するように、画像を相対的な値及び／又は本質的な値についてランク付けし、画像がこれらの値に従って処理又は扱われうるようにすることが重要である。この論理ランク付けは、２つの関連付けられた画像評価、即ち画像のアピール性と画像の顕著性に基づく。画像のアピール性は個々のピクチャの重要度、関心度、又は注目度の本質的な度合いであり、一方、画像の顕著性は、グループのうちの他の写真に対する写真の相対的な重要度、関心度、又は注目度である。評価アルゴリズムは、画像に対して動作し、各画像に対して評価値（即ち顕著性値及び／又はアピール性値）を割り当てることが期待される。評価値は、特定のグループの各画像に関連付けられたメタデータとして見なされ、上述の画像処理チェーンといった他のアルゴリズムによって利用されうる。
【００４１】
図１２に示される画像評価ネットワーク１０は、Andreas E. Savakis及びStephen Etzにより１９９９年１２月１４日に出願された「Method for Automatic Assessment of Emphasis and Appeal in Consumer Images」なる名称のここに参照のため引用された係属中の米国特許出願第０９／４６０，７５９号から採用される図１乃至１０により詳細に示されている。まず、図１を参照するに、顕著性値を計算するための画像評価ネットワーク１０は、２つの段階、即ち特徴抽出段階１２と分類段階１４を含むものとして示されている。特徴抽出段階１２は、夫々が幾つかの画像特徴特性を測定するよう設計された多数のアルゴリズムを含み、特徴の定量的な尺度がアルゴリズムの出力の値によって表わされる。従って、特徴抽出段階１２の出力は、幾つかの特徴の存在（又は存在しないこと）の統計的な証拠を表わし、出力は顕著性値を計算するために分類段階１４によって積分される。この値は、例えば０乃至１００の範囲でありえ、処理された画像が重要画像であるという尤度又は信念を示す。図４に示されるような別々の画像顕著性ネットワーク１０．１，１０．２．．１０．Ｎ中の画像のグループについて顕著性値が計算された後、顕著性値は比較器段階１６において比較され、夫々の正規化段階１８．１，１８．２．．１８．Ｎにおいて正規化される。最も高い顕著性値を有する画像は、グループの顕著性画像として選ばれる。
【００４２】
特徴抽出段階１２のための特徴の集合は、観察者の好みのグラウンド・トゥルース（ground truth）調査に基づいて選択された。グラウンド・トゥルース調査によって、顕著性画像の選択に重要な特徴は、鮮明度、コントラスト、フィルム粒状度、露出といった従来の画質の計量と強い関連性の無いことが判明したが、これらの従来型の計量のうちの１つ以上は評価値の計算においても価値がある。選択された特徴は、一般的には（ａ）人物関連特徴、（ｂ）主被写体関連特徴、及び（ｃ）画像の客観的尺度関連特徴の３つのカテゴリへ分けられる。図１を参照するに、人物関連特徴は、肌領域検出器２０、クローズアップ検出器２２、及び人物検出器２４によって抽出される。入力画像ｉは一般的には、人物関連特徴検出器２０、２２、２４によって処理されるのに適した中間値を発生するために肌検出器２６及び顔検出器２８を通じて処理される。主被写体関連特徴は、主被写体検出器３４からの入力に基づいて、構図検出器３０及び被写体寸法検出器３２によって抽出される。構図検出器３０は、図３に示されるように、主被写体分散性アルゴリズム３０．１、主被写体中心性アルゴリズム３０．２、及び主被写体コンパクト性アルゴリズム３０．３を含む。主被写体データはクラスタ化段３１においてクラスタ化され、構図関連アルゴリズム３０．２及び３０．３と、被写体寸法アルゴリズム３２に与えられる。画像の客観的尺度関連特徴は、鮮明度検出器３６、カラフルネス検出器３８、及び独自フォーマット検出器４０によって抽出される。更に、画像の色内容が画像のグループに対する色内容を表す程度に関連する客観的尺度は、代表色検出器４２によって抽出される。
【００４３】
図１に示される特徴の集まりは、画像顕著性を表わす値を計算するために使用される。画像顕著性は、グループのうちの他の画像に対する画像の相対的な重要度、関心度、又は注目度として定義される。各画像はグループのうちの他の画像に対して相対的に評価されねばならないため、画像顕著性計算は、画像を夫々の顕著性値についてスコアリングする図４に示されるような画像顕著性ネットワーク１０．１，１０．２．．１０．Ｎのネットワークを含む。実際に、一連の画像の画像顕著性値を決めるよう繰り返し使用される１つの画像顕著性ネットワーク１０がありうるが、この場合、順次に得られる結果は比較器１６への入力のための中間記憶（図示せず）に格納されうる。図２に示される特徴の集まりは、図１に示される特徴の集まりの部分集合であり、絶対的に、即ち他の画像を参照することなく、画像の本質的な重要度、関心度、又は注目度として定義される画像のアピール性を表わす値を計算するために使用される。図２に示される特徴は、これらの特徴が着目中の画像だけに基づいて画像を評価することができるので、自己代表特徴と称される。これに対して、図１では、独自フォーマット特徴と代表色特徴の２つの追加的な特徴が検出され、これらの特徴は他の画像との関連付けに不可欠な尺度であるため、相対代表特徴と称される。（しかしながらこれらの相対代表特徴は、顕著性の十分な尺度が自己代表特徴のみから獲得されうる限りは任意である）。従って、アピール性及び顕著性の両方の評価は自己代表特徴に関連し、一方、顕著性の評価のみが相対代表特徴に関連する。
【００４４】
図１及び図２による特徴の集まりの抽出は、以下に説明するように対応する特徴量の計算を含む。
【００４５】
［客観的特徴］
客観的特徴は、他のタイプの特徴と比較して最も計算が簡単であり、かつ、最も矛盾のない結果を与える。これらを計算するための方法が既に利用可能であり、イメージング科学の殆どの技術は客観的特徴の尺度に基づいている。多くの客観的特徴を計算することが潜在的に可能であるが、画像の顕著性及びアピール性（図１及び図２）の両方のためにはカラフルネス及び鮮明度のみが考慮に入れられ、画像顕著性（図１）のためには独自フォーマット及び代表色が追加的に考慮される。コントラスト及びノイズといった他の客観的尺度は、幾つかの状況において有用であるとされ、本発明の範囲に含まれることが意図される。
【００４６】
［カラフルネス］
カラフルネス検出器３８は、カラフルなピクチャは様々な色相で高い飽和度を表示する色を有するという観察に基づき、カラフルネスの定量的な尺度を与える。これは、様々な色相について高い飽和度の色の存在について調べることによってグラウンド・トゥルース調査によって決定された。画像データは、ｓＲＧＢ色空間の画像データであると仮定した。特に、図６に示されるように、カラフルネス検出器３８は、カラフルネスを計算するために以下の段階を実施する。最初に、ステップ６０において、入力画像値ｉは輝度／クロミナンス空間へ変換される。このような多くの変換が当業者によって公知であり、本発明と組み合わせてうまく使用されうるが、望ましい変換は、以下の式、
【００４７】
【数１】
に従って実行され、式中、中間色は輝度の尺度であり、緑−マゼンタと照度はクロミナンスの尺度である。ステップ６２において、各画素は、そのクロミナンス平面（照度、緑−マゼンタ）は、図７に示されるような角度欄と称される１２の色度平面ウェッジへ分割され量子化される。次に、ステップ６４において、クロミナンス成分が角度欄の境界に収まる場合、その角度欄のうちの１つに関連付けられる。飽和度のレベル（原点からの距離）は、ステップ６６において各角度欄の各画素に対して計算される。ステップ６８において各角度欄を占める高い飽和度の画素の数が測定され、高い飽和度の画素とはクロミナンス平面における原点からの距離が一定の閾値Ｔｓ（例えばＴｓ＝０．３３）を超える画素である。各角度欄について、ステップ７０において、高い飽和度の画素の数がある閾値Ｔｃ（例えばＴｃ＝２５０画素）を超える場合、その欄は有効であると決定される。ステップ７２において、カラフルネスは以下の式、
【００４８】
【数２】
に従って計算される。尚、このカラフルネスの定義によれば、１２の欄のうちの１０の欄が使用されていると、カラフルネスは１．０であり、画像は最もカラフルであるとされる。
【００４９】
［鮮明度］
鮮明度検出器３６は、画像中の鮮明度特徴を見つけるために以下の段階を実施する。
（ａ）画像は境界線に沿って２０％の水準で切り取られ、緑チャネルを抽出することによりグレースケールへ変換される。
（ｂ）画像のエッジは、ノイズを減少させるために３×３の平均化フィルタを適用した後にＳｏｂｅｌ演算子を用いて緑チャネル中で検出される。
（ｃ）エッジヒストグラムが形成され、エッジヒストグラムの９０番目の百分位数を超えるエッジが最も強いエッジを含む領域であると同定される。
（ｄ）最も強いエッジの領域はメジアンフィルタリングによって洗練され、最も強いエッジの統計値が計算される。
（ｅ）最も強いエッジの平均は鮮明度の推定値を与える。
【００５０】
鮮明度の検出のために使用される方法の更に細かい点については、ここに参照のため引用された、Andreas Savakis及びAlexander Louiによって１９９９年３月２３日に出願された「A Method for Automatically Detecting Digital Images that are Undesirable for Placing in Albums」なる名称のた米国特許出願第０９／２７４，６４５号に記載されている。
【００５１】
［フォーマット独自性］
グラウンド・トゥルース調査の参加者は、ＡＰＳの「パノラマ」モードで撮影された写真は、顕著性がより必要であることを示した。グラウンド・トゥルースデータの予備分析は、その写真がグループ中のただ１つのパノラマ写真であれば、顕著性画像として選択される可能性を高めることを示した。相対的な特徴である「フォーマット独自性」はこの性質を表わす。
【００５２】
独自フォーマット検出器４０は、グループ中の各画像ｉについて以下のアルゴリズム、
【００５３】
【数３】
を実施し、但し、フォーマットｆは画像の長い画素寸法ｌｉと短い画素寸法ｓｉに基づくものである。フォーマット独自性Ｕは、
【００５４】
【数４】
と表わされる。
【００５５】
［代表色］
代表色検出器４２は、画像の色がどれだけ代表的であるかを決定するために以下の段階を行なう。
１．各画像ｉについて、（ＲＧＢ又は輝度／クロミナンス空間中で）カラーヒストグラムｈｉ（Ｒ，Ｇ，Ｂ）を計算する。
２．以下の式、
【００５６】
【数５】
に従って全ての画像ヒストグラムの平均を取ることにより、グループについての平均カラーヒストグラムを見つける。
３．各画像ｉについて、画像のヒストグラムと平均カラーヒストグラムとの間の距離（ユークリッド距離又はヒストグラム交差距離）を、以下の式、
【００５７】
【数６】
に従って計算する。
４．以下の式、
【００５８】
【数７】
に従って、段階３において計算された距離の最大を見つける。
５．以下の式、
【００５９】
【数８】
に従って、各距離を最大距離（０乃至１の範囲で可変）割り算することによって代表尺度ｒを得る。
【００６０】
［人物関連特徴］
人物関連特徴は、画像顕著性を決定するときに重要であるが、例えば笑っている人物、カメラを向いている人物等といった人物に関連する多くの明確な属性は計算するのが困難である。肌検出方法は、人物が存在するか否か、肌面積の大きさ、及びクローズアップの量といった幾つかの人物関連特徴を計算する。
【００６１】
［肌及び顔の検出］
肌検出器２６によって用いられる肌検出方法、及び顔検出器２８によって用いられる顔検出方法は、ここに参照のため引用されたH. C. Lee及び及びH. Nicponskiにより１９９８年７月９日に出願された「A Method for Detecting Human Faces in Digitized Images」なる名称の米国特許出願第０９／１１２，６６１号に開示される方法に基づく。
【００６２】
図８を参照するに、米国特許出願第０９／１１２，６６１号に開示される方法が概略的に示される。入力画像は、ステップＳ１０２において優勢な全体照明を補償するためにカラーバランス調整される。カラーバランス調整は、（ｒ，ｇ，ｂ）値から（Ｌ，ｓ，ｔ）値への変換を含む。（Ｌ，ｓ，ｔ）空間中、Ｌ軸は色の明るさを表わし、ｓ及びｔ軸はクロマ軸を表わす。ｓ成分は、昼光からタングステン光まで、青から赤までの光源の変化を近似的に表わす。ｔ成分は、緑とマゼンタの間の軸を表わす。この段階のためには、中間色への平均化といった簡単な方法を含む多数の周知のカラーバランスアルゴリズムが使用されうる。次に、ステップＳ１０４において色セグメント化のためにｋモードクラスタ化アルゴリズムが使用される。このアルゴリズムは、ここに参照として組み込まれる共通に譲渡された米国特許第５，４１８，８９５号に含まれる。基本的に、（Ｌ，ｓ，ｔ）空間中の３次元カラーヒストグラムは入力カラー画像から形成され、クラスタ化アルゴリズムによって処理される。この段階の結果により、各連結された領域がユニークなラベルの付けられた領域マップが得られる。各領域について、ステップＳ１０６において平均化されたルミナンス及び色度が計算される。これらの特徴は、条件付き確率及び適応閾値処理に基づいて可能な肌領域（候補肌領域）を予測するために使用される。ステップＳ１０８において、各肌領域に最もよい楕円を当てはめることにより、各肌領域のスケール及び平面内の回転ポーズの推定値が得られる。これらの推定値の近傍のスケール及び平面内の回転ポーズの範囲を用いることにより、ステップＳ１１０において仮の顔特徴を同定するために各顔領域に対して一連の線形フィルタリング段階が適用される。ステップＳ１１２において、領域が実際に顔特徴を表わす尤度と、領域が表わす顔特徴のタイプとを予測するために多数の確率計量が用いられる。
【００６３】
先行するスクリーニング段階を通った特徴は、ステップＳ１１４において予想される顔についての最初の特徴として使用される。投影幾何学を用いることにより、３つの最初の特徴の同定は、頭部の姿勢の可能な範囲を定義する。顔の姿勢の各候補は、包括的な３次元の頭部モデル及び顔特徴の位置の変化の範囲と共に、残りの顔特徴の位置を予測するために使用されうる。予測された特徴の位置が見つかるかどうか調べるために、候補顔特徴のリストの探索を行なう。候補顔特徴がの位置及び向きが予測された位置及び向きに近ければ、その特徴の有効性の確率的な推定値に影響が与えられる。
【００６４】
ステップＳ１１６において、顔の存在を示す累積された証拠を理解するために、頭部のベイズネットワーク確率モデルが使用される。ネットワークの事前確率は、様々な向き及びスケールの頭部が含まれる大量の学習画像の組から抽出される。ネットワークは候補顔の予想特徴から始まり、ネットワークの推定された確率は計算された計量とテンプレートに対する空間的な一致度に基づく。次に、ネットワークは、これらの初期条件から始めて、顔の存在の確率の大域的な推定値へ収束するまで、実行される。この確率は、厳しい閾値と比較され、或いは、２値評価が必要でなければ確率的な形式のままとされる。この肌及び顔検出方法の更なる詳細は、ここに参照のため引用された米国特許出願第０９／１１２，６６１号に記載されている。
【００６５】
［肌面積］
写真中の肌／顔面積の割合は、その割合自体を特徴として得るために、或いは、人物検出及びクローズアップ検出の予備段階として、肌面積検出器２０によって計算される。そのため、肌面積検出器２０の出力は分類段階１４に接続されると共に、クローズアップ検出器２２及び人物検出器２４へ入力される。肌面積は、０乃至１の範囲の連続的な変数であり、人物に関連する特徴の数に相関する。例えば、等距離から撮影された写真に関しては、肌面積が増加するということは、写真に写っている人物が増えることを意味し、「集合写真」であるという明確な標識と相関する。或いは、２つの写真が同数の人物が写っている場合、肌面積が増加することは倍率が大きくなることを示し、これは「クローズアップ」という明確な属性と相関する。肌面積の増加に関するその他の説明として、被写体の配置を理由に挙げることも可能である。
【００６６】
［クローズアップ］
クローズアップ検出器２２は、クローズアップを判定するために以下の手段を使用する。
（ａ）肌検出が実行され、結果としてのマップが（境界線から２５％離れた）中央領域で調べられる。
（ｂ）クローズアップは、画像の中央部分における肌面積の割合として決められる。
【００６７】
ある種の場合には、肌検出よりも顔検出のほうがクローズアップの判定に適している。
【００６８】
［人物の存否］
人物の存否は、画像中にかなりの量の肌面積が存在する場合は、人物検出器２４によって検出される。画像中の肌画素の割合が計算され、肌の割合が画素数の閾値Ｔｆ（例えばＴｆ＝２０画素）を超えるときに人物が存在すると想定される。人物の存否は、人物が存在する場合に１、存在しない場合に０を示す２進数で表される２値特徴である。
【００６９】
［構図特徴］
良い構図は画像顕著性の非常に重要な積極的な属性であり、悪い構図は一般的には消極的な属性である。画像の構図の自動評価は非常に困難であり、場合によっては主観的である。良い構図は、三分の一の法則といった多数の一般的な周知の法則に従うものでありうるが、このような規則はしばしば撮影者の視点を表現するため守られない。
【００７０】
［主被写体検出］
主被写体検出器３４によって用いられる検出器は、J. Luo、S. Etz及びA. Singhalによって１９９８年１２月３１日に出願された「Method for Automatic Determination of Main Subjects in Consumer Images」なる名称の共通に譲渡された米国特許出願第０９／２２３，８６０号に開示されている。図９を参照するに、米国特許出願第０９／２２３，８６０号に開示された主被写体検出方法を概略的に表わすブロック図が示される。まず、ステップＳ２００において、自然のシーンの入力画像が捕捉され、ディジタル形式で記憶される。次に、ステップＳ２０２において画像は均質な性質の幾つかの領域へセグメント化される。次に、ステップＳ２０４において、領域セグメントは、目的のない無目的知覚グループ化を通じて類似性尺度に基づいて、より大きい領域へグループ化され、ステップＳ２０６において目的のあるグループ化（合目的グループ化は特定の物体に関連する）を通じて知覚的に一貫した物体に対応するより大きい領域へ更にグループ化される。ステップＳ２０８において、領域は、構造的代表特徴と意味論的代表特徴２つの独立した相補的な代表特徴について評価される。ステップＳ２０８ａにおいて、低レベル早期視覚特徴の組及び幾何学的特徴の組を含む構造的代表特徴が抽出され、これらの特徴は自己代表特徴の組及び相対代表特徴の組を生成するために更に処理される。ステップＳ２０８ｂにおいて、前景（例えば人物）又は背景（例えば空、草）といったの一部である可能性の高いキー被写体物の形式で意味論的代表特徴が検出され、意味論的な手がかり及びシーン前後関係の手がかりを与える。ステップ２１０において、両方のタイプの証拠がベイズネットに基づく推論エンジンを用いて統合され、ステップ２１２で主被写体の最終信念マップが得られる。
【００７１】
画像の意味論的な解釈のためには、単一の規準では明らかに不十分である。人間の脳は、先験的な知識と、実世界の被写体及びシナリオについての及び膨大な記憶とを有しており、シーン中の興味深い被写体又は主な被写体を評価するために異なる主観的な規準を組み合わせる。拡張的な特徴リストに含まれる特徴、即ち、場所、寸法、明るさ、カラフルネス、テクスチャフルネス、主キー被写体物、形状、対称性、空間的関係（包囲性／閉塞性）、境界性、屋内／屋外、向き、（適用可能であれば）深度、及び（ビデオシーケンスについて適用可能であれば）動きは、主被写体検出といった多少とも漠然としたタスクを実行するときに人間の脳に影響を与えると考えられる。
【００７２】
低レベル早期視覚特徴には、色、明るさ、及びテクスチャが含まれる。幾何学的特徴には、場所（中心性）、空間的関係（境界性、隣接性、包囲性、オクルージョン）、寸法、形状、及び対称性が含まれる。意味論的特徴には、肌、顔、空、草、及び他の緑の草木が含まれる。当業者は、本発明の範囲を逸脱することなくより多くの特徴を定義しうる。主被写体検出アルゴリズムの更なる詳細は、ここに参照のため引用された米国特許出願第０９／２２３，８６０号に記載されている。
【００７３】
上述の主被写体検出アルゴリズムは計算集約的なアルゴリズムであり、被写体関連特徴のより小さい組に基づいて被写体検出を行なう他のアルゴリズムが使用されうる。ここで考えられる全ての構図尺度は主被写体信念マップに関するものであるため、最も計算的に効率的な曲面、例えば、殆ど「中心性」尺度に関係する曲面にシステムを集中させることが可能である。これらの面は主被写体の判定の際に考慮に入れられ、幾らかの精度を犠牲するが全体の計算上の複雑さを軽減する。アルゴリズムを再び学習させることなくこのようにして特徴が排除されうることは、主被写体検出アルゴリズムにおいて使用されるベイズネットワークの有用な性質である。第２に、主被写体検出器５０に供給される画像が正しい側が上向きであることが知られていれば有利である。シーン中の領域の空間的な場所に関連する被写体に関する特徴はこの知識を反映するよう変更されうる。例えば、シーンの向きを知らない場合は、主被写体検出器５０は主被写体領域の中心が加重された分布を想定するが、向きが知られていれば、底辺の中心が加重された分布を想定しうる。
【００７４】
図３を参照するに、主被写体検出器５０において主被写体信念マップが計算された後、主被写体信念マップは、クラスタ化段階３１において強度値のｋ平均クラスタ化を用いて３つの領域へ分割される。３つの領域は、主被写体の一部である可能性が高い画素、主被写体の一部である可能性が低い画素、及び中間画素に対応する。量子化されたマップに基づいて、以下図５Ａ乃至図５Ｄを参照して説明されるように、主被写体の寸法、中心性、コンパクト性、関心（分散）の特徴が計算される。
【００７５】
［主被写体分散性］
写真の内容を特徴付けるための１つの方法は、写真の興味深さ、即ち、関心度を示すことである。顕著性画像選択のために、以下の特徴を有する画像は関心が高いものと考えられうる。
・主被写体はフレーム内での配置によって関心度が高い。
・主被写体は、写真のかなり大きい面積を構成するが、フレーム全体を構成するものではない。
・背景は主被写体から注意をそらす孤立した物体を含まない。
【００７６】
各画像の関心度の推定値は、主被写体マップ中の分散性を推定することによって計算される。この特徴は、主に凡例として価値があり、即ち関心度の高くない画像は顕著性画像とするべきではない。特に、図５Ａに示されるように、主被写体分散性検出器３０．１は主被写体分散性を計算するために以下の段階を行なう。最初に、ステップＳ１０において全ての被写体信念マップ値の統計的な分散ｖが計算される。ステップＳ１２において、主被写体分散性特徴ｙは、以下の式、
ｙ＝ｍｉｎ（１，２．５＊ｓｑｒｔ（ｖ）／１２７．５）
によって計算される。
【００７７】
［主被写体中心性］
主被写体の中心性は、量子化された主被写体信念マップ中の画像中心と高い確率（或いは中間の確率）の領域の重心との間の距離として計算される。特に、図５Ｂに示されるように、主被写体中心性検出器３０．２は主被写体中心性を計算するために以下の段階を実行する。最初に、ステップＳ２０において、最高値のクラスタの重心の画素座標が測位される。ステップＳ２２において、画像中心から重心までのユークリッド距離ｊが計算される。ステップＳ２４において、ユークリッド距離ｊを画像の短辺に沿った画素の数で除算することにより正規化された距離ｋが計算される。ステップＳ２６において、主被写体中心性特徴ｍは、以下の式、
ｍ＝ｍｉｎ（ｋ，ｌ）
に従って計算される。
【００７８】
［主被写体寸法］
主被写体の寸法は、量子化された主被写体信念マップ中の高い確率（そして任意には中間の確率の）領域の寸法によって決定される。これは、高い確率（そして任意に中間の確率の）領域によって占められる中央面積（境界から２５％）の割合として表現される。特に、図５Ｃに示されるように、主被写体寸法検出器３２は主被写体の寸法を計算するために以下の段階を行なう。最初に、ステップＳ３０において、最も高い値のクラスタと画像面積の矩形状の中心部の１／４が交差する部分の画素数ｆが計数される。ステップＳ３２において、主被写体寸法特徴ｇは、以下の式、
ｇ＝ｆ／Ｎ
に従って計算される。但しＮは画素の総数を表す。
【００７９】
［主被写体のコンパクト性］
主被写体のコンパクト性は、量子化された主被写体信念マップ中で高い確率（そして任意に中間の確率）のための境界矩形を計算し、次に主被写体によって占められる境界矩形の割合を調べることによって推定される。特に、図５Ｄに示されるように、主被写体コンパクト性検出器３０．３は、主被写体のコンパクト性を計算するために以下の段階を行なう。まず、ステップＳ４０において、最も高い値のクラスタ中の画素数ａが計数される。ステップＳ４２において、最も高い値のクラスタ中の全ての画素を含む最も小さいボックス（境界ボックス）が計算され、ステップＳ４４において境界ボックスの面積ｂが画素単位で計算される。ステップＳ４６において、主被写体のコンパクト性特徴ｅは、以下の式、
ｅ＝ｍｉｎ（１，ｍａｘ（０，２＊（ａ／ｂ−０．２）））
によって計算され、但し、ｅは０乃至１（０及び１を含む）の値となる。
【００８０】
［分類段階］
上述のアルゴリズムによって生成される特徴量は、分類段１４に適用される。分類段１４は、望ましくは自己代表特徴及び／又は相対代表特徴を入力として受け入れ、画像評価（顕著性及びアピール性）値を発生するよう学習される推論エンジンである。異なる証拠は、人間の観察者による実際の画像の評価であるグラウンド・トゥルース調査の結果から得られる知識に従って相互に競合し、或いは、相互に補強する。競合及び補強は、推論エンジンの推論ネットワークによって解決される。好適な推論エンジンはベイズネットワークである。
【００８１】
ベイズネット（例えば、J. Pearl, Probabilistic Reasoning in Intelligent Systems, San Francisco, CA: Morgan Kaufmann, 1988を参照）グラフ内の様々なエンティティ間の因果関係を表現する非循環性の有効グラフである。リンクの向きはグラフ中の様々なエンティティ間に因果関係を表わし、リンクの方向が因果を表わす。評価は、様々なエンティティ間の結合確率分布関数（ＰＤＦ）についての知識に基づく。ベイズネットの利点は、不確実性の特徴付けが明示的であること、計算が効率的であること、構築及び保守が容易であること、学習が迅速であること、及び、ネットワーク構造及びそのパラメータの変化に対し素早く適応することが含まれる。ベイズネットは以下の４つの構成要素からなる。
・Ｐｒｉｏｒｓ：ベイズネット中の様々なノードについての最初の信念。
・条件付き確率行列（ＣＰＭ）：ベイズネット中の２つの連結されたノード間の関係についての専門知識。
・証拠：ベイズネットに入力される特徴検出器からの観察。
・Ｐｏｓｔｅｒｉｏｒｓ：ベイズネットを通じて証拠が伝播された後の最終的な計算された信念。
【００８２】
学習のための最も重要な構成要素は、図１中、ＣＰＭ段１５．１．．．１５．９（図２中、１５．１．．．１５．７）として示されるＣＰＭの組であり、なぜならば、ＣＰＭ段は利用可能な特定のアプリケーションについてのドメイン知識を表わすからである。ＣＰＭの導出は、ベイズネットといった推論エンジンの分野の当業者には周知であるが、以下においては典型的なＣＰＭの導出について考えるものとする。
【００８３】
図１及び図２を参照するに、本例のシステムにおいて単純な２階層ベイズネットが使用され、顕著性（又はアピール性）スコアは根ノードにおいて決定され、全ての特徴検出器は葉ノードにある。各リンクは、同じ階層の他のリンクから条件付きで独立であると仮定され、各リンクを別々に学習することによって、即ち他のものから独立した所与のリンクについてＣＰＭを導出することによって、ネット全体が都合良く学習されることに注意する必要がある。この仮定は、実際は破られることが多いが、独立性による簡単化により、容易に実施できるようになり、妥当な結果が得られる。これにより、他の分類器又は推論エンジンとの比較のための基準が得られる。
【００８４】
［確率推論］
全ての特徴は、ベイズネットによって統合され、顕著性値又はアピール性値が生ずる。一方では、異なる証拠は他の証拠と競争するか矛盾しうる。他方では、異なる証拠は一般的な写真シーンの事前モデル又は知識に従って互いに補強し合う。競合及び補強は共に、ベイズネットに基づく推論エンジンによって解かれる。
【００８５】
図１０を参照するに、本発明では様々な特徴検出器間の条件的独立性を想定する２階層ベイズネットが用いられる。顕著性又はアピール性値は根ノード４４において決定され、全ての特徴検出器は葉ノード４６にある。各画像について１つの有効なベイズネットがある。本発明は、本発明の範囲を逸脱することなく２つ以上の階層を有するベイズネットにおいて使用されうると理解される。
【００８６】
［ベイズネットの学習］
ベイズネットの利点の１つは、各リンクが同じ階層にある他のリンクとは独立になることである。従って、ベイズネットは、各リンクを別々に学習することにより、即ち他のリンクとは独立の所与のリンクについてＣＰＭ１５．１．．．１５．９を導出することによってネット全体を学習させるのに便利である。一般的に、根特徴ノード対毎にＣＰＭを得るために２つの方法が使用される。
１．専門知識を用いる。
これはアドホックな方法である。専門家は、アピール性の高い画像が与えられた場合に、高出力又は低出力を生じる各特徴検出器の条件付き確率を得るため助言を求められる。
２．偶然性テーブルを用いる
これはサンプリング・相関方法である。各特徴検出器の多数の観察結果は、顕著性又はアピール性とについての情報と共に記録される。これらの観察結果は、偶然性テーブルを作成するために一緒に集められ、偶然性テーブルは正規化されたときはＣＰＭ１５．１．．．１５．９として使用されうる。この方法は、ニューラルネットワーク型の学習（習得）に似ている。本発明ではこの方法が望ましい。
【００８７】
例として任意の特徴についてのＣＰＭについて考える。この行列は、グラウンド・トゥルース及び特徴検出器から導出された偶然性テーブルを用いて生成される。特徴検出器は一般的には２値決定（テーブル１を参照）を供給しないため、ＣＰＭを導出するときには分数的な頻度計数が用いられる。ＣＰＭのエントリは、以下の式、
【００８８】
【数９】
によって決定され、式中、Ｉは全ての学習画像グループの組であり、Ｒｉはグループｉ中の全ての画像組であり、ｎｉはグループｉについての観察結果（観察者）の数である。更に、Ｆｒは画像ｒについてのＭラベル特徴ベクトル、ＴｒはＬレベルグラウンド・トゥルースベクトル、Ｐは正規化定数係数のＬ×Ｌの対角行列を表わす。例えば、表１における画像１、４、５、７は、表２におけるボックス００、１１、１０、０１に寄与する。全ての信念値は適正な信念センサによって正規化されている。中心性についてのＣＰＭの第１の列の直感的な解釈として、高い特徴値を有する画像は高い特徴値をもたない画像のアピール性の２倍になる可能性がある。
【００８９】
【表１】
【００９０】
【表２】
本発明はベイズネットについて使用する場合について説明されたが、ベイズネットの代わりに異なる推論エンジンが使用されうる。例えば、B. D. Ripleyによる「Pattern Recognition and Neural Networks」(Cambridge University Press, 1996)では、正しい特徴を有するということが通常は最も重要であるようなパターン認識問題を解くために使用されうる様々な異なる分類器が記載されている。このような分類器は、線形判別式解析方法、柔軟な判別式、（フィードフォワード）ニューラルネットワーク、ノン・パラメトリック方法、木構造分類器、信念ネットワーク（例えばベイズネットワーク）を含む。当業者によれば、これらの分類器のうちのいずれも本発明を実施するための推論エンジンとして採用されうることが明らかとなろう。
【００９１】
本発明の主題は、ディジタル画像を認識するためにディジタル画像をディジタル式に処理し、それにより人間が理解可能な対象、属性又は条件に対して有用な意味を割り当て、ディジタル画像の更なる処理において得られる結果を用いるための技術を意味すると理解されるディジタル画像理解技術に関する。
【図面の簡単な説明】
【図１】画像に対する顕著性値を計算するネットワークを示す図である。
【図２】画像に対するアピール性値を計算するネットワークを示す図である。
【図３】図１及び図２に示される主被写体検出の構成要素をより詳細に示すブロック図である。
【図４】画像のグループの相対的な顕著性値を計算するネットワーク構造を示すブロック図である。
【図５Ａ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｂ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｃ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｄ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図６】画像のカラフルネスを判定する方法を詳細に示す図である。
【図７】カラフルネス特徴計算に使用される色度平面ウェッジを示す図である。
【図８】肌及び顔の検出方法を示すブロック図である。
【図９】図５に示された主被写体検出の詳細なブロック図である。
【図１０】図１及び図２に示されたネットワークで用いられる２レベルのベイズ網を示す図である。
【図１１】図１乃至図１０に示された構成要素及び方法を用いて本発明を実施するコンピュータシステムのブロック図である。
【図１２】図１１に示された本発明を実施する画像処理システムの更なる詳細を示すブロック図である。
【図１３】本発明を実施するため好適であるコンピュータ・インターネット画像処理システムを示すブロック図である。
【符号の説明】
１０ 画像評価ネットワーク
１２ 特徴抽出段
１４ 分類段
１６ 比較器段
１８ 正規化段
２０ 肌領域検出器
２２ クローズアップ検出器
２４ 人物検出器
２６ 肌検出器
２８ 顔検出器
３０ 構図検出器
３０．１ 主被写体分散性アルゴリズム
３０．２ 主被写体中央性アルゴリズム
３０．３ 主被写体コンパクト性アルゴリズム
３１ クラスタ化段階
３２ 被写体寸法検出器
３４ 主被写体検出器
３６ 鮮明度検出器
３８ カラフルネス検出器
４０ 独自フォーマット検出器
４２ 代表色検出器
４４ 根ノード
４６ 葉ノード
５０ 主被写体検出器
５２ クラスタ化段階
１１０ 画像捕捉装置
１２０ ディジタル画像プロセッサ
１２２ 強調変換モジュール
１３０ 画像出力装置
１４０ 汎用制御コンピュータ
１５０ モニタ装置
１６０ 入力制御装置
１７０ コンピュータメモリ装置
１８０ 印刷属性制御器
１９０ コンピュータシステム
【発明の属する技術分野】
本発明は概して画像処理の分野に係り、特定的には画像評価及び画像理解の分野に関する。
【０００２】
【従来の技術】
画像評価及び画像理解は、人間の知的能力によれば容易に解決することが出来るが完全に自動化されたコンピュータシステムでは解決することが非常に困難な問題を扱う。写真技術アプリケーションにおいて重要であると考えられる画像理解の問題には、主被写体検出、シーン分類、空及び草の検出、人物の検出、向きの自動検出等がある。一群の写真を扱う種々のアプリケーションでは、画像を論理的な順序でランク付けし、画像がその順序で処理されること又は取り扱われることを可能とすることが重要である。興味深い写真技術アプリケーションは、ディジタル画像のグループがディジタル写真アルバムへ自動的に編成される自動アルバム作成である。自動アルバム作成では、画像は別々の事象へクラスタ化し、可能であれば各事象は何らかの論理的な順序でレイアウトされる。この順序は、画像の相対的な内容について少なくともいくらか配慮され、幾つかの画像が他の画像よりも好ましいという信念に基づいた配慮がされることを意味する。
【０００３】
自動アルバム作成アプリケーションに関連して、偽造品検出、事象検出、及び、ページレイアウトアルゴリズムといった多数の公知のアルゴリズムが有用である。偽造品検出は、複製画像及び質の悪い画像の除去又は逆強調を行なうが、事象検出は、日付や時間といった一定の明確な規準によって画像を別々の事象へクラスタ化する。同じ事象に属する一組の画像が与えられているとき、ページレイアウトは、例えば各ページ上の最も見た目が良く空間効率の良い画像の表現を見つけるため、各事象を論理的且つ見た目の良い表現へレイアウトすることを目的とする。画像のグループのうちの最も重要な画像、例えばページレイアウト中で最も注意を引くに違いない画像を選択できることが望まれる。
【０００４】
画像評価問題には、自動化されたシステムは高水準の認知能力を備えた人間の（理解）過程を表わす結果を生じさせることが期待されるという性質があるため、評価システムの設計は難しい課題である。特定の視覚的な印象を求めて文書を作成又は編集することを目的として、テキスト及びグラフィックデータをその心理学的な効果について評価する努力がされてきた（例えば、米国特許第５，８７５，２６５号及び第５，４２４，９４５号を参照のこと）。’２６５号特許では、システムは、必要であれば操作者の助けを借りて、視覚的な特徴を、操作者による使用のために表示される微妙な言葉に対応付けるために、画像を解析する。このシステムにおける困難な点は、視覚的な特徴が主に、必ずしも画像内容に関連付けられていない低水準特徴、即ち、色及びテクスチャに基づく特徴であり、言葉による記述は画像の相対的なランク付けのために使用するには難しいことである。’９４５号特許は、文書中のテキスト及びグラフィックスの心理学的な効果を評価するためのシステムを開示する。’９４５号特許の問題点は、特定の内容に関わらず文書の全体的な視覚的な印象を評価し、相対的なランク付けを作成するための有用性が低下することである。これらのシステムは、複雑であり、且つ、心理学的な効果の認識を指向するだけでなく、実在の画像の評価及び利用よりもむしろ知覚的な印象の解析及び作成を重要視したものである。
【０００５】
注文する印画の複製の数を決めるとき、通常は画像についての少なくとも幾らかの判定が必要である。現在利用可能な幾つかの光学的及びディジタル印刷システムは、１つの入力画像に対して１以上の印画を印刷する能力がある。一般的には、店頭においてダブルプリントオプションが抱き合わせで注文され、注文を受けた各画像に対して２の印画が生成される。幾つかの印刷システムには、何らかの状況では画像を全体として受けつけないよう、元のディジタル画像又は写真フィルムネガから得られるディジタル画像の画素値を解析するディジタル画像処理アルゴリズムも含まれる。この種のアルゴリズムは、画像を評価し、画像を印刷するか否かについての決定を行なう。しかしながら、評価試験を通った全ての画像について同数の印画が作成される。
【０００６】
【発明が解決しようとする課題】
一般的に、一組の画像に含まれる全ての画像が同じ美的な値を有するわけではなく、従って同じ数だけ複製されなくともよいことが理解されている。ディジタルイメージングアプリケーションについての幾つかの現行の解法は、画像でない画素情報に、要求される印画の数を示すディジタル画像を入れることによってこの問題を扱ってきた。この情報は、画像１つにつき作成される印画の数を変化させるためにディジタルプリンタによって使用される。或いは、印刷機器の操作者、又は、消費者が、一組の画像に含まれる特定の画像を手で個々に選び、選ばれた特定の画像を特に強調し、より好ましくし、最終的には更なる複製を作成する価値のあるものとするために使用されうる。しかしながら、これらの技術はいずれもユーザの介入を必要とする。幾つの印画が作成されねばならないかについてのユーザ入力なしにインテリジェントな決定を行なうことができる自動ディジタルイメージングアルゴリズムが必要とされている。
【０００７】
【課題を解決するための手段】
本発明は、上述の１つ以上の問題を克服することを目的とする。簡単に概説すると、本発明の１つの面によれば、ディジタル画像から作成される印画の１つ以上の印刷属性を変化させる方法が開示され、この方法は、（ａ）画像の重要度、関心度、又は注目度の決定に基づいてディジタル画像についての印刷属性値を計算する手順と、（ｂ）画像から作成される印画の印刷属性を制御するために印刷属性値を使用する手順とを含む。典型的な実施例では、印刷属性は、画像から作成される印画の数、画像から作成される印画の寸法、又は、画像に対して用いられる倍率のいずれかである。
【０００８】
他の面では、本発明は画素からなるディジタル画像から作成される印画の１つ以上の印刷属性を変化させる方法に関連し、方法は、（ａ）画素から得られる決定に基づいてディジタル画像についての印刷属性値を計算する段階と、（ｂ）画像から作成される印画の数、画像から作成される印画の寸法、又は画像に対して用いられる倍率のいずれかを制御するために印刷属性値を使用する段階を含む。
【０００９】
１つの実施例では、印刷属性値は、画像の本質的な重要度、関心度、又は注目度から決定されるアピール性値に基づく。画像がディジタル画像のグループのうちの１つである他の実施例では、印刷属性値は画像のグループのうちの他の画像に対する画像の重要度、関心度、又は注目度から決定される顕著性値に基づく。
【００１０】
画像の重要度、関心度、又は注目度の決定は、個々のディジタル画像の内容に関する１つ以上の特徴を含む各ディジタル画像の１つ以上の特徴に関する１つ以上の量が計算される幾つかの特徴についての画像の評価に基づく。これらの量は１人以上の人間の観察者の意見に従って学習される推論アルゴリズムで処理され、各画像を評価する推論アルゴリズムから出力が得られる。本発明の従属した面では、ディジタル画像の内容に関する特徴は、人間に関する特徴又は被写体に関する特徴を含む。更に、ディジタル画像の１つ以上の客観的な尺度に関連する追加的な量である例えば色彩の豊富さ（即ちカラフルネス）や鮮明度が計算されうる。推論アルゴリズムの結果は、一組の画像の各画像の質をランク付けするために処理される。各ディジタル画像に適用される印刷属性は、それ自体として又はディジタル画像のグループに関連付けられて決められる画像の重要度、関心度、又は注目度に基づいて変化する。
【００１１】
他の面では、本発明は（ａ）幾つかの自己代表特徴について画像のアピール性（アピール性は個々の画像の重要度、関心度、又は注目度の評価）の決定に基づき印刷パラメータ、例えば印画の数を変化させる方法、又は、（ｂ）或る特徴に関する画像の顕著性（顕著性とは画像のグループ中における個々の画像の他の画像に対する重要度、関心度、又は注目度の評価）の決定に基づいてディジタル画像の同じ印刷パラメータを変化させる方法として理解されうる。この点から、アピール性及び顕著性の評価の両方について、
ａ． 人物関連特徴：人物の有無、肌領域又は顔領域の量、顔の寸法に基づくクローズアップの程度
ｂ． 客観的特徴：画像のカラフルネス及び鮮明度
ｃ． 被写体関連特徴：主被写体の寸法と主被写体の位置取り（マッピング）に基づく構図の良さ
といった自己代表画像特徴が計算される。
【００１２】
上述の特徴は顕著性評価には適しているが、アピール性評価については、以下の、
ａ． カラー内容に関する各画像の代表値
ｂ． 各画像の写真アスペクト形式の独自性
といった追加的な自己代表画像特徴が考えられることが望ましい。
【００１３】
各画像の評価は、上述の特徴を入力として受け入れ画像評価値を発生するよう学習されるベイズネットワークといった推論エンジンによって得られる。この評価は個々の画像について本質的な評価であってもよく、その場合、自己代表特徴は画像アピール性値を発生するよう学習されたベイズネットワークによって処理され、或いは、評価は画像のグループについての相対的な評価であってもよく、その場合、自己代表特徴、任意に、相対代表特徴は、画像顕著性値を発生するよう学習されたベイズネットワークによって処理される。
【００１４】
本発明の利点は、人間が介在することなく、１つ以上の画像の評価を行ない、それによりディジタル画像から作成される印画の数、印画の寸法、印画の倍率といった、しかしこれらに限られない属性値を変化させることである。画像のグループを扱う種々の適用では、かかるアルゴリズムによる評価は画像処理の自動制御を可能とし、それにより画像はランクの順序に従ってより効率的に処理及び印刷されうる。
【００１５】
【発明の実施の形態】
本発明の上述及び他の面、目的、特徴、及び利点については、以下の望ましい実施例及び請求の範囲の記載を読むことにより、また、添付の図面を参照することにより、更に明らかに理解されよう。以下の説明では、本発明の望ましい実施例をソフトウエアプログラムとして説明する。当業者はこのようなソフトウエアと同等のものがハードウエアとしても実施されうることを容易に認識するであろう。画像処理アルゴリズム及びシステムは周知であるため、本願では特に本発明による方法の一部をなす、又はより直接的に協働するアルゴリズム及びシステムについて説明する。本願に特に図示又は説明しないアルゴリズム及びシステムの他の面、及び、それに関連する画像を生成するか他の方法で処理するためのハードウエア及び／又はソフトウエアは、従来技術で公知のシステム、アルゴリズム、構成要素、及び要素から選択される。以下のような本発明による図示され説明された方法及びシステムが与えられているとき、本発明の実施に有用であり本発明願に記載又は提案されていないソフトウエアは、従来通りであり当業者の通常の技術でなされうるものである。
【００１６】
本願では、ディジタル画像は１つ以上のディジタル画像チャネルを含むものであると考えられる。各ディジタル画像チャネルは、各画素値が画素の幾何学的な領域に対応する画像捕捉装置が受けた光の量に関連するような画素の２次元配列からなる。カラーイメージングアプリケーションでは、ディジタル画像は、一般的には赤、緑、及び青のディジタル画像チャネルからなる。例えば、シアン、マゼンタ、及びイエローのディジタル画像チャネルといった他の形態もまた実施されうる。単色アプリケーションでは、ディジタル画像は１つのディジタル画像チャネルからなる。動きイメージングアプリケーションは、ディジタル画像の時間的なシーケンスであると考えられる。当業者は、本発明が上述のいずれのアプリケーションのディジタル画像チャネルにも適用されうるが、これに限られないことを認識するであろう。
【００１７】
本発明は、ディジタル画像チャネルを行と列に配置された画素値の２次元配列として説明されるが、当業者は本発明が同じ効果でモザイク（非直線的な）配列に適用されうることを認識するであろう。更に、各ディジタル画像チャネルを含む信号は、面積又は線形アレイといった様々な捕捉装置から生じうる。
【００１８】
印刷システム
本発明はコンピュータハードウエア中で実施されうる。図１１を参照するに、以下の説明は、１つ以上の画像捕捉装置１１０、ディジタル画像プロセッサ１２０、１つ以上の画像出力装置１３０、及び汎用制御コンピュータ１４０を含むディジタルイメージングシステムに関する。典型的な実施例では、画像出力装置１３０は、インクジェット式、レーザ式、又は、他の形式の電子又はディジタルプリンタといった印刷装置である。当業者は、本発明が、画像出力装置１３０が光学プリンタであるアナログ光学印刷システムで実施されうることを認識するであろう。システムは、コンピュータコンソール又はペーパープリンタ（図示せず）といったモニタ装置１５０を含みうる。システムはまた、キーボード１６０ａ及び／又はマウスポインタ１６０ａといった操作者用の入力装置制御装置１６０を含む。更に、本願で使用され開示されるように、本発明は、コンピュータプログラムとして実施されえ、コンピュータメモリ装置１７０、即ち、コンピュータ読み取り可能な記憶媒体に格納されうる。コンピュータ読み取り可能な記録媒体は、例えば、磁気ディスク（例えばフロッピーディスク）又は磁気テープといった磁気記憶媒体；光ディスク、光テープ、又は機械読み取り可能なバーコードといった光学記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置を含みうる。本発明について説明する前に、本発明はパーソナルコンピュータといった任意の周知のコンピュータシステム上で使用されることが望ましいことに留意すると理解が容易となろう。
【００１９】
本発明が様々なイメージング装置から得られるディジタル画像のために使用されうることを示すために、多数の捕捉装置１１０が図示されている（図１１では別個の装置１１０ａ，１１０ｂ，及び１１０ｃとして示されている）。例えば、図１１は、画像捕捉装置１１０が、カラーネガ又はスライドフィルム透明ポジといった従来の写真画像を走査することによりディジタル画像を生じさせるフィルムスキャナであるディジタル写真仕上システムを表わす。ディジタル画像プロセッサ１２０は、意図される出力装置又は媒体上に満足のいく見た目の画像（例えば特定の目的のために見た目がよいよう、又は他の方法で変更された画像）を生成するようディジタル画像を処理する手段を提供する。多数の画像出力装置１３０は、本発明がディジタル写真プリンタ及び／又はソフトコピーディスプレイを含む様々な出力装置と共に使用されうることを示すため図示されている（装置１３０ａ及び１３０ｂとして示される）。ディジタル画像プロセッサ１２０は、画像出力装置１３０によって満足のいく見え方の画像が生成されるよう、ディジタル画像のソースディジタル画像を調整する。これらの処理段階の間の相互作用については以下詳述する。
【００２０】
図１２は、図１１に示されるディジタル画像プロセッサ１２０をより詳細に示す図である。本発明によって用いられるディジタル画像プロセッサ１２０の一般的な形式は、画像処理モジュール１２２（２つの別々のモジュール１２２ａ及び１２２ｂとして示される）の縦続チェーンを含む。各ソースディジタル画像はディジタル画像プロセッサ１２０によって受け取られ、ディジタル画像プロセッサ１２０は出力処理ディジタル画像を生成する。ディジタル画像プロセッサ１２０に含まれる各画像処理モジュール１２２は、ディジタル画像を受け取り、ディジタル画像を変更するか、又は、ディジタル画像から何らかの情報を導出し、その出力処理ディジタル画像を次の画像処理モジュールへ与えるよう適応する。図１２に示されるように、画像処理モジュール１２２は、プロセッサ１２０が他の画像処理モジュールと共に使用されうることを示すために２つの強調変換モジュール１２２ａ及び１２２ｂとして示されるが、これに限られるものではない。強調変換モジュール１２２ａ及び１２２ｂは、例えば、ディジタル画像の空間的な細部を鮮明化し、ノイズを除去し、色を強調し、階調度を強調するよう設計されたモジュールを含むが、これらに限られるものではない。
【００２１】
図１２を参照するに、画像評価ネットワーク１０は、図１１に示される画像捕捉装置１１０からのディジタル画像のグループ又は図１２に示される顕著性変換モジュール１２２ａからの出力を受信する。画像評価ネットワーク１０は、各ディジタル画像の全体の重要度、関心度、又は注目度を、それ自体によって又は画像のグループのうちの他の画像に関連して示しディジタル画像の画素から導出され望ましくは単一の数値である評価値を計算する。アナログ光学印刷適用では、評価値はフィルムネガから生成される個々の原画像の全体の重要度、関心度、又は注目度示す。各画像に対応するそれ自体の個々の評価値はアピール性値と称され、全ての画像についてのその値はアピール性値の組と称される。画像のグループのうちの他の画像に対する各画像に対応する個々の評価値は顕著性値と称され、全ての画像についてのその値は顕著性値の組と称される。
【００２２】
印刷属性制御器１８０は、顕著性値とアピール性値の組を受信し、これらの値を解析し、ディジタル画像のグループのうちの各ディジタル画像についての印刷属性値を生成する。これらの印刷属性値は画像出力装置１３０によって受信され、例えば印画の数、印画の寸法、又は印画の倍率といった１つ以上の印刷属性を変更又は制御するために使用されるが、これに限られるものではない。
【００２３】
本発明は、アナログ印刷システムで実施されうる。この適用では、印刷属性値は、例えば印画の数、印画の寸法、又は印画の倍率といった１つ以上の印刷属性を変更又は制御するために印刷露光サブシステムを制御するために使用されるが、これに限られるものではない。
【００２４】
［ネットワーク化されたコンピュータシステム］
本発明は、例えばワールドワイドウェブを介してアクセスされるインターネット、或いは、それ以外のコンピュータネットワークを介して接続される多数のコンピュータを用いて実施されうる。本発明の実施に関係のあるディジタル画像処理手順の一部として、２つの中央処理機能、即ち（１）各ディジタル画像に含まれる画素値から導出される評価（顕著性又はアピール性）値の計算と（２）印刷属性値の計算とが含まれる。これらの中央的要素のうちの片方又は両方は単一のコンピュータ内で実現されうるが、評価値の計算と印刷属性値の計算が異なるコンピュータ上で行なわれると共に第３のコンピュータシステムが例えば印刷といった出力機能を実行してもよい。
【００２５】
図１３は、図１１に示されるような２つのコンピュータシステムをコンピュータネットワーク１４５を介して相互に接続されたものとして示す図である。図１３を参照するに、一方のコンピュータシステム１９０ａは、そのディジタル画像プロセッサ１２０ａに画像捕捉装置１１０が接続されたものとして示され、他方のコンピュータシステム１９０ｂはそのディジタル画像プロセッサ１２０ｂに画像出力装置１３０が接続されたものとして示される。画像捕捉装置１１０は、接続されたディジタル画像プロセッサ１２０ａによって受信され処理されるディジタル画像を生成する。評価値の組は、ディジタル画像プロセッサ１２０ａで計算される。ソースディジタル画像及び評価値は、コンピュータネットワーク１４５を介して第２のコンピュータシステム１９０ｂへ送信される。第２のコンピュータシステム１９０ｂのディジタル画像プロセッサ１２０ｂはソースディジタル画像を受信し、各画像についての印刷属性値を計算するために評価値を用い、画像出力装置１３０によって適切な見た目の画像が生成されるようディジタル画像を変換する。
【００２６】
図１３には２つのコンピュータシステム１９０ａ及び１９０ｂが示されているが、本発明は２つ以上のコンピュータシステムを用いても実施されうる。本発明は、ソースディジタル画像を捕捉する第１のコンピュータシステムを用いて実施することが可能であり、その場合、ソースディジタル画像は評価値を計算する第２のコンピュータシステムによって受信され、第３のコンピュータシステムは評価値とソースディジタル画像を受信し、印刷属性値を計算し、第４のコンピュータシステムは印刷属性値を受信し、印刷属性値に従って処理されたディジタル画像の視覚的な表示及び／又はディジタル画像の複製を生成する。
【００２７】
評価値及び印刷属性値は、画像メタデータの例であり、即ちディジタル画像に関連する画素でない情報の一部である。画像メタデータは、例えばディジタル画像が捕捉された方法に関する情報の伝達、撮影者の注釈付けのようなディジタル画像の意味に対する前後関係の付加、又はディジタル画像についての解析情報の付加などを目的として使用されうるが、これらに限られるものではない。本発明の１つの実施例では、これらの評価値はコンピュータネットワークを介して画像メタデータとして送信され、異なるコンピュータシステムがディジタル画像の印刷を制御するために画像メタデータを使用することを可能とする。
【００２８】
図１３は、本明細書に記載されるものを含む様々な画像処理アルゴリズム及びモジュールを使用してオンライン画像処理、注文、印刷を可能とするウェブベースの処理アーキテクチャを示すものと理解されうる。これに関しては、図１３を参照して、ネットワーク１４５（例えばインターネット）を介してクライアントホスト１９０ａと相互接続されるサーバホスト１９０ｂを含む、ウェブベースのアーキテクチャの典型的なクライアント・サーバ構成について考えることが有用である。クライアントホストとサーバホストの間の通信が適切に確立されると、サーバコンピュータ１４０ｂ上でウェブサーバが実行され、クライアントコンピュータ１４０ａ上でウェブブラウザが実行され、モニタ装置１５０ａ上に例えばアプレットによって発生される「要求」ウェブページが表示される。クライアントアプリケーション機能は、例えば少なくとも画像顕著性ネットワーク１０を含むアプレットへ組み込まれる。更に、クライアントアプリケーションは、図１２に示される印刷属性制御器１８０を含む（又はこの機能はウェブサーバ又はウェブサーバに接続されたユーティリティによって与えられうる）。クライアントアプリケーションはこのようにしてウェブブラウザにロードされ実行され、アプレット及びウェブブラウザを介してディスプレイ１５０ａ上に表示される。
【００２９】
動作上、クライアントホスト１９０ａのユーザは、捕捉装置１１０（又は以下の画像記憶装置）を介して特定の画像又は画像のグループを入力し、「要求」ウェブページを介して特定の画像印刷オプションを選択し、これはアプレットに対して評価値及び／又は属性値を発生させ、ウェブブラウザに対して、ウェブサーバに画像をアップロードし画像印刷を開始する要求を実行するよう命令する。或いは、画像はユーザによってアクセス可能な記憶装置（図示せず）からアップロードされうるか、又はサーバホスト１９０ｂにアクセス可能な様々な他のソースから与えられうる。サーバは画像処理チェーンを含むディジタル画像プロセッサ１２０ｂとの通信を開始する。画像出力装置１３０といった画像出力機能もまたサーバホスト１９０ｂに含まれるか、又はサーバホストから別個のユーティリティサービスとしてアクセス可能である。ディジタル画像プロセッサ１２０ｂは画像処理チェーン中で適当な機能を実行し、例えば変更された画像といった適当な応答をウェブサーバに戻し、ウェブサーバにアプレットへ応答を返す。アプレットは、汎用制御コンピュータ１４０ａ上で実行されるウェブブラウザに表示されるべき更なるウェブページを発生する。上述のウェブに基づくアーキテクチャはアプレットを介してウェブページを発生するが、例えばＣＧＩスクリプトを介したウェブページ発生のための他の手段もまた本発明に従って使用されうることが理解されるべきである。
【００３０】
［印刷属性値計算］
画像評価ネットワーク１０は、評価値、即ち顕著性値及び／又はアピール性値を発生する。１からｎまでの番号が付されたディジタル画像のグループは、画像顕著性ネットワーク１０から受信される対応する顕著性値Ｅの組を有するものとし、ｅｊ項がｊ番目のディジタル画像についての個々の顕著性値を指すものとすると、１からｎまで番号が付された要素は、
Ｅ＝｛ｅ１，ｅ２，．．．，ｅｎ｝
と表わされる。これに加えて、又は、これに変えて、やはりｎのディジタル画像に対応するアピール性値Ａの組が画像顕著性ネットワーク１０から受信され、ａｊ項がｊ番目のディジタル画像についての個々の顕著性値を指すものとすると、１からｎまで番号が付された要素は、
Ａ＝｛ａ１，ａ２，．．．，ａｎ｝
と表わされる。顕著性値Ｅの組は、ディジタル画像のグループのうちでのディジタル画像の相対的な重要性を表わす。アピール性値Ａの組は、各ディジタル画像の絶対的な美的な質に関連する。印刷属性制御器１８０は、個々の評価値を番号順にソートするランク順序づけ処理を行なう。処理は、
Ｒ＝｛ｒ１，ｒ２，．．．，ｒｎ｝
と表わされるランク指標Ｒの組を生じさせ、ここで、ｒｊ項はディジタル画像のグループの中のｊ番目のディジタル画像の相対的な重要性を指す。例えば、Ｒは、以下のような値、
Ｒ＝｛５，２，．．．，３｝
を含みうる。この場合、ディジタル画像のグループのうちの第１のディジタル画像は５番目に重要なディジタル画像であり、第２のディジタル画像は２番目に重要なディジタル画像であり、第ｎのディジタル画像はディジタル画像のグループの中の３番目に重要なディジタル画像である。
【００３１】
ランク指標Ｒの組、顕著性値Ｅの組、又はアピール性値Ａの組は、ｐｊ項がディジタル画像のグループのｊ番目のディジタル画像についての印刷属性値を指すものとすると、
Ｐ＝｛ｐ１，ｐ２，．．．，ｐｎ｝
と表わされる印刷属性値Ｐの組を決定するために使用される。印刷属性制御器１８０によって生成される個々の印刷属性値は、図１１に示される画像出力装置１３０によって受信される。印刷属性値は、例えば画像から作成される印画の数、画像から作成される印画の寸法、画像について用いられる倍率といった作成される印画の属性を変化させるために画像出力装置によって使用される。
【００３２】
本発明は、個々のディジタル画像から作成される印画の数を変化させるために使用されうる。一般的には、商業用印刷サービスシステムでは、画像当たりの印画の数は１又は２に決まっている。本発明の望ましい実施例は、作成される画像当たりの印画の数を個々のディジタル画像についての対応する印刷属性値に基づいて変化させる。例えば、ランク指標Ｒの組は４つの部分集合又は四分の一ずつに分割される。上位の四分の一の部分に対応する評価値ランク付けを有するディジタル画像は印刷属性値３を受け取り、中位の２つの四分の一は印刷属性値２を受け取り、下位の四分の一は印刷属性値１を受け取る。次に、例えば、対応する印刷属性値３を有する各ディジタル画像について、画像出力装置１３０は３つの印画を作成するよう命令される。従って、印刷属性値２の各ディジタル画像については、画像出力装置１３０は２つの印画を作成するよう命令され、印刷属性値１の各ディジタル画像については画像出力装置１３０は１つの印画を作成するよう命令される。このように、印刷属性値は個々の画像当たりの印画の数を直接制御する。ディジタル画像値の印画の数を制御する本発明の望ましい実施例では、ディジタル画像のグループ当たりの印画の数は一定である。
【００３３】
本発明の他の実施例は、ディジタル画像のグループについての印画の総数が可変となるようにディジタル画像当たりの印画の数を変化させるものである。この方法では、印刷属性値は、評価値を所定の閾値と比較することによって決定される。例えば、消費者画像を用いた実験では、対応するアピール性値が０．７以上である画像は、０．７よりも小さい対応するアピール性値の画像と比較して、消費者にとってかなり楽しめるものである。従って、０．７以上の対応する顕著性値を有するディジタル画像のグループの全てのディジタル画像に対して、印刷属性値２が割り当てられる。０．７よりも小さい対応する顕著性値を有するディジタル画像のグループの全てのディジタル画像に対して、印刷属性値１が割り当てられる。従って、この実施例では、ディジタル画像のグループについて作成される画像の総数は個々の画像について計算された顕著性値に基づいてグループ毎に異なり、例えば、画像出力装置１３０が画像当たりに作成する印画の数は、印刷属性値２を受け取った印画については、印刷属性値１を受け取った印画よりも多くなる。ディジタル画像の幾つかのグループについては、Ｎの印画のみが作成されるのに対して、他のグループでは最大で２Ｎの印画が作成される。
【００３４】
本発明は、個々のディジタル画像から作成される印画の寸法を変化させるために使用されうる。一般的には、商業用の印刷サービスシステムでは、印画の寸法は決められている。例えば、消費者の印画注文は、７．６２ｃｍ×１２．７ｃｍ（３インチ×５インチ）の寸法の印画を指定しうる。その他に、１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）や１２．７ｃｍ×１７．７８ｃｍ（５インチ×７インチ）といった寸法が人気があるが、寸法はこれらに限られるものではない。本発明の望ましい実施例は、個々のディジタル画像についての印刷属性値に基づいて個々の画像について作成される印画の寸法を変化させる。最も高い対応する評価値を有するディジタル画像はより大きい寸法で印刷される。例えば、対応するランク指標が１であるディジタル画像は、１２．７ｃｍ×１７．７８ｃｍ（５インチ×７インチ）の寸法の紙に印刷される。全ての他のディジタル画像はより小さい寸法の１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の紙に印刷される。本発明のこの実施例では、ディジタル画像のグループから作成される印画の総数は一定である。
【００３５】
本発明の他の実施例では、ディジタル画像値の印画の数は、印画の総数が一定の数となるよう変化される。この方法では、印刷属性値は、評価値を所定の閾値と比較することによって決定される。０．７以上の対応する評価値を有するディジタル画像のグループの中の全てのディジタル画像に対して、印刷属性値２が割り当てられる。０．７よりも小さい対応する評価値を有するディジタル画像のグループの中の全てのディジタル画像に対して、印刷属性値１が割り当てられる。対応する印刷属性値２を有するディジタル画像は１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の寸法の紙に印刷され、対応する印刷属性値１を有するディジタル画像は７．６２ｃｍ×１２．７ｃｍ（３インチ×５インチ）の寸法の紙に印刷される。当業者によれば、望ましい実施例と他の実施例の組合せは容易になされ、本発明の範囲に含まれることが明らかである。
【００３６】
本発明は、個々の画像から作成される印画の倍率を変化させるために使用されうる。一般的には、商業用の印刷サービスシステムでは、印画の倍率は１．０に固定される。倍率が１．０のとき、元の写真の画像内容の全て又は殆ど全てが写真紙上に結像される。画像が１．０以上の倍率で印刷される場合、元の画像内容の一部のみが印刷紙上に表現される。例えば、倍率２．０では、画像領域の中央の四分の一が印刷される。これは印画を作成するのに使用される紙の寸法には全く無関係である。ディジタルイメージングプリンタでは、同等の処理は、元のディジタル画像の部分集合の領域を補間することを含む。例えば、倍率２．０では、画像領域の中央の四分の一が補間され、出力画像装置によって受信される新しいディジタル画像が形成される。
【００３７】
元のディジタル画像の部分集合が補間されるため、画像領域のどの部分集合を使用するかについて選択せねばならない。本発明の望ましい実施例は、ディジタル画像の中央部分を単純に選択する技術を用いる。選択される画像領域の正確な量は、使用される紙の寸法の横縦比と倍率に基づく。或いは、主被写体を中心とする画像領域が選択されうる。クロッピング及びズーミングに適した主被写体領域を測位するための方法の詳細な説明については、ここに参照のため引用されたJiebo Luo及びRobert Grayによる２０００年１月２５日出願の「Method for Automatically Creating Cropped and Zoomed Versions of Photographic Images」なる名称の係属中の米国特許出願第０９／４９０，９１５号に記載されている。
【００３８】
本発明の望ましい実施例は、個々のディジタル画像についての対応する印刷属性値に基づいて個々の画像について作成される印画の倍率を変化させる。最も高い対応する評価値を有する画像はより大きい倍率で印刷される。消費者写真を用いた実験により、多くの消費者写真は、撮影時に使用されるカメラレンズズーム倍率が比較的低いため、あまり重要でないと考えられることが分かった。最も上上位の四分の一の部分に対応する評価値を有するディジタル画像のグループに含まれるディジタル画像には印刷属性値１が割り当てられ、上から二番目の四分の一の部分には印刷属性値２が割り当てられ、上から三番目の四分の一の部分には印刷属性値３が割り当てられ、上から四番目の四分の一の部分には印刷属性値４が割り当てられる。印刷属性値１、２、３、４に関連付けられる対応する倍率は、夫々、１．３、１．２、１．１、１．０である。或いは、あまり重要でないと考えられる写真により高い倍率が適用される場合、これらの数値は逆にされる。
【００３９】
本発明の他の実施例は、最も高い相対評価値ランクを有するディジタル画像を選択し、倍率２．０でそのディジタル画像の更なる印画を印刷する。従って、ディジタル画像のグループの全てのディジタル画像の１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６インチ）の印画が倍率１．０で作成され、最も良いディジタル画像の１つの追加的な印画が倍率２．０で作成される。
【００４０】
［評価値計算］
ここで説明するように、画像を相対的な値及び／又は本質的な値についてランク付けし、画像がこれらの値に従って処理又は扱われうるようにすることが重要である。この論理ランク付けは、２つの関連付けられた画像評価、即ち画像のアピール性と画像の顕著性に基づく。画像のアピール性は個々のピクチャの重要度、関心度、又は注目度の本質的な度合いであり、一方、画像の顕著性は、グループのうちの他の写真に対する写真の相対的な重要度、関心度、又は注目度である。評価アルゴリズムは、画像に対して動作し、各画像に対して評価値（即ち顕著性値及び／又はアピール性値）を割り当てることが期待される。評価値は、特定のグループの各画像に関連付けられたメタデータとして見なされ、上述の画像処理チェーンといった他のアルゴリズムによって利用されうる。
【００４１】
図１２に示される画像評価ネットワーク１０は、Andreas E. Savakis及びStephen Etzにより１９９９年１２月１４日に出願された「Method for Automatic Assessment of Emphasis and Appeal in Consumer Images」なる名称のここに参照のため引用された係属中の米国特許出願第０９／４６０，７５９号から採用される図１乃至１０により詳細に示されている。まず、図１を参照するに、顕著性値を計算するための画像評価ネットワーク１０は、２つの段階、即ち特徴抽出段階１２と分類段階１４を含むものとして示されている。特徴抽出段階１２は、夫々が幾つかの画像特徴特性を測定するよう設計された多数のアルゴリズムを含み、特徴の定量的な尺度がアルゴリズムの出力の値によって表わされる。従って、特徴抽出段階１２の出力は、幾つかの特徴の存在（又は存在しないこと）の統計的な証拠を表わし、出力は顕著性値を計算するために分類段階１４によって積分される。この値は、例えば０乃至１００の範囲でありえ、処理された画像が重要画像であるという尤度又は信念を示す。図４に示されるような別々の画像顕著性ネットワーク１０．１，１０．２．．１０．Ｎ中の画像のグループについて顕著性値が計算された後、顕著性値は比較器段階１６において比較され、夫々の正規化段階１８．１，１８．２．．１８．Ｎにおいて正規化される。最も高い顕著性値を有する画像は、グループの顕著性画像として選ばれる。
【００４２】
特徴抽出段階１２のための特徴の集合は、観察者の好みのグラウンド・トゥルース（ground truth）調査に基づいて選択された。グラウンド・トゥルース調査によって、顕著性画像の選択に重要な特徴は、鮮明度、コントラスト、フィルム粒状度、露出といった従来の画質の計量と強い関連性の無いことが判明したが、これらの従来型の計量のうちの１つ以上は評価値の計算においても価値がある。選択された特徴は、一般的には（ａ）人物関連特徴、（ｂ）主被写体関連特徴、及び（ｃ）画像の客観的尺度関連特徴の３つのカテゴリへ分けられる。図１を参照するに、人物関連特徴は、肌領域検出器２０、クローズアップ検出器２２、及び人物検出器２４によって抽出される。入力画像ｉは一般的には、人物関連特徴検出器２０、２２、２４によって処理されるのに適した中間値を発生するために肌検出器２６及び顔検出器２８を通じて処理される。主被写体関連特徴は、主被写体検出器３４からの入力に基づいて、構図検出器３０及び被写体寸法検出器３２によって抽出される。構図検出器３０は、図３に示されるように、主被写体分散性アルゴリズム３０．１、主被写体中心性アルゴリズム３０．２、及び主被写体コンパクト性アルゴリズム３０．３を含む。主被写体データはクラスタ化段３１においてクラスタ化され、構図関連アルゴリズム３０．２及び３０．３と、被写体寸法アルゴリズム３２に与えられる。画像の客観的尺度関連特徴は、鮮明度検出器３６、カラフルネス検出器３８、及び独自フォーマット検出器４０によって抽出される。更に、画像の色内容が画像のグループに対する色内容を表す程度に関連する客観的尺度は、代表色検出器４２によって抽出される。
【００４３】
図１に示される特徴の集まりは、画像顕著性を表わす値を計算するために使用される。画像顕著性は、グループのうちの他の画像に対する画像の相対的な重要度、関心度、又は注目度として定義される。各画像はグループのうちの他の画像に対して相対的に評価されねばならないため、画像顕著性計算は、画像を夫々の顕著性値についてスコアリングする図４に示されるような画像顕著性ネットワーク１０．１，１０．２．．１０．Ｎのネットワークを含む。実際に、一連の画像の画像顕著性値を決めるよう繰り返し使用される１つの画像顕著性ネットワーク１０がありうるが、この場合、順次に得られる結果は比較器１６への入力のための中間記憶（図示せず）に格納されうる。図２に示される特徴の集まりは、図１に示される特徴の集まりの部分集合であり、絶対的に、即ち他の画像を参照することなく、画像の本質的な重要度、関心度、又は注目度として定義される画像のアピール性を表わす値を計算するために使用される。図２に示される特徴は、これらの特徴が着目中の画像だけに基づいて画像を評価することができるので、自己代表特徴と称される。これに対して、図１では、独自フォーマット特徴と代表色特徴の２つの追加的な特徴が検出され、これらの特徴は他の画像との関連付けに不可欠な尺度であるため、相対代表特徴と称される。（しかしながらこれらの相対代表特徴は、顕著性の十分な尺度が自己代表特徴のみから獲得されうる限りは任意である）。従って、アピール性及び顕著性の両方の評価は自己代表特徴に関連し、一方、顕著性の評価のみが相対代表特徴に関連する。
【００４４】
図１及び図２による特徴の集まりの抽出は、以下に説明するように対応する特徴量の計算を含む。
【００４５】
［客観的特徴］
客観的特徴は、他のタイプの特徴と比較して最も計算が簡単であり、かつ、最も矛盾のない結果を与える。これらを計算するための方法が既に利用可能であり、イメージング科学の殆どの技術は客観的特徴の尺度に基づいている。多くの客観的特徴を計算することが潜在的に可能であるが、画像の顕著性及びアピール性（図１及び図２）の両方のためにはカラフルネス及び鮮明度のみが考慮に入れられ、画像顕著性（図１）のためには独自フォーマット及び代表色が追加的に考慮される。コントラスト及びノイズといった他の客観的尺度は、幾つかの状況において有用であるとされ、本発明の範囲に含まれることが意図される。
【００４６】
［カラフルネス］
カラフルネス検出器３８は、カラフルなピクチャは様々な色相で高い飽和度を表示する色を有するという観察に基づき、カラフルネスの定量的な尺度を与える。これは、様々な色相について高い飽和度の色の存在について調べることによってグラウンド・トゥルース調査によって決定された。画像データは、ｓＲＧＢ色空間の画像データであると仮定した。特に、図６に示されるように、カラフルネス検出器３８は、カラフルネスを計算するために以下の段階を実施する。最初に、ステップ６０において、入力画像値ｉは輝度／クロミナンス空間へ変換される。このような多くの変換が当業者によって公知であり、本発明と組み合わせてうまく使用されうるが、望ましい変換は、以下の式、
【００４７】
【数１】
【００４８】
【数２】
【００４９】
［鮮明度］
鮮明度検出器３６は、画像中の鮮明度特徴を見つけるために以下の段階を実施する。
（ａ）画像は境界線に沿って２０％の水準で切り取られ、緑チャネルを抽出することによりグレースケールへ変換される。
（ｂ）画像のエッジは、ノイズを減少させるために３×３の平均化フィルタを適用した後にＳｏｂｅｌ演算子を用いて緑チャネル中で検出される。
（ｃ）エッジヒストグラムが形成され、エッジヒストグラムの９０番目の百分位数を超えるエッジが最も強いエッジを含む領域であると同定される。
（ｄ）最も強いエッジの領域はメジアンフィルタリングによって洗練され、最も強いエッジの統計値が計算される。
（ｅ）最も強いエッジの平均は鮮明度の推定値を与える。
【００５０】
鮮明度の検出のために使用される方法の更に細かい点については、ここに参照のため引用された、Andreas Savakis及びAlexander Louiによって１９９９年３月２３日に出願された「A Method for Automatically Detecting Digital Images that are Undesirable for Placing in Albums」なる名称のた米国特許出願第０９／２７４，６４５号に記載されている。
【００５１】
［フォーマット独自性］
グラウンド・トゥルース調査の参加者は、ＡＰＳの「パノラマ」モードで撮影された写真は、顕著性がより必要であることを示した。グラウンド・トゥルースデータの予備分析は、その写真がグループ中のただ１つのパノラマ写真であれば、顕著性画像として選択される可能性を高めることを示した。相対的な特徴である「フォーマット独自性」はこの性質を表わす。
【００５２】
独自フォーマット検出器４０は、グループ中の各画像ｉについて以下のアルゴリズム、
【００５３】
【数３】
【００５４】
【数４】
【００５５】
［代表色］
代表色検出器４２は、画像の色がどれだけ代表的であるかを決定するために以下の段階を行なう。
１．各画像ｉについて、（ＲＧＢ又は輝度／クロミナンス空間中で）カラーヒストグラムｈｉ（Ｒ，Ｇ，Ｂ）を計算する。
２．以下の式、
【００５６】
【数５】
３．各画像ｉについて、画像のヒストグラムと平均カラーヒストグラムとの間の距離（ユークリッド距離又はヒストグラム交差距離）を、以下の式、
【００５７】
【数６】
４．以下の式、
【００５８】
【数７】
５．以下の式、
【００５９】
【数８】
【００６０】
［人物関連特徴］
人物関連特徴は、画像顕著性を決定するときに重要であるが、例えば笑っている人物、カメラを向いている人物等といった人物に関連する多くの明確な属性は計算するのが困難である。肌検出方法は、人物が存在するか否か、肌面積の大きさ、及びクローズアップの量といった幾つかの人物関連特徴を計算する。
【００６１】
［肌及び顔の検出］
肌検出器２６によって用いられる肌検出方法、及び顔検出器２８によって用いられる顔検出方法は、ここに参照のため引用されたH. C. Lee及び及びH. Nicponskiにより１９９８年７月９日に出願された「A Method for Detecting Human Faces in Digitized Images」なる名称の米国特許出願第０９／１１２，６６１号に開示される方法に基づく。
【００６２】
図８を参照するに、米国特許出願第０９／１１２，６６１号に開示される方法が概略的に示される。入力画像は、ステップＳ１０２において優勢な全体照明を補償するためにカラーバランス調整される。カラーバランス調整は、（ｒ，ｇ，ｂ）値から（Ｌ，ｓ，ｔ）値への変換を含む。（Ｌ，ｓ，ｔ）空間中、Ｌ軸は色の明るさを表わし、ｓ及びｔ軸はクロマ軸を表わす。ｓ成分は、昼光からタングステン光まで、青から赤までの光源の変化を近似的に表わす。ｔ成分は、緑とマゼンタの間の軸を表わす。この段階のためには、中間色への平均化といった簡単な方法を含む多数の周知のカラーバランスアルゴリズムが使用されうる。次に、ステップＳ１０４において色セグメント化のためにｋモードクラスタ化アルゴリズムが使用される。このアルゴリズムは、ここに参照として組み込まれる共通に譲渡された米国特許第５，４１８，８９５号に含まれる。基本的に、（Ｌ，ｓ，ｔ）空間中の３次元カラーヒストグラムは入力カラー画像から形成され、クラスタ化アルゴリズムによって処理される。この段階の結果により、各連結された領域がユニークなラベルの付けられた領域マップが得られる。各領域について、ステップＳ１０６において平均化されたルミナンス及び色度が計算される。これらの特徴は、条件付き確率及び適応閾値処理に基づいて可能な肌領域（候補肌領域）を予測するために使用される。ステップＳ１０８において、各肌領域に最もよい楕円を当てはめることにより、各肌領域のスケール及び平面内の回転ポーズの推定値が得られる。これらの推定値の近傍のスケール及び平面内の回転ポーズの範囲を用いることにより、ステップＳ１１０において仮の顔特徴を同定するために各顔領域に対して一連の線形フィルタリング段階が適用される。ステップＳ１１２において、領域が実際に顔特徴を表わす尤度と、領域が表わす顔特徴のタイプとを予測するために多数の確率計量が用いられる。
【００６３】
先行するスクリーニング段階を通った特徴は、ステップＳ１１４において予想される顔についての最初の特徴として使用される。投影幾何学を用いることにより、３つの最初の特徴の同定は、頭部の姿勢の可能な範囲を定義する。顔の姿勢の各候補は、包括的な３次元の頭部モデル及び顔特徴の位置の変化の範囲と共に、残りの顔特徴の位置を予測するために使用されうる。予測された特徴の位置が見つかるかどうか調べるために、候補顔特徴のリストの探索を行なう。候補顔特徴がの位置及び向きが予測された位置及び向きに近ければ、その特徴の有効性の確率的な推定値に影響が与えられる。
【００６４】
ステップＳ１１６において、顔の存在を示す累積された証拠を理解するために、頭部のベイズネットワーク確率モデルが使用される。ネットワークの事前確率は、様々な向き及びスケールの頭部が含まれる大量の学習画像の組から抽出される。ネットワークは候補顔の予想特徴から始まり、ネットワークの推定された確率は計算された計量とテンプレートに対する空間的な一致度に基づく。次に、ネットワークは、これらの初期条件から始めて、顔の存在の確率の大域的な推定値へ収束するまで、実行される。この確率は、厳しい閾値と比較され、或いは、２値評価が必要でなければ確率的な形式のままとされる。この肌及び顔検出方法の更なる詳細は、ここに参照のため引用された米国特許出願第０９／１１２，６６１号に記載されている。
【００６５】
［肌面積］
写真中の肌／顔面積の割合は、その割合自体を特徴として得るために、或いは、人物検出及びクローズアップ検出の予備段階として、肌面積検出器２０によって計算される。そのため、肌面積検出器２０の出力は分類段階１４に接続されると共に、クローズアップ検出器２２及び人物検出器２４へ入力される。肌面積は、０乃至１の範囲の連続的な変数であり、人物に関連する特徴の数に相関する。例えば、等距離から撮影された写真に関しては、肌面積が増加するということは、写真に写っている人物が増えることを意味し、「集合写真」であるという明確な標識と相関する。或いは、２つの写真が同数の人物が写っている場合、肌面積が増加することは倍率が大きくなることを示し、これは「クローズアップ」という明確な属性と相関する。肌面積の増加に関するその他の説明として、被写体の配置を理由に挙げることも可能である。
【００６６】
［クローズアップ］
クローズアップ検出器２２は、クローズアップを判定するために以下の手段を使用する。
（ａ）肌検出が実行され、結果としてのマップが（境界線から２５％離れた）中央領域で調べられる。
（ｂ）クローズアップは、画像の中央部分における肌面積の割合として決められる。
【００６７】
ある種の場合には、肌検出よりも顔検出のほうがクローズアップの判定に適している。
【００６８】
［人物の存否］
人物の存否は、画像中にかなりの量の肌面積が存在する場合は、人物検出器２４によって検出される。画像中の肌画素の割合が計算され、肌の割合が画素数の閾値Ｔｆ（例えばＴｆ＝２０画素）を超えるときに人物が存在すると想定される。人物の存否は、人物が存在する場合に１、存在しない場合に０を示す２進数で表される２値特徴である。
【００６９】
［構図特徴］
良い構図は画像顕著性の非常に重要な積極的な属性であり、悪い構図は一般的には消極的な属性である。画像の構図の自動評価は非常に困難であり、場合によっては主観的である。良い構図は、三分の一の法則といった多数の一般的な周知の法則に従うものでありうるが、このような規則はしばしば撮影者の視点を表現するため守られない。
【００７０】
［主被写体検出］
主被写体検出器３４によって用いられる検出器は、J. Luo、S. Etz及びA. Singhalによって１９９８年１２月３１日に出願された「Method for Automatic Determination of Main Subjects in Consumer Images」なる名称の共通に譲渡された米国特許出願第０９／２２３，８６０号に開示されている。図９を参照するに、米国特許出願第０９／２２３，８６０号に開示された主被写体検出方法を概略的に表わすブロック図が示される。まず、ステップＳ２００において、自然のシーンの入力画像が捕捉され、ディジタル形式で記憶される。次に、ステップＳ２０２において画像は均質な性質の幾つかの領域へセグメント化される。次に、ステップＳ２０４において、領域セグメントは、目的のない無目的知覚グループ化を通じて類似性尺度に基づいて、より大きい領域へグループ化され、ステップＳ２０６において目的のあるグループ化（合目的グループ化は特定の物体に関連する）を通じて知覚的に一貫した物体に対応するより大きい領域へ更にグループ化される。ステップＳ２０８において、領域は、構造的代表特徴と意味論的代表特徴２つの独立した相補的な代表特徴について評価される。ステップＳ２０８ａにおいて、低レベル早期視覚特徴の組及び幾何学的特徴の組を含む構造的代表特徴が抽出され、これらの特徴は自己代表特徴の組及び相対代表特徴の組を生成するために更に処理される。ステップＳ２０８ｂにおいて、前景（例えば人物）又は背景（例えば空、草）といったの一部である可能性の高いキー被写体物の形式で意味論的代表特徴が検出され、意味論的な手がかり及びシーン前後関係の手がかりを与える。ステップ２１０において、両方のタイプの証拠がベイズネットに基づく推論エンジンを用いて統合され、ステップ２１２で主被写体の最終信念マップが得られる。
【００７１】
画像の意味論的な解釈のためには、単一の規準では明らかに不十分である。人間の脳は、先験的な知識と、実世界の被写体及びシナリオについての及び膨大な記憶とを有しており、シーン中の興味深い被写体又は主な被写体を評価するために異なる主観的な規準を組み合わせる。拡張的な特徴リストに含まれる特徴、即ち、場所、寸法、明るさ、カラフルネス、テクスチャフルネス、主キー被写体物、形状、対称性、空間的関係（包囲性／閉塞性）、境界性、屋内／屋外、向き、（適用可能であれば）深度、及び（ビデオシーケンスについて適用可能であれば）動きは、主被写体検出といった多少とも漠然としたタスクを実行するときに人間の脳に影響を与えると考えられる。
【００７２】
低レベル早期視覚特徴には、色、明るさ、及びテクスチャが含まれる。幾何学的特徴には、場所（中心性）、空間的関係（境界性、隣接性、包囲性、オクルージョン）、寸法、形状、及び対称性が含まれる。意味論的特徴には、肌、顔、空、草、及び他の緑の草木が含まれる。当業者は、本発明の範囲を逸脱することなくより多くの特徴を定義しうる。主被写体検出アルゴリズムの更なる詳細は、ここに参照のため引用された米国特許出願第０９／２２３，８６０号に記載されている。
【００７３】
上述の主被写体検出アルゴリズムは計算集約的なアルゴリズムであり、被写体関連特徴のより小さい組に基づいて被写体検出を行なう他のアルゴリズムが使用されうる。ここで考えられる全ての構図尺度は主被写体信念マップに関するものであるため、最も計算的に効率的な曲面、例えば、殆ど「中心性」尺度に関係する曲面にシステムを集中させることが可能である。これらの面は主被写体の判定の際に考慮に入れられ、幾らかの精度を犠牲するが全体の計算上の複雑さを軽減する。アルゴリズムを再び学習させることなくこのようにして特徴が排除されうることは、主被写体検出アルゴリズムにおいて使用されるベイズネットワークの有用な性質である。第２に、主被写体検出器５０に供給される画像が正しい側が上向きであることが知られていれば有利である。シーン中の領域の空間的な場所に関連する被写体に関する特徴はこの知識を反映するよう変更されうる。例えば、シーンの向きを知らない場合は、主被写体検出器５０は主被写体領域の中心が加重された分布を想定するが、向きが知られていれば、底辺の中心が加重された分布を想定しうる。
【００７４】
図３を参照するに、主被写体検出器５０において主被写体信念マップが計算された後、主被写体信念マップは、クラスタ化段階３１において強度値のｋ平均クラスタ化を用いて３つの領域へ分割される。３つの領域は、主被写体の一部である可能性が高い画素、主被写体の一部である可能性が低い画素、及び中間画素に対応する。量子化されたマップに基づいて、以下図５Ａ乃至図５Ｄを参照して説明されるように、主被写体の寸法、中心性、コンパクト性、関心（分散）の特徴が計算される。
【００７５】
［主被写体分散性］
写真の内容を特徴付けるための１つの方法は、写真の興味深さ、即ち、関心度を示すことである。顕著性画像選択のために、以下の特徴を有する画像は関心が高いものと考えられうる。
・主被写体はフレーム内での配置によって関心度が高い。
・主被写体は、写真のかなり大きい面積を構成するが、フレーム全体を構成するものではない。
・背景は主被写体から注意をそらす孤立した物体を含まない。
【００７６】
各画像の関心度の推定値は、主被写体マップ中の分散性を推定することによって計算される。この特徴は、主に凡例として価値があり、即ち関心度の高くない画像は顕著性画像とするべきではない。特に、図５Ａに示されるように、主被写体分散性検出器３０．１は主被写体分散性を計算するために以下の段階を行なう。最初に、ステップＳ１０において全ての被写体信念マップ値の統計的な分散ｖが計算される。ステップＳ１２において、主被写体分散性特徴ｙは、以下の式、
ｙ＝ｍｉｎ（１，２．５＊ｓｑｒｔ（ｖ）／１２７．５）
によって計算される。
【００７７】
［主被写体中心性］
主被写体の中心性は、量子化された主被写体信念マップ中の画像中心と高い確率（或いは中間の確率）の領域の重心との間の距離として計算される。特に、図５Ｂに示されるように、主被写体中心性検出器３０．２は主被写体中心性を計算するために以下の段階を実行する。最初に、ステップＳ２０において、最高値のクラスタの重心の画素座標が測位される。ステップＳ２２において、画像中心から重心までのユークリッド距離ｊが計算される。ステップＳ２４において、ユークリッド距離ｊを画像の短辺に沿った画素の数で除算することにより正規化された距離ｋが計算される。ステップＳ２６において、主被写体中心性特徴ｍは、以下の式、
ｍ＝ｍｉｎ（ｋ，ｌ）
に従って計算される。
【００７８】
［主被写体寸法］
主被写体の寸法は、量子化された主被写体信念マップ中の高い確率（そして任意には中間の確率の）領域の寸法によって決定される。これは、高い確率（そして任意に中間の確率の）領域によって占められる中央面積（境界から２５％）の割合として表現される。特に、図５Ｃに示されるように、主被写体寸法検出器３２は主被写体の寸法を計算するために以下の段階を行なう。最初に、ステップＳ３０において、最も高い値のクラスタと画像面積の矩形状の中心部の１／４が交差する部分の画素数ｆが計数される。ステップＳ３２において、主被写体寸法特徴ｇは、以下の式、
ｇ＝ｆ／Ｎ
に従って計算される。但しＮは画素の総数を表す。
【００７９】
［主被写体のコンパクト性］
主被写体のコンパクト性は、量子化された主被写体信念マップ中で高い確率（そして任意に中間の確率）のための境界矩形を計算し、次に主被写体によって占められる境界矩形の割合を調べることによって推定される。特に、図５Ｄに示されるように、主被写体コンパクト性検出器３０．３は、主被写体のコンパクト性を計算するために以下の段階を行なう。まず、ステップＳ４０において、最も高い値のクラスタ中の画素数ａが計数される。ステップＳ４２において、最も高い値のクラスタ中の全ての画素を含む最も小さいボックス（境界ボックス）が計算され、ステップＳ４４において境界ボックスの面積ｂが画素単位で計算される。ステップＳ４６において、主被写体のコンパクト性特徴ｅは、以下の式、
ｅ＝ｍｉｎ（１，ｍａｘ（０，２＊（ａ／ｂ−０．２）））
によって計算され、但し、ｅは０乃至１（０及び１を含む）の値となる。
【００８０】
［分類段階］
上述のアルゴリズムによって生成される特徴量は、分類段１４に適用される。分類段１４は、望ましくは自己代表特徴及び／又は相対代表特徴を入力として受け入れ、画像評価（顕著性及びアピール性）値を発生するよう学習される推論エンジンである。異なる証拠は、人間の観察者による実際の画像の評価であるグラウンド・トゥルース調査の結果から得られる知識に従って相互に競合し、或いは、相互に補強する。競合及び補強は、推論エンジンの推論ネットワークによって解決される。好適な推論エンジンはベイズネットワークである。
【００８１】
ベイズネット（例えば、J. Pearl, Probabilistic Reasoning in Intelligent Systems, San Francisco, CA: Morgan Kaufmann, 1988を参照）グラフ内の様々なエンティティ間の因果関係を表現する非循環性の有効グラフである。リンクの向きはグラフ中の様々なエンティティ間に因果関係を表わし、リンクの方向が因果を表わす。評価は、様々なエンティティ間の結合確率分布関数（ＰＤＦ）についての知識に基づく。ベイズネットの利点は、不確実性の特徴付けが明示的であること、計算が効率的であること、構築及び保守が容易であること、学習が迅速であること、及び、ネットワーク構造及びそのパラメータの変化に対し素早く適応することが含まれる。ベイズネットは以下の４つの構成要素からなる。
・Ｐｒｉｏｒｓ：ベイズネット中の様々なノードについての最初の信念。
・条件付き確率行列（ＣＰＭ）：ベイズネット中の２つの連結されたノード間の関係についての専門知識。
・証拠：ベイズネットに入力される特徴検出器からの観察。
・Ｐｏｓｔｅｒｉｏｒｓ：ベイズネットを通じて証拠が伝播された後の最終的な計算された信念。
【００８２】
学習のための最も重要な構成要素は、図１中、ＣＰＭ段１５．１．．．１５．９（図２中、１５．１．．．１５．７）として示されるＣＰＭの組であり、なぜならば、ＣＰＭ段は利用可能な特定のアプリケーションについてのドメイン知識を表わすからである。ＣＰＭの導出は、ベイズネットといった推論エンジンの分野の当業者には周知であるが、以下においては典型的なＣＰＭの導出について考えるものとする。
【００８３】
図１及び図２を参照するに、本例のシステムにおいて単純な２階層ベイズネットが使用され、顕著性（又はアピール性）スコアは根ノードにおいて決定され、全ての特徴検出器は葉ノードにある。各リンクは、同じ階層の他のリンクから条件付きで独立であると仮定され、各リンクを別々に学習することによって、即ち他のものから独立した所与のリンクについてＣＰＭを導出することによって、ネット全体が都合良く学習されることに注意する必要がある。この仮定は、実際は破られることが多いが、独立性による簡単化により、容易に実施できるようになり、妥当な結果が得られる。これにより、他の分類器又は推論エンジンとの比較のための基準が得られる。
【００８４】
［確率推論］
全ての特徴は、ベイズネットによって統合され、顕著性値又はアピール性値が生ずる。一方では、異なる証拠は他の証拠と競争するか矛盾しうる。他方では、異なる証拠は一般的な写真シーンの事前モデル又は知識に従って互いに補強し合う。競合及び補強は共に、ベイズネットに基づく推論エンジンによって解かれる。
【００８５】
図１０を参照するに、本発明では様々な特徴検出器間の条件的独立性を想定する２階層ベイズネットが用いられる。顕著性又はアピール性値は根ノード４４において決定され、全ての特徴検出器は葉ノード４６にある。各画像について１つの有効なベイズネットがある。本発明は、本発明の範囲を逸脱することなく２つ以上の階層を有するベイズネットにおいて使用されうると理解される。
【００８６】
［ベイズネットの学習］
ベイズネットの利点の１つは、各リンクが同じ階層にある他のリンクとは独立になることである。従って、ベイズネットは、各リンクを別々に学習することにより、即ち他のリンクとは独立の所与のリンクについてＣＰＭ１５．１．．．１５．９を導出することによってネット全体を学習させるのに便利である。一般的に、根特徴ノード対毎にＣＰＭを得るために２つの方法が使用される。
１．専門知識を用いる。
これはアドホックな方法である。専門家は、アピール性の高い画像が与えられた場合に、高出力又は低出力を生じる各特徴検出器の条件付き確率を得るため助言を求められる。
２．偶然性テーブルを用いる
これはサンプリング・相関方法である。各特徴検出器の多数の観察結果は、顕著性又はアピール性とについての情報と共に記録される。これらの観察結果は、偶然性テーブルを作成するために一緒に集められ、偶然性テーブルは正規化されたときはＣＰＭ１５．１．．．１５．９として使用されうる。この方法は、ニューラルネットワーク型の学習（習得）に似ている。本発明ではこの方法が望ましい。
【００８７】
例として任意の特徴についてのＣＰＭについて考える。この行列は、グラウンド・トゥルース及び特徴検出器から導出された偶然性テーブルを用いて生成される。特徴検出器は一般的には２値決定（テーブル１を参照）を供給しないため、ＣＰＭを導出するときには分数的な頻度計数が用いられる。ＣＰＭのエントリは、以下の式、
【００８８】
【数９】
【００８９】
【表１】
【表２】
【００９１】
本発明の主題は、ディジタル画像を認識するためにディジタル画像をディジタル式に処理し、それにより人間が理解可能な対象、属性又は条件に対して有用な意味を割り当て、ディジタル画像の更なる処理において得られる結果を用いるための技術を意味すると理解されるディジタル画像理解技術に関する。
【図面の簡単な説明】
【図１】画像に対する顕著性値を計算するネットワークを示す図である。
【図２】画像に対するアピール性値を計算するネットワークを示す図である。
【図３】図１及び図２に示される主被写体検出の構成要素をより詳細に示すブロック図である。
【図４】画像のグループの相対的な顕著性値を計算するネットワーク構造を示すブロック図である。
【図５Ａ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｂ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｃ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図５Ｄ】図３に示された構成要素の主被写体検出の方法を詳細に示す図である。
【図６】画像のカラフルネスを判定する方法を詳細に示す図である。
【図７】カラフルネス特徴計算に使用される色度平面ウェッジを示す図である。
【図８】肌及び顔の検出方法を示すブロック図である。
【図９】図５に示された主被写体検出の詳細なブロック図である。
【図１０】図１及び図２に示されたネットワークで用いられる２レベルのベイズ網を示す図である。
【図１１】図１乃至図１０に示された構成要素及び方法を用いて本発明を実施するコンピュータシステムのブロック図である。
【図１２】図１１に示された本発明を実施する画像処理システムの更なる詳細を示すブロック図である。
【図１３】本発明を実施するため好適であるコンピュータ・インターネット画像処理システムを示すブロック図である。
【符号の説明】
１０ 画像評価ネットワーク
１２ 特徴抽出段
１４ 分類段
１６ 比較器段
１８ 正規化段
２０ 肌領域検出器
２２ クローズアップ検出器
２４ 人物検出器
２６ 肌検出器
２８ 顔検出器
３０ 構図検出器
３０．１ 主被写体分散性アルゴリズム
３０．２ 主被写体中央性アルゴリズム
３０．３ 主被写体コンパクト性アルゴリズム
３１ クラスタ化段階
３２ 被写体寸法検出器
３４ 主被写体検出器
３６ 鮮明度検出器
３８ カラフルネス検出器
４０ 独自フォーマット検出器
４２ 代表色検出器
４４ 根ノード
４６ 葉ノード
５０ 主被写体検出器
５２ クラスタ化段階
１１０ 画像捕捉装置
１２０ ディジタル画像プロセッサ
１２２ 強調変換モジュール
１３０ 画像出力装置
１４０ 汎用制御コンピュータ
１５０ モニタ装置
１６０ 入力制御装置
１７０ コンピュータメモリ装置
１８０ 印刷属性制御器
１９０ コンピュータシステム
Claims (1)
- 画素を有するディジタル画像から作成される印画の１つ又はそれ以上の印刷属性を変更する方法であって、（ａ）ディジタル画像の群を受信する段階と、（ｂ）上記ディジタル画像の群における他のディジタル画像に対する各々のディジタル画像の重要度、関心度又は注目度の判定に基づいて、上記ディジタル画像の群における各々のディジタル画像についての印刷属性値を演算する段階であって、上記印刷属性値は上記画素から導き出される、段階と、（ｃ）上記ディジタル画像の群における各々のディジタル画像から作成される上記印画の印刷属性を制御するように上記印刷属性値を使用する段階であって、上記印刷属性は、上記画像から作成される印画の数、上記画像から作成される印画の寸法、及び上記画像のために用いられる倍率のうちの少なくとも１つである、段階と、を有する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US602872 | 2000-06-23 | ||
| US09/602,872 US6748097B1 (en) | 2000-06-23 | 2000-06-23 | Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002158870A JP2002158870A (ja) | 2002-05-31 |
| JP4335476B2 true JP4335476B2 (ja) | 2009-09-30 |
Family
ID=24413124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001190242A Expired - Fee Related JP4335476B2 (ja) | 2000-06-23 | 2001-06-22 | 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6748097B1 (ja) |
| EP (1) | EP1168245A3 (ja) |
| JP (1) | JP4335476B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10552628B2 (en) | 2014-09-19 | 2020-02-04 | Xi'an Zhongxing New Software Co., Ltd. | Method and device for accessing and processing image |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
| US7068841B2 (en) * | 2001-06-29 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | Automatic digital image enhancement |
| US7171618B2 (en) * | 2003-07-30 | 2007-01-30 | Xerox Corporation | Multi-versioned documents and method for creation and use thereof |
| US7391885B2 (en) * | 2003-07-30 | 2008-06-24 | Xerox Corporation | Method for determining overall effectiveness of a document |
| US7092551B2 (en) * | 2003-07-30 | 2006-08-15 | Xerox Corporation | System and method for measuring and quantizing document quality |
| JP4279083B2 (ja) * | 2003-08-18 | 2009-06-17 | 富士フイルム株式会社 | 画像処理方法および装置、並びに画像処理プログラム |
| US20050216283A1 (en) * | 2004-03-25 | 2005-09-29 | Squilla John R | Method for automatically associating an image with related content on an image product |
| US7809197B2 (en) * | 2004-12-09 | 2010-10-05 | Eastman Kodak Company | Method for automatically determining the acceptability of a digital image |
| WO2006064938A1 (ja) * | 2004-12-13 | 2006-06-22 | Canon Kabushiki Kaisha | 画像処理方法、画像処理装置、および画像処理装置の制御プログラム |
| US7451140B2 (en) * | 2005-01-11 | 2008-11-11 | Xerox Corporation | System and method for proofing individual documents of variable information document runs using document quality measurements |
| US7760372B2 (en) * | 2005-01-11 | 2010-07-20 | Xerox Corporation | Method for automated document selection |
| WO2006079991A2 (en) * | 2005-01-28 | 2006-08-03 | Koninklijke Philips Electronics, N.V. | Dynamic photo collage |
| JP2006295890A (ja) * | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP4588642B2 (ja) * | 2005-03-15 | 2010-12-01 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP2006293986A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP2006293985A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP4704253B2 (ja) * | 2005-04-13 | 2011-06-15 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
| GB2429093B (en) * | 2005-08-08 | 2011-04-13 | Inca Digital Printers Ltd | Inkjet printer control |
| EP1785847B1 (en) * | 2005-10-27 | 2015-11-18 | Accenture Global Services Limited | Display apparatus for automatically visualizing an application landscape |
| US7561722B2 (en) * | 2005-12-14 | 2009-07-14 | Xerox Corporation | System and method for interactive document layout |
| US7467222B2 (en) * | 2006-05-12 | 2008-12-16 | Shutterfly, Inc. | Image ranking for imaging products and services |
| JP2008061184A (ja) * | 2006-09-04 | 2008-03-13 | Sony Corp | 画像処理装置および方法、プログラム、並びに撮像装置 |
| US9307122B2 (en) * | 2006-09-27 | 2016-04-05 | Core Wireless Licensing S.A.R.L. | Method, apparatus, and computer program product for providing motion estimation for video encoding |
| US7877696B2 (en) * | 2007-01-05 | 2011-01-25 | Eastman Kodak Company | Multi-frame display system with semantic image arrangement |
| US7882442B2 (en) * | 2007-01-05 | 2011-02-01 | Eastman Kodak Company | Multi-frame display system with perspective based image arrangement |
| US20080165082A1 (en) * | 2007-01-05 | 2008-07-10 | Manico Joseph A | Function enhancing array for multi-frame display system |
| US8132096B1 (en) * | 2007-03-26 | 2012-03-06 | Hewlett-Packard Development Company, L.P. | Image composition evaluation |
| US20090016565A1 (en) * | 2007-07-11 | 2009-01-15 | Sriram Kulumani | Image analysis |
| US8122356B2 (en) * | 2007-10-03 | 2012-02-21 | Eastman Kodak Company | Method for image animation using image value rules |
| US9152292B2 (en) * | 2009-02-05 | 2015-10-06 | Hewlett-Packard Development Company, L.P. | Image collage authoring |
| US8422794B2 (en) * | 2009-07-30 | 2013-04-16 | Intellectual Ventures Fund 83 Llc | System for matching artistic attributes of secondary image and template to a primary image |
| US20110029860A1 (en) * | 2009-07-30 | 2011-02-03 | Ptucha Raymond W | Artistic digital template for image display |
| US8849853B2 (en) * | 2009-07-30 | 2014-09-30 | Intellectual Ventures Fund 83 Llc | Method for matching artistic attributes of a template and secondary images to a primary image |
| US8538986B2 (en) * | 2009-07-30 | 2013-09-17 | Intellectual Ventures Fund 83 Llc | System for coordinating user images in an artistic design |
| US20110029635A1 (en) * | 2009-07-30 | 2011-02-03 | Shkurko Eugene I | Image capture device with artistic template design |
| US8345057B2 (en) * | 2009-07-30 | 2013-01-01 | Eastman Kodak Company | Context coordination for an artistic digital template for image display |
| US8332427B2 (en) * | 2009-07-30 | 2012-12-11 | Eastman Kodak Company | Method of generating artistic template designs |
| US8289340B2 (en) * | 2009-07-30 | 2012-10-16 | Eastman Kodak Company | Method of making an artistic digital template for image display |
| US20110029562A1 (en) * | 2009-07-30 | 2011-02-03 | Whitby Laura R | Coordinating user images in an artistic design |
| US8274523B2 (en) * | 2009-07-30 | 2012-09-25 | Eastman Kodak Company | Processing digital templates for image display |
| US8237819B2 (en) * | 2009-07-30 | 2012-08-07 | Eastman Kodak Company | Image capture method with artistic template design |
| US8854395B2 (en) * | 2009-07-30 | 2014-10-07 | Intellectual Ventures Fund 83 Llc | Method for producing artistic image template designs |
| US8212834B2 (en) * | 2009-07-30 | 2012-07-03 | Eastman Kodak Company | Artistic digital template for image display |
| US20110029914A1 (en) * | 2009-07-30 | 2011-02-03 | Whitby Laura R | Apparatus for generating artistic image template designs |
| US8390648B2 (en) * | 2009-12-29 | 2013-03-05 | Eastman Kodak Company | Display system for personalized consumer goods |
| US9253447B2 (en) * | 2009-12-29 | 2016-02-02 | Kodak Alaris Inc. | Method for group interactivity |
| US20110157218A1 (en) * | 2009-12-29 | 2011-06-30 | Ptucha Raymond W | Method for interactive display |
| US9319640B2 (en) * | 2009-12-29 | 2016-04-19 | Kodak Alaris Inc. | Camera and display system interactivity |
| US9179102B2 (en) * | 2009-12-29 | 2015-11-03 | Kodak Alaris Inc. | Group display system |
| US8660378B2 (en) * | 2010-02-10 | 2014-02-25 | Panasonic Corporation | Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same |
| JP5990105B2 (ja) * | 2011-01-26 | 2016-09-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路 |
| US8660342B2 (en) * | 2012-01-24 | 2014-02-25 | Telefonica, S.A. | Method to assess aesthetic quality of photographs |
| US8654398B2 (en) | 2012-03-19 | 2014-02-18 | Seiko Epson Corporation | Method for simulating impact printer output, evaluating print quality, and creating teaching print samples |
| JP5965057B2 (ja) * | 2013-04-30 | 2016-08-03 | Ｎｅｃソリューションイノベータ株式会社 | 属性推定装置 |
| JP6453194B2 (ja) * | 2015-09-28 | 2019-01-16 | 富士フイルム株式会社 | 画像評価システム，画像評価方法，画像評価プログラムおよびそのプログラムを格納した記録媒体 |
| US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| CN107278318B (zh) * | 2017-02-07 | 2019-10-29 | 深圳前海达闼云端智能科技有限公司 | 一种导盲系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0695723B2 (ja) * | 1989-03-15 | 1994-11-24 | 松下電器産業株式会社 | 色修正装置 |
| US5751854A (en) | 1992-08-03 | 1998-05-12 | Ricoh Company, Ltd. | Original-discrimination system for discriminating special document, and image forming apparatus, image processing apparatus and duplicator using the original-discrimination system |
| US5418895A (en) | 1992-11-25 | 1995-05-23 | Eastman Kodak Company | Method for displaying a high quality digital color image on a limited color display |
| US5424945A (en) | 1993-08-31 | 1995-06-13 | Xerox Corporation | System for evaluating a psychological effect of a document |
| JP3528214B2 (ja) | 1993-10-21 | 2004-05-17 | 株式会社日立製作所 | 画像表示方法及び装置 |
| WO1996009716A1 (fr) | 1994-09-21 | 1996-03-28 | Sony Corporation | Systeme d'images fixes |
| US5694484A (en) | 1995-05-15 | 1997-12-02 | Polaroid Corporation | System and method for automatically processing image data to provide images of optimal perceptual quality |
| US5835627A (en) * | 1995-05-15 | 1998-11-10 | Higgins; Eric W. | System and method for automatically optimizing image quality and processing time |
| JP3063073B2 (ja) | 1995-06-30 | 2000-07-12 | 富士ゼロックス株式会社 | 画像解析表現付加装置 |
| US6346998B2 (en) * | 1996-11-20 | 2002-02-12 | Fuji Photo Film Co., Ltd. | Picture image outputting method and photograph finishing system using the method |
| JP3634556B2 (ja) * | 1997-05-12 | 2005-03-30 | キヤノン株式会社 | 画像処理方法及びそのシステム |
| US6529630B1 (en) * | 1998-03-02 | 2003-03-04 | Fuji Photo Film Co., Ltd. | Method and device for extracting principal image subjects |
| US6389169B1 (en) * | 1998-06-08 | 2002-05-14 | Lawrence W. Stark | Intelligent systems and methods for processing image data based upon anticipated regions of visual interest |
| JP4329135B2 (ja) * | 1998-08-06 | 2009-09-09 | ソニー株式会社 | プリンタ装置 |
| US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
| US6671405B1 (en) | 1999-12-14 | 2003-12-30 | Eastman Kodak Company | Method for automatic assessment of emphasis and appeal in consumer images |
-
2000
- 2000-06-23 US US09/602,872 patent/US6748097B1/en not_active Expired - Lifetime
-
2001
- 2001-06-11 EP EP01202249A patent/EP1168245A3/en not_active Withdrawn
- 2001-06-22 JP JP2001190242A patent/JP4335476B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10552628B2 (en) | 2014-09-19 | 2020-02-04 | Xi'an Zhongxing New Software Co., Ltd. | Method and device for accessing and processing image |
Also Published As
| Publication number | Publication date |
|---|---|
| US6748097B1 (en) | 2004-06-08 |
| EP1168245A3 (en) | 2002-07-31 |
| EP1168245A2 (en) | 2002-01-02 |
| JP2002158870A (ja) | 2002-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4335476B2 (ja) | 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 | |
| US6738494B1 (en) | Method for varying an image processing path based on image emphasis and appeal | |
| US6671405B1 (en) | Method for automatic assessment of emphasis and appeal in consumer images | |
| US6832006B2 (en) | System and method for controlling image compression based on image emphasis | |
| Wong et al. | Saliency-enhanced image aesthetics class prediction | |
| US6952286B2 (en) | Doubleprint photofinishing service with the second print having subject content-based modifications | |
| US6847733B2 (en) | Retrieval and browsing of database images based on image emphasis and appeal | |
| US7212668B1 (en) | Digital image processing system and method for emphasizing a main subject of an image | |
| EP1128316B1 (en) | Face detecting method | |
| JP4908505B2 (ja) | 撮影者を利用した画像の分類 | |
| CN102576461B (zh) | 评估数字图像的美学质量 | |
| US7577290B2 (en) | Image processing method, image processing apparatus and image processing program | |
| EP1276315B1 (en) | A method for processing a digital image to adjust brightness | |
| US7215828B2 (en) | Method and system for determining image orientation | |
| US7978918B2 (en) | Digital image cropping using a blended map | |
| US20080019574A1 (en) | Machine-controlled image cropping with default | |
| JP2007500967A (ja) | 所望のアスペクト比の画像の生成 | |
| EP1618739A1 (en) | Adjusting the brightness of a digital image | |
| CN111950565B (zh) | 基于特征融合和朴素贝叶斯的抽象画图像方向识别方法 | |
| Xu | Content Understanding for Imaging Systems: Page Classification, Fading Detection, Emotion Recognition, and Saliency Based Image Quality Assessment and Cropping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4335476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |