JP5779720B2 - 検索のための画像品質分析 - Google Patents

検索のための画像品質分析 Download PDF

Info

Publication number
JP5779720B2
JP5779720B2 JP2014527366A JP2014527366A JP5779720B2 JP 5779720 B2 JP5779720 B2 JP 5779720B2 JP 2014527366 A JP2014527366 A JP 2014527366A JP 2014527366 A JP2014527366 A JP 2014527366A JP 5779720 B2 JP5779720 B2 JP 5779720B2
Authority
JP
Japan
Prior art keywords
image
foreground
zone
color
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014527366A
Other languages
English (en)
Other versions
JP2014524631A (ja
Inventor
ドーン・ユイ
チェン・コー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2014524631A publication Critical patent/JP2014524631A/ja
Application granted granted Critical
Publication of JP5779720B2 publication Critical patent/JP5779720B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Description

［関連出願の相互参照］
本出願は、あらゆる目的のために、参照によって本明細書に組み込まれる、２０１１年９月２３日に出願された、発明の名称を「Ａ ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＡＮＡＬＹＺＩＮＧ ＰＩＣＴＵＲＥ ＱＵＡＬＩＴＹ（画像品質を分析するための方法及び装置）」とする、中国特許出願第２０１１１０２８６８９５．６号に基づく優先権を主張する。
本出願は、画像識別技術に関するものであり、特に、検索のフィルタ処理のために画像品質を分析するための方法及び装置に関するものである。
オンラインショッピングの人気の高まりにともなって、製品を提示するために画像を使用する店主が増えてきた。製品の画像品質は、製品情報の有効性、及び顧客が製品を購入するかどうかに影響を与える。製品画像は、電子商取引ウェブサイトにおける顧客の購入経験にも影響を及ぼす。製品画像の解像度、及び製品と画像背景との間のコントラストは、ともに、製品画像品質を分析する際の及び製品画像品質を決定するための要因としての役割も果たすことができる。
ソーシャルネットワークやその他のＷｅｂ２．０プラットフォームの発展にともなって、ユーザは、人物の写真、自然の景観の写真、家財道具の写真などのあらゆる種類の写真を更に容易にアップロード及び提示することができるようになった。これらの写真画像の品質は、そのユーザ以外のユーザがそれらの画像をどのように認識するか、及びそれらの画像に関連付けられているコンテンツに対してどのように反応するかに影響を及ぼす。
先行技術における、画像品質を分析するシステムは、一般に、画像自体の解像度を分析することに限られており、画像品質の総合的分析は行わないのが通常である。特に、多くの電子商取引プラットフォームは、依然として、手動による製品画像の分析及び評価に依存している。
以下の詳細な説明及び添付の図面において、本発明の様々な実施形態が開示される。
検索のフィルタ処理のために画像品質を分析するためのシステムのための環境の一実施形態を示す図である。
画像品質を分析される代表的な画像を示す図である。
検索のフィルタ処理のために画像品質を分析するための方法の一実施形態を示すフローチャートである。
画像の画像品質スコアを算出する一実施形態を示すフローチャートである。
画像の前景及び背景を決定する一実施形態を示すフローチャートである。
画像品質の分析で使用される又は決定されるデータの一実施形態を示すブロック図である。
上述された画像品質分析方法に対応する画像品質分析システムの一実施形態を示すブロック図である。 システム６００の決定ユニット６１０の一実施形態を示すブロック図である。
本発明は、プロセス、装置、システム、合成物、コンピュータ読み取り可能なストレージ媒体に実装されたコンピュータプログラム製品、並びに／又は結合先のメモリに記憶された命令及び／若しくは結合先のメモリによって提供される命令を実行するように構成されるプロセッサなどのプロセッサのような、数々の形態で実現することができる。本明細書では、これらの実現形態、又は本発明がとりえるその他のあらゆる形態が、技術と称されてよい。総じて、開示されたプロセスのステップの順序は、本発明の範囲内で変更されてよい。別途明記されない限り、タスクを実施するように構成されるものとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成される汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装されてよい。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成される１つ以上のデバイス、回路、並びに／又は処理コアを言う。
本発明の原理を例示す添付の図面とともに、以下で、本発明の１つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態との関わりのもとで説明されるが、いずれの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、及び均等物を網羅している。以下の説明では、本発明の完全な理解を与えるために、数々の具体的詳細が明記されている。これらの詳細は、例示を目的として提供され、本発明は、これらの詳細の一部又は全部を伴わずとも、特許請求の範囲にしたがって実施されえる。明瞭さを期するために、本発明に関係する技術分野で知られる技術要素は、本発明が不必要に不明瞭とならないように、詳細な説明を省略されている。
検索のフィルタ処理のために画像品質を分析する方法が開示される。前景及び背景を決定するために、画像が分析される。決定された前景及び背景に基づいて、画像から特性パラメータが抽出される。一部の実施形態では、特性パラメータには、背景複雑性、平均勾配値、前景−背景コントラスト、鮮明度、及びターゲットサイズがある。画像品質計算モデルを使用し、特性パラメータに基づいて、画像品質スコアが算出される。一部の実施形態では、画像品質計算モデルは、予めトレーニングされた機械学習モデルである。一部の実施形態では、画像品質計算モデルは、サポートベクトルマシンである。一部の実施形態では、画像品質計算モデルから画像品質スコアが作成される。
一部の実施形態では、画像品質スコアは、検索される画像について算出される。一部の実施形態では、ユーザが検索クエリを入力する。画像を含む検索結果が得られる。画像を含む検索結果は、画像に関連する画像品質スコアにしたがってランク付けされる又はフィルタ処理される。例えば、ユーザが、電子商取引ウェブサイト上で製品を検索し、その製品の検索は、特定の品質を有する製品画像をともなう製品のみが示されるようにフィルタ処理される。
図１は、検索のフィルタ処理のために画像品質を分析するためのシステムのための環境の一実施形態を示す図である。クライアント１１０上のユーザが、（インターネット又はプライベートネットワークなどのネットワークを通じて）サーバ１１２に画像をアップロードする。一部の実施形態では、クライアント１１０が、画像の品質を分析する。一部の実施形態では、サーバ１１２が、画像の品質を分析する。一部の実施形態では、画像品質は、画像の特性に応じた画像の品質のスコアとして表される。
一部の実施形態では、ユーザは、サーバ１１２によって運営される電子商取引ウェブサイトで製品を販売している店主であり、サーバ１１２によって運営されるウェブサイトに製品の画像をアップロードする。一部の実施形態では、クライアント１１０上のユーザは、サーバ１１２にクエリをサブミットし、サーバ１１２は、画像を含む検索結果を返す。一部の実施形態では、サーバは、画像の画像品質スコアに基づいて検索結果をランク付けする又はフィルタ処理する。一部の実施形態では、ユーザは、クライアント１１０上の買い物客であり、サーバ１１２によって運営される電子商取引ウェブサイトで提供されている製品を探している。一部の実施形態では、買い物客は、製品を検索するためにサーバ１１２にクエリをサブミットし、サーバ１１２は、製品画像の画像品質スコアによってランク付けされた又はフィルタ処理された製品画像を含む検索結果を返す。より良い写真を電子商取引ウェブサイト上にアップロードした店主がウェブ検索において推奨され、また、より優れた検索経験が買い手に与えられるように、サーバ１１２上の検索エンジンは、例えば、検索結果をランク付けするときに画像品質スコアを考慮に入れる。画像品質分析のその他の応用も使用可能である。
様々な実施形態において、クライアント１１０は、サーバ１１２と通信しているコンピュータ、ラップトップ、若しくはスマートフォン、タブレット、カメラ、スキャナなどのモバイル機器、又は画像を取得する及び／若しくは作成することができるその他の適切な機器のうちの１つ以上であってよい。一部の実施形態では、クライアント１１０は、インターネット、ＬＡＮ、ＷｉＦｉ、携帯電話用データネットワーク（例えば３Ｇ若しくはＬＴＥ若しくはＷｉＭａｘ）を通じて、又は近距離通信を通じて、又はその他の任意の適切な接続を通じてサーバ１１２と通信している。
図２は、画像品質を分析される代表的な画像を示す図である。画像２１０及び画像２１２は、画像品質が分析される画像の一例を示している。画像２１０は、前景にある白い容器に入った「ビタミンＣ」製品と、背景とを描いている。画像２１２は、前景にあるグレーの容器に入った「ビタミンＣ」製品と、グレーにテクスチャ加工された背景とを示している。一部の実施形態では、画像２１０は、前景と背景との間のコントラストが高く、写真のなかの製品のサイズが大きいゆえに、より高い画像品質を有すると見なされ、画像２１２は、背景がテクスチャ加工されていて複雑であり、背景と前景との間のコントラストが低く、画像のサイズと比較して製品のサイズが小さいゆえに、より低い画像品質を有すると見なされる。
図３Ａは、検索のフィルタ処理のために画像品質を分析するための方法の一実施形態を示すフローチャートである。図１のサーバ１１２によって、３００の少なくとも一部が実施される。一部の実施形態では、図１のクライアント１１０によって、３００の一部が実施される。
ステップ３１０では、検索クエリが受信される。一部の実施形態では、クライアント上のユーザが、検索クエリを入力し、当該クエリは、クライアントによって受信され、サーバに送られる。サーバは、検索クエリを受信する。一部の実施形態では、サーバは、ユーザによって作成されたものではない（例えば、別の検索エンジン、サーバ、又はウェブクローラによって作成された）検索クエリを受信する。
ステップ３１２では、画像を含む一連の検索結果が受信される。一部の実施形態では、検索クエリを受信するサーバが、画像を含む一連の検索結果も取得する。
ステップ３１４では、画像に関連する画像品質スコアが決定される。一部の実施形態では、サーバは、画像を含む各検索結果に関連する画像品質スコアも取得する。一部の実施形態では、画像品質スコアは、事前に算出され、画像とともに記憶されている。したがって、検索結果を取得するときに、関連する画像品質スコアも取得される。一部の実施形態では、検索結果は、データベースの中の、画像が関連付けられているオブジェクトであり、画像品質スコアは、オブジェクトとともに記憶されている。一部の実施形態では、画像がサーバにアップロードされるときに、画像品質スコアが算出され、画像に関連付けられる。例えば、電子商取引ウェブサイト上に製品を掲載する店主が、製品の写真をウェブサイトにアップロードし、そのアップロードの際に、画像品質スコアが算出される。一部の実施形態では、検索のために画像のデータベースが用意され、各画像について画像品質スコアが算出され、画像に関連付けられる。例えば、電子商取引ウェブサイト検索ツールに、高品質の製品画像を上位に置く特徴が追加され、製品情報及び製品画像を含む製品データベースは、画像品質スコアを含むように処理される。
一部の実施形態では、サーバは、検索結果を取得するのと同時に画像品質スコアを算出する。一部の実施形態では、サーバは、前もって画像品質スコアを算出する。
ステップ３１６では、画像を含む一連の検索結果が、画像に関連する画像品質スコアに基づいてランク付けされる又はフィルタ処理される。一部の実施形態では、サーバが、画像品質スコアを使用して、画像を含む一連の検索結果をランク付けする又はフィルタ処理する。一部の実施形態では、クライアントが、画像品質スコアを使用して、画像を含む一連の検索結果をランク付けする又はフィルタ処理する。
一部の実施形態では、検索結果に画像を含めることが、画像品質スコアに基づく。例えば、一連の検索結果は、各画像に関連する画像品質スコアに基づいてフィルタ処理され、所定の閾値未満の画像品質スコアを有する検索結果は、示されない、すなわち、ユーザに提示される検索結果のリストに含められない。
図３Ｂは、画像の画像品質スコアを算出する一実施形態を示すフローチャートである。一部の実施形態では、プロセス３２０は、検索結果を取得するときに３１４を実行に移すために使用される。一部の実施形態では、プロセス３２０は、検索のために画像が前処理されるときに実施される。一部の実施形態では、画像は、製品データベースにアップロードされるときに、検索のために前処理される。
ステップ３２１では、画像の前景及び背景が決定される。画像は、画像品質が分析されている画像である。一部の実施形態では、前景は、物体を含む。背景は、画像のうち、前景を含まない部分である。例えば、製品画像の前景は、製品であり、背景は、製品画像の場面設定（例えば、均一色の背景幕）である。
ステップ３２２では、画像の特性パラメータが決定される。一部の実施形態では、特性パラメータは、背景複雑性、平均勾配値、前景／背景コントラスト、鮮明度の測定値、及び前景サイズのうちの１つ以上を含む。
ステップ３２４では、少なくとも一部には特性パラメータに基づいて、画像品質スコアが算出される。一部の実施形態では、画像品質スコアは、予めトレーニングされた画像品質計算モデルを使用して算出される。一部の実施形態では、画像品質計算モデルは、サポートベクトルマシン（ＳＶＭ）である。サポートベクトルマシンは、機械学習モデルの一種である。一部の実施形態では、ＳＶＭは、トレーニング画像のセットを使用して予めトレーニングされている。
一部の実施形態では、画像品質計算モデルは、トレーニング画像のセットを選択することによって、及び画像品質スコアなどの画像品質計算モデルからの出力結果を各トレーニング画像について設定することによって予めトレーニングされている。各トレーニング画像から特性パラメータが抽出され、画像品質計算モデルへの入力として使用され、結果得られた画像品質スコアが用途に適した尺度にしたがって設定され、そうして画像品質計算モデルがトレーニングされる。したがって、同様の特性パラメータをともなうトレーニング画像に類似した画像が画像品質計算モデルに入力されたときは、その画像品質計算モデルの出力は、トレーニング画像について事前に決定された画像品質スコアと同様の画像品質スコアである。例えば、背景とのコントラストに優れた大きいシャンプー容器のトレーニング画像が選択され、高スコア８９を有するように設定される。別のラップトップコンピュータのトレーニング画像はコントラストが低く、製品の画像が小さいので、そのラップトップの画像は、スコア７０を有するように設定される。これらの画像及びその他の画像は、画像品質計算モデルをトレーニングするために、画像品質計算モデルに供給される。したがって、シャンプー容器の画像に似た同様の特性パラメータを有する画像は、８９に類似したスコアを受信し、ラップトップコンピュータに似た画像は、７０という低いスコアに終わる。一部の実施形態では、トレーニング画像の選択、及び各トレーニング画像についての画像品質スコアは、画像品質システム管理者によって設定される。
一部の実施形態では、画像品質スコアは、０から１００までの尺度である。一部の実施形態では、画像品質スコアは、０から１までの尺度である。一部の実施形態では、画像品質スコアは、１から１０までの尺度に設定される。画像品質スコアの用途に適した任意の尺度も使用可能である。一部の実施形態では、画像品質スコアは、画像品質計算モデルによって特定の尺度で算出され、次いで、異なる尺度を得るために定数で乗算される。
図４は、画像の前景及び背景を決定する一実施形態を示すフローチャートである。一部の実施形態では、プロセス４００は、図３Ｂのステップ３２１を実行に移すために使用される。
ステップ４１０では、画像の外枠ゾーンが決定される。画像は、品質が分析されるべき画像である。一部の実施形態では、外枠ゾーンは、画像の全辺における画像の各縁から所定の境界ゾーンを取ることによって決定される。例えば、画像の全ての縁から面積比にしてターゲット画像の２０％が外枠ゾーンとして取られる。大半の写真は、なかでも特に製品画像は、画像の中心に前景すなわち製品が位置していると想定される。一部の実施形態では、画像の縁から所定の距離までが、外枠ゾーンとして取られる。
総じて、外枠ゾーンに含まれる画像は、主に、背景から形成された画像であり、画像の背景部分は、総じて、より単色系であり、要するに、外枠ゾーンは、より高い平坦性を有する。したがって、外枠ゾーンに対してなされる後続のステップを通じて、画像全体の背景ゾーンの主要な色及び背景ゾーンのシードゾーンを決定し、それらシードゾーンの拡張を通じて、最終的に背景ゾーン全体を得ることが可能である。つまり、背景ゾーン及び前景ゾーンを決定することが可能である。
４１２では、所定の数（ｎ１）の色ゾーンを得るために、外枠ゾーンの画素がクラスタ化される。一部の実施形態では、画素は、色タイプで（例えば、画素のＲＧＢ値にしたがって）カテゴリ分けされ、次いで、２つの異なる色タイプの中央値（又は相加平均値（mean））の間の色ベース距離（すなわち、ＲＧＢ色値を使用して測定されたユークリッド距離）を決定すること、及び２つの色タイプの間の色ベース距離が所定の閾値未満の場合には色タイプを１つのグループにまとめることを繰り返すことによって、複数の色ゾーンにクラスタ化される。クラスタ化プロセスは、（同じ値の画素が同じ色タイプに属するように）色タイプによって分類された個々の画素から開始して、外枠ゾーン内において２つの異なる色ゾーン又は色タイプの間の画素の最大色距離が閾値以上であるように色ゾーンが形成されるまで続けられる。不連続な幾つかの色領域が、同じ色ゾーンに属することができる。
ステップ４１４では、外枠ゾーンに対する各色ゾーンの面積比が決定される。色ゾーンの面積比を得るために、各色ゾーンの面積は、ステップ４１０で決定された外枠ゾーンの面積で除算される。
ステップ４１６では、面積比閾値を超える第２の複数の色ゾーンが決定される。一部の実施形態では、面積比閾値は、事前に決定される。次いで、外枠ゾーンの色ゾーンのなかから、所定の面積比閾値を超える第２の複数の色ゾーンが決定される。一部の実施形態では、第２の複数の色ゾーンの色ゾーンの数は、ｎ２として記される。
ステップ４１８では、第２の複数の色ゾーンの各色ゾーンの色平坦度の値が決定される。色ゾーンのばらつき（すなわち、色値の差の測定値）が、色平坦度の測定値として使用される。
ステップ４２０では、第２の複数の色ゾーンの中から、色平坦度閾値を超える色平坦度をそれぞれ有するシードゾーンのセットが決定される。このようなシードゾーンの数は、ｎ３として記される。一部の実施形態では、決定されたシードゾーンのセットは、外枠ゾーンと比較して最も高い平坦度と最も高い面積比とを有する色ゾーンを含んでいる。シードゾーンのセットは、背景の色ゾーンを表している（すなわち、外枠ゾーンのみを含むのではない）と見なされる。
ステップ４２２では、シードゾーンは、画像の背景を得るために拡張される。一部の実施形態では、シードゾーンの拡張は、隣接する画素が所定の距離未満の色ベースユークリッド距離を有するかどうかを決定することを含む。一部の実施形態では、所定の距離は、画像の標準偏差の倍数である。隣接画素からシードゾーンまでが所定の距離未満である場合は、その隣接画素は、シードゾーンに加えられる。シードゾーンと隣接シードゾーンの画素との間の色ベースのユークリッド距離が所定の距離を超えるまで、プロセスは繰り返され、隣接画素がシードゾーンに加えられる。一部の実施形態では、所定の距離は、０から１までに及ぶ画像標準偏差の倍数である。例えば、色ベースユークリッド距離の所定の距離は、０．５画像標準偏差である。
一部の実施形態では、隣接画素が、背景からシードゾーンに加えられる（すなわち、ステップ４１０で決定された外枠ゾーンよりも大きくなる）。外枠ゾーンからシードゾーンを成長させた後に、背景全域が得られる。画像が複雑であるほど画像の標準偏差は大きいので、シードゾーンの成長も大きくなる。
ステップ４２４では、画像の前景が決定される。一部の実施形態では、前景は、画像のうち、ステップ４２０で決定された背景に含まれない部分である。
図５は、画像品質の分析で使用される又は決定されるデータの一実施形態を示すブロック図である。画像５１０から、図４のプロセス４００によって前景及び背景５１２が決定され、次いで、特性パラメータ５２０が決定され、少なくとも一部には当該特性パラメータに基づいて画像品質スコアが決定される（例えば、図３Ｂのステップ３２４）。
画像５１０は、画像品質を分析されるべき画像である。前景及び背景５１２は、画像５１０から決定される。背景複雑性、前景／背景コントラスト、鮮明度、及びターゲットサイズのうちの１つ以上を含む特性パラメータ５２０が、画像５１０と、決定された前景及び背景（例えば５１２）とを使用して決定される。
一部の実施形態では、特性パラメータの１つに、背景複雑性５２２が含まれる。背景複雑性は、画像の背景の無秩序性を表すために使用される。一部の実施形態では、背景複雑性には、背景の平均勾配値が含まれる。平均勾配が高いほど、背景は複雑である。一部の実施形態では、背景複雑性は、以下によって算出される。
１．勾配の大きさのグラフＧを得るために、画像の背景にＳｏｂｅｌ演算子を適用する。
２．勾配の大きさの合計を得るために、勾配の大きさのグラフを足し合わせる。
３．画像の背景複雑性を表す平均勾配Ｔを得るために、勾配の大きさの合計を画素の数Ｐｎで除算する。
式は、以下のように記述される。
Ｔを平均勾配値、Ｓｇを勾配の大きさの合計、Ｐｎを画素の数として、Ｔ＝Ｓｇ／Ｐｎである。
一部の実施形態では、Ｓｏｂｅｌ演算子は、背景のみならず、画像全域にも適用されるが、背景複雑性Ｔでは、背景領域のなかの画素のみが足し合わされ、計算に入れられる。
一部の実施形態では、特性パラメータの１つに、前景−背景コントラスト５２４が含まれる。前景−背景コントラスト５２４は、背景と比較した前景のコントラストの強さを反映させるために使用される。
一部の実施形態では、前景−背景コントラスト５２４を算出する方法は、以下を含む。
１．前景色ゾーンを決定し、各前景色ゾーンの面積と前景の面積との間の面積比を算出する。
一部の実施形態では、前景色ゾーンの決定は、ｎ個の色タイプを得るために、決定された前景のなかの画素をクラスタ化することを含む。一部の実施形態では、画素をクラスタ化する方法は、図４のプロセス４００における、背景を決定するための方法と同様である。
一部の実施形態では、各前景色ゾーンの面積と前景の面積との間の面積比Ａｉの算出は、各前景色ゾーンの面積を決定することと、それを前景の面積で除算することとを含む（ここで、ｉは、１から、前景のなかの色タイプの数又は色ゾーンの数であるｎまでの指数である）。一部の実施形態では、面積比では、同じ色の前景色ゾーンがあわせて数えられ、それらの面積が足し合わされる。一部の実施形態では、各前景色ゾーンは、色タイプにかかわらず、個別に数えられる。
２．背景色ゾーンを決定し、各背景色ゾーンの面積と前景の面積との間の面積比を算出する。
一部の実施形態では、背景色ゾーンの決定は、ｍ個の色タイプを得るために、決定された背景のなかの画素をクラスタ化することを含む。一部の実施形態では、背景の中の画素のクラスタ化は、図４のプロセス４００で成されたクラスタ化と同様である。一部の実施形態では、図４のステップ４１２で決定された色ゾーンが、背景色ゾーンとして使用され、図４のステップ４１２で決定された色ゾーンの数が、色タイプの数ｍである。一部の実施形態では、背景のなかの画素は、図４のプロセス４００で背景を決定するときとは異なる数の色ゾーンにクラスタ化され、したがって、ｍは、色ゾーンの数であることも可能である。
一部の実施形態では、各背景色ゾーンの面積と前景の面積との間の面積比Ｄｊの算出は、各背景色ゾーンの面積を決定することと、それを前景の面積で除算することとを含む（ここで、ｊは、１から、背景の中の色タイプの数又は色ゾーンの数であるｍまでの指数である）。一部の実施形態では、面積比を算出するときに、同じ色タイプ（例えば緑と黄緑）の背景色ゾーンが同じ色ゾーンとして数えられ、それらの面積が足し合わされる。
３．各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離Ｌｉｊを算出する。一部の実施形態では、ユークリッド色ベース距離は、カラースケース（例えば、ＲＧＢ、ＣＹＭ、色相／彩度／明度、色相／彩度／輝度）上における２つの色ゾーンの色の間の距離である。
４．ユークリッド色ベース距離と、面積比Ａｉ（すなわち、前景面積に対する前景色ゾーンの面積比）と、面積比Ｄｊ（すなわち、前景面積に対する背景色ゾーンの面積比）とに基づいて、前景−背景コントラストＭを決定する。
式は、以下のように記述される。
Figure 0005779720
ここで、Ｍは、前景−背景コントラストであり、Ｌｉｊは、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離であり、Ａｉは、前景の面積に対する前景色ゾーンの面積比であり、ｉは、１から、前景の中の色ゾーン又は色タイプの数であるｎまでの指数であり、Ｄｊは、前景の面積に対する背景色ゾーンの面積比であり、ｊは、１から、背景の中の色タイプ又は色ゾーンの数であるｍまでの指数である。
一部の実施形態では、特性パラメータの１つに、鮮明度５２６が含まれる鮮明度５２６は、画像の空間解像度の測定値である。一部の実施形態では、鮮明度は、以下のように決定される。
１．前景の画素値Ｒｉを、所定のサイズのブロックに分割する。一部の実施形態では、所定のサイズは、Ｎの長さ及び幅（例えばＮ×Ｎのブロック）を有し、Ｍは、画像のなかのブロックの総数であり、ｉは、１からＭまでの指数である。一部の実施形態では、Ｎは、画像のサイズに比例する。画像が大きい場合には、Ｎは、大きくなるように選ばれる。画像が小さい場合には、Ｎもまた、小さくなるように選ばれる。
２．各ブロックについてＤＣＴ係数行列Ｃｉを得るために、各ブロックの画素値Ｒｉに対して離散コサイン変換（ＤＣＴ）を実施する（ここで、ｉは、１から、画像のなかのブロックの総数であるＭまでの指数である）。
３．画像の中のブロックについて、ＤＣＴ係数行列Ｃｉに基づいてヒストグラム行列Ｈを作成する。行列Ｈの各指数の値を決定するための式は、以下のとおりである。
Figure 0005779720
ここで、ｉは、１から、画像の中のブロックの数であるＭまでの指数であり、Ｃｉ（ｋ）は、ｉ番目のブロックのＤＣＴ係数行列Ｃｉの中のｋ番目の要素の値であり、Ｎは、ブロックのサイズであり、ＤＣＴminは、既定の閾値である。
ヒストグラム行列Ｈは、Ｎ×Ｎ個の要素を有する行列であり、各要素の値は、式２を使用して算出され、Ｈｋでは、ブロックの、所定のＤＣＴminよりも大きいＤＣＴ係数Ｃｉ（ｋ）のみが足し合わされる。
４．加重行列Ｗと、各ブロックのヒストグラムとを使用して、前景の鮮明度を算出する。式は、以下のとおりである。
Figure 0005779720
ここで、Ｖmaxは、所定の閾値である。Ｗ（ｋ）及びＨｋは、指数ｋによって関係付けられる。式３における不等式もまた、条件である。条件Ｈ（ｋ）＞Ｖmax×Ｈ０を満たすｋ番目の要素について、対応するＷ（ｋ）がＳに加算される。Ｓは、鮮明度であり、これは、条件Ｈ（ｋ）＞Ｖmax×Ｈ０を満たすＷ（ｋ）要素の和である。
加重行列Ｗの行及び列の数は、ブロックのサイズである値Ｎに関係付けられる。例えば、Ｎ＝８の場合における、８×８加重行列Ｗの一例を、表１に示す。
Figure 0005779720
一部の実施形態では、特性パラメータの１つに、前景サイズ５２８が含まれる。前景サイズ５２８は、画像全体に対する前景の比を反映させるために使用される。一部の実施形態では、前景サイズ５２８は、画像の面積に対する前景面積の面積比として表される。一部の実施形態では、前景サイズは、前景の長さ及び幅として表される。一部の実施形態では、前景の長さ及び幅は、前景を取り巻く最小囲み矩形の長さ及び幅である。
画像の特性パラメータが決定されたら、それらは、画像の品質スコアを計算するために、予めトレーニングされた品質計算モデルに入力される。品質スコアは、検索結果のランク付け及びフィルタ処理を助けるために、プロセス３００などのプロセスによって使用される。
図６は、上述された画像品質分析方法に対応する画像品質分析システムの一実施形態を示すブロック図である。システムは、画像のターゲットゾーン及び背景ゾーンを決定するように構成された決定ユニット４１０と、上記ターゲットゾーン及び／又は背景ゾーンに基づいて特性パラメータを算出するように構成された第１の計算ユニット４２０と、算出された特性パラメータを既定の品質計算モデルのための入力値として取り、上記特性パラメータに対応する画像品質分析結果を算出するように構成された第２の計算ユニット４３０とを含む。
図７は、システム６００の決定ユニット６１０の一実施形態を示すブロック図である。図に示されるように、ユニット６１０は、画像に対して既定の面積比の外枠ゾーンを決定するように構成された第１の決定サブユニット５１０と、既定のｎ１個の色タイプの色ゾーンを得るために外枠ゾーンに対してクラスタ化を実施するように構成されたクラスタ化ユニット５２０と、上記ｎ１個の色タイプの色ゾーンにしたがって背景ゾーンのシードゾーンを決定するように構成された第２の決定サブユニット５３０と、シードゾーンを中心ととらえ、該シードゾーンに隣接する全ての画素と隣接シードゾーンのなかの画素との間の色ベースユークリッド距離が画像標準偏差の既定の倍数よりも大きくなるまで、シードゾーンに隣接する各画素と隣接シードゾーンのなかの画素との間の色ベースユークリッド距離が画像標準偏差の既定の倍数以下であることが確認されたときにそれらの画素をシードゾーンに加えるように構成された成長サブユニット５４０と、全てのシードゾーンを画像の背景ゾーンとして、そして全てのシードゾーン以外のゾーンを画像ターゲットゾーンとしてとらえるように構成された第３の決定サブユニット５５０とを含む。
好ましくは、図７に示されるように、第２の決定サブユニット７３０は、ｎ１個の色タイプの各色ゾーンの、外枠ゾーンに対する面積比を算出し、面積比が面積比閾値を超えるｎ２個の色タイプの色ゾーンを選択するように構成された第１の計算サブモジュール５３０１と、ｎ２個の色タイプの各色ゾーンのゾーン平坦度を算出し、平坦度が平坦度閾値を超えるｎ３個の色タイプの色ゾーンを選択し、それらのｎ３個の色タイプの色ゾーンをシードゾーンとしてとらえるように構成された第２の計算サブモジュール５３０２とを含む。ここで、ｎ１≧ｎ２≧ｎ３であり、ｎ２及びｎ３は自然数である。
一部の実施形態では、画像の特性パラメータは、背景複雑性、前景−背景コントラスト、全体解像度、及び製品サイズのうちの１つ以上を含む。
第１の計算ユニット６２０は、第１の計算サブユニットを含む。該第１の計算サブユニットは、上記背景ゾーンにしたがって背景ゾーンから平均勾配値を抽出し、この平均勾配値を背景複雑性の数値としてとらえるように構成される。
一部の実施形態では、第１の計算サブユニットは、画像について勾配の大きさのグラフＧを得るためにＳｏｂｅｌ演算子を使用し、背景ゾーンの勾配の大きさの合計と、Ｓｇと、背景ゾーンのなかの画素の数Ｐｎとを推定するために勾配の大きさのグラフＧを使用し、背景ゾーンについての平均勾配Ｔを算出するために勾配の大きさの合計ｓｇと、画素数Ｐｎとを使用する。式は、Ｔ＝Ｓｇ／Ｐｎである。
第１の計算サブユニット６２０は、更に、第２の計算ユニットを含む。該第２の計算ユニットは、既定のｎ個のタイプの色ゾーンを得るためにターゲットゾーンに対してクラスタ化を実施し、ターゲットゾーンに対する各タイプの色ゾーンの面積比Ａｉを計算する。ｉは、１以上で且つｎ以下である。第２の計算ユニットは、また、既定のｍ個のタイプの色ゾーンを得るために背景ゾーンにクラスタ化を施し、ターゲットゾーンに対する各タイプの色ゾーンの面積比Ｄｊを算出する。ｊは、１以上で且つｍ以下である。第２の計算ユニットは、更に、ターゲットゾーンのなかの各タイプの色と、背景ゾーンのなかの各タイプの色との間のユークリッド距離Ｌｉｊを算出し、当該色間のユークリッド距離と、色の比とを使用して上記前景−背景コントラストを算出する。
Figure 0005779720
第１の計算ユニット６２０は、更に、第３の計算サブユニットを含む。この第３の計算サブユニットは、ターゲットゾーンを既定のサイズの画像ブロックに分割し、画像ブロックについてのＤＣＴ係数行列を得るために各画像ブロックの画素値に対してＤＣＴ変換を実施し、各画像ブロックについてのＤＣＴ係数行列に基づいて画像ブロックに対応するヒストグラムを作成し、各画像ブロックのヒストグラムと加重行列とに基づいてターゲットゾーンの全体解像度を算出する。
第１の計算ユニット６２０は、更に、第４の計算サブユニットを含む。この第４の計算サブユニットは、ターゲットゾーンの面積と、画像ゾーン全体の総面積とを決定し、画像ゾーンに対するターゲットゾーンの面積比を算出する、及び／又はターゲットゾーンのなかの最小囲み矩形を算出し、当該矩形の長さ及び幅を得る。
好ましくは、図６に示されるように、システム６００は、更に、トレーニングユニット４４０を含む。このトレーニングユニットは、特定の品質の画像をトレーニングサンプルとして選択し、上記画像のそれぞれから特性パラメータを抽出し、各画像の画像品質分析結果を予め設定し、上記画像の特性パラメータ及び画像品質分析結果に基づいてトレーニングを行い、入力として画像特性パラメータを及び出力として画像品質分析結果を使用するＳＶＭ適合モデルをトレーニングして仕上げ、このＳＶＭ適合モデルを上記既定の品質計算モデルとして使用する。
図６及び図７に示されている画像品質分析システムでは、決定ユニットは、画像のターゲットゾーン及び背景ゾーンを決定し、第１の計算ユニットは、上記ターゲットゾーン及び／又は背景ゾーンに基づいて画像の特性パラメータを算出し、第２の計算ユニットは、算出された特性パラメータに対応する画像品質分析結果を得るために上記特性パラメータを既定の品質計算モデルに入力する。このようにして、画像の品質分析が実現される。
本出願の実施形態の画像品質分析方法及び画像品質分析システムは、図１に示されているネットワークシステムのみならず、それ以外にも適用することができる。これらの方法及びシステムは、例えば、製品画像の品質分析を店主に提供するために商業会場に直接にインストールされたクライアントなどの、その他の環境における画像品質分析にも適用することができる。
したがって、上述された本出願の実施形態における製品画像品質分析方法を使用して得られる製品画像品質分析結果は、ウェブサイトサーバの製品検索プロセスに適用することができる。これらの結果は、ウェブサイトサーバが製品検索を行うときの製品検索結果を更に選別するための基準として機能することができる。上記は、製品検索の単なる一例に過ぎず、この技術は、その他の形態のターゲット画像検索に適用可能である。一部の実施形態では、画像品質分析結果が計算された後、ウェブサイトサーバは、ユーザ検索リクエストを受信し、この検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る。ウェブサーバは、更に、ターゲット検索結果の中で各ターゲットの画像品質分析結果が既定の分析結果閾値を超えているかどうかを相次いで査定し、超えていない場合には、そのターゲットに対応する情報は、検索結果のリストから除外され、ユーザに対して提示されず、超えていない場合には、その製品に対応する情報は、検索結果のリストの中に維持され、ユーザに対して提示することができる。
一部の実施形態では、検索結果を選別する代わりに、ウェブサイトサーバは、上記査定ステップを、各ターゲットの画像品質分析結果に基づいてターゲット検索結果をランク付けしてこれらのランク付けされた検索結果をユーザに対して提示することに置き換える。
一部の実施形態では、ターゲットが、複数のターゲット画像に相当している。このような状況では、ターゲットに対応する画像についての品質分析結果に基づいて、ターゲットについての画像品質分析結果を算出することができる。例えば、品質スコアの平均（average）又は相加平均（mean）が算出されるだろう。
一部の実施形態では、システム６００又は７００は、更に、ユーザ検索リクエストを受信し、該検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る検索ユニットと、ターゲットに対応する各画像の品質分析結果に基づいて、ターゲットに対応する画像品質分析結果を算出する第３の計算ユニットと、ターゲット検索結果の中で各ターゲットの画像品質分析結果が既定の分析結果閾値を超えているかどうかを相次いで査定し、超えていない場合には、そのターゲットに対応する情報をターゲット検索結果から除外し、超えている場合には、そのターゲット情報をターゲット検索結果の中に維持する査定ユニットと、を含む。
一部の実施形態では、システム６００又は７００は、更に、ユーザ検索リクエストを受信し、この検索リクエストによってもたらされるターゲット特性情報に基づいてターゲット検索を行って、ターゲット検索結果を得る検索ユニットを含む。
一部の実施形態では、システム６００又は７００は、更に、ターゲットに対応する各画像の品質分析結果に基づいて、ターゲットに対応する画像品質分析結果を算出する第３の計算ユニットを含む。
一部の実施形態では、システム６００又は７００は、更に、ターゲットに画像品質分析結果に基づいてターゲット検索結果をランク付けするランク付けユニットを含む。
上述されたユニット及び／又はモジュールは、１つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、又はプログラム可能論理装置及び／若しくは特定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、又はそれらの組み合わせとして実装することができる。一部の実施形態では、モジュールは、本発明の実施形態に記載された方法を（パソコン、サーバ、ネットワーク機器などの）計算装置に実行させるための幾つかの命令を含み尚且つ（光ディスク、フラッシュストレージデバイス、モバイルハードディスクなどの）不揮発性のストレージ媒体に記憶させることができるソフトウェア製品の形で具現化することができる。モジュールは、１つのデバイスに実装されてよい、又は複数のデバイスに分散されてよい。モジュールの機能は、互いに合体されてよい、又は複数の小モジュールに更に分割されてよい。
本出願の実施形態における画像品質分析方法及び画像品質分析システムの応用例では、ウェブサイトサーバは、ターゲット検索を行うときに、ターゲット画像品質分析結果にしたがってターゲット検索結果を選別する又はランク付けする。結果は、ユーザによって閲覧される全てのターゲット、又はユーザによって初めに閲覧される初めのターゲットが、より優れた画像品質を有する。この手法は、画像品質が劣るターゲットをユーザが閲覧する頻度を減らす。これは、そうして、クライアント及びウェブサイトサーバによって使い切られる伝送帯域幅を少なくし、ネットワーク伝送リソースを節約する。更に、クライアントとウェブサイトサーバとの間における相互作用の回数が少なくなり、また、ウェブサイトサーバにかかるデータ処理の負担も軽減される。これは、データ処理の速度及びウェブサイトサーバの効率を向上させる。
以上の実施形態は、理解を明瞭にすることを目的として幾らか詳細に説明されてきたが、本発明は、与えられた詳細に限定されない。本発明を実現するには、多くの代替的手法がある。開示された実施形態は、例示的なものであり、非限定的である。
適用例１：方法であって、１つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定することであって、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアを算出することは、予めトレーニングされた画像品質計算モデルを使用することを含む、こと、を含む、画像に関連する画像品質スコアを決定することと、検索クエリに応えて、一連の画像を含む一連の検索結果を作成することと、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づくこと、を備える方法。
適用例２：適用例１に記載の方法であって、前記画像の前景及び背景を決定することは、前記画像の縁からの既定値を使用して、前記画像の外枠ゾーンを決定し、複数の色ゾーンを得るために、前記外枠ゾーンのなかの画素をクラスタ化し、各色ゾーンは、色タイプに対応しており、シードゾーンを決定し、前記画像の前記背景を得るために、前記シードゾーンを拡張させ、前記前景を決定すること、を含む、方法。
適用例３：適用例２に記載の方法であって、前記シードゾーンを拡張させることは、中心としてのシードゾーンから始まって、前記シードゾーンに隣接する画素が所定の距離未満の色ベースユークリッド距離を有するかどうかを決定し、前記隣接画素が所定の距離未満である場合に、前記隣接画素を前記シードゾーンに加え、前記シードゾーンと隣接シードゾーンの画素との間の色ベースユークリッド距離が前記所定の距離以上になるまで、前記色ベースユークリッド距離に基づいて隣接画素を前記シードゾーンに加えることを繰り返すこと、を含む、方法。
適用例４：適用例２に記載の方法であって、シードゾーンを決定することは、前記外枠ゾーンの面積に対する各色ゾーンの面積比を算出し、面積比閾値を超える第２の複数の色ゾーンを決定し、前記第２の複数の色ゾーンの中の各色ゾーンのゾーン平坦度を決定し、前記第２の複数の色ゾーンの中から、色平坦度閾値を超える色ゾーンであるシードゾーンを決定することと、を含む、方法。
適用例５：適用例１に記載の方法であって、前記特性パラメータは、前記背景の平均勾配値である背景複雑性を含む、方法。
適用例６：適用例１に記載の方法であって、前記特性パラメータは、前景−背景コントラストを含む、方法。
適用例７：適用例６に記載の方法であって、前景−背景コントラストは、前記前景の前景色ゾーンを決定し、各前景色ゾーンの面積と前記前景の面積との間の面積比を算出し、背景色ゾーンを決定し、各背景色ゾーンの面積と前記前景の面積との間の面積比を算出し、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離を算出し、前記ユークリッド色ベース距離及び前記面積比に基づいて、前記前景−背景コントラストを決定することによって決定され、前記前景−背景コントラストは、式
Figure 0005779720
 を使用して算出され、ここで、Ｍは、前記前景−背景コントラストであり、Ｌｉｊは、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離であり、Ａｉは、前記前景の面積に対する前記前景色ゾーンの面積比であり、Ｄｊは、前記前景の面積に対する前記背景色ゾーンの面積比である、方法。
適用例８：適用例１に記載の方法であって、前記特性パラメータは、鮮明度を含み、前記鮮明度は、前記前景を所定のサイズのブロックに分割し、各ブロックについてＤＣＴ係数行列を得るために、各ブロックの画素値に対して離散コサイン変換（ＤＣＴ）を実行し、各ブロックについての前記ＤＣＴ係数行列に基づいて、各ブロックについてのヒストグラムを作成し、各ブロックの前記ヒストグラムと、加重行列とに基づいて、前記前景の鮮明度を算出すること、によって決定される、方法。
適用例９：適用例１に記載の方法であって、前記特性パラメータは、前景サイズを含む、方法。
適用例１０：適用例９に記載の方法であって、前記前景サイズは、前記前景の面積及び前記画像の総面積を決定し、前記画像の面積に対する前記前景の面積比を算出すること、によって決定される、方法。
適用例１１：適用例９に記載の方法であって、前記前景サイズは、前記前景の最小囲み矩形を決定し、前記最小囲み矩形の長さ及び幅を決定することし、によって決定される、方法。
適用例１２：適用例１に記載の方法であって、前記画像品質計算モデルは、サポートベクトルマシン（ＳＶＭ）を含む、方法。
適用例１３：適用例１２に記載の方法であって、前記画像品質計算モデルは、複数のトレーニング画像を選択し、前記トレーニング画像から特性パラメータを抽出し、前記トレーニング画像に対応する画像品質スコアを設定し、トレーニング画像について抽出された特性パラメータと同様な特性パラメータを有する新しい画像が前記画像品質計算モデルに入力されたときに、前記トレーニング画像と同様な画像品質スコアがもたらされるように、前記トレーニング画像の前記抽出された特性パラメータと、前記対応する画像品質スコアとを使用して、前記サポートベクトルマシンをトレーニングすることによってトレーニングされている、方法。
適用例１４：適用例１に記載の方法であって、前記画像についての前記画像品質スコアは、前記検索クエリが受信される前に算出される、方法。
適用例１５：システムであって、１つ以上のプロセッサであって、１つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定し、前記画像に関連する画像品質スコアを決定することは、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアの算出は、予めトレーニングされた画像品質計算モデルを使用することを含むこと、を含み、検索クエリに応えて、一連の画像を含む一連の検索結果を作成し、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づき、前記１つ以上のプロセッサに接続され、前記１つ以上のプロセッサに命令を提供するように構成されている１つ以上のメモリと、を備える、システム。
適用例１６：非一時的なコンピュータ読み取り可能ストレージ媒体に実装されたコンピュータプログラム製品であって、１つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定するためのコンピュータ命令と、画像品質スコアの決定は、前記画像の前景及び背景を決定し、前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出し、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアを算出することは予めトレーニングされた画像品質計算モデルを使用することを含む、ことを含み、検索クエリに応えて、一連の画像を含む一連の検索結果を作成するためのコンピュータ命令と、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づく、ことを備えるコンピュータプログラム製品。

Claims (15)

  1. 方法であって、
    １つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定することであって、
    前記画像の前景及び背景を決定することであって、
    前記画像の縁からの既定値を使用して、前記画像の外枠ゾーンを決定し、
    複数の色ゾーンを得るために、前記外枠ゾーンのなかの画素をクラスタ化し、各色ゾーンは、色タイプに対応しており、
    シードゾーンを決定し、
    前記画像の前記背景を得るために、前記シードゾーンを拡張させ、
    前記前景を決定することを備える、前記画像の前景及び背景を決定すること、
    前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出すること、
    少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアを算出することは、予めトレーニングされた画像品質計算モデルを使用することを含む、こと、
    を含む、画像に関連する画像品質スコアを決定することと、
    検索クエリに応えて、一連の画像を含む一連の検索結果を作成することと、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づくこと、
    を備える方法。
  2. 請求項１に記載の方法であって、
    前記シードゾーンを拡張させることは、
    中心としてのシードゾーンから始まって、前記シードゾーンに隣接する画素が所定の距離未満の色ベースユークリッド距離を有するかどうかを決定し、
    前記隣接画素が所定の距離未満である場合に、前記隣接画素を前記シードゾーンに加え、
    前記シードゾーンと隣接シードゾーンの画素との間の色ベースユークリッド距離が前記所定の距離以上になるまで、前記色ベースユークリッド距離に基づいて隣接画素を前記シードゾーンに加えることを繰り返すこと、
    を含む、方法。
  3. 請求項１に記載の方法であって、
    シードゾーンを決定することは、
    前記外枠ゾーンの面積に対する各色ゾーンの面積比を算出し、
    面積比閾値を超える第２の複数の色ゾーンを決定し、
    前記第２の複数の色ゾーンの中の各色ゾーンのゾーン平坦度を決定し、
    前記第２の複数の色ゾーンの中から、色平坦度閾値を超える色ゾーンであるシードゾーンを決定することと、
    を含む、方法。
  4. 請求項１に記載の方法であって、
    前記特性パラメータは、前記背景の平均勾配値である背景複雑性を含む、方法。
  5. 請求項１に記載の方法であって、
    前記特性パラメータは、前景−背景コントラストを含む、方法。
  6. 請求項５に記載の方法であって、
    前景−背景コントラストは、
    前記前景の前景色ゾーンを決定し、各前景色ゾーンの面積と前記前景の面積との間の面積比を算出し、
    背景色ゾーンを決定し、各背景色ゾーンの面積と前記前景の面積との間の面積比を算出し、
    各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離を算出し、
    前記ユークリッド色ベース距離及び前記面積比に基づいて、前記前景−背景コントラストを決定することによって決定され、前記前景−背景コントラストは、式
    Figure 0005779720
     を使用して算出され、ここで、Ｍは、前記前景−背景コントラストであり、Ｌｉｊは、各前景色ゾーンと各背景色ゾーンとの間のユークリッド色ベース距離であり、Ａｉは、前記前景の面積に対する前記前景色ゾーンの面積比であり、Ｄｊは、前記前景の面積に対する前記背景色ゾーンの面積比である、方法。
  7. 請求項１に記載の方法であって、
    前記特性パラメータは、鮮明度を含み、前記鮮明度は、
    前記前景を所定のサイズのブロックに分割し、
    各ブロックについてＤＣＴ係数行列を得るために、各ブロックの画素値に対して離散コサイン変換（ＤＣＴ）を実行し、
    各ブロックについての前記ＤＣＴ係数行列に基づいて、各ブロックについてのヒストグラムを作成し、
    各ブロックの前記ヒストグラムと、加重行列とに基づいて、前記前景の鮮明度を算出すること、によって決定される、方法。
  8. 請求項１に記載の方法であって、
    前記特性パラメータは、前景サイズを含む、方法。
  9. 請求項８に記載の方法であって、
    前記前景サイズは、
    前記前景の面積及び前記画像の総面積を決定し、
    前記画像の面積に対する前記前景の面積比を算出すること、によって決定される、方法。
  10. 請求項８に記載の方法であって、
    前記前景サイズは、
    前記前景の最小囲み矩形を決定し、
    前記最小囲み矩形の長さ及び幅を決定することし、によって決定される、方法。
  11. 請求項１に記載の方法であって、
    前記画像品質計算モデルは、サポートベクトルマシン（ＳＶＭ）を含む、方法。
  12. 請求項１１に記載の方法であって、
    前記画像品質計算モデルは、
    複数のトレーニング画像を選択し、
    前記トレーニング画像から特性パラメータを抽出し、
    前記トレーニング画像に対応する画像品質スコアを設定し、
    トレーニング画像について抽出された特性パラメータと同様な特性パラメータを有する新しい画像が前記画像品質計算モデルに入力されたときに、前記トレーニング画像と同様な画像品質スコアがもたらされるように、前記トレーニング画像の前記抽出された特性パラメータと、前記対応する画像品質スコアとを使用して、前記サポートベクトルマシンをトレーニングすることによってトレーニングされている、方法。
  13. 請求項１に記載の方法であって、
    前記画像についての前記画像品質スコアは、前記検索クエリが受信される前に算出される、方法。
  14. システムであって、
    １つ以上のプロセッサであって、
    １つ以上のプロセッサを使用して、画像に関連する画像品質スコアを決定し、前記画像に関連する画像品質スコアを決定することは、
    前記画像の前景及び背景を決定することであって、
    前記画像の縁からの既定値を使用して、前記画像の外枠ゾーンを決定し、
    複数の色ゾーンを得るために、前記外枠ゾーンのなかの画素をクラスタ化し、各色ゾーンは、色タイプに対応しており、
    シードゾーンを決定し、
    前記画像の前記背景を得るために、前記シードゾーンを拡張させ、
    前記前景を決定することを備える、前記画像の前景及び背景を決定すること、
    前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出すること、
    少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出し、前記画像品質スコアの算出は、予めトレーニングされた画像品質計算モデルを使用することを含むこと、を含み、
    検索クエリに応えて、一連の画像を含む一連の検索結果を作成し、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づき、
    前記１つ以上のプロセッサに接続され、前記１つ以上のプロセッサに命令を提供するように構成されている１つ以上のメモリと、
    を備える、システム。
  15. コンピュータプログラムであって、
    画像に関連する画像品質スコアを決定するための機能であって、
    前記画像の前景及び背景を決定することであって、
    前記画像の縁からの既定値を使用して、前記画像の外枠ゾーンを決定し、
    複数の色ゾーンを得るために、前記外枠ゾーンのなかの画素をクラスタ化し、各色ゾーンは、色タイプに対応しており、
    シードゾーンを決定し、
    前記画像の前記背景を得るために、前記シードゾーンを拡張させ、
    前記前景を決定することを備える、前記画像の前景及び背景を決定すること、
    前記前景及び前記背景に基づいて、前記画像の１つ以上の特性パラメータのセットを算出すること、
    予めトレーニングされた画像品質計算モデルを使用することを含む、少なくとも一部には、前記特性パラメータのセットに基づいて、前記画像品質スコアを算出すること、
    を含む画像に関連する画像品質スコアを決定するための機能と、
    検索クエリに応えて、一連の画像を含む一連の検索結果を作成するための機能と、をコンピュータによって実現させ、前記画像を含めること又は前記検索結果をランク付けすることは、少なくとも一部には、前記一連の画像に関連する画像品質スコアに基づく、
    コンピュータプログラム。
JP2014527366A 2011-09-23 2012-09-21 検索のための画像品質分析 Expired - Fee Related JP5779720B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201110286895.6 2011-09-23
CN201110286895.6A CN103020947B (zh) 2011-09-23 2011-09-23 一种图像的质量分析方法及装置
US13/623,469 2012-09-20
US13/623,469 US8897604B2 (en) 2011-09-23 2012-09-20 Image quality analysis for searches
PCT/US2012/056558 WO2013044019A1 (en) 2011-09-23 2012-09-21 Image quality analysis for searches

Publications (2)

Publication Number Publication Date
JP2014524631A JP2014524631A (ja) 2014-09-22
JP5779720B2 true JP5779720B2 (ja) 2015-09-16

Family

ID=47969514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014527366A Expired - Fee Related JP5779720B2 (ja) 2011-09-23 2012-09-21 検索のための画像品質分析

Country Status (8)

Country Link
US (2) US8897604B2 (ja)
EP (2) EP2833324B1 (ja)
JP (1) JP5779720B2 (ja)
CN (1) CN103020947B (ja)
ES (1) ES2661612T3 (ja)
HK (1) HK1179035A1 (ja)
TW (1) TWI532013B (ja)
WO (1) WO2013044019A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977629B2 (en) 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
US20140226907A1 (en) * 2013-02-14 2014-08-14 Google Inc. Automated detection of distracting images
US9167048B2 (en) 2013-03-14 2015-10-20 Motorola Solutions, Inc. Method and apparatus for filtering devices within a security social network
US9386050B2 (en) 2013-03-14 2016-07-05 Motorola Solutions, Inc. Method and apparatus for filtering devices within a security social network
US20140267707A1 (en) * 2013-03-14 2014-09-18 Motorola Solutions, Inc. Method and apparatus for filtering devices within a security social network
CN104240228B (zh) 2013-06-24 2017-10-24 阿里巴巴集团控股有限公司 一种应用于网站的特定图片的检测方法及装置
US20150134302A1 (en) 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs
CN104837007B (zh) * 2014-02-11 2018-06-05 阿里巴巴集团控股有限公司 一种数字图像质量分级的方法和装置
US10026010B2 (en) * 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
US9747556B2 (en) * 2014-08-20 2017-08-29 Vertafore, Inc. Automated customized web portal template generation systems and methods
US10660533B2 (en) * 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US20160092956A1 (en) 2014-09-30 2016-03-31 Jonathan Su Garment size mapping
CN104598921A (zh) * 2014-12-31 2015-05-06 乐视网信息技术（北京）股份有限公司 视频预览图的选取方法及选取装置
CN104581379A (zh) * 2014-12-31 2015-04-29 乐视网信息技术（北京）股份有限公司 视频预览图的选取方法及选取装置
CN105205361B (zh) * 2015-08-26 2018-08-14 努比亚技术有限公司 一种图像筛选方法和装置
CN105389780A (zh) * 2015-10-28 2016-03-09 维沃移动通信有限公司 一种图像处理方法及移动终端
US10410330B2 (en) * 2015-11-12 2019-09-10 University Of Virginia Patent Foundation System and method for comparison-based image quality assessment
US9922411B2 (en) * 2015-11-30 2018-03-20 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN106991095B (zh) * 2016-01-21 2021-09-28 阿里巴巴集团控股有限公司 机器异常的处理方法、学习速率的调整方法及装置
CN106127752A (zh) * 2016-06-20 2016-11-16 北京小米移动软件有限公司 图像质量分析方法和装置
CN106686308B (zh) * 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
US10467507B1 (en) * 2017-04-19 2019-11-05 Amazon Technologies, Inc. Image quality scoring
CN107274391A (zh) * 2017-06-07 2017-10-20 梧州市兴能农业科技有限公司 一种水下图像目标提取系统
US20190147620A1 (en) * 2017-11-14 2019-05-16 International Business Machines Corporation Determining optimal conditions to photograph a point of interest
CN107958455B (zh) * 2017-12-06 2019-09-20 百度在线网络技术（北京）有限公司 图像清晰度评估方法、装置、计算机设备及存储介质
CN108875518A (zh) * 2017-12-15 2018-11-23 北京旷视科技有限公司 图像处理与图像分类方法、装置和系统及存储介质
CN108447058B (zh) * 2018-03-30 2020-07-14 北京理工大学 一种图像质量评价方法及系统
US10747811B2 (en) * 2018-05-22 2020-08-18 Adobe Inc. Compositing aware digital image search
CN109376592B (zh) * 2018-09-10 2021-04-27 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
CN109410169B (zh) * 2018-09-11 2020-06-05 广东智媒云图科技股份有限公司 一种图像背景干扰度的识别方法及装置
US10445915B1 (en) * 2019-04-09 2019-10-15 Coupang Corp. Systems and methods for efficient management and modification of images
US11397977B1 (en) 2019-06-26 2022-07-26 Block, Inc. Integration of image capturing mechanism into ecommerce application
KR102350192B1 (ko) * 2019-07-19 2022-01-17 한국과학기술연구원 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템
CN112435159A (zh) * 2019-08-26 2021-03-02 珠海金山办公软件有限公司 一种图像处理的方法、装置、计算机存储介质及终端
CN110796624B (zh) * 2019-10-31 2022-07-05 北京金山云网络技术有限公司 一种图像生成方法、装置及电子设备
CN110969602B (zh) * 2019-11-26 2023-09-05 北京奇艺世纪科技有限公司 一种图像清晰程度检测方法及装置
CN111212223B (zh) * 2020-01-10 2021-01-22 奥比中光科技集团股份有限公司 一种设定成像参数的方法、系统及计算机可读存储介质
US11803896B2 (en) * 2020-03-17 2023-10-31 Ebay Inc. Method, system, and medium for network and speed enhancement for distributing unified images via a computer network
CN113205011A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像掩膜确定方法及装置、存储介质和电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5048095A (en) 1990-03-30 1991-09-10 Honeywell Inc. Adaptive image segmentation system
JP3063073B2 (ja) * 1995-06-30 2000-07-12 富士ゼロックス株式会社 画像解析表現付加装置
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6816847B1 (en) * 1999-09-23 2004-11-09 Microsoft Corporation computerized aesthetic judgment of images
US6839466B2 (en) 1999-10-04 2005-01-04 Xerox Corporation Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding
US6473522B1 (en) 2000-03-14 2002-10-29 Intel Corporation Estimating text color and segmentation of images
US6587576B1 (en) * 2000-05-17 2003-07-01 Ncr Corporation Method of quantifying the quality of a gray scale image of a document and an apparatus therefor
US6965684B2 (en) 2000-09-15 2005-11-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US20030123737A1 (en) 2001-12-27 2003-07-03 Aleksandra Mojsilovic Perceptual method for browsing, searching, querying and visualizing collections of digital images
US7512286B2 (en) 2003-10-27 2009-03-31 Hewlett-Packard Development Company, L.P. Assessing image quality
US7672491B2 (en) 2004-03-23 2010-03-02 Siemens Medical Solutions Usa, Inc. Systems and methods providing automated decision support and medical imaging
US7467222B2 (en) 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US7958067B2 (en) 2006-07-12 2011-06-07 Kofax, Inc. Data classification methods using machine learning techniques
JP2008052672A (ja) * 2006-08-28 2008-03-06 Oki Electric Ind Co Ltd 価格情報検索装置、価格情報検索システム及び価格情報検索方法
US8090222B1 (en) * 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
KR100833987B1 (ko) 2006-11-16 2008-05-30 한국전자통신연구원 영상 검색 장치 및 그 방법
EP2137696A2 (en) 2007-03-16 2009-12-30 STI Medical Systems, LLC A method to provide automated quality feedback to imaging devices to achieve standardized imaging data
TW200840365A (en) 2007-03-23 2008-10-01 Ind Tech Res Inst Motion-blur degraded image restoration method
US8446652B2 (en) * 2007-05-17 2013-05-21 Ancestry.com Operations, Inc. Image quality monitoring and tagging at scan time
US8086007B2 (en) 2007-10-18 2011-12-27 Siemens Aktiengesellschaft Method and system for human vision model guided medical image quality assessment
US8270695B2 (en) 2008-10-07 2012-09-18 Carestream Health, Inc. Diagnostic image processing with automatic self image quality validation
JP4747219B2 (ja) * 2009-04-08 2011-08-17 キヤノン株式会社 画像処理装置、画像処理方法
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8370282B1 (en) * 2009-07-22 2013-02-05 Google Inc. Image quality measures
US8311364B2 (en) * 2009-09-25 2012-11-13 Eastman Kodak Company Estimating aesthetic quality of digital images
US8675957B2 (en) * 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item

Also Published As

Publication number Publication date
HK1179035A1 (zh) 2013-09-19
CN103020947A (zh) 2013-04-03
US9176989B2 (en) 2015-11-03
TW201314628A (zh) 2013-04-01
US20150043810A1 (en) 2015-02-12
US8897604B2 (en) 2014-11-25
WO2013044019A1 (en) 2013-03-28
EP2833324A1 (en) 2015-02-04
US20130108152A1 (en) 2013-05-02
CN103020947B (zh) 2016-04-06
ES2661612T3 (es) 2018-04-02
EP2833324B1 (en) 2017-12-06
JP2014524631A (ja) 2014-09-22
TWI532013B (zh) 2016-05-01
EP2758939A1 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
JP5779720B2 (ja) 検索のための画像品質分析
Li et al. No-reference image quality assessment using Prewitt magnitude based on convolutional neural networks
US8744180B2 (en) System and process for automatically finding objects of a specific color
Mavridaki et al. A comprehensive aesthetic quality assessment method for natural images using basic rules of photography
JP6495254B2 (ja) 視覚的注意モデリングの結果の提示
US20210264161A1 (en) Systems and methods for image or video performance heat map generation
EP3196758B1 (en) Image classification method and image classification apparatus
US8213741B2 (en) Method to generate thumbnails for digital images
CN103578098B (zh) 在商品图片中提取商品主体的方法和装置
Hu et al. Subjective and objective quality assessment for image restoration: A critical survey
Sun et al. Photo aesthetic quality estimation using visual complexity features
CN109829364A (zh) 一种表情识别方法、装置和推荐方法、装置
Wang et al. Distortion recognition for image quality assessment with convolutional neural network
Joshi et al. Retina inspired no-reference image quality assessment for blur and noise
Frosio et al. Adaptive segmentation based on a learned quality metric.
Xue et al. Investigation of the role of aesthetics in differentiating between photographs taken by amateur and professional photographers
Constantin et al. Content description for Predicting image Interestingness
Goswami et al. Assessing product image quality for online shopping
CN111651633A (zh) 一种视频封面选取方法和系统
US20120251000A1 (en) System and method for effectively performing an integrated segmentation procedure
Yao et al. Rank learning for dehazed image quality assessment
CN104867026A (zh) 提供商品图像的方法和系统以及输出商品图像的终端装置
Prasad et al. A compact mobile image quality assessment using a simple frequency signature
Mary et al. Content based image retrieval using colour, multi-dimensional texture and edge orientation
Zhu et al. Content-based image categorization and retrieval using neural networks

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150713

R150 Certificate of patent or registration of utility model

Ref document number: 5779720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees