JP5846517B2 - 画像構図変更の品質評価 - Google Patents

Description

関連出願の記載
本願は、発明の名称を「画像構図変更の品質評価」とした２０１２年１２月１３日出願の米国非仮特許出願第１３／７１３，１１０号の利益を主張し、引用によりその全体が再掲されたかのように本明細書に組み込む。

多種多様なスクリーン・サイズと解像度を含む多種多様なモバイルの存在により、画像構図変更の必要性が増している。画像構図変更は、画像をリサイズするためのアルゴリズムを含むことがある。単一の画像は、様々なユーザ装置（ＵＥ）のスクリーンで使用するための複数の解像度に構図変更されうる。画像構図変更により、画像データの欠落、形状歪み、またはその両方が生ずるおそれがあり、好ましくない画像が生じうる。

画像データの紛失および／または破壊を最小限にしようとして様々な画像構図変更アルゴリズムが開発されてきたが、どの画像構図変更アルゴリズムも全ての場合において他の画像構図変更アルゴリズムより優れているわけではない。

１実施形態では、本発明は、原画像と構図変更画像を周波数領域で比較するステップであって、当該構図変更画像は前記原画像に対して構図変更アルゴリズムを実施することによって取得されるステップを含む、画像構図変更の品質評価を実施する方法を含む。

別の実施形態では、本発明は、画像構図変更の品質評価を実施し、原画像と原画像に対して構図変更アルゴリズムを実施することによって取得される構図変更画像とを空間領域で比較するように構成されたプロセッサであって、原画像と構図変更画像を空間領域で比較することは、原画像と構図変更画像を比較して、画像間の形状歪みの量を決定するステップを含むプロセッサを備えた装置を含む。

別の実施形態では、本発明はまた、複数の構図変更画像に対して複数の画像構図変更の品質評価スコア・ベクトルを計算し、実験データを用いて適応的に画像構図変更の品質評価スコア融合モデルを学習するように構成されたプロセッサを備えた装置を含む。

これらおよび他の特徴は、添付図面と特許請求の範囲と関連して下記の詳細な説明を検討すればより明らかに理解される。

本発明をより完全に理解するために、以下で簡単な説明を添付図面および詳細な説明と関連して行う。添付図面と詳細な説明では同じ参照番号は同じ部分を表す。

画像構図変更の品質評価のためのシステムの略図である。 例示的な画像の１実施形態の図である。 周波数領域品質スコアを決定するための方法の流れ図である。 周波数領域係数分布の１実施形態のグラフを示す図である。 形状歪み品質スコアを決定するための方法の流れ図である。 例示的な画素変位ベクトルのグラフを示す図である。 局所内容品質スコアを決定するための方法の流れ図である。 グローバル内容品質スコアを決定するための方法の流れ図である。 品質スコア融合モデルを適応的に学習するための方法の流れ図である。 ネットワーク要素（ＮＥ）の１実施形態の略図である。 ＵＥの１実施形態の略図である。

先ず、１つまたは複数の実施形態の例示的な実装を以下で提供するが、開示したシステムおよび／または方法を、現在公知であるかまたは現存するかに関わらず、任意数の技術を用いて実装してもよいことは理解される。本開示は決して、本明細書で図示し説明した例示的な設計と実装形態を含む、後述する例示的な実装形態、図面、および技術には限定されず、添付の特許請求の範囲においてその全範囲の均等物に沿って修正してもよい。

本明細書では、画像構図変更の品質評価を行って、どの構図変更アルゴリズムが、ユーザに最も魅力的である構図変更画像をもたらす可能性が最も高いかを判定する方法を開示する。画像の品質を評価する方法は、原画像と構図変更画像を周波数領域と空間領域の両方で比較するステップを含む。両方の画像を周波数領域に変換し、係数の観点から記述してもよい。係数の差分を、周波数領域品質スコア（Ｑ_ｆｓｃ）として量子化してもよい。空間領域では、スケール不変特徴変換（ＳＩＦＴ）アルゴリズムおよび／またはＳＩＦＴフロー・アルゴリズムを用いて形状歪みを測定して、原画像と構図変更画像の間の画素の変位度合を決定してもよい。結果の形状歪みを形状歪み品質スコア（Ｑ_ｓｓ）として量子化してもよい。空間領域において、視覚内容変化を局所内容品質スコア（Ｑ_ｓｌｃ）として局所的に量子化し、グローバル内容品質スコア（Ｑ_ｓｇｃ）としてグローバルに量子化してもよい。Ｑ_ｆｓｃ、Ｑ_ｓｓ、Ｑ_ｓｌｃ、およびＱ_ｓｇｃを共に使用して構図変更画像の品質を評価してもよい。品質スコアを重み付けして、全体品質スコア（Ｑ）を実現してもよい。全体品質の式における各品質スコアに与えられる正確な重みを、機械学習を用いて決定してもよい。全体のＱを使用して、構図変更アルゴリズムを自動的に評価し、複数の構図変更画像から最高品質の構図変更画像を自動的に選択してもよい。

図１は、画像構図変更の品質評価のためのシステム１００の略図である。システム１００を、ユーザ装置（ＵＥ）、ネットワーク要素（ＮＥ）、サーバ、および／または他のコンピュータのようなネットワーク装置で実装してもよい。システム１００は、原画像１１０と複数の関連する構図変更画像１１２を入力として受信してもよい。これらについては、図２と関連して説明され、メモリ１１５に格納してもよい。システム１００は、画像１１０と画像１１２を空間領域１３０と周波数領域１２０で比較してもよい。空間領域１３０は、２次元（２Ｄ）および／または３次元（３Ｄ）の視覚画像空間において画像を分析するための領域であってもよい。例えば、空間領域で分析した２Ｄ画像を、視覚２Ｄ空間における画素および／または他の視覚オブジェクトの座標および／または位置の点で分析してもよい。周波数領域１２０は、時間変動の点で画像を分析するための領域であってもよい。例えば、画像が、強度が変換する複数の色を含んでもよい。空間領域１３０にわたって繰り返し読み出すと、画像の色強度は時間とともに変化しうる。時間に伴うかかる変化を、周波数領域１２０で表現してもよい。

システム１００は、形状歪みと視覚内容変化を周波数領域１２０で比較してＱ_ｆｓｃを決定するように構成された形状歪み及び視覚内容変化測定ユニット１４０を備えてもよい。これについては、図３に関連して説明する。システム１００はまた、形状歪み測定ユニット１５０、局所視覚内容変化測定ユニット１６０、および、形状歪みと視覚内容変化を空間領域１３０で測定するように構成できるグローバル視覚内容変化測定ユニット１７０を備えてもよい。具体的には、形状歪み測定ユニット１５０を、形状歪みを測定してＱ_ｓｓを決定するように構成してもよい。これについては、図５と関連して説明する。局所視覚内容変化測定ユニット１６０を、局所視覚内容変化を測定してＱ_ｓｌｃを測定するように構成してもよい。これについては、図７と関連して説明する。グローバル視覚内容変化測定ユニット１７０を、グローバル視覚内容変化を測定してＱ_ｓｇｃを決定するように構成してもよい。これについては、図８と関連して説明する。システム１００はまた、ユニット１４０、１５０、１６０、および１７０からの品質スコアを統合して構図変更画像のＱを決定するように構成された品質因子統合ユニット１８０を備えてもよい。これについては、図９と関連して説明する。当該システムはまた、画像選択ユニット１９０を備えてもよい。画像選択ユニット１９０を、Ｑを使用して好適な構図変更画像を複数の構図変更画像から自動的に選択するように構成してもよい。

図２は、例示的な画像２００の１実施形態である。例示的な画像２００は、原画像２１０（原画像１１０であってもよい）、構図変更画像２２１および２２２（構図変更画像１１２であってもよい）、ならびに再構築画像２３０を備えてもよい。上述のように、様々なスクリーン・サイズ、解像度等を有するディスプレイを備える様々なＵＥおよび／または他の装置と関連して使用するための原画像を自動的に構図変更するのが有利であろう。例えば、システム１００が構図変更画像２２１と２２２の両方、および／または他の構図変更アルゴリズムから生じた他の画像を原画像２１０と比較して、どの画像をユーザが最も好む可能性が高いかを自動的に判定してもよい。

原画像２１０はユーザに表示できる原画像の１例である。システム、例えばシステム１００は、原画像２１０を表示のために構図変更してもよい。画像を小型のサイズに構図変更するために、システムは画素を除去し、画素を変位させ、またはそれらの組合せを行ってもよい。画素の除去はトリミングとも呼ばれ、データ紛失を生じさせうる。画素の変位は、画像の形状歪みを生じさせうる。構図変更画像２２１が、原画像２１０のトリミングの結果であってもよい。構図変更画像２２１は右側２２１ａと左側２２１ｂを比較してもよい。図２に示すように、構図変更画像２２１は、原画像２１０と比較すると、視覚形状歪みは最小であるかまたは全く存在しない。しかし、構図変更画像２２１では、原画像２１０と比較すると、右側２２１ａと左側２２１ｂの両側で視覚データが紛失するおそれがある。構図変更画像２２２は、シーム・カービング・アルゴリズムを用いて原画像２１０を構図変更した結果であってもよい。図２に示すように、構図変更画像２２２は原画像２１０と実質的に同一の視覚データを備えてもよい。しかし、構図変更画像２２２では、原画像２１０の画素が水平軸にシフトして画像２２２を圧縮し、視覚形状歪みをもたらすおそれがある。再構築画像２３０は、パッチ照合アルゴリズムまたは他の画像構築アルゴリズムを用いて原画像２１０を構図変更画像２２１から再構築し、画像パッチを構図変更画像２２１から再構築し、他の視覚データを原画像２１０から再構築した結果であってもよい。パッチ照合アルゴリズムが、構造編集のためのランダム一致アルゴリズム（ｒａｎｄｏｍｉｚｅｄ ｃｏｒｒｅｓｐｏｎｄａｎｃｅ ａｌｇｏｒｉｔｈｍ）であってもよい。パッチが画像の一部であってもよい。

図３は、例えば、形状歪み及び視覚内容変化測定ユニット１４０によりＱ_ｆｓｃを決定するための方法３００の流れ図である。ブロック３１０で、方法３００は、原画像１１０および／または２１０のような原画像、および構図変更画像１１２、２２１、および／または２２２のような構図変更画像を取得してもよい。ブロック３２０で、原画像を周波数領域に変換してもよく、ブロック３３０で、構図変更画像を周波数領域に変換してもよい。原画像と構図変更画像を、空間領域内の各画素を指定の距離にわたる強度値の変化として表現することによって、周波数領域に変換してもよい。変換を、フーリエ変換、離散ウェーブレット変換、または他の変換のような変換によって実現してもよい。画像を周波数領域に変換した結果、複数の係数、例えばｈａａｒウェーブレット、対角サブバンド等を用いて画像を記述することができる。

ブロック３４０で、原画像と構図変更画像の周波数係数を比較して、空間形状歪みや視覚内容変化のような空間領域内の画像間の差分を決定してもよい。例えば、原画像の周波数係数（ｆ_０）のヒストグラムを複数の均等に離間したビン（ｆ_０（ｉ））に分割してもよい。構図変更画像の周波数係数（ｆ_Ｒ）のヒストグラムを、ｆ_０（ｉ）に対応する複数の均等に離間したビン（ｆ_Ｒ（ｉ））に分割してもよい。当該周波数係数を、各ｆ_０（ｉ）のそれぞれの対応するｆ_Ｒ（ｉ）に対する比率の対数を合計し、ビンの数（Ｎ_ｆ）によって当該合計を除すことによって比較してもよい。１実施形態では、１００個のビンが存在しうる（例えば、Ｎ_ｆを１００の値に設定してもよい）。その結果が、周波数領域Ｑ_ｆｓｃにおける品質スコアであってもよい。Ｑ_ｆｓｃは、次式を用いて表現してもよい。

Ｑ_ｆｓｃを求める式が、２つの分布の差分を測定するために使用できるＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ発散に漸近的に接近してもよい。Ｑ_ｆｓｃの式は、３階、４方位の可変ピラミッド・ウェーブレット変換を適用して、画像を複数のサブバンドに配置してもよい。次いで、周波数領域の推定品質を、各サブバンド（Ｑ_{ｆｓｃ＿ｓｕｂ}）からのスコアを集約することによって導出してもよい。自然画像統計を使用して、使用する画像の種類に基づく空間領域内の原画像の画素分布を推定してもよい。自然画像推定は周波数領域では必要でなくともよい。なぜならば、その分布を原画像から直接計算できるからである。Ｑ_ｆｓｃを、人、自然景観、および／または建物や漫画などの人工物の画像のような画像に対して使用してもよい。Ｑ_ｆｓｃは、画像マッチングや画像再構築のようなプロセスに依存しなくともよく、したがって、関連する測定誤差を回避することができる。Ｑ_ｆｓｃを使用して、空間領域の品質スコアに固有な誤差を補償してもよい。

図４は、周波数領域係数分布の１実施形態のグラフ４００である。グラフ４００は、原画像周波数分布４０１（例えば、図２の２１０）、原画像のサイズを半分にするためのトリミングに基づく構図変更画像周波数分布４０２（例えば、図２の２２１）、原画像のサイズを半分にするためのシーム・カービングに基づく構図変更画像周波数分布４０３（例えば、図２の２２１）、および原画像のサイズを０．７５倍にするシーム・カービングに基づく構図変更画像周波数分布４０４（画像は図示せず）を含んでもよい。グラフ４００は係数軸および分布軸を含んでもよい。係数軸は、画像ウェーブレット変換係数の無単位値を表し、分布軸は、かかる係数のパーセント分布（例えば、ヒストグラム）を表してもよい。例えば、原画像周波数分布４０１においては、画像ウェーブレット変換係数の約１４パーセントがほぼゼロである。グラフ４００に示すように、原画像周波数分布４０１は、構図変更画像周波数分布４０２乃至４０４よりも高いパーセント頻度のほぼゼロの係数を含んでもよく、その差分は、周波数分布４０４で表した原画像と周波数分布４０２乃至４０４で表した構図変更画像の間の視覚データの変形をそれぞれ示してもよい。４０１と４０２乃至４０４の間の各差分を、各々の関連する構図変更画像のＱ_ｆｓｃとして測定してもよい。構図変更画像周波数分布が原画像周波数分布４０１に接近すると、関連するＱ_ｆｓｃはゼロに接近し、ますます高品質な構図変更画像を示す。

図５は、例えば形状歪み測定ユニット１５０により形状歪み品質スコアＱ_ｓｓを決定するための方法５００の流れ図である。ブロック５１０で、方法５００は原画像１１０および／または２１０のような原画像、構図変更画像１１２、２２１、および／または２２２のような構図変更画像を取得してもよい。ブロック５２０で、方法５００は原画像と構図変更画像の間の全ての不均一な画像変位を決定してもよい。具体的には、画像を別のサイズに構図変更するとき、画素を変位させて、課されたサイズ要件に対応してもよい。画像部を表示する１群の画素が構図変更の最中に均一に変位するときは、結果の構図変更画像は、原画像の部分と実質的に同一な視覚形状の画像部分を含むことができる。構図変更の最中に不均一な画素変位を受けた画像部分は、視覚形状歪みを生じさせるおそれがある。例えば、線が曲線になることがあり、円が楕円になる可能性がある、等である。ブロック５２０で、原画像からの画像パッチを空間領域において構図変更画像からの対応する画像パッチと比較して、各パッチにおける不均一な画素変位の量を決定することによって画像間の形状歪みの量を判定してもよい。対応関係を、ＳＩＦＴフロー・アルゴリズムを用いて決定してもよい。画素の変位を、各画素の垂直変位の二乗と各画素の水平変位の二乗の和の平方根をとることによって決定してもよい。

ブロック５３０で、方法５００は全ての不均一な画素変位を合計してＱ_ｓｓを決定してもよい。原画像からの各パッチの変位を合計し、原画像の画素数で除してＱ_ｓｓを決定してもよい。Ｑ_ｓｓを、次式を用いて表してもよい。

Ｖ_ｘ（ｐ）−Ｖ_ｘ（ｑ）とＶ_ｙ（ｐ）−Ｖ_ｙ（ｑ）は、それぞれ、原画像の位置ｐにある画素であってもよい。ここで、ｑは画素ｐの空間近傍εである。１１×１１の空間近傍を使用してもよい。なぜならば、近傍が狭すぎる場合には画素数が形状を形成するのに十分でないかもしれないし、近傍が広すぎる場合には画素が同一の視覚オブジェクトに属さないかもしれないからである。Ｎ_ｏは原画像の画素数であってもよい。Ｑ_ｓｓは構図変更画像の形状歪みを表してもよく、大きな値のＱ_ｓｓは、より凝集した形状歪みを表す。

図６は、例示的な画素変位ベクトルのグラフ６００を示す図である。グラフ６１０は、構図変更画像パッチの不均一な画素変位の１例をベクトル形式で示してもよい。グラフ６１０では、単一の画像パッチにおける画素を構図変更の最中に同一方向にシフトさせてあってもよいが、当該シフトの強度が画素から画素へと変化してもよい。グラフ６１０は、画像歪みを生じ構図変更画像の大きな総Ｑ_ｓｓに寄与しうる不均一な画素変位を示してもよい。対照的に、グラフ６２０は、構図変更画像パッチの均一な画素変位の１例をベクトル形式で示してもよい。グラフ６２０に示すように、パッチ内の全画素が、あまり画像歪みを生じさせない構図変更の最中に同一方向に同程度だけシフトしてもよい。グラフ６２０は、構図変更画像に対する総Ｑ_ｓｓ値を実質的に増加させなくともよい。

図７は、例えば局所視覚内容変化測定ユニット１６０により局所内容品質スコアＱ_ｓｌｃを決定するための方法７００の流れ図である。ブロック７１０で、方法７００は、原画像１１０および／または２１０のような原画像、構図変更画像１１２、２２１、および／または２２２のような構図変更画像を取得してもよい。ブロック７２０で、方法７００は構図変更画像と原画像の両方に基づいて再構築画像を生成してもよい。視覚内容変化を、双方向類似度を用いてモデル化して、構図変更画像において新たに生成された視覚データ（例えば、追加された視覚アーチファクト）と構図変更プロセスで失しなわれた視覚データの存在を判定してもよい。新たに生成された視覚データと視覚データの紛失の両方を判定するために、再構築画像を、ブロック７２０で原画像と構図変更画像の両方から生成してもよい。再構築画像を、パッチ照合アルゴリズムを用いて構図変更画像および／または原画像からのパッチおよび／または情報から生成してもよい。例えば、以下のパッチ照合アルゴリズムを使用して、構図変更画像から再構築画像を生成してもよい。

Ｐ_Ｏ（ｐ）は、位置ｐにある原画像からの画像パッチであってもよい。Ｐ_Ｒ（ｑ）は、位置ｑにある構図変更画像からの画像パッチであってもよい。原画像からの再構築画像を、同様な手続きを用いて生成してもよい。

ブロック７３０で、原画像と再構築画像の間の画素値の二乗誤差和（ＳＳＤ）を、構図変更画像からのパッチを用いて決定してもよく、その結果を原画像の画素数で除してもよい。ブロック７３０で、画素値の平均ＳＳＤを原画像と構図変更画像からの画像パッチを用いて生成した再構築画像の間の国際照明委員会（ＣＩＥ）Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）色空間において決定することによって、局所的な内容変化を決定してもよい。ブロック７４０で、構図変更画像と再構築画像の間の画素値のＳＳＤを、原画像からのパッチを用いて決定してもよく、その結果を、関連する構図変更画像の画素数で除してもよい。ブロック７４０で、構図変更画像と原画像からの画像パッチを用いて生成した再構築画像との間のＣＩＥＬＡＢ色空間における画素値の平均ＳＳＤを判定してもよい。ブロック７５０で、ブロック７３０と７４０の結果を加算してＱ_ｓｌｃを決定してもよい。原画像と再構築画像の間の画素値の平均ＳＳＤを、ブロック７５０の構図変更画像と再構築画像の間の画素値の平均ＳＳＤに加算してＱ_ｓｌｃを決定してもよい。Ｑ_ｓｌｃを、次式を用いて表してもよい。

Ｎ_Ｒは構図変更画像の画素数であってもよく、Ｎ_Ｏは原画像の画素数であってもよい。Ｏ_Ｒは、構図変更画像からの画像パッチを用いて生成した再構築画像であってもよく、原画像と同じサイズであってもよい。Ｒ_Ｏは、原画像からの画像パッチを用いて生成した再構築画像であってもよく、再構築画像と同じサイズであってもよい。Ｄは、距離測定値であってもよく、ＣＩＥＬＡＢ色空間内の画素値のＳＳＤであってもよい。Ｑ_ｓｌｃ式の第１の部分により、構図変更の最中に失われた視覚内容の量を測定してもよい。Ｑ_ｓｌｃ式の第２の部分により、構図変更プロセスの最中に追加された視覚内容の量を測定してもよい。Ｑ_ｓｌｃの値が大きければ、より多くの局所視覚内容変化を表すことができる。

図８は、例えばグローバル視覚内容変化測定ユニット１７０により、グローバル内容品質スコアＱ_ｓｇｃを決定するための方法８００の流れ図である。ブロック８１０で、方法８００は、原画像１１０および／または２１０のような原画像、構図変更画像１１２、２２１、および／または２２２のような構図変更画像を取得してもよい。ブロック８２０で、方法８００は、構図変更画像に関連するエッジ・ヒストグラム（ＥＨ）記述子を、原画像からの対応するＥＨ記述子から差し引いて、画像ＥＨ記述子における差分を決定してもよい。画像をＥＨ記述子の観点から記述してもよい。ＥＨ記述子を、画像テキスチャを記述するために使用し、画像抽出やシーン変化検出動作において使用してもよい。構図変更を通じた視覚データの紛失の結果、原画像と構図変更画像の間でＥＨ記述子が変化しうる。ＥＨ記述子は画像をグローバルに記述してもよい。例えば、所与の画像を４×４の部分画像に細分割してもよい。ＥＨは、垂直、水平、４５度、１３５度、および部分画像ごとの等方図に対応して、部分画像ごとに５つのビンを含んでもよく、このようなＥＨを計算することができる。ＥＨ記述子の長さが８０個のビンであってもよく、画像解像度と独立であってもよい。ＥＨ記述子は、グローバル内容変化を測定するのに有用でありうる。なぜならば、グローバル視覚内容変化はシーン変化の最中に発生する可能性があり、他の多数のシーン変化検出器が画像解像度に独立でありうるからである。ＥＨ記述子を使用してＱ_ｓｇｃを決定してもよい。Ｑ_ｓｇｃを、次式を用いて表してもよい。

Ｈ_Ｏは原画像のＥＨ記述子を表してもよく、Ｈ_Ｒは構図変更画像のＥＨ記述子を表してもよく、ＥＨ記述子の差分の絶対値を合計してＱ_ｓｇｃを決定してもよい。Ｑ_ｓｇｃの値が増加することが、グローバル視覚内容変化の量が増大することを示してもよい。ブロック８３０で、ＥＨ記述子の差分の絶対値を合計してＱ_ｓｇｃを決定してもよい。

図９は、品質スコア融合モデルを適応的に学習するための方法９００の流れ図である。当該モデルを、品質因子統合ユニット１８０により使用して、Ｑ_ｆｓｃ、Ｑ_ｓｓ、Ｑ_ｓｌｃ、およびＱ_ｓｇｃから全体スコア品質スコアＱを決定してもよい。Ｑの値を、Ｑ_ｆｓｃ、Ｑ_ｓｓ、Ｑ_ｓｌｃ、およびＱ_ｓｇｃを線形および／または非線形に加算および／または乗算することによって決定してもよい。しかし、単純な融合方法では、ユーザ応答を予測するアルゴリズムを十分に表現できないこともある。マシン学習を使用して、実験データに基づいてＱに対する融合モデルを決定してもよい。例えば、実験データが、ユーザにより構図変更画像に与えられた主観的なスコアを含んでもよい。方法９００は、ブロック９１０で、計算によりまたは別のユニットから受信することによって、所与の構図変更画像に対する品質スコア・ベクトル（例えば、Ｑ_ｆｓｃ、Ｑ_ｓｓ、Ｑ_ｓｌｃ、およびＱ_ｓｇｃ）を取得してもよい。ユーザは、様々な視覚コンテキストにおいて構図変更画像に対して様々に応答してもよい。例えば、ユーザは、形状歪みを有する人間の顔を含む画像に対して、形状歪みを有する地理的特徴を含む画像よりも否定的に応答してもよい。ブロック９２０で、構図変更画像のコンテキストを決定することにより、適切な実験データを使用することができる。例えば、画像認識ソフトウェアおよび／またはアルゴリズムを使用して、画像のコンテキストが、人の画像、風景の画像、構造の画像等を含むかどうかを判定してもよい。

ブロック９３０で、システムは、構図変更画像と同じコンテキストの画像からの実験データに基づいて品質因子融合モデルを適応的に学習してもよい。様々なシステムを使用して、品質因子融合モデル、例えばサポート・ベクトル縮退（ＳＶＲ）アルゴリズムおよび／またはエクストリーム学習マシン（ＥＬＭ）アルゴリズムを適応的に学習してもよい。

例えば、ＳＶＲが、トレーニング・データ集合Ｑ_ｌ＿_ｉ＝（Ｑ_ｓｓ＿ｉ、Ｑ_{ｓｌｃ＿ｉ}、Ｑ_{ｓｇｃ＿ｉ}、Ｑ_{ｆｓｃ＿ｉ}）を用いて品質因子融合モデルを適応的に学習してもよい。ここで、ｉ＝１，２，３，・・・は、ｉ番目の構図変更画像から取得した４個の品質スコアから成る複数のベクトルを示し、ＭＯＳ_ｌ＿ｉはｉ番目の構図変更画像に対する主観で与えられた評価スコアの平均を表す。トレーニング・プロセスを、最適化問題を重みベクトルＷとバイアス定数ｂで解くように表現してもよい。即ち、
ｆ（ｘ）＝Ｗ^Ｔφ（ｘ）＋ｂ

ここで、

である。ξ_１＿ｉは上位トレーニング誤差であり、ξ_２＿ｉは、閾値であるεで定義したε無反応チューブを受ける下位トレーニング誤差であってもよい。１／２Ｗ^ＴＷは、関数ｆ（．）を平滑化して過度な適合を回避するために使用される正規化項であってもよい。Ｃｅ＜０は、誤差項のペナルティ・パラメータであってもよい。データ点がＭＯＳ_ｌ＿ｉ式を満たす場合には、当該データ点はε無反応チューブ内部にあることができ、当該点をＳＶＲによりサポート・ベクトル（ＳＶ）として選択することができる。したがって、
ｆ（ｘ）＝Ｗ^Ｔφ（ｘ）＋ｂ
を

と書き換えることができる。ここで、ｎ_ｓｖはＳＶの数であり、Ｋ（Ｑ_ｓｖ＿ｉ、ｘ）＝φ（Ｑ_ｓｖ＿ｉ）^Ｔφ（ｘ）はカーネル関数であってもよい。ブロック９４０で、品質因子融合モデルを使用して、品質スコア・ベクトルに基づいて構図変更画像に対するＱを計算してもよい。

図１０は、ＮＥ１０００の１実施形態の略図である。ＮＥ１０００は、ネットワーク内のノード、例えば、サーバとして機能してもよい。ＮＥという用語が広範囲の装置を包含し、ＮＥ１０００はその１例にすぎないことは当業者には理解される。ＮＥ１０００は、議論を明確にするために含めたものであり、本開示の適用を特定のＮＥの実施形態またはＮＥの実施形態のクラスに限定しようとするものでは決してない。本開示で説明した機能／方法の少なくとも一部、例えばシステム１００、ユニット１４０、１５０、１６０、１７０、および／もしくは１８０、ならびに／または方法３００、５００、７００、８００、および／または９００の全体または一部を、ネットワーク装置またはＮＥ１０００のような構成要素で実装してもよい。例えば、本開示における機能／方法を、ハードウェア、ファームウェア、および／またはハードウェア上で実行するためにインストールされたソフトウェアを用いて実装してもよい。ＮＥ１０００は、ネットワークを介してフレームを転送する任意の装置、例えば、スイッチ、ルータ、ブリッジ、サーバ等であってもよい。図１０に示すように、ＮＥ１０００は送受信器（Ｔｘ／Ｒｘ）１０１０を備えてもよい。送受信器（Ｔｘ／Ｒｘ）１０１０は、送信器、受信器、またはその両方であってもよい。Ｔｘ／Ｒｘ１０１０を、他のノードからフレームを送受信するための複数の下流ポート１０２０に接続し、他のノードからフレームを送受信するための上流ポート１０５０に接続してもよく、プロセッサ１０３０をＴｘ／Ｒｘ１０１０に接続してフレームを処理し、かつ／または、どのノードにフレームを送信するかを判定してもよい。プロセッサ１０３０が、１つまたは複数のマルチコア・プロセッサおよび／またはメモリ装置１０３２を備えてもよい。メモリ装置１０３２はデータ記憶部として機能してもよい。プロセッサ１０３０を汎用プロセッサとして実装してもよく、プロセッサ１０３０が、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）および／またはデジタル信号プロセッサ（ＤＳＰ）の一部であってもよい。下流ポート１０２０および／または上流ポート１０５０が、電気送受信コンポーネントおよび／または光送受信コンポーネントを含んでもよい。ＮＥ１０００が、経路判定を行うルーティング・コンポーネントであってもなくてもよい。

図１１は、ＵＥ１１００の１実施形態の略図である。ＵＥ１１００は、音声機能とデータ通信機能を有する双方向無線通信装置を備えてもよい。幾つかの態様では、音声通信機能は任意である。ＵＥ１１００は一般に、他のコンピュータ・システムとインターネット上で通信する機能を有する。提供される厳密な機能に応じて、ＵＥ１１００を、例えば、データ・メッセージング装置、双方向ページャ、無線電子メール装置、データ・メッセージング機能を備えた携帯電話、無線インターネット機器、無線装置、スマート・フォン、モバイル装置、および／またはデータ通信装置と称してもよい。

ＵＥ１１００は、二次記憶部１１２１、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１１２２、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１１２３を含むメモリ装置と通信するプロセッサ１１２０（中央演算装置またはＣＰＵとも呼ばれる）を備えてもよい。プロセッサ１１２０を、１つまたは複数のＣＰＵチップ、１つまたは複数のコア（例えば、マルチコア・プロセッサ）を有する汎用プロセッサとして実装してもよく、または、プロセッサ１１２０が１つまたは複数のＡＳＩＣおよび／またはＤＳＰの一部であってよい。プロセッサ１１２０を、本明細書で説明した機構、例えばシステム１００、ユニット１４０、１５０、１６０、１７０、および／もしくは１８０、ならびに／または方法３００、５００、７００、８００、および／もしくは９００の全部または一部を実装するように構成してもよく、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを用いて実装してもよい。

二次記憶部１１２１を、１つまたは複数の固体装置、ディスク・ドライブ、および／または他のメモリ・タイプから構成してもよく、データの不揮発性記憶に使用し、ＲＡＭ１１２３が全ての作業データを保持するのに十分大きくない場合にはオーバ・データ記憶装置として使用される。二次記憶部１１２１を使用して、ＲＡＭ１１２３にロードされたプログラムを、かかるプログラムが実行のために選択されたときに格納してもよい。ＲＯＭ１１２２を使用して、プログラム実行の最中に読み取られる命令とデータを格納してもよい。ＲＯＭ１１２２が、不揮発性メモリ装置であってもよく、二次記憶部１１２１の大きなメモリ容量と比べて小さなメモリ容量を有してもよい。ＲＡＭ１１２３を使用して、揮発性データを格納し、場合によっては命令を格納してもよい。ＲＯＭ１１２２とＲＡＭ１１２３の両方へのアクセスは、二次記憶部１１２１より高速であってもよい。

ＵＥ１１００は、ネットワーク・アクセス・ポイント１１５０を介してデータ（例えば、パケット）をネットワークと無線で通信してもよい。ネットワーク・アクセス・ポイント１１５０をＮＥ１０００として実装してもよい。したがって、ＵＥ１１００が受信器（Ｒｘ）１１１２を備えてもよい。受信器（Ｒｘ）１１１２を、データ（例えば、無線パケットまたはフレーム）を他のコンポーネントから受信するように構成してもよい。受信器１１１２をプロセッサ１１２０に接続してもよい。プロセッサ１１２０を、データを処理し、当該データをどのコンポーネントに送信すべきかを判定するように構成してもよい。ＵＥ１１００はまた、プロセッサ１１２０に接続され、例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１、ＩＥＥＥ８０２．１６、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、または同様な無線プロトコルのようなプロトコルを使用することによって、データを他のコンポーネントに送信するように構成された送信器（Ｔｘ）１１３２を備えてもよい。受信器１１１２と送信器１１３２を複数のアンテナ１１３０に接続してもよい。複数のアンテナ１１３０を、無線周波数（ＲＦ）信号を送受信するように構成してもよい。幾つかの実施形態では、Ｔｘ１１３２とＲｘ１１１２を、Ｔｘ１１３２とＲｘ１１１２の両方の機能を備える送受信器により置き換えてもよい。

ＵＥ１１００はまた、プロセッサ１１２０に接続された装置ディスプレイ１１４０を備えてもよい。装置ディスプレイ１１４０は、その出力をユーザに表示する。ＵＥ１１００と装置ディスプレイ１１４０を、データ表現をユーザに表示するように構成してもよい。装置ディスプレイ１１２０が、ＣＳＴＮ（Ｃｏｌｏｒ Ｓｕｐｅｒ Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）ディスプレイ、ＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）ディスプレイ、ＴＦＤ（ｔｈｉｎ ｆｉｌｍ ｄｉｏｄｅ）ディスプレイ、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクティブ・マトリックスＯＬＥＤディスプレイ、または他の任意のディスプレイ・スクリーンを備えてもよい。装置ディスプレイ１１４０が、カラーまたはモノクロで表示してもよく、抵抗膜技術および／または静電容量技術に基づくタッチ・センサを具備してもよい。

ＵＥ１１００がさらに、プロセッサ１１２０に接続された入力装置１１４１を備えてもよい。入力装置１１４１により、ユーザはコマンドをＵＥ１１００に入力することができる。ディスプレイ装置１１４０がタッチ・センサを備える場合には、ディスプレイ装置１１４０を入力装置１１４１と考えてもよい。追加および／または代替として、入力装置１１４１が、マウス、トラックボール、組込みキーボード、外部キーボード、および／または、ＵＥ１１００と対話するためにユーザが使用できる他の任意の装置を備えてもよい。

実行可能命令をＮＥ１０００にプログラミングおよび／またはロードすることによって、ＮＥ１０００を部分的に特定のマシンまたは装置、例えば、マルチコア転送アーキテクチャに変換し、本開示で教示した新規な機能をもたせるように、プロセッサ１０３０、メモリ１０３２、Ｔｘ／Ｒｘ１０１０の少なくとも１つが修正されることは理解される。同様に、実行可能命令をＵＥ１１００にプログラミングおよび／またはロードすることによって、ＵＥ１１００を部分的に特定のマシンまたは装置、例えば、マルチコア転送アーキテクチャに変換し、本開示で教示した新規な機能をもたせるように、プロセッサ１１０２、ＲＯＭ１１２２、ＲＡＭ１１２３、二次記憶部１１２１、送信器１１３２、および／または受信器１１１２の少なくとも１つが修正されることは理解される。実行可能ソフトウェアをコンピュータにロードすることで実装できる機能を公知の設計規則によりハードウェア実装に変換できることは、電気工学とソフトウェア工学の分野では基本的である。コンセプトをソフトウェアとハードウェアのどちらで実装するかの決定は、一般に、ソフトウェア領域からハードウェア領域への変換で関与する問題よりも、設計の安定性と製造すべきユニットの数の考慮に左右される。一般に、依然として頻繁な変更を受ける設計はソフトウェアで実装するのが好適であろう。なぜならば、ハードウェア実装をリスピンするのはソフトウェア設計をリスピンするよりコストがかかるからである。一般に、大量に生産される安定的な設計はハードウェア、例えばＡＳＩＣで実装するのが好適でありうる。なぜならば、大量生産では、ハードウェア実装の方がソフトウェア実装よりコストがかからないからである。しばしば、設計はソフトウェアの形で開発され試験され、公知な設計規則により、ソフトウェアの命令を配線した特定用途向け集積回路での等価なハードウェア実装に後に変換される。新たなＡＳＩＣにより制御されるマシンが特定のマシンまたは装置であるのと同様に、実行可能命令でプログラムおよび／またはロードされたコンピュータを特定のマシンまたは装置とみなしてもよい。

少なくとも１つの実施形態を開示した。当業者が行う実施形態（複数可）および／または実施形態（複数可）の機能の変形、組合せ、および／または修正は本開示の範囲内にある。実施形態（複数可）の機能を組み合わせ、統合し、かつ／または省略することから生ずる代替的な実施形態も本開示の範囲内にある。数値範囲または数値限定を明示した場合には、かかる明示的な範囲または限定は、明示的に述べた範囲または限定に入る同様な大きさの反復的な範囲または限定を含む（例えば、約１から約１０は２、３、４等を含み、０．１０より大きいとは、０．１１、０．１２、０．１３等を含む）と理解すべきである。例えば、下限Ｒ_ｌと上限Ｒ_ｕを有する数値範囲を開示したときは常に、当該範囲に入る任意の数が具体的に開示される。特に、当該範囲に入る以下の数値が具体的に開示される。即ち、Ｒ＝Ｒ_ｌ＋ｋ＊（Ｒ_ｕ−Ｒ_ｌ）である。ここで、ｋは、１パーセントの増分で１パーセントから１００パーセントの範囲の変数である。即ち、ｋは、１パーセント、２パーセント、３パーセント、４パーセント、７パーセント、・・・、７０パーセント、７１パーセント、７２パーセント、・・・、９７パーセント、９６パーセント、９７パーセント、９８パーセント、９９パーセント、または１００パーセントである。さらに、上で定義した２つのＲの数値により定義される任意の数値範囲も具体的に開示される。「約」という用語を使用することは、特に明記しない限り、それに続く数値の±１０％を意味する。請求項の任意の要素に関して「場合によっては」という用語を使用することは、当該要素が必要であること、あるいは、当該要素が必要でないことを意味し、両方の代替物が特許請求の範囲に入る。備える、含む、および有するといった広い用語を使用することは、〜から構成される、本質的に〜から構成される、および実質的に〜から構成されるといった狭い用語をサポートすると理解すべきである。したがって、保護範囲は上述の説明によっては限定されず、添付の特許請求の範囲により定義され、当該範囲は特許請求の範囲の発明特定事項の全ての均等物を含む。夫々の請求項および全ての請求項は、さらなる開示として本明細書に組み込まれ、諸請求項は本開示の実施形態（複数可）である。本開示における引例の議論は、それが先行技術、特に、本出願の優先日より後の公開日を有する任意の引例であることを認めたものではない。本開示で引用した全ての特許、特許出願、および刊行物の開示は、それらが本開示を補完する例示的な詳細、手続き的な詳細、または他の詳細を提供する範囲で、引用により本明細書に組み込まれる。

本開示では幾つかの実施形態を提供したが、開示したシステムおよび方法を、本開示の趣旨または範囲から逸脱しない他の多数の具体的な形態で具体化してもよいことは理解される。本例は、例示的であって限定的ではないと考えるべきであり、その意図は本明細書で与えた詳細には限定されない。例えば、様々な要素または組合せを別のシステムと組み合わせるかまたは統合してもよく、特定の機能を省略するかまたは実装しなくともよい。

さらに、様々な実施形態で離散的または独立なものとして説明し例示した技術、システム、および方法を、本開示の範囲から逸脱しない他のシステム、モジュール、技術、または方法と組み合わせるかまたは統合してもよい。互いと接続もしくは直接接続または通信するとして図示または説明した他の項目を、電気的、機械的、またはその他の方法で、幾つかのインタフェース、装置、または中間要素を介して間接的に接続または通信してもよい。変形、置換、および代替の他の例は当業者により解明可能であり、本明細書で開示した趣旨と範囲から逸脱せずに実施することができる。

１１０ 原画像
１１２ 構図変更画像
１１５ メモリ
１２０ 周波数領域
１３０ 空間領域
１４０ 形状歪み及び視覚内容変化測定ユニット
１５０ 形状歪み測定ユニット
１６０ 局所視覚内容変化測定ユニット
１７０ グローバル視覚内容変化測定ユニット
１８０ 品質因子統合ユニット
１９０ 画像選択ユニット

Claims (14)

1. プロセッサと、
   命令を含む不揮発性メモリであって、前記命令は、
   原画像および構図変更画像を取得するステップであって、前記構図変更画像は、前記原画像で構図変更アルゴリズムを実施することによって生成されるステップと、
   周波数領域サブバンド品質スコア（Ｑ _{ｆｓｃ＿ｓｕｂ} ）を取得するために、前記原画像と前記構図変更画像を周波数領域で比較するステップと、
   前記原画像と前記構図変更画像を空間領域で比較するステップと
   を含む、画像構図変更の品質評価を前記プロセッサに実施させるメモリと、
   を備え、
   前記原画像と前記構図変更画像を空間領域で比較するステップは、
   前記画像間の形状歪みの量を判定して、形状歪み品質スコア（Ｑ _ｓｓ ）を取得するために、前記原画像と前記構図変更画像を比較するステップと、
   前記画像間の局所内容変化を判定して、局所視覚内容変化品質スコア（Ｑ _ｓｌｃ ）を取得するために、前記原画像と前記構図変更画像を比較するステップと、
   前記画像間のグローバル内容変化を判定して、グローバル視覚内容変化品質スコア（Ｑ _ｓｇｃ ）を取得するために、前記原画像と前記構図変更画像を比較するステップと、
   を備え
   前記命令は、
   実験データを用いて画像構図変更の品質評価スコア融合モデルを適応的に学習するステップと、
   前記画像構図変更の品質評価スコア融合モデルと、前記周波数領域サブバンド品質スコア（Ｑ _{ｆｓｃ＿ｓｕｂ} ）、前記形状歪み品質スコア（Ｑ _ｓｓ ）、前記局所視覚内容変化品質スコア（Ｑ _ｓｌｃ ）および前記グローバル視覚内容変化品質スコア（Ｑ _ｓｇｃ ）とを介して画像構図変更品質評価を実施するために、全体スコア品質スコアＱを取得するステップと
   を更に備える装置。
2. 前記原画像と前記構図変更画像を周波数領域で比較するステップは、原画像の周波数係数と構図変更画像の周波数係数を比較するステップを含む、請求項１に記載の装置。
3. 原画像の周波数係数と構図変更画像の周波数係数を比較するステップは、
   前記原画像の周波数係数を複数の均等に離間したビンｆ_０（ｉ）に分割するステップと、
   前記構図変更画像の周波数係数をｆ_０（ｉ）に対応する複数の均等に離間したビンｆ_Ｒ（ｉ）に分割するステップと、
   各ｆ_０（ｉ）の対応するｆ_Ｒ（ｉ）に対する比率の対数を合計するステップと、
   前記合計をビンの数で分割するステップと、
   を含む、請求項２に記載の装置。
4. 原画像の周波数係数と構図変更画像の周波数係数を比較するステップは、整数ｉ＝１，２，．．．，Ｎ_ｆに対して、
   を計算するステップであって、Ｑ_{ｆｓｃ＿ｓｕｂ}は周波数領域サブバンド品質スコアを示し、Ｎ_ｆはビンの数を示すステップを含む、請求項３に記載の装置。
5. 前記原画像はオブジェクトを表す一群の画素を含み、前記構図変更画像は前記一群の画素を含み、形状歪みは前記原画像と前記構図変更画像の間の画素の不均一変位を含む、請求項１に記載の装置。
6. 前記原画像と前記構図変更画像の間の形状歪みの量は、
   前記原画像における各画素の変位を、各画素の垂直変位の二乗と各画素の水平変位の二乗の和の平方根をとることによって決定するステップと、
   前記原画像における各画素の変位を合計するステップと、
   前記合計を前記原画像の画素数で除するステップと、
   によって決まる、請求項５に記載の装置。
7. 前記原画像と前記構図変更画像の間の形状歪みの量は、空間近傍ｑにある位置ｐの画素に対して、
   を計算することによって計算され、Ｑ_ｓｓは形状歪み品質スコアを示し、εは全ての空間近傍を示し、（ｖ_ｘ（ｐ）−ｖ_ｘ（ｑ））^２は水平変位を示し、（ｖ_ｙ（ｐ）−ｖ_ｙ（ｑ））^２は垂直変位を示す、請求項６に記載の装置。
8. 前記原画像と前記構図変更画像の間の局所的な内容変化は、
   前記原画像と前記構図変更画像からの画像パッチを用いて作成した再構築画像との間の国際照明委員会（ＣＩＥ）Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）色空間における画素値の平均二乗誤差和（ＳＳＤ）を決定するステップと、
   前記構図変更画像と前記原画像からの画像パッチを用いて生成した再構築画像との間のＣＩＥＬＡＢ色空間における画素値の平均ＳＳＤを決定するステップと、
   前記原画像と再構築画像の間の画素値の前記平均ＳＳＤを、前記構図変更画像と再構築画像の間の画素値の前記平均ＳＳＤに追加するステップと、
   により決まる、請求項１に記載の装置。
9. 前記原画像と前記構図変更画像の間の局所的な内容変化は、
   を計算することによって決まり、Ｑ_ｓｌｃは局所視覚内容変化品質スコアを示し、Ｎ_Ｏは前記原画像の画素数を示し、Ｎ_Ｒは前記構図変更画像の画素数を示し、Ｏは前記原画像を示し、Ｒは前記構図変更画像を示し、Ｏ_ＲはＯのサイズのＲからの画像パッチを用いて生成した再構築画像を示し、Ｒ_ＯはＲのサイズのＯからの画像パッチを用いて生成した再構築画像を示し、Ｄ（）は画素値の前記ＳＳＤを決定する関数を示す、
   請求項８に記載の装置。
10. 前記原画像は複数のエッジ・ヒストグラム（ＥＨ）記述子により記述され、前記構図変更画像は前記原画像の前記ＥＨ記述子に対応する複数のＥＨ記述子により記述され、前記原画像と前記構図変更画像の間のグローバル内容変化は、
    夫々の原画像のＥＨ記述子の絶対値から夫々の対応する構図変更画像ＥＨ記述子を差し引いたものを決定するステップと、
    前記絶対値を合計するステップと、
    により決まる、請求項１に記載の装置。
11. 前記原画像と前記構図変更画像の間のグローバル内容変化は、整数ｉ＝１，２，．．．，８０に対して、
    を計算することによって決まり、Ｈ_Ｏは前記原画像に対するＥＨ記述子を示し、Ｈ_Ｒは前記構図変更画像のＥＨ記述子を示す、請求項１０に記載の装置。
12. 画像構図変更の品質評価スコア融合モデルを適応的に学習する前に、構図変更された各画像のコンテキストを判定するステップを更に具備する請求項１乃至１１の何れか１項に記載の装置。
13. 画像構図変更の品質評価スコア融合モデルを適応的に学習するステップは、サポート・ベクトル縮退（ＳＶＲ）アルゴリズムを使用するステップを含む請求項１乃至１２の何れか１項に記載の装置。
14. 画像構図変更の品質評価スコア融合モデルを適応的に学習するステップは、エクストリーム学習マシン（ＥＬＭ）アルゴリズムを使用するステップを含む請求項１乃至１２の何れか１項に記載の装置。