JP4916548B2 - 画像のドミナントライン（ｄｏｍｉｎａｎｔｌｉｎｅ）の確定及び使用 - Google Patents

Description

本技術の実施の形態は、画像解析の方法及びシステムに関し、特に画像のドミナントラインを確定し使用する技術に関する。

パーソナルコンピュータ、投写型ディスプレイ、及び娯楽装置での自動写真スライドショー型プレゼンテーションの進化は、ユーザが多量のデジタル画像コレクションを蓄積するにつれてますます一般的になった。
これらのスライドショー型プレゼンテーションの表示に使用されるいくつかの方法は、プレゼンテーションに対してより興味を引こうとして、画像上でのパン（panning）又は表示領域内での画像の移動等の何らかの形態の動画を組み込む。
この種類の動画のいくつかの形態は「オートロストラム（auto-rostruming）」又は「ケンバーンズエフェクト」として一般に知られている。

画像の移動又はパンのこのような現在の自動アプリケーションはかなり粗雑であり、通常、ランダムに適用される。
時に、この移動及びパンのランダムな適用は、高い建物の画像がランダムに上下にパンされて、人間の目が通常、実際に高い建物を見渡すのと同じように建物の輪郭を示す場合のように、許容できるか又は興味を引く結果を生み出すことがある。
しかし、現在の自動動画方法は、同程度に（多くの場合より高い確率で）、許容できず、且つスライドショー型プレゼンテーションで表示されている１つ又は複数の画像を損なう動き又はパンの動画を生成する可能性がある。

本発明の一形態は、ドミナントラインについて画像を評価する方法（１１００）であって、画像の顕著性に関するワープメッシュ情報を受け取ること（１１０５）と、前記ワープメッシュ情報の構成要素の、非ワープメッシュ情報内の対応する構成要素に対する変位を求めること（１１１５）と、前記変位の統計表現を利用して、ドミナントラインについて前記画像を評価すること（１１２５）とを含む。

本明細書に組み込まれてその一部を成す添付図面は、提示される技術の実施形態を示し、詳細な説明と共に以下に考察する原理を説明する役割を果たす。

本技術の実施形態により使用される例示的なコンピュータシステムの図である。 本技術の一実施形態による例示的な画像パンシステムのブロック図である。 本技術の一実施形態によるワープメッシュ生成器の拡張ブロック図である。 本技術の一実施形態による、画像の画像顕著性マップから画像顕著性のワープメッシュ表現を生成する方法の流れ図である。 本技術の実施形態による、顕著性のワープメッシュ表現に変換される例示的な画像である。 本技術の各種実施形態による、入力として利用される画像の例示的な顕著性マップである。 本技術の一実施形態による、例示的な画像顕著性マップに重ねられる画像顕著性のワープメッシュ表現である。 本技術の一実施形態による、例示的な画像顕著性マップに重ねられる画像顕著性のワープメッシュ表現である。 本技術の一実施形態による画像顕著性の例示的なワープメッシュ表現である。 本技術の一実施形態によるパン方向確定器の拡張されたブロック図である。 本技術の一実施形態による、ドミナントラインについて画像を評価する方法の流れ図である。 本技術の一実施形態による、一様に平均の顕著性を有する画像の例示的な非ワープメッシュ表現である。 本技術の実施形態による水平ドミナントラインを有する画像を示す図である。 本技術の実施形態による斜めドミナントラインを有する画像を示す図である。 本技術の実施形態によるごくわずかなドミナントラインを有する画像を示す図である。 本技術の実施形態による、プレゼンテーション内の画像の移動を判断する方法の流れ図である。 本技術の実施形態によるドミナントライン情報を評価する例示的な技法を示す図である。

この説明内で参照する図面は、特記されない限り、一定の縮尺で描かれているものとして理解されるべきではない。

これより、実施例を添付図面に示す本技術の実施形態を詳細に参照する。
本技術は各種実施形態と併せて説明されるが、本技術をこれらの実施形態に制限することが意図されないことが理解されよう。
逆に、提示される技術は、添付の特許請求の範囲によって規定される各種実施形態の精神及び範囲内に含むことができる代替形態、変更形態、及び均等物を包含するように意図される。
さらに、以下の詳細な説明では、本技術の完全な理解を提供するために、多くの特定の詳細が記される。
しかし、本技術はこれらの特定の詳細なしで実施することも可能である。場合によっては、本技術の諸態様を不必要に曖昧にしないように、既知の方法、手順、構成要素、及び回路については詳細に説明していない。

以下の考察から明白であると特記されない限り、この詳細な説明全体を通じて、「受け取る」、「確定する」、「利用する」、「評価する」、「特徴付ける」、「位置決めする」等の用語を利用する考察は、コンピュータシステム（図１のコンピュータ１００等）又は同様の電子計算装置のアクション及びプロセスを指すものとして理解される。
コンピュータシステム又は同様の電子計算装置は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを処理し、コンピュータシステムメモリ、レジスタ、若しくは他のこのような情報記憶装置、伝送装置、又は表示装置内の物理量として同様に表される他のデータに変換する。
本技術は、他のコンピュータシステム、例えば光学コンピュータ、仮想コンピュータ、及び機械的なコンピュータ等の使用にもよく適する。
さらに、本技術の実施形態では、ステップのうちの１つ又は複数を手動で実行することができることを理解されたい。

概観
画像のドミナントラインとは、Bruce Blockが彼の著作である「The Visual Story」（著作権２００１）において考察した芸術的な概念である。
ドミナントラインの本質は、画像の視覚的な流れである。
すべての画像がドミナントライン又は強力なドミナントラインを有するとは限らない。
しかし、画像によっては、画像の内容により、画像に関して特定の軸内にある視覚的な流れ、すなわちドミナントラインが生み出される。
Bruch Blockは、画像の移動に対してドミナントラインを適切に使用することにより、閲覧者に感情を生み出すことができると主張している。
例えば、画像のＸ軸にわたる水平のドミナントラインを示す風景画像を考える。
Bruce Blockによれば、この水平線に沿ってパンすることにより、閲覧者に平和な感情がわき、一方で、このドミナントラインと逆に（上下に）パンすることにより、ユーザに不調和な感じを受ける。
同様に、Bruce Blockは、画像内のドミナントラインの軸が、画像を見るときにユーザが体験する潜在意識下の感情をいくらか制御することも示している。
例えば、水平のドミナントラインを有する画像はリラックスした感情を生み出し、斜めのドミナントラインを有する画像は情熱的又は強烈な感情を生み出し、垂直のドミナントラインはこれらの間のどこかの感情を生み出す。

映画制作者、写真家、及び他の画像アーティストは、手作業で（目を使用して）画像内のドミナントラインを識別し、それらを利用して画像の閲覧者が受ける感情を制御する。
本技術は、画像プレゼンテーションを作成するときにドミナントラインを自動的に検出し使用するための方法及びシステムを提供する。
この詳細な説明では、本技術の実施形態が動作できる例示的なコンピュータシステムを説明する。次に、本技術による画像パンシステムを説明する。
考察はこのシステムの概観から開始され、次にワープメッシュ生成器及びパン方向確定器等の画像パンシステムの個々の構成要素の構造及び動作の説明に続く。
様々な線画が本明細書に示される実施例と併せて使用されるが、これらの線画（すなわち、図５、図１３、図１４、及び図１５）は、本明細書において説明する技術の動作対象として意図される例示的なデジタル画像及び／又は写真を表すことを理解されたい。

コンピュータシステム環境例
これより図１を参照すると、本技術の部分は、例えば、コンピュータシステムのコンピュータ使用可能媒体に存在するコンピュータ可読且つコンピュータ実行可能な命令で構成される。
すなわち、図１は、本技術の以下において考察する実施形態の実施に使用することができるコンピュータの種類の一例を示す。
図１は、本技術の実施形態により使用される例示的なコンピュータシステム１００を示す。
図１のシステム１００が単なる例示にすぎず、本発明が、汎用ネットワークコンピュータシステム、埋め込みコンピュータシステム、ルータ、スイッチ、サーバ装置、クライアント装置、各種中間装置／ノード、独立型コンピュータシステム、マルチメディア装置、画像表示装置、デジタルカメラ、手持ち式電子装置等を含む多くの異なるコンピュータシステム上又はそれらのコンピュータシステム内で動作可能なことが理解される。
図１に示すように、図１のコンピュータシステム１００は、当該コンピュータシステムに結合されている周辺コンピュータ可読媒体１０２、例えば、フロッピー（登録商標）ディスク、コンパクトディスク、デジタル多用途ディスク等を有するように上手く適合される。

図１のシステム１００は、情報を通信するためのアドレス／データバス１０４と、バス１０４に結合され、情報及び命令を処理するプロセッサ１０６Ａとを含む。
図１に示すように、システム１００は、複数のプロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃが存在するマルチプロセッサ環境にもよく適する。
逆に、システム１００は、単一のプロセッサ、例えばプロセッサ１０６Ａ等を有することにもよく適する。
プロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃは、様々な種類のマイクロプロセッサのうちのいずれであってもよい。
システム１００は、バス１０４に結合され、プロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃの情報及び命令を記憶するコンピュータ使用可能揮発性メモリ１０８、例えばランダムアクセスメモリ（ＲＡＭ）等のデータ記憶機能も含む。
システム１００は、バス１０４に結合され、プロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃの静的な情報及び命令を記憶するコンピュータ使用可能不揮発性メモリ１１０、例えば読み取り専用メモリ（ＲＯＭ）も含む。
システム１００内には、バス１０４に結合され、情報及び命令を記憶するデータ記憶ユニット１１２（例えば、磁気ディスク又は光ディスク及びディスクドライブ）も存在する。
システム１００は、バス１０４に結合され、プロセッサ１０６Ａ又はプロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃに情報及びコマンド選択を伝えるための、英数字キー及び機能キーを含むオプションの英数字入力装置１１４も含む。
システム１００は、バス１０４に結合され、プロセッサ１０６Ａ又はプロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｃにユーザ入力情報及びコマンド選択を伝えるための、オプションのカーソル制御装置１１６も含む。
本実施形態のシステム１００は、バス１０４に結合され、情報を表示するオプションの表示装置１１８も含む。

図１をさらに参照すると、オプションの表示装置１１８は、液晶装置、陰極線管、プラズマディスプレイ装置、又はユーザが認識可能なグラフィック画像及び英数字文字の作成に適した他の表示装置とすることができる。
オプションのカーソル制御装置１１６は、コンピュータユーザが表示装置１１８の表示画面上での可視シンボル（カーソル）の移動を動的に信号で通知できるようにする。
所与の方向への移動又は変位様式を信号で通知することが可能なトラックボール、マウス、タッチパッド、ジョイスティック、又は英数字入力装置１１４上の特殊キーを含む、カーソル制御装置１１６の多くの実施態様が当該技術分野において既知である。
代替的に、特殊キー及びキーシーケンスコマンドを使用して英数字入力装置１１４からの入力を介して、カーソルを方向付け且つ／又はアクティブ化できることが理解されよう。
システム１００は、他の手段、例えば音声コマンド等による入力（英数字入力等）の受信及び／又はカーソル方向付けにもよく適する。
さらに、いくつかの実施形態では、英数字入力１１４は、漢字等の非アルファベット言語文字を入力するように構成される。
システム１００は、システム１００を外部エンティティに結合するＩ／Ｏ装置１２０も含む。
例えば、一実施形態では、Ｉ／Ｏ装置１２０は、システム１００とインターネット等であるがこれに制限されない外部ネットワークとの間で有線又は無線の通信を可能にするモデムである。

図１をさらに参照して、システム１００の他の各種構成要素を示す。
特に、オペレーティングシステム１２２、アプリケーション１２４、モジュール１２６、及びデータ１２８は、存在する場合、一般的なようにコンピュータ使用可能揮発性メモリ１０８、例えばランダムアクセスメモリ（ＲＡＭ）、及びデータ記憶ユニット１１２の１つ又は複数の組み合わせ内に存在して示される。
一実施形態では、本技術は、例えば、ＲＡＭ１０８のメモリロケーション及び／又はデータ記憶ユニット１１２のメモリエリアにアプリケーション１２４又はモジュール１２６として記憶される。

画像プレゼンテーションを生成する例示的なシステム
これより図２を参照して、本技術の一実施形態による画像パンシステム２００のブロック図を示す。
以下の考察は、システム２００の構造の概括的説明で開始される。
考察は、ワープメッシュ生成器２２０の構造及び動作の詳細な説明に続く。
考察は、パン方向確定器２６０の構造及び動作の説明で締めくくられる。

本画像パンシステムの構造
図２に示すように、画像パンシステム２００はワープメッシュ生成器２２０及びパン方向確定器２６０で構成される。
ワープメッシュ生成器２２０は、画像の画像顕著性データの顕著性のワープメッシュ表現を生成する。
ワープメッシュ生成器２２０は、画像顕著性データを入力として受け取り、画像顕著性データから導出されるワープメッシュデータを出力する。
一実施形態では、このワープメッシュデータは、連結器２２５等を介してパン方向確定器２６０に結合される。
パン方向確定器２６０は、ワープメッシュ生成器２２０からの情報に基づいて画像の移動の方向及び／又は速度を確定する。
画像パンシステム２００がワープメッシュ生成器を含まない一実施形態では、ワープメッシュ情報を画像パンシステム２００内で生成するのではなく、入力として受け取る。
パン方向確定器２６０は、パン方向確定をプレゼンテーション生成器２７０等のより大きな画像処理システムの他の部分に出力する出力２６５も有する。
例えば、プレゼンテーション生成器２７０は、画像の画像データを受け取ると共に、パン方向確定器２６０からパン確定情報も受け取る。
これらの入力に基づいて、プレゼンテーション生成器２７０は、出力であるスライドショー型プレゼンテーション等のプレゼンテーションを自動的に構築する。
プレゼンテーション生成器２７０は、パン方向確定を使用して、画像パンシステム２００によって実行される画像内容解析に基づいて、画像の移動／パンの方向及び／又は速度等のインテリジェントプレゼンテーション動画を自動的に組み込む。

図２に示すように、ワープメッシュ生成器２２０は、画像顕著性のワープメッシュ表現に変換されるべき顕著性情報を受け取る。
一実施形態では、顕著性情報は顕著性マップの形態で受け取ることができる。
ワープメッシュ生成器２２０は、ワープメッシュを記述する位置データ等の画像顕著性についてのワープメッシュ情報を出力する出力２２５を有する。
ワープメッシュ生成器２２０はパン方向確定器２６０にも結合されて、ワープメッシュを記述する位置情報等の画像顕著性のワープメッシュ表現に関する情報を提供する。

図２に示すように、パン方向確定器２６０はワープメッシュ生成器２２０に結合されて、画像顕著性のワープメッシュ表現についての情報を受け取る。
パン方向確定器２６０は、プレゼンテーション生成器２７０等のより大きな画像処理システムの他の部分にパン方向確定を出力する出力２６５を有する。
パン方向確定器２６０に結合することにより、プレゼンテーション生成器２７０は、例えばスライドショー型プレゼンテーションで提示されている１つ又は複数の画像の内容を考慮した様式での画像のインテリジェントなパン及び移動を可能にする情報を受け取る。
これは、単に画像の移動及び／又はパン方向をランダムに、すなわち画像の内容を考慮せずに選択するだけのシステムに対する改良である。

ワープメッシュ生成器の構造
図３は、本技術の一実施形態による例示的なワープメッシュ生成器２２０のブロック図である。
図３に示す実施形態では、ワープメッシュ生成器２２０は、顕著性合算器３１０、領域分割器３２０、メッシュ画定器３３０、及びオプションのメッシュ位置メモリ３４０で構成される。
ワープメッシュ生成器２２０の他の実施形態は、任意選択的に、複数の顕著性合算器及び複数の領域分割器で構成されて、タスクを並列に実行する。

図３において、顕著性合算器３１０は、画像の顕著性についての画像顕著性データを、入力として、画像顕著性生成器、画像顕著性受信器、又はユーザ入力等の外部ソースから受け取る。
本技術の一実施形態では、画像顕著性データは、画像の顕著性マップの形態で受け取られる。顕著性合算器３１０は、画像顕著性データの合算を実行する。
顕著性合算器３１０は領域分割器３２０にも結合され、領域分割器３２０から画像顕著性データに対して実行される合算の始点及び終点についての命令を受け取る。
顕著性合算器３１０は、この結合を介して顕著性データ合算の結果を領域分割器３２０に提供もする。

図３において、領域分割器３２０は顕著性合算器３１０に結合されると共に、メッシュ画定器３３０にも結合される。
領域分割器３２０は、顕著性合算器３１０によって実行される合算に応答して、顕著性マップを複数の領域に分割するものである。
本技術の一実施形態では、領域分割器３２０には、画像の顕著性データが分割される領域の数及び種類を定義するプリセットデータがロードされる。
本技術の一実施形態では、領域分割器３２０には、領域のそれぞれに配置される画像の合計顕著性の割合を定義するプリセット情報もロードされる。
領域分割器３２０は、顕著性合算器３１０の動作を制御するため、且つ各領域が画像の予め規定された量の合計画像顕著性を含む状態で、各画像の画像顕著性データを適切な数及び種類の領域に分割するために、必要に応じてこの情報を提供する。
本技術の一実施形態では、領域分割器３２０は、領域の数、領域の種類、及び個々の各領域に含まれる合計顕著性の割合のプリセットを修正又は変更するユーザ定義の入力等の情報を提供する外部ソースにも結合される。
領域分割器３２０は、画像顕著性データが分割される領域のロケーションについての情報を提供するメッシュ画定器３３０にも結合される。

メッシュ画定器３３０は領域分割器３２０に結合され、画像の顕著性データが分割される領域のロケーションに関する情報を受け取る。
メッシュ画定器３３０は、領域に関する位置情報を利用して、画像顕著性マップの顕著性のワープメッシュ表現を画定する。
本技術の一実施形態では、メッシュ画定器３３０は、個々の各領域を領域セット内の別の領域から分離するエリアをマークする。
これらの分離エリアは特にボーダー線セパレータ又は境界線セパレータと呼ぶことができ、総称してセパレータと呼ぶことができる。
一実施形態では、次に、ワープメッシュ表現を画定する位置情報が記憶される。本技術の一実施形態では、画像顕著性のワープメッシュ表現を画定する位置情報が、出力２２５等のワープメッシュ生成器２２０の出力に提供される。
一実施形態では、例えば、画像顕著性のワープメッシュ表現を画定する位置情報は、連結部２２５を介してパン方向確定器２６０に提供される。

本技術の一実施形態では、メッシュ画定器３３０はオプションのメッシュ位置メモリ３４０にも結合される。
メッシュ位置メモリ３４０は、ワープメッシュの個々の領域間の、境界線セパレータ、ボーダー線セパレータ、又は領域セパレータについての位置情報等の、ワープメッシュを画定する位置情報の記憶を提供する。

本ワープメッシュ生成器の動作
以下の考察において、本技術と併せて利用されるワープメッシュ生成器の一実施形態の動作を詳細に記す。物体を認識し画像の顕著な（すなわち注意を引き付ける）部分を確定する技法が既知であり、Laurent Itti、Christof Koch、及びErnst Niebur著「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」（IEEE Transactions on Pattern Analysis and Machine Intelligence, November 1998）並びにPaul Viola及びMichael Jones著「Robust Real-Time Object Detection」（Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, July 13, 2001）等の研究に述べられていることが理解される。
さらに、「Robust Real-Time Object Detection」は、画像内の顕著性を水平又は垂直に合算する技法についても述べている。

図３のブロック図に示すように、画像顕著性合算器３１０は、画像内の重要な又は注意を引き付けるセクションを識別する画像顕著性データを受け取る。
画像の画像顕著性データは、顕著性マップ、顔認識情報、及び他の画像解析情報等の情報を含む。
画像顕著性合算器３１０は、顕著性を確定すると共に、顔等の物体を認識する技法等の既知で確立されている画像処理技法に基づいて生成される顕著性データを受け取る。
いくつかの実施形態では、受け取られる画像顕著性情報は、顕著性データの生成に組み込まれるユーザ指定のパラメータ又は制約に基づいて生成されもする。
画像の画像顕著性データは、画像の顕著エリアのランキング又はマッピング等の形態で受け取られる。
例えば、本技術のいくつかの実施形態では、画像顕著性データはグレースケール画像又はマッピングとして受け取られ、この場合、各ピクセルの値はそのピクセルの顕著性スコアである。
本技術の他の実施形態では、画像顕著性データは、自身の相対顕著性を示すスコアをそれぞれ含むサブセクションに分割されたマップの形態で渡される。

これより図４を参照すると、図４の流れ図４００を図３及び図５〜図９と併せて考察して、本技術の実施形態の動作を説明する。
この考察の目的で、ピクセルで構成されるグレースケール画像の形態の顕著性マップを受け取るワープメッシュ生成器２２０の一実施形態の動作を説明する。
同じ動作方法が概して、受け取られる任意の形態の顕著性マップに適用されることを認識されたい。

図４は、本技術の一実施形態による画像の画像顕著性マップから画像顕著性のワープメッシュ表現を生成する方法の流れ図４００である。
画像は、静止画像であってもよく、又はいくつかの実施形態では動画像（例えば、映像）であってもよい。
特定のステップが流れ図４００において開示されるが、このようなステップは例示的なものである。
すなわち、本技術の実施形態は、他の各種（追加の）ステップ又は流れ図４００に示されるステップの変形形態の実行にもよく適する。
流れ図４００内のステップは提示される順序と異なる順序で実行してもよく、流れ図４００内のすべてのステップが実行されるわけではない場合があることが理解される。
本技術の一実施形態では、流れ図４００は、コンピュータシステム（図１のコンピュータシステム１００等）のメモリユニットに記憶されると共に、プロセッサ（図１のプロセッサ１０６Ａ等）によって実行される、コンピュータ可読プログラムコードとして実施される。

図５は、本技術の実施形態により顕著性のワープメッシュ表現に変換される例示的な画像５００を示す。
画像５００の最も顕著な部分は女性５０１、及び女性がその前に立っている木５０２である。
画像５００の左側も、木の部分及び枝の形態のいくつかの顕著な特徴を含む。画像の右側１／４は顕著な特徴が実質的にない。
破線５０５は、画像５００の視認可能なドミナントラインがｙ軸に沿って垂直な向きを有することを示す。
ドミナントライン５０５は、木５０２の幹及び女性５０１の垂直な輪郭に調和する。
分かるように、本技術では、ドミナントライン５０５等の画像のドミナントラインの方向及びいくつかの実施形態では強度を自動的に確定することができる。

図６は、画像５００の例示的なグレースケール顕著性マップ６００を示す。
画像５００の最も顕著なエリア（女性５０１及び木５０２）は、画像顕著性マップ６００内のより明るいエリアとして表されている。
グレースケール画像のより暗いエリアは、画像５００の顕著性がより低いエリアを表している。
以下の考察では、例示的な画像顕著性マップ６００をワープメッシュ生成器２２０への入力として利用する。

図４の４１０において、本技術の一実施形態では、顕著性マップ内のピクセルエリアの顕著性値が、顕著性マップに対して規定された方向において合算される。
本技術の一実施形態では、顕著性合算器３１０は、画像５００の顕著性マップ６００の形態の顕著性データを受け取る。
顕著性マップに含まれている合計顕著性の値が提供されない場合、顕著性合算器３１０がそれを計算する。
次に、顕著性合算器３１０は領域分割器３２０と併せて動作して、顕著性マップ内のピクセルエリアの顕著性値を合算する。
ピクセルのエリア的合算は、顕著性マップ６００に対して規定の水平、垂直、又は斜めの方向において実行される。
合算の始点、終点、及び方向は、プリセットによって制御されるか、又は領域分割器３２０との対話を介して制御される。

合算は、単一の規定の方向において１度実行することもでき、又は複数の規定の方向において複数回実行することもできる。
例えば、第１の合算は、画像顕著性マップ６００の右上側から左下側に斜めに、画像顕著性マップ６００の左下側から右上側に斜めに、画像顕著性マップ６００の左側から右側に、画像顕著性マップ６００の上から下へ等に行うことができる。
一例として、本技術の一実施形態では、水平合算は画像顕著性マップ６００の右側から開始され、そしてピクセル列全体が合算される。
次に、顕著性合算器３１０は左側に向かって水平に次のピクセル列に移動してそれを合算し、第１のピクセル列の合算に加算する。
合算は左側に向かって画像顕著性マップ６００を水平に横切ってこのようにして続けられる。
暫定合算合計が保持され、暫定合計が、プリセットで指定されるか、又は領域分割器３２０によって指定される画像顕著性マップの合計顕著性のうちの特定の割合等の所望のレベルに達したときに、合算は停止する。
次に、暫定合計はリセットされ、合算は、すべてのピクセル列が合算されるまで、画像顕著性マップ６００を水平に横切って同様に続けられる。
次に、合算の結果は次の領域分割器３２０に渡される。

複数の合算パスが実行される本技術の一実施形態では、次に、追加の合算が別の１つ又は複数の方向において実行される。
例えば、次に、第２の合算が画像顕著性マップ６００の上から下に、又は下から上に垂直に行われる。
一例として、本技術の一実施形態では、垂直合算が画像顕著性マップ６００の上から開始され、そしてピクセル行全体が合算される。
次に、顕著性合算器３１０は垂直に下にある次のピクセル行に移動してそれを合算し、第１のピクセル行の合算に加算する。
合算は、画像顕著性マップ６００を垂直に下に向かってこのようにして続けられる。
暫定合算合計が保持され、暫定合計が、プリセットで指定されるか、又は領域分割器３２０によって指定される画像顕著性マップの合計顕著性のうちの特定の割合等の所望のレベルに達したときに、合算は停止する。
次に、暫定合計はリセットされ、合算は、すべてのピクセル行が合算されるまで、画像顕著性マップ６００を垂直に下に向かって同様に続けられる。
次に、合算の結果は次の領域分割器３２０に渡される。

図４の４２０において、本技術の一実施形態では、顕著性マップは合算に応答して領域セットに分割される。
領域のサイズは、各領域に含まれる合計顕著性の割合に基づく。
本技術の一実施形態では、領域分割器３２０は顕著性合算器３１０の合算を制御して、この領域への分割を行う。この制御はプリセット値又はユーザ指定値に基づく。
例えば、本技術の一実施形態では、領域分割器３２０は、画像顕著性マップを割合の等しい１００個の垂直領域から成るセットに分割するというプリセットを含む。
図７に示す本技術の別の実施形態では、領域分割器３２０は、顕著性マップを１０個の水平領域から成るセット及び１０個の垂直領域から成るセットに分割し、各水平領域及び各垂直領域が画像顕著性マップの合計顕著性の１０％を含むというプリセットを含む。
同様に、図８に示す一実施形態では、領域分割器３２０は、顕著性マップを１０個の左上から右下への斜めの領域から成るセットに分割し、各領域が画像顕著性マップの合計顕著性の１０％を含み、且つ顕著性マップを１０個の左下から右上への斜めの領域から成るセットに分割し、各領域が画像顕著性マップの合計顕著性の１０％を含むというプリセットを含む。
このような多くのプリセットが存在することができ、画像顕著性マップをより多数又はより少数の領域に、且つ様々な向きの領域に分割することができる。
画像顕著性マップをより少数の領域に分割すると、必要となる時間及び処理はより少なくなるが、結果として生成される顕著性のワープメッシュ表現の精度はより低くなる。
画像顕著性マップをより多数の領域に分割すると、必要となる時間及び処理はより多くなるが、結果として生成される顕著性のワープメッシュ表現の精度はより高くなる。

図７は、本技術の一実施形態により１０個の垂直領域及び１０個の水平領域に分割された画像顕著性マップ６００を示す。
図７では、水平合算が実行され、画像顕著性マップ６００は、画像顕著性マップ６００の合計顕著性の１０％をそれぞれ含む、１０個の垂直領域に分割された。
垂直領域のそれぞれの間の境界線セパレータは黒色の垂直線７０１、７０２、７０３、７０４、７０５、７０６、７０７、７０８、７０９として表され、画像顕著性マップ６００の上に重ねられて、垂直領域を目に見えるように画定する。
境界線セパレータは説明のために目に見えるように表されるが、物理的な寸法を有せず、選択された原点からの座標距離によって表されることを理解されたい。
図７の各領域が占める実空間面積は均等ではない。
これは、顕著性エリアが画像５００全体、ひいては画像顕著性マップ６００全体にわたって変化するためである。
これにより、領域間の境界線セパレータは規則正しく離間されずに、個々の各領域が、合計画像顕著性の規定の割合を含みながら異なる物理的面積を含むワープメッシュを形成する。

図７は、本技術の一実施形態による１０個の水平領域に分割された画像顕著性マップ６００も示す。
上述した水平合算に加えて、垂直合算も実行されている。
垂直合算の結果として、画像顕著性マップ６００は、画像顕著性マップ６００の合計顕著性の１０％をそれぞれ含む、１０個の水平領域に分割される。
垂直合算から生じる垂直領域間のそれぞれのボーダー線セパレータは、黒色の水平線７１１、７１２、７１３、７１４、７１５、７１６、７１７、７１８、７１９として表され、画像顕著性マップ６００の上に重ねられて、領域を目に見えるように画定する。
ボーダー線セパレータは説明のために目に見えるように表されるが、物理的な寸法を有せず、選択された原点からの座標距離によって表されることを理解されたい。
水平合算及び垂直合算の結果として、図７は、画像顕著性マップ６００の合計顕著性の１％を必ずしもそれぞれ含む必要がない１００個の下位領域で構成されるワープメッシュが重ねられた画像顕著性マップ６００を示す。

図８は、本技術の一実施形態による例示的な画像顕著性マップに重ねられた画像顕著性の別のワープメッシュ表現である。
しかし、図８では、画像顕著性マップ６００のピクセルを水平方向及び垂直方向に合算するのではなく、ピクセルは直交する斜めの２方向で合算された。
領域セパレータ８０１、８０２、８０３、８０４、８０５、８０６、８０７、８０８、８０９は、水平に対して約４５度の向きを有し、顕著性マップ６００の左上から右下に進む。
領域セパレータ８０１〜８０９は、顕著性マップ６００を顕著性がおおよそ等しい１０個の斜め領域から成るセットに分割する。
領域セパレータ８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８、８１９は、領域セパレータ８０１〜８０９に対しておおよそ直交する向きを有し、顕著性マップ６００の左下から右上に進む。
領域セパレータ８１１〜８１９は、顕著性マップ６００を顕著性がおおよそ等しい１０個の斜め領域から成る別のセットに分割する。
領域セパレータ８０１〜８０９及び領域セパレータ８１１〜８１９は一緒に顕著性マップ６００を、それぞれ画像顕著性マップ６００の合計顕著性の１％を必ずしも含む必要がない１００個の下位領域で構成されるワープメッシュに分割する。

図４の４３０において、本技術の一実施形態では、領域セットに関する位置情報を使用して、画像顕著性マップの顕著性のワープメッシュ表現を画定する。
領域の１つ又は複数のセットについての位置情報は、領域分割器３２０からメッシュ画定器３３０に渡される。
次に、メッシュ画定器３３０はこの位置情報を使用して、画像顕著性マップの顕著性を表すワープメッシュを画定する。
本技術の一実施形態では、この位置情報を使用して、領域の１つ又は複数のセット内の領域間に、境界線セパレータ、ボーダー線セパレータ、及び領域セパレータをマークする。

図７に示した二次元メッシュの例示的な実施形態の例に従い、垂直領域セット内の個々の垂直領域間の各境界線セパレータ（７０１〜７０９）のロケーションが示され、そのロケーションがマークされる。
本技術の一実施形態では、個々の各境界線セパレータのロケーションは、指定された原点からの画定距離としてマークされる。
例えば、本技術の一実施形態では、指定される原点は右上隅にあり、境界線セパレータ（７０１〜７０９）はそれぞれ、原点からのピクセル単位の距離によってマークされる。
このような方式に従い、１０個の垂直領域を、定められた原点からの９個の境界線セパレータの距離を表す９個の別個の整数を使用して画定することができる。
同様に、次に個々の水平領域間のボーダー線セパレータも示されてマークされる。従っている例示的な実施形態では、１０個の水平領域が、定められた原点からの９個のボーダー線セパレータ（７１１〜７１９）の距離を表す９個の別個の整数によって画定される。
本技術の上述した実施形態では、図８に示される、一緒に１００個の下位領域を構成する、１０個の垂直領域から成るセット及び１０個の水平領域から成るセットが、１８個の整数で表される。
これは、画像顕著性マップ６００の実際の画像顕著性データを記憶するサイズに対する大幅なメモリ節減である。

図９は、本技術の一実施形態による画像顕著性のワープメッシュ表現９００である。
図７に提示された画像顕著性マップ６００は除去され、残っているのは、垂直境界線セパレータ７０１〜７０９及び水平ボーダー線セパレータ７１１〜７１９のみである。
垂直境界線セパレータ７０１〜７０９は例示的な一次元ワープメッシュを表す。
水平ボーダー線セパレータ７１１〜７１９も別の例示的な一次元ワープメッシュを表す。
セパレータ７０１〜７０９及びセパレータ７１１〜７１９は一緒に、例示的な二次元ワープメッシュ９００を構成する。
同様に、二次元斜めワープメッシュを、図８の領域セパレータ８０１〜８０９及び領域セパレータ８１１〜８１９によって画定することができる。

図９では、原点９０１はワープメッシュ９００の右上隅に示されるが、他の実施形態では、原点は左上隅の位置９０２等の他の場所で画定することができる。
セパレータ７０４及びセパレータ７１９の例示的な交点が、ノード交点９０３として示される。
上述したように、ワープメッシュ９００等のワープメッシュの位置情報は１８個の整数で表すことができる。
一実施形態では、これらの整数は定められた原点からのピクセル距離であることができる。
別の実施形態では、これらの整数は、定められた原点からの画像にわたる小数距離すなわち距離割合を表すことができ、これは整数として記憶され、例えば、小数距離０．１０２を整数１０２として記憶することができる。
ワープメッシュ位置情報の整数表現がここ（及び他の場所に）おいて例として利用されるが、このようなワープメッシュ位置情報を、実数、固定小数点数、浮動小数点数、小数の浮動小数点等価物、二進数等を含む数の任意のコンピュータ表現によって表現可能なことが理解される。
本技術の一実施形態では、ワープメッシュ９００の位置情報は、図３のオプションのメッシュ位置メモリ３４０等のメモリに記憶することができる。
本技術の一実施形態では、ワープメッシュ９００の位置情報は、出力としてワープメッシュ生成器２２０から供給される。

図４の４４０において、本技術の一実施形態では、ワープメッシュ表現がエクスポートされる。
図２に示すようにワープメッシュ生成器２２０がシステム２００内に含まれる一実施形態では、ワープメッシュ９００を表す整数値等のワープメッシュの位置情報は、画像の移動をワープメッシュ情報に基づいて確定できるように、パン方向確定器２６０に供給される。

パン方向確定器の構造
図１０は、本技術の一実施形態によるパン方向確定器２６０の拡張ブロック図である。
図１０に示す実施形態では、パン方向確定器２６０は、ワープメッシュ受信器１０１０、変位解析器１０２０、ドミナントライン確定器１０３０、オプションのユーザ制御装置１０４０、移動確定器１０５０、及び出力連結器２６５で構成される。

図１０では、ワープメッシュ受信器１０１０は、画像のワープメッシュ表現を入力として受け取る。一実施形態では、ワープメッシュ受信器１０１０は、ワープメッシュ情報を定義するデータを受け取る。例えば、一実施形態では、ワープメッシュ受信器１０１０は、ワープメッシュ９００等の二次元ワープメッシュを入力として受け取る。一実施形態では、ワープメッシュ受信器１０１０はバッファリング機能を実行し、変位解析器１０２０に結合されて、ワープメッシュ位置情報を入力として提供する。一実施形態では、ワープメッシュ受信器１０１０は変換機能も実行し、ワープメッシュ情報を必要とされる形態で変位解析器１０２０に提供する。

図１０では、変位解析器１０２０は受け取ったワープメッシュ内の構成要素の変位を解析する。
一実施形態では、変位解析器１０２０は、オプションのワープメッシュ受信器１０１０の機能も実行し、そのため、別個のワープメッシュ受信器を必要としなくなる。
受け取ったワープメッシュ構成要素の変位は、顕著性／面積の等しい領域を画定する領域セパレータが規則正しく離間された同様の向きの非ワープメッシュ内の対応する構成要素ロケーションに対して確定される。
次に、変位は統計的に解析される。
例えば、ワープメッシュでの垂直セパレータのロケーションが、非ワープメッシュでの垂直セパレータのロケーションと比較される。
変位解析器１０２０は、変位確定結果及び変位の統計解析をドミナントライン確定器１０３０に提供する。

図１０では、ドミナントライン確定器１０３０は、変位解析器１０２０から受け取った結果を比較することによって画像内のドミナントラインを位置特定する。
ドミナントラインが存在する場合、ドミナントライン確定器１０３０は、その比較に基づいてドミナントラインの方向軸を確定する。
例えば、ドミナントライン確定器１０３０は、例えば比率（ratio）を介して、受け取った水平セパレータ統計変位情報を、受け取った垂直セパレータ統計変位情報と比較して、水平又は垂直のドミナントラインが存在するか否かを判断する。
同様に、ドミナントライン確定器は、左上から右下への斜めのセパレータの統計変位情報を左下から右上への斜めのセパレータの統計変位情報と比較して、斜め方向のドミナントラインが存在するか否かを判断し、存在する場合、方向軸がどれであるかを確定する。
したがって、一実施形態では、ドミナントライン確定器１０３０は、ワープメッシュデータが関連する画像内で実質的に水平、垂直、又は斜めの軸に方向付けられたドミナントラインを自動的に見つけるように構成される。
このような比較に基づいて、ドミナントライン確定器１０３０は、検出される任意のドミナントラインの強度も確定する。
次に、ドミナントライン情報は、ドミナントライン確定器１０３０から移動確定器１０５０に提供される。

図１０では、移動確定器１０５０は、ドミナントラインの方向及び強度を分類するために使用される。
ドミナントラインの方向に基づいて、移動確定器１０５０は、画像がプレゼンテーションにおいて表示されるときの閲覧領域内の関連画像の移動方向を確定する。
同様に、検出されたドミナントラインの強度に基づいて、移動確定器１０５０は、プレゼンテーションの一環として表示領域に表示される画像の移動速度を確定する。
一実施形態では、分類は、例えば、特定の数の画像が垂直にパン／移動し、特定の数の画像が水平にパン／移動し、特定の数の画像が垂直にパン／移動することを指示するプリセット又はユーザ入力に基づく。移動の確定は出力２６５に提供され、プレゼンテーション生成器２７０等のプレゼンテーション生成器への入力として使用される。

図１０では、オプションのユーザ制御装置１０４０が移動確定器１０５０に結合される。
一実施形態では、オプションのユーザ制御装置１０４０は、ハードウェア又はソフトウェア等を通じて、プレゼンテーション内での画像の移動方向及び移動速度について判断される際に移動検出器１０５０が１つ又は複数のドミナントラインの方向及び／又は強度を判断又は分類するために利用する任意のプリセット又は所定の値をユーザが変更するための入力機構を提供する。

本パン方向確定器の動作
これより図１１及び図１６を参照して、流れ図１１００及び１６００を考察して、本技術の実施形態の要素の動作を説明する。
この考察の目的で、二次元水平／垂直ワープメッシュ９００を入力として利用し、オプションとして二次元斜め／斜めワープメッシュ（図８に示す）を入力として使用することができる本技術の実施形態の詳細な動作の説明が提供される。
他の実施形態及び変形も本発明の精神及び範囲内で可能である。

特定のステップを流れ図１１００及び１６００において開示するが、このようなステップは例示的なものである。
すなわち、本技術の実施形態は、他（追加）の様々なステップ又は流れ図１１００及び１６００内に記されるステップの変形の実行にもよく適する。
流れ図１１００及び１６００内のステップは提示される順序と異なる順序で実行してもよいこと、及び流れ図１１００及び１６００内のすべてのステップが実行されるわけではない場合があることが理解される。
本技術の一実施形態では、流れ図１１００及び／又は１６００は、コンピュータシステム１００（図１）と併せて使用され、プロセッサ１０６Ａ並びに／又はプロセッサ１０６Ａ、１０６Ｂ、及び１０６Ｂ（図１）によって実行されるメモリユニット又は周辺コンピュータ媒体等のコンピュータ使用可能媒体に記憶されるコンピュータ可読プログラムコードとして実装される。

図１１は、本技術の一実施形態によるドミナントラインに関して画像を評価する方法の流れ図１１００である。

図１１の１１０５において、本技術の一実施形態では、画像のワープメッシュ表現が受け取られる。
ワープメッシュ受信器１０１０が画像のこのワープメッシュ表現を受け取る。ワープメッシュ表現は、メッシュ又は格子を記述するために使用される位置情報の形態で受け取られる。
一実施形態では、ワープメッシュ情報は、画像の二次元メッシュ表現を記述する位置情報として受け取られる。
水平／垂直ワープメッシュ９００及び図８に示す斜め／斜めワープメッシュは、このような二次元ワープメッシュの例である。
二次元ワープメッシュについての情報は、メッシュのセパレータのロケーション情報の形態で受け取ってもよいか、又は二次元メッシュの交わる節のロケーションに関する情報として受け取ってもよい。
一実施形態では、ワープメッシュ情報は整数値として受け取られる。
一方他の実施形態では、ワープメッシュ情報は実数、固定小数点数、浮動小数点数、又は数の他の何らかのコンピュータ化された表現として受け取られる。
ワープメッシュ受信器１０１０は、ワープメッシュ情報をバッファリングし、必要なときに変位解析器１０２０に提供する。
一実施形態では、ワープメッシュ受信器１０１０は、セパレータ情報からノード交点情報への変換、整数情報から小数点情報への変換、又はそうでない場合、数値の或る種類のコンピュータ化表現から数値の別の種類のコンピュータ化表現への情報の変換（すなわち、二値情報から浮動小数点情報への変換）等の変換機能も実行する。説明を簡潔にし簡単にするために、本明細書において示される例の多くで、小数値及び／又は整数値が示され考察されるが、このような値は通常、コンピュータ内の他の何らかの数値形式で表されることが理解される。

例えば、本技術の一実施形態では、変位解析器１０２０は、定められた原点と正規化された画像エリアの対向するエッジとの間の距離割合の小数点等価物に関して定義されるワープメッシュ位置情報を利用する。
このような一実施形態では、正規化された画像エリアは定められた原点においてゼロの値を有し、原点とは逆の直角を成す両画像エリアエッジにおいて１の値を有する。
例えば、位置９０２が原点として定められた例示的な二次元ワープメッシュ９００を利用して、表１に、位置９０２の右側の各境界線セパレータ７０１〜７０９の距離割合の小数表現を示す。
表１には、位置９０２の下の各ボーダー線セパレータ７１１〜７１９の距離割合の小数表現も示される。

ワープメッシュ受信器１０１０は、表１に示される値を、ワープメッシュ位置情報の形態の整数フォーマットで受け取り、それから変位解析器１０２０による使用に向けて必要に応じて変換することができる。
表１に示されるように、図９の境界線セパレータ７０９は、ワープメッシュ９００によってモデリングされるエリアを横切る距離の約１０％（０．１０２）だけ、位置９０２から右に向かって変位している。
同様に、ボーダー線セパレータ７１１は、ワープメッシュ９００によってモデリングされるエリア内の上／下距離の約１７％（０．１６６）だけ、位置９０２から下に向かって変位している。
表１では小数値として表されるが、変位解析器１０２０の別の実施形態は、同じ位置情報を整数値、固定小数点数、浮動小数点数、二進値、又は数値の他の何らかのコンピュータ化された表現の形態で処理し利用することができる。
ワープメッシュ９００等の二次元ワープメッシュが、２つの一次元ワープメッシュについてのデータを本質的に含むことを理解されたい。
変換の別の例では、セパレータ位置情報として受け取られた二次元ワープメッシュ位置情報が、セパレータの交点のノード交点位置に変換される。

図１１の１１１５において、本技術の一実施形態では、受け取られたワープメッシュ内の構成要素の変位が、非ワープメッシュ内の対応する構成要素のロケーションに対して求められる。
変位解析器１０２０がこの解析を実行する。
一実施形態では、この解析は、二次元ワープメッシュの両次元で実行される。
一方、一実施形態では、この解析は二次元ワープメッシュのノード交点、又はワープメッシュのデータの他の何らかの表現に対して実行される。

一実施形態では、解析を実行するために、受け取られたワープメッシュの各次元が、非ワープメッシュの同様に構築された次元と比較される。
例えば、二次元水平／垂直ワープメッシュ９００の各次元が、非ワープ二次元水平／垂直メッシュ内の対応する次元と比較される。
このような非ワープメッシュは、画像エリア全体にわたって顕著性が一様分布する、画像を表す９個の規則正しく離間された水平セパレータ及び９個の規則正しく離間された垂直セパレータを有する。
図１２は、規則正しく離間された垂直境界線セパレータ１２７１〜１２７９及び規則正しく離間された水平ボーダー線セパレータ１２８１〜１２８９を有するこのような非ワープメッシュ１２００を示す。
境界線セパレータ１２７１〜１２７９は図９内の境界線セパレータ７０１〜７０９に対応し、ボーダー線セパレータ１２８１〜１２８９は図９のボーダー線セパレータ７１１〜７１９に対応する。
図１２の規則正しく離間された領域セパレータは、１０個の等面積／等顕著性の水平領域及び１０個の等面積／等顕著性の垂直領域を画定する。

表２には、表１内のワープメッシュ９００について示される位置情報と対応するフォーマットで非ワープメッシュ１２００の位置情報が示される。
表２内の変位は、原点１２０２からの右から左又は上から下への総距離の割合の小数点等価物として表される。
非ワープメッシュ１２００は、ワープメッシュ９００と同じように正規化されている。
表１と同様に、示される小数値は例示的なものであり、他の実数値、固定小数点数、浮動小数点数、二進数、又は数値の他の何らかのコンピュータ表現として表し処理されることが可能なことを理解されたい。

水平／垂直ワープメッシュの場合、変位解析器１０２０は、互いに平行な向きを有する第１のセットのセパレータ構成要素の変位の、標準偏差等の第１の統計表現を求める。
例えば、変位解析器１０２０は、受け取ったワープメッシュ９００内の各境界線セパレータと、非ワープメッシュ１２００内の対応する規則正しく離間された境界線セパレータとの差を見つける。
例えば、変位解析器１０２０は、境界線セパレータ７０１〜７０９によって表される一次元ワープメッシュ又はボーダー線セパレータ７１１〜７１９によって画定される一次元ワープメッシュから開始する。
例えば、境界線セパレータ７０１〜７０９で構成される一次元ワープメッシュが最初に処理されるものと仮定すると、境界線７０９の位置と、対応する規則正しく離間された境界線１２７９の位置との差が０．１０２−０．１００として計算される。
したがって、非ワープ位置からの差は０．００２である。この計算は、受け取られた残りの境界線セパレータ７０８〜７０１及びそれぞれの対応する非ワープ境界線セパレータ１２７８〜１２７１に対して繰り返される。
すべての差が見つかると、統計解析が実行されて、差の統計表現が求められる。
本技術の一実施形態では、非ワープメッシュの垂直境界線セパレータロケーションからの水平距離での標準偏差が求められる。
この例では、標準偏差は約０．１２５である。本技術の別の実施形態では、差の幾何学的平均、差の絶対値の和、又は他の何らかの統計表現が求められる。

次に、変位解析器１０２０は、互いに平行する向きを有すると共に、第１のセットのセパレータに対して実質的に直交する向きを有する第２のセットのセパレータ構成要素の変位の、標準偏差等の第２の統計表現を求める。
先の例に従い、変位解析器１０２０は、水平ボーダー線セパレータ７１１〜７１９で構成される第２の一次元ワープメッシュの残りの位置情報に対して計算を繰り返す。
変位解析器１０２０は、受け取ったワープメッシュ９００内の各ボーダー線セパレータと、非ワープメッシュ１２００内の対応する規則正しく離間されたボーダー線セパレータとの差を見つける。
例えば、ボーダー線セパレータ７１１の位置と、対応する規則正しく離間されたボーダー線セパレータ１２８１の位置との差が、０．１６６−０．１００として計算される。
したがって、非ワープ位置からの差は０．０６６である。
この計算は、受け取られた残りのボーダー線セパレータ７１２〜７１９及びそれぞれの対応する非ワープボーダー線セパレータ１２８２〜１２８９に対して繰り返される。
すべての差が見つけられると、統計解析が実行されて、差の統計表現が求められる。
一実施形態では、非ワープメッシュ水平ボーダー線セパレータのロケーションからの垂直距離での標準偏差が求められる。
この例では、標準偏差は約０．０５２である。本技術の別の実施形態では、差の幾何学的平均、差の絶対値の和、又は他の何らかの統計表現が差について求められる。

斜め／斜めワープメッシュ等の別の二次元ワープメッシュを受け取る場合、変位解析器１０２０は、上記プロセスを第２の二次元ワープメッシュに対して繰り返される。
上記のように、各一次元ワープメッシュのそれぞれのセパレータ構成要素同士の差の統計表現が、等顕著性／等面積の斜め領域を画定する非ワープ斜め／斜めメッシュ内の同様の向きの構成要素に対して計算される。
水平／垂直ワープメッシュの場合と異なり、このような斜め／斜め非ワープメッシュ内のこのようなセパレータは、互いに均等に離間されない。
したがって、斜め／斜めワープメッシュの場合、変位解析器１０２０は、互いに平行する向きを有すると共に、画像の水平軸に対して約４５度の向きも有する第１のセットのセパレータ構成要素の変位の、標準偏差等の第１の統計表現を求める。
次に、変位解析器は、互いに平行する向きを有すると共に、第１のセットのセパレータに実質的に直交する向きも有する第２の（残りの）セットのセパレータ構成要素の変位の、標準偏差等の第２の統計表現を求める。

ボーダー線及び境界線型のセパレータロケーションではなく、二次元ワープメッシュのノード交点ロケーションを利用する本技術の別の実施形態では、受け取ったワープメッシュのノード交点ロケーションが、同様に構築された非ワープメッシュ内のノード交点のロケーションと比較される。
ロケーションの差が計算され、統計解析が実行されて、差の統計表現が求められる。
ノード９０３（図９）及びノード１２０３（図１２）は、受け取ったワープメッシュ９００及び非ワープメッシュ１２００内の対応するノードの例である。
本技術の一実施形態では、受け取ったノードの、それぞれの対応する非ワープノードのロケーションからの二次元変位が記され、受け取ったノードの変位の標準偏差が計算される。
別の実施形態では、ノード位置変位の差の幾何学的平均、ノード位置変位の絶対値の和、又は差の他の何らかの統計表現が求められる。

図１１の１１２５において、本技術の一実施形態では、ワープメッシュセパレータ構成要素の変位の統計表現が利用されて、ドミナントラインについて画像が評価される。
ドミナントライン確定器１０３０（図１０）がこの評価を実行する。
例えば、一実施形態では、ドミナントライン確定器１０３０は、ワープメッシュの第１のセットのセパレータ構成要素の変位の標準偏差を、ワープメッシュの第２のセットのセパレータ構成要素の変位の標準偏差に対して評価する。
これは、例えば、第２の標準偏差に対する第１の標準偏差の比を評価することを含むことができる。
評価することの結果は、画像のドミナントラインの方向軸及び／又は強度を表す。

二次元ワープメッシュ９００に関して計算される標準偏差の例は、ドミナントライン確定器１０３０が画像内のドミナントラインの方向及び／又は強度をどのように定量化するかについての洞察を提供する。
例えば、垂直境界線セパレータ７０１〜７０９の水平標準偏差は約０．１２５であり、水平ボーダー線セパレータ７１１〜７１９の垂直標準偏差は約０．０５２である。
垂直標準偏差に対する水平標準偏差の比を評価することにより、画像５００（図５）のドミナントラインの尺度が与えられる。
例えば、比（Ｒ）が１よりも大きい場合、水平方向での偏差は垂直方向での偏差よりも顕著であり、画像は垂直ドミナントラインを有する。
同様に、Ｒの値が１を上回る幅が大きいほど、より強度の大きな（換言すれば、より顕著である）ドミナントラインに相関する。
逆に、Ｒの値が１未満の場合、垂直方向での偏差が水平方向での偏差よりも顕著であり、画像は水平ドミナントラインを有する。
同様に、Ｒの値が１を下回る幅が大きいほど、より強度の大きな（換言すれば、より顕著である）水平ドミナントラインに相関する。
一実施形態では、ウォッチドッグ機能がドミナントライン確定器１０３０内に構築され、ドミナントライン確定器１０３０にゼロに等しい標準偏差をいずれも０．００１等の非常に小さな値で置き換えさせる。
これによりゼロによる除算及び結果として生じる可能性がある無限エラーが回避される。
したがって、現在の例では、０．０５２に対する０．１２５の比は２．４というＲ値になる。
これは、ライン５０５で示されるような、画像５００のｙ軸方向に沿った中強度の垂直ドミナントラインを示す。

先の例によって実証されたように、ワープメッシュ９００を利用して、ドミナントライン確定器１０３０は、第１のセットの構成要素の変位の第１の統計表現と第２のセットの構成要素の変位の第２の統計表現との比較を利用して、ドミナントラインの存在について画像５００を評価する。
所与の例では、画像５００は、水平又は垂直のドミナントラインの存在について評価された。
同様に、直交する斜め／斜めワープメッシュ（図８に示される）を利用して、右上から左下への斜めのドミナントライン又は右下から左上へのドミナントラインについて画像５００を評価することができる。
このような斜め／斜めワープメッシュを利用する例では、第１のセットの平行セパレータ構成要素の変位の標準偏差が、第２のセットの直交セパレータ構成要素の変位の標準偏差と比較される。
次に、ドミナントライン確定器１０３０は、水平／垂直メッシュ９００の例と併せて上述したように任意の検出された斜めのドミナントラインの斜軸及び強度を求める。

図１３は、本技術の実施形態による水平ドミナントライン１３０５を有する画像１３００を示す。
画像１３００は、画像１３００内の狭い幅にわたって実質的に水平方向に延びる山脈１３０１を有する風景を示す。
これは、画像１３０１のｘ軸に沿って方向１３０５において強力な水平ドミナントラインを生み出す。
一実施形態では、ドミナントライン確定器１０３０は、流れ図１１００と併せて説明した方法を使用することにより、水平ドミナントライン１３０５の方向及び強度を検出する。

図１４は、本技術の実施形態による斜めドミナントライン１４０５を有する画像１４００を示す。
画像１４００は、画像１４００にわたって左上から右下に実質的に斜めに延びる野球のバット１４０１を示す。
これは、画像１４０１の左上から右下への斜めの軸に沿って方向１４０５において強力な斜めのドミナントラインを生み出す。
一実施形態では、ドミナントライン確定器１０３０は、流れ図１１００と併せて説明した方法を使用することにより、斜めのドミナントライン１４０５の方向及び強度を検出する。

図１５は、本技術の実施形態によるごくわずかなドミナントラインを有する画像１５００を示す。
画像１５００は、画像１５００の中心付近に位置決めされた野球のボールを示す。
これによって、画像１５００がドミナントラインについて評価される場合、ごくわずかな確定又は否定の確定が生じる。
一実施形態では、ドミナントライン確定器１０３０は、流れ図１１００と併せて説明した方法を使用することにより、ドミナントラインがないこと（又は恐らく、非常に弱いドミナントラインの存在）を検出する。

図１６は、本技術の一実施形態による、プレゼンテーション内の画像の移動を確定する方法の流れ図１６００である。

図１６の１６１０において、本技術の一実施形態では、画像に関連するドミナントライン情報が受け取られる。
例えば、一実施形態では、移動確定器１０５０がドミナントライン情報をドミナントライン確定器１０３０から受け取る（両方とも図１０に示される）。
受け取ったドミナントライン情報は、画像に対してドミナントラインの軸又は方向を画定する。
受け取ったドミナントライン情報は、ドミナントラインの相対強度も一群（coveys）画定する。
一例として、一実施形態では、ドミナントライン情報は、画像のワープメッシュ表現の評価から求められる数値結果を含む。
したがって、上述した例では、画像５００及びワープメッシュ９００の評価と併せて、Ｒの値である２．４が移動確定器１０５０に渡される。
同様に、数値が使用されない場合、中強度の垂直ドミナントラインを示す情報が移動確定器１０５０に渡される。

図１６の１６２０において、本技術の一実施形態では、受け取ったドミナントライン情報が評価される。
一実施形態では、移動確定器１０５０が受け取ったドミナントライン情報の評価を実行する。
一実施形態では、移動確定器１０５０は単に、方向及び強度に基づいて独立して各画像のドミナントライン情報を評価する。
しかし、別の実施形態では、移動確定器１０５０はさらに、プレゼンテーション内で一緒に提示される複数の画像のドミナントライン情報と併せて、各画像のドミナントライン情報を評価する。
このような一実施形態では、複数の画像のそれぞれのドミナントライン情報はさらに、デフォルト設定、ユーザ入力（ユーザ制御装置１０４０等から）、又は両方に関して評価される。
このような評価を通じて、移動確定器１０５０は、ドミナントライン情報に基づいて、且つ／又はさらにデフォルト設定又はユーザ入力に関連して画像のドミナントラインの方向を特徴付ける。
このような評価を通じて、移動確定器１０５０は、ドミナントライン情報に基づいて画像のドミナントラインの強度も特徴付ける。
複数の画像のドミナントライン情報を評価する技法の一例は、複数の画像のドミナントラインの方向及び相対強度を表すグラフ点をプロットすることを含む。
図１７は、Ｘ−Ｙグラフ上にプロットされたこのような複数のグラフ点を示す。

図１７は、本技術の実施形態による、ドミナントライン情報を評価する例示的な技法を示す。
図１７のグラフは、ｘ軸１７１５、ｙ軸１７１０、原点１７０５、並びに分割線１７２５及び１７２０で構成される。
点１７３０は、垂直ドミナントライン５０５（図５）等の中強度の垂直ドミナントラインを表す。
点１７３６は、水平ドミナントライン１３０５（図１３）等の高強度の水平ドミナントラインを表す。
点１７３４は、斜めのドミナントライン１４０５（図１４）等の高強度の斜めのドミナントラインを表す。
点１７３２は、図１５に関連する、ごくわずかな殆ど存在しないドミナントラインを表す。
一実施形態では、分割線１７２０及び１７２５は、ユーザ制御装置１７４０等からのユーザ入力によって確定される。
別の実施形態では、分割線１７２０及び１７２５はデフォルト設定に従って確定される。
２つの分割線（１７２０又は１７２５）が示されるが、他の実施形態はより少数又は多数のこのような分割線を使用してよいことが理解される。
他の実施形態では、このような分割線はユーザ入力、デフォルト設定、又は両方に基づいて異なる位置又は異なる角度で位置決め可能なことがさらに理解される。

デフォルト設定が、画像群の２５％を水平にパン又は移動させ、２５％を垂直にパン又は移動させ、５０％を斜めにパン又は移動させるべきであることを示す一例を考える。
このような要件に基づいて、移動確定器は、分割線１７２０及び１７２５の配置を介して点１７３０、１７３２、１７３４、及び１７３６を３つの領域に分ける。分割線１７２５よりも上の点には垂直パン／移動が割り当てられ、分割線１７２０よりも下の点には水平パン／移動が割り当てられ、分割線１７２０と１７２５との間にある点には斜めのパン／移動が割り当てられる。
したがって、この技法では、画像をドミナントラインにわずかに矛盾する方向にパンすることが可能である。
例えば、水平ドミナントライン、垂直ドミナントライン、又はごくわずかなドミナントラインを有する画像に斜めのパン／移動を割り当てて、デフォルト又はユーザ提供の仕様を満たすことができる。
同様に、斜めのドミナントラインを有する画像に水平又は垂直のパン／移動を割り当てて、デフォルト又はユーザ提供の仕様を満たすことができる。
しかし、このような場合、これらの一貫しないパン画像に関連するデータ点は分割線付近にあり、したがって分割線から離れた画像よりも曖昧なドミナントラインを有することになる。
多くの場合、このような一貫しないパン画像は、わずかな斜めの成分を有する中強度の水平ドミナントライン等の２つ以上のドミナントラインの要素も有することになる。

図１６の１６３０において、本技術の一実施形態では、プレゼンテーション内の画像の移動方向が確定される。
移動方向は、ドミナントライン情報に対して前に実行された評価に基づく。

したがって、各画像のドミナントライン情報が独立して評価されるこのような一実施形態では、移動確定器は、画像のドミナントラインと実質的に同じ方向軸にあるパン／移動の方向を画像に割り当てる。
例えば、画像５００（図５）は、表示領域内で、ドミナントライン５０５と一致した方向である上又は下にパン又は移動するように割り当てられる。
このようなパン／移動は、画像の内容を強調し補足する。別の同様の実施形態では、デフォルト設定又はユーザ入力に従って、移動確定器１０５０は、確定されたドミナントラインに実質的に直交する方向軸においてパン又は移動するように或る１つ又は複数の画像に割り当てる。
例えば、このような実施形態では、画像５００は表示領域内で、ドミナントライン５０５に直交する方向である左又は右にパン／移動するように割り当てられる。
このようなパン／移動は意図的に画像のドミナントラインと対立するように割り当てられて、閲覧者に矛盾又は不調和の感覚を呼び起こす。

別の実施形態では、図１６の１６３０に合わせて、画像は、図１７の説明で示されるように、ユーザ入力、デフォルト設定、又は両方に関するドミナントライン情報の評価によって確定される方向にパンされる。
例えば、複数の画像の移動方向の確定は、図１７に示されるデータ点（１７３０、１７３２、１７３４、及び１７３６）及び分割線１７２０、１７２５に合致する。
したがって、例えば、移動確定器１０５０は、データ点１７３６に関連する画像５００を水平にパン／移動させるべきであり、データ点１７３２に関連する画像１５００を斜めにパン／移動させるべきであると確定する。
このような画像のパン／移動方向の自動確定は、プレゼンテーションに使用されるパン／移動方向に関して多様性をもたらす一方で、同時に、画像に関連するドミナントラインに合致する方向に画像をパンしようと試みる。

例えば、一実施形態では、移動確定器１０５０は、プレゼンテーション生成器２７０等のプレゼンテーション生成器が解釈することができる二次元動きベクトルとして画像に関する移動情報を出力する。
繰り返しを避けるために、動きベクトルの符号はランダムに変更することができる。
したがって、例えば、水平動きベクトルへのランダムな符号割り当てに応じて、水平パンが割り当てられた或る画像を左から右にパンすることができ、一方で、水平パンが割り当てられた別の画像を右から左にパンすることができる。

さらに、一実施形態では、移動確定器１０５０はズームベクトルを自動的に割り当てるように構成される。
ズームベクトルの符号は、二次元動きベクトルの符号を任意に変更するのと同様にして任意に変更することができる。
さらに、顕著性情報の使用を通じて、ズームベクトルは、画像の顕著な部分のみ又はその部分の周辺のみに向けることができ、それにより、画像の内容がさらに補足される。
このようなズームベクトルの割り当ては、二次元において特定の画像を単純にパンする繰り返しをなくすことを助けると共に、画像内容を損なうことなく画像のプレゼンテーションに興味深さを加える。

図１６の１６４０において、本技術の一実施形態では、プレゼンテーション内の画像の移動速度が確定される。
移動速度は、ドミナントライン情報に対して先に実行された評価に基づく。
例えば、一実施形態では、画像の移動／パンの速度は、ドミナントラインの強度に正比例する。
したがって、強度の高いドミナントラインほど、画像が表示領域を横切って移動又はパンする速度は速くなる。
同様に、強度の弱いドミナントラインほど、画像が表示領域を横切って移動又はパンする速度は遅くなる。
同様に、移動確定器１０５０がユーザ入力又はデフォルト設定に基づいて画像の移動をさらに確定する一実施形態では、画像速度はやはりドミナントラインの強度に比例する。
したがって、図１７において、移動確定器１０５０は、画像の関連するデータ点の原点１７０５からの距離に基づいて画像の移動速度を確定する。
これは、強度の弱いドミナントラインは原点１７０５のより近くにプロットされるデータ点になり、強度の強いドミナントラインは原点１７０５のより遠くにプロットされるデータ点になるためである。
したがって、移動確定器１０５０は、データ点１７３４に関連する画像１４００をかなり高速（毎秒５０ピクセル等）で移動させるべきであり、データ点１７３２に関連する画像１５００を低速（毎秒２ピクセル等）で移動させるべきであると確定することになる。
画像速度をドミナントラインの強度にリンクすることは、ドミナントラインの方向に関連する移動によって最も補足することができる画像内容に、より高速の移動を付与するという効果を有する。
同様に、弱い又はごくわずかなドミナントラインを有する画像は、画像がプレゼンテーション内で表示される時間期間中に殆ど感知されない可能性があるかなりの低速で移動することになる。

さらに、ズームベクトルが画像に割り当てられた実施形態では、移動確定器１０５０は、ズーム速度をズームベクトルに任意に割り当てることもできる。
したがって、いくつかの画像は表示前にズームされてもよく、一方、他の画像は表示中に任意の速度でズームされてもよいか、又はそうでない場合ズーム中の画像の部分の顕著性に関連して異なる速度でズームされてもよい。
これは、画像の内容を損なうことなく表示画像に興味深さを加える。

本技術の主題を構造的な特徴及び／又は方法動作に固有の言葉で説明したが、添付の特許請求の範囲に規定される主題は必ずしも上述した特定の特徴又は動作に限定されないことを理解されたい。
むしろ、上述した特定の特徴又は動作は特許請求の範囲を実施する形態例として開示される。

１００・・・コンピュータ
１０２・・・周辺コンピュータ可読媒体
１０４・・・バス
１０６・・・プロセッサ
１０８・・・コンピュータ使用可能揮発性メモリ
１１０・・・コンピュータ使用可能メモリ
１１２・・・データ記憶ユニット
１１４・・・英数字入力
１１６・・・カーソル制御装置
１１８・・・表示装置
１２０・・・Ｉ／Ｏ装置
１２２・・・オペレーティングシステム
１２４・・・アプリケーション
１２６・・・モジュール
１２８・・・データ
２００・・・画像パンシステム
２２０・・・ワープメッシュ生成器
２２５・・・連結器
２６０・・・パン方向確定器
２６５・・・出力
２７０・・・プレゼンテーション生成器
３１０・・・顕著性合算器
３２０・・・領域分割器
３３０・・・メッシュ画定器
３４０・・・メッシュ位置メモリ
６００・・・顕著性マップ
７０１〜７０９・・・垂直線
７１１〜７１９・・・水平線
８０１〜８０９、８１１〜８１９・・・領域セパレータ
１０１０・・・ワープメッシュ受信器
１０２０・・・変位解析器
１０３０・・・ドミナントライン確定器
１０４０・・・ユーザ制御装置
１０５０・・・移動確定器
１２００・・・非ワープメッシュ
１２７１〜１２７９・・・境界線セパレータ
１２８１〜１２８９・・・ボーダー線セパレータ

Claims (15)

1. 画像内の注意をひきつける場所を示す顕著性マップに対して予め定められた少なくとも１つの方向における顕著性マップ内のピクセルエリアの顕著性値の合算に基づいて分割された前記画像の分割領域を示すワープメッシュの生成に用いられるワープメッシュ情報を受け取るステップ（１１０５）と、
   前記受け取ったワープメッシュ情報の構成要素の、前記ワープメッシュを行っていない前記画像の分割領域を示す非ワープメッシュの生成に用いられる非ワープメッシュ情報の対応する構成要素に対する変位を求めるステップ（１１１５）と、
   前記求めた変位の統計表現に基づいて、前記画像の視覚的な流れを示す前記画像内の支配的な直線を取得するステップ（１１２５）と
   をコンピュータに実行させる方法。
2. 前記ワープメッシュ情報を受け取るステップ（１１０５）は、
   前記画像に垂直なセパレータのセットおよび前記画像に水平なセパレータのセットで構成される二次元ワープメッシュを受け取ること
   を含む請求項１に記載の方法。
3. 前記ワープメッシュ情報を受け取るステップ（１１０５）は、
   前記画像の水平軸に対して４５度の位置決めされる第１のセットの斜めセパレータおよび前記第１の斜めセパレータのセットに直交する向きを有する第２のセットの斜めセパレータで構成される二次元ワープメッシュを受け取ること
   をさらに含む請求項２に記載の方法。
4. 前記ワープメッシュ情報の構成要素の、前記非ワープメッシュ情報の対応する構成要素に対する変位を求めるステップ（１１１５）は、
   互いに平行する向きを有する第１のセットのセパレータ構成要素の変位の第１の統計表現を求めることと、
   互いに平行する向きを有すると共に、前記第１のセットのセパレータに直交する向きも有する第２のセットのセパレータ構成要素の変位の第２の統計表現を求めることと
   を含む請求項１に記載の方法。
5. 前記ワープメッシュ情報の構成要素の、前記非ワープメッシュ情報の対応する構成要素に対する変位を求めるステップ（１１１５）は、
   互いに平行する向きを有すると共に、前記画像の水平軸に対して４５度の角度の向きも有する第３のセットのセパレータ構成要素の変位の第３の統計表現を求めることと、
   互いに平行する向きを有すると共に、前記第３のセットのセパレータに直交する向きも有する第４のセットのセパレータ構成要素の変位の第４の統計表現を求めることと
   をさらに含む請求項４に記載の方法。
6. 前記変位の統計表現に基づいて、前記画像内の支配的な直線を取得するステップ（１１２５）は、
   前記第１の統計表現と前記第２の統計表現とに基づいて、前記画像内の支配的な直線を取得すること
   を含む請求項４に記載の方法。
7. 前記変位の統計表現に基づいて、前記画像内の支配的な直線を取得するステップ（１１２５）は、
   前記第３の統計表現と前記第４の統計表現とに基づいて、前記画像内の支配的な直線を取得すること
   を含む請求項５に記載の方法。
8. 前記ワープメッシュ情報の構成要素の、前記非ワープメッシュ情報の対応する構成要素に対する変位を求めるステップ（１１１５）は、
   互いに平行する向きを有する第１のセットのセパレータ構成要素の変位の標準偏差を求めることと、
   互いに平行する向きを有すると共に、前記第１のセットのセパレータに直交する向きも有する第２のセットのセパレータ構成要素の変位の標準偏差を求めることと
   を含み、
   前記変位の統計表現に基づいて、前記画像内の支配的な直線を取得するステップ（１１２５）は、
   前記第１のセットのセパレータ構成要素の変位の標準偏差と、前記第２のセットのセパレータ構成要素の変位の標準偏差とに基づいて、前記画像内の支配的な直線の方向および強度を取得すること
   を含む
   請求項１に記載の方法。
9. 前記取得した画像内の支配的な直線を評価するステップと、
   前記支配的な直線の評価に基づいて、プレゼンテーションにおける前記画像の移動方向および移動速度を求めるステップと
   をコンピュータにさらに実行させる請求項１に記載の方法。
10. 前記支配的な直線を評価するステップ（１６２０）は、
    ユーザ入力に従って予め定められた複数の支配的な直線に基づいて、前記支配的な直線を評価すること
    を含む請求項９に記載の方法。
11. 前記支配的な直線を評価するステップ（１６２０）は、
    デフォルト設定に従って予め定められた複数の支配的な直線に基づいて、前記支配的な直線を評価すること
    を含む請求項９に記載の方法。
12. 前記支配的な直線を評価するステップ（１６２０）は、
    前記支配的な直線に基づいて前記支配的な直線の方向を特徴付けること
    を含む請求項９に記載の方法。
13. 前記支配的な直線を評価するステップ（１６２０）は、
    前記支配的な直線に基づいて前記支配的な直線の強度を特徴付けること
    を含む請求項９に記載の方法。
14. 前記プレゼンテーションにおける画像の移動方向は、前記画像内の支配的な直線と同じ軸にある
    請求項９に記載の方法。
15. 前記プレゼンテーションにおける画像の移動方向は、前記画像の支配的な直線と直交する軸にある
    請求項９に記載の方法。

Images