JP4870212B2 - 画像レイアウト制約生成 - Google Patents

画像レイアウト制約生成 Download PDF

Info

Publication number
JP4870212B2
JP4870212B2 JP2009522800A JP2009522800A JP4870212B2 JP 4870212 B2 JP4870212 B2 JP 4870212B2 JP 2009522800 A JP2009522800 A JP 2009522800A JP 2009522800 A JP2009522800 A JP 2009522800A JP 4870212 B2 JP4870212 B2 JP 4870212B2
Authority
JP
Japan
Prior art keywords
image
layout
constraints
constraint
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009522800A
Other languages
English (en)
Other versions
JP2009545814A (ja
Inventor
ウィドウソン・サイモン
オブライエン−ストレイン・エイモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2009545814A publication Critical patent/JP2009545814A/ja
Application granted granted Critical
Publication of JP4870212B2 publication Critical patent/JP4870212B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本技術は、画像解析及び表示に関する。より詳細には、本技術の実施の形態は、画像レイアウト制約(image layout constraint)生成に関する。
現在、スライドショー等の画像提示を生成する多数のシステムがある。
このようなシステムは、通常、2つの広いカテゴリのうちの1つに分類される。
第1のカテゴリは、完全に又は実質的に自動化されているカテゴリと言うことができる。
第2のカテゴリは、最適には、手作業を多く要するカテゴリと言うことができる。
自動化カテゴリでは、利用可能なシステムは、通常、入力として画像の集まりを取得し、出力としてスライドショー(又は他の何らかの画像表示)を提示する。
自動化システムによっては、何らかの方法で、多数の試行画像レイアウト(trial image layout)を解析し、何らかの形でこれらの試行レイアウトのうちの「最良のもの」を選択して、表示領域に画像の最適化された表示として提示しようと試みる。
しかしながら、このような自動化解決策の多くは、複数の画像のレイアウトをなくし、単純に一度に1つの画像を提示する。
このような自動的に生成されるスライドショーは、通常、非常に基本的なものであり且つ単調に繰り返されるものであり、時々、画像をパンするか又はズームイン及びズームアウトするか又は移動させる等、何らかの非常に基本的な画像操作を追加するのみである。
スライドショーを生成するという決定の他は、実際のユーザ入力は通常不要である(又は可能でないことが多い)。
このような自動化システムからの出力は、通常、予測可能且つ定型的であり、したがって、結果としての提示スタイルは、退屈且つ繰返しとなり、数枚のスライドショーを見ただけで(時には単一スライドショー内のいくつかのスライドを見ただけで)、閲覧者にとって面白味のないものとなってしまう可能性がある。
さらに、この程度の変化は多くの場合、画像内容を補完するか又は強調するのではなく、画像内容から逸脱する傾向がある。
手作業を多く要するカテゴリでは、ユーザは、画像提示に対してまったく制御しない(又はほとんど制御しない)状態から、画像提示のすべての態様を略100%制御する状態に移る。
たとえば、このような手作業を多く要するシステムでは、ユーザは通常、画像の提示のレイアウト毎に、画像選択、画像位置決め(x位置決め、y位置決め及びz順序付け)、画像移動、画像提示の順序、画像ズーム、画像スケール、画像パン、提示の速度並びに他のこのような詳細のすべて又は略すべての態様を制御する必要がある。
通常、スライドショーを生成するために使用されるコンピュータシステム又はプログラムによる自動化又は知的支援はない。これは、通常、このようなシステムを使用するために非常に傾斜の急な学習曲線があることを意味する。
したがって、未熟なユーザは、通常、非常に基本的な、繰返しであることが多いスライドショーしか生成しない。
より高度なスライドショーを生成するためには、ユーザは、訓練、練習又はその両方に著しい時間を注ぎ込まなければならず、さらにそれでも、ユーザの能力によって提示出力が決まる。
すなわち、画像提示システム又はプログラムを使用するユーザの技能によって、スライドショー又は他の画像提示出力の品質が確定する。したがって、手作業を多く要するシステムでは、熟練したユーザが画像又はビデオクリップ群からスライドショー又は他の提示を作成するのに何時間も(又はそれより長く)費やすことは珍しいことではない。
デジタルカメラ、並びにパーソナルコンピュータ、メディアセンタ及びデジタルプロジェクタ等の強力な表示装置の使用が急速に増大することによって、画像内容を魅力的に表示する必要がますます広がってきている。
しかしながら、上述したように、スライドショー等の画像提示を生成する現行のシステムは、通常、自動化される場合は面白味のない結果をもたらすか、又はユーザ側での著しい労力及び時間を必要とする。
本発明にかかる方法は、画像レイアウト制約の扱い易い次元のセットを生成する方法(400)であって、選択された制約を適用して高次元解空間の次元を制限すること(410)と、ランダム選択を通じて、前記高次元解空間の1つ又は複数の制約されていない次元を特定することであって、該次元は、制約されると、前記高次元解空間を扱い易い次元の解空間にさらに制限し、該扱い易い次元の解空間の扱い易さは計算資源の能力に関連する、特定すること(420)とを含む。
本明細書に組み込まれ且つその一部を形成する添付図面は、本発明の実施形態を図示し、詳細な説明と共に、以下に論じる原理を説明する役割を果たす。
本発明の実施形態に従って使用される例示的なコンピュータシステムの図である。 本発明の一実施形態による、画像提示を生成する例示的なシステムのブロック図である。 本発明の一実施形態による例示的なレイアウト制約生成器のブロック図である。 本発明の一実施形態による、画像レイアウト制約の扱い易い次元の(dimensionally tractable)セットを生成する例示的な方法のフロー図である。 本発明の一実施形態による、例示的なユーザスタイル入力制御パネルの図である。 本発明の実施形態が実施されうる例示的な画像を示す図である。 本発明の一実施形態による、画像レイアウト制約を生成する例示的な方法のフロー図である。
本説明において参照する図面は、特に述べない限り、比例尺で描かれているものと理解されるべきではない。
ここで、本発明の実施形態について詳細に言及する。その例は、添付図面に図示されている。
本発明を、さまざまな実施形態に関連して説明するが、それらは本発明をこれらの実施形態に限定するようには意図されていないということが理解されよう。
それどころか、提示する技術は、添付の特許請求の範囲によって規定されるさまざまな実施形態の精神及び範囲内に含まれ得る代替物、変更及び均等物を包含するように意図されている。
さらに、以下の詳細な説明では、本発明が完全に理解されるように、多数の特定の詳細を示す。
しかしながら、本発明を、これらの特定の詳細なしに実施してもよい。
他の場合では、本発明の態様を不必要に不明確にしないように、既知の方法、手続き、構成要素及び回路については詳細に説明していない。
以下の論考から明らかであるように特に明示しない限り、本詳細な説明を通じて、「適用する」、「識別する」、「基づかせる」、「生成する」、「利用する」、「採用する」、「確定する」、「提供する」等の用語を利用する論考は、コンピュータシステム(図1のコンピュータ100等)又は同様の電子コンピューティング装置の動作及びプロセスを指すことが理解される。
コンピュータシステム又は同様の電子コンピューティング装置は、コンピュータシステムのレジスタ及びメモリ内の物理(電子)量として表されるデータを操作して、コンピュータシステムメモリ若しくはレジスタ又は他のこのような情報記憶装置、伝送装置若しくは表示装置内の物理量として同様に表される他のデータに変換する。
本発明はまた、たとえば光コンピュータ、仮想コンピュータ及び機械コンピュータ等の他のコンピュータシステムの使用によく適している。
さらに、本発明の実施形態では、ステップのうちの1つ又は複数を手作業で実行することができる、ということが理解されるべきである。
例示的なコンピュータシステム環境
ここで図1を参照すると、本発明の一部は、たとえばコンピュータシステムのコンピュータ使用可能媒体に存在するコンピュータ可読且つコンピュータ実行可能命令から構成されている。
すなわち、図1は、本発明の後述する実施形態を実装するために使用することができるタイプのコンピュータの一例を示す。
図1は、本発明の実施形態に従って使用される例示的なコンピュータシステム100を示す。
図1のシステム100は単に例示的なものであり、本発明は、汎用ネットワーク化コンピュータシステム、組込みコンピュータシステム、ルータ、スイッチ、サーバ装置、クライアント装置、さまざまな媒介装置/ノード、スタンドアロンコンピュータシステム、マルチメディア装置、画像表示装置、デジタルカメラ、ハンドヘルド電子装置等を含む多数の種々のコンピュータシステムで又はその中で動作することができる、ということが理解される。
図1に示すように、図1のコンピュータシステム100は、当該コンピュータシステムに結合される、たとえばフロッピー(登録商標)ディスク、コンパクトディスク、デジタルバーサタイルディスク等の周辺コンピュータ可読媒体102を有するようによく適合している。
図1のシステム100は、情報を通信するアドレス/データバス104と、バス104に結合されて情報及び命令を処理するプロセッサ106Aとを具備する。
図1に示すように、システム100は、複数のプロセッサ106A、106B及び106Cが存在するマルチプロセッサ環境によく適している。逆に、システム100はまた、たとえばプロセッサ106A等の単一プロセッサを有することにもよく適している。
プロセッサ106A、106B及び106Cは、さまざまなタイプのマイクロプロセッサのうちのいずれであってもよい。
システム100はまた、バス104に結合されてプロセッサ106A、106B及び106Cのための情報及び命令を格納する、コンピュータ使用可能揮発性メモリ108(たとえばランダムアクセスメモリ(RAM))等のデータ記憶機構も具備する。
システム100はまた、バス104に結合されてプロセッサ106A、106B及び106Cのための静的情報及び命令を格納する、コンピュータ使用可能不揮発性メモリ110(たとえばリードオンリメモリ(ROM))も具備する。
また、システム100には、バス104に結合されて情報及び命令を格納するデータ記憶ユニット112(たとえば磁気ディスク又は光ディスク及びディスクドライブ)も存在する。
システム100はまた、バス104に結合されて情報及びコマンドの選択されたものをプロセッサ106A又はプロセッサ106A、106B及び106Cに通信する、英数字キー及びファンクションキーを含む任意の英数字入力装置114も具備する。
システム100はまた、バス104に結合されてユーザ入力情報及びコマンドの選択されたものをプロセッサ106A又はプロセッサ106A、106B及び106Cに通信する、任意のカーソル制御装置116も具備する。
本実施形態のシステム100はまた、バス104に結合されて情報を表示する任意の表示装置118も具備する。
引き続き図1を参照すると、任意の表示装置118は、液晶装置、ブラウン管、プラズマディスプレイ装置、又はユーザが認識可能なグラフィック画像及び英数字文字を作成するのに適している他の表示装置であってもよい。
任意のカーソル制御装置116は、コンピュータユーザが、表示装置118の表示画面上での可視シンボル(カーソル)の移動を動的に信号で指示するのを可能にする。
当該技術分野では、トラックボール、マウス、タッチパッド、ジョイスティック、又は、所与の方向の移動若しくは変位の方法を信号で指示することができる、英数字入力装置114上の特別なキーを含む、カーソル制御装置116の多くのインプリメンテーションが知られている。
別法として、特別なキー及びキーシーケンスコマンドを使用する英数字入力装置114からの入力を介して、カーソルを指示し且つ/又は作動させることができる、ということが理解されよう。
システム100はまた、入力(英数字入力等)を受け取ること、及び/又はたとえば音声コマンド等の他の手段によって指示されるカーソルを有することにもよく適している。
さらに、実施形態によっては、英数字入力114は、漢字文字等の非アルファベット言語文字を入力するように構成される。
システム100はまた、システム100を外部エンティティに結合するI/O装置120も具備する。たとえば、一実施形態では、I/O装置120は、システム100と、限定ではないがインターネット等の外部ネットワークとの有線通信又は無線通信を可能にするモデムである。
引き続き図1を参照すると、システム100に対してさまざまな他のコンポーネントが示されている。
特に、存在する場合、オペレーティングシステム122、アプリケーション124、モジュール126及びデータ128が、コンピュータ使用可能揮発性メモリ108(たとえばランダムアクセスメモリ(RAM))とデータ記憶ユニット112との1つ又はいくつかの組合せに通常存在するものとして示されている。
一実施形態では、本発明は、たとえば、RAM108内のメモリロケーション及び/又はデータ記憶ユニット112内のメモリエリアにアプリケーション124又はモジュール126として格納される。
画像レイアウト制約生成のための本技術の概略的な説明
画像レイアウト制約生成のための本技術は、1つの画像、画像群、ビデオクリップ、又は、スライドショー等の、ディスプレイに提示されるように配置されている画像及びビデオの組合せのための画像データに対して適用するための、画像レイアウト制約を生成する方法及びシステムを提供する。
これは、このような提示のための画像レイアウトの制約されない解のセットが多くの場合略無限であり得るため、有用である。
本発明の実施形態は、選択的に且つ/又はランダムに制約を追加することによって、制約されていない解のセットと比較して、レイアウトを計算し且つレイアウトを評価するために必要な計算資源及び時間を削減する。
たとえば、明らかとなるように、本発明の一実施形態は、画像内容の解析に基づいていくつかの制約を自動的に選択する手段を提供する。この制約の「知的な」選択は、画像において重要な特徴を識別することによって画像の提示の質を向上させる役割を果たし、したがって、それらの特徴は不明瞭になるか又は最小化されるのではなく、可能な場合に強調される。
同様に、本発明の一実施形態はまた、ユーザが、制約を生成するために利用されるいくつかの画像解析入力を提供するのも可能にする。
一実施形態では、単純なユーザ入力を使用して、提示のスタイル上の外観を形成する制約の生成も制御する。
さらに、一実施形態では、画像レイアウトの1つ又は複数のランダムな要素を制約する。
特に、このようなランダムな制約を使用して、試行レイアウトを生成しているか又は試行レイアウトを評価しているコンピューティング装置又はプログラムに対し解のセットを扱い易いサイズまで削減することができる。
さらに、このようなランダムな制約はまた、本発明の方法及びシステムで生成される提示が、単一提示内で、又は複数の提示にわたって、新鮮味がなく且つ繰返しであるものではないことを確実にするのにも役立つ。
そして、これらのレイアウト制約は、一実施形態では、画像データから複数の試行レイアウトを生成するために利用することができる。
このような実施形態では、試行レイアウトを解析して、たとえばスライドショータイプの提示において1つの画像、複数の画像、ビデオ又はそれらの何らかの組合せを視覚的に提示するために最適なレイアウト又はレイアウトのセットを出力することができる。
このように、本技術は、通常表示されている内容を強調する画像レイアウトから成ると共に本質的に繰返しでも新鮮味がないものでもない、自動化又は半自動化画像提示の作成を可能にする方法及びシステムを提供する。
さらに、本技術によって、ユーザの側に訓練、練習又は特定の技能を必要としない操作が容易な単純な制御によって、画像レイアウトのための制約の生成へのユーザ入力が可能になる。
論考の概要
図2は、最適化された画像提示を生成するために使用することができる例示的なシステム200のコンポーネントのブロック図を示す。
限定ではなく例として、一実施形態では、システム200を使用して、1つの画像、画像群、ビデオ又はそれらの何らかの組合せに対する画像データから最適化されたスライドショータイプの提示を生成する。
システム200を、例示的なレイアウト制約生成器220に関する1つの使用を示すフレームワークを提供するように例示する。
以下の論考は、システム200の構造及び概略的な動作の簡単な説明から始まる。
論考は、レイアウト制約生成器220の構造の説明に移る。
そして、例示的な方法において画像レイアウト制約の扱い易い次元のセットを生成するために使用されるレイアウト制約生成器220のコンポーネントの説明に移る。
そして、例示的な方法において画像レイアウト制約を生成するために使用されるレイアウト制約生成器220のコンポーネントの説明に進む。
本明細書で例示する例に関連して線画を使用するが、これらの線画(すなわち図6に示す画像)は、本明細書で説明する技術の処理の対象又は関連物として意図されている例示的なデジタル画像及び/又は写真を表すことが理解されるべきである。
最適化された画像提示を生成する例示的なシステム
構造に関して、システム200は、画像解析器205、レイアウト最適化器210、試行レイアウト生成器215及びレイアウト制約生成器220から構成されている。
図2に示すように、画像解析器205及び試行レイアウト生成器215は共に、入力として画像のデジタル表現等の画像データを受け取る。
画像解析器205は、入力として画像データを受け取り、当該技術分野において既知である複数の画像解析技法のうちの1つ又は複数を利用して画像データの解析を実行し、画像内でオブジェクトの位置を特定し且つ/又は顕著な領域及び特徴を識別する。
一例として、一実施形態では、画像解析器205は、各画像又はビデオフレーム画像に関して画像データの内容を解析することによって、画像内の顕著性の高い領域又はオブジェクト及び顕著性の低い領域又はオブジェクトの位置を特定する。
1つのこのような実施形態では、画像解析器205は、解析された画像の顕著性マップの形態で画像解析データを出力する。
オブジェクトを認識し画像の顕著な(又は関心のある)部分を確定する技法は既知であり、Laurent Itti、Christof Koch及びErnst Niebur著「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」(IEEE Transactions on Pattern Analysis and Machine Intelligence, November 1998)及びPaul Viola及びMichael Jones著「Robust Real-Time Object Detection」(Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, July 13, 3001)等の著作物において述べられている。
顕著性マップは、通常、特定の画像に対する顕著領域の対応するマッピングを提供する。
通常、画像のピクセルほど小さい可能性がある、画像領域の顕著部分(salience)は、顕著性マップ/データにおいて対応するスコアを有する。
たとえば、画像の顕著性マップは、関連する画像のグレイスケールマップから構成されていてもよい。
このような顕著性マップでは、顕著性値を、たとえば0〜255のスケールに、最高の顕著性を白色ピクセル及び255の値で表し、最低の顕著性を黒色ピクセル及び0の値で表して、割り当ててもよい。
このため、このような方法では、画像解析器205は、オブジェクト、顔、及び画像の関心領域であるように見えるもの等の顕著な特徴をマークする。
顕著性マップ及び他の画像解析データは、画像解析器205から出力され、レイアウト最適化器210及びレイアウト制約生成器220に入力として結合される。
レイアウト制約生成器220を使用して、画像のレイアウトを確定するために使用されるレイアウト制約が生成される。
レイアウト制約生成器220は、静止しているように意図される、1つ又は複数の画像のレイアウトに適用され得る制約を生成する(たとえば、1つの画像又は表示領域を共有する複数の画像の単一の投影される又は印刷される表示)。
レイアウト制約生成器220はまた、時間変化する表示(time variant display)として意図されている、1つの画像、複数の画像、ビデオ又はそれらの組合せの画像レイアウトに適用され得る制約も生成する(たとえば、さまざまなレイアウトを循環するスライドショータイプの提示であり、特定のレイアウトにおける1つ又は複数の画像が、提示表示領域内を移動するか又はそれを横切ってパンされ得る)。
レイアウト制約には、画像サイズ、x−y位置、z順序付け、移動、移動の速度、ズーミング、パンニング、画像の色、表示のテンポ、フェードイン、フェードアウト、回転、画像間のオーバラップ、目立って表示されるようにマークされる画像領域、画像クロッピング、提示主題(presentation theme)等が含まれる。
後にさらに説明するように、さまざまな実施形態において、レイアウト制約生成器220は、自動画像解析、ユーザ入力、デフォルト設定及びランダム選択に基づいて制約を生成する。
レイアウト制約生成器220は、試行レイアウト生成器215に結合される出力227を介して、次元が削減された解のセットを定義するレイアウト制約の生成されたセットを出力する。
これらの制約は、1つの画像、画像群、ビデオ又はそれらの組合せからの画像データから生成されうるレイアウトの数及びタイプに対し解空間を制限する。
本発明、特にレイアウト制約生成器220の動作の説明を簡略化するために、以下の例及び説明は、1つの画像又は画像群と共にレイアウト制約生成器220を使用することを対象としている。
試行レイアウト生成器215は、入力として画像データと共に、次元が削減された解のセットを定義する、生成されたレイアウト制約を受け取る。
試行レイアウト生成器215は、結合部227を介して受け取られるレイアウト制約を採用して、同様に入力として受け取られる画像データから画像の1つ又は複数の試行レイアウトを生成する。
レイアウトを制約することによって、任意の画像群が配置されうる自由の次元が削減され、したがって、試行レイアウト生成器が生成する必要がある、あり得る試行レイアウトの順列(permutation)の数を削減することによって、解のセットが削減される。
これによって、試行レイアウトを生成するために必要な時間も削減され、したがって、提示の作成が迅速化する。試行レイアウト生成器215は、生成された試行レイアウトをレイアウト最適化器210に出力する。
レイアウト最適化器210は、入力として画像解析データ及び試行レイアウトを受け取る。
レイアウト最適化器210は、画像解析データを採用して、特定の画像群に対して、受け取った画像レイアウトの各々にスコアをつけ、その後、最高スコアを受け取る最適なレイアウトを選択する。
このようなスコアリング及び選択を実行するために、レイアウト最適化器210は、種々のレイアウト最適化技法のうちの1つ又は複数を使用する。
たとえば、一実施形態では、レイアウト最適化器210は、レイアウトにおける画像の、任意の、遮蔽され、クロッピングされ、又は他の方法での不可視であるエリアのコストを計算する。
他の実施形態では、レイアウト最適化器210はまた、画像の顕著性がより低い部分の表示を最小限にしながら画像の顕著性がより高い部分の表示を最大化する試行レイアウトを選択する。
そして、最適であると考えられる、試行レイアウト群からのレイアウトが、たとえばディスプレイに、又はスライドショータイプ提示等の提示の一部として出力される。
例示的なレイアウト制約生成器
図3は、本発明の一実施形態による例示的なレイアウト制約生成器220のブロック図である。
レイアウト制約生成器220は、画像解析制約選択器321、スタイル制約選択器323及びランダム制約器325から構成されている。
図3に示すように、画像解析制約選択器321、スタイル制約選択器323及びランダム制約器325はすべて、互いに且つ共通出力227に結合されている。
この結合によって、必要に応じて、レイアウト制約生成器220の要素間で情報の交換が可能になる。
またこの結合によって、レイアウト制約生成器220が、たとえば試行レイアウト生成器215等の、システム200(図2)の他の要素によって使用される、次元が削減されたレイアウト解のセットを定義するレイアウト制約を出力することも可能となる。
画像解析制約選択器321は、一実施形態では、1つ若しくは複数の画像又はそれらの対応する画像解析データの解析に基づいて、1つ又は複数のレイアウト制約を生成するように構成されている。
たとえば、一実施形態では、解析は自動化され、入力として提供される画像解析データを検査及び解明することによって実行される。
このような解析には、たとえば、画像の顕著性がより高い部分及び顕著性がより低い部分の自動確定、画像における顔の自動位置特定、画像における主線(dominant line)の自動確定、画像輝度の自動確定、画像における色の変化の自動確定、並びに画像の解像度の自動確定が含まれる。
この自動解析によって、画像解析制約選択器321は、たとえば各画像のいずれの部分が表示されるべきか(ズーミング、パンニング、クロッピング、又は別の画像が部分的にオーバラップする場合は可視性を通じて等)を制御する画像解析制約を生成することができる。
このような制約はまた、たとえば画像の顕著領域の解像度に基づいて、ズーミング又はスケーリングが可能となるか否か且つどの程度可能となるかも制御する。
制約はまた、画像のいずれの部分が、可能な場合はディスプレイにおいてクロッピングされ、覆われ、又は他の方法で最小化されるべきであるかも特定する。
画像解析制約選択器321はまた、たとえば画像の主線(ある場合)に基づいて、画像の移動及び画像のパンニングに対する制約も生成する。
したがって、一実施形態では、たとえば、画像解析制約選択器321は、主線が検出された場合に画像のパンニング又は移動を可能にする制約を生成し、同様に、主線が全く検出されなかった場合、パンニングも移動も可能ではないという制約を生成する。
このような実施形態では、画像解析制約選択器321は、画像の自動画像内容解析に基づいて画像解析制約に対して構成され、それによって、本来このような制約がない場合に生成され評価される準最適且つ望ましくない試行画像レイアウトが削減される。
画像内容解析に基づくこれらの制約によって、画像解析を通じて検出される画像の望ましい特徴(顕著領域等)を強調し、且つ同様に望ましくない特徴(画像における顕著性の低い領域等)を最小限にする試行レイアウトの生成もまた促進される。
一実施形態では、画像解析制約選択器321は、自動解析をユーザ画像解析入力によって補完する。
このような実施形態では、画像解析制約選択器321は、画像のユーザ画像内容解析又は画像の画像解析データに完全に又は部分的に基づいて、1つ又は複数の画像解析レイアウト制約を生成するように構成されている。
たとえば、一実施形態では、ユーザは、表示に対して画像のいずれの部分に高い優先度が与えられるべきか及び/又は表示に対して画像のいずれの部分に低い優先度が与えられるべきかに関して、単純な選択を行うことができる。
一実施形態では、ユーザはまた、顔及び顕著性の高い他のオブジェクトの位置をマークするか又は確認する。
同様に、実施形態によっては、ユーザは、解析されている画像のうちの1つ又は複数に対してクロッピング選択及び主線方向をマーク又は確認する。画像解析制約選択器321は、制約を生成する基礎として、自動入力と共にこれら及び他の同様のユーザ入力を使用して、たとえば画像に対して特定のクロップを実行し、画像の特定の部分を表示し、画像の特定の部分を表示せず、画像の特定の部分に対するズーミングを可能にし、特定の画像のパンニング又は移動を可能にすること等を行う。
スタイル制約選択器323は、一実施形態では、1つ又は複数の画像の、時間変化するスライドショータイプの提示スタイル等、選択された提示スタイルに基づいて、1つ又は複数のレイアウト制約を生成するように構成されている。
このようなスタイル制約を、自動的に選択されるか若しくはユーザが定義するデフォルト設定から自動的に生成してもよく、又は、1つ若しくは複数の画像を表示するために使用される提示スタイルを形成するスタイル制約の自動生成を制御する、単純なユーザ入力に基づかせてもよい。
このようなスタイルレイアウト制約は、たとえば、画像提示テンポ(動きの速度、パンニングの速度、画像が表示される時間、レイアウト間の変化の急峻さ等)、レイアウト毎の画像の数(たとえば、1つの画像、2つ以上の画像、可変数の画像等)、画像主題(たとえば、提示の色の彩度及び/又は調和等)及び他のスタイル上の提示スタイル入力を含む提示スタイルに対する自動及び/又はユーザ選択入力から生成される。
ランダム制約器325は、一実施形態では、1つ又は複数の画像の時間変化するスライドショータイプの提示等の提示に関連する次元解空間のゼロ以上のレイアウト制約をランダムに生成するように構成されている。
一実施形態では、ランダム制約器325は、解空間の次元を扱い易いレベルまで制限するために十分なこのようなランダム制約を生成する。
扱い易いレベルとは、画像レイアウト制約から生成されるレイアウト又は提示を処理する責任のある画像提示ソフトウェア又は特定のプロセッサ若しくは計算資源等の特定の計算資源に関して計算的に最適に実行可能であるレベルである。
一実施形態では、ランダム制約は、解空間の本来制約されない次元を制約するようにのみ生成される。
したがって、ランダム制約器325は、画像解析制約選択器321及びスタイル制約選択器323からのレイアウト制約と、解空間の残りの制約されていない次元と、計算資源の能力とを解析する。
一実施形態では、この解析に基づき、ランダム制約器325は、解空間がまだ扱い易くないと判断する可能性がある。
これに応じて、ランダム制約器325は、解のセットを計算資源に関して最適な扱い易さの範囲にするために十分な解のセットの次元をランダムに制約する。
一実施形態では、特定の画像又は画像のセットのレイアウトに対し、ランダム制約器325は、これを、画像解析制約によって、又はスタイル制約によって、まだ制約されていない次元を制約するレイアウト制約を生成することによって達成する。
これは、解のセットを扱い易くするためにちょうど十分なレイアウト制約か、又は解のセットを扱い易くするために十分過ぎるほどのレイアウト制約を生成することを含んでもよい。
同様に、一実施形態では、この解析に基づき、ランダム制約器325は、制約が十分であるか又は十分過ぎるために解空間が計算資源に関してすでに扱い易いと判断する可能性がある。
これに応じて、ランダム制約器325は、いかなるレイアウト制約もランダムに生成しないか又は1つ若しくは複数の追加のレイアウト制約をランダムに生成する。
追加のレイアウト制約をランダムに生成することによって、ランダム制約器325は、試行レイアウト生成プロセス及び提示生成プロセスを迅速化するか、制約から生成される結果としての試行レイアウトの変化を提供するか、又はそれらの両方を行う。
同様に、一実施形態では、この解析に基づき、ランダム制約器325は、解空間が、制約下であるために、計算資源に関して扱い易くないと判断する可能性もある。
それに応じて、ランダム制約器325は、いかなるレイアウト制約もランダムに生成しないか、又は解のセットを計算資源に関して最適に扱い易くするために必要であるより少ない制約をランダムに生成する。
ランダム制約器325は、時に(ランダムに等)制約を生成しないか又は最適に必要であるより少ない制約を生成することによって、計算資源がわずかに過負荷状態である可能性のある状況をもたらす。
計算資源は、解空間の全数探索を実行することができず、そのため、或る時点で「今まで有した中で最良の(best I have so far)」タイプの解を提供しなければならなくなる。
これによって、計算資源は、許可される時間において可能な最良のジョブを行わされる。
このような場合、ランダム制約器325は、試行レイアウト生成及び提示最適化等のプロセス中に余分の制約されていない次元を有効なまま(in play)にすることによって、結果としてのレイアウトの変化を増加させる。
一実施形態では、ランダム制約器325はまた、ランダム制約器325によって生成される任意のランダム制約と共に、画像解析制約選択器321及びスタイル制約選択器323によって選択される制約を統合する。
そして、統合された制約は、画像レイアウトに対する次元が削減された解のセットを定義する制約のセットとして出力227に結合される。
他の実施形態では、統合機能は、レイアウト制約生成器220又は他の要素又はレイアウト制約生成器220に存在することも可能である。
例示的な動作方法
以下の論考は、例示的な実施形態の説明を通じて本発明の動作を詳細に示している。
図4及び図7を参照すると、フロー図400及び700は各々、本発明のさまざまな実施形態によって使用される例示的なステップを示している。
フロー図400及び700は、さまざまな実施形態において、コンピュータ可読且つコンピュータ実行可能命令の制御下でプロセッサによって実行されるプロセスを含む。
コンピュータ可読且つコンピュータ実行可能命令は、たとえば、周辺コンピュータ可読媒体102、又は図1のコンピュータ使用可能揮発性メモリ108、コンピュータ使用可能不揮発性メモリ110及び/若しくはデータ記憶ユニット112等のデータ記憶機能に存在する。
コンピュータ可読且つコンピュータ実行可能命令は、たとえば図1のプロセッサ106A並びに/又はプロセッサ106A、106B及び106Cと共に制御又は動作するために使用される。
フロー図400及び700において特定のステップが開示されるが、このようなステップは例示的なものである。
すなわち、実施形態は、さまざまな他のステップ又はフロー図400及び700に列挙されるステップの変形を実行するようによく適している。
フロー図400及び700のステップを、提示しているものとは異なる順序で実行してもよく、フロー図400及び700のステップをすべて実行しなくてもよい、ということが理解される。
レイアウト制約の扱い易い次元のセットの生成
図4は、本発明の一実施形態による、画像レイアウト制約の扱い易い次元のセットを生成する方法のフロー図400である。
フロー図400の410において、一実施形態では、選択された制約を適用して、高次元解空間の次元を制限する。
選択された制約は、画像解析制約選択器321によって、又はスタイル制約選択器323によって適用され、画像解析制約又はスタイル制約であってもよい。
同様に、一実施形態では、高次元解空間の複数の次元を制限するために、複数のこのような画像解析制約、スタイル制約又はそれらの組合せが適用される。
スタイル制約選択器323は、事前定義されたスタイルデフォルト、ユーザ定義スタイル入力、又はそれらの組合せに基づくスタイル制約を選択及び適用する。
後述する図5は、簡略化したスタイル入力コントロールのセットの一実施形態を示し、ユーザがそれらを採用してスタイル制約選択器323へのユーザスタイル入力を生成するか、又はそれらはスタイル制約選択器323に対するデフォルト設定を含んでもよい。
画像解析制約選択器321は、1つの画像又は画像のセットの画像内容の(画像解析データを採用する)自動解析、1つの画像又は画像のセットの画像内容のユーザ解析、又はそれらの組合せに基づく画像解析制約を選択及び適用する。
後述する図6は、自動及びユーザ提供画像解析入力のいくつかの例を表示している。
フロー図400の420において、一実施形態では、高次元解空間の1つ又は複数の制約されていない次元が、ランダム選択を通じて特定される。
ランダムに選択される制約は、制約されると、高次元解空間を扱い易い次元の解空間にさらに制限し、その場合、扱い易い次元の解空間の扱い易さは、計算資源の能力に関連する。
したがって、一実施形態では、ランダム制約器325は、画像解析制約選択器321及び/又はスタイル制約選択器323によって適用される任意の1つ又は複数の制約を受け取り且つ解析する。
画像解析制約選択器325は、特定の画像又は画像のセットに対して残る画像レイアウトに対する次元の自由度の数を確定する。
画像解析制約選択器325はまた、プロセッサ又は画像解析プログラム等の特定の計算資源が有効に解決することができる制約されていない次元の自由度の数も確定する(たとえば、デフォルト設定又はポーリング要求を介して)。
一実施形態では、ランダム制約器325は、その後、制約されていない次元(自由度)を計算資源に関して扱い易いレベルまで削減するために十分な制約されていない次元を、ランダムに選択及び制約する。
したがって、たとえば、次元の自由度は、組込み装置に対して1次元若しくは2次元、又は高性能パーソナルコンピュータに対して4次元若しくは5次元まで削減されうる。
たとえば、ランダム制約器325が、特定の画像のセットのレイアウトに対して10個の制約されていない次元が残っていると判断する実施形態を考える。
この例では、ランダム制約器325はまた、5つ以下の制約されていない自由の次元がある場合に、試行レイアウト生成器215のプロセッサ等の計算資源が画像のセットに対するレイアウトを最適に生成することができるということも判断する。
これに応じて、ランダム制約器325は、残っている10個の制約されていない次元から、制約されていないレイアウト次元の数を5つ以下にするために十分な制約をランダムに選択及び適用する。
そのため、このような例では、ランダム制約器325は、レイアウト制約を選択及び適用することによって、残りの制約されていない次元に対する5つの制約をランダムに生成してもよい。
別のこのような例では、試行レイアウト生成及び最適化のプロセスを迅速化するか、結果の提示に対して変化を加えるか、又はそれら両方のために、ランダム制約器325は、代りに、残りの10個の制約されていない次元のうちの6つ以上をランダムに制約してもよい。
別の例では、ランダム制約器325は、特定の計算資源に関して最適に扱い易い解空間を達成するために必要であるより少ない制約を生成することをランダムに決定する。
たとえば、ランダム制約器325が、10個の制約されていない次元が残っており5つ以下の制約されていない次元がある場合に計算資源が最適に動作すると判断するような実施形態を考える。
これに応じて、ランダム制約器325は、解空間が計算資源の最適な扱い易さを越えたままであるように、4つ以下の制約されていない次元をランダムに制約する。
そのため、1つのこのような例では、ランダム制約器325は、制約されていない次元を制約するためにゼロのレイアウト制約を生成してもよい。
一方、別のこのような例では、ランダム制約器325は、2つ、3つ又は4つの次元を制約するように制約レイアウトを生成してもよい。
フロー図400の430では、一実施形態において、試行画像レイアウトを生成するのに使用するために画像レイアウト制約のセットが提供され、レイアウト制約のセットは、扱い易い次元の解空間を定義する。
一実施形態では、ランダム制約器325は、画像解析制約選択器321及びスタイル制約選択器323によって生成される、適用されたレイアウト制約を蓄積する。
他の蓄積された制約に任意のランダムに適用された制約を加えた後、ランダム制約器325は、特定の計算資源に関して扱い易い次元の解空間を定義するレイアウト制約のセットとして、出力227においてこれらのレイアウト制約のすべてを出力する。
別の実施形態では、レイアウト制約のセット全体を出力する代りに(又はそれに加えて)、ランダム制約器325は、制約のセットから導出されるレイアウト制約の順列を出力する。この場合、各順列は、扱い易い次元の解空間内にある試行レイアウトを生成するために使用されうる。
図5は、本発明の一実施形態による例示的なユーザスタイル入力コントロールパネル500の図である。
コントロールパネル500は、テンポコントロール510及び付随するテンポセレクタ511と、レイアウト毎の画像コントロール520及び付随するレイアウト毎の画像セレクタ521と、主題1コントロール530及び付随する主題1セレクタ531と、主題2コントロール540及び付随する主題2セレクタ541とから成る。
コントロール(510、520、530及び540)の各々を、スライドコントロールとして構成されているように示しており、そこでは、関連付けられるセレクタ(511、521、531、541)をそのスライド上の適切な位置に配置することによって、入力が選択される。
一実施形態では、コントロール500は、表示装置118(図1)等の表示装置の選択可能領域として構成され、コンピュータシステム100のカーソルコントロール116(共に図1)等のカーソルコントロールを使用することによって操作される。
図5内に示されるものに対して、回転コントロール、選択可能ボックス、ドロップダウンメニュー等を含む他の制御手段が容易に代用可能であり、したがって、それらは本発明の範囲内にあるということが理解される。
また、スタイル入力コントロールパネル500に示されるコントロールは単に例示的なものであり、同様のコントロールパネルの他の実施形態は異なる又は追加のユーザ選択可能入力で構成される、ということも理解される。
テンポコントロール510は、1つの画像又は画像群の提示のテンポのさまざまな要素を制御するユーザ入力のための簡略化手段を提供する。
たとえば、低速512、中間513又は高速514に対応する入力を提供するようにテンポコントロール510の長さに沿ってスライダ511を配置することによって、ユーザはテンポ入力を選択する。
コントロール510からの入力選択を介して、スタイル制約選択器323は、高次元解のセットの次元を制限するように1つ又は複数のテンポ制約を選択及び適用する。
たとえば、さまざまなテンポ関連制約を選択及び適用するために、(図示するような)低速512、中間513又は高速514の入力選択が使用される。
限定ではなく例として、一実施形態では、高速514の選択は、画像レイアウト毎に5秒間の表示時間の制約、1秒間のフェードインの制約、1秒間のフェードアウトの制約、並びに適用可能な場合は高速ズーミング速度の制約及び高速パンニング速度の制約に対応する。
レイアウト毎の画像コントロール520は、提示のために生成される各試行レイアウトに配置される画像の数を制御するユーザ入力のための簡略化手段を提供する。
たとえば、レイアウト毎に1つの画像522、レイアウト毎に2つ以上の画像523又はレイアウト毎に可変数の画像524に対応する入力を提供するようにレイアウト毎の画像コントロール520の長さに沿ってスライダ521を配置することによって、ユーザは「レイアウト毎の画像」入力を選択する。
コントロール520からの入力選択を介して、スタイル制約選択器323は、各試行レイアウトにおいて使用される画像の数を制約することによって、高次元解のセットの次元を制限するように制約を選択及び適用する。
たとえば、一例では、「1つ」522という入力選択によって、レイアウトが単一の画像で生成されるようにする制約がもたらされる。
同様に、一例では、「2つ以上」523の入力によって、各レイアウトに2つ以上の画像があるレイアウトが生成されるようにする制約がもたらされる。
同様に、一例では、(図示するように)「可変」524の入力によって、各レイアウトに1つ又は複数の画像があるレイアウトが生成されるようにする制約がもたらされる。
他の実施形態では、追加の且つ/又は異なる、レイアウト毎の画像選択がユーザに提供され得ることが理解される。
主題1コントロール530は、1つの画像又は画像群の提示の主題のさまざまな要素を制御するユーザ入力のための簡略化手段を提供する。
たとえば、調和532又は不調和533に対応する入力を提供するように主題1コントロール530の長さに沿ってスライダ531を配置することによって、ユーザは主題1入力を選択する。
コントロール530からの入力選択を介して、スタイル制約選択器323は、高次元解のセットの次元を制限するように1つ又は複数の主題制約を選択及び適用する。
たとえば、主線を有する画像に対しパンニングを制限する主題制約を選択及び適用するために、(図示するように)調和532の入力選択が用いられ、パンされた画像の主線に対して平行な(それと調和する)方向にパンニングがさらに制約される。
同様に、不調和533の入力によって、主線を有する画像に対するパンニングが制限され、パンされた画像の主線に対して垂直な(それと対立する)方向にパンニングがさらに制約される。
主題2コントロール540は、1つの画像又は画像群の提示の主題のさまざまな要素を制御するユーザ入力に対する第2の簡略化手段を提供する。
たとえば、低色(low color)542、混合色543又は高色(high color)544に対応する入力を提供するために主題2コントロール540の長さに沿ってスライダ541を配置することによって、ユーザは主題2入力を選択する。
コントロール540からの入力選択を介して、スタイル制約選択器323は、高次元解のセットの次元を制限するように1つ又は複数の主題制約を選択及び適用する。
限定ではなく例として、同様の色若しくは補色の画像を複数の画像を含むレイアウト又は一続きのレイアウトにグループ分けする主題制約を選択及び適用するために、(図示するように)高色544の入力選択が用いられる。
同様に、高色544の選択によって、鮮やかな色がない画像の表示を排除又は低減する主題制約が適用される。
同様に、適用可能な場合、高色544の選択によって、レイアウト内の画像の鮮やかな着色部分に対するズーミング及びパンニングを促進する主題制約も適用される。
一実施形態では、コントロール510、520、530及び540(並びに使用される場合は他のもの)は、提示スタイルに対する自動又はユーザ定義のデフォルトスタイル制約設定があるように構成されており、これらは、デフォルト設定のユーザ変更がない場合に、スタイル制約選択器323によって制約を選択及び適用するための入力として利用される。
たとえば、一実施形態では、デフォルト提示スタイルは、デフォルト設定が中間513であるテンポコントロール510と、デフォルト設定が「1つ」522であるレイアウト毎の画像コントロール520と、デフォルト設定が調和532である主題1コントロールと、デフォルト設定が混合色543である主題2コントロールとから構成されている。
図6は、本発明の実施形態が実施されうる例示的な画像610及び620を示す。
画像610を参照すると、飛行機611は、入力として受け取られる画像解析データを介して画像解析制約選択器321が自動的に識別する顕著なオブジェクト(関心オブジェクト)を表している。
同様に、領域615は、顕著性がほとんどないか又はまったくない、画像610の自動識別領域である。
一実施形態では、このようなオブジェクト及び領域の自動識別に応じて、画像解析制約選択器321は、1つ又は複数の画像解析制約を選択及び適用する。
例として、一実施形態では、画像解析制約選択器321は、オブジェクト611が画像610を含む任意のレイアウトに表示されるようにする制約を選択及び適用する。
同様に、一実施形態では、画像解析制約選択器321は、領域615が、画像610を含む任意のレイアウトにおいてクロッピングされ、オーバラップされ、最小化され、又は表示されないようにする制約を選択及び適用する。
図6において、線613は、飛行機611の長さに対応する画像610の主線の方向を表している。
一実施形態では、主線613は、画像解析制約選択器321へのユーザ画像解析入力を介して識別されている。
主線613のユーザ識別(又は他の何らかのユーザ入力)に応じて、画像解析制約選択器321は、1つ又は複数の画像解析制約を選択及び適用する。
限定ではなく例として、一実施形態では、画像解析制約選択器321は、主線613に対して平行な方向における画像610の調和したパンニングを可能にする制約と、主線613に対して垂直な方向における画像610の不調和なパンニングを可能にする制約とを選択及び適用する。
画像620を参照すると、人622は、入力として受け取られる画像解析データを介して画像解析制約選択器321が自動的に識別する顕著なオブジェクト(関心オブジェクト)を表している。
同様に、領域626は、顕著性がほとんどないか又はまったくない、画像620の自動識別領域である。
一実施形態では、オブジェクト及び領域の自動識別に応じて、画像解析制約選択器321は、1つ又は複数の画像解析制約を選択及び適用する。
例として、一実施形態では、画像解析制約選択器321は、オブジェクト622が画像620を含む任意のレイアウトに表示されるようにする制約を選択及び適用する。
同様に、一実施形態では、画像解析制約選択器321は、領域626が、画像620を含む任意のレイアウトにおいてクロッピングされ、オーバラップされ、最小化され、又は表示されないようにする制約を選択及び適用する。
破線円624は、画像620において識別された非常に顕著性が高い領域(顔)を表している。
一実施形態では、領域624は、画像解析制約選択器321によって、入力として受け取られた画像解析データから自動的に識別されている。
さらに、1つのこのような実施形態では、ユーザ画像解析入力もまた、画像解析制約選択器321によって、非常に顕著性が高い領域としての領域624の適切な識別を確認するために受け取られている。
領域624又は他の同様な顕著性が非常に高い領域の識別に応じて、画像解析制約選択器321は、1つ又は複数の画像解析制約を選択及び適用する。
限定ではなく例として、一実施形態では、画像解析制約選択器321は、画像620の領域624に対するズーミング及び/又は拡大を可能にする制約を選択及び適用する。
画像レイアウト制約の生成
図7は、本発明の一実施形態による、画像レイアウト制約を生成する方法のフロー図700である。
フロー図700の705において、一実施形態では、選択されたレイアウト制約を利用して、レイアウト次元のセットをレイアウト次元の制限されたセットに絞る(narrow)。
1つのこのような実施形態では、利用される制約は、レイアウト次元のまだ制約されていないセットを絞るために、画像解析制約選択器321又はスタイル制約選択器323によって選択及び適用されるレイアウト制約である。
たとえば、一例では、これは、自動的に選択されたレイアウト制約を利用して、レイアウト次元のセットを絞ることを含む。
一実施形態では、自動的に選択されたレイアウト制約は、画像解析制約選択器321によって選択及び適用され、画像内容の自動解析、画像内容のユーザ解析又はそれらの組合せに基づいている。
図6の記述は、画像解析制約選択器がユーザ入力及び自動画像解析入力に基づいて画像解析レイアウト制約をいかに選択及び適用するかの例を詳述している。
別の例では、これは、スタイル入力に基づく選択されたレイアウト制約を利用して、レイアウト次元のセットを絞ってレイアウト次元の制限されたセットを作成することを含む。
スタイル入力は、ユーザスタイル入力、デフォルトスタイル入力設定又はそれらの組合せに基づく。
1つのこのような実施形態では、スタイル制約選択器323を利用して、スタイル入力に基づく利用される制約が選択及び適用される。
図5の記述は、デフォルトスタイル入力設定及びユーザ選択スタイル入力が、スタイル制約選択器323によって、スタイルレイアウト制約を選択及び適用するためにいかに使用されるかの例を詳述している。
レイアウト次元のセットをレイアウト次元の制限されたセットに絞るために2つ以上の選択された制約が利用される実施形態では、選択された制約は、画像解析制約選択器321、スタイル制約選択器323又は両方によって選択及び適用されることが理解される。
フロー図700の715において、一実施形態では、少なくとも1つのランダムレイアウト制約を利用して、レイアウト次元の制限されたセットをレイアウト次元の削減されたセットに絞る。
レイアウト次元の削減されたセットは、レイアウト次元の制限されたセットより、画像レイアウトに対する制約が多く且つ次元の自由度が少ない。
ランダム制約器325は、利用される制約をランダムに選択及び適用する。一実施形態では、ランダム制約器325は、画像解析制約選択器321、スタイル制約選択器323又は両方によって選択及び適用される制約の適用後に残っている、制約されていない次元から成る、レイアウト次元の制限されたセットを解析する。
この解析を通じて、ランダム制約器325は、レイアウト次元の制限されたセットにおけるどの次元が制約されないままであるかを判断する。
ランダム制約器325は、レイアウト次元の制限されたセットのうちの1つ又は複数の制約されていない次元に対し、1つ又は複数の制約を(上述したように)ランダムに選択及び適用する。
一実施形態では、ランダム制約器325はまた、すでに制約されている次元に対しさらなる制約をランダムに選択及び適用する。
一実施形態では、ランダム制約の適用の目的は、レイアウト次元の制限されたセットを削減されたセットに削減することである。
1つのこのような実施形態では、ランダム制約器325は、これを、プロセッサ又は試行レイアウト生成器若しくはレイアウト最適化器の画像形成プログラム等の計算資源に関連する扱い易い次元にまでレイアウト次元の制限されたセットを削減するために、制約されていない次元に対し十分な(又は十分すぎるほどの)ランダム制約を適用することによって行う。
したがって、たとえば、レイアウト次元の制限されたセットの次元の自由度が10であり、レイアウト次元の削減されたセットが、扱い易いように5以下の自由度を有することが必要な場合、ランダム制約器325は、制約されていない自由度の少なくとも5つを制約するようにレイアウト制約をランダムに選択及び適用する。
別の実施形態では、レイアウト次元の制限されたセットがすでに扱い易い解のセットである場合、ランダム制約器325は、依然として、レイアウト次元の制限されたセットの制約されている又は制約されていない次元に対し1つ又は複数の制約をランダムに選択及び適用する。
これによって、レイアウト次元の削減されたセットにランダム性が導入され、それによって、レイアウト次元の削減されたセットから生成される結果としての試行画像レイアウト及び提示は、ユーザに対して面白味がなく且つ繰り返しが多い(repetitive)ようには見えなくなる。
ランダム制約器325は、解のセットを計算資源に関して最適な扱い易さの範囲にするのに必要な数を下回る数の制約をランダムに適用する。
10個の次元の自由度が残っており、且つ最適な扱い易さが5以下の自由度で達成される先の例を考える。
この実施形態では、ランダム制約器325は、4つ以下の制約をランダムに選択及び適用する。
このため、解のセットには、計算資源に関して最適に扱い易い数より多くの制約されていない次元が残ることになる。
これによって、計算資源に「今まで見つけた中で最良の(best that I've found so far)」タイプの解を提供させる次元のセットを時折作成することにより、レイアウト次元の削減されたセットにランダム性が導入される。
フロー図700の725において、一実施形態では、レイアウト次元の削減されたセットを採用して、画像の時間変化する表示に対して画像レイアウト制約のセットを指定する。
一実施形態では、ランダム制約器325は、レイアウト次元のセットを制限及び削減するために使用された制約からレイアウト制約のセットを統合する。
ランダム制約器325は、この統合された制約のセットを、レイアウト次元の削減されたセットの残りの制約されていない次元と結合して、1つの画像又は画像のセットの、スライドショータイプの提示等の時間変化する表示のために画像レイアウト制約のセットを指定する。
別の実施形態では、ランダム制約器325はさらに、レイアウト制約の指定されたセットから複数の制約順列を確定する。
各制約順列は、たとえば試行レイアウト生成器によって画像のセットに適用される場合、一意の画像レイアウトをもたらす。
ここで図6の画像610及び620を参照すると、このような順列の一例は、画像620のみを表示するレイアウトを指示してもよい。
この例に従うと、順列はまた、画像620が何らかの方法でクロッピングされて領域626が除去されることと、新たなレイアウトが表示されるまでクロッピングされた画像が特定の時間にわたって表示領域の中心に静止して表示されることと、クロッピングされた画像が表示されている間に非常に顕著な領域624が低速なズーム速度でズームインされることとをさらに要求してもよい。
フロー図700の735において、一実施形態では、画像の時間変化する表示に対する試行レイアウトのセットを生成するのに使用するために、画像レイアウト制約のセットが提供される。
1つのこのような実施形態では、ランダム制約器325は、出力ライン227における出力として、(ブロック725に関連して上述した)画像レイアウト制約の選択されたセットを提供する。
出力ライン227は、評価のための1つ又は複数の試行レイアウトの生成における使用のために、又は1つの画像若しくは画像のセットの、スライドショータイプの提示等の時間変化する表示における使用のために、試行レイアウト生成器215(図2)又は何らかの同様の要素に結合されている。
本発明の主題を、構造的特徴及び/又は方法的行為に特有の用語で説明したが、添付の特許請求の範囲で規定されている主題は、上述した特定の特徴又は行為に必ずしも限定されないことが理解されるべきである。むしろ、上述した特定の特徴及び行為は、特許請求の範囲を実施する形態例として開示されている。
100 コンピュータシステム
102 周辺コンピュータ可読媒体
106 プロセッサ
108 コンピュータ使用可能揮発性メモリ
110 コンピュータ使用可能メモリ
112 データ記憶ユニット
114 英数字入力
116 カーソルコントロール
118 表示装置
120 I/O装置
122 オペレーティングシステム
124 アプリケーション
126 モジュール
128 データ
200 システム
205 画像解析器
210 レイアウト最適化器
215 試行レイアウト生成器
220 レイアウト制約生成器
321 画像解析制約選択器
323 スタイル制約選択器
325 ランダム制約器

Claims (10)

  1. 画像レイアウト制約(image layout constraint)を生成する方法(400)であって、前記方法の各処理はコンピュータによって実行され、
    選択された制約を適用して高次元解空間(highly dimensional solution space)の次元を制限すること(410)と、
    ランダム選択を通じて、前記高次元解空間の1つ又は複数の制約されていない次元を特定することであって、該次元は、制約されると、前記高次元解空間の次元の自由度の数を計算資源の能力に応じて削減する、特定すること(420)と
    を含む方法。
  2. 試行画像レイアウト(trial image layout)を生成するのに使用される画像レイアウト制約を提供することであって、該レイアウト制約は記次元の自由度の数が削減された解空間を定義する、提供すること(430)
    をさらに含む請求項1に記載の方法。
  3. 前記選択された制約を適用して高次元解空間の次元を制限すること(410)は、
    前記選択された制約を、ユーザ定義のスタイル入力(stylistic input)に基づかせること
    を含む
    請求項1に記載の方法。
  4. 前記選択された制約を適用して高次元解空間の次元を制限すること(410)は、
    前記選択された制約を、画像内容の自動解析に基づかせること
    を含む
    請求項1に記載の方法。
  5. 前記選択された制約を適用して高次元解空間の次元を制限すること(410)は、
    前記選択された制約を、事前定義されるデフォルトに基づかせること
    を含む
    請求項1に記載の方法。
  6. 画像の時間変化する表示に対してレイアウト制約を生成するシステム(220)であって、
    前記画像の解析に基づいてレイアウト制約を生成するように構成される画像解析制約選択器(321)と、
    前記画像の時間変化する表示の選択された提示スタイルに基づいて、レイアウト制約を生成するように構成されるスタイル制約選択器(323)と、
    前記画像の時間変化する表示に関連する次元解空間のレイアウト制約であって、前記次元解空間の次元の自由度の数を計算資源の能力に応じて削減するのに十分な前記レイアウト制約をランダムに生成するように構成されるランダム制約器(325)と
    を具備するシステム。
  7. レイアウト生成器(215)との結合部(227)であって、前記画像の複数の試行レイアウトを生成するのに使用するために、前記生成されたレイアウト制約を前記レイアウト生成器に提供するように構成される、結合部(227)
    をさらに具備する請求項6に記載のシステム。
  8. 前記画像解析制約選択器(321)は、レイアウト制約がない場合に生成される試行画像レイアウトを削減し前記画像の自動画像内容解析に基づくレイアウト制約を生成するように構成される
    請求項6に記載のシステム。
  9. 前記画像解析制約選択器(321)は、前記画像のユーザ画像内容解析に基づいてレイアウト制約を生成するように構成される
    請求項6に記載のシステム。
  10. 前記提示スタイルは、ユーザ選択可能画像提示テンポ、デフォルト提示スタイル及びユーザ選択可能画像主題(theme)から成るグループから選択される
    請求項6に記載のシステム。
JP2009522800A 2006-07-31 2007-07-25 画像レイアウト制約生成 Expired - Fee Related JP4870212B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/496,847 2006-07-31
US11/496,847 US7668400B2 (en) 2006-07-31 2006-07-31 Image layout constraint generation
PCT/US2007/016799 WO2008016533A2 (en) 2006-07-31 2007-07-25 Image layout constraint generation

Publications (2)

Publication Number Publication Date
JP2009545814A JP2009545814A (ja) 2009-12-24
JP4870212B2 true JP4870212B2 (ja) 2012-02-08

Family

ID=38986342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009522800A Expired - Fee Related JP4870212B2 (ja) 2006-07-31 2007-07-25 画像レイアウト制約生成

Country Status (8)

Country Link
US (1) US7668400B2 (ja)
JP (1) JP4870212B2 (ja)
KR (1) KR101037252B1 (ja)
CN (1) CN101523346B (ja)
BR (1) BRPI0714104A2 (ja)
DE (1) DE112007001788T5 (ja)
GB (1) GB2454838B (ja)
WO (1) WO2008016533A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134945A1 (en) * 2003-12-17 2005-06-23 Canon Information Systems Research Australia Pty. Ltd. 3D view for digital photograph management
JP2006331393A (ja) * 2005-04-28 2006-12-07 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
US7620267B2 (en) * 2006-04-28 2009-11-17 Hewlett-Packard Development Company, L.P. Collage generation with occlusion costing
US20080101761A1 (en) * 2006-10-31 2008-05-01 Simon Widdowson Weighted occlusion costing
US8078969B2 (en) * 2007-03-05 2011-12-13 Shutterfly, Inc. User interface for creating image collage
US20100115399A1 (en) * 2007-03-15 2010-05-06 Koninklijke Philips Electronics N.V. Method and apparatus for generating an album of images
US8132096B1 (en) * 2007-03-26 2012-03-06 Hewlett-Packard Development Company, L.P. Image composition evaluation
US20080266606A1 (en) * 2007-04-24 2008-10-30 Huenemann Geoffrey W Optimized print layout
US8775953B2 (en) * 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
JP4987774B2 (ja) * 2008-03-26 2012-07-25 富士フイルム株式会社 画像選択装置および画像選択方法
US8577156B2 (en) * 2008-10-03 2013-11-05 3M Innovative Properties Company Systems and methods for multi-perspective scene analysis
AU2009298428B2 (en) 2008-10-03 2013-03-14 3M Innovative Properties Company Systems and methods for optimizing a scene
CN102227753B (zh) 2008-10-03 2018-01-19 3M创新有限公司 用于评估稳健性的系统和方法
US8907984B2 (en) * 2009-07-08 2014-12-09 Apple Inc. Generating slideshows using facial detection information
US20110280476A1 (en) * 2010-05-13 2011-11-17 Kelly Berger System and method for automatically laying out photos and coloring design elements within a photo story
JP2012079174A (ja) 2010-10-04 2012-04-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5715433B2 (ja) * 2011-02-08 2015-05-07 キヤノン株式会社 撮像装置及びアルバム作成方法、プログラム並びに記憶媒体
JP5598737B2 (ja) * 2012-02-27 2014-10-01 カシオ計算機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US9330437B2 (en) 2012-09-13 2016-05-03 Blackberry Limited Method for automatically generating presentation slides containing picture elements
EP2709067B1 (en) * 2012-09-13 2019-05-01 BlackBerry Limited Method for automatically generating presentation slides containing picture elements
US9093007B2 (en) * 2012-09-21 2015-07-28 Blackberry Limited Method and device for generating a presentation
JP5820853B2 (ja) * 2013-08-26 2015-11-24 株式会社沖データ 画像処理装置
KR102170896B1 (ko) * 2014-04-11 2020-10-29 삼성전자주식회사 영상 표시 방법 및 전자 장치
US9842185B2 (en) * 2015-08-21 2017-12-12 Qualcomm Incorporated Systems and methods for group constraints in an integrated circuit layout
US10185788B2 (en) * 2015-10-13 2019-01-22 Samsung Electronics Co., Ltd. Rule based completion of maps with partial data
CN115048088A (zh) * 2016-05-17 2022-09-13 谷歌有限责任公司 自动确定布局约束的系统和方法
JP7222216B2 (ja) * 2018-10-29 2023-02-15 株式会社アイシン 運転支援装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305730A (ja) * 1999-02-02 2000-11-02 Canon Inc 印刷システム
JP2005025715A (ja) * 2002-11-25 2005-01-27 Matsushita Electric Ind Co Ltd ショートフィルム生成再生装置およびその方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7124359B2 (en) 1996-01-11 2006-10-17 Canon Kabushiki Kaisha Image edit device adapted to rapidly lay-out photographs into templates with means for preview and correction by user
AUPO523397A0 (en) 1997-02-20 1997-04-11 Canon Kabushiki Kaisha A method of positioning display images
AUPQ027899A0 (en) 1999-05-10 1999-06-03 Canon Information Systems Research Australia Pty Ltd Method and apparatus for automatically positioning one or more objects within a region
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
US7340676B2 (en) 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
JP2004199248A (ja) 2002-12-17 2004-07-15 Seiko Epson Corp 画像レイアウト装置、画像レイアウト方法、及びプログラム
WO2005027504A1 (ja) 2003-09-10 2005-03-24 Seiko Epson Corporation 出力画像データ生成装置および出力画像データ生成方法
US8065627B2 (en) 2003-09-30 2011-11-22 Hewlett-Packard Development Company, L.P. Single pass automatic photo album page layout
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
JP4396430B2 (ja) 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
GB2417808A (en) 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system
US20060230341A1 (en) 2005-03-16 2006-10-12 Kabushiki Kaisha Toshiba Image editing apparatus and image editing method
US7595809B2 (en) 2005-05-11 2009-09-29 Hewlett-Packard Development Company, L.P. Method and system for determining an occlusion cost for concurrently presenting one or more images in a shared viewing region
US7620267B2 (en) 2006-04-28 2009-11-17 Hewlett-Packard Development Company, L.P. Collage generation with occlusion costing
US7848596B2 (en) 2006-05-24 2010-12-07 Hewlett-Packard Development Company, L.P. Templated collage generation with occlusion costing
US20080101761A1 (en) 2006-10-31 2008-05-01 Simon Widdowson Weighted occlusion costing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305730A (ja) * 1999-02-02 2000-11-02 Canon Inc 印刷システム
JP2005025715A (ja) * 2002-11-25 2005-01-27 Matsushita Electric Ind Co Ltd ショートフィルム生成再生装置およびその方法

Also Published As

Publication number Publication date
US7668400B2 (en) 2010-02-23
CN101523346A (zh) 2009-09-02
GB2454838B (en) 2011-10-19
WO2008016533A2 (en) 2008-02-07
KR101037252B1 (ko) 2011-05-26
GB2454838A (en) 2009-05-27
GB0902248D0 (en) 2009-03-25
JP2009545814A (ja) 2009-12-24
WO2008016533A3 (en) 2008-07-17
BRPI0714104A2 (pt) 2013-01-01
CN101523346B (zh) 2012-08-29
DE112007001788T5 (de) 2009-08-06
KR20090031754A (ko) 2009-03-27
US20080025566A1 (en) 2008-01-31

Similar Documents

Publication Publication Date Title
JP4870212B2 (ja) 画像レイアウト制約生成
US9508167B2 (en) Method and apparatus for high-dimensional data visualization
US9674425B2 (en) Image acquisition method and apparatus
JP4996679B2 (ja) オクルージョンコスト計算を用いるコラージュ生成
US9224191B2 (en) Masking tool
JP4916548B2 (ja) 画像のドミナントライン(dominantline)の確定及び使用
KR102662873B1 (ko) 픽처 처리 방법 및 장치, 디바이스 및 저장 매체
WO2005069170A1 (ja) 画像ファイル一覧表示装置
CN110555893A (zh) 通过选择性地将栅格图像转换为向量绘图部分来生成增强的数字图像
US20120105446A1 (en) Building controllable clairvoyance device in virtual world
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
JP2004193933A (ja) 画像拡大表示方法・装置・メディア・プログラム
JP2007088655A5 (ja)
KR20120035321A (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
CN116661656B (zh) 画面交互方法及摄像展示系统
US20120120197A1 (en) Apparatus and method for sharing hardware between graphics and lens distortion operation to generate pseudo 3d display
JP5765209B2 (ja) 画像処理プログラムおよび画像処理装置
JP3742358B2 (ja) 光学的文字認識装置およびプログラム
JP2024109556A (ja) データ処理システム
JPH1115625A (ja) マルチウィンドウ画面の表示方法
CN114092455A (zh) 图像处理方法、图像处理装置和电子设备
CN117389667A (zh) 显示方法和显示装置
CN114546223A (zh) 文件控制方法、装置、电子设备及计算机可读存储介质
CN111045664A (zh) 一种获取场景物件视觉参数的方法及系统
JPH03119480A (ja) アニメーション装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111116

R150 Certificate of patent or registration of utility model

Ref document number: 4870212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees