以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る質の高いフォトブックの一例
まず、本実施形態に係る情報処理装置における本実施形態に係る情報処理方法に係る処理について説明する前に、本実施形態に係る質の高いフォトブックの一例を示す。
〔A〕質の高いフォトブックの第1の例:余白
図1は、本実施形態に係る質の高いフォトブックの第1の例を説明するための説明図であり、余白に関する質を説明するための説明図である。図1に示すA、図1に示すBは、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。
ここで、本実施形態に係る余白とは、例えば、生成されたレイアウトの画像が配置されるページにおける、画像が配置されない周辺部分の領域である。また、以下では、例えば図1のBに示すように、生成されたレイアウトの画像が配置されるページにおける、余白(画像が配置されない周辺部分)以外の画像が配置されない部分の領域を、「空白」と示す。
本実施形態に係る質の高いフォトブックとしては、例えば図1のA、図1のBに示すように、フォトブックにおける上下の余白が同一(または、略同一。以下、同様とする。)であるもの、左右の余白が同一であるもの、見開き間の余白(例えば図1のAの画像間の余白)が、同一であるものが挙げられる。例えば上下の余白、左右の余白、見開き間の余白それぞれが同一に配置されることによって、ユーザに対して整然とした印象を与えることが可能であるので、フォトブックの質を向上させることができる。
〔B〕質の高いフォトブックの第2の例:粗密
図2は、本実施形態に係る質の高いフォトブックの第2の例を説明するための説明図であり、粗密に関する質を説明するための説明図である。図2に示すA1〜A3は、配置される画像においてユーザの注意をよりひくと考えられる注目領域を示している。ここで、本実施形態に係る注目領域としては、例えば、画像における密度が高い領域や、画像における輝度変化が大きい領域、画像における色相変化が大きい領域、画像におけるエッジの方向変化が大きい領域などが挙げられる。
本実施形態に係る質の高いフォトブックとしては、例えば図2のA1〜A3に示すように、注目領域を見開きページの中心に配置しないものや、注目領域が単調とならないように、注目領域を見開きページの中で様々なところに配置するものが挙げられる。注目領域を見開きページの中心に配置しないことによって、いわゆる日の丸構図を回避することができ、また、注目領域を見開きページの中で様々なところに配置することによって、注目領域を分散させることが可能となる。よって、例えば図2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔C〕質の高いフォトブックの第3の例:休み
図3は、本実施形態に係る質の高いフォトブックの第3の例を説明するための説明図であり、休みに関する質を説明するための説明図である。図3に示すA、図3に示すBは、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。
ここで、本実施形態に係る休みの画像としては、例えば、ピントの合い方に強弱がない画像や、色の密集がない画像、面が細かくなっているところがない画像、被写体が分散している画像などが挙げられる。
本実施形態に係る質の高いフォトブックとしては、例えば図3のAに示すように、見開きページの中で休みの画像(図3のAにおいて“休み”と示している画像)と、注目させたい画像(休みではない画像。図3のAの“1”、“2”、“4”が付された画像)とを混在して配置させるものが挙げられる。また、例えば図3のAに示すように、見開きページの中で、注目させたい画像を大きく表示し、休みの画像を小さく配置してもよい。さらに、例えば図3のAに示すように、見開きページの中で、休みの画像が隣り合わないように配置してもよい。
例えば図3のAに示すように、見開きページの中で休みの画像と注目させたい画像とを混在して配置させることによって、見開きページの中で注目させたい画像のみが配置される場合と比べて、当該見開きページに配置された画像を見るユーザに与える負担をより軽減することができる。また、例えば図3のAに示すように、見開きページの中で休みの画像と注目させたい画像とを混在して配置させる場合であっても、注目させたい画像をユーザに見せることが可能である。よって、例えば図3のAに示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
なお、本実施形態に係る休みに関する質を実現するための方法は、図3のAに示すように、休みの画像を配置することに限られない。例えば図3のBに示すように、休みの画像を配置する代わりに、空白を設けてもよい。
〔D〕質の高いフォトブックの第4の例:画像の方向性
図4は、本実施形態に係る質の高いフォトブックの第4の例を説明するための説明図であり、画像の方向性に関する質を説明するための説明図である。図4に示す矢印は、配置される画像それぞれの方向性を示している。
ここで、本実施形態に係る画像の方向性とは、画像を見たユーザの視線が動きやすい方向である。本実施形態に係る画像の方向性としては、例えば、画像に含まれる人(被写体の一例)が向いている方向や、画像において人や注目点が並んでいる方向、画像における密度が高い領域から密度が低い領域へと向かう方向、画像に含まれる地平線や境目の方向などが挙げられる。
本実施形態に係る質の高いフォトブックとしては、例えば図4に示すように、見開きページに配置された画像それぞれの方向性をばらつかせることが挙げられる。例えば図4に示すように、見開きページにおいて同じ方向性の画像が続かないことによって、例えばユーザが画像をみることに飽きる可能性が、より低減される。また、ユーザが画像をみるときの目線と、見開きページに配置された画像の方向性とが一致すれば、さらに心地よさをユーザに与えることが可能となる。よって、例えば図4に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔E〕質の高いフォトブックの第5の例:画像が占める面積のバランス
図5は、本実施形態に係る質の高いフォトブックの第5の例を説明するための説明図であり、画像が占める面積のバランスに関する質を説明するための説明図である。ここで、図5は、例えば、見開きの各ページにおいて配置された画像が占める面積が、ページ全体の70[%]である例を示している。
本実施形態に係る質の高いフォトブックとしては、例えば図5に示すように、見開きの各ページにおいて配置された画像が占める面積を同一(または、略同一。以下、同様とする。)とするものが挙げられる。例えば図5に示すように、見開きの各ページにおいて配置された画像が占める面積を同一とすることによって、見開きページ全体のバランスが向上する。よって、例えば図5に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔F〕質の高いフォトブックの第6の例:レイアウト
図6は、本実施形態に係る質の高いフォトブックの第6の例を説明するための説明図であり、レイアウトに関する質を説明するための説明図である。図6に示すA1、図6に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目〜4ページ目を示している。また、図6に示すB1は、本実施形態に係るレイアウトに関する質を説明するための図6のA1に対する比較例を示しており、図6に示すB2は、本実施形態に係るレイアウトに関する質を説明するための図6のA2に対する比較例を示している。
本実施形態に係る質の高いフォトブックとしては、例えば図6のA1、A2に示すように、連続するページに配置される画像のレイアウトや枚数が同一とならないものが挙げられる。ここで、例えば図6のB1、B2に示すように、連続するページに配置される画像のレイアウトや枚数が同一である場合には、レイアウトが単調となる。これに対して、例えば図6のA1、A2に示すように、連続するページに配置される画像のレイアウトが異なり、また、配置される画像の枚数が異なれば、レイアウトが単調となることが回避され、バリエーション豊かなレイアウトが実現される。よって、例えば図6に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。なお、フォトブックを構成する複数のページにおいて、たまにレイアウトが異なるページや、画像の枚数が異なるページを生成することも、バリエーション豊かなレイアウトを実現する上で効果的である。
〔G〕質の高いフォトブックの第7の例:画像処理
図7は、本実施形態に係る質の高いフォトブックの第7の例を説明するための説明図であり、画像処理による質を説明するための説明図である。図7に示すA、B、C2、D2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。また、図7に示すC1は、本実施形態に係る画像処理による質を説明するための図7のC2に対する比較例を示しており、図7に示すD1は、本実施形態に係る画像処理による質を説明するための図7のD2に対する比較例を示している。
ここで、本実施形態に係る画像処理としては、例えば、フレーミングや、フレーミングされた画像を拡大する処理などが挙げられる。また、本実施形態に係るフレーミングとは、例えば、配置対象の画像から配置する領域を切り取ることなどによって、配置対象の画像から配置する領域を抽出することをいう。
本実施形態に係る質の高いフォトブックとしては、例えば図7のAに示すように、画像から検出された被写体(図7のAでは、人の顔を検出した例を示している。)を基準として、画像が3分割構図となるようにフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のBに示すように、画像から検出された被写体(図7のBでは、花などを検出した例を示している。)を、横または縦にフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のC2に示すように、画像から検出された被写体(図7のC2では、人の顔を検出した例を示している。)がページの境目に配置されないようにフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のD2に示すように、画像から検出された被写体(図7のAでは、人の顔を検出した例を示している。)をフレーミングし、フレーミングされた画像が、画像が配置される領域に合わせて拡大された画像が配置されるものが挙げられる。
例えば、図7のA、B、C2、D2に示すように画像処理が行われた画像がフォトブックを構成するページに配置されることによって、例えば、よりよい構図の画像やより見やすい画像を配置することが可能となる。よって、例えば図7のA、B、C2、D2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔H〕質の高いフォトブックの第8の例:コマ割り
図8は、本実施形態に係る質の高いフォトブックの第8の例を説明するための説明図であり、コマ割りに関する質を説明するための説明図である。図8に示すAは、本実施形態に係る質の高いフォトブックの一例を示している。また、図8に示すBは、本実施形態に係るコマ割りに関する質を説明するための図8のAに対する比較例を示している。
ここで、本実施形態に係るコマ割りとは、例えば、フォトブックを構成する各ページにおいて、画像が配置される領域を配置することをいう。以下では、フォトブックを構成する各ページにおいて画像が配置される領域を、「コマ」、「画像コマ」、または、「Koma」と示す場合がある。なお、図8では、本実施形態に係る画像が配置される領域に画像が配置されている例を示している。
本実施形態に係る質の高いフォトブックとしては、例えば図8のAに示すように、縦長・横長すぎるコマや、小さすぎるコマなどの不自然なコマが存在しないものや、空白が大きくなり過ぎないようにバランスのよく空白が配置されるものが挙げられる。ここで、例えば図8のBに示すように、縦長・横長すぎるコマが存在する場合や、小さすぎるコマが存在する場合、大きくなり過ぎた空白が存在する場合(空白が固まっている場合)には、フォトブックを構成する各ページや、見開きページ全体のバランスが崩れる可能性が高い。よって、例えば図8のAに示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔I〕質の高いフォトブックの第9の例:コマの回転
図9は、本実施形態に係る質の高いフォトブックの第9の例を説明するための説明図であり、コマの回転に関する質を説明するための説明図である。図9に示すA1、図9に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目〜4ページ目を示している。また、図9に示すB1は、本実施形態に係るコマの回転に関する質を説明するための図9のA1に対する比較例を示しており、図9に示すB2は、本実施形態に係るコマの回転に関する質を説明するための図9のA2に対する比較例を示している。
本実施形態に係る質の高いフォトブックとしては、例えば図9のA1、A2に示すように、コマの回転方向、回転量がバランスよく設定されているものや、不自然なコマの回転(例えば、大きいコマの回転や、小さすぎる回転角による回転など)を行わないものが挙げられる。ここで、例えば図9のB1に示すように、コマの回転方向や回転量が、見開きページ全体において同一(または、略同一)である場合や、例えば図9のB2に示すように、大きいコマが回転している場合、コマの回転が微小である場合には、見開きページ全体のバランスが崩れる可能性が高い。よって、例えば図9のA1、A2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔J〕質の高いフォトブックの第10の例:コマの重なり
図10は、本実施形態に係る質の高いフォトブックの第10の例を説明するための説明図であり、コマの重なりに関する質を説明するための説明図である。図10に示すA1、図10に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目〜4ページ目を示している。また、図10に示すB1は、本実施形態に係るコマの重なりに関する質を説明するための図10のA1に対する比較例を示しており、図10に示すB2は、本実施形態に係るコマの重なりに関する質を説明するための図10のA2に対する比較例を示している。
本実施形態に係る質の高いフォトブックとしては、例えば図10のA1、A2に示すように、コマ同士の微妙な重なり具合や接し具合(例えば、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合)を回避するものが挙げられる。ここで、例えば図10のB1に示すように、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合には、ユーザが不自然さを感じる恐れがある。よって、例えば図9のA1、A2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
また、本実施形態では、例えば図10のB1に示すように、大きなコマを小さなコマの上に重ねるのではなく、例えば図10のA1、A2に示すように、小さなコマを大きなコマの上に重ねてもよい。例えば図10のA1、A2に示すように、小さなコマを大きなコマの上に重ねることによって、より自然なコマ同士の重なりを実現することが可能となる。
本実施形態に係る質の高いフォトブックとしては、例えば、上記第1の例〜上記第10の例に示すフォトブックが挙げられる。なお、本実施形態に係る質の高いフォトブックの例が、上記第1の例〜上記第10の例に限られないことは、言うまでもない。
[2]本実施形態に係る情報処理方法の概要
次に、上述した本実施形態に係る質の高いフォトブックの例の1または2以上を実現することが可能な、本実施形態に係る情報処理方法に係る処理について説明する。
上述したように、例えば上述したフォトブックを生成する既存のアプリケーションを用いたとしても、質の高いフォトブックを自動的に生成することは、望むべくもなく、また、例えば特許文献1に記載の技術を用いたとしても、質の高いフォトブックを自動的に生成することができるとは限らない。
そこで、本実施形態に係る情報処理装置は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する(評価値算出処理)。また、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータに基づいてページ数を決定し、上記評価値算出処理において算出された評価値に基づいて各ページに配置される画像数を決定する(ページ割り当て処理)。また、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータと、上記評価値算出処理において算出された評価値とに基づいて、候補画像の中から画像を選択する(画像選択処理)。そして、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータと、上記画像選択処理において選択された画像に対応する評価値とに基づいて、ページごとに、選択された画像を配置するレイアウトを生成する(レイアウト生成処理)。
ここで、本実施形態に係る候補画像とは、上記画像選択処理において選択される画像の候補である。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部(後述する)や、本実施形態に係る情報処理装置に接続された外部記録媒体、本実施形態に係る情報処理装置とネットワークを介して(あるいは、直接的に)接続されたサーバなどの外部装置が備える記録媒体などに記憶されている画像を、候補画像とする。本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
また、本実施形態に係る画像に関する情報とは、画像を解析することにより得られるデータである。本実施形態に係る画像に関する情報としては、例えば、画像から検出された所定の被写体を含む領域の面積を示すデータや、人(所定の被写体の一例)の表情を示すデータ、画像から検出された注目領域の面積を示すデータ、画像のぼけ度合いを示すデータ、画像に含まれる色の種類を示すデータなどが挙げられる。
ここで、本実施形態に係る情報処理装置は、例えば、候補画像を解析することによって、候補画像それぞれに対応する本実施形態に係る画像に関する情報を取得する。本実施形態に係る候補画像の解析に係る処理としては、例えば、顔検出処理や物体検出処理などの検出処理や、候補画像における輝度や色の変化を検出する検出処理、候補画像のぼけ推定処理、候補画像における色を検出する検出処理などが挙げられる。
なお、本実施形態に係る画像に関する情報の取得方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、外部装置における候補画像の解析結果を示す、候補画像に対応するメタデータを参照することによって、候補画像それぞれに対応する本実施形態に係る画像に関する情報を取得してもよい。また、候補画像を解析する装置(本実施形態に係る情報処理装置や、外部装置)は、本実施形態に係る画像に関する情報を検出することが可能な任意の検出処理を用いることによって、本実施形態に係る候補画像を解析する。
また、本実施形態に係るレイアウトに関するパラメータとは、例えば、本実施形態に係る情報処理装置が生成するレイアウトの方向性を示す、レイアウトの生成条件に相当するパラメータである。本実施形態に係るレイアウトに関するパラメータとしては、例えば、“フォトブックのページ数に関するパラメータ(例えば、最大見開き数を示すパラメータなど)”や、“フォトブックの各ページに配置される画像の枚数に関するパラメータ(例えば、最小枚数、最大枚数、平均枚数などを示すパラメータ)”、“フォトブックの見開きのアスペクトやマージンを示すパラメータ”、“配置される画像間の距離を示すパラメータ”、“フォトブックの各ページにおける空白に関するパラメータ”、“見開きレイアウトのON/OFFに関するパラメータ”など、様々なパラメータが挙げられる。また、本実施形態に係るレイアウトに関するパラメータには、背景やフレームなどを示すパラメータが含まれていてもよい。なお、本実施形態に係るレイアウトに関するパラメータが、上記に限られないことは、言うまでもない。
図11は、本実施形態に係るレイアウトに関するパラメータの一例を示す説明図である。図11では、A〜Cに示す3つのレイアウトに関するパラメータの例を示している。
本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づいてレイアウトに関するパラメータを生成する。そして、本実施形態に係る情報処理装置は、生成したレイアウトに関するパラメータを用いて、本実施形態に係る情報処理方法に係る処理を行う。
より具体的には、ユーザは、例えば、“レイアウトに関するパラメータを設定するための設定画面上で値を入力すること”(ユーザ操作の一例)や、“レイアウトに関するパラメータを設定するためのツマミ(後述する操作部の一例)を動かすこと”(ユーザ操作の一例)、“レイアウトに関するパラメータと対応付けられているテーマを選択すること”
(ユーザ操作の一例)、などによって、レイアウトに関するパラメータを設定する。本実施形態に係る情報処理装置は、上記のようなユーザ操作に応じた操作信号に基づいて例えば図11のA〜Cに示すような、レイアウトに関するパラメータを生成する。
なお、本実施形態に係るレイアウトに関するパラメータの生成方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、レイアウトに関するパラメータをランダムに生成してもよい。
また、例えば図11に示すように、本実施形態に係るレイアウトに関するパラメータは、テンプレートベースでフォトブックを生成する場合に必要なデザインテンプレートを生成するよりもより簡易に生成することが可能である。よって、本実施形態に係るレイアウトに関するパラメータが、予め生成されたもの(すなわち、レイアウトに関するパラメータのテンプレート)であってもよい。本実施形態に係るレイアウトに関するパラメータが、予め生成されたものである場合、本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づき選択された、予め生成されているレイアウトに関するパラメータや、本実施形態に係る情報処理装置がランダムに選択した、予め生成されているレイアウトに関するパラメータを用いて、本実施形態に係る情報処理方法に係る処理を行う。
ここで、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの一例について説明する。
〔a〕生成されるレイアウト第1の例
図12は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第1の例を示す説明図である。ここで、図12に示すA、Bは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合において生成されるレイアウトの例を示している。また、図12のA、Bそれぞれの見開きの下部に示す番号は、見開きの番号を示している。
本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合には、例えば図12のAに示すように、生成されるレイアウトにおける見開き数は3(すなわち、6ページ)となる。
なお、本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合において、本実施形態に係る情報処理方法に係る処理において生成される見開き数は、3(設定されている最大見開き数)に限られない。例えば、候補画像の数が少ない場合などには、図12のBに示すように、設定されている最大見開き数よりも少ない見開き数が生成されることも起こりうる。
〔b〕生成されるレイアウト第2の例
図13は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第2の例を示す説明図である。ここで、図13は、本実施形態に係るレイアウトに関するパラメータとして“見開きに含まれる画像の平均数=6、見開きに含まれる画像の最大数=12、見開きに含まれる画像の最小数=1”が設定されている場合において生成されるレイアウトの例を示している。また、図13に示す各見開きの下部に示す番号は、見開きに含まれる画像数の一例を示している。
本実施形態に係るレイアウトに関するパラメータとして“見開きに含まれる画像の平均数=6、見開きに含まれる画像の最大数=12、見開きに含まれる画像の最小数=1”が設定されている場合には、例えば図13に示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔c〕生成されるレイアウト第3の例
図14は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第3の例を示す説明図である。ここで、図14に示すA、Bは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“見開きのアスペクト比=2.0、TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”が設定されている場合において生成されるレイアウトの例を示している。
本実施形態に係るレイアウトに関するパラメータとして“見開きのアスペクト比=2.0、TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”が設定されている場合には、例えば図14のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
なお、本実施形態に係る余白に関するパラメータは、“TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”に限られない。例えば、本実施形態に係る余白に関するパラメータには、“見開きを構成する1つのページに配置される画像が1枚である場合には、設定されている余白に関するパラメータを無視するパラメータ”が含まれていてもよい。“見開きを構成する1つのページに配置される画像が1枚である場合には、設定されている余白に関するパラメータを無視するパラメータ”が含まれている場合には、見開きを構成する1つのページに配置される画像が1枚であるときに、図14のBに示すように、余白に関するパラメータが無視されたレイアウトが生成される。
〔d〕生成されるレイアウト第4の例
図15は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第4の例を示す説明図である。ここで、図15は、本実施形態に係るレイアウトに関するパラメータとして“水平方向の画像間の距離=x”が設定されている場合において生成されるレイアウトの例を示している。
本実施形態に係るレイアウトに関するパラメータとして“水平方向の画像間の距離=x”が設定されている場合には、例えば図15に示すように、設定されているパラメータを満たすようにレイアウトが生成される。
なお、本実施形態に係る画像間の距離を規定するパラメータは、水平方向の画像間の距離を示すパラメータに限られない。例えば、本実施形態に係るレイアウトに関するパラメータには、画像間の距離を規定するパラメータとして垂直方向の画像間の距離を示すパラメータが含まれていてもよい。垂直方向の画像間の距離を示すパラメータが含まれる場合には、垂直方向の画像間の距離が、設定されている垂直方向の画像間の距離を示すパラメータに応じて設定される。
〔e〕生成されるレイアウト第5の例
図16は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第5の例を示す説明図である。ここで、図16に示すAは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=0[%]”が設定されている場合において生成されるレイアウトの例を示している。また、図16に示すBは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=50[%]”が設定されている場合において生成されるレイアウトの例を示している。また、図16に示すCは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=15[%]”が設定されている場合において生成されるレイアウトの例を示している。
本実施形態に係るレイアウトに関するパラメータとして“空白=0[%]”が設定されている場合には、例えば図16のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“空白=50[%]”が設定されている場合には、例えば図16のBに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“空白=15[%]”が設定されている場合には、例えば図16のCに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔f〕生成されるレイアウト第6の例
図17は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第6の例を示す説明図である。ここで、図17に示すAは、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=OFF”(見開きのレイアウトにしないためのパラメータ)が設定されている場合において生成されるレイアウトの例を示している。また、図17に示すBは、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=ON”(見開きのレイアウトにするためのパラメータ)が設定されている場合において生成されるレイアウトの例を示している。
本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=OFF”が設定されている場合には、例えば図17のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=ON”が設定されている場合には、例えば図17のBに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔g〕生成されるレイアウト第7の例
図18は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第7の例を示す説明図である。図18に示すA1は、スマートフォン(生成されたレイアウトに配置された画像を表示する表示装置の一例)用のレイアウトに関するパラメータの一例を示している。また、図18に示すA2は、テレビ受像機(生成されたレイアウトに配置された画像を表示する表示装置の一例)用のレイアウトに関するパラメータの一例を示している。図18に示すB1は、図18に示すA1に示すレイアウトに関するパラメータに応じて生成されたレイアウトに基づいて表示画面に表示される画像の一例を示している。また、図18に示すB2は、図18に示すA2に示すレイアウトに関するパラメータに応じて生成されたレイアウトに基づいて表示画面に表示される画像の一例を示している。
例えば図18のA1、A2に示すように、本実施形態に係るレイアウトに関するパラメータには、“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が含まれていてもよい。“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれることによって、例えば図18のB1、B2に示すように、生成されたレイアウトに配置された画像を表示する表示装置の種類により適したフォトブックを、当該表示装置の表示画面に表示させることができる。
〔h〕生成されるレイアウト第8の例
上記生成されるレイアウトの例として、上記第7の例では、“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれる場合を示したが、本実施形態に係るレイアウトに関するパラメータに含まれるパラメータは、表示装置の種類に対応するパラメータに限られない。例えば、本実施形態に係るレイアウトに関するパラメータには、“生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータ”が含まれていてもよい。
“生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれることによって、印刷の仕方により適したフォトブックを、紙などの転写媒体に印刷することが可能となる。
本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、上記第1の例〜上記第8の例に示すようなレイアウトが生成される。なお、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの一例が、上記第1の例〜上記第8の例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、(1)評価値算出処理、(2)ページ割り当て処理、(3)画像選択処理、および(4)レイアウト生成処理を行う。
ここで、本実施形態に係る情報処理装置は、上記(2)の処理(ページ割り当て処理)において、フォトブックのページ数と、各ページに割り当てられる画像数とを決定する。また、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された候補画像それぞれの評価値とに基づいて、各ページに配置される画像を選択する。また、本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。
よって、本実施形態に係る情報処理装置が、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)、第2の例(粗密)、第3の例(休み)、第4の例(画像の方向性)、第5の例(画像が占める面積のバランス)、第6の例(レイアウト)、第8の例(コマ割り)のうちの、1または2以上が実現される。なお、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)の具体例については、後述する。
また、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいて、上記(3)の処理(画像選択処理)と上記(4)の処理(レイアウト生成処理)とを行う。よって、本実施形態に係る情報処理装置は、ユーザ操作などによって設定されたレイアウトに関するパラメータに基づいて処理を行うことによって、動的なフォトブックのレイアウトを、自動的に生成することができる。
したがって、本実施形態に係る情報処理装置が、例えば、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を行うことによって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
また、本実施形態に係る情報処理装置が、質の高いフォトブックを生成するためのレイアウトを自動的に生成することによって、上記(4)の処理(レイアウト生成処理)において生成された当該レイアウトに基づいて、質の高いフォトブックを自動的に生成することが可能となる。ここで、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに基づいてフォトブックを生成する処理は、例えば、本実施形態に係る情報処理装置において行われてもよいし、外部装置において行われてもよい。
なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)に限られない。
例えば、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、さらに、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する処理(レイアウト調整処理)を行ってもよい
本実施形態に係る情報処理装置が、(5)レイアウト調整処理を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)や、第9の例(コマの回転)、第10の例(コマの重なり)など、より質の高いフォトブックを実現することができる。なお、上記(5)の処理(レイアウト調整処理)の具体例については、後述する。
また、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、さらに、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに、上記(3)の処理(画像選択処理)において選択された画像を配置する処理(画像処理)を行ってもよい。
本実施形態に係る情報処理装置が、(6)画像処理を行うことによって、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに基づいて、フォトブックが生成される。つまり、上記(6)の処理(画像処理)は、生成されたレイアウト、または生成されたレイアウトが調整されたレイアウトに基づいてフォトブックを生成する処理に相当する。
よって、本実施形態に係る情報処理装置が、上記(6)の処理(画像処理)を行うことによって、本実施形態に係る情報処理装置において質の高いフォトブックを自動的に生成することができる。
また、本実施形態に係る情報処理装置は、上記(6)の処理(画像処理)において、例えば、上記(3)の処理(画像選択処理)において選択された画像を処理し、処理後の画像を、生成されたレイアウト、または生成されたレイアウトが調整されたレイアウトに配置してもよい。上記(6)の処理(画像処理)において、上記(3)の処理(画像選択処理)において選択された画像が処理されることによって、例えば、上述した質の高いフォトブックの第7の例(画像処理)など、より質の高いフォトブックを実現することができる。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、 “上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)〜上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)”を行う。以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
[3]本実施形態に係る情報処理方法に係る処理の具体例
(1)評価値算出処理
本実施形態に係る情報処理装置は、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する。
ここで、本実施形態に係る情報処理装置は、例えば、候補画像全体を1つのグループとして捉えて候補画像それぞれの評価値を算出する。
なお、本実施形態に係る(1)の処理(評価値算出処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、候補画像それぞれに対応する画像に関する情報に基づいて候補画像をグループ化し、グループごとに評価値を算出してもよい。
本実施形態に係る候補画像のグループ化に係る処理としては、例えば、画像に関する情報を用いたクラスタリング処理が挙げられる。画像に関する情報を用いたクラスタリング処理によって、候補画像は、例えば、画像が示すイベントや、画像の類似などに基づきグループ化がされる。つまり、画像に関する情報を用いたクラスタリング処理が行われることによって、候補画像は、例えば、時間的な観点や、類似した画像の観点からグループ化される。
ここで、時間的な観点によるクラスタリング処理としては、例えば、本件出願人が特許権者である「特許第4577173号公報」に記載の技術を用いた処理が挙げられる。また、類似した画像の観点によるクラスタリング処理としては、例えば、本件出願人が特許権者である「特許第4811433号公報」に記載の技術を用いた処理が挙げられる。なお、本実施形態に係る時間的な観点によるクラスタリング処理、類似した画像の観点によるクラスタリング処理は、上記に限られず、本実施形態に係る情報処理装置は、時間的な観点、類似した画像の観点でクラスタリングを行うことが可能な任意の処理を用いてグループ化を行うことが可能である。
(1)の処理(評価値算出処理)においてグループごとに評価値を算出する場合には、本実施形態に係る情報処理装置は、例えば、後述する(3)の処理(画像選択処理)や(4)の処理(レイアウト生成処理)などの、本実施形態に係る情報処理方法に係る処理を、グループごとに行う。候補画像をグループ化し、グループごとに本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、フォトブックに配置される画像をみたユーザに時系列のストーリーを感じさせることが可能となる。また、グループごとに本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、同じような画像(類似する画像)が、何度もフォトブックに配置されることを防止することができる。
以下、本実施形態に係る情報処理装置が、候補画像をグループ化して処理を行う場合を主に例に挙げて、(1)の処理(評価値算出処理)について説明する。
図19は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る候補画像の一例を示している。図19では、候補画像として、運動会を撮像した44枚の撮像画像を示している。
本実施形態に係る情報処理装置は、まず、図19に示す候補画像それぞれに対応する画像に関する情報を用いて、候補画像をグループ化する。
図20は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図20は、図19に示す候補画像が、時間的な観点からグループ化され、かつ、各グループ内で、類似する画像がグループ化された結果の一例を示している。図20に示すA〜Hは、それぞれ候補画像のグループを示している。また、図20に示すB1、E1、F1〜F3は、類似する画像のグループを示している。
例えば図20に示すように候補画像がグループ化された場合には、本実施形態に係る情報処理装置は、グループごとに(3)の処理(画像選択処理)や(4)の処理(レイアウト生成処理)などの本実施形態に係る情報処理方法に係る処理を行う。
図21は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が算出した評価値の一例を示している。図21に示すA1〜A7は、図20に示す候補画像に含まれる一部の画像に対して算出された評価値の一例を示している。
本実施形態に係る情報処理装置は、例えば、候補画像に対して0.0〜1.0の値の範囲をとる評価値を算出する。
より具体的には、本実施形態に係る情報処理装置は、例えば、候補画像から顔などの所定の被写体を検出する。ここで、本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や任意の物体検出処理などによって、被写体を含む領域を検出する。そして、本実施形態に係る情報処理装置は、検出された被写体を含む領域(例えば、矩形の領域)が画像全体に占める面積に対応する評価値を決定する。本実施形態に係る情報処理装置は、例えば、検出された被写体を含む領域が画像全体に占める面積と、評価値とが対応付けられたテーブルなどを参照することによって、検出された被写体を含む領域が画像全体に占める面積に対応する評価値を決定する。
また、本実施形態に係る情報処理装置は、さらに、検出された被写体を含む領域を解析し、解析結果に応じて評価値を加減算してもよい。ここで、検出された被写体を含む領域の解析に係る処理としては、例えば、任意の表情検出処理、任意の顔の向き判定処理、および任意のぼけ推定処理などが挙げられる。
例えば、検出された被写体が人の顔である場合、本実施形態に係る情報処理装置は、表情や顔の向きに応じて評価値を加減算する。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された人の顔(所定の被写体の一例)が笑顔である場合には評価値に表情に応じた所定の値を加算し、検出された人の顔(所定の被写体の一例)が怒り顔や泣き顔である場合には評価値から表情に応じた所定の値を減算する。また、本実施形態に係る情報処理装置は、検出された人の顔(所定の被写体の一例)の向きが正面である場合には評価値に顔の向きに応じた所定の値を加算し、検出された人の顔(所定の被写体の一例)の向きが側面である場合には評価値から顔の向きに応じた所定の値を減算する。また、本実施形態に係る情報処理装置は、検出された人の顔(所定の被写体の一例)がぼやけている場合には、評価値からぼやけに対応する所定の値を減算する。ここで、本実施形態に係る情報処理装置は、例えば、解析結果と、評価値の加減算値とが対応付けられたテーブルなどを参照することによって、解析結果に対応する評価値の加減算値を特定する。
なお、本実施形態に係る評価値の算出処理は、候補画像から検出された所定の被写体に基づいて算出する処理に限られない。
例えば、本実施形態に係る情報処理装置は、候補画像における輝度や色の変化を検出し、当該変化が設定されている値よりも大きな領域である注目領域を検出することによって、評価値を決定してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された注目領域が画像全体に占める面積に対応する評価値を決定する。
ここで、本実施形態に係る情報処理装置は、例えば、検出された注目領域が画像全体に占める面積と、評価値とが対応付けられたテーブルなどを参照することによって、検出された注目領域が画像全体に占める面積に対応する評価値を決定する。なお、注目領域が画像全体に占める面積と対応付られる評価値は、例えば、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値よりも小さい値をとる。なお、注目領域が画像全体に占める面積と対応付られる評価値は、例えば、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値と同一の値であってもよいし、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値よりも大きくてもよい。
また、本実施形態に係る情報処理装置は、例えば、候補画像から色を検出し、検出された色の数(色のバリエーションに相当する。)に基づいて評価値を決定してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された色の数と、評価値とが対応付けられたテーブルなどを参照することによって、検出された色の数に対応する評価値を決定する。
また、本実施形態に係る情報処理装置は、例えば、候補画像のぼけの度合いを推定し、推定されたぼけの度合いに基づいて評価値を調整してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、ぼけの度合いと、評価値とが対応付けられたテーブルなどを参照することによって、推定されたぼけの度合いに対応する評価値の調整値を決定する。ここで、上記調整値としては、例えば、推定されたぼけの度合いが大きい程、マイナスの値が大きくなる値が挙げられる。
また、上記では、静止画像である候補画像に対する評価値算出処理の一例を示したが、本実施形態に係る情報処理装置が評価値を算出する対象の候補画像は、静止画像に限られない。
例えば、本実施形態に係る情報処理装置は、本件出願人が出願した「特開2010−191934号公報」に記載の動画像からスコアを算出する技術を用いることなどによって、動画像である候補画像に対して評価値を算出することも可能である。以下では、本実施形態に係る候補画像が、静止画像である場合を例に挙げて、本実施形態に係る情報処理方法に係る処理の一例について説明する。
(2)ページ割り当て処理
本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定し、上記(1)の処理(評価値算出処理)において算出された評価値に基づいて各ページに配置される画像数を決定する。
(2−1)ページ数の決定に係る処理
図22、図23は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図22は、グループごとに行われる本実施形態に係るページ数の決定に係る処理の一例を示している。また、図23は、グループごとに割り当てられるページのイメージを示している。
本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、“ページの最大数=30”(本実施形態に係るレイアウトに関するパラメータの一例)などの、ページの最大数に係るパラメータを参照することによって、ページ数を決定する。また、本実施形態に係る情報処理装置は、例えば、ページ数を1/2することによって、見開き数を決定してもよい。
なお、図12を参照して示したように、例えば、候補画像の数が少ない場合には、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータが示す最大数より少ないページ数を決定してもよい。本実施形態に係る情報処理装置は、例えば、ページの数と、候補画像の数の下限値とが対応付けられているテーブルなどを参照することによって、候補画像の数に対応する、レイアウトに関するパラメータが示す最大数以下のページ数を決定する。
例えば図20に示すように、候補画像がグループ化された場合には、本実施形態に係る情報処理装置は、グループごとにページ数または見開き数を割り当てる。グループごとにページ数または見開き数を割り当てる方法としては、例えば、図22に示すように、ページの最大数に係るパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)、グループに含まれる候補画像の数、および候補画像の総数を用いた演算を行い、演算結果を四捨五入することが挙げられる。ここで、図22では、グループごとに割り当てる見開き数を決定する演算の一例を示している。
(2−2)画像数の決定に係る処理
図24〜図26は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る画像数の決定に係る処理の一例を示している。ここで、図24〜26では、上記(1)の処理(評価値算出処理)において図20に示すような候補画像のグループ化が行われた場合を示している。なお、上記(1)の処理(評価値算出処理)において候補画像のグループ化が行われていない場合であっても、本実施形態に係る情報処理装置は、同様の処理によって、各ページまたは各見開きに配置される画像数を決定することが可能である。
本実施形態に係る情報処理装置は、例えば図24に示すように、各ページまたは各見開きにおける画像の評価値の総和が均等となるように、各ページまたは各見開きごとに候補画像の数を決定する。例えば、候補画像が100枚で評価値の総和が30.0点であり、決定されたページ数が6(すなわち、見開き数が3)である場合には、本実施形態に係る情報処理装置は、図24に示すように、1つの見開きにおける画像の評価値の総和が、“30.0/3=10.0[点]”となるように、各見開きごとに候補画像の数を決定する。
各ページまたは各見開きごとに候補画像の数が決定されると、本実施形態に係る情報処理装置は、各ページまたは各見開きにおける画像の評価値の二乗和を算出する。図25では、本実施形態に係る情報処理装置が、各見開きにおける画像の評価値の二乗和を算出した例を示している。ここで、本実施形態に係る情報処理装置が各ページまたは各見開きにおける画像の評価値の二乗和を算出するのは、ページ間または見開き間における差をより大きくするためである。なお、本実施形態に係る情報処理装置は、例えば、各ページまたは各見開きにおける画像の評価値の三乗和を算出してもよく、また、各ページまたは各見開きにおける画像の評価値に対して強いハイパス・フィルタをかけてもよい。
各ページまたは各見開きにおける画像の評価値の二乗和が算出されると、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータと、算出された各ページまたは各見開きにおける画像の評価値の二乗和とに基づいて、各ページまたは各見開きに割り当てる画像数を決定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、“上記ページ数の決定に係る処理により決定されたページ数または見開き数”と、“ページごとの平均画像数を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)、または見開きごとの平均画像数を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)”とに基づいて、フォトブックに配置する画像の総数を決定する。例えば、上記ページ数の決定に係る処理により決定された見開き数が3であり、見開きごとの平均画像数を示すパラメータが3である場合には、本実施形態に係る情報処理装置は、フォトブックに配置する画像の総数として3×3=9[枚]を決定する。
また、フォトブックに配置する画像の総数が決定されると、本実施形態に係る情報処理装置は、例えば、評価値の二乗和の逆数を算出し、各ページまたは各見開きに画像数を比例配分する。
より具体的には、本実施形態に係る情報処理装置は、例えば、例えば図26に示すように、評価値の二乗和の逆数を算出し、フォトブックに配置する画像の総数、および当該評価値の二乗和の逆数を用いた演算によって、各ページまたは各見開きに配置される画像数を決定する。ここで、図26では、本実施形態に係る情報処理装置が、各見開きに配置される画像数を決定した例を示している。
例えば上記のように、評価値の二乗和の逆数を算出して、各ページまたは各見開きに画像数を比例配分することによって、本実施形態に係る情報処理装置は、評価値の総和が大きなページまたは見開き程、画像数を少なくすることが可能となる。
本実施形態に係る情報処理装置は、例えば、上記(2−1)の処理(ページ数の決定に係る処理)、および上記(2−2)の処理(画像数の決定に係る処理)を行うことによって、ページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを決定する。
なお、本実施形態に係る(2)の処理(ページ割り当て処理)は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに、各ページまたは各見開きに配置される画像数の最小値や最大値が設定されている場合には、当該最小値や最大値を満たすように、ページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを調整してもよい。
例えば上記のようにページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを決定することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
(3)画像選択処理
本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された評価値とに基づいて、候補画像の中から画像を選択する。また、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)において候補画像がグループ化されている場合には、グループごとに、候補画像の中から画像を選択する。
より具体的には、本実施形態に係る情報処理装置は、例えば、算出された評価値と所定の閾値との比較結果に基づいて、候補画像を分類する。そして、本実施形態に係る情報処理装置は、例えば、分類された候補画像のグループごとに、画像を選択する。
ここで、候補画像の分類としては、例えば、本実施形態に係る休みの画像の候補となる候補画像と、本実施形態に係る休みの画像の候補とならない候補画像とが挙げられる。以下では、本実施形態に係る休みの画像の候補となる候補画像から選択される画像を、「本実施形態に係る休みの画像」、「休み」、「休」、または「Rest」と示す場合がある。また、以下では、本実施形態に係る休みの画像の候補とならない候補画像から選択される画像を、「本実施形態に係る働く画像」、「働く」、「働」、または「Work」と示す場合がある。
また、本実施形態に係る所定の閾値としては、例えば、候補画像の評価値の中央値が挙げられる。なお、本実施形態に係る所定の閾値は、上記に限られない。例えば、本実施形態に係る所定の閾値は、予め設定された固定値であってもよいし、ユーザ操作などに基づき設定される可変値であってもよい。
図27は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、(3)の処理(画像選択処理)において選択される画像の一例を示している。ここで、図27は、所定の閾値が候補画像の評価値の中央値である例を示している。また、図27は、評価値を棒グラフ状に示しており、図27に示す“1”〜“8”の番号は、評価値が大きい順を示している。また、図27では、選択される画像を「働く」、「休み」と示している。
本実施形態に係る情報処理装置は、例えば、上記(2)の処理(ページ割り当て処理)において決定された画像数を、本実施形態に係る働く画像を選択する第1の画像数と、本実施形態に係る休みの画像を選択する第2の画像数とに配分する。ここで、第1の画像数と第2の画像数との配分は、例えば、予め設定されていてもよいし、本実施形態に係るレイアウトに関するパラメータに設定されていてもよい。また、第1の画像数と第2の画像数との配分は、例えば、ユーザ操作などによって設定されてもよい。
本実施形態に係る情報処理装置は、例えば、所定の閾値以上の候補画像(または、所定の閾値より大きな候補画像。以下、同様とする。)の中から、評価値が高い順に、第1の画像数の候補画像を、本実施形態に係る働く画像として選択する。例えば図27では、本実施形態に係る情報処理装置が、“1”、“2”の番号が付された候補画像を、本実施形態に係る働く画像として選択した例を示している。ここで、所定の閾値以上の候補画像の中から評価値が高い順に選択された画像は、本実施形態に係る働く画像に該当する。
また、本実施形態に係る情報処理装置は、例えば、所定の閾値より小さな候補画像(または、所定の閾値以下の候補画像。以下、同様とする。)の中から、評価値が高い順に、第2の画像数の候補画像を、本実施形態に係る休みの画像として選択する。例えば図27では、本実施形態に係る情報処理装置が、“5”、“6”の番号が付された候補画像を、本実施形態に係る休みの画像として選択した例を示している。ここで、所定の閾値より小さな候補画像の中から評価値が高い順に選択された画像は、本実施形態に係る休みの画像に該当する。
本実施形態に係る情報処理装置は、例えば上記のように、分類された候補画像のグループごとに画像を選択することによって、本実施形態に係る働く画像と、本実施形態に係る休みの画像とを選択する。例えば上記のように本実施形態に係る働く画像と本実施形態に係る休みの画像とが選択されることによって、本実施形態に係る情報処理装置は、上述した質の高いフォトブックの第3の例(休み)を実現することができる。
なお、本実施形態に係る(3)の処理(画像選択処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、分類された候補画像のグループごとに、候補画像それぞれにおける画像の方向性を判定し、さらに判定された画像の方向性に基づいて、画像を選択してもよい。
図28は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、画像の方向性に基づく画像の選択に係る処理の一例を示している。図28に示すAは、本実施形態に係る情報処理装置が選択する画像の方向性の一例(すなわち、OKなケースの一例)を示しており、図28に示すBは、本実施形態に係る情報処理装置が選択しない画像の方向性の一例(すなわち、NGなケースの一例)を示している。
上述した質の高いフォトブックの第4の例(画像の方向性)に示すように、フォトブックの質をより向上させる方法としては、配置された画像それぞれの方向性をばらつかせることが挙げられる。そこで、本実施形態に係る情報処理装置は、例えば、画像の選択に際して、図28のBに示すように画像の方向が一定の画像が選択されることを回避する。
より具体的には、本実施形態に係る情報処理装置は、例えば、所定の閾値以上の候補画像の中から評価値が高い順に、または、所定の閾値より小さな候補画像の中から評価値が高い順に、画像を選択する場合には、評価値が高い画像であっても、一つ前に選択された画像と方向性が同一の画像(または、方向性が略同一の画像)は選択しない。
例えば上記のように、画像の方向性に基づいて選択対象の画像をスキップすることによって、例えば図28のAに示すような、配置された画像それぞれの方向性をばらつかせることを実現することが可能となる。なお、所定の閾値以上の候補画像の中から評価値が高い順に、または、所定の閾値より小さな候補画像の中から評価値が高い順に、画像を選択する場合において、候補画像の方向性が全て同一(または略同一)のときには、本実施形態に係る情報処理装置は、例えば、画像の方向性を用いずに画像を選択する。
例えば上記のように判定された画像の方向性に基づいて画像を選択することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第4の例(画像の方向性)を実現することができる。
(4)レイアウト生成処理
本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。また、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)において候補画像がグループ化されている場合には、グループごとにレイアウトを生成する。
より具体的には、本実施形態に係る情報処理装置は、例えば、上記(2)の処理(ページ割り当て処理)において決定されたページに配置される画像数、または、当該決定されたページに配置される画像数および上記(3)の処理(画像選択処理)において選択された画像に対応する評価値に基づいて、画像が配置される領域をページに配置することにより、レイアウトを生成する。ここで、本実施形態に係る画像が配置される領域が配置されるページは、フォトブックの各ページが挙げられるが、本実施形態に係る画像が配置される領域が配置されるページは、上記に限られない。例えば、本実施形態に係る画像が配置される領域が配置されるページは、2つのページからなる見開きページであってもよい。
また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータ、および/または、選択された画像に対応する画像に関する情報に基づいて、レイアウトを生成してもよい。
ここで、本実施形態に係るレイアウトに関するパラメータに基づくレイアウトの生成に係る処理としては、例えば、ページのアスペクト比(本実施形態に係るレイアウトに関するパラメータの一例)を用いた後述する領域配置処理や、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)を用いた後述する空白領域配置処理などが挙げられる。また、本実施形態に係る選択された画像に対応する画像に関する情報に基づくレイアウトの生成に係る処理としては、例えば、画像のアスペクト比(本実施形態に係る画像に関する情報)を用いた後述する領域配置処理などが挙げられる。
図29、図30は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、(4)の処理(レイアウト生成処理)の一例を示している。図29に示すAは、ページに1枚の画像を配置する領域を配置する場合に生成されるレイアウトの一例を示しており、図29に示すBは、上記(3)の処理(画像選択処理)において選択された画像が配置される領域が、生成されたレイアウトに配置されたページの一例を示している。また、図30に示すA1、A2、B1〜B3は、ページに4枚の画像を配置する領域を配置する場合に生成されるレイアウトの一例を示しており、図30に示すA3、B4は、上記(3)の処理(画像選択処理)において選択された画像が配置される領域が、生成されたレイアウトに配置されたページの一例を示している。
ページに1枚の画像を配置する領域を配置する場合には、本実施形態に係る情報処理装置は、例えば図29のAに示すように、グリッド数(X,Y)=(1,1)の領域を、画像が配置される領域としてページに配置する。
また、ページに2枚以上の画像を配置する領域を配置する場合には、本実施形態に係る情報処理装置は、例えば図30のA1、B1に示すように、選択された画像の評価値に基づいて、選択された画像の生成されたレイアウトにおけるサイズのレベル(以下、「コマレベル」と示す場合がある。)を決定する(コマレベル決定処理)。ここで、本実施形態に係る選択された画像の生成されたレイアウトにおけるサイズのレベルとは、例えば、画像が配置される領域をグリッドで表した場合に、選択された画像がどの程度のグリッドを占有するかを示す指標である。
そして、本実施形態に係る情報処理装置は、例えば図30のA2、B2、B3に示すように、画像が配置される領域を配置して、レイアウトを生成する(領域配置処理)。
(4−1)コマレベル決定処理
図31は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係るコマレベル決定処理の一例を示している。ここで、図31は、本実施形態に係る情報処理装置が、コマレベル1(例えば、画像が配置される領域をグリッドで表した場合に、1つのグリッドを占有することを示すレベル)と、コマレベル2(例えば、画像が配置される領域をグリッドで表した場合に、4つのグリッドを占有することを示すレベル)との2つのレベルに、上記(3)の処理(画像選択処理)において選択された画像を分類する場合における、本実施形態に係るコマレベル決定処理の一例を示している。
本実施形態に係る情報処理装置は、例えば、所定の閾値(図31に示すTh)と、選択された画像の評価値とを用いた閾値処理を行うことによって、各画像のコマレベルを決定する。
なお、図31では、所定の閾値としてTh=0.5が設定されている例を示しているが、本実施形態に係るコマレベル決定処理において用いられる閾値は、上記に限られない。例えば、本実施形態に係る情報処理装置は、0.5以外の予め設定された閾値や、ユーザ操作などに基づき設定される閾値を用いて、本実施形態に係るコマレベル決定処理を行ってもよい。
また、図31では、本実施形態に係る情報処理装置が、上記(3)の処理(画像選択処理)において選択された画像を、コマレベル1またはコマレベル2の2つのコマレベルに分類することにより各画像のコマレベルを決定する例を示しているが、本実施形態に係る情報処理装置が決定するコマレベルは、上記に限られない。例えば、本実施形態に係る情報処理装置は、“コマレベル1、コマレベル2、または、コマレベル3(例えば、画像が配置される領域をグリッドで表した場合に、9つのグリッドを占有することを示すレベル)”の3つのコマレベルに分類するなど、3つ以上のコマレベルに分類することにより、各画像のコマレベルを決定してもよい。選択された各画像を3つ以上のコマレベルに分類する場合には、例えば、Th1=0.33、Th2=0.67などの複数の所定の閾値(3つのコマレベルに分類する場合の所定の閾値の一例)を用いた閾値処理によって、各画像のコマレベルを決定する。
例えば上記のようにコマレベルを決定することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)を実現することができる。
(4−2)領域配置処理
図32、図33は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る領域配置処理の一例を示している。ここで、図32は、本実施形態に係る領域配置処理の概要を示しており、図33は、本実施形態に係る領域配置処理によって配置される、画像が配置される領域の一例を示している。以下では、例えば図32のAに示すように、上記(3)の処理(画像選択処理)において選択された画像のコマレベルが、コマレベル1の画像(例えば本実施形態に係る休みの画像に該当する。)が2枚、コマレベル2の画像(例えば本実施形態に係る働く画像に該当する。)が2枚である場合を例に挙げて、本実施形態に係る領域配置処理の一例について説明する。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る休みの画像が連続して配置されないように、画像が配置される領域を配置する。例えば、上記のように、本実施形態に係る休みの画像が連続して配置されないように、画像が配置される領域を配置することによって、例えば上述した本実施形態に係る質の高いフォトブックの第3の例(休み)が実現される。
また、本実施形態に係る情報処理装置は、例えば、ページにおける画像が配置される領域をグリッドで表し、例えば図32のB1〜B3に示すように、ページの左上から右下に向けて選択された画像を配置する領域を配置していく。
ここで、例えば図32に示すようにページにおける画像が配置される領域をグリッド数(X,Y)=(4,3)の領域で表した場合には、図32のB2、B3に示すように、図32のAに示す全ての画像について配置する領域を配置することはできない。よって、本実施形態に係る情報処理装置は、ページにおける画像が配置される領域をグリッド数(X,Y)=(4,3)の領域で表すことはできないと判定する。
上記のようにページにおける画像が配置される領域を一のグリッド数(X,Y)の領域で表すことはできないと判定すると、本実施形態に係る情報処理装置は、例えば図33に示すように、ページにおける画像が配置される領域を他のグリッド数(X,Y)の領域で表して、再度ページの左上から右下に向けて選択された画像を配置する領域を配置する。ここで、図33では、本実施形態に係る情報処理装置が、ページにおける画像が配置される領域をグリッド数(X,Y)=(3,4)の領域で表した場合を示している。
例えば、図33のFに示すように図32のAに示す全ての画像について配置する領域を配置することができた場合には、本実施形態に係る情報処理装置は、全ての画像について配置する領域を配置することができた場合における画像が配置される領域を、ページに生成する。
ここで、図33のB、Cに示すように、本実施形態に係る情報処理装置は、例えば、画像が配置される領域を、画像のコマレベルに対応する領域よりも大きくしてもよい。本実施形態に係る情報処理装置は、例えば、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)が示す空白の度合いに基づいて、画像が配置される領域を、画像のコマレベルに対応する領域よりも大きくする。
また、図33のDに示すように選択された画像を配置する領域を配置するときに、本実施形態に係る休みの画像が連続して配置されてしまう場合には、図33のEに示すように、既に配置されている選択された画像を配置する領域と、当該本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。また、本実施形態に係る情報処理装置は、例えば、空白に対応する領域が、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域とを入れ替えることも可能である。さらに、本実施形態に係る情報処理装置は、例えば、空白に対応する領域と本実施形態に係る休みの画像とが、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域または本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。
例えば上記のように画像が配置される領域を配置することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
本実施形態に係る情報処理装置は、(4)の処理(レイアウト生成処理)として、例えば上記(4−1)の処理(コマレベル決定処理)、および上記(4−2)の処理(領域配置処理)を行う。本実施形態に係る情報処理装置が、(4)の処理(レイアウト生成処理)として、例えば上記(4−1)の処理(コマレベル決定処理)、および上記(4−2)の処理(領域配置処理)を行うことによって、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
なお、本実施形態に係る情報処理装置における(4)の処理(レイアウト生成処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)を用いた空白領域配置処理をさらに行うことも可能である。
(4−3)空白領域配置処理
図34〜図36は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る空白領域配置処理の一例を示している。ここで、図34は、本実施形態に係る空白領域配置処理の概要を示しており、図35〜図36は、本実施形態に係る空白領域配置処理の一例を示している。
上記本実施形態に係る質の高いフォトブックの第3の例(休み)において示したように、質の高いフォトブックを実現する一の方法としては、例えば図34のA1、B1に示すように、空白に対応する領域(以下、例えば、「空白コマ」または「Empty」と示す場合がある。)を配置することが挙げられる。そこで、本実施形態に係る情報処理装置は、例えば図34のA1、B1に示すようなページを実現するために、例えば図34のA2、B2に示すように、空白に対応する領域を配置する。
より具体的には、本実施形態に係る情報処理装置は、まず、ページにおいて画像が配置される領域をグリッドで表した場合に、空白コマがページにおいて占める領域の総グリッド数(空白コマがページにおいて占める領域の総面積に相当する。)を決定する。本実施形態に係る情報処理装置は、例えば、ページにおいて画像が配置される領域をグリッドで表した場合に、上記(3)の処理(画像選択処理)において選択された画像が占有するグリッド数と、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)とに基づいて、空白コマがページにおいて占める領域の総グリッド数を決定する。ここで、本実施形態に係る空白コマが配置されるページは、例えば、2つのページからなる見開きページであってもよい。
例えば、図35に示すように、選択された画像が占有するグリッド数が8であり、ページにおける空白率(本実施形態に係るページにおける空白に関するパラメータの一例)が50[%]である場合には、例えば“8×50/(100−50)=8”の演算により、空白コマがページにおいて占める領域の総グリッド数は8と決定される。
例えば上記のように、空白コマがページにおいて占める領域の総グリッド数が決定されると、本実施形態に係る情報処理装置は、空白コマの数と、空白コマの配置されたレイアウトにおけるサイズのレベル(以下、「空白コマのコマレベル」と示す場合がある。)とを決定する。
ここで、空白コマの数と空白コマのコマレベルとの決定方法としては、例えば、下記に示す条件を満たすように決定する方法が挙げられる。なお、空白コマの数と空白コマのコマレベルとの決定に係る条件が、下記に示す条件に限られないことは、言うまでもない。
・空白コマの数は、画像コマの数以下であること
・空白コマの最大コマレベルは、画像コマの最大コマレベルよりも大きくならないこと
・できるだけ小さいコマレベルの空白コマから構成されること
より具体的には、本実施形態に係る情報処理装置は、例えば、空白コマのコマレベルが1である空白コマのみで空白コマを作る。空白コマがページにおいて占める領域の総グリッド数が8であるので、空白コマのコマレベルが1である空白コマのみで空白コマを作る場合には、コマレベルが1の空白コマが8つ作られる。
ここで、上記のように、空白コマのコマレベルが1である空白コマのみで空白コマを作った場合には、8(空白コマの数)>2(画像コマの数)であるので、上記条件を満たさない。よって、本実施形態に係る情報処理装置は、上記条件を満たす最大数である2を空白コマの数として決定し、また、空白コマのコマレベルを1と決定する。つまり、本実施形態に係る情報処理装置は、上記条件を満たすために、例えば、作られた8つの空白コマのうち、6つの空白コマを使用しない。
なお、本実施形態に係る情報処理装置における空白コマの数と空白コマのコマレベルとの決定に係る処理の例は、上記に限られない。例えば、空白コマのコマレベルが1である空白コマのみで空白コマを作ったときに上記条件を満たさないと判定された場合、本実施形態に係る情報処理装置は、空白コマのコマレベルが2である空白コマを含めた空白コマを作って、上記条件を満たすか否かを判定してもよい。
ここで、本実施形態に係る空白領域配置処理の具体例を挙げる。
例えば、図36のAに示すように、選択された画像が占有するグリッド数が5であり、ページにおける空白率(本実施形態に係るページにおける空白に関するパラメータの一例)が20[%]である場合には、例えば“5×20/(100−20)=1.25”の演算により、空白コマがページにおいて占める領域の総グリッド数は1と決定される。
また、図36のB1に示すように、ページにおける画像が配置される領域をグリッド数(X,Y)=(3,2)と決定された場合には、例えば図36のB2に示すように、上記(4−2)の処理(領域配置処理)により画像が配置される領域がページに配置される。そして、本実施形態に係る情報処理装置は、例えば、上記(5)の処理(レイアウト調整処理)、および上記(6)の処理(画像処理)を行うことによって、例えば図36のBに示すフォトブックのページを生成する。なお、本実施形態に係る情報処理装置は、例えば図36のB2に示すように、空白に対応する領域と本実施形態に係る休みの画像とが連続して配置されてしまう場合には、例えば図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域または本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。また、上述したように、本実施形態に係る情報処理装置は、例えば、空白に対応する領域が、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域とを入れ替えることも可能である。
本実施形態に係る情報処理装置が、(4)の処理(レイアウト生成処理)として、例えば上記(4−3)の処理(空白領域配置処理)をさらに行うことによって、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第5の例(画像が占める面積のバランス)と、上述した質の高いフォトブックの第8の例(コマ割り)とを実現することができる。
(5)レイアウト調整処理
本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。より具体的には、本実施形態に係る情報処理装置は、例えば下記の(5−1)の処理〜(5−5)の処理のうちの、1または2以上の処理を行う。
(5−1)余白の調整に係る処理
本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに、1ページに1つの画像を配置するレイアウトが含まれる場合には、1つの画像が配置されるページにおける余白を調整する
図37は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る余白の調整に係る処理の一例を示している。ここで、図37に示すA1、A2は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトの一例を示している。また、図37に示すB1〜B3は、本実施形態に係る余白の調整に係る処理により調整されたレイアウトの一例を示している。
本実施形態に係る情報処理装置は、例えば、“TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”や、“余白のON/OFFを示すパラメータ”などの余白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータ)に基づいて、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。
本実施形態に係る情報処理装置が、(5)の処理(レイアウト調整処理)として(5−1)の処理(余白の調整に係る処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
(5−2)クリッピング処理
本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像に基づいて、選択された画像が配置される領域をクリッピングする。
図38、図39は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係るクリッピング処理の一例を示している。ここで、図38に示すAは、クリッピング処理が行われる前の生成されたレイアウトの一例を示しており、図38に示すBは、クリッピング処理が行われた後の調整されたレイアウトの一例を示している。また、図38のBに示すC1、C2は、クリッピングされた、選択された画像が配置される領域を示している。また、図39に示すAは、上記(3)の処理(画像選択処理)により選択された画像の一例を示しており、図39に示すB、Cは、1ページに1枚の画像が配置される場合において、上記(6)の処理(画像処理)によって、クリッピングされることにより調整されたレイアウトに配置される画像の一例を示している。
本実施形態に係る情報処理装置は、例えば、アスペクト比の制限を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)が示すアスペクト制限外のコマ(選択された画像が配置される領域)をクリッピングする。上記のように、アスペクト制限外のコマをクリッピングすることによって、例えば、縦長または横長すぎるコマを抑制することができる。
ここで、本実施形態に係るクリッピング処理としては、クリッピングする対象のコマに配置される選択された画像に対応する画像に関する情報に基づいて、クリッピングする対象のコマに配置される選択された画像のアスペクト比を優先してクリッピングする処理が挙げられる。より具体的には、例えば図39のAに示すように、クリッピングする対象のコマに配置される選択された画像のアスペクト比(本実施形態に係る画像に関する情報の一例)が、当該選択された画像が横長の画像であることを示す場合には、本実施形態に係る情報処理装置は、図39のBではなく図39のCに示すような画像が配置されることを優先して、コマ(選択された画像が配置される領域)をクリッピングする。
例えば上記のように選択された画像が配置される領域をクリッピングすることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)と、上述した質の高いフォトブックの第8の例(コマ割り)とを実現することができる。
(5−3)回転処理
本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像が配置される領域を回転させる。
(5−3−1)回転処理の第1の例
本実施形態に係る情報処理装置は、例えば、回転角θの最大値を示すパラメータなど、本実施形態に係るレイアウトに関するパラメータに基づいて、選択された画像が配置される領域を回転させる。
より具体的には、本実施形態に係る情報処理装置は、例えば、ページ(または見開きページ)に配置された、選択された画像が配置される領域それぞれに対して、ページの水平方向などの基準方向に対する回転方向および回転角度θを、ランダムに設定する。なお、回転角度θには、例えば、回転角θの最大値を示すパラメータにより、制限が設けられる。なお、本実施形態に係る情報処理装置は、回転角度θに本実施形態に係るレイアウトに関するパラメータに基づく制限が設けられていなくても、本実施形態に係る回転処理を行うことが可能である。
また、本実施形態に係る情報処理装置は、選択された画像が配置される領域の回転角θの平均μを下記の数式1により算出し、選択された画像が配置される領域の回転角θの分散σを下記の数式2により算出する。ここで、数式1、数式2に示す“N”は、ページ(または見開きページ)に配置された、選択された画像が配置される領域の数を示している。
そして、本実施形態に係る情報処理装置は、例えば、算出された回転角の平均μと回転角の分散σとに基づいて、ページに配置された選択された画像が配置される領域に対してそれぞれ設定した回転方向および回転角度θのバランスが、よいか否かを判定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、算出された回転角の平均μと回転角の平均に係る閾値T1との比較結果と、算出された回転角の分散σと回転角の分散に係る閾値T2との比較結果とが、所定の条件(例えば、“|σ|<T1かつμ>T2”)を満たす場合に、設定した回転方向および回転角度θのバランスがよいと判定する。ここで、閾値T1、T2それぞれは、予め設定されている固定値であってもよいし、ユーザ操作などにより変更可能な可変値であってもよい。
設定した回転方向および回転角度θのバランスがよいと判定された場合には、本実施形態に係る情報処理装置は、設定した回転方向および回転角度θを用いて選択された画像が配置される領域を回転させる。また、設定した回転方向および回転角度θのバランスがよいと判定されない場合には、本実施形態に係る情報処理装置は、回転方向および回転角度θを再度設定し直して、再度設定した回転方向および回転角度θのバランスがよいか否かを判定する。
例えば上記のように選択された画像が配置される領域を回転させることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第9の例(コマの回転)を実現することができる。
(5−3−2)回転処理の第2の例
本実施形態に係る情報処理装置は、例えば、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像の生成されたレイアウトにおけるサイズに基づいて、選択された画像が配置される領域を回転させる。
ここで、本実施形態に係る生成されたレイアウトにおけるサイズとしては、例えば本実施形態に係るコマレベルや、選択された画像が配置される領域がページまたは見開きページに占める面積などが挙げられる(以下、同様とする。)。
図40は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る回転処理の第2の例を示している。ここで、図40に示すAは、本実施形態に係る回転処理の第2の例が行われた結果、(6)の処理(画像処理)により配置される画像の一例を示している。また、図40に示すBは、本実施形態に係る回転処理の第2の例を説明するための図40のAに対する比較例を示している。
例えば図40のBに示すように、大きなコマ(選択された画像が配置される領域)が大きく回転していたり、コマがわずかに回転している場合には、コマの回転が不自然であるとユーザに捉えられる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図40のAに示すように、大きなコマは回転させないこと(または、回転角をより小さくさせること)や、わずかすぎる回転はさせないことによって、コマの回転が不自然であるとユーザに捉えられることを防止する。
例えば上記のように選択された画像が配置される領域を回転させることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第9の例(コマの回転)を実現することができる。
本実施形態に係る回転処理は、上記第1の例に係る処理、上記第2の例に係る処理に限られない。例えば、本実施形態に係る情報処理装置は、上記第1の例に係る処理、または、上記第2の例に係る処理に加え、下記に示す第3の例に係る処理をさらに行ってもよい。
(5−3−3)回転処理の第3の例
例えば、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域を、縮小、および/または、平行移動させて余白を調整してもよい。
図41は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る回転処理の第3の例による余白の調整の一例を示している。
例えば図41に示すように、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域が、配置されている余白にはみ出さないように、回転させた後の選択された画像が配置される領域を、縮小および平行移動させる。なお、図41では、図41のCに示すように、回転させた後の選択された画像が配置される領域を、縮小および平行移動された例を示しているが、本実施形態に係る回転処理の第3の例にいける余白の調整方法の一例は、図41に示す例に限られない。例えば、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域を、縮小または平行移動させることによって、余白を調整してもよい。
例えば上記のように余白を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第1の例(余白)を実現することができる。
(5−4)空白調整処理
本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像が配置される領域を、拡大および/または、平行移動させることによって、生成されたレイアウトにおける空白を調整する。
図42、図43は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る空白調整処理の一例を示している。
本実施形態に係る情報処理装置は、例えば図42のA〜Dに示すように、空白がある方向に、コマ(選択された画像が配置される領域)を移動する。ここで、本実施形態に係る情報処理装置は、例えば、コマごとに、移動可能な方向と移動可能な距離を判定する。そして、本実施形態に係る情報処理装置は、例えば、移動可能な方向の候補が少ないコマから、順により移動可能な距離が大きい方向へとコマを移動させる。また、本実施形態に係る情報処理装置は、例えば、移動可能な距離が大きいほど、すなわち、空白の大きさが大きいほどコマの移動量を大きくする。
また、本実施形態に係る情報処理装置は、例えば図43に示すように、コマ(選択された画像が配置される領域)の周囲に空白が存在する場合には、周囲に空白が存在するコマを拡大する。また、本実施形態に係る情報処理装置は、例えば図43に示すように、2方向に空白が存在する場合には、周囲に空白が存在するコマを斜めに平行移動させてもよい。
なお、図43では、本実施形態に係る情報処理装置が、“Koma 2”(選択された画像が配置される領域の一例)を平行移動および拡大させた例を示しているが、本実施形態に係る空白調整処理における空白の調整方法の一例は、図43に示す例に限られない。例えば、本実施形態に係る情報処理装置は、“Koma 2”(選択された画像が配置される領域の一例)を拡大させることのみによって、空白を調整してもよい。
例えば上記のように生成されたレイアウトにおける空白を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第8の例(コマ割り)を実現することができる。
(5−5)重なり調整処理
また、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像の、生成されたレイアウトにおけるサイズに基づいて、選択された画像が配置される領域の重なり方を調整する。
図44は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る重なり調整処理の一例を示している。ここで、図44は、本実施形態に係る重なり調整処理の一例を示している。また、図44では、本実施形態に係る生成されたレイアウトにおけるサイズを「面積」と示している。
本実施形態に係る情報処理装置は、例えば、コマ(生成されたレイアウトに配置される選択された画像が配置される領域)を、生成されたレイアウトにおけるサイズ順に並び替える。そして、本実施形態に係る情報処理装置は、例えば図44に示すように、生成されたレイアウトにおけるサイズが大きなコマの上に、より小さなコマが重なるように、各領域に深さ値Depthを設定する。なお、生成されたレイアウトにおけるサイズが小さなコマの上に、より大きなコマが重なるように、各領域に深さ値Depthを設定することが可能であることは、言うまでもない。
例えば上記のように選択された画像が配置される領域の重なり方を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第10の例(コマの重なり)を実現することができる。
なお、本実施形態に係る重なり調整処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像が配置される領域の重なりを判定し、重なりの判定結果に基づいて選択された画像が配置される領域を平行移動させて、選択された画像が配置される領域の重なりを調整してもよい。
図45、図46は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る重なり調整処理の他の例を示している。ここで、図45に示すAは、本実施形態の第5の例に係る重なり調整処理の他の例に係る処理が行われる前の、選択された画像が配置される領域の一例を示している。また、図45に示すBは、本実施形態に係る重なり調整処理の他の例に係る処理が行われた後の、選択された画像が配置される領域の一例を示している。
上記質の高いフォトブックの第10の例(コマの重なり)において示したように、例えば図45のAに示すような、コマ同士の微妙な重なり具合や接し具合(例えば、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合)を回避することによって、より質の高いフォトブックを実現することが可能となる。
そこで、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域同士の重なりを判定する。そして、本実施形態に係る情報処理装置は、判定結果に基づいて選択された画像が配置される領域を平行移動させて、選択された画像が配置される領域の重なりを調整する。
より具体的には、本実施形態に係る情報処理装置は、例えば図46に示すように、コマ(選択された画像が配置される領域)が重なっているか否かと、コマを拡大/縮小した場合に重なっているか否かとの2つの判定結果に基づいて、重なり度(上記判定結果の一例)を判定する。ここで、上記のような2つの判定結果に基づき重なり度を判定することによって、コマ同士の微妙な重なり具合や接し具合を判定することが可能となる。
そして、本実施形態に係る情報処理装置は、例えば図46に示すように、判定された重なり度に応じて選択された画像が配置される領域を平行移動させる。ここで、本実施形態に係る情報処理装置は、例えば、重なり度と処理の内容とが対応付けられたテーブルなどを参照することによって、判定された重なり度に応じて選択された画像が配置される領域を平行移動させる。
例えば上記のように選択された画像が配置される領域の重なりを調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第10の例(コマの重なり)を実現することができる。
(6)画像処理
本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに、上記(3)の処理(画像選択処理)において選択された画像を配置する。
ここで、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において選択された画像そのものを生成されたレイアウトまたは調整されたレイアウトに配置するが、本実施形態に係る(6)の処理(画像処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、下記の(6−1)〜(6−3)に示す処理のうちの、1または2以上の処理を行い、処理後の画像を生成されたレイアウトまたは調整されたレイアウトに配置してもよい。
(6−1)画像処理の第1の例:構図の変更に係る処理
本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像から被写体を検出する。そして、被写体が検出された場合には、本実施形態に係る情報処理装置は、選択された画像に含まれる被写体に基づいて選択された画像の構図を変更して、構図が変更された画像を配置する。
ここで、本実施形態に係る情報処理装置が、選択された画像から検出する被写体としては、例えば、人間の顔や、車などの物体などが挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や、任意の物体検出処理を行うことによって、選択された画像から被写体を検出する。
図47は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第1の例に係る画像処理の一例を示している。ここで、図47は、本実施形態に係る情報処理装置が、選択された画像から人間の顔を被写体として検出して、当該選択された画像を三分割構図の画像に変更する例を示している。
本実施形態に係る情報処理装置は、例えば、選択された画像から人間の顔などの被写体を検出する。そして、本実施形態に係る情報処理装置は、被写体が検出された場合には、例えば図47に示すように、検出された被写体が三分割点に乗るようにフレーミングすることによって、選択された画像の構図を変更する。ここで、本実施形態に係る情報処理装置は、例えば、顔の向きを考慮して三分割点を設定する。
例えば図47に示すように、選択された画像を三分割構図の画像に変更することによって、例えば日の丸構図で撮像された画像を、よりよい構図に変更することが可能となる。また、例えばよりよい構図に変更することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第2の例(粗密)や、質の高いフォトブックの第7の例(画像処理)を実現することができる。
なお、本実施形態の第1の例に係る画像処理において変更される構図は、三分割構図に限られない。例えば、本実施形態に係る情報処理装置は、選択された画像の構図を、斜め二分割構図などの他の構図の画像に変更することも可能である。
(6−2)画像処理の第2の例:選択的なフレーミングに係る処理
本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像の、生成された(または調整された)レイアウトにおけるサイズに基づいて、選択された画像から所定の被写体を選択的に検出する。そして、本実施形態に係る情報処理装置は、所定の被写体が検出された場合には、選択された画像に含まれる所定の被写体が拡大された画像を配置する。
ここで、本実施形態に係る情報処理装置が、選択された画像から検出する所定の被写体としては、例えば、人間の顔が挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理を行うことによって、選択された画像から所定の被写体を検出する。なお、本実施形態に係る情報処理装置は、例えば、景色や物などは所定の被写体として検出しない。例えば、景色や物などを所定の被写体として検出した場合には、所定の被写体が拡大された結果、画像の全体像が見えにくくなる恐れがあるからである。
また、本実施形態に係る情報処理装置は、例えば、コマ(選択された画像が配置される領域)の生成されたレイアウトにおけるサイズが、所定の閾値以下のコマ(または、所定の閾値より小さいコマ)から、所定の被写体を選択的に検出する。ここで、第2の例に係る画像処理における所定の閾値としては、例えば、コマレベルに関する閾値や、ページまたは見開きページにコマが占める面積に関する閾値が挙げらえる。また、第2の例に係る画像処理における所定の閾値は、予め設定されている固定値であってもよいし、ユーザ操作などにより変更可能な可変値であってもよい。
図48は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第2の例に係る画像処理の一例を示している。ここで、図48に示すAは、本実施形態に係る画像処理の第2の例が行われた結果配置される画像の一例を示している。また、図48に示すBは、本実施形態に係る画像処理の第2の例を説明するための図48のAに対する比較例を示している。
例えば図48のBに示すB1のように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像が人を含む場合には、当該人の顔が小さくなりすぎることによって、ユーザが当該人の顔を認識し難くなる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図48のAに示すA1のように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像が人を含む場合には、当該人の顔が拡大された画像を配置する。
例えば図48のAに示すように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像に含まれる顔が拡大された画像を配置することによって、本実施形態に係る情報処理装置は、フォトブックをみたユーザが当該人の顔を認識し難くなることを防止することができる。また、例えば、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像に含まれる顔が拡大された画像を配置することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)を実現することができる。
(6−3)画像処理の第3の例:ページまたぎに係る処理
本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像のうち、複数のページにまたがって配置される画像がある場合には、複数のページにまたがって配置される画像から所定の被写体を検出する。そして、本実施形態に係る情報処理装置は、例えば、複数のページの境目に検出された所定の被写体が位置しないように、複数のページにまたがって配置される画像を処理する。
ここで、本実施形態に係る情報処理装置が、選択された画像から検出する被写体としては、例えば、人間の顔や、車などの物体などが挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や、任意の物体検出処理を行うことによって、選択された画像から被写体を検出する。
また、本実施形態に係る第3の例の画像処理における、複数のページの境目に検出された所定の被写体が位置しないようにするための処理としては、例えば、上記第1の例に係る画像処理と同様に選択された画像の構図を変更することや、選択された画像からフレーミングする領域を平行移動させることなどが挙げられる。
図49は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第3の例に係る画像処理の一例を示している。ここで、図49に示すAは、本実施形態に係る画像処理の第3の例が行われた結果配置される画像の一例を示している。また、図49に示すBは、本実施形態に係る画像処理の第3の例を説明するための図49のAに対する比較例を示している。
例えば図49のBに示すB1のように、配置される選択された画像に含まれる人の顔が、ページの境目に位置する場合には、ユーザが当該人の顔を認識し難くなる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図49のAに示すA1のように、配置される選択された画像に含まれる人の顔が、ページの境目に位置しないように、当該配置される選択された画像を処理し、処理後の画像を配置する。
例えば図49のAに示すように、配置される選択された画像に含まれる人の顔(所定の被写体の一例)がページの境目に位置することを回避することによって、本実施形態に係る情報処理装置は、フォトブックをみたユーザが当該人の顔を認識し難くなることを防止することができる。また、例えば、配置される選択された画像に含まれる人の顔(所定の被写体の一例)がページの境目に位置することを回避することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)を実現することができる。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、 “上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)〜上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)”を行う。
ここで、例えば、上記(1)の処理(評価値算出処理)において候補画像をグループ化して、後段の処理を行う場合には、本実施形態に係る情報処理装置は、例えば、画像が時系列順に並んだフォトブックを実現することが可能となる。よって、本実施形態に係る情報処理方法に係る処理によって実現されたフォトブックをみたユーザは、フォトブックに配置された画像を、時系列のストーリーとして読み解くことができる。また、例えば、上記(1)の処理(評価値算出処理)において候補画像をグループ化して、後段の処理を行う場合には、本実施形態に係る情報処理装置は、類似する画像が配置されることを防止することもできる。
また、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された評価値とに基づいて、候補画像の中から画像を選択する。よって、本実施形態に係る情報処理装置は、候補画像が多数存在する場合であっても、よりよい画像(より質の高いフォトブックを実現するための画像)を自動的に選択することができる。
また、本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、レイアウトを生成する。よって、本実施形態に係る情報処理装置は、質のよいレイアウトを自動的に生成することができる。また、本実施形態に係るレイアウトに関するパラメータに基づいて処理が行われるので、本実施形態に係る情報処理方法に係る処理を用いる場合には、様々なデザインテーマのレイアウトのバリエーションをより容易に生成することができる。
また、本実施形態に係る情報処理装置は、上記(5)の処理(レイアウト調整処理)において、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。また、本実施形態に係る情報処理装置は、上記(6)の処理(画像処理)において、上記(3)の処理(画像選択処理)において選択された画像、または、構図を変更した画像などの処理後の画像を、生成されたレイアウトまたは調整されたレイアウトに配置する。よって、本実施形態に係る情報処理装置は、例えばより質の高いフォトブックを実現することができる。
なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)に示す処理に限られない。
(7)評価処理
例えば、本実施形態に係る情報処理装置は、生成されたレイアウト(調整されたレイアウトも含む。)を評価する評価処理をさらに行ってもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトをスコアリングすることによって、生成されたレイアウトを評価する。
生成されたレイアウトがスコアリングされることによって、本実施形態に係る情報処理装置は、例えば、算出されたスコアが低い場合には再度本実施形態に係る情報処理方法に係る処理を行うことによって、全てのページまたは一部のページのレイアウトを生成し直すことが可能となる。よって、本実施形態に係る情報処理装置が本実施形態に係る評価処理をさらに行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができる。
また、候補画像に対して、様々な設定を用いてレイアウトを生成して、生成したレイアウトの評価を行うことによって、本実施形態に係る情報処理装置は、例えば、当該候補画像におけるベストスコアのレイアウトを選択することも可能である。ここで、本実施形態では、例えば、本実施形態に係るレイアウトに関するパラメータを変更することや、候補画像の枚数の変更すること、候補画像の入れ替えによる設定などによって、様々な設定が行われる。
ここで、本実施形態に係る情報処理装置は、例えば、算出されたスコアが設定されている閾値以下の場合(または、算出されたスコアが設定されている閾値より小さい場合)に、算出されたスコアが低いと判定する。上記スコアの判定に係る閾値は、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
また、本実施形態に係る情報処理装置は、算出されたスコアが低いと判定された場合には、本実施形態に係る情報処理方法に係る処理を最初から(上記(1)の処理(評価値算出処理)から)行うが、算出されたスコアが低いと判定された場合における処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、上記(5)の処理(レイアウト調整処理)や上記(6)の処理(画像処理)など、一部の処理のみを再度行ってもよい。
また、本実施形態に係る情報処理装置は、例えば、設定されている基準点から減点してスコアを算出する減点方式によって、生成されたレイアウトのスコアを算出する。上記スコアの算出に係る基準点は、予め設定されている値であってもよいし、ユーザなどにより変更可能な値であってもよい。なお、本実施形態に係る情報処理装置における生成されたレイアウトのスコアリングに係る処理が、減点方式でスコアを算出する処理に限られないことは、言うまでもない。
図50は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る評価処理における生成されたレイアウトのスコアリングに係る処理の一例を示している。ここで、図50に示すAは、生成されたレイアウトのスコアリングに係る処理において減点対象となるレイアウトの一例を示しており、図50に示すBは、減点スコアの算出方法の一例を示している。
生成されたレイアウトが、例えば図50のBに示すような減点対象に該当する場合には、本実施形態に係る情報処理装置は、減点スコアを算出する。そして、本実施形態に係る情報処理装置は、設定されている基準点から算出した減点スコアを減算することによって、生成されたレイアウトのスコアを算出する。
(8)学習処理
また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習する学習処理を、さらに行ってもよい。本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータが用いられた回数、または、レイアウトに関するパラメータが用いられた回数および生成されたレイアウトが確定されたか否かに基づいて、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習する。
学習処理をさらに行うことによって、本実施形態に係る情報処理装置は、例えば、ユーザが嫌いな本実施形態に係るレイアウトに関するパラメータを用いないことによって、よりユーザの嗜好に合ったレイアウトを生成することができる。また、学習処理をさらに行うことによって、本実施形態に係る情報処理装置は、例えば、ユーザがより好む本実施形態に係るレイアウトに関するパラメータを、レコメンドすることも可能となる。なお、本実施形態に係る、本実施形態に係る学習処理の結果を用いた処理が、上記に限られないことは、言うまでもない。
より具体的には、本実施形態に係る情報処理装置は、例えば、設定されている期間内に、レイアウトに関するパラメータが用いられた回数が第1の回数以下の場合(または、レイアウトに関するパラメータが用いられた回数が第1の回数より小さい場合。以下、同様とする。)に、当該レイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶する。ここで、本実施形態に係る学習処理における第1の回数は、例えば、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
また、例えば、レイアウトに関するパラメータが用いられた回数が第2の回数を超えた場合(または、レイアウトに関するパラメータが用いられた回数が第2の回数以上の場合。以下、同様とする。)となった場合には、本実施形態に係る情報処理装置は、生成されたレイアウトがそのまま用いられたか、または、生成されたレイアウトが作り直されたかを判定する。ここで、本実施形態に係る学習処理における第2の回数は、例えば、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータそのものを、学習結果を示す学習データとして記憶部(後述する)や外部記録媒体、外部装置が備える記録媒体などの記録媒体に記録するが、本実施形態に係る学習処理により記録される学習データは、上記に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータを示すデータを、学習データとして記憶部(後述する)などに記録してもよい。
本実施形態に係る情報処理装置は、例えば、上記(7)の処理(評価処理)において算出されたスコアが低い場合、または、ユーザ操作に基づくレイアウトの作り直しを示す操作信号が検出された場合に、生成されたレイアウトが作り直されたと判定する。また、本実施形態に係る情報処理装置は、例えば、上記(7)の処理(評価処理)において算出されたスコアが低くない場合や、ユーザ操作に基づくレイアウトを確定することを示す操作信号が検出された場合に、生成されたレイアウトがそのまま用いられたと判定する。
上記判定において、生成されたレイアウトがそのまま用いられたと判定された場合には、本実施形態に係る情報処理装置は、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが好きなパラメータとして記憶部(後述する)などに記録する。また、上記判定において、生成されたレイアウトが作り直されたと判定された場合には、本実施形態に係る情報処理装置は、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
図51は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る学習処理の一例を示している。なお、図51では、本実施形態に係るレイアウトに関するパラメータが「テーマ」と対応付けられており、ユーザが、当該「テーマ」を選択することによって、本実施形態に係る情報処理方法に係る処理が行われる場合における、本実施形態に係る学習処理の一例を示している。
例えば図51のAに示すように、本実施形態に係る情報処理装置は、設定されている期間において、「テーマ」が選択された回数が0回である場合(レイアウトに関するパラメータが用いられた回数が第1の回数以下の場合の一例)には、当該「テーマ」と対応付けられているレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
また、例えば図51のBに示すように、レイアウトに関するパラメータが用いられた回数が10回である場合(レイアウトに関するパラメータが用いられた回数が第2の回数を超えた場合の一例)となった場合には、本実施形態に係る情報処理装置は、生成されたレイアウトがそのまま用いられたか、または、生成されたレイアウトが作り直されたかを判定する。生成されたレイアウトがそのまま用いられたと判定された場合には、本実施形態に係る情報処理装置は、例えば図51のBに示すように、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが好きなパラメータとして記憶部(後述する)などに記録する。また、生成されたレイアウトが作り直されたと判定された場合には、本実施形態に係る情報処理装置は、例えば図51のBに示すように、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図52は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、“画像データ”や、“本実施形態に係るレイアウトに関するパラメータを示すデータ”、“本実施形態に係る学習データ”、“アプリケーション”など様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
また、操作部(図示せず)としては、後述する操作入力デバイスが挙げられ、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図53は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)や各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、“画像データ”や、“本実施形態に係るレイアウトに関するパラメータを示すデータ”など様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(Organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
情報処理装置100は、例えば図53に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図53に示す構成に限られない。例えば、情報処理装置100は、静止画像または動画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおける撮像により生成された撮像画像を、候補画像として処理することが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、情報処理装置100は、操作入力デバイス160や表示デバイス162を備えない構成をとることも可能である。
再度図52を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、評価値算出部110と、ページ割り当て部112と、画像選択部114と、レイアウト生成部116と、レイアウト調整部118と、画像処理部120とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
評価値算出部110は、上記(1)の処理(評価値算出処理)を主導的に行う役目を果たす。評価値算出部110は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する。また、評価値算出部110は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて候補画像をグループ化して、グループごとに評価値を算出してもよい。
ページ割り当て部112は、上記(2)の処理(ページ割り当て処理)を主導的に行う役目を果たす。ページ割り当て部112は、例えば、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定し、当該レイアウトに関するパラメータおよび評価値算出部110において算出された評価値に基づいて、各ページに配置される画像数を決定する。
画像選択部114は、上記(3)の処理(画像選択処理)を主導的に行う役目を果たす。画像選択部114は、例えば、本実施形態に係るレイアウトに関するパラメータと、評価値算出部110において算出された評価値とに基づいて、候補画像の中から画像を選択する。ここで、例えば評価値算出部110において候補画像がグループ化された場合には、画像選択部114は、グループごとに画像を選択する。
レイアウト生成部116は、上記(4)の処理(レイアウト生成処理)を主導的に行う役目を果たす。レイアウト生成部116は、例えば、本実施形態に係るレイアウトに関するパラメータと、画像選択部114において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。ここで、例えば評価値算出部110において候補画像がグループ化された場合には、レイアウト生成部116は、グループごとにレイアウトを生成する。
レイアウト調整部118は、上記(5)の処理(レイアウト調整処理)を主導的に行う役目を果たし、レイアウト生成部116において生成されたレイアウトを調整する。より具体的には、レイアウト調整部118は、例えば、上記(5−1)の処理〜上記(5−5)の処理のうちの、1または2以上の処理を行うことによって、レイアウト生成部116において生成されたレイアウトを調整する。
画像処理部120は、上記(6)の処理(画像処理)を主導的に行う役目を果たし、レイアウト生成部116において生成されたレイアウト、または、レイアウト調整部118において調整されたレイアウトに、画像選択部114において選択された画像を配置する。また、画像処理部120は、例えば、上記(6−1)〜上記(6−3)に示す処理のうちの、1または2以上の処理を行い、処理後の画像を生成されたレイアウトまたは調整されたレイアウトに配置してもよい。
制御部104は、例えば、評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120を備えることによって、本実施形態に係る情報処理方法に係る処理(例えば、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)〜上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)”)を主導的に行う。
なお、本実施形態に係る制御部の構成は、図52に示す構成に限られない。
例えば、本実施形態に係る制御部は、レイアウト調整部118、および/または、画像処理部120を備えていなくてもよい。本実施形態に係る制御部が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を行うことが可能である。よって、例えば、本実施形態に係る制御部が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
また、本実施形態に係る制御部は、上記(7)の処理(評価処理)を行う評価部(図示せず)を備えていてもよい。評価部(図示せず)を備える場合には、本実施形態に係る制御部は、上記(7)の処理(評価処理)を行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができ、また、候補画像におけるベストスコアのレイアウトを選択することも可能となる。
また、本実施形態に係る制御部は、上記(8)の処理(学習処理)を行う学習部(図示せず)を備えていてもよい。学習部(図示せず)を備える場合には、本実施形態に係る制御部は、上記(8)の処理(学習処理)を行うことによって、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習することが可能となる。よって、学習部(図示せず)を備える場合には、本実施形態に係る制御部は、例えば、よりユーザの嗜好に合ったレイアウトを生成することや、ユーザがより好む本実施形態に係るレイアウトに関するパラメータをレコメンドすることなどを実現することができる。
情報処理装置100は、例えば図52に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)〜上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)”)を行う。したがって、情報処理装置100は、例えば図52に示す構成によって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
なお、本実施形態に係る情報処理装置の構成は、図52に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図52に示す評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120を個別に備える(例えば、それぞれを個別の処理回路で実現する)ことができる。
また、本実施形態に係る情報処理装置は、例えば、レイアウト調整部118、および/または、画像処理部120を備えない構成をとることも可能である。本実施形態に係る情報処理装置が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を行うことができる。よって、例えば、本実施形態に係る情報処理装置が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
また、本実施形態に係る情報処理装置は、上記(7)の処理(評価処理)を行う評価部(図示せず)を備えていてもよい。評価部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、上記(7)の処理(評価処理)を行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができ、また、候補画像におけるベストスコアのレイアウトを選択することも可能となる。
また、本実施形態に係る情報処理装置は、上記(8)の処理(学習処理)を行う学習部(図示せず)を備えていてもよい。学習部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、上記(8)の処理(学習処理)を行うことによって、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習することが可能となる。よって、学習部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、よりユーザの嗜好に合ったレイアウトを生成することや、ユーザがより好む本実施形態に係るレイアウトに関するパラメータをレコメンドすることなどを実現することができる。
また、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)を備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、撮像部(図示せず)における撮像により生成された撮像画像を、候補画像として処理することが可能となる。撮像部(図示せず)としては、例えば、上述した本実施形態に係る撮像デバイスが挙げられる。
また、本実施形態に係る情報処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部102を備えていなくてもよい。
以上のように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を含む処理を行う。上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)、第2の例(粗密)、第3の例(休み)、第4の例(画像の方向性)、第5の例(画像が占める面積のバランス)、第6の例(レイアウト)、第8の例(コマ割り)のうちの、1または2以上が実現される。
また、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいて、上記(3)の処理(画像選択処理)と上記(4)の処理(レイアウト生成処理)とを行う。よって、本実施形態に係る情報処理装置は、ユーザ操作などによって設定されたレイアウトに関するパラメータに基づいて処理を行うことによって、動的なフォトブックのレイアウトを、自動的に生成することができる。
したがって、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
また、本実施形態に係る情報処理装置が、上述した本実施形態に係る情報処理方法に係る処理を行うことによって、例えば下記に示すよりよいフォトブックを実現することができる。
・候補画像の時間・類似グルーピングが実現されているフォトブック
・候補画像のうちのよい画像が選択されたフォトブック
・質の良いレイアウトが実現されているフォトブック
・デザインのバリエーションをより容易に増やすことが可能なフォトブック
以上、本実施形態として情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、PC(Personal Computer)やサーバなどのコンピュータ、タブレット型の装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る情報処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなる情報処理システムにより実現されてもよい。より具体的には、例えば、情報処理システムを構成する複数の装置が、通信を用いて連携して処理を行うことによって、本実施形態に係る情報処理方法に係る処理が実現される。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)〜上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)〜上記(4)の処理(レイアウト生成処理)、上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)〜上記(6)の処理(画像処理)”、および“さらに、上記(7)の処理(評価処理)および/または上記(8)の処理(学習処理)を行う処理”)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいて実行されることによって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムによって、上述した本実施形態に係る情報処理方法に係る処理を行うことによって実現される効果を奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出する評価値算出部と、
レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て部と、
前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択する画像選択部と、
前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するレイアウト生成部と、
を備える、情報処理装置。
(2)
生成されたレイアウトを調整するレイアウト調整部をさらに備える、(1)に記載の情報処理装置。
(3)
前記レイアウト調整部は、前記生成されたレイアウトに、1ページに1つの画像を配置するレイアウトが含まれる場合には、1つの画像が配置されるページにおける、前記選択された画像が配置されない周辺部分である余白を調整する、(2)に記載の情報処理装置。
(4)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像に基づいて、前記選択された画像が配置される領域をクリッピングする、(2)、または(3)に記載の情報処理装置。
(5)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を回転させる、(2)〜(4)のいずれか1つに記載の情報処理装置。
(6)
前記レイアウト調整部は、前記レイアウトに関するパラメータに基づいて、前記選択された画像が配置される領域を回転させる、(5)に記載の情報処理装置。
(7)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像の前記生成されたレイアウトにおけるサイズに基づいて、前記選択された画像が配置される領域を回転させる、(5)に記載の情報処理装置。
(8)
前記レイアウト調整部は、回転させた後の前記選択された画像が配置される領域を、縮小、および/または、平行移動させて、前記選択された画像が配置されるページにおける、前記選択された画像が配置されない周辺部分である余白を調整する、(5)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を、拡大および/または、平行移動させることによって、前記生成されたレイアウトにおける、前記選択された画像が配置されない周辺部分以外の部分である空白を調整する、(2)〜(4)のいずれか1つに記載の情報処理装置。
(10)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像の前記生成されたレイアウトにおけるサイズに基づいて、前記選択された画像が配置される領域の重なり方を調整する、(2)〜(8)のいずれか1つに記載の情報処理装置。
(11)
前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域の重なりを判定し、判定結果に基づいて前記選択された画像が配置される領域を平行移動させて、前記選択された画像が配置される領域の重なりを調整する、(10)に記載の情報処理装置。
(12)
前記生成されたレイアウト、または、前記生成されたレイアウトが調整されたレイアウトに、選択された前記画像を配置する画像処理部をさらに備える、(1)〜(11)のいずれか1つに記載の情報処理装置。
(13)
前記画像処理部は、
前記レイアウトに配置される前記選択された画像から被写体を検出し、
被写体が検出された場合には、前記選択された画像に含まれる被写体に基づいて前記選択された画像の構図を変更して、構図が変更された画像を配置する、(12)に記載の情報処理装置。
(14)
前記画像処理部は、
前記レイアウトに配置される前記選択された画像の前記レイアウトにおけるサイズに基づいて、前記選択された画像から所定の被写体を選択的に検出し、
前記所定の被写体が検出された場合には、前記選択された画像に含まれる前記所定の被写体が拡大された画像を配置する、(12)に記載の情報処理装置。
(15)
前記画像処理部は、前記レイアウトに配置される前記選択された画像のうち、複数のページにまたがって配置される画像がある場合には、
前記複数のページにまたがって配置される画像から所定の被写体を検出し、前記複数のページの境目に検出された所定の被写体が位置しないように、前記複数のページにまたがって配置される画像を処理する、(12)に記載の情報処理装置。
(16)
前記評価値算出部は、前記候補画像それぞれに対応する画像に関する情報に基づいて前記候補画像をグループ化して、グループごとに前記評価値を算出し、
前記画像選択部は、前記グループごとに画像を選択し、
前記レイアウト生成部は、前記グループごとにレイアウトを生成する、(1)〜(15)のいずれか1つに記載の情報処理装置。
(17)
前記画像選択部は、算出された前記評価値と所定の閾値との比較結果に基づいて、前記候補画像を分類し、
分類された前記候補画像のグループごとに、画像を選択する、(1)〜(16)のいずれか1つに記載の情報処理装置。
(18)
前記画像選択部は、分類された前記候補画像のグループごとに、前記候補画像それぞれにおける画像の方向性を判定し、さらに判定された画像の方向性に基づいて、画像を選択する、(17)に記載の情報処理装置。
(19)
前記レイアウト生成部は、
決定されたページに配置される画像数、または、前記決定されたページに配置される画像数および前記選択された画像に対応する前記評価値に基づいて、画像が配置される領域をページに配置することにより、前記レイアウトを生成する、(1)〜(18)のいずれか1つに記載の情報処理装置。
(20)
前記レイアウト生成部は、さらに、前記レイアウトに関するパラメータ、および/または、前記選択された画像に対応する画像に関する情報に基づいて、前記レイアウトを生成する、(19)に記載の情報処理装置。
(21)
生成されたレイアウトを評価する評価部をさらに備える、(1)〜(20)のいずれか1つに記載の情報処理装置。
(22)
レイアウトに関するパラメータが用いられた回数、または、前記レイアウトに関するパラメータが用いられた回数および生成されたレイアウトが確定されたか否かに基づいて、レイアウトに関するパラメータに対するユーザの嗜好を学習する学習部をさらに備える、(1)〜(21)のいずれか1つに記載の情報処理装置。
(23)
前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータが含まれる、(1)〜(22)のいずれか1つに記載の情報処理装置。
(24)
前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータが含まれる、(1)〜(22)のいずれか1つに記載の情報処理装置。
(25)
選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップと、
レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップと、
前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップと、
前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップと、
を有する、情報処理方法。
(26)
選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップ、
レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップ、
前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップ、
前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップ、
をコンピュータに実行させるためのプログラム。
(27)
選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出する評価値算出装置と、
レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て装置と、
前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択する画像選択装置と、
前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するレイアウト生成装置と、
を有する、情報処理システム。