JP2024129456A - 情報処理装置、情報処理装置の制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】文書のアスペクト比を変更した際に、アスペクト比の変更後の文書に配置される画像が、より適切にトリミングされた画像となる仕組みを提供する。
【解決手段】情報処理装置は、画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付手段と、受付手段で受け付けた指示に基づいて、文書のアスペクト比を変更するとともに、画像配置領域のアスペクト比を調整する調整手段と、調整手段による調整後の画像配置領域のアスペクト比に基づいて、画像配置領域に配置される画像のトリミングを行うように制御する制御手段と、制御手段によってトリミングされた画像が、調整後の画像配置領域に配置された、指示に基づくアスペクト比の変更後の文書を表示手段に表示するように制御する表示制御手段と、を有する。
【選択図】図４

Description

本開示は、画像が配置される文書を表示可能な情報処理装置、情報処理装置の制御方法、プログラム、および記憶媒体に関する。

パーソナルコンピュータ上のアプリケーションを使って文書を編集する手法が用いられている。このような文書編集手法においては、文書の用紙サイズを任意のサイズに変更することが可能である。文書の用紙サイズを変更する際、アプリケーションは用紙サイズの変更に合わせて文書内のテキストや画像などのオブジェクトを拡大又は縮小し、原稿を調整する。写真は、画像配置領域の大きさ及び形状に基づいてトリミングされ、文書上に表示される。

このとき、用紙サイズ変更によるアスペクト比調整が行われると、画像配置領域のアスペクト比が変更される。調整後の画像配置領域の形状によっては、調整前のトリミング位置のままでは「被写体」が見切れてしまう場合がある。特許文献１には、デジタルカメラ等で撮影された写真を想定し、写真内の「被写体」の位置を特定することでトリミング位置の候補をいくつか算出する技術が記載されている。

特開２０１４－１４３６７３号公報

しかしながら、特許文献１の技術では、「被写体」を中心としたトリミング位置は算出できるが、画像配置領域内に「被写体」が収まらないトリミング結果も生成されてしまう。そのため画像配置領域に対し「被写体」が見切れてしまうという問題は依然として存在する。

本開示は上記課題に鑑み、文書のアスペクト比を変更した際に、アスペクト比の変更後の文書に配置される画像が、より適切にトリミングされた画像となる仕組みを提供することを目的とする。

本開示の情報処理装置は、画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付手段と、前記受付手段で受け付けた指示に基づいて、前記文書のアスペクト比を変更するとともに、前記画像配置領域のアスペクト比を調整する調整手段と、前記調整手段による調整後の前記画像配置領域のアスペクト比に基づいて、前記画像配置領域に配置される画像のトリミングを行うように制御する制御手段と、前記制御手段によってトリミングされた前記画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を表示手段に表示するように制御する表示制御手段と、を有することを特徴とする。

本開示によれば、文書のアスペクト比を変更した際に、アスペクト比の変更後の文書に配置される画像が、より適切にトリミングされた画像となる。

印刷装置のハードウェア構成の一例を示すブロック図。 パーソナルコンピュータのハードウェア構成の一例を示すブロック図。 パーソナルコンピュータの構成の一例を示すブロック図。 文書編集アプリケーションの処理を示すフローチャート。 用紙サイズの選択画面を示す図。 テキストの配置方法を示す図。 画像オブジェクト内のテキストの配置方法の一例を示す図。 画像オブジェクトの配置方法を示す図。 画像オブジェクトのトリミングの一例を示す図。 「被写体」の配置方法を示す図。 トリミング処理を示すフローチャート。 文書選択画面を示す図。 文書選択画面を示す図。 トリミング候補選択画面を示す図。 画像オブジェクトのトリミング結果が修正された文書選択画面を示す図。

以下、本開示の実施形態について、添付図面を参照して説明する。尚、以下の実施形態は本開示を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。また、フローチャートにおける各工程（ステップ）については「Ｓ」で始まる符号を用いて示す。本開示では、写真のトリミングを主題に扱っているため、写真と写真以外の画像とは区別して用いている。また、本開示では、「被写体」は撮影の対象を指す用語として用いている。パーソナルコンピュータ上で操作することが可能な画像オブジェクトと、「被写体」とは異なる意味を有している。

［第１実施形態］
以下に、本実施形態に係るパーソナルコンピュータ上の文書編集アプリケーションの処理を、図面を参照しながら説明する。文書編集アプリケーションの編集対象となる文書データは一般的なオフィス文書の文書データであってもよいし、ポスター、はがき、又はプレゼンテーションデータ等の用途が特定された文書の文書データであってもよい。また、当該文書編集アプリケーションは、文書データの編集を行うための様々な機能を有しており、文書データ内のオブジェクトに対するリサイズ、移動又は回転、及び画像オブジェクトに対するトリミング処理等が可能である。

＜ハードウェア構成及びアプリケーションについて＞
図１は、本実施形態に係る印刷装置１０１のハードウェア構成を示すブロック図である。印刷装置１０１は、全体の制御を行うメインボード１１２、通信ユニット１１０及び操作パネル１１１を含む。ここで、通信ユニット１１０は、印刷装置１０１の通信部として機能する。通信ユニット１１０は、無線ＬＡＮユニットであってもよいが、これに限定されない。例えば、Ｂｌｕｅｔｏｏｈ（登録商標）ユニット、又は有線ＬＡＮユニット等であってもよい。

メインボード１１２には、ＣＰＵ１１３、プログラムメモリ１１４、画像メモリ１１６を含むデータメモリ１１５、スキャナ１１７、通信制御回路１１８、操作部制御回路１１９及び印刷部１２０を備える。上記の各デバイスは内部バス１２１を介して相互に接続される。ＣＰＵ１１３は、内部バス１２１を介して接続されているＲＯＭ形態のプログラムメモリ１１４に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ１１５のデータとに従って動作する。ＣＰＵ１１３は、スキャナ１１７を制御して原稿を読み取り、読み取った文書データをデータメモリ１１５内の画像メモリ１１６に格納する。

また、ＣＰＵ１１３は、印刷部１２０を制御してデータメモリ１１５内の画像メモリ１１６の文書データを記録媒体に印刷することが可能である。また、スキャンした文書データを、通信制御回路１１８で制御された通信ユニット１１０経由でパーソナルコンピュータ２００の中央処理装置２０２に送信することも可能である。ＣＰＵ１１３は、通信制御回路１１８を用いて通信ユニット１１０を制御することにより、パーソナルコンピュータ２００の中央処理装置２０２と通信を行う。ＣＰＵ１１３は、操作部制御回路１１９を制御することによって操作パネル１１１に印刷装置１０１の状態の表示や機能選択メニューの表示を行ったり、ユーザーからの操作を受け付けたりすることが可能である。本実施形態に係る印刷装置１０１は、ＪＰＥＧファイル形式等の各種データ形式の文書データを受信して印刷することが可能である。

図２は、本実施形態に係る文書編集アプリケーション３０１が動作するパーソナルコンピュータ２００のハードウェア構成を示すブロック図である。パーソナルコンピュータ２００は、入力装置２０１、中央処理装置２０２、表示装置２０３、及び記憶装置２０４を備える。入力装置２０１は、ユーザーからの入力を受け付けるキーボード、マウス等の装置である。中央処理装置２０２は、少なくとも１つのプロセッサーを有し、記憶装置２０４に格納されているプログラム及びデータに従って動作し、パーソナルコンピュータ２００の制御を行う。表示装置２０３は、パーソナルコンピュータ２００で処理中の文書データ等を表示する液晶モニタ等の表示装置である。また、表示装置２０３は、入力装置２０１と組み合わされても良く、例えば、操作パネル又はタッチパネル等であっても良い。記憶装置２０４には、上述した中央処理装置２０２で用いられるプログラム及びデータの他に、文書編集アプリケーション３０１の実体、文書テンプレート、フォント、及び装飾データ等が格納されている。記憶装置２０４は、内蔵ハードディスク、又は内蔵ＳＳＤ、メモリーカードの外付けの記憶媒体等であっても良い。ＲＡＭ２０８は、プログラム実行の際のワークメモリとして機能するメモリー（記憶媒体）である。ここで、パーソナルコンピュータ２００は、デスクトップパソコン、又はノートパソコンを想定しているが、これらに限られない。例えば、スマートフォン、タブレット端末、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ（ＰＤＡ）等も本実施形態のパーソナルコンピュータ２００に含まれる。

パーソナルコンピュータ２００は、印刷装置１０１、画像入力装置２０６、又は外部記憶装置２０７を備えていても良い。印刷装置１０１に関しては説明を省略する。画像入力装置２０６は、フィルムスキャナ、フラットベッドスキャナ、又はデジタルカメラなどを含むが、これらに限定されない。例えば、画像入力装置２０６は、上述した印刷装置１０１のスキャナ１１７であっても良い。外部記憶装置２０７は、デジタルカメラ等で用いる媒体に対応した外部記憶装置である。外部記憶装置２０７に格納された画像データを、オブジェクトとして文書データに取り込むことも可能である。外部記憶装置２０７は、外付けハードディスク、ＳＳＤ、ＵＳＢメモリ、又はＳＤカード等であっても良いが、これらに限定されない。外部記憶装置２０７は、パーソナルコンピュータ２００が不図示の通信ＩＦを用いることによりネットワークを介して接続可能であるクラウドストレージであっても良い。

図３は、情報処理装置の一態様であるパーソナルコンピュータ２００で動作する文書編集アプリケーション３０１の機能構成を示すブロック図である。図３に示す機能ブロックの機能は、実体としてはすべて、文書編集アプリケーション３０１のプログラムに基づいて中央処理装置２０２が実行する機能である。文書選択受付部３０２は編集を行う文書データを選択する。文書表示編集部３０３は文書選択受付部３０２で選択された文書データを表示及び編集する。用紙サイズ変更受付部３０４は文書表示編集部３０３で編集中の文書の用紙サイズの変更を受け付ける。用紙サイズ変更処理部３０５は用紙サイズ変更受付部３０４で変更された用紙サイズに従って文書データの用紙サイズを変更する。オブジェクト調整部３０６は、用紙サイズ変更処理部３０５で用紙サイズが変更された際、変更後の用紙サイズに合わせて、文書表示編集部３０３で編集中の文書データに含まれる各オブジェクトに対してリサイズ、移動又は回転等の調整を行う。トリミング処理部３０７は、オブジェクト調整部３０６によって画像オブジェクトが調整された際、変更後の画像オブジェクトに含まれる画像配置領域の形状に基づいて、配置されている画像にトリミング処理を行う。候補生成部３２１は、用紙サイズ変更受付部３０４、用紙サイズ変更処理部３０５、オブジェクト調整部３０６及びトリミング処理部３０７の処理結果を受けて用紙サイズ変更後の文書データの候補を生成する。候補表示制御部３２２は、候補生成部３２１によって生成された文書データの候補を、特定の順番で表示する。候補選択受付部３２３は、候補表示制御部３２２によって表示された文書データの候補に対するユーザーの選択を受け付ける。印刷処理部３３１は、文書データから印刷データを生成し、印刷データを印刷する指示を印刷装置１０１に送信する。

＜画像オブジェクトのサイズ変更処理について＞
図４は、文書編集アプリケーション３０１による処理を示すフローチャートである。この処理は、記憶装置２０４に記憶されたプログラムを、ＲＡＭ２０８に展開し、中央処理装置２０２が実行することにより実現する。図４のフローチャートの処理は、ユーザーの文書編集アプリケーション３０１の起動により処理が開始される。

Ｓ４０１では、中央処理装置２０２は、編集を行う文書データの選択を受け付ける。記憶装置２０４にはテンプレートとして用途に応じた様々な文書データが予め記憶されており、文書編集アプリケーション３０１は文書テンプレートの一覧を表示装置２０３に表示してユーザーからの選択を受け付ける。ユーザーは表示装置２０３に表示された文書テンプレート一覧の中から利用したい文書データを入力装置２０１で選択する。なお、文書データは予め用意されたテンプレートの中から選択してもよいし、ユーザーが過去に作成した文書を選択してもよい。ユーザーが文書データを選択すると、処理はＳ４０２に進む。

Ｓ４０２では、Ｓ４０１におけるユーザーの選択に応じて、中央処理装置２０２は、記憶装置２０４に格納された文書データを開いて表示装置２０３に表示する。表示装置２０３に表示された文書データは、入力装置２０１を介して文書の編集が可能な状態になっている。文書データが表示装置２０３に表示されると、処理はＳ４０３に進む。

Ｓ４０３では、中央処理装置２０２は、ユーザーからのＳ４０２で表示された文書の用紙サイズの変更操作を受け付け、変更された用紙サイズを用紙サイズ変更受付部３０４に伝える。用紙サイズの変更においては、表示装置２０３に図５に示される用紙サイズの一覧が表示され、ユーザーが入力装置２０１を用いて所望の用紙サイズを選択する。文書テンプレートがＡ２サイズで作成されている場合では、デフォルトでＡ２が選択状態となるが、ユーザーは所望のサイズに変更する。用紙サイズを変更するケースとしては、印刷装置１０１で文書データを印刷する予定の用紙が文書テンプレートの用紙サイズとは異なるというケースが挙げられる。用紙サイズは一覧で表示する以外に、用紙を縦向きで使うか横向きで使うかを選択させてもよいし、ユーザーに任意のサイズを数値で設定させてもよい。ユーザーが用紙サイズの変更を行うと、処理はＳ４０４に進む。

Ｓ４０４では、Ｓ４０３において用紙サイズ変更受付部３０４で受け付けた変更された用紙サイズに合わせて、中央処理装置２０２は、Ｓ４０２において表示された文書データの用紙サイズを変更する。これによって文書のサイズが変更される。用紙サイズを変更する処理が完了すると、Ｓ４０５からＳ４１４で示される処理が実行される。Ｓ４０５からＳ４１４では、文書データ内の１つのオブジェクトを対象オブジェクトとし、変更された用紙サイズに合うように、文書データ内の対象オブジェクトのサイズや位置をオブジェクトの種類や配置状態に応じて調整する。Ｓ４０５からＳ４１４で示される処理は、文書データ内の全てのオブジェクトに対する処理が完了するまで繰り返される。

Ｓ４０５では、中央処理装置２０２は、文書データ内の一つのオブジェクトである対象オブジェクトの種類が、画像であるか否かを判定する。オブジェクトの種類とは、画像、図形、又はテキスト等であり、中央処理装置２０２は、対象オブジェクトに付随する情報を参照して判定する。対象オブジェクトは画像ではないと判定した場合は、処理はＳ４０６に進む。対象オブジェクトは画像であると判定した場合は、処理はＳ４０７に進む。

Ｓ４０６では、中央処理装置２０２は、対象オブジェクトに応じてサイズの調整を行う。Ｓ４０６の処理の一例として、Ｓ４０５でテキストオブジェクトであると判断した場合について説明する。テキストオブジェクト（以下、「テキスト」と称する）の場合、まず、対象テキストの直下に別のオブジェクトが存在するかによって処理が分かれる。別のオブジェクトが直下にあるかの判定は、対象テキストと当該対象テキストよりも下位のレイヤーにあるオブジェクトとの領域情報に基づいて判定する。対象テキストの領域を完全に含有する領域を有する別のオブジェクトが下位にあれば、対象テキストの直下に別のオブジェクトがあると判定する。対象テキストの直下に別のオブジェクトが存在しない場合は、用紙の辺の拡縮率が低い方の辺の倍率に応じてテキストのフォントサイズを拡大又は縮小する。例えば、縦１００ｃｍ×横５０ｃｍの用紙サイズを縦５０ｃｍ×横３０ｃｍの用紙サイズに変更した場合、拡縮率の低い縦の辺の倍率に合わせて５０／１００でフォントサイズを２分の１に縮小する。この際フォントサイズは変更するが、フォントのアスペクト比は変更しない。フォントのアスペクト比を変えると、用紙サイズの変化量が大きいとフォントが歪んでオリジナルのテキストデザインと印象が異なってしまうからである。

続いて移動処理については、中央処理装置２０２は用紙サイズのアスペクト比の変更に応じて対象オブジェクトを移動する。図６に示すようにテキストの基準点が用紙サイズ変更前と変更後でその位置の割合が同じになるように移動する。移動する際の基準点は、図６（ａ）から図６（ｃ）に示すようにテキストのアライメントの設定（左寄せ、中央寄せ、及び右寄せ）に依存して異なる。左寄せの場合はテキスト左側の中央、中央寄せであればテキストの中心、右寄せであればテキスト右側の中央を基準点とする。なお、テキストが縦書きの場合は、アライメントの設定に応じてテキスト上側の中央、テキストの中心、及びテキスト下側の中央が基準点となる。このように基準点を変えることで、例えば左寄せのテキストが左端をそろえて縦に複数並んでいる文書の用紙サイズを変更した時に左端の位置を合わせながら各テキストを移動することができ、レイアウトの崩れが発生しない。

対象テキストの直下に別のオブジェクトが存在する場合は、中央処理装置２０２は、対象テキストの直下に存在する別のオブジェクトとの相対的なサイズ関係及び位置関係を維持するように拡大又は縮小、及び移動を行う。例えば図７に示すように、文書データの上部に黒い図形で示された画像オブジェクトがあり、画像オブジェクト内の左側にテキストがある場合、以下の処理が行われる。即ち、中央処理装置２０２は、画像オブジェクトの縮小に合わせてテキストのフォントを縮小し、黒い図形の左側の位置にテキストを配置する。図７の例ではテキストが左寄せなので、テキスト左側の中央を基準点として画像オブジェクトとテキストの基準点の位置関係が変わらないように当該テキストは画像オブジェクト内に配置される。このように対象テキストの直下の別のオブジェクトに合わせて拡大又は縮小、及び移動を行うことで、対象テキストと対象テキストの直下に存在するオブジェクトとの配置関係のバランスが崩れないようにする。文書データ内の全てのオブジェクトに対する処理が完了した場合には、処理はＳ４１５に進む。文書データ内の全てのオブジェクトに対する処理が完了していない場合には、処理はＳ４０５に戻る。

Ｓ４０５で、中央処理装置２０２が、対象オブジェクトは画像であると判定した場合、Ｓ４０７で中央処理装置２０２は、対象オブジェクトの画像配置領域のサイズを調整する。画像配置領域とは、画像オブジェクトに設定された画像のうち文書上で表示する形状を決定する枠であり、画像オブジェクトはオリジナル画像データと画像配置領域とから構成される。画像オブジェクトは画像配置領域に基づいてトリミングされて文書上に表示される（配置される）ため、例えば、画像配置領域が星型である場合にはオリジナル画像データが星形に切り抜かれて文書上に表示される。画像配置領域が矩形である場合にはオリジナル画像データが矩形に切り抜かれて文書データ上に表示される。画像配置領域が大きい場合には画像オブジェクトは文書データ上に大きな面積で表示される。画像配置領域が小さい場合には画像オブジェクトは文章データ上に小さな面積で表示される。本実施形態において、トリミングとは、画像配置領域の形状及び大きさ、並びにオリジナル画像データから文書データ上に表示される見た目上の画像オブジェクトを生成する処理のことを指す。なお、画像オブジェクトに含まれるオリジナル画像データは、トリミングによって変形することはない。またトリミングは、画像配置領域の大きさ及び形状の双方に基づいて行われる以外に、画像配置領域の大きさ又は形状のいずれかにのみ基づいて行われてもよい。

画像配置領域のサイズ調整処理は、画像オブジェクトの直下に別のオブジェクトが存在するかによって処理が分かれる。画像オブジェクトの直下に別のオブジェクトが無い場合、中央処理装置２０２は、図８（ａ）及び図８（ｂ）に示すように用紙全体に対する画像配置領域の割合を維持するように画像オブジェクトの拡大又は縮小、及び移動を行う。この際、画像配置領域のアスペクト比は維持しない。画像オブジェクトの直下に別のオブジェクトがある場合は、中央処理装置２０２は、画像オブジェクトの直下にある別のオブジェクトとの相対的なサイズ関係及び位置関係を維持するように当該画像オブジェクトの拡大又は縮小、及び移動を行う。対象画像オブジェクトの画像配置領域のサイズ調整が完了すると、処理はＳ４０８に進む。

Ｓ４０８では、中央処理装置２０２は、Ｓ４０７にて調整された対象画像オブジェクトの画像配置領域のサイズを取得し、処理はＳ４０９に進む。後述するトリミング処理は、Ｓ４０７にて調整された画像配置領域のアスペクト比に合わせて行われる（アスペクト比に基づいて行われる）。具体的には、例えば図９に示すように変更後の画像配置領域が横長になった場合、中央処理装置２０２は画像配置領域と同じ横長のアスペクト比でオリジナル画像データをトリミングする。同様に、変更後の画像配置領域が縦長になった場合、中央処理装置２０２は画像配置領域と同じ縦長のアスペクト比でオリジナル画像データをトリミングする。

Ｓ４０９では、中央処理装置２０２は、対象画像オブジェクトを含むオリジナル画像データを取得し、処理はＳ４１０に進む。ここで取得される画像データ（単に画像と称することもあるものとする）は、用紙サイズの変更前に既に表示されている文書データの画像配置領域に配置されていた画像の、トリミング前の元データ（例えば画像ファイル）である。Ｓ４１０では、中央処理装置２０２は、オリジナル画像データから画像に写っている「被写体」を検出する。「被写体」の検出には、本実施形態では深層学習による物体検出システム（以下、「物体検出」と称する）が用いられる。オリジナル画像データから「被写体」の検出が完了すると、処理はＳ４１１に進む。Ｓ４１１で、中央処理装置２０２は、Ｓ４１０にて検出された「被写体」の数を算出する。検出された「被写体」の数が１つの場合には処理はＳ４１２に進み、検出された「被写体」の数が２つから所定の数未満である場合には、処理はＳ４１３に進み、検出された「被写体」の数が０又は所定の数以上である場合には、処理はＳ４１４に進む。上記の例では、当該所定の数を１０に設定しているが、これに限られない。当該所定の数は、ユーザーの入力によって設定しても良い。

Ｓ４１２、Ｓ４１３、又はＳ４１４では、中央処理装置２０２は、「被写体」の数に基づき画像のパターンを判定し、パターン毎に適切なトリミング方法を用いて対象オブジェクトのトリミングを行い、トリミング結果を生成する。以降、当該パターンを「写真パターン」と称する。Ｓ４１２で用いられるトリミング方法は第１の写真パターンであり、Ｓ４１３で用いられるトリミング方法は第２の写真パターンであり、Ｓ４１４で用いられるトリミング方法は第３の写真パターンである。なお、第１の写真パターンの方法、第２の写真パターンの方法、及び第３の写真パターンの方法に関しては、後述する。Ｓ４１２、Ｓ４１３、又はＳ４１４において対象オブジェクトのトリミング結果が生成されると、中央処理装置２０２は、文書データ内の全てのオブジェクトに対する処理が完了したか否かを判定する。文書データ内の全てのオブジェクトに対する処理が完了した場合には、処理はＳ４１５に進む。文書データ内の全てのオブジェクトに対する処理が完了していない場合には、処理はＳ４０５に戻る。

Ｓ４１５では、中央処理装置２０２は、各オブジェクトの結果を用いて、調整後の文書データの複数の候補を生成し、処理はＳ４１６に進む。Ｓ４１６では、中央処理装置２０２は、Ｓ４１５において生成された文書データの複数の候補を表示装置２０３に表示する。すなわち、アスペクト比の変更前に配置されていた画像の元データの画像を用いて、それぞれ異なるトリミング範囲でトリミングされた複数のトリミング後画像が、調整後の画像配置領域に配置された、アスペクト比の変更後の複数の文書が表示される。Ｓ４１６での表示例は図１２を用いて後述する。

Ｓ４１７では、中央処理装置２０２は、表示装置２０３に表示された文書データの複数の候補のうちいずれかを選択するユーザー操作を受け付ける。Ｓ４１８では、中央処理装置２０２は、Ｓ４１７で選択された候補で決定（確定）し、選択された文書データを編集対象として表示装置２０３に表示する。Ｓ４１９では、中央処理装置２０２は、Ｓ４１７で選択され、Ｓ４１８で編集対象として表示された文書データに対する、ユーザーからの編集操作を受け付け、編集操作に応じた各種編集処理を行う。例えば、画像配置領域に表示された画像の表示範囲（トリミング範囲）の調整操作、画像配置領域自体のサイズ、位置、形状の調整操作、画像の追加配置、配置された画像の削除などの編集操作を受け付け可能である。

Ｓ４２０では、中央処理装置２０２は、編集対象となっている文書データの用紙サイズの変更操作（変更指示）があったか否かを判定する。用紙サイズの変更指示があった場合にはＳ４０３に進み、そうでない場合にはＳ４２１に進む。Ｓ４２１では、中央処理装置２０２は、編集対象の文書データの印刷指示または保存指示があったか否か判定する。印刷指示または保存指示があった場合にはＳ４２２に進み、そうでない場合にはＳ４２３へ進む。

Ｓ４２２では、中央処理装置２０２は、Ｓ４２１で印刷指示を受け付けていた場合には、編集対象の文書データの印刷データを生成し、印刷装置１０１に印刷データを送信するとともに、印刷指示を行う。これによって、前述までの処理によって編集された内容を反映した文書が印刷装置１０１に印刷可能に出力され、印刷装置１０１によって印刷される。例えば、文書として画像と文字が配置されたポスターが印刷される。また、中央処理装置２０２は、Ｓ４２１で保存指示を受け付けていた場合には、編集対象の文書データを記憶装置２０４に保存する。これによって、前述までの処理によって編集された内容を反映した文書データが記憶装置２０４に出力され、保存される。また、ユーザーからの指示に応じて、編集された内容を反映した文章データを、ネットワーク上のサーバなどに送信してもよい。サーバに送信された文書データを用いて、印刷業者などに文書の印刷を注文したり、ＳＮＳ（ソーシャルネットワーキングサービス）などに文書データを投稿してＳＮＳの画面に文書データに基づく文書を表示させたりすることも可能である。Ｓ４２３では、中央処理装置２０２は、文書編集アプリケーション３０１を閉じる（終了させる）操作があったか否かを判定する。文書編集アプリケーション３０１を閉じる操作が無い場合にはＳ４１９へ進んで処理を繰り返す。文書編集アプリケーション３０１を閉じる操作があった場合には図４の処理を終了する。

なお、上述した例では、Ｓ４１５で文書データの複数の候補を生成し、Ｓ４１６で表示例を説明したが、処理の方法はこれに限られない。Ｓ４１５でトリミング結果を用いた調整後の文書データを１つ生成し、Ｓ４１６、Ｓ４１７を省いて、Ｓ４１５で生成された文書データをＳ４１８で編集対象として表示してもよい。このようにすれば、ユーザーが複数の候補からの選択を行う手間も削減することができる。

＜画像オブジェクトのトリミング処理について＞
図４に示されるフローチャートのＳ４１１からＳ４１４の処理では、中央処理装置２０２は、写真パターンに合わせた処理を行った後、画像配置領域に対し特定の規則に従って「被写体」が配置されるようトリミング位置を決定する。図１０は、「被写体」の配置方法を表した図である。オリジナル画像データ１００１を、調整後の文書データ１００２内の画像配置領域１００３にトリミングして配置する場合の例を図１０（ａ）に示す。図１０（ｂ）から図１０（ｇ）に示すように、「被写体」の配置例１００４から１００９で示される最大６つの方法でオリジナル画像データを配置し、トリミングを行う。なお、「被写体」の配置方法は上記の６つの方法に限定されない。

図１０（ｂ）に示される配置例１００４は、オリジナル画像データ１００１を画像配置領域１００３になるべく全体を収めるように配置する配置方法である。以降、この配置方法を「全体重視の配置方法」と称する。当該配置方法では、オリジナル画像データ１００１の短辺が画像配置領域１００３の対応する辺と一致するようにトリミングを行う。オリジナル画像データ１００１の場合、短辺は高さに該当するため、オリジナル画像データ１００１の高さと画像配置領域１００３の高さとが一致するように中央処理装置２０２はオリジナル画像データ１００１を画像配置領域１００３に配置する。また、この配置方法では「被写体」の座標を参照しない。この配置方法では、オリジナル画像データ１００１の中心と画像配置領域の中心が一致し、画像全体の縦の範囲と横の範囲との少なくとも一方が、画像配置領域に収まる。

図１０（ｃ）に示される配置例１００５は、「被写体」の基準点の座標が画像配置領域１００３の中央の座標と一致するように配置する配置方法である。以降、この配置方法を「中央配置」と称する。配置例１００５では、オリジナル画像データ１００１内の人物の頭部が「被写体」として検出されたとして、中央処理装置２０２が「被写体」を画像配置領域１００３の中央に配置した場合のトリミング結果を表している。

図１０（ｄ）から図１０（ｇ）に示される配置例１００６から１００９は、画像配置領域１００３を縦横に三等分する線の交点４か所の座標と「被写体」の基準点の座標が一致するように「被写体」を配置する配置方法である。この配置方法を「三分割法」と称する。当該配置方法では、交点４か所それぞれに「被写体」の基準点を配置した４パターンのトリミング結果が得られる。配置例１００６から１００９では、オリジナル画像データ１００１内の人物の頭部が「被写体」として検出されたとして、中央処理装置２０２が「被写体」をそれぞれ左上、右上、左下、及び右下に配置した場合のトリミング結果を表している。

このような様々な配置方法から、写真パターンに合ったものを文書データに使用したり、又はひとつの画像オブジェクト（写真）を複数の配置方法を用いてトリミングしたりすることにより、ユーザーに複数のトリミング結果を提示することを可能にする。これにより、ユーザーが自分の好みに合った画像オブジェクトを選択することが可能になる。また、「被写体」を画像配置領域１００３内に収まるように画像オブジェクトを配置することにより、文書データに表示される画像オブジェクトにおいて「被写体」が映らない、又は「被写体」が見切れているといった問題に対応することが可能になる。

図１１は、図４のＳ４１１からＳ４１４に示した画像トリミング処理を詳細に示したフローチャートである。Ｓ１１０１の処理は図４のＳ４１１の処理に対応する。また、Ｓ１１０２からＳ１１０９の処理は図４のＳ４１２の処理に対応し、Ｓ１１１０からＳ１１１９の処理は図４のＳ４１３の処理に対応し、Ｓ１１２０及びＳ１１２１の処理は図４のＳ４１４の処理に対応する。図４は、画像配置領域に配置される画像の内容（被写体の数、大きさ）に基づいて、どのようなトリミング範囲の決定条件を用いるかを決定し、決定したトリミング条件に基づくトリミング範囲でのトリミングを行う処理である。

まずＳ１１０１では、Ｓ４１０において検出された「被写体」の数を考慮し、中央処理装置２０２は、オリジナル画像データがどの写真パターンであるかを判定する。この判定は、図４におけるＳ４１１の処理に対応する。なお、本実施形態では「被写体」の数で写真パターンを判定しているが、判定基準はこれに限定されない。例えば、Ｓ４１０において検出された「被写体」の種類を考慮しても良いし、又は「被写体」の位置を考慮しても良い。或いは、それらを複合した条件によってオリジナル画像データの写真パターンを判定しても良い。Ｓ１１０１において「被写体」の数が１である場合、中央処理装置２０２は、検出された１つの「被写体」に注目すべき特性が存在する写真であると判定し、オリジナル画像データに対してトリミング処理を行う。この写真パターンを「第１の写真パターン」と称する。オリジナル画像データに対するトリミング処理が完了すると、処理はＳ１１０２に進む。

Ｓ１１０２では、中央処理装置２０２は、検出された「被写体」が画像全体に対し十分に大きいか否かを判定する。すなわち、中央処理装置２０２は、オリジナル画像データ全体のサイズに対して検出された「被写体」のサイズが所定の割合以上であるか否かに基づいて「被写体」のサイズを判定する。本実施形態では、オリジナル画像データ全体に対し「被写体」が５％以上の大きさを占めるかを基準として、中央処理装置２０２は「被写体」のサイズを判定する。なお所定の割合は５％に限られない。ユーザーの入力によって、所定の割合の値は適切な値に設定されても良い。中央処理装置２０２が「被写体」は十分な大きさではない（「被写体」が所定の割合未満の大きさである）と判定した場合には、処理はＳ１１０８に進む。中央処理装置２０２が「被写体」は十分な大きさである（「被写体」が所定の割合以上の大きさである）と判定した場合には、処理はＳ１１０３に進む。

中央処理装置２０２が「被写体」は十分な大きさではないと判定した場合に、「被写体」を基準にしたトリミングが行われると、オリジナル画像データのごく小範囲のみをトリミングすることになる。したがって、トリミングした画像オブジェクトがユーザーの期待値と異なる可能性が高い。そのためＳ１１０８では、中央処理装置２０２は、全体重視で配置する座標を算出し、処理はＳ１１０９に進む。Ｓ１１０９では、中央処理装置２０２は、算出した座標に基づいてオリジナル画像データに対してトリミングを行う。第１の写真パターンかつ「被写体」が十分な大きさでない場合のトリミング結果は１つとなる。

Ｓ１１０２において中央処理装置２０２が「被写体」は十分な大きさであると判定した場合、Ｓ１１０３では中央処理装置２０２は「被写体」における基準点を算出する。本実施形態では、中央処理装置２０２は「被写体」の中央の座標を基準として用い、処理はＳ１１０４に進む。Ｓ１１０４では、中央処理装置２０２は中央配置でトリミングする場合の座標を算出する。中央処理装置２０２はＳ１１０３で算出した基準点を用いて当該座標を算出し、処理はＳ１１０５に進む。Ｓ１１０５では、中央処理装置２０２はＳ１１０４で算出した座標に基づいてオリジナル画像データに対してトリミングを行う。トリミングされた画像オブジェクトが画像配置領域を満たす大きさにならない、又はトリミングされた画像オブジェクトが画像配置領域に入らない場合は、中央処理装置２０２は画像オブジェクトが適切な大きさを有して画像配置領域に入るように座標を調整する。当該トリミングが行われると、処理はＳ１１０６に進む。

Ｓ１１０６では、中央処理装置２０２は三分割法でトリミングする場合の座標を算出する。このとき、中央処理装置２０２はＳ１１０３で算出した基準点を用いて当該座標を算出する。また座標は左上、右上、左下、及び右下の４つの座標が算出され、処理はＳ１１０７に進む。Ｓ１１０７では、中央処理装置２０２はＳ１１０６で算出した座標に基づいてオリジナル画像データに対してトリミングを行う。Ｓ１１０６で算出した座標は４つあるので、Ｓ１１０７では４つのトリミング結果が得られる。トリミングされた画像オブジェクトが画像配置領域を満たす大きさにならない、又はトリミングされた画像オブジェクトが画像配置領域に入らない場合は、中央処理装置２０２は画像オブジェクトが適切な大きさを有して画像配置領域に入るように座標を調整する。当該トリミングが行われると、処理はＳ１１０８に進む。

Ｓ１１０８及びＳ１１０９では、オリジナル画像データに対して上述した全体重視でトリミングが行われる。第１の写真パターン、かつ、中央処理装置２０２が「被写体」は十分な大きさであると判定した場合には、６つのトリミング結果が得られる。Ｓ１１０９の処理が完了すると、図１１に示されるフローチャートの処理は終了する。

続いて、Ｓ１１０１において「被写体」の数が２以上所定の数以下である場合におけるトリミング処理について説明する。以下では、本実施形態では、所定の数を９として説明を行う。中央処理装置２０２は、複数検出された「被写体」のうちどれかに注目すべき特性を有する写真、又は「被写体」すべてを重視すべき特性を有する写真であると判定する。中央処理装置２０２は、上記の特性に応じてトリミング処理を行う。この写真パターンを「第２の写真パターン」と称する。本実施形態では、第２の写真パターンに分類する「被写体」の数の閾値を９としているが、これに限定されない。「被写体」の検知の結果やその他の要因によって、その都度ユーザーは「被写体」の数の閾値を変更してもよい。

第２の写真パターンのトリミング処理では、検出した「被写体」の中から注目すべき「被写体」を決定するため、まずＳ１１１０において、中央処理装置２０２は検出した「被写体」全てに対しスコアを算出する。本実施形態では、スコアは、検出された「被写体」の面積と物体検出の一致率によって計算される。なお、本明細書においては、物体検出の結果において算出される「検出した物体がその物体である確率」を「一致率」と称する。一致率が高ければ、その物体が明確に検出された、つまり当該「被写体」は写真内にはっきり写っている、と解釈する。中央処理装置２０２が「被写体」全てに対しスコアを算出すると、処理はＳ１１１１に進む。

Ｓ１１１１では、中央処理装置２０２はスコアが最高の「被写体」を算出し、処理はＳ１１１２に進む。この「被写体」を基準として以降のトリミング処理は行われる。Ｓ１１１２では、中央処理装置２０２は、スコアの最も高い「被写体」が画像全体に対して十分に大きいか否かを判定する。本実施形態では、オリジナル画像データ全体に対し「被写体」が５％以上の大きさを占めるかを基準とする。すなわち、中央処理装置２０２はオリジナル画像データ全体のサイズに対するスコアの最も高い「被写体」のサイズが所定の割合以上であるか否かに基づいて判定する。なお所定の割合は５％に限られない。ユーザーの入力によって、所定の割合の値は、Ｓ１１０２で決定される値とは独立に適切な値に設定されても良い。中央処理装置２０２が「被写体」は十分な大きさではないと判定した場合には、処理はＳ１１１８に進む。中央処理装置２０２が「被写体」は十分な大きさであると判定した場合には、処理はＳ１１１３に進む。

中央処理装置２０２がＳ１１１２において「被写体」は十分な大きさではないと判定した場合に、第１の写真パターンの場合と同様の理由から、Ｓ１１１８で、中央処理装置２０２は全体重視で配置する座標を算出し、処理はＳ１１１９に進む。Ｓ１１１９では、中央処理装置２０２は、算出した座標に基づいてオリジナル画像データに対してトリミングを行う。第２の写真パターンかつスコアの最も高い「被写体」が十分な大きさでない場合のトリミング結果は１つとなる。

Ｓ１１１２で中央処理装置２０２がスコアの最も高い「被写体」は十分な大きさであると判定した場合、Ｓ１１１３で中央処理装置２０２はスコアの最も高い「被写体」における基準点を算出する。本実施形態では、スコアの最も高い「被写体」の中央の座標を基準として用い、処理はＳ１１１４に進む。Ｓ１１１４では、中央処理装置２０２は中央配置でトリミングする場合の座標を算出する。中央処理装置２０２はＳ１１１３で算出した基準点を用いて当該座標を算出し、処理はＳ１１１５に進む。Ｓ１１１５では、中央処理装置２０２はＳ７１４で算出した座標に基づいてオリジナル画像データに対してトリミングが行われる。トリミングされた画像オブジェクトが画像配置領域を満たす大きさにならない、又はトリミングされた画像オブジェクトが画像配置領域に入らない場合は、中央処理装置２０２は画像オブジェクトが画像配置領域に入るように座標を調整する。当該トリミングが行われると、処理はＳ１１１６に進む。

Ｓ１１１６では、中央処理装置２０２は三分割法でトリミングする場合の座標を算出する。このとき、中央処理装置２０２はＳ１１１３で算出した基準点を用いて当該座標を算出する。また座標は左上、右上、左下、及び右下の４つの座標が算出され、処理はＳ１１１７に進む。Ｓ１１１７では、中央処理装置２０２はＳ１１１６で算出した座標に基づいてオリジナル画像データに対してトリミングを行う。Ｓ１１１６で算出した座標は４つあるので、Ｓ１１１７では４つのトリミング結果が得られる。トリミングされた画像オブジェクトが画像配置領域を満たす大きさにならない、又はトリミングされた画像オブジェクトが画像配置領域に入らない場合は、中央処理装置２０２は画像オブジェクトが適切な大きさを有して画像配置領域に入るように座標を調整する。当該トリミングが行われると、処理はＳ１１１８に進む。

Ｓ１１１８及びＳ１１１９では、オリジナル画像データに対して上述した全体重視でトリミングが行われる。第２の写真パターン、かつ、中央処理装置２０２がスコアの最も高い「被写体」は十分な大きさであると判定した場合には、６つのトリミング結果が得られる。Ｓ１１１９の処理が完了すると、図１１に示されるフローチャートの処理は終了する。

次に、Ｓ１１０１で「被写体」の数が第２の写真パターンの閾値より多い場合、又は０である場合、中央処理装置２０２は、当該オリジナル画像データは注目する「被写体」が存在しない特性を有する写真であると判定する。中央処理装置２０２は、当該オリジナル画像データに対して全体重視のトリミング処理を行う。この写真パターンを「第３の写真パターン」と称する。第３の写真パターンのトリミング処理では、「被写体」に注目しないので、中央処理装置２０２は全体重視のトリミングのみを行う。Ｓ１１２０では、中央処理装置２０２は、全体重視で配置する座標を算出し、処理はＳ１１２１に進む。Ｓ１１２１では、中央処理装置２０２は、算出した座標に基づいてオリジナル画像データに対してトリミングが行われる。当該トリミングが完了すると、図１１に示されるフローチャートの処理は終了する。したがって、第３の写真パターンのトリミング結果は１つとなる。

＜文書データの候補の生成、表示及び選択方法について＞
図１２は、Ｓ４１６で表示される、候補生成部３２１によって生成された文書データの候補を表示する文書選択画面の一例である。Ｓ４１５では、Ｓ４１１からＳ４１４の処理によって得られたトリミング結果を用い、候補生成部３２１は、調整された文書データの候補を生成する。文書データの候補には、Ｓ４０６の処理で得られた画像オブジェクト以外のオブジェクトの調整によるバリエーションを含んでもよい。図１２に示される文書選択画面１２０１には、Ｓ４１５の処理で生成された文書データの候補のサムネイルを並べて表示する結果表示領域１２０２が存在する。文書データの候補のサムネイル表示は候補表示制御部３２２によって行われる。結果表示領域１２０２にサムネイルを並べる順番は、本実施形態においては、全体重視、中央配置、三分割法（左上）、三分割法（右上）、三分割法（左下）、及び三分割法（右下）のトリミング結果の順とする。しかし、文書データの候補のサムネイルの表示の順番はこれに限られない。

なお、文書データの候補内に複数の画像オブジェクトがあった場合には、Ｓ１１０２又はＳ１１１２においてＳ１１０３又はＳ１１１３に分岐する条件に該当する画像オブジェクトのみトリミング位置を変更したトリミング結果を用いる。Ｓ１１０３又はＳ１１１３に分岐する条件に該当しない画像オブジェクトは全体重視のトリミング結果を用いる。例えば、画像オブジェクトＡ及びＢの２つの画像オブジェクトが文書データ内に存在する文書データの候補の場合、画像オブジェクトＡは上述した６つのトリミング結果を有し、画像オブジェクトＢは全体重視のトリミング結果を有するとする。文書選択画面には、画像オブジェクトＡに関しては６つのトリミング結果を表示し、画像オブジェクトＢに関しては全体重視のトリミング結果を表示した６つの文書データの候補のサムネイルが表示される。Ｓ４１７でユーザーが画像オブジェクトＡに関して中央配置のトリミング結果を選択すると、画像オブジェクトＡには中央配置のトリミング結果を、画像オブジェクトＢには全体重視のトリミング結果を配置した文書データが選択されたことになる。

また、結果表示領域１２０２には最大表示数が設定されている。生成された文書データの候補が最大表示数を超える場合には、ページ送りボタン１２０５又はページ戻りボタン１２０４がユーザーによって押下されたことに反応して候補表示制御部３２２は結果表示領域１２０２に表示される内容を切り替える。なお、ページ送りボタン１２０５及びページ戻りボタン１２０４は、生成された文書データの候補が最大表示数を超えない場合には表示されない。Ｓ４１７において、ユーザーは、結果表示領域１２０２に表示された文書のサムネイルの中から、入力装置２０１を用いて所望の文書データの候補を１つ選択することができる。ユーザーが選択した文書データの候補には、選択枠１２０３を表示し、現在どの文書データの候補が選択状態にあるかを明示する。ユーザーが入力装置２０１を用いて決定ボタン１２０６を押下すると、文書データが決定される。ユーザーによって決定ボタン１２０６が押下されると、候補選択受付部３２３は、選択枠１２０３を表示している文書データの候補を取得する。選択枠１２０３を表示している文書データの候補が取得されると、Ｓ４１８で、文書表示編集部３０３は選択された文書データの候補を表示装置２０３に表示する。文書表示編集部３０３によって表示装置２０３に表示された文書データは、Ｓ４１９で、ユーザーによる編集を受け付けることができる。これにより、ユーザーは調整後の文書データに対し任意の微調整及び更なる編集を行うことが可能となる。

本実施形態によれば、用紙サイズのアスペクト比の変更に合わせて文書データのアスペクト比が調整され、画像配置領域のアスペクト比が変更された場合に、変更後の画像配置領域に合致したトリミング結果をユーザーに提示することが可能になる。これにより、用紙サイズのアスペクト比を変更する際のトリミングのユーザビリティが向上する。

＜その他の変形例＞
本実施形態では、文書データの候補のサムネイルを表示装置２０３にする例を記載したが、表示方法はこれらに限られない。トリミング結果だけを並べて表示する形態、又は文書データ全体の中で画像配置領域にトリミング結果を配置し、他の領域には何も配置しないサムネイルを表示する形態も本実施形態に含まれる。

本実施形態では、Ｓ４１５における文書データの候補の生成で、Ｓ４１１からＳ４１４で生成した複数のトリミング結果を全て用いたが、使用するトリミング結果を特定の条件で絞り込んでもよい。例えば、中央処理装置２０２は画像オブジェクト毎に、それぞれ異なるトリミング範囲の決定条件に基づく複数のトリミング範囲を互いに比較する。例えば、中央処理装置２０２が中央配置のトリミング結果と全体重視のトリミング結果とは類似すると判定した場合には、一方のトリミング結果のみを文書データの候補の生成に用いる。もう一方のトリミング結果は用いないことで、Ｓ４１６で目視では判別できない差異を有する文書データの候補を表示することを防ぐことができる。すなわち、それぞれ異なるトリミング範囲の決定条件に基づく複数のトリミング範囲のうち、類似するトリミング範囲群の中から１つのトリミング範囲を選択する。

類似するかを判定する手法には、以下の２つの手法が考えられる。１つ目の手法は、２つのトリミング結果の重なり具合を判定する方法である。以下、トリミング結果が矩形である場合について説明する。トリミングの座標は４点から成る矩形であるので、矩形同士の重なりが所定量以上ある場合は、中央処理装置２０２は当該２つのトリミング結果は類似すると判定する。例えば、所定量が８０％以上と設定すると、中央処理装置２０２は、２つのトリミング結果の重なりが８０％以上である場合には、当該２つのトリミング結果は類似と判定する。所定量は８０％に限られず、ユーザーの入力によって適切な値に設定することが可能である。２つ目の手法は、機械学習モデルを用いて画像類似度を算出する方法である。２つのトリミング結果の類似度が所定量以上ある場合には、中央処理装置２０２は、両者は類似すると判定する。「類似」がどの程度の類似度を指すかはモデルによって異なるが、例えば算出された類似度が０．９以上であるの場合には、中央処理装置２０２は、両者は類似すると判定する。所定量は０．９に限られず、ユーザーが適切な値に設定することが可能である。

本実施形態では、Ｓ４１５における文書データの候補の生成で、Ｓ４１１からＳ４１４の処理で生成されたトリミング結果のみを用いている。用紙サイズ変更による調整を行う前のトリミング位置でのオリジナル画像データのトリミング、及び画像配置領域のアスペクト比に合わせてオリジナル画像データを縦横に拡大又は縮小した後に、拡大又は縮小された画像データに対してトリミングを行ってもよい。そして、それらの結果も文書データの候補に含めても良い。オリジナル画像データで画像配置領域内に表示される部分がサイズ変更による調整に関わらず一定となるトリミング結果、又はオリジナル画像データが写真ではなく図形などのアスペクト比を変更した方が適切である場合に良好なトリミング結果を提示可能になる。

［第２実施形態］
第２実施形態では、文書データの候補の生成結果をランダムに表示する態様について説明する。第１実施形態では、生成した文書データの候補を表示する際、特定の順番でトリミング結果を用いた文書データの候補を表示し、文書データに含まれる画像オブジェクトが複数存在する場合には、条件に該当する画像のみトリミング位置を変更して表示した。これに対し、本実施形態では、文書データに含まれる画像オブジェクトが複数あった場合に、候補生成部３２１は、様々なトリミング結果を組み合わせて文書データの候補を生成する。候補表示制御部３２２は、生成された文書データの候補のサムネイルをランダムに表示する。なお、第１実施形態における図４のフローチャートに示されるＳ４０１からＳ４１４までは本実施形態の処理と同一であるため、説明を省略する。

Ｓ４１１からＳ４１４の処理によって得られたトリミング結果を用い、調整後の文書データの候補を生成する際、文書データに含まれる画像オブジェクトが複数存在する場合には、以下の処理が行われる。即ち、候補生成部３２１は、各画像オブジェクトについてのトリミング結果をランダムに組み合わせて文書データの候補を生成する。候補表示制御部３２２は、生成された文書データの候補のサムネイルを結果表示領域１２０２にランダムに表示する。また、候補生成部３２１によって生成された文書データの候補の数が結果表示領域１２０２の最大表示数を超える場合には、以下の処理が行われる。ユーザーによってページ送りボタン１２０５が押下されると、候補表示制御部３２２は、表示する文書データの候補のサムネイルを再抽出し、再抽出されたサムネイルが結果表示領域１２０２に表示される。このとき、一度表示した文書データの候補のサムネイルは再表示されない。また、ユーザーによってページ戻りボタン１２０４が押下された場合には、候補表示制御部３２２は、文書データの候補のサムネイルの再抽出を実行せず、以前表示したサムネイルの表示結果を表示する。以上のように、本実施形態によれば、第１実施形態に示した効果に加え、様々なバリエーションの文書データの候補を提示することができる。

［第３実施形態］
第３実施形態では、文書データの候補の生成結果の数が多くなる場合のユーザビリティを考慮した表示形態について説明する。第１実施形態に記載のトリミング処理を行い、第２実施形態に記載したように生成し得る全ての結果を表示する場合、文書データの候補の生成結果が非常に多くなる可能性がある。例えば、画像オブジェクトが２つ存在する文書データでは最大で３６パターンの候補、画像オブジェクトが３つ存在する文書データでは最大で２１６パターンの候補が生成される。この中からユーザーが好みに合う候補を選択しようとすると、第２実施形態の表示方法では、例えば画像オブジェクトが３つの場合には生成文書選択画面において３６ページに渡って２１６パターンの候補を確認しなければならない可能性がある。したがって、ユーザーの好みに合う候補を選択する作業が煩雑になる。

これに対し第３実施形態では、ユーザーが画像オブジェクトごとに使用したいトリミング結果を選択することを可能にする。なお、第３実施形態では、第１実施形態における図４のＳ４０１からＳ４１５までは処理が行われているとする。Ｓ４１５で各オブジェクトの調整が完了すると、中央処理装置２０２は調整後の文書データのプレビューを生成し、当該プレビューを図１３に示される生成文書選択画面１３０１に表示する。この際、複数の結果が存在し得る画像オブジェクトについては、デフォルトとする結果を用いて生成する。本実施形態では全体重視のトリミング結果をデフォルトとする。生成文書選択画面１３０１には、現時点での調整後の文書データの仕上がりを示すプレビュー１３０２及び決定ボタン１３０５が表示される。図１３の例では、プレビュー１３０２上に２つの画像オブジェクト１３０３及び１３０４が表示される。このとき、トリミング結果が１つしか生成されていない画像オブジェクトと、複数のトリミング結果が生成されている画像オブジェクトとが、見分けられるような表示をしてもよい。例えば、トリミング結果が複数生成されている画像オブジェクトには色のついた枠を表示し、トリミング結果が１つしか生成されていない画像オブジェクトには、トリミング結果が複数生成されている画像オブジェクトとは異なる色の枠を表示してもよい。画像オブジェクトの数や配置は任意である。また、変更前の文書に画像オブジェクト以外のオブジェクトが存在する場合は、そのオブジェクトの調整後の結果もプレビュー１３０２上に表示されるものとする。

ユーザーは、ある画像オブジェクトに別のトリミング結果を用いたい場合には、プレビュー１３０２上の画像オブジェクト１３０３又は１３０４上でマウスをクリックすることで、トリミング候補選択画面を表示させることができる。操作パネル又はタッチパネルを用いる場合には、ユーザーが画像オブジェクト１３０３又は１３０４をタッチすることにより、トリミング候補選択画面を表示させることができる。以下、マウスを使用する例で説明を行うが、操作パネル又はタッチパネルでも同様の操作を行うことは可能である。このときトリミング候補選択画面は、ポップアップ画面として生成文書選択画面１３０１と重なって表示される。トリミング候補選択画面には、生成文書選択画面１３０１で選択した画像オブジェクトの、全てのトリミング結果が表示される。例えば、画像オブジェクト１３０３を押下して表示されるトリミング候補選択画面を図１４に表示する。

トリミング候補選択画面１４０１には、Ｓ４０９からＳ４１５によって得られた画像オブジェクト１３０３の全てのトリミング結果が表示される。本実施形態では、画像オブジェクト１３０３のトリミング結果は６パターンあるとする。図１４において、現在プレビュー表示されていたトリミング結果はトリミング結果１４０３であり、そのことを示す選択枠１４０２が表示されている。ユーザーは、トリミング候補選択画面１４０１上に表示されたトリミング結果の中から任意のものを選択する。選択されたトリミング結果の上でマウスをクリックすることにより、プレビュー１３０２に選択を反映することができる。この操作は、別途決定ボタンを設けても実現可能である。ユーザーによる所望のトリミング結果の選択を受け付けて選択されたトリミング結果に選択枠を表示する。その後、決定ボタン上でユーザーがマウスをクリックすることにより、中央処理装置２０２は当該選択をプレビュー１３０２に反映してもよい。

トリミング候補選択画面１４０１においてトリミング結果１４０４を選択し、その選択が反映された生成文書選択画面を図１５に示す。トリミング候補選択画面１４０１での選択が反映され、画像オブジェクト１５０３に表示されるトリミング結果がトリミング結果１４０４の画像オブジェクトに変更されている。同様に、画像オブジェクト１５０４についても、画像オブジェクト１５０４上でユーザーがマウスをクリックすると、トリミング候補選択画面１４０１が表示される。ユーザーは、画像オブジェクト１５０４に関しても所望のトリミング結果を選択することができる。なお、画像オブジェクト上でマウスがクリックされると、トリミング候補選択画面１４０１は何度でも表示可能であり、ユーザーはトリミング結果を再選択することも可能である。また、トリミング結果の変更を行った画像オブジェクト１３０３に、変更を行ったことが確認できる表示を行ってもよい。例えば前述のトリミング結果が１つか否かを表示する枠とは異なる色で、トリミング結果の変更を行った画像オブジェクトに枠を表示してもよい。

ユーザーは、任意の画像オブジェクトについてトリミング結果の変更を行った後、決定ボタン１５０５上でマウスをクリックすることによって、文書データ内の全ての画像オブジェクトに対する調整を確定することができる。決定ボタン１３０５上でマウスがクリックされたことに反応し、候補選択受付部３２３は、現在のプレビュー１５０２の状態を取得する。文書表示編集部３０３が、取得されたプレビュー１５０２を有する調整後の文書データを表示装置２０３に表示する。表示された文書データは、ユーザーによる編集を受け付けることができる。これにより、ユーザーは調整後の文書データに対し任意の微調整や更なる編集を行うことができる。

以上のように、第３実施形態によれば、複数のトリミング結果が生成される画像オブジェクトが文書データ内に複数存在する場合に、複数のページを切り替えることなく１つの画面で全てのトリミング結果をユーザーに提示することが可能になる。これにより、ユーザビリティが向上する。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述した実施形態の開示は、以下の構成を含む。

（構成１）画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付手段と、前記受付手段で受け付けた指示に基づいて、前記文書のアスペクト比を変更するとともに、前記画像配置領域のアスペクト比を調整する調整手段と、前記調整手段による調整後の前記画像配置領域のアスペクト比に基づいて、前記画像配置領域に配置される画像のトリミングを行うように制御する制御手段と、前記制御手段によってトリミングされた前記画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を表示手段に表示するように制御する表示制御手段と、を有することを特徴とする情報処理装置。

（構成２）前記制御手段はさらに、前記画像配置領域に配置される前記画像の内容に基づいて前記トリミングを行うように制御することを特徴とする構成１に記載の情報処理装置。

（構成３）前記制御手段は、アスペクト比の変更前の前記文書に配置されていた画像の元データを用いて前記トリミングを行うように制御することを特徴とする構成１に記載の情報処理装置。

（構成４）前記表示制御手段は、前記制御手段によって、前記画像のうちそれぞれ異なるトリミング範囲でトリミングされた複数のトリミング後画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の複数の前記文書を前記表示手段に表示するように制御することを特徴とする構成１に記載の情報処理装置。

（構成５）前記指示に基づくアスペクト比の変更後の前記複数の前記文書のうちいずれかを、ユーザー操作に基づいて選択する選択手段を更に有することを特徴とする構成４に記載の情報処理装置。

（構成６）前記制御手段は、前記選択手段で選択された文書に配置された画像のトリミング範囲を、ユーザー操作に基づいて変更することを特徴とする構成５に記載の情報処理装置。

（構成７）前記表示制御手段は、前記トリミング後画像を前記調整後の前記画像配置領域に配置し、他の領域には何も配置しない前記複数の前記文書を表示するように制御することを特徴とする構成４に記載の情報処理装置。

（構成８）前記表示制御手段は、前記制御手段によって、前記画像のうちそれぞれ異なるトリミング範囲でトリミングされた複数のトリミング後画像を表示し、かつ、前記複数のトリミング後画像のうちユーザーに選択されたトリミング後画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を前記表示手段に表示するように制御することを特徴とする構成１に記載の情報処理装置。

（構成９）前記表示制御手段によって表示された前記変更後の前記文書を印刷可能に出力する出力手段を更に有することを特徴とする構成１に記載の情報処理装置。

（構成１０）前記制御手段はさらに、前記調整後の前記画像配置領域の大きさ、形状、又はその双方に基づいて前記トリミングを行うように制御することを特徴とする構成１に記載の情報処理装置。

（構成１１）前記制御手段は、前記調整後の前記画像配置領域のアスペクト比に合わせてトリミング範囲を縦横に拡大又は縮小するトリミングを行うことを特徴とする構成１に記載の情報処理装置。

（構成１２）前記制御手段は、前記画像配置領域に配置される前記画像から検出された被写体の数又は大きさによって異なる条件で決定されるトリミング範囲でトリミングを行うように制御することを特徴とする構成２に記載の情報処理装置。

（構成１３）前記制御手段は、前記被写体の数が１であり、かつ、前記被写体が前記画像に対して第一所定の割合以上を占める場合には、前記被写体を中央に配置するトリミング範囲、三分割法を用いたトリミング範囲、及び前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする構成１２に記載の情報処理装置。

（構成１４）前記第一所定の割合は、ユーザーの入力によって決定されることを特徴とする構成１３に記載の情報処理装置。

（構成１５）前記制御手段は、前記被写体の数が１であり、かつ、前記被写体が前記画像に対して第一所定の割合未満である場合には、前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする構成１２に記載の情報処理装置。

（構成１６）前記制御手段は、前記被写体の数が２以上であり、かつ、第一所定の数未満である場合には、前記被写体の面積及び物体検出の一致率を用いて算出されるスコアに基づいて、トリミング範囲を決定する条件を決定するように制御することを特徴とする構成１２に記載の情報処理装置。

（構成１７）前記制御手段は、前記スコアが最高である前記被写体が前記画像に対して第二所定の割合以上を占める場合には、前記被写体を中央に配置したトリミング範囲、三分割法を用いたトリミング範囲、及び前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする構成１６に記載の情報処理装置。

（構成１８）前記制御手段は、それぞれ異なるトリミング範囲の決定条件に基づく複数のトリミング範囲のうち、類似するトリミング範囲群の中から１つのトリミング範囲を選択するように制御することを特徴とする構成１に記載の情報処理装置。

（構成１９）前記類似するトリミング範囲群に含まれる複数のトリミング範囲は、互いの重なりが第三所定の割合以上であるトリミング範囲であることを特徴とする構成１８に記載の情報処理装置。

（構成２０）少なくとも１つのコンピュータを、構成１乃至１９のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（方法１）画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付ステップと、前記受付ステップで受け付けた指示に基づいて、前記文書のアスペクト比を変更するとともに、前記画像配置領域のアスペクト比を調整する調整ステップと、前記調整ステップによる調整後の前記画像配置領域のアスペクト比に基づいて、前記画像配置領域に配置される画像のトリミングを行うように制御する制御ステップと、前記制御ステップによってトリミングされた前記画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を表示手段に表示するように制御する表示制御ステップと、を有することを特徴とする情報処理装置の制御方法。

Claims (22)

1. 画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付手段と、
   前記受付手段で受け付けた指示に基づいて、前記文書のアスペクト比を変更するとともに、前記画像配置領域のアスペクト比を調整する調整手段と、
   前記調整手段による調整後の前記画像配置領域のアスペクト比に基づいて、前記画像配置領域に配置される画像のトリミングを行うように制御する制御手段と、
   前記制御手段によってトリミングされた前記画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を表示手段に表示するように制御する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記制御手段はさらに、前記画像配置領域に配置される前記画像の内容に基づいて前記トリミングを行うように制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、アスペクト比の変更前の前記文書に配置されていた画像の元データを用いて前記トリミングを行うように制御することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記制御手段によって、前記画像のうちそれぞれ異なるトリミング範囲でトリミングされた複数のトリミング後画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の複数の前記文書を前記表示手段に表示するように制御することを特徴とする請求項１に記載の情報処理装置。
5. 前記指示に基づくアスペクト比の変更後の前記複数の前記文書のうちいずれかを、ユーザー操作に基づいて選択する選択手段を更に有することを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、前記選択手段で選択された文書に配置された画像のトリミング範囲を、ユーザー操作に基づいて変更することを特徴とする請求項５に記載の情報処理装置。
7. 前記表示制御手段は、前記トリミング後画像を前記調整後の前記画像配置領域に配置し、他の領域には何も配置しない前記複数の前記文書を表示するように制御することを特徴とする請求項４に記載の情報処理装置。
8. 前記表示制御手段は、前記制御手段によって、前記画像のうちそれぞれ異なるトリミング範囲でトリミングされた複数のトリミング後画像を表示し、かつ、前記複数のトリミング後画像のうちユーザーに選択されたトリミング後画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を前記表示手段に表示するように制御することを特徴とする請求項１に記載の情報処理装置。
9. 前記表示制御手段によって表示された前記変更後の前記文書を印刷可能に出力する出力手段を更に有することを特徴とする請求項１に記載の情報処理装置。
10. 前記制御手段はさらに、前記調整後の前記画像配置領域の大きさ、形状、又はその双方に基づいて前記トリミングを行うように制御することを特徴とする請求項１に記載の情報処理装置。
11. 前記制御手段は、前記調整後の前記画像配置領域のアスペクト比に合わせてトリミング範囲を縦横に拡大又は縮小するトリミングを行うことを特徴とする請求項１に記載の情報処理装置。
12. 前記制御手段は、前記画像配置領域に配置される前記画像から検出された被写体の数又は大きさによって異なる条件で決定されるトリミング範囲でトリミングを行うように制御することを特徴とする請求項２に記載の情報処理装置。
13. 前記制御手段は、前記被写体の数が１であり、かつ、前記被写体が前記画像に対して第一所定の割合以上を占める場合には、前記被写体を中央に配置するトリミング範囲、三分割法を用いたトリミング範囲、及び前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする請求項１２に記載の情報処理装置。
14. 前記第一所定の割合は、ユーザーの入力によって決定されることを特徴とする請求項１３に記載の情報処理装置。
15. 前記制御手段は、前記被写体の数が１であり、かつ、前記被写体が前記画像に対して第一所定の割合未満である場合には、前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする請求項１２に記載の情報処理装置。
16. 前記制御手段は、前記被写体の数が２以上であり、かつ、第一所定の数未満である場合には、前記被写体の面積及び物体検出の一致率を用いて算出されるスコアに基づいて、トリミング範囲を決定する条件を決定するように制御することを特徴とする請求項１２に記載の情報処理装置。
17. 前記制御手段は、前記スコアが最高である前記被写体が前記画像に対して第二所定の割合以上を占める場合には、前記被写体を中央に配置したトリミング範囲、三分割法を用いたトリミング範囲、及び前記画像の全体の縦の範囲と横の範囲の少なくとも一方が前記画像配置領域に収まるトリミング範囲でのトリミングを行うように制御することを特徴とする請求項１６に記載の情報処理装置。
18. 前記制御手段は、それぞれ異なるトリミング範囲の決定条件に基づく複数のトリミング範囲のうち、類似するトリミング範囲群の中から１つのトリミング範囲を選択するように制御することを特徴とする請求項１に記載の情報処理装置。
19. 前記類似するトリミング範囲群に含まれる複数のトリミング範囲は、互いの重なりが第三所定の割合以上であるトリミング範囲であることを特徴とする請求項１８に記載の情報処理装置。
20. 少なくとも１つのコンピュータを、請求項１乃至１９のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
21. 少なくとも１つのコンピュータを、請求項１乃至１９のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
22. 画像配置領域を含む文書のアスペクト比の変更の指示を受け付ける受付ステップと、
    前記受付ステップで受け付けた指示に基づいて、前記文書のアスペクト比を変更するとともに、前記画像配置領域のアスペクト比を調整する調整ステップと、
    前記調整ステップによる調整後の前記画像配置領域のアスペクト比に基づいて、前記画像配置領域に配置される画像のトリミングを行うように制御する制御ステップと、
    前記制御ステップによってトリミングされた前記画像が、前記調整後の前記画像配置領域に配置された、前記指示に基づくアスペクト比の変更後の前記文書を表示手段に表示するように制御する表示制御ステップと、
    を有することを特徴とする情報処理装置の制御方法。

Images