JP5010520B2 - トリミング範囲の最適化方法、装置およびプログラム - Google Patents

Description

本発明は、画像のトリミング範囲の最適化に関する。

特許文献１では、通常の複写機の感覚で用意した原稿に、他の原稿の図形などを埋め込むことが可能な画像処理装置を開示している。

特許文献２では、画像プリントサイズおよびプリント拡大率に基づき受容可能なハードコピープリント画質レベルの境界を確立し、決定された画像が画質の不満足なレベルを示すときにユーザにハードコピー出力画像の形成の前に警告する。
特開平５−１１０８２０号公報 特開平１１−３１６６７０号公報

特許文献１に挙げられるように画像編集を行う領域をフリーハンドを用いて指定する方法は、単純にユーザがフリーハンドを用いて指定した領域を矩形に変換しているだけである。この領域をそのままトリミング領域にすると、プリントサイズに適した大きさ（縦横比）になっていないため、拡大・縮小・縦横比の変更などの処理が別途必要となる。この場合、最終的にプリント出力されるまで、トリミング領域がユーザに分からないことになり、ユーザが意図しない領域が切り取られる可能性がある。

特許文献２では、画像が劣化してしまい、プリント画質に耐えない場合に警告表示を行うが、警告後に初めからユーザがトリミング領域を選択する手間が発生する。

本発明の目的は、所望の画像出力領域に適合しており画質も確保されたトリミング領域をユーザが簡単に指定できる仕組みを提供することにある。

本発明に係るトリミング範囲の最適化方法は、元画像に対するトリミング範囲の指定を受け付けるステップと、指定されたトリミング範囲の縦サイズが画像出力領域の縦サイズに合致するよう拡縮することで縦基準拡縮トリミング範囲を得るとともに、指定されたトリミング範囲の横サイズが画像出力領域の横サイズに合致するよう拡縮することで横基準拡縮トリミング範囲を得るステップと、縦基準拡縮トリミング範囲および横基準拡縮トリミング範囲のうち、画像出力領域に対する余剰領域の少ない方である余剰非発生トリミング範囲を特定するステップと、指定されたトリミング範囲のうち、特定された余剰非発生トリミング範囲の拡縮元となったトリミング範囲を、画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ元画像の存在する限度で拡大することで、トリミング範囲を最適化するステップと、を含む。

好ましくは、最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断するステップと、トリミング画像の画質が所定の画質に達していないと判断した場合、トリミング画像の画質が所定の画質に達していると判断されるまで、画像出力領域のアスペクト比に合致するよう、元画像が存在する方向に沿ってトリミング範囲を拡大することで、トリミング範囲を最適化するステップと、を含む。

この発明によると、ユーザから任意に指定された領域を基に画像出力領域のアスペクト比と一致するトリミング範囲を決め、そのトリミング範囲で決まるトリミング画像の画質が所定程度確保されるならば、そのトリミング範囲をそのまま使う。一方、トリミング画像の画質が所定程度確保されないならば、画質が所定の程度確保されるまで、画像出力領域のアスペクト比と一致するように拡大していく。このため、所望の画像出力領域に適合しており画質も確保されたトリミング領域をユーザが簡単に指定できる。

好ましくは、前記最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断するステップと、前記トリミング画像の画質が所定の画質に達していると判断した場合、前記トリミング画像の画質が所定の画質に達しなくなると判断されるまで、画像出力領域のアスペクト比に合致するよう、前記トリミング範囲を縮小することで、前記トリミング範囲を最適化するステップと、を含む。

この発明によると、ユーザから任意に指定された領域を基に画像出力領域のアスペクト比と一致するトリミング範囲を決め、そのトリミング範囲をさらに小さくしても所定の画質を得ることができる場合、その最低限の画質に達するまで、トリミング範囲を縮小する。これにより、どこまでトリミング範囲を小さくしても所定の画質を得ることができるかをユーザが知ることができる。

好ましくは、元画像が存在する特定の第１の方向に沿ってトリミング範囲を拡大することができない場合、画像出力領域のアスペクト比に合致するよう、第１の方向とは異なる第２の方向に沿ってトリミング範囲を拡大することで、トリミング範囲を最適化するステップを含む。

好ましくは、最適化されたトリミング範囲の中から特定の被写体を検出するステップと、検出された特定の被写体がトリミング画像の中央近傍に位置するよう、最適化されたトリミング範囲の位置を調整するステップと、を含む。

好ましくは、元画像に対するトリミング範囲の指定を受け付けるステップは、所望の描線の入力を受け付けるステップと、入力された所望の描線で画定される矩形領域を決定するステップと、決定された矩形領域を指定されたトリミング範囲と識別するステップと、を含む。

好ましくは、最適化されたトリミング範囲に従って元画像からトリミング画像を切り出すステップを含む。

好ましくは、トリミング画像を画像出力領域に配置するステップと、画像出力領域に配置されたトリミング画像を出力するステップと、を含む。

上記の画像出力方法をコンピュータに実行させるプログラムも本発明に含まれる。

本発明に係るトリミング範囲の最適化装置は、元画像に対するトリミング範囲の指定を受け付ける手段と、画像出力領域のアスペクト比に合致するよう指定されたトリミング範囲を拡大または縮小することで、トリミング範囲を最適化する手段と、最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断する手段と、トリミング画像の画質が所定の画質に達していると判断されるまで、画像出力領域のアスペクト比に合致するよう、元画像が存在する方向に沿ってトリミング範囲を拡大することで、トリミング範囲を最適化する手段と、を含む。

この発明によると、ユーザが指定したトリミング範囲を切り取って画像出力領域のアスペクト比と合うようにトリミング範囲を成形することを避け、画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ元画像の存在する限度で当該トリミング範囲を拡大していくから、所望の画像出力領域に適合しておりユーザの意図も尊重されたトリミング領域を簡単に得ることができる。

図１は、本発明を適用した画像プリント作成装置１０の概略構成を示すブロック図である。画像プリント作成装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディア４０やメモリカード４２などに格納された動画データや静止画像データ（動画をキャプチャした静止画も含む）を読み込み、これを素材として画像プリント（表示装置に画像を所定のレイアウトとデザインで表示させるデータまたは所定のレイアウトとデザインで画像が印刷された紙などの印刷媒体）を作成する。この画像プリント作成装置１０は、マウス、タッチパッド、トラックボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやタッチパネルなどの各種操作デバイスを含む操作部２６によってユーザからの入力操作を受け付ける。タッチパネルはディスプレイ５０に積層されており、ディスプレイ５０のボタン表示部分を押下することで、その部分に対応する文字を入力できたり、各種機能を起動させることができる。

画像プリント作成装置１０は、画像プリント作成装置１０全体を制御するＣＰＵ１２と、記録メディア４０にデータを読み書きするドライブ１１と、メモリカード４２にデータを読み書きするカードスロット１６と、画像プリント作成装置１０を制御するプログラムや動画・静止画などが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、ＲＡＭ２０などに格納された画像の一覧その他画像編集に関係する各種のグラフィカルユーザインターフェース、操作部２６からの移動方向および移動速度の指示を含む入力操作に従って上記ウィンドウ上を移動するポインタの映像信号をディスプレイ５０に出力して表示させるビデオエンコーダ２２と、インターネットその他のネットワークやデジタルカメラ１５などの各種電子機器に接続するための通信Ｉ／Ｆ２８と、それぞれ専門の処理を受け持つデータ記録部（操作履歴記録手段）３０、とから構成されている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、画像プリント作成装置１０には、プリンタドライバ３８を介して、指示された静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントするプリンタ４４が接続されている。あるいは所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイ５０や記録メディア４０やインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成された画像プリントの出力先は、ディスプレイ５０、記録メディア４０、プリンタ４４、インターネットなど特定のものに限定されない。以下、説明の簡略のため、画像プリントの出力先はディスプレイ５０とするが、それ以外にも出力可能であるとする。また、本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１１やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、画像プリントの素材となる１または複数の静止画像データの他に、画像プリントの生成の際にこれらの静止画像データと合成される装飾画像データなどが記憶されている。装飾画像には、画像に挿入する文字（漢字、カタカナ、ひらがな、アルファベット、記号、絵文字その他の意味のある可読的な符号ないしその組合せ。以下同様）を構成するキャラクタデータおよび当該文字を包含するテキストボックス、吹き出し、立て札、掲示板その他文字を配置するのに適したオブジェクトのグラフィックデータや、対象となる画像の不要な部分を覆うマスク画像や、イラストなどである。こうした装飾画像は、素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、画像プリントに彩を与える。以下、説明の簡略のため、グラフィックデータは文字あるいはテキストボックスとするが、当然ながらそれ以外であってもよい。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータ（典型的にはＥＸＩＦタグ情報）を格納するタグ領域とが用意されている。以下、静止画像データを単に「画像」と称す。

動画データは、モーションＪＰＥＧ、ＭＰＥＧ４などの圧縮記録規格に対応している。

通信Ｉ／Ｆ２８は、画像プリント作成装置１０をインターネットに接続して、インターネット上のホームページをディスプレイ５０に表示させたり、電子メール（以下、メールと称す）を介した画像データの送受信を行う。この通信Ｉ／Ｆ２８は、ブロードバンド対応のモデムなどである。通信Ｉ／Ｆ２８は、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続するものでもよい。なお、画像プリント生成部３４の生成した画像プリントを出力するデータをインターネット経由で特定の端末に配信することもできる。配信側の端末は、当該画像プリントをモニタやプリンタに出力して、自由にこれを利用できる。また、通信Ｉ／Ｆ２８は、ネットワークアダプタに限らず、ＵＳＢなどの周辺機器接続用汎用インターフェースとして利用できる。

データ記録部３０、画像プリント生成部３４は、いわゆるコプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。データ記録部３０は、ポインタの滞留領域・滞留位置座標・滞留時間や、入力操作の時間・回数などの操作部２６に対する操作入力の履歴情報を記録していく。

画像プリント作成装置１０が店頭プリント端末の場合、画像プリント生成部３４が作成した画像プリントは、ディスプレイ５０に出力されプレビュー表示されたものであるが、内容が確定すればユーザ指示に応じてプリンタ４４により印刷媒体に出力するか、またはＤＶＤなど当該画像プリントを映像データとして記録可能な記録メディア４０に転写できる。あるいは、記録媒体や印刷媒体に出力することを前提とせず、携帯電話やデジカメなどの各種電子機器の画像プリント表示機能の一つとしてこの完成画像プリントを表示してもよい。あるいはそもそも表示や印刷を前提とせず、単なる画像の分類のために利用してもよい。例えば、組画像に対応するフォルダを個別にＨＤＤ１８に生成し、ユーザの選択した組画像を対応するフォルダに一旦格納しておき、後でそのフォルダに分類された画像群で組画像プリントを作成してもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する他の電子機器（例えばＰＤＡ）であれば、本発明の実施は可能である。また、図示の個々のブロックが必ずしも１つの電子機器に一体的に構成されている必要はなく、各ブロックがそれぞれ別の電子機器の構成の一部であり、なおかつネットワーク等の何らかの通信手段でそれらの電子機器相互の情報送受信が確保されていれば、本発明の実施は可能であり、特定の機器構成に依存して実施されるものではない。

以下、図２のフローチャートに従い、画像トリミング処理の流れを説明する。この処理は画像プリント生成部３４（またはＣＰＵ１２）が実行する。この処理を画像プリント生成部３４（またはＣＰＵ１２）に実行させるプログラムはＨＤＤ１８やＲＡＭ２０などのコンピュータ読み取り可能な記録媒体に記録されている。このようなプログラムをインターネット経由で外部から取り込めるようにしてもよい。

Ｓ１では、操作部２６からプリントサイズ（ＫＧサイズ、はがき、Ａ４、四切りワイドサイズなど）を指定させる。

Ｓ２では、元画像を、記録メディア４０、メモリカード４２あるいはインターネット経由で外部から通信Ｉ／Ｆ２８に接続してきた端末などから読み込み、ＨＤＤ１８に格納する。元画像とは、ＪＰＥＧなどの静止画ファイルの他、動画ファイルのキャプチャ画像も含む。そして、読み込んだ元画像のうち、トリミングを実施する元画像を選択させる。なお、元画像とは、トリミングを実施する対象となる画像という意味にすぎず、最初に生成された状態から一切改変されていない画像（いわゆるオリジナル画像）である必要性はない。

Ｓ３では、タッチパネル上での線引き操作や画面上でのポインタの移動操作などにより、元画像全体領域中でのトリミング範囲を確定する基準線（必ずしもまっすぐである必要はなく、多少歪んでいてもよい）を指定させる。そして、Ｓ４では、その基準線を基に第１のトリミング範囲候補を決定する。

図３は基準線と第１のトリミング範囲候補の一例である。図３（ａ）のように指定された矩形状の基準線は、元画像Ｉの中央部分を四方から囲んでなる第１のトリミング範囲候補Ｒ−１を定める。図３（ｂ）のように指定されたかぎ状の基準線は、元画像Ｉの左上角の一部分を上下左右一側面ずつ計２面から囲んでなる第１のトリミング範囲候補Ｒ−１を定める。図３（ｃ）のように指定された縦棒状の基準線は、元画像Ｉ左側部分と右側部分を区切り、そのうち広い方の左側部分を第１のトリミング範囲候補Ｒ−１に定める。図３（ｄ）のように指定されたコの字形の基準線は、元画像Ｉの上側一部分を下左右一側面ずつ計３面から囲んでなる第１のトリミング範囲候補Ｒ−１を定める。

すなわち、図３（ａ）のように指定された矩形状の基準線の場合、当該基準線に外接し、かつ画像Ｉの辺と平行な辺を有する長方形を第１のトリミング範囲候補Ｒ−１に確定する。図３（ｂ）のように指定されたかぎ状の基準線の場合、当該基準線と画像Ｉの外縁に外接しかつ画像Ｉの辺と平行な辺を有する長方形を第１のトリミング範囲候補Ｒ−１に確定する。図３（ｃ）のように指定された縦棒状の基準線の場合、当該基準線に接しかつ画像Ｉの辺と平行な垂直線を引き、その垂直線で区切られる左右領域のうち大きい方を第１のトリミング範囲候補Ｒ−１に確定する。図３（ｄ）のように指定されたコの字形の基準線の場合、当該基準線を三方向から囲みかつ画像Ｉの辺と平行な線を引き、その線で囲まれる領域を第１のトリミング範囲候補Ｒ−１に確定する。

ただし、第１のトリミング範囲候補の決めかたは図示のものに限らず、例えば、タッチパネル上で、トリミング範囲の矩形の対角点を指定させ、当該対角点を有する矩形を第１のトリミング範囲候補に確定してもよい。

Ｓ５では、第１段階のトリミング範囲候補を最適化する処理を実行する。この処理は後述する。最適化後の第１のトリミング範囲候補は第２のトリミング範囲候補と呼ぶ。

Ｓ６では、第２のトリミング範囲候補を画像と重畳してディスプレイ５０に表示する。

Ｓ７では、トリミングを完了するか否かの確認入力をユーザに促す表示をする。その表示に応じて操作部２６からトリミングを完了する旨の入力がなかった場合、Ｓ３に戻る。このため、ユーザがトリミング最適化処理で決まった第２のトリミング範囲候補を気に入らなければ、第１のトリミング範囲候補の決定からやり直せる。

一方、操作部２６からトリミングを完了する旨の入力があった場合、第２のトリミング範囲候補を最終的なトリミング範囲に確定し、このトリミング範囲に包含される元画像の部分領域をトリミング画像として切り出し、本処理を終了する。切り出された画像が出力領域に配置されることで、出力データが作成される。後は、この出力データをプリンタ４４やディスプレイ５０に出力したり、ＨＤＤ１８や記録メディア４０に格納したりすることができる。

次に、図４のフローチャートに従い、トリミング範囲最適化処理の流れを説明する。

Ｓ１０では、Ｓ４で確定した第１のトリミング範囲候補に沿って仮想的に切り出された仮想切り出し画像（元画像のうち第１のトリミング範囲候補に包含された部分領域であるが、実際には切り出されないもの）のサイズと、出力領域（典型的にはディスプレイ５０の表示領域やプリンタ４４の印刷領域）との適合性を判別する。第１のトリミング範囲候補の縦横比と出力領域の縦横比とが同一でありサイズも同一である場合、Ｓ１２に進む。出力領域の縦横比に比べて第１のトリミング範囲候補の縦横比（縦／横の値）が大きい場合すなわち第１のトリミング範囲候補が出力領域よりも縦長の場合、Ｓ１５に進む。出力領域の縦横比に比べて第１のトリミング範囲候補の縦横比（縦／横の値）が小さい場合すなわち第１のトリミング範囲候補が出力領域よりも横長の場合、Ｓ１６に進む。

Ｓ１２では、第１のトリミング範囲候補をそのまま第２のトリミング範囲候補とする。

Ｓ１５では、Ｓ４で確定したトリミング範囲を９０°（あるいは−９０°）回転する。正方向・負方向どちらの方向に回転するかはユーザが指定できてもよい。

Ｓ１６では、仮想切り出し画像の縦方向の長さを基準として、出力領域に適合するよう仮想切り出し画像を拡大または縮小する。すなわち、仮想切り出し画像の長さが出力領域の縦方向の長さに合致するように、仮想切り出し画像の元の縦横比を維持したまま、仮想切り出し画像を拡大または縮小する。以下、この拡大または縮小後の仮想切り出し画像を、縦基準拡縮仮想切り出し画像と呼ぶ。

Ｓ１７では、仮想切り出し画像の横方向の長さを基準として、出力領域に適合するよう仮想切り出し画像を拡大または縮小する。すなわち、仮想切り出し画像の横方向の長さが出力領域の横方向の長さに合致するように、仮想切り出し画像の元の縦横比を維持したまま拡大または縮小する。以下、この拡大または縮小後の仮想切り出し画像を、横基準拡縮仮想切り出し画像と呼ぶ。

Ｓ１８では、縦基準拡縮仮想切り出し画像を出力領域に仮想的に配置（すなわち、縦基準拡縮仮想切り出し画像は実際にはディスプレイ５０やプリンタ４４に出力されない）し、その際、出力領域から縦基準拡縮仮想切り出し画像がはみ出す部分（余剰領域）が存在するか否かを判断する。同様に、横基準拡縮仮想切り出し画像を出力領域に仮想的に配置し、その際、出力領域から横基準拡縮仮想切り出し画像がはみ出すか否かを判断する。そして、縦基準仮想切り出し画像または横基準拡縮仮想切り出し画像のうち出力領域でのはみ出し部分の生じない方を特定する。以下、このはみ出し部分の生じないものとして特定された方の仮想切り出し画像に対応する第１のトリミング範囲候補をはみ出し不発生範囲と呼び、はみ出し部分の生じるものとして特定された方の仮想切り出し画像に対応する第１のトリミング範囲候補をはみ出し発生範囲と呼ぶ。

このような処理をするのは、次の理由による。第１のトリミング範囲候補の縦横比は、ユーザがフリーハンドで決めた範囲に依拠しており、通常その縦横比は出力領域の縦横比とぴったり合わないため、第１のトリミング範囲候補をそのまま拡縮してトリミング範囲にしても、出力領域に収まらず切り取らなければならない画像部分が生じうるという問題が生じる。そのため、まずここでは、無駄な切り取り部分の生じない方の第１のトリミング範囲候補を特定する。

Ｓ１９では、当該第１のトリミング範囲候補を出力領域の縦横比と合致させるために第１のトリミング範囲候補に付加すべき１または複数の領域（以下、追加領域と呼ぶ）を決定する。この追加領域は、第１のトリミング範囲候補の上下左右辺のうち少なくとも１つの側面に付加される矩形の領域である。追加領域を第１のトリミング範囲候補に付加した後の追加後領域が出力領域の縦横比と一致すれば、第１のトリミング範囲候補に対する追加領域の付加位置はどこでもよい。

ただし、ユーザが当初意図したトリミング範囲になるべく近づけるため、付加位置は左右（Ｘ軸方向）に対称または上下（Ｙ軸方向）に対称にして、均等に追加領域を設定することが好ましい。なぜなら、通常は、ある被写体を中心にトリミング範囲を設定するから、左右あるいは上下の一面だけに追加領域を付加すると、トリミング画像における被写体の位置が左右あるいは上下に偏ってしまうからである。

次に、追加領域に相当する部分が元画像内に存在するか否か、また存在するとすればそれは追加領域の全てを充填するに足りるか否か（追加後領域を第２のトリミング範囲候補にすると画像のない空白部分が生じないか否か）を判断する。追加領域に相当する部分が元画像内に存在しかつそれが追加領域の全てを充填するに足りると判断した場合はＳ２０に進む。追加領域に相当する部分が元画像内に存在するがそれが追加領域の全てを充填するに足りないと判断した場合はＳ２４に進む。追加領域に相当する部分が元画像内に存在しないと判断した場合はＳ２８に進む。

なお、追加領域に相当する画像の一部または全部が元画像内に存在しないのは、第１のトリミング範囲候補が画像の端かその近くに設定されており、画像の余裕が全くないかほとんどない場合である。

Ｓ２０では、第１のトリミング範囲候補に対する追加領域の付加位置を、第１のトリミング範囲候補の左右側面とする。ただしこれは画像が横長だからであり、画像が縦長であれば付加位置は上下側面となる。そして、追加後領域が出力領域の縦横比と一致するまで、左右側面の追加領域を均等に拡大していくことを繰り返す。無論、追加後領域は元画像からはみださない範囲で設定されることが前提である。

Ｓ２１では、追加後領域に沿って仮想的に切り出された仮想切り出し画像の画質をチェックする。一例として画質の判定は、ピクセル数が所定の基準値（例えばプリンタ４４の解像度が72dpiの場合、842 X 595ピクセル）に達しているか否かによって行う。なお出力領域がプリンタ４４用でなくディスプレイ５０用である場合、画質のチェックはしなくてもよい。あるいは画質の基準値をユーザが操作部２６から入力設定できてもよい。

Ｓ２２では、追加後領域で切り出される元画像の部分の画質が所定の基準値に達するまで、追加後領域をその縦横比を維持したまま拡大し、この拡大後の追加後領域を第２のトリミング範囲候補とする。無論、追加後領域は元画像からはみださない範囲で設定されることが前提である。つまり、追加後領域で切り出される画像は出力領域に適合していても、画質が基準に達しなければ、追加後領域をそのままトリミング範囲にすると画質の面で不都合なため、画質確保に必要な範囲で追加後領域を拡大する。こうして、出力領域との適合性を維持しつつ、可能な限り多くの画像をトリミング範囲に取り込んで画質を上げる。

Ｓ２３では、追加後領域をそのまま第２のトリミング範囲候補に決定する。そして、第２のトリミング範囲候補に包含される画像を切り出し範囲候補としてディスプレイ５０に表示する。そして、操作部２６からの切り出し指示に応じて、第２のトリミング範囲候補に包含される画像を切り出し、得られたトリミング画像を出力領域に配置する。

Ｓ２４では、第１のトリミング範囲候補の周辺領域のうち元画像が存在する部分を追加領域とする。これは例えば、第１のトリミング範囲候補が元画像の上端付近に設定されている場合は、元画像上端に相当する範囲を追加領域にして第１のトリミング範囲候補に付加する。ここでも、追加領域の付加された第１のトリミング範囲候補は追加後領域と呼ぶ。

Ｓ２５では、追加後領域の縦方向の長さを基準として、出力領域に適合するよう第１のトリミング範囲候補を拡大する。すなわち、追加後領域の縦方向の長さが出力領域の縦方向の長さに合致するように、追加後領域の元の縦横比を維持したまま拡大する。以下、この拡大後のトリミング領域を、縦基準拡大後追加後領域と呼ぶ。

つまり、元画像の縦方向の余剰に相当する部分だけ第１のトリミング範囲候補が拡大されたのだから、縦横比を出力領域に適合させるため、横方向も拡大する。

Ｓ２６では、縦基準拡大後追加後領域に包含される部分領域から物体検出や人物検出などの技術により特定の被写体検出を行い（例えば本出願人による特許公開２００８−４２８００号公報に示されるような人体領域や空領域の検出）、縦基準拡大後追加後領域に包含される被写体が縦横辺から均等な距離に位置し（すなわち被写体がトリミング画像の中央付近に位置する）かつ出力領域と縦横比を同じくするような第２のトリミング範囲候補を決定する。なぜなら、縦基準拡大後追加後領域はユーザの指定した第１のトリミング範囲候補よりも縦横方向に不均等に拡大しているのだから、切り出す画像内の被写体が縦横辺から均等な距離に位置しているとは限らないため、被写体がトリミング画像ないで偏りなく位置するよう調節し、ユーザが当初意図したトリミング範囲になるべく近づけるためである。

Ｓ２７では、第２のトリミング範囲候補に包含される画像を切り出し範囲候補としてディスプレイ５０に表示する。そして、操作部２６からの指示に応じて、第２のトリミング範囲候補に包含される画像を実際に切り出し、このトリミング画像を出力領域に実際に配置する。

Ｓ２８では、Ｓ１８で述べたはみ出し発生範囲を特定する。

Ｓ２９では、はみ出し発生範囲を第２のトリミング範囲候補に決定する。この際、はみ出し発生範囲は出力領域と縦横比が合わないのだから、これを調整する必要がある。また、切り出す画像内の被写体が出力領域において縦横辺から均等な距離に位置しているとは限らない。このため、はみ出し発生範囲に包含される元画像の部分領域から、物体検出や人物検出などの各種被写体検出を行い、被写体が縦横辺から均等な距離に位置し（すなわち被写体がトリミング画像の中央付近に位置する）かつ出力領域と縦横比を同じくするような第２のトリミング範囲候補を決定し、これに包含される画像を切り出す。このように重要な被写体を中心に第２のトリミング範囲候補を決定することで、ユーザが当初意図したトリミング範囲になるべく近づける。

Ｓ３０では、第２のトリミング範囲候補に包含される元画像を切り出し範囲候補としてディスプレイ５０に表示する。そして、操作部２６からの指示に応じて、第２のトリミング範囲候補に包含される画像を実際に切り出し、このトリミング画像を出力領域に実際に配置する。

なお、Ｓ２５およびＳ２８ではＳ２１のように画質をチェックしていない。これは元画像の余剰領域の不足か不存在でトリミング範囲の拡大が限られるか全くできないから、画質の向上が期待できないためである。ただし、プリント出力以外の用途でトリミング画像を出力する場合は、画質をチェックしてもよい。例えば、出力先がディスプレイ５０の場合は、仮想切り出し画像のサイズが所定の閾値（例えば９８ｘ１１６ピクセル）よりも小さいか否かを判断し、小さい場合は「拡大すると粗くなります」などといった警告を表示してもよい。

図５および図６は、上記の処理を適用して得られる第１のトリミング範囲候補と第２のトリミング範囲候補の一例を示す。

図５（ａ）および（ｂ）では、一例として、第１のトリミング範囲候補Ｒ−１に沿って元画像Ｉから仮想的に切り出された仮想切り出し画像ＩＭが仮想的に４インチ×６インチのＫＧサイズ（Ｓ１で選択されたプリントサイズの一例）の出力領域Ｒ−ＯＵＴの縦サイズまたは横サイズの一方に適合するよう拡縮された上で仮想的に出力領域Ｒ−ＯＵＴに配置された状態を示している。

図５（ｂ）に示すように、第１のトリミング範囲候補Ｒ−１に沿って切り出された仮想切り出し画像ＩＭのサイズは、１．７インチ×２インチであったとする。この際、図５（ｃ）に示すような横基準拡縮仮想切り出し画像Ａと図５（ｄ）に示すような縦基準拡縮仮想切り出し画像Ｂが出来上がる。

図５（ｃ）に示すように、横基準拡縮仮想切り出し画像Ａを出力領域Ｒ−ＯＵＴに仮想的に配置すると、出力領域Ｒ−ＯＵＴに収まり切らない横基準拡縮仮想切り出し画像Ａの余剰領域Ｘが存在する。出力領域Ｒ−ＯＵＴのオーバーフローを防ぐため、この余剰領域Ｘは切り取らなければならない。

図５（ｄ）に示すように、縦基準拡縮仮想切り出し画像Ｂを出力領域Ｒ−ＯＵＴに仮想的に配置すると、出力領域Ｒ−ＯＵＴのうち縦基準拡縮仮想切り出し画像Ｂの存在しない欠損領域Ｙが生じる。

図６では、第１のトリミング範囲候補Ｒ−１の左右側面に、欠損領域Ｙに相当する追加領域Ｒ−ＡＤを均等に追加してなる第２のトリミング範囲候補Ｒ−２をディスプレイ５０に表示している様子を例示している。

なお、図７に示すように、ユーザが当初フリーハンドで指定した領域に相当する第１のトリミング範囲候補Ｒ−１と、第１のトリミング範囲候補Ｒ−１を出力領域Ｒ−ＯＵＴの縦横比とトリミング画像の画質に応じて最適化した第２のトリミング範囲候補Ｒ−２とを、元画像Ｉとともにディスプレイ５０に表示してもよい。この際、第１のトリミング範囲候補Ｒ−１は実線、第２のトリミング範囲候補Ｒ−２は破線で示すなど、両者の線種を区別したり、両者の説明文を付したバルーンＢ−１・Ｂ−２を範囲候補Ｒ−１・Ｒ−２と対応づけてディスプレイ５０に表示すると、両者の区別がつきやすい。

以上のように、元画像内に、欠損領域Ｙに相当する部分が全部あれば、そこを追加領域で充填する（Ｓ２０）。

あるいは、元画像内に、欠損領域Ｙに相当する部分が一部あれば、そこをに相当するトリミング範囲を部分的に追加する（Ｓ２４）。その場合、縦横比が狂うため、縦横比を合わせるようにさらにトリミング範囲を部分的に追加する（Ｓ２５）。ただ、その場合被写体が中央から外れるなどして構図が不自然になる可能性があるため、被写体検出を行い、その位置が均等になるよう第２のトリミング範囲候補を決める（Ｓ２６）。

あるいは、元画像内に、欠損領域Ｙに相当する部分がなければ、はみ出し発生範囲をそのままトリミング範囲とするしかない。ただ、その場合被写体が中央から外れるなどして構図が不自然になる可能性があるため、被写体検出を行い、その位置が均等になるよう第２のトリミング範囲候補を決める（Ｓ２９）。

こうすることで、ユーザの意図をなるべく反映しかつ出力領域と所望の画質に応じたトリミング範囲の候補を作成してユーザに提示できる。

＜その他の実施形態＞
上述のＳ２１において、追加後領域に沿って仮想的に切り出された仮想切り出し画像の画質が基準に達していると判断された場合、それをそのままプリント画像としていたが、逆に、追加後領域をどこまで縮小しても基準の画質の画像が得られるかを判断・提示してもよい。

すなわち、Ｓ２１の後、追加後領域を縦横均等に所定のピッチ（例えば１ピクセルずつ）で縮小していき、その縮小後の追加後領域に沿って仮想的に切り出された仮想切り出し画像の画質が基準に達しているか否かを判断する。基準に達していると判断されれば、所定のピッチでの追加後領域の縮小を続行する。基準に達していないと判断されれば、追加後領域の縮小を停止し、その停止時の追加後領域よりも所定のピッチだけ大きい追加後領域（１段階前のもの）を、最低画質保持可能トリミング範囲候補としてディスプレイ５０に表示する。

ユーザは、最低画質保持可能トリミング範囲候補を参照し、どこまでトリミング範囲を縮めても画質が維持できるのかを予め知ることができる。例えば、画像中の余り大きくない顔のトリミング範囲をどれだけ小さく設定しても画質を保てるか、予め知ることができる。

画像プリント作成装置の概略構成図 画像トリミング処理のフローチャート 基準線と第１のトリミング範囲候補の一例を示す図 トリミング範囲最適化処理のフローチャート 第１のトリミング範囲候補の一例を示す図 追加領域の一例を示す図 元画像、第１のトリミング範囲候補および第２のトリミング範囲候補の一例を示す図

符号の説明

１０：画像プリント作成装置、１８：ＨＤＤ、３４：画像プリント生成部

Claims (9)

1. 元画像に対するトリミング範囲の指定を受け付けるステップと、
   前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の縦サイズが画像出力領域の縦サイズに合致するよう拡縮することで縦基準拡縮仮想切出画像を得るとともに、前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の横サイズが画像出力領域の横サイズに合致するよう拡縮することで横基準拡縮仮想切出画像を得るステップと、
   前記縦基準拡縮仮想切出画像および前記横基準拡縮仮想切出画像のうち、前記画像出力領域に対する余剰領域の少ない方である余剰非発生仮想切出画像を特定するステップと、
   前記指定されたトリミング範囲のうち、前記特定された余剰非発生仮想切出画像の拡縮元となったトリミング範囲を、前記画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ前記元画像の存在する限度で拡大することで、前記トリミング範囲を最適化するステップと、
   前記最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断するステップと、
   前記トリミング画像の画質が所定の画質に達していないと判断した場合、前記トリミング画像の画質が所定の画質に達していると判断されるまで、画像出力領域のアスペクト比に合致するよう、前記トリミング範囲を拡大することで、前記トリミング範囲を最適化するステップと、
   を含むトリミング範囲の最適化方法。
2. 元画像に対するトリミング範囲の指定を受け付けるステップと、
   前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の縦サイズが画像出力領域の縦サイズに合致するよう拡縮することで縦基準拡縮仮想切出画像を得るとともに、前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の横サイズが画像出力領域の横サイズに合致するよう拡縮することで横基準拡縮仮想切出画像を得るステップと、
   前記縦基準拡縮仮想切出画像および前記横基準拡縮仮想切出画像のうち、前記画像出力領域に対する余剰領域の少ない方である余剰非発生仮想切出画像を特定するステップと、
   前記指定されたトリミング範囲のうち、前記特定された余剰非発生仮想切出画像の拡縮元となったトリミング範囲を、前記画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ前記元画像の存在する限度で拡大することで、前記トリミング範囲を最適化するステップと、
   前記最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断するステップと、
   前記トリミング画像の画質が所定の画質に達していると判断した場合、前記トリミング画像の画質が所定の画質に達しなくなると判断されるまで、画像出力領域のアスペクト比に合致するよう、前記トリミング範囲を縮小することで、前記トリミング範囲を最適化するステップと、
   を含むトリミング範囲の最適化方法。
3. 元画像に対するトリミング範囲の指定を受け付けるステップと、
   前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の縦サイズが画像出力領域の縦サイズに合致するよう拡縮することで縦基準拡縮仮想切出画像を得るとともに、前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の横サイズが画像出力領域の横サイズに合致するよう拡縮することで横基準拡縮仮想切出画像を得るステップと、
   前記縦基準拡縮仮想切出画像および前記横基準拡縮仮想切出画像のうち、前記画像出力領域に対する余剰領域の少ない方である余剰非発生仮想切出画像を特定するステップと、
   前記指定されたトリミング範囲のうち、前記特定された余剰非発生仮想切出画像の拡縮元となったトリミング範囲を、前記画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ前記元画像の存在する限度で拡大することで、前記トリミング範囲を最適化するステップと、
   前記元画像が存在する特定の第１の方向に沿って前記トリミング範囲を拡大することができない場合、画像出力領域のアスペクト比に合致するよう、前記第１の方向とは異なる第２の方向に沿って前記トリミング範囲を拡大することで、前記トリミング範囲を最適化するステップと、
   を含むトリミング範囲の最適化方法。
4. 前記最適化されたトリミング範囲の中から特定の被写体を検出するステップと、
   前記検出された特定の被写体がトリミング画像の中央近傍に位置するよう、前記最適化されたトリミング範囲の位置を調整するステップと、
   を含む請求項３に記載のトリミング範囲の最適化方法。
5. 前記元画像に対するトリミング範囲の指定を受け付けるステップは、
   所望の描線の入力を受け付けるステップと、
   前記入力された所望の描線で画定される矩形領域を決定するステップと、
   前記決定された矩形領域を指定されたトリミング範囲と識別するステップと、
   を含む請求項１〜４のいずれかに記載のトリミング範囲の最適化方法。
6. 前記最適化されたトリミング範囲に従って前記元画像から前記トリミング画像を切り出すステップを含む請求項１〜５のいずれかに記載のトリミング範囲の最適化方法。
7. 前記トリミング画像を前記画像出力領域に配置するステップと、
   前記画像出力領域に配置された前記トリミング画像を出力するステップと、
   を含む請求項６に記載のトリミング範囲の最適化方法。
8. 請求項１〜７のいずれかに記載のトリミング範囲の最適化方法をコンピュータに実行させるプログラム。
9. 元画像に対するトリミング範囲の指定を受け付ける手段と、
   前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の縦サイズが画像出力領域の縦サイズに合致するよう拡縮することで縦基準拡縮仮想切出画像を得るとともに、前記指定されたトリミング範囲に沿って仮想的に切り出された仮想切出画像の横サイズが画像出力領域の横サイズに合致するよう拡縮することで横基準拡縮仮想切出画像を得る手段と、
   前記縦基準拡縮仮想切出画像および前記横基準拡縮仮想切出画像のうち、前記画像出力領域に対する余剰領域の少ない方である余剰非発生仮想切出画像を特定する手段と、
   前記指定されたトリミング範囲のうち、前記特定された余剰非発生仮想切出画像の拡縮元となったトリミング範囲を、前記画像出力領域のアスペクト比と同一のアスペクト比を確保できかつ前記元画像の存在する限度で拡大することで、前記トリミング範囲を最適化する手段と、
   前記最適化されたトリミング範囲に従って切り出されるべき画像であるトリミング画像の画質が所定の画質に達しているか否かを判断する手段と、
   前記トリミング画像の画質が所定の画質に達していないと判断した場合、前記トリミング画像の画質が所定の画質に達していると判断されるまで、画像出力領域のアスペクト比に合致するよう、前記トリミング範囲を拡大することで、前記トリミング範囲を最適化する手段と、
   を含むトリミング範囲の最適化装置。

Images