JP5398396B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、アルバム作成を支援する画像処理装置及びその制御方法に関する。

近年、デジタルカメラの普及により、誰でも簡単にデジタル画像を撮影することができるようになった。撮影した画像の楽しみ方のひとつとして、アルバムを作成することが考えられる。

一般に、複数の画像枠が含まれるテンプレートを用いてアルバムを作成する場合、テンプレート内の全ての画像枠に画像を１枚ずつ登録していく。このとき、最終的に見栄えの良いアルバムとするためには、他の画像との関係を考慮しながら画像枠に登録する画像を選択していく必要がある。この作業は、基本的にはユーザによる手作業で行われるが、自動的に行われるシステムも存在する。

もしこの作業を手作業で行うとすると、他の画像枠に登録されている画像との関係を考慮しつつ大量の候補画像の中から、各画像枠に入れる１枚の画像を選択しなければならないので、ユーザにとって非常な手間となる。また、自動的にこの選択を行う場合、ユーザの意図を最終的なレイアウトに完全に反映させることは極めて困難である。

テンプレート内の画像枠への画像の登録に伴うユーザの手間を軽減させることを目的とする技術は、これまでにいくつか存在する。

例えば特許文献１に開示されている方法には、画像内のオブジェクト同士の関連性に基づいて画像の配置を決定することが記載されている。この記載例によれば、関連性の高い画像同士を同じページのテンプレートに配置することが可能となる。

特開２００６-２９３９８６号公報

しかしながら、上述の方法では画像内のオブジェクトの関連性のみを考慮しているため、構図や色合いなど、画像の見た目を考慮して画像の配置を決定することができない。従ってこの方法では、例えば、見た目に似ている画像がアルバム上で近くに配置されてしまうことを防ぐことができない。更に、画像枠の位置や特徴を考慮していないため、画像枠の位置が決まっているような場合には、アルバム全体の見た目を考慮した画像の配置を行うことができない。

すなわち上述の方法では、見栄えの良いアルバムの作成が困難であった。従って本発明は、アルバム全体の見た目を考慮した画像の配置を行う画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明における画像処理装置は、アルバムを作成する画像処理装置であって、
画像を配置するための画像枠が定義されたページを有するアルバムのテンプレートを入力する入力手段と、
前記テンプレートで定義される前記ページを表示する表示手段と、
複数の画像の中の１つの画像を前記表示手段で表示されたページにおける画像枠の１つに配置するユーザ指示があったとき、当該ユーザ指示により配置対象として選択された画像に対する、当該ユーザ指示で配置先となった画像枠を除く他の画像枠に既に配置された画像の関連度を算出する関連度算出手段と、
前記算出された関連度が所定の閾値よりも大きい画像が配置された画像枠が存在する場合、その旨をユーザに知らせる通知手段とを備えることを特徴とする。

本発明により、最終的な見栄えを考慮したアルバム作成を実現できる。

画像処理装置のシステム構成を表す図である。 画像処理装置のＧＵＩの例を表す図である。 アルバム作成時のユーザ操作の流れを表すフローチャートである。 画像枠の外接矩形と内接矩形の例を表す図である。 画像枠情報一覧表の例を示す図である。 ユーザの判断を促すダイアログボックスの例である。 実施形態１における画像処理装置の処理の流れを表すフローチャートである。 実施形態２における画像処理装置の処理の流れを表すフローチャートである。 画像枠間の距離を算出するパラメータを示す図である。 画像枠の大きさを算出するパラメータを示す図である。

＜実施形態１＞
図１は、実施形態１を実現するシステムの概略を示した図である。ここでＣＰＵ１０１は、コンピュータを備えるシステム全体の動作をコントロールし、一次記憶１０２に格納されたコンピュータプログラムの実行などを行う。また、一次記憶１０２は、主メモリであり、二次記憶１０３に記憶されたプログラムなどを読み込んで格納する。更に二次記憶１０３は、例えばハードディスクなどがこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないコンピュータプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施形態では、実施形態での処理を制御するようなプログラムは二次記憶１０３に格納し、プログラム実行時に一次記憶１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。

入力デバイス１０４は、例えば、マウスやキーボードなどがこれに該当する。出力デバイス１０５は、例えば、モニタやプリンタなどがこれに該当する。また、読込デバイス１０６は、公知のＣＣＤ素子などで構成されている撮像装置で撮像された画像を直接又は間接的に一次記憶１０２や二次記憶１０３へ読み込む。

図２は、本実施形態における画像処理装置（以下「アプリケーション」とも言う）のＧＵＩの概要を示す図である。プレビュー画面２０１には、アルバムを構成するページのうち、任意のページをプレビュー表示される。プレビュー表示するページは、入力デバイス１０４を介したユーザ操作により変更することができる。

画像リスト２０２には、アルバムで使用するための１以上の画像データのリストが一覧表示される。また、ページ一覧２０３には、アルバムを構成する全てのページのサムネイルが一覧表示される。そして、印刷実行ボタン２０４が押下されると、アルバムの印刷処理が実行される。

アルバムの内部に複数の画像枠２０５が含まれ、アルバムのページとともにプレビュー画面２０１上に表示される。画像枠に画像が登録されている場合には、入力デバイス１０４を介したユーザ操作により、画像の位置や大きさを調整することができる。

図３は、図２に示したＧＵＩを持つアプリケーションを用いてアルバムを作成する際の，ユーザ操作に基づく動作の流れを示すフローチャートである。

ステップＳ３０１では、ユーザは作成するアルバムのテンプレートを選択する。テンプレートは、オペレーティングシステムのファイル管理システム上から、アプリケーションのＧＵＩ上にファイルをドラッグアンドドロップすることで指定する。

ステップＳ３０２では、ユーザはアルバムの作成に使用する画像を選択する。画像は、オペレーティングシステムのファイル管理システム上から、アプリケーションのＧＵＩ上に画像ファイルをドラッグアンドドロップすることで指定する。選択された画像は、画像リスト２０２に追加される。

ステップＳ３０３では、ユーザはテンプレート内の画像枠に仮登録する候補画像選択を行う。画像枠への候補画像データの仮登録は、例えば画像リスト２０２上の任意の画像を選択し、画像枠２０５上へドラッグアンドドロップすることで行われる。以下では、ユーザが画像を登録しようとしている画像枠を「選択画像枠」、選択画像枠に登録しようとしている画像を「候補画像」と呼ぶ。ステップＳ３０４では、ユーザはアルバム内の画像枠への画像データの本登録を完了し、アルバムの印刷を実行する。この操作は、印刷実行ボタン２０４を押下することで実行する。

図４に選択画像枠に対する矩形領域を定義する。図に示すように、まず選択された画像枠４０１が存在する。この選択された画像枠４０１に外接する矩形領域４０２を「枠外接矩形」，選択画像枠に内接する矩形領域４０３を「枠内接矩形」と呼ぶものとする。

実施形態１では、選択画像とその他の画像枠に登録されている画像データとの類似度を使用して、選択画像枠の候補画像データとその他の画像枠の画像データとの関連度を求める。選択画像枠の候補画像データに対するその他の画像枠の画像データの関連度，及び関連度を求めるために必要な情報は、図５(ａ)に示す画像枠情報一覧表に保存する。

図７は、図３のステップＳ３０３において、ユーザが画像枠へ画像データを登録しようとする際の、アプリケーションの動作の流れを示すフローチャートである。

ステップＳ７０１で、ＣＰＵ１０１は、変数Ｎ_ｆｒｍに、テンプレートに含まれる画像枠の数を代入する。

ステップＳ７０２で、ＣＰＵ１０１は、変数ｉに０を代入する。

ステップＳ７０３で、ＣＰＵ１０１は、ｉ番目の画像枠がユーザにより選択された選択画像枠であるかどうかを確認する。ｉ番目の画像枠がユーザにより選択された選択画像枠でなければ、ステップＳ７０４に進む。ユーザにより選択された選択画像枠であれば、ステップＳ７０７に進む。図５（ａ）に示すように、ＣＰＵ１０１は、その確認結果を、「選択画像枠かどうか」の欄に記録する。

ステップＳ７０４で、ＣＰＵ１０１は、ｉ番目の画像枠が既に画像が登録されている登録済画像枠かどうかを判定する。画像が登録されていれば、ステップＳ７０５に進む。登録されていなければ、ステップＳ７０７に進む。

ステップＳ７０５では、ＣＰＵ１０１は、ユーザにより選択された候補画像と、ｉ番目の画像枠に登録されている画像との類似度を算出し、画像枠情報一覧表の該当箇所に保存する。類似度は、例えば、候補画像データと同一画像データに対する類似度を１として正規化して用いる。

また、画像間の類似度の算出は、公知の方法に従う。例えば、特開３８１２１６１号公報には、色の特徴量から色の類似度を求めることや、テクスチャの特徴量からテクスチャの類似度を求め、それぞれに重み付けをして最終的な類似度を求める技術が開示されている。

ステップＳ７０６では、ＣＰＵ１０１は、ステップＳ７０５で求めた画像の類似度に基づき、選択された画像枠の候補画像データとｉ番目の画像枠の画像データとの関連度算出を行う。ＣＰＵ１０１は、算出した画像データ間の関連度を、一次記憶１０２または二次記憶１０３に格納する。つまり図５（ａ）に示す画像枠情報一覧表の「画像枠間の関連度Ｒ」の欄に記録する。

関連度Ｒは、画像の類似度をＳとすると、次のように算出される。

Ｒ = Ｓ
すなわち、実施形態１においては、特徴量で決定された類似度のみを利用して関連度を決定するので、ＲとＳは等しい。

ステップ７０７で、ＣＰＵ１０１は、変数ｉに１を追加する。

ステップＳ７０８で、変数ｉとＮ_ｉｍｇとの値を比較する。もしｉが Ｎ_ｉｍｇより大きければ、ステップＳ７０９へ進む。そうでなければ、ステップＳ７０３へ戻る。

ステップＳ７０９で、ＣＰＵ１０１は、一次記憶１０２または二次記憶１０３に格納された画像枠情報一覧表を参照し、関連度Ｒが０．６以上の画像枠の画像データがあるかどうかを判定する。関連度Ｒが所定の閾値、例えば０．６以上の画像枠の画像データがある場合は、ステップＳ７１０へ進む。そうでなければ、ステップＳ７１２へ進む。例えば、図５（ａ）に示すように、各画像枠１〜５に対して、画像の類似度Ｓと選択画像枠の候補画像データと画像枠１〜５における画像データとの関連度Ｒの値がそれぞれ格納され、ＣＰＵ１０１は、その中からＲが０．６以上の画像枠５の画像データが存在すると判定する。

ステップＳ７１０で、ＣＰＵ１０１は、出力デバイス１０５であるモニタなどを用いて、関連度Ｒが０．６以上の画像データを有する画像枠が存在する旨をユーザに通知する。ユーザへの通知は、例えば図６に示すダイアログボックスを呈示することにより行う。

ステップＳ７１１で、ＣＰＵ１０１は、図６に示すダイアログボックス上でのユーザの操作を受付け、この結果を判定する。Ｏｋボタン６０１が押下されていれば、ステップＳ７１３へ進む。キャンセルボタン６０２が押下されていれば、処理を終了する。

ステップＳ７１２では。選択画像枠に、選択した候補画像データを本登録する。

上記のステップＳ７０９〜Ｓ７１１では、関連度Ｒが０．６以上の画像枠の画像データがある場合にはダイアログボックスを出し、選択した候補画像データを登録するかどうかをユーザに選択させるようにしている。しかし、画面上に類似度が高い画像が存在することを知らせるメッセージを表示し、ダイアログボックスを出さずに選択された候補画像データを選択画像枠に登録するようにしても良い。また、関連度Ｒが０．６以上の画像データを有する画像枠の情報とその画像データを合わせて呈示し、その画像データおよびユーザが最初に選択した候補画像データの中から、ユーザが最終的に選択画像枠に登録する画像を選択しても良い。

以上のように、実施形態１では、ユーザが選択した候補画像の特徴量を算出し、その特徴量と他の登録画像の特徴量とを利用することで類似度を算出し、類似度の高い画像が他にも存在することをユーザに示した。この構成により、見た目に似ている画像がアルバムに配置されてしまうことを防ぐことができる。

＜実施形態２＞
実施形態１では、選択された画像枠における候補画像データと他の画像枠における画像データとの関連度を、画像の類似度のみを利用して求めた。

しかし、選択画像枠と他の画像枠との間の距離や、画像枠の大きさ等、画像枠に関する物理的な情報を加えることで、よりアルバムの見た目を考慮した関連度を求めることができる。実施形態２では、このような処理を行う画像処理装置について説明する。

本実施形態では、選択画像データとその他の画像枠に登録されている画像データとの類似度と、選択画像枠とその他の画像枠との間の距離、画像枠の大きさを利用して、選択画像枠の画像データとその他の画像枠における画像データとの関連度を求める。選択画像枠の画像データに対するその他の画像枠の画像データの関連度、及び関連度を求めるために必要な情報は、図５(ｂ)に示すような画像枠情報一覧表に保存する。

ＧＵＩを持つアプリケーションを用いてアルバムを作成する際の、ユーザ操作に基づく動作の流れを示すフローチャートは、図３と同様であるので、その説明を省略する。

図８は、図３のステップＳ３０３において、ユーザが画像枠へ画像データの候補を仮登録した際の、実施形態２におけるアプリケーションの動作の流れを示すフローチャートである。

ステップＳ８０１で、ＣＰＵ１０１は、変数Ｎ_ｆｒｍに、テンプレートに含まれる画像枠の数を代入する。ステップＳ８０２で、ＣＰＵ１０１は、変数ｉに０を代入する。

ステップＳ８０３では、ＣＰＵ１０１は、ｉ番目の画像枠がユーザの選択した選択画像枠であるかどうかを確認する。ｉ番目の画像枠がユーザの選択した選択画像枠でなければ、ステップＳ８０４に進む。ユーザの選択した選択画像枠であれば、ステップＳ８０９に進む。

ステップＳ８０４で、ＣＰＵ１０１は、ｉ番目の画像枠に画像が登録されている登録済画像枠かどうかを判定する。画像が登録されていれば、ステップＳ８０５に進む。そうでなければ、ステップＳ８０９に進む。

ステップＳ８０５で、ユーザの選択した候補画像データと、ｉ番目の画像枠に登録されている画像データとの類似度を算出し、画像枠情報一覧表の該当箇所に保存する。類似度は、実施形態１と同様に、候補画像データと同一画像データに対する類似度を１として、正規化して用いる。なお、画像データ間の類似度の算出は、実施形態１と同様に、公知の方法に従う。

ステップＳ８０６で、選択画像枠とｉ番目の画像枠との間の距離を算出する。算出した画像枠間の距離は、画像枠情報一覧表の該当箇所に保存する。ここで、画像枠１と画像枠２との間の距離とは、画像枠１の枠外接矩形の中心点と、画像枠２の枠外接矩形の中心点との間の水平方向の距離であるとする。

図９は、画像枠間の距離に関する座標と見開きページの関係を示す。距離の値は、アルバムにおける最初のページの左端と、最後のページの右端との間の水平方向の距離を１として、正規化して用いる。また、右方向に＋ｘとなる座標系において、全ての見開きページを順番に＋ｘ方向に並べたとき、最初のページにおいて左端のｘ座標をｘ_ｓ、最後のページにおいて右端のｘ座標をｘ_ｅとする。更に、画像枠１および画像枠２における枠外接矩形の中心点のｘ座標をそれぞれｘ_１、ｘ_２とすると、画像枠間の距離Ｄは次式により算出できる。

Ｄ = |ｘ_２-ｘ_１| / (ｘ_ｅ-ｘ_ｓ)
算出した画像枠間の距離は、図５（ｂ）の画像枠情報一覧表の「画像枠間の距離」の欄に記録する。

ステップＳ８０７では、ＣＰＵ１０１は、ｉ番目の選択画像枠の大きさを算出する。図１０に画像枠の大きさを算出するためのパラメータの定義を示す。ここで、画像枠４０１の大きさとは、矩形領域４０２で示される枠外接矩形の面積であり、見開きページの面積を１とした相対値で表すものとする。図１０のように、見開きページの幅，高さをそれぞれＷ_ｓｐｒ、Ｈ_ｓｐｒ、枠外接矩形の幅，高さをそれぞれＷ_ｆｒｍ、Ｈ_ｆｒｍとすると、画像枠の大きさＬは次式により算出できる。

Ｌ = (Ｗ_ｆｒｍ×Ｈ_ｆｒｍ) / (Ｗ_ｓｐｒ×Ｈ_ｓｐｒ)
算出した画像枠の大きさは、図５（ｂ）の画像枠情報一覧表の「画像枠の大きさ」の欄に記録する。

ステップＳ８０８で、ＣＰＵ１０１は、ステップＳ８０５〜ステップＳ８０７で求めた各値に基づき、選択画像枠の候補画像データとｉ番目の画像枠の画像データとの関連度を算出する。算出した画像枠間の関連度Ｒは、画像枠情報一覧表の「画像枠間の関連度」の欄に記録する。

関連度Ｒは、画像データの類似度をＳ、画像枠間の距離をＤ、画像枠の大きさをＬとすると、次のように算出される。ここで、ａ、 ｂ、 ｃは、それぞれ、画像の類似度をＳ、画像枠間の距離をＤ、画像枠の大きさをＬに対する重み付けの値であり、ａ＋ｂ＋ｃ＝３となるように、任意の値を設定する。本実施形態では、ａ＝ｂ＝ｃ＝１である場合について説明する。

Ｒ = ( ａＳ + ｂ(１-Ｄ) + ｃＬ ) / ３
ステップ８０９で、ＣＰＵ１０１は、変数ｉに１を追加する。

ステップＳ８１０で、ＣＰＵ１０１は、変数ｉとＮ_ｉｍｇとの値を比較する。もしｉがＮ_ｉｍｇより大きければ、ステップＳ８１１へ進む。そうでなければ、ステップＳ８０３へ戻る。

ステップＳ８１１で、ＣＰＵ１０１は、図５（ｂ）の画像枠情報一覧表の画像枠間における画像データの関連度の値を参照し、関連度Ｒが所定の閾値、例えば０．６以上の画像データを有する画像枠があるかどうかを判定する。関連度Ｒが０．６以上の画像データがある場合は、ステップＳ８１２へ進む。そうでなければ、ステップＳ８１４へ進む。

ステップＳ８１２では、関連度Ｒが０．６以上の画像データを有する画像枠がある旨およびどこのページにあるかをユーザに呈示する。ユーザへの呈示は、例えば図６に示すダイアログボックスを出力デバイス１０５、例えばモニターに表示することで行う。

ステップＳ８１３では、図６に示すダイアログボックス上でのユーザの操作を受付け、結果を判定する。ＯＫボタン６０１が押下され、登録された場合は、ステップＳ８１５へ進む。キャンセルボタン６０２が押下され、未登録の場合は、処理を終了する。ステップＳ８１４では。選択された画像枠に、ユーザが最初に選択した候補画像データを本登録する。

上記のステップＳ８１２〜Ｓ８１３では、関連度Ｒが０．６以上の画像データを有する画像枠がある場合にはダイアログボックスを出し、選択された候補画像データを本登録するかどうかをユーザに選択させるようにしている。しかし、画面上に関連度が高い画像が存在することを知らせるメッセージを表示し、ダイアログボックスを出さずに候補画像を選択画像枠に登録するようにしても良い。また、関連度Ｒが０．６以上の画像データを有する画像枠がどのページにあるかなどの情報を合わせて呈示しても良い。

以上のように、実施形態２では、類似度のほかに、画像枠間の距離や画像枠の大きさ含めて関連度を算出した。この構成により、見た目に似ている画像がアルバムのテンプレート上で近くに配置されてしまうことを更に効率的に防ぐことができ、見栄えの良いアルバムを作成することが可能となる。

また以上の説明では、画像枠間の画像データの関連度を求める際に使用する画像枠の大きさを、画像枠の枠外接矩形から求めたが、枠内接矩形から求めるようにしても良い。枠内接矩形から画像枠の大きさを求めることで、画像枠の形状による画像の隠蔽を考慮したうえで、２つの画像枠におけるそれぞれの画像データの関連度を求めることができるようになる。

また以上の実施形態では、２つの画像枠内の画像データの関連度に基づく情報をユーザに呈示したが、２つの画像枠内の画像データの関連度に基づいて、画像データを自動的に配置するようにしても良い。更に、画像枠に登録されている画像データの類似度を、画像の特徴量を利用して求めるようにしたが、画像の撮影日等から、画像データの類似度を求めるようにしても良い。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. アルバムを作成する画像処理装置であって、
   画像を配置するための画像枠が定義されたページを有するアルバムのテンプレートを入力する入力手段と、
   前記テンプレートで定義される前記ページを表示する表示手段と、
   複数の画像の中の１つの画像を前記表示手段で表示されたページにおける画像枠の１つに配置するユーザ指示があったとき、当該ユーザ指示により配置対象として選択された画像に対する、当該ユーザ指示で配置先となった画像枠を除く他の画像枠に既に配置された画像の関連度を算出する関連度算出手段と、
   前記算出された関連度が所定の閾値よりも大きい画像が配置された画像枠が存在する場合、その旨をユーザに知らせる通知手段と
   を備えることを特徴とする画像処理装置。
2. 前記ユーザ指示により配置対象となった画像を前記配置先となった画像枠に本登録するか否かを受け付ける受付手段と、
   前記本登録する旨を前記ユーザから受け付けた場合に、前記ユーザ指示により配置対象となった画像を前記配置先となった画像枠に配置する配置手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記関連度算出手段は、前記ユーザ指示により配置対象として選択された画像に対する、前記他の画像枠に既に配置された画像それぞれの色の特徴量を利用して前記関連度を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記関連度算出手段は、
   前記ユーザ指示により配置対象として選択された画像に対する、前記ユーザ指示で配置先となった画像枠を除く他の画像枠に既に配置された画像との類似度と、
   前記ユーザ指示により配置先となった画像枠と既に画像を配置した他の画像枠との距離と、
   前記ユーザ指示により配置先となった画像枠の大きさの情報と、
   の少なくとも１つを利用して、前記関連度を算出することを特徴とする請求項１に記載の画像処理装置。
5. アルバムを作成する画像処理装置の制御方法であって、
   入力手段が、画像を配置するための画像枠が定義されたページを有するアルバムのテンプレートを入力する入力工程と、
   表示手段が、前記テンプレートで定義される前記ページを表示する表示工程と、
   複数の画像の中の１つの画像を前記表示工程で表示されたページにおける画像枠の１つに配置するユーザ指示があったとき、関連度算出手段が、当該ユーザ指示により配置対象として選択された画像に対する、当該ユーザ指示で配置先となった画像枠を除く他の画像枠に既に配置された画像の関連度を算出する関連度算出工程と、
   通知手段が、前記算出された関連度が所定の閾値よりも大きい画像を配置した画像枠が存在する場合、その旨をユーザに知らせる通知工程と
   を備えることを特徴とする画像処理装置の制御方法。
6. 請求項５に記載の画像処理装置の制御方法における各工程をコンピュータに実行させるためのプログラム。

Images