JP7335186B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法及びプログラムに関する。

ユーザが所有する画像を使って、オリジナルのフォトアルバムを作成するサービスが知られている。例えば、インターネットを経由してユーザが所有する複数の画像をサービス提供業者へ送信し、送信された複数の画像を用いてユーザが希望するレイアウトの写真集を作成するサービスが提供されている。

特許文献１は、ユーザが指定した画像を用いてフォトアルバムを作成するアルバム作成システムが記載されている。特許文献２は、ユーザが指定した画像の属性情報を取得し、属性に応じて画像を抽出し、フォトアルバムを作成する電子アルバム作成装置が記載されている。

特許文献３は、表示画面に表示されている画像の中から、ユーザの指定に応じて重要画像を設定し、重要画像が含まれる割合が重要画像以外の画像が含まれる割合よりも多くなるようにユーザの意図に沿った電子アルバムを作成するフォトアルバム装置が記載されている。

フォトアルバムの作成は、大量の画像の中からフォトアルバムに入れる画像を選び、選ばれた画像を綺麗にレイアウトするという手間がかかる工程が必要である。フォトアルバム作成の初心者にとって、このような手間がかかる作業は負担となる。これを考慮し、画像の選択及び画像のレイアウトを自動で行うソフトウェアが、フォトアルバムの注文ソフトウェア及びフォトアルバムの作成支援装置等として提供されている。

特許文献４は、アルバムの作成に用いる画像素材の支援装置が記載されている。同文献に記載の装置は、ユーザに選択された第一画像素材の周囲に、第一素材の特徴に対して規定の選択条件を満たす画像特徴を有する第二画像素材を取得し、第一画像素材の周囲に第二画像素材を配置したレイアウトページを作成する。

特許文献５は、画像の特徴を表す特徴量の値を算出し、特徴量の値に基づき画像を点数化し、点数の高い規定数の画像が検索結果として表示される画像検索装置が記載されている。同文献に記載の装置は、ユーザが選択した画像は、ユーザの好みであるとして、点数が高くなるように特徴量の重み付け係数が高くされる。これにより、ユーザの好みの画像がレイアウトされる。

特開２０１１－０４９８７０号公報 特開２０１４－０６３２４６号公報 特開２０１４－１７４７８７号公報 特開２０１６－０８１３１９号公報 特開２０１４－１９１７０１号公報

しかしながら、画像の自動選択及び画像の自動レイアウトはユーザの要求に対する精度が１００パーセントではなく、画像の選び直し及びレイアウトの修正など、ユーザの新たな手間が発生し得る。

フォトアルバムの自動作成を行う際に、ユーザから所有する画像の中から、フォトアルバムに使用する画像が自動選択される。一方、画像の自動選択において、ユーザが選んで欲しい画像が選択されない場合及びユーザが選んで欲しくない画像が選択される場合が発生し得る。このような場合、ユーザが所有する画像の中からユーザが画像を選び直すという手間が発生する。

また、ユーザが本当に選んで欲しい画像のみでフォトアルバムを作成する場合、ユーザが所有する大量の画像の中から、ユーザが本当に欲しい画像のみを手動で選択する必要がある。このような選択作業は、ユーザにとって大きな負担となり得る。

本発明はこのような事情に鑑みてなされたもので、フォトアルバムの自動作成において、ユーザの手間の削減を実現し得る、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

本開示に係る画像処理装置は、一以上のプロセッサを備えた画像処理装置であって、プロセッサは、複数の候補画像を取得し、取得した複数の候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、ユーザ選択画像の解析結果に基づきユーザ選択画像に対して属性を付与し、ユーザ選択画像の全数に対する同一の属性を有するユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測し、ユーザ選択基準に基づき、候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理装置である。

本開示に係る画像処理装置によれば、候補画像の中からユーザが選択したユーザ選択画像の属性に基づきユーザの選択基準が推測され、推測されたユーザの選択基準に基づき、候補画像のうちユーザが非選択の非選択画像の自動選択が実施される。これにより、ユーザの嗜好等が反映される画像が選択され、ユーザが画像を選択する手間を削減し得る。

本開示に係る画像処理方法は、複数の候補画像を取得し、取得した複数の候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、ユーザ選択画像の解析結果に基づきユーザ選択画像に対して属性を付与し、ユーザ選択画像の全数に対する同一の属性を有するユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測し、ユーザ選択基準に基づき、候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理方法である。

本開示に係るプログラムは、コンピュータに、複数の候補画像を取得する処理、取得した複数の候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得する処理、ユーザ選択画像の解析結果に基づきユーザ選択画像に対して属性を付与する処理、ユーザ選択画像の全数に対する同一の属性を有するユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測する処理、及びユーザ選択基準に基づき、候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する処理を実現させるプログラムである。

本発明によれば、候補画像の中からユーザが選択したユーザ選択画像の属性に基づきユーザの選択基準が推測され、推測されたユーザの選択基準に基づき、候補画像のうちユーザが非選択の非選択画像の自動選択が実施される。これにより、ユーザの嗜好等が反映される画像が選択され、ユーザが画像を選択する手間を削減し得る。

図１は第一実施形態に係る画像処理装置の機能ブロック図である。 図２は図１に示すプロセッサの機能ブロック図である。 図３は第一実施形態に係る画像処理方法の手順を示すフローチャートである。 図４は選択画面の一例を示す選択画面の模式図である。 図５は選択画像の解析結果の一例を示す解析結果の模式図である。 図６は非選択画像の解析結果の一例を示す解析結果の模式図である。 図７は調整スコアの説明図である。 図８は調整スコアの他の例を示す調整スコアの説明図である。 図９は第二実施形態に係る画像処理装置に適用される選択画面の模式図である。 図１０は選択画像の解析結果の一例を示す解析結果の模式図である。 図１１は非選択画像の解析結果の一例を示す解析結果の模式図である。 図１２は調整スコアの説明図である。 図１３は調整スコアの他の例の説明図である。 図１４は第三実施形態に係る画像処理装置に適用される選択画面の模式図である。 図１５は表示非選択画像から推測されるユーザの嗜好等の説明図である。 図１６は基準スコアの一例を示す基準スコアの説明図である。 図１７は調整スコアの説明図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［第一実施形態］
〔画像処理装置の構成例〕
図１は第一実施形態に係る画像処理装置の機能ブロック図である。同図に示す画像処理装置１０は、フォトアルバムの自動作成ソフトウェアを実行し、フォトアルバムに用いられる画像の自動選択、選択された画像の自動レイアウト及びフォトアルバム作成業者への注文を実施する。

本明細書における作成という用語は、生成及び製造と読み替えてもよい。また、装置という用語は、システムと読み替えてもよい。

画像処理装置１０は、コンピュータ及びスマートフォン等の携帯端末装置を適用し得る。なお、本明細書における画像という用語は、画像を表す電気信号である画像データの意味として用いられることがある。また、画像は写真と読み替えてもよい。

画像処理装置１０は、画像処理ユニット１２、ディスプレイユニット１４、入力ユニット１６及びストレージユニット１８を備える。画像処理ユニット１２は、プロセッサ２０及びメモリ２２を備える。メモリ２２は、画像メモリ２４、情報メモリ２６及びプログラムメモリ２８を備える。

プロセッサ２０は、プログラムメモリ２８に記憶されているフォトアルバムの自動作成ソフトウェアを読み出して実行し、画像メモリ２４から読み出した画像に対して、規定の処理を実施する。プロセッサ２０は、取得した各種の情報を情報メモリ２６へ記憶する。

画像処理ユニット１２は、通信インターフェース３０及び入出力インターフェース３２を備える。

通信インターフェース３０は、ネットワークとの接続を行う通信ポートが含まれる。例えば、画像処理ユニット１２は、通信インターフェース３０を用いて、ネットワークを経由した外部機器とのデータ通信を実施し得る。通信インターフェース３０は、無線通信及び有線通信のいずれにも適用し得る。

入出力インターフェース３２は、ＵＳＢケーブル等の電気信号線が接続されるポート及びメモリカード等のデバイスが挿入されるスロット等が適用される。なお、ＵＳＢはUniversal Serial Busの省略語である。

画像処理ユニット１２は、ディスプレイドライバー４０、入力ドライバー４２及びストレージドライバー４４を備える。

ディスプレイドライバー４０は、ディスプレイユニット１４の表示制御を実施する。ディスプレイドライバー４０は、ディスプレイユニット１４へ表示される映像を表す映像信号をディスプレイユニット１４へ送信する。ディスプレイユニット１４は、ディスプレイドライバー４０から送信された映像信号に応じた映像を表示させる。

入力ドライバー４２は、入力ユニット１６から入力される情報を表す信号を取得する。入力ドライバー４２は入力ユニット１６から送信された信号をプロセッサ２０へ送信する。プロセッサ２０は入力ユニット１６から送信された信号に基づき、画像処理ユニット１２を制御する。

入力ユニット１６は、キーボード及びマウス等を適用し得る。入力ユニット１６としてタッチパネルを適用し得る。タッチパネル方式が適用される態様では、入力ユニット１６とディスプレイユニット１４とは、一体的なユニットとして構成される。

ストレージドライバー４４は、ストレージユニット１８へのデータの書き込み及びストレージユニット１８からのデータの読み出しを制御する。すなわち、プロセッサ２０は、ストレージドライバー４４を介して、ストレージユニット１８に記憶されているユーザが所有する画像を取得し得る。

画像処理装置１０として携帯端末装置が適用される場合、画像処理ユニット１２、ディスプレイユニット１４、入力ユニット１６及びストレージユニット１８が同一のケースに収納される態様を適用し得る。

図２は図１に示すプロセッサの機能ブロック図である。同図に示すプロセッサ２０の各処理部は、プロセッサ２０の各種機能に対応する。

プロセッサ２０は、仕様情報取得部５０を備える。仕様情報取得部５０は、フォトアルバムのサイズ及びページ数等のフォトアルバムの仕様に関する仕様情報を取得する。仕様情報は、例えば、フォトアルバムに使用する画像数に関する情報を含み得る。

フォトアルバムに使用する画像数に関する情報とは、例えば、フォトアルバムを作成するために最低限必要な最低画像数又はフォトアルバムを作成するために使用できる最高画像数等を示す。また、フォトアルバムに使用する画像数に関する情報は、画像数として設定されてもよいし、ページ数として設定されてもよい。

すなわち、フォトアルバムに使用する画像数に関する情報は、ページ数及び各ページに使用する画像数で規定され得る。また、仕様情報は、例えば、フォトアルバムに使用する画像のサイズに関する情報が含まれていてもよい。仕様情報は、入力ユニット１６を用いてユーザが入力し得る。

プロセッサ２０は、画像取得部５２を備える。画像取得部５２は、ユーザが所有する複数の画像であり、フォトアルバムに使用される画像の候補となる候補画像を取得する。画像取得部５２はフォルダ単位で候補画像を取得し得る。画像取得部５２は、通信インターフェース３０を介してネットワーク接続される外部機器等から候補画像を取得してもよいし、入出力インターフェース３２を介して接続される外部機器等から候補画像を取得してもよい。なお、候補画像は符号１０２を用いて図４に図示する。

プロセッサ２０は、ユーザ選択情報取得部５４を備える。ユーザ選択情報取得部５４は、候補画像からユーザが手動で選択したユーザ選択画像について、ユーザ選択情報を取得する。ユーザ選択情報取得部５４はユーザ選択情報を図１に示す情報メモリ２６へ記憶する。ユーザ選択情報は、ユーザ選択画像のファイル名等のユーザ選択画像の識別情報を適用し得る。

ユーザ選択画像は、選択できる候補画像の数の上限値が設定され得る。選択できる候補画像の数の上限値は、フォトアルバムに使用する画像数に関する情報に応じて規定し得る。選択できる候補画像の数の上限値は、候補画像の全数の０パーセントから１００パーセントまでの範囲内で任意に規定し得る。選択できる候補画像の数の上限値は、予め決められた固定値でもよいし、ユーザが適宜設定する変動値でもよい。

また、ユーザ選択画像は、選択することが必要な候補画像の数の下限値が設定され得る。例えば、下限値を２として、ユーザが２以上の候補画像を選択することが必要としてもよい。

プロセッサ２０は、解析部５６を備える。解析部５６は、被写体の種類、画像のボケ度合い及びブレ度合いを表す合焦度合い、明るさの度合い、色彩及び人物の有無等の規定の属性に基づき、ユーザ選択画像を解析する。解析部５６はユーザ選択画像の解析結果を情報メモリ２６へ記憶する。なお、ユーザ選択画像は符号１０２Ａを用いて図４に図示する。

プロセッサ２０は、属性情報付与部５８を備える。属性情報付与部５８は、ユーザ選択画像に対して、ユーザ選択画像の解析に適用される属性の種類ごとの属性情報を付与する。属性情報付与部５８は、ユーザ選択画像ごと及び属性の種類ごとの属性情報を情報メモリ２６へ記憶する。なお、属性の種類及び属性情報は図５等に図示する。

プロセッサ２０は、基準推測部６０を備える。基準推測部６０は、属性情報に基づきユ ーザの嗜好及び意図等に対応するユーザ選択基準を推測する。すなわち、基準推測部６０ は被写体の判定結果からユーザの好みに対応するユーザが選びたい画像を選択するユーザ 選択基準を推測し得る。また、基準推測部６０はユーザ選択画像に属性情報として特定の 人物が含まれている画像を選択するユーザ選択基準を推測し得る。

基準推測部６０は同一の属性情報が付与されたユーザ選択画像の数を、ユーザ選択画像の全数で除算してユーザ選択比率を算出し、ユーザ選択比率に基づきユーザ選択基準を推測する。基準推測部６０は、推測されたユーザ選択基準を情報メモリ２６へ記憶する。

基準推測部６０は、ユーザ選択比率と規定の閾値との比較結果に基づき、ユーザ選択基準を推測し得る。規定の閾値は予め規定された固定値でもよいし、ユーザ等が任意に設定し得る変動値でもよい。

また、規定の閾値は、属性ごとに異なる閾値を有していてもよい。例えば、被写体の種類及び人物の有無等の相対比較がしやすい項目については、合焦度合い、明るさの度合い及び色彩等の相対比較がしにくい項目に対して閾値を低く設定してもよい。

基準推測部６０は、ユーザ選択画像ごと及び属性情報ごとに評価値を算出し、評価値に基づきユーザ選択画像ごとの基準スコアを算出し、ユーザ選択比率に基づき補正値を算出し、補正値を用いて基準スコアを調整して調整スコアを算出し得る。調整スコアは、ユーザ選択画像ごとのユーザの嗜好等に対応する数値指標として機能する。

プロセッサ２０は、自動選択部６２を備える。自動選択部６２は、基準推測部６０を用いて推測されるユーザ選択基準を適用して、フォトアルバムに使用される画像として候補画像の非選択画像から自動選択画像を選択する。

自動選択部６２は、基準推測部６０を用いて算出された調整スコアが大きい順に、非選択画像から規定数の自動選択画像を選択し得る。選択される自動選択画像の枚数は、上限値及び下限値の少なくともいずれか一方が設定され得る。例えば、上記した上限値及び下限値の少なくともいずれか一方は、フォトアルバムの仕様情報に含まれる画像数に関する情報に基づいて設定し得る。

なお、非選択画像は符号１０２Ｂを用いて図４に図示する。自動選択部６２は、自動選択画像のファイル名等の識別情報を含む自動選択画像情報を情報メモリ２６へ記憶する。

プロセッサ２０は、レイアウト部６４を備え得る。レイアウト部６４は、仕様情報取得部５０を用いて取得したフォトアルバムの仕様に基づき、ユーザ選択画像及び自動選択画像を用いて、フォトアルバムの自動レイアウトを作成する。レイアウト部６４は、自動レイアウトがされたフォトアルバムをディスプレイユニット１４へ表示させる。

レイアウト部６４は、自動レイアウトの編集を受け付けて、自動レイアウトを編集する手動編集を実施し得る。手動編集の例として、ディスプレイユニット１４へ表示される自動レイアウトに対して、入力ユニット１６等を用いてユーザが手動で編集内容を入力する態様が挙げられる。

プロセッサ２０は、注文情報送信部６６を備え得る。注文情報送信部６６は、通信インターフェース３０を介して、フォトアルバムの作成業者へフォトアルバムの注文情報を送信する。注文情報は、フォトアルバムの仕様、フォトアルバムに使用される画像及びユーザが承認したフォトアルバムのレイアウト等が含まれる。注文情報は、納品期限日及び納品方法等の情報を含み得る。

なお、レイアウト部６４及び注文情報送信部６６を画像処理装置１０が具備せずに、画像処理装置１０に接続される外部装置等において、レイアウト部６４の機能及び注文情報送信部６６の機能が実施されてもよい。

〔画像処理方法の手順〕
図３は第一実施形態に係る画像処理方法の手順を示すフローチャートである。仕様情報取得工程Ｓ１０では、図２に示す仕様情報取得部５０は、フォトアルバムの仕様情報を取得する。仕様情報取得部５０は仕様情報を図１に示す情報メモリ２６へ記憶する。仕様情報取得工程Ｓ１０の後に候補画像取得工程Ｓ１２へ進む。

なお、図１に示す画像処理装置１０にフォトアルバム作成ソフトウェアがインストールされていない場合は、仕様情報取得工程Ｓ１０の前に、ダウンロードサイトからフォトアルバム作成ソフトウェアをダウンロードし、インストールする準備工程が実施される。

フォトアルバムの仕様情報は、例えば、フォトアルバムのサイズおよびページ数を含む 情報である。フォトアルバムのサイズの例として、Ａ４、Ａ５及びＡ５スクエア等が挙げ られる。ページ数の例として、１６ページ、２４ページ、３２ページ、４０ページ及び４ ８ページ等が挙げられる。サイズ及びページ数の指定に基づき、フォトアルバムの作成に 必要な画像数が決められる。例えば、２４ページが指定された場合、画像の最低必要枚数 は１００というように決められる。

候補画像取得工程Ｓ１２では、画像取得部５２はユーザが所有する候補画像を取得する。

画像取得部５２は取得した候補画像を画像メモリ２４へ記憶する。候補画像取得工程Ｓ１２の後にユーザ選択情報取得工程Ｓ１４へ進む。

候補画像は、属性等に基づいて複数のフォルダに分類されて記憶され得る。候補画像取得工程Ｓ１２では、画像取得部５２は複数のフォルダから一以上のフォルダを選択し、選択されたフォルダに含まれる候補画像を取得してもよいし、メモリカードに記憶されている複数の画像を候補画像として一括して取得してもよい。また、候補画像取得工程Ｓ１２では、画像取得部５２がユーザに関連付けされた画像を探索し、探索された画像を候補画像として自動的に取得してもよい。

ユーザ選択情報取得工程Ｓ１４では、ユーザ選択情報取得部５４はユーザ選択画像について、ユーザ選択情報を取得する。ユーザ選択情報取得工程Ｓ１４の後にユーザ選択画像解析工程Ｓ１６へ進む。

ユーザ選択画像解析工程Ｓ１６では、解析部５６はユーザ選択画像の解析を実施する。基準推測部６０は解析結果に基づき、ユーザの嗜好等に応じたユーザ選択基準を推測する。基準推測部６０は推測されたユーザ選択基準を情報メモリ２６へ記憶する。ユーザ選択画像解析工程Ｓ１６の後に自動選択工程Ｓ１８へ進む。

自動選択工程Ｓ１８では、自動選択部６２はユーザ選択画像解析工程Ｓ１６において推測されたユーザ選択基準を用いて、候補画像の非選択画像から自動選択画像を選択する。自動選択部６２は自動選択画像の自動選択画像情報を情報メモリ２６へ記憶する。自動選択工程Ｓ１８の後にレイアウト工程Ｓ２０へ進む。

レイアウト工程Ｓ２０では、レイアウト部６４はユーザ選択画像及び自動選択画像を用いて、仕様情報取得工程Ｓ１０において取得したサイズ及びページ数等の仕様情報に基づき、フォトアルバムの自動レイアウトを作成する。

レイアウト工程Ｓ２０では、レイアウト部６４は、ディスプレイユニット１４を用いて自動レイアウトを表示させ得る。レイアウト部６４は、自動レイアウトに関するレイアウト情報を情報メモリ２６へ記憶する。レイアウト工程Ｓ２０の後に編集工程Ｓ２２へ進む。

編集工程Ｓ２２では、レイアウト部６４は自動レイアウトに対するユーザの手動編集を受け付け、自動レイアウトを編集する。レイアウト部６４は、ディスプレイユニット１４を用いて編集後のレイアウトを表示され得る。レイアウト部６４は、編集後のレイアウトのレイアウト編集情報を情報メモリ２６へ記憶する。なお、編集工程Ｓ２２は省略可能である。編集工程Ｓ２２の後に注文情報送信工程Ｓ２４へ進む。

注文情報送信工程Ｓ２４では、注文情報送信部６６はフォトアルバムの仕様情報、フォトアルバムに使用される画像及びフォトアルバムのレイアウト情報等を含むフォトアルバムの注文情報をフォトアルバムの作成業者へ送信する。

注文情報送信工程Ｓ２４の後に規定の終了処理が実施され、プロセッサ２０は画像処理方法を終了する。注文情報を受信したフォトアルバムの作成業者は、注文情報に基づきフォトアルバムを作成する。

なお、レイアウト工程Ｓ２０、編集工程Ｓ２２及び注文情報送信工程Ｓ２４は、図１等に示す画像処理装置１０を用いて実施せずに、画像処理装置１０に接続される外部装置を用いて実施してもよい。

〔選択画面の構成例〕
図４は選択画面の一例を示す選択画面の模式図である。選択画面１００はディスプレイユニット１４を用いて表示される。選択画面１００は、候補画像１０２の少なくとも一部が表示される。図４に示す選択画面１００に表示される候補画像１０２は、サムネイル画像が適用される。選択画面１００は、候補画像１０２のファイル名等の付帯情報、候補画像の全数、ユーザ選択画像の数等を表示させてもよい。

ユーザは、選択画面１００に表示される複数の候補画像１０２から、二以上のユーザ選択画像１０２Ａを選択する。図４に示すユーザ選択画像１０２Ａは、ユーザの選択を表す選択記号１０４が重畳表示される。

選択画面１００に表示される決定ボタン１０６は、ユーザの選択を確定させる際にユーザが操作するボタンである。選択画面１００におけるスクロールバー１０８を操作して、ユーザは全ての候補画像１０２を選択画面１００に順に表示させ得る。

図４に示す符号１０２Ｂは、候補画像１０２のうち、ユーザが非選択の非選択画像を示す。非選択画像１０２Ｂは、ユーザ選択画像１０２Ａに付される選択記号１０４が重畳表示されていない。なお、図４に示すユーザ選択画像１０２Ａは第一ユーザ選択画像の一例である。ユーザ選択画像１０２Ａのユーザ選択情報は第一ユーザ選択情報の一例である。

〔選択画像解析工程における解析処理の具体例〕
図４に示すユーザ選択画像１０２Ａの解析は、被写体の判定結果、ボケ度合い及びブレ度合い、明るさの度合い、色彩、人物の顔認識及び人物の数など、一つ以上の種類の属性が適用され、属性ごとに属性情報が付与される。

図５は選択画像の解析結果の一例を示す解析結果の模式図である。なお、図５に示すファイル名は任意の文字列が記載される。図５には、属性の種類として、被写体の判定結果、ボケブレ度合い、明るさの度合い、色彩並びに人物を例示する。なお、図５に示すボケブレ度合いは、ボケ度合い及びブレ度合いを示し、言い換えると、合焦度合いを示す。

被写体の判定結果は、被写体を人物、風景及びオブジェクトの種類等に分類し得る。図５にはオブジェクトの種類の例として料理、風景及び人物を例示する。被写体の判定は画像に対するタグ付け技術を適用し得る。

ボケブレ度合いは、０から１００までの範囲の数値を用いて表されるボケブレ評価値を適用し得る。ボケブレ評価値が相対的に大きい場合に、ボケブレ度合いが相対的に小さい良好な画像を表す。

図５に示す解析結果は、五つのユーザ選択画像１０２Ａのうち四つのユーザ選択画像１０２Ａのボケブレ評価値が８０以上であり、ユーザはボケブレ評価値が８０以上の画像を選択するという選択基準を推測し得る。言い換えると、ボケブレ評価値は、ユーザ選択比率が８０パーセント以上を満たす場合にユーザ選択基準として推測し得る。

明るさの度合いは、０から１００までの範囲の数値を用いて表される明るさ評価値を適用し得る。明るさ評価値が相対的に大きい場合に、相対的に明るい良好な画像を表す。明るさの度合いは、マンセルカラーシステムにおける明度を適用し得る。

図５に示す解析結果は、五つのユーザ選択画像１０２Ａのうち三つのユーザ選択画像１０２Ａの明るさ評価値が８０以上であり、ユーザは明るさ評価値が８０以上の画像を選択するというユーザ選択基準を推測し得る。言い換えると、明るさ評価値は、ユーザ選択比率が６０パーセント以上を満たす場合にユーザ選択基準として推測し得る。

色彩は、０から１００までの範囲の数値を用いて表される色彩評価値を適用し得る。色彩評価値が相対的に大きい場合に、相対的に色が鮮やかな良好な画像を表す。明るさは、マンセルカラーシステムにおける彩度を適用し得る。

図５に示す解析結果は、五つのユーザ選択画像１０２Ａのうち三つのユーザ選択画像１０２Ａの色彩評価値が８０以上であり、ユーザは色彩評価値が８０以上の画像を選択するというユーザ選択基準を推測し得る。言い換えると、色彩評価値は、ユーザ選択比率が６０パーセント以上を満たす場合にユーザ選択基準として推測し得る。

人物は、特定の人物が含まれるか否かを表す。図５に示すファイル名０００２．ｘｘｘを用いて表されるユーザ選択画像１０２Ａは、人物Ａ及び人物Ｂが含まれることを表す。ファイル名０００４．ｘｘｘを用いて表されるユーザ選択画像１０２Ａは人物Ａが含まれることを表す。

図５に示す解析結果では、五つのユーザ選択画像１０２Ａのうち、ファイル名０００１．ｘｘｘ、ファイル名０００３．ｘｘｘ及びファイル名０００５．ｘｘｘを有する三つのユーザ選択画像１０２Ａは、属性情報として料理が付与される。この解析結果に基づき、料理が含まれる画像を選びたいというユーザ選択基準を推測し得る。言い換えると、被写体判定結果は、ユーザ選択比率が６０パーセント以上を満たす場合にユーザ選択基準として推測し得る。

また、五つのユーザ選択画像１０２Ａのうち、ファイル名０００２．ｘｘｘ及びファイル名０００４．ｘｘｘを有する二つのユーザ選択画像１０２Ａは、属性情報として人物Ａが付与される。この解析結果に基づき、人物Ａが含まれる画像を選びたいというユーザ選択基準を推測し得る。

言い換えると、人物判定結果に含まれる人物情報は、ユーザ選択比率が４０パーセント以上を満たす場合にユーザ選択基準として推測し得る。また、人物判定結果に関しては、ユーザ選択画像１０２Ａのうち、人物が含まれるユーザ選択画像１０２Ａの全数に対するユーザ選択人物比率に基づいてユーザ選択基準を推測してもよい。

例えば、図５に示す五つのユーザ選択画像１０２Ａのうち、人物Ａが含まれるユーザ選択画像１０２Ａは、ファイル名０００２．ｘｘｘ及びファイル名０００４．ｘｘｘを有するユーザ選択画像１０２Ａである。

ファイル名０００２．ｘｘｘ及びファイル名０００４．ｘｘｘを有するユーザ選択画像１０２Ａの双方に人物Ａが付与されることから、人物Ａについてのユーザ選択人物比率は１００パーセントである。例えば、ユーザ選択基準を推測する閾値が８０パーセント以上である場合は、人物Ａが含まれる画像を選びたいというユーザ選択基準を推測し得る。

すなわち、ユーザ選択画像１０２Ａの解析処理では、ユーザ選択画像１０２Ａごとに一つ以上の種類の属性について属性情報が付与され、同一の属性情報を有するユーザ選択画像１０２Ａの数を、ユーザ選択画像１０２Ａの全数で除算したユーザ選択比率に基づき、ユーザの嗜好等に応じたユーザ選択基準が推測される。

図５に示す例では、ユーザ選択比率が所定の閾値以上となる属性情報を用いてユーザ選択基準を推測する態様を例示したが、ユーザ選択比率に対する閾値はユーザ選択画像の数等に応じて任意に規定し得る。ユーザ選択比率に対する閾値は予め規定される固定値でもよいし、ユーザが手動で設定する設定値でもよい。

なお、図５に示す属性の種類は例示であり、選択画像に適用される属性の種類は図５の例に限定されない。また、属性の種類の数は一以上であればよい。例えば、図２に示す解析部５６を用いて解析され、非選択画像に付与される属性は、被写体の種類、画像のボケ度合い及びブレ度合いを表す合焦度合い、明るさ度合い、色彩並びに人物の有無等の少なくとも一つであればよい。

また、図５に示すユーザ選択画像１０２Ａに基づくユーザ選択比率は第一ユーザ選択比率の一例である。第一ユーザ選択比率に基づくユーザ選択基準は第一ユーザ選択基準の一例である。

〔自動選択工程における選択処理の具体例〕
図４に示す自動選択工程Ｓ１８では、候補画像における非選択画像１０２Ｂを解析し、ユーザ選択基準を用いて非選択画像１０２Ｂから自動選択画像を選択する。非選択画像１０２Ｂの解析は、選択画像解析工程におけるユーザ選択画像１０２Ａの解析処理と同様の処理を適用し得る。

図６は非選択画像の解析結果の一例を示す解析結果の模式図である。図６に示す非選択画像１０２Ｂの解析結果は、図５に示すユーザ選択画像１０２Ａの解析結果と同じ属性の種類について、非選択画像１０２Ｂに対して属性情報が付与される。

非選択画像１０２Ｂは、それぞれに付与される属性情報を用いて、非選択画像１０２Ｂごとの基準スコアが算出される。図６に示す基準スコアは、ボケブレ評価値、明るさ評価値及び色彩評価値の合算値に対して、人物一人当たりのスコアを１００として、人物の数をスコア化した数値が加算されて算出される。

次に、ユーザ選択基準に基づき基準スコアを調整した調整スコアが算出される。被写体に料理が含まれる画像を選択したいというユーザ選択基準が推測された場合、被写体に料理が含まれる非選択画像１０２Ｂに正の重みとして調整値を付与して調整スコアが算出される。調整スコアが高い順に規定数の自動選択画像が選択される。

図７は調整スコアの説明図である。ファイル名００１１．ｘｘｘを有する非選択画像１０２Ｂは、被写体に料理が含まれるという解析結果が得られているので、図６に示す基準スコアに対して正の調整値＋３００を適用して調整スコアが算出される。

また、人物が含まれる画像を選びたいという選択基準が推測された場合、被写体に人物が含まれる非選択画像１０２Ｂは正の重みとして正の調整値が付与され、図６に示す基準スコアを調整した調整スコアが算出される。

図８は調整スコアの他の例を示す調整スコアの説明図である。ファイル名００１０．ｘｘｘを有する非選択画像１０２Ｂ及びファイル名００１３．ｘｘｘを有する非選択画像１０２Ｂはいずれも、被写体に人物Ａが含まれる解析結果が得られているので、図６に示す基準スコアに対して正の調整値＋３００が適用され調整スコアが算出される。

このようにして、ユーザ選択基準に対応する重みとして調整値を用いて、非選択画像１０２Ｂの解析結果に基づき算出された基準スコアを調整した調整スコアを算出し、調整スコアが高い順に自動選択画像が選択される。

なお、本実施形態では、被写体判定結果及び人物等の複数の属性に基づくユーザ判定基準により調整する調整値は同一としたがこれに限られない。属性ごとに異なる調整値が設定されてもよい。

例えば、ボケブレ度合い、明るさ度合い及び色彩等の属性に基づくユーザ判定基準を用いて調整する調整値は、被写体判定結果や人物等に基づくユーザ判定基準を用いて調整する調整値と比較して調整値を下げてもよい。

〔自動レイアウトの具体例〕
フォトアルバムに使用される画像として候補画像１０２の中から選択された複数の画像を、フォトアルバムの各ページにレイアウトする際に、自動選択画像に対してユーザ選択画像１０２Ａを優先的にレイアウトしてもよい。

例えば、ユーザ選択画像１０２Ａ及び自動選択画像をフォトアルバムの各ページにレイアウトする際に、自動選択画像よりもユーザ選択画像１０２Ａを大きくレイアウトしてもよいし、自動選択画像よりもページ番号が小さいページにユーザ選択画像１０２Ａをレイアウトしてもよい。

［第一実施形態の作用効果］
第一実施形態に係る画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
ユーザが選択したユーザ選択画像１０２Ａが解析され、ユーザ選択基準が推測される。推測されたユーザ選択基準に基づき非選択画像１０２Ｂの自動選択が実施される。これにより、ユーザ選択画像及び自動選択画像を用いて、フォトアルバムの自動レイアウトを実施し得る。

〔２〕
非選択画像１０２Ｂごとに属性情報に基づく基準スコアが算出される。基準スコアは、ユーザ選択基準に基づく重みを表す調整値を用いて調整され、非選択画像１０２Ｂごとに調整スコアが算出される。これにより、調整スコアが大きい順にフォトアルバムに使用される自動選択画像を選択し得る。

［第二実施形態］
〔画像処理装置の全体構成〕
次に、第二実施形態に係る画像処理装置について説明する。以下の説明では、主として、第一実施形態に係る画像処理装置１０との違いについて説明する。図２を参照して、第二実施形態に係る画像処理装置の全体構成について説明する。

第二実施形態に係る画像処理装置は、フォトアルバムに入れたくないユーザ選択画像をユーザが手動で選択し、ユーザ選択画像の解析結果に基づき、フォトアルバムに入れたくないというユーザの嗜好等を反映したユーザ選択基準を推測し、非選択画像からフォトアルバムに入れたくない画像を自動選択画像から除外する。

換言すると、非選択画像から自動選択画像を選択する際に、ユーザがフォトアルバムに入れたくないと推測される非選択画像が除外され、フォトアルバムに使用される自動選択画像が選択される。

ユーザ選択情報取得部５４は、フォトアルバムに入れたくない画像という観点で、ユーザが手動で選択したユーザ選択画像のユーザ選択情報を取得する。解析部５６はユーザ選択画像を解析し、属性情報付与部５８はユーザ画像ごとに属性の種類ごとの属性情報を付与する。

基準推測部６０は、ユーザ選択画像の全数に対する同一の属性情報を有するユーザ選択画像の比率に基づき、ユーザがフォトアルバムに入れたくない画像のユーザ選択基準を推測する。換言すると、基準推測部６０は、負の重みとしてユーザ選択基準を推測する。

自動選択部６２は、ユーザ選択基準に基づき、非選択画像からユーザがフォトアルバムに入れたくないと推測される画像を選択的に除外し、除外された画像を除いた非選択画像を自動選択画像として選択する。

レイアウト部６４は、ユーザ選択画像及び自動選択画像を用いて、フォトアルバムの自動レイアウトを実施する。なお、候補画像は符号２０２を用いて図９に図示する。ユーザ選択画像は符号２０２Ａを用いて図９に図示する。非選択画像は符号２０２Ｂを用いて図９に図示する。

〔画像処理方法の手順〕
図３を参照して、第二実施形態に係る画像処理方法について説明する。ユーザ選択情報取得工程Ｓ１４では、ユーザ選択情報取得部５４は、フォトアルバムに入れたくない画像という観点で、ユーザが手動で選択したユーザ選択画像のユーザ選択情報を取得する。

ユーザ選択画像解析工程Ｓ１６では、ユーザ選択画像を解析し、ユーザ選択画像の全数に対する同一の属性情報を有するユーザ選択画像の比率に基づき、ユーザがフォトアルバムに入れたくない画像のユーザ選択基準を推測する。

自動選択工程Ｓ１８では、ユーザ選択基準に基づき、非選択画像からユーザがフォトアルバムに入れたくないと推測される画像を選択的に除外し、除外された画像を除いた非選択画像を自動選択画像として選択する。

レイアウト工程Ｓ２０では、ユーザ選択画像及び自動選択画像を用いて、フォトアルバムの自動レイアウトを実施する。

〔選択画面の構成例〕
図９は第二実施形態に係る画像処理装置に適用される選択画面の模式図である。選択画面２００では、ユーザ選択画像２０２Ａは、ユーザの選択を表す負の選択記号２０４が重畳表示される。

ユーザが決定ボタン２０６を操作した際に、フォトアルバムに入れたくない画像について、ユーザの選択が確定する。選択画面２００においても、スクロールバー２０８を操作して、ユーザは全ての候補画像２０２を選択画面２００に順に表示させ得る。

なお、図９に示すユーザ選択画像２０２Ａはユーザが候補画像からフォトアルバムに非使用とする画像として選択した第二ユーザ選択画像の一例である。図９に示すユーザ選択画像２０２Ａに対応するユーザ選択情報は第二ユーザ選択情報の一例である。図９に示すユーザ選択画像２０２Ａに基づくユーザ選択比率は第二ユーザ選択比率の一例である。図９に示すユーザ選択画像２０２Ａに基づき推測されるユーザ選択基準は第二ユーザ選択基準の一例である。

〔選択画像解析工程における解析処理の具体例〕
図１０は選択画像の解析結果の一例を示す解析結果の模式図である。第二実施形態における選択画像の解析結果は、第一実施形態と同様に、被写体の判定、ボケブレ度合い、明るさの度合い、色彩、人物の顔認識及び人物の数が属性に適用される。

図１０に示す解析結果において、五つのユーザ選択画像２０２Ａのうち、被写体に風景が含まれるユーザ選択画像２０２Ａが三つ選択されている。これにより、被写体に風景が含まれる画像をフォトアルバムに入れたくないというユーザ選択基準を推測し得る。言い換えると、被写体判定結果は、ユーザ選択比率が６０パーセント以上を満たす場合にユーザ選択基準として推測し得る。

また、五つのユーザ選択画像２０２Ａのうち、被写体に人物Ｃが含まれるユーザ選択画像２０２Ａが二つ選択されている。これにより、被写体に人物Ｃが含まれる画像をフォトアルバムに入れたくないというユーザ選択基準を推測し得る。

言い換えると、人物判定結果は、ユーザ選択比率が４０パーセント以上を満たす場合にユーザ選択基準として推測し得る。また、人物判定結果に関しては、第一実施形態と同様に、ユーザ選択画像２０２Ａのうち、人物が含まれるユーザ選択画像２０２Ａの全数に対するユーザ選択人物比率に基づいてユーザ選択基準を推測してもよい。

また、被写体判定結果に限らず、ボケブレ度合い、明るさ度合い及び色彩等の属性情報に基づいて、非選択画像に対するユーザ選択比率が所定の閾値以上である場合に、ユーザ選択基準と推測してもよい。

〔自動選択工程における選択処理の具体例〕
図１１は非選択画像の解析結果の一例を示す解析結果の模式図である。非選択画像の解析では、第一実施形態と同様に、非選択画像２０２Ｂについて、ユーザ選択画像２０２Ａと同じ属性の種類について属性情報が付与される。また、第一実施形態と同様に、非選択画像２０２Ｂのそれぞれについて、属性情報を用いて基準スコアが算出される。なお、非選択画像２０２Ｂの基準スコアの図示を省略する。

非選択画像２０２Ｂの自動選択では、フォトアルバムに入れたくないというユーザ選択基準に基づき、負の重みとして負の調整値が算出され、負の調整値を用いて基準スコアが調整され、調整スコアが算出される。調整スコアが高い順に規定数の自動選択画像を選択し得る。

図１２は調整スコアの説明図である。被写体に料理が含まれる画像をフォトアルバムに入れたくないというユーザ選択基準が推測された場合、ファイル名００１１．ｘｘｘを有する非選択画像２０２Ｂは、負の重みとして調整値－３００が付与され、調整スコアが算出される。

図１３は調整スコアの他の例の説明図である。被写体に人物Ａが含まれる画像をフォトアルバムに入れたくないというユーザ選択基準が推測された場合、ファイル名００１０．ｘｘｘを有する非選択画像２０２Ｂ及びファイル名００１３．ｘｘｘを有する非選択画像２０２Ｂは、負の重みとして調整値－３００が付与され、調整スコアが算出される。

すなわち、フォトアルバムに入れたくないというユーザ選択基準に基づき、非選択画像２０２Ｂごとの基準スコアに対して負の重みを適用して調整スコアが算出される。このようにして算出された非選択画像２０２Ｂごとの調整スコアが高い順に、非選択画像２０２Ｂから規定数の自動選択画像を選択し得る。

［第二実施形態の作用効果］
第二実施形態に係る画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
ユーザがフォトアルバムに入れたくない画像として手動で選択したユーザ選択画像２０２ Ａが解析され、ユーザがフォトアルバムに入れたくない画像のユーザ選択基準が推測される。推測されたユーザ選択基準に基づき推測された画像が非選択画像２０２Ｂから除外され、非選択画像２０２Ｂから自動選択画像が選択される。これにより、ユーザ選択画像及び自動選択画像を用いて、フォトアルバムの自動レイアウトを実施し得る。

〔２〕
非選択画像２０２Ｂは属性情報に基づき基準スコアが算出される。基準スコアは、ユーザがフォトアルバムに入れたくない画像のユーザ選択基準に基づく負の重みを用いて調整され、調整スコアが算出される。これにより、調整スコアが大きい順にフォトアルバムに使 用される画像を自動選択し得る。

［第三実施形態］
〔画像処理装置の全体構成〕
次に、第三実施形態に係る画像処理装置について説明する。以下の説明では、主として、第一実施形態に係る画像処理装置１０との違いについて説明する。図２を参照して、第二実施形態に係る画像処理装置の全体構成について説明する。

第三実施形態に係る画像処理装置は、ユーザ選択画像が選択される際に、ユーザが非選択とした非選択画像のうち選択画面に表示された表示非選択画像の情報である表示非選択画像情報を保持し、表示非選択画像情報を用いてユーザ表示非選択基準を推測し、ユーザ選択基準の推測を補強する。

図２に示すユーザ選択情報取得部５４は、ユーザ選択情報を取得し、かつ、表示非選択画像情報を取得する。表示非選択画像情報の例として、表示非選択画像のファイル名、選択画面におけるユーザ選択画像との位置関係、選択画面に表示されていた期間等が挙げられる。

基準推測部６０は、表示非選択画像情報からユーザが非選択とした意図を示すユーザ表示非選択基準を推測する。推測されたユーザ表示非選択基準を用いて、表示非選択画像をユーザが非選択とした意図が考慮され、ユーザ選択基準の推測が補強される。

〔画像処理方法の手順〕
図３に示すユーザ選択情報取得工程Ｓ１４では、ユーザ選択情報を取得し、かつ、表示非選択画像情報を取得する。ユーザ選択画像解析工程Ｓ１６では、表示非選択画像に関する非表示選択情報を取得し、表示非選択画像の解析結果に基づきユーザが非選択とした意図を示すユーザ表示非選択基準を推測し、推測されたユーザ表示非選択基準を用いて、表示非選択画像をユーザが非選択とした意図が考慮され、ユーザ選択基準の推測が補強される。

〔選択画面の構成例〕
図１４は第三実施形態に係る画像処理装置に適用される選択画面の模式図である。非表示領域３００Ａは、選択画面３００に表示されていない非表示候補画像３０２Ｃが配置される領域であり、スクロールバー３０８が操作された際に選択画面３００に表示され得る領域を表す。非表示候補画像３０２Ｃは、選択画面３００に表示された場合に、ユーザ選択画像３０２Ａとして選択され得る。なお、符号３０２は候補画像を示す。符号３０２Ｂは表示非選択画像を示す。符号３０４は選択記号を示す。符号３０６は決定ボタンを示す。

〔表示非選択画像から推測されるユーザの嗜好等〕
図１５は表示非選択画像から推測されるユーザの嗜好等の説明図である。図１５には非選択画像情報として、選択画面３００への表示期間、選択画面３００におけるユーザ選択画像３０２Ａとの位置関係及びユーザ選択画像３０２Ａとの類似度を例示する。

選択画面３００におけるユーザ選択画像３０２Ａとの位置関係は、ピクセル数等の数値を用いて両者の距離を適用し得る。ユーザ選択画像３０２Ａとの類似度は比率等の数値を適用し得る。

また、図１５には表示非選択画像３０２Ｂを非選択としたユーザの意図の推測結果を示す。例えば、選択画面３００への表示期間が相対的に短い表示非選択画像３０２Ｂは、ユーザ選択画像３０２Ａをユーザが探す過程において、選択画面３００をスクロールさせる際にユーザの視認範囲を通過したなど、ユーザがほとんど視認せず、非選択の意図がないと推測され得る。

一方、選択画面３００への表示期間が相対的に長く、選択画面３００におけるユーザ選択画像３０２Ａとの位置関係が相対的に近く、かつ、ユーザ選択画像３０２Ａとの類似度が相対的に高い表示非選択画像３０２Ｂは、ユーザに視認されたが選択されていないと推測し得る。すなわち、ユーザが選びたくないと画像と推測し得る。

選択画面３００への表示期間が相対的に長く、選択画面３００におけるユーザ選択画像３０２Ａとの位置関係が相対的に近く、類似度が相対的に高い表示非選択画像３０２Ｂは、ユーザに視認されたがユーザ選択画像３０２Ａと類似しているため、選択を保留したと推測し得る。

図１５に示すように、表示非選択画像３０２Ｂにおけるユーザの非選択の意図の推測結果に対して、基準スコアを調整する負の調整値を付与し、調整値を用いて表示非選択画像３０２Ｂごとに算出された基準スコアを調整した調整スコアを算出し得る。ユーザの非選択の意図の推測結果に基づく負の調整値は、基準スコアに対する負の重みである。

ユーザ選択基準に基づく重みが負の重みの場合、ユーザ表示非選択基準に基づく重みは正の重みとなる。すなわち、ユーザ選択基準に基づく重みが正の重み又は負の重みのいずれか一方の場合、ユーザ表示非選択基準に基づく重みは正の重み又は負の重みの他方となる。

なお、本実施形態において、表示非選択画像３０２Ｂは、表示期間、選択画像との表示位置関係及び類似度の少なくともいずれかに基づいて、ユーザ表示非選択基準を推測し、推測されたユーザ表示非選択基準に基づき調整値を設定したがこれに限られない。

表示非選択画像を第二実施形態のユーザ選択画像２０２Ａ(第二ユーザ選択画像)と判定し、第二実施形態と同様に、表示非選択画像３０２Ｂの全数に対する属性ごとの表示非選択画像３０２Ｂの比率をユーザ選択比率(第二ユーザ選択比率)と判定し、表示非選択画像３０２Ｂの比率に基づいて、フォトアルバムに使用しないことを示すユーザ選択基準(第二ユーザ選択基準)を推測してもよい。

更に、表示非選択画像３０２Ｂのうち、所定の条件を満たすもの、例えば、図１５において選びたくないと判断されたもののみを第二実施形態のユーザ選択画像（第二ユーザ選択画像）と判定し、第二実施形態と同様の処理を実施してもよい。

〔自動選択工程における選択処理の具体例〕
図１６は基準スコアの一例を示す基準スコアの説明図である。同図に示す表示非選択画像３０２Ｂごとの基準スコアの算出は、第一実施形態及び第二実施形態と同様である。ここでの説明は省略する。

図１７は調整スコアの説明図である。図１７に示す調整スコアは、図７に示す調整スコアに対して、図１５に示す調整値を考慮して算出される。ファイル名００１１．ｘｘｘを有する表示非選択画像３０２Ｂは、被写体に料理が含まれる画像を選択したいというユーザ選択基準に対応する調整値として＋３００が付与される。

一方、ファイル名００１１．ｘｘｘを有する表示非選択画像３０２Ｂは、ユーザの非選択の意図に対応する調整値として－３００が付与される。基準スコアに対して調整値を用いた調整を行い調整スコアが算出される。

［第三実施形態の作用効果］
第三実施形態に係る画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
選択画面３００に表示されたがユーザが非選択とする表示非選択画像３０２Ｂから、ユーザの非選択の意図が推測される。これにより、非選択画像から自動選択画像を選択する際に、非選択画像ごとのユーザの非選択の意図を考慮し得る。

〔２〕
表示非選択画像３０２Ｂは、ユーザの非選択の意図に対応する負の重みとして調整値が付与され、調整値を用いて基準スコアが補正された補正スコアが算出される。これにより、補正スコアが高い順に規定数の自動選択画像が選択される際に、表示非選択画像３０２Ｂごとのユーザの非選択の意図を考慮し得る。

［実施形態の組み合わせについて］
第一実施形態、第二実施形態及び第三実施形態は、それぞれを適宜組み合わせてもよい。例えば、第一実施形態に対して第二実施形態を組み合わせることが可能である。

すなわち、図４に示す候補画像１０２からユーザ選択画像１０２Ａをユーザが手動で選択する際に、図９に示す、ユーザがフォトアルバムに入れたくないユーザ選択画像２０２Ａをユーザが手動で選択してもよい。

ユーザ選択画像１０２Ａに基づき推測されるユーザ選択基準と、ユーザ選択画像２０２Ａに基づき推測されるユーザ選択基準とを用いて、候補画像からユーザの嗜好等に対応する自動選択画像の選択を実施し得る。

非選択画像について調整スコアを算出する際に、ユーザ選択画像１０２Ａに基づき推測されるユーザ選択基準に基づき算出される正の重み適用し、かつ、ユーザ選択画像２０２Ａに基づき推測されるユーザ選択基準に基づき算出される負の重みを適用し得る。

また、第二実施形態に対して第三実施形態を組み合わせることが可能である。すなわち、第三実施形態では、図１４に示す候補画像３０２からユーザがフォトアルバムに使用する画像として選択したユーザ選択画像３０２Ａに基づきユーザ選択基準を推測し、表示非選択画像３０２Ｂからユーザがフォトアルバムに使用したくない意図を示すユーザ表示非選択基準を推測した。

第三実施形態において、候補画像３０２からユーザがフォトアルバムに使用しない画像として選択したユーザ選択画像に基づきユーザ選択基準を推測し、表示非選択画像３０２Ｂからユーザがフォトアルバムに使用したいという意図を示すユーザ表示非選択基準を推測してもよい。

言い換えると、第二実施形態において、第三実施形態と同様に、表示非選択画像とユーザ選択画像との位置関係および表示非選択画像の表示期間等に基づき、表示非選択画像からユーザ表示非選択基準を推測し、図９に示すユーザ選択画像２０２Ａに基づき推測されるユーザ選択基準に基づき算出される負の重み適用し、かつ、ユーザ表示非選択画像に基づき推測されるユーザ表示非選択基準に基づき算出される正の重みを適用し得る。

［各処理部及び制御部のハードウェア構成］
上記実施形態で説明した画像処理装置１０及び画像処理ユニット１２の装置の処理を実行する処理部のハードウェア的な構造は、各種のプロセッサである。各種のプロセッサには、ＣＰＵ（Central Processing Unit）、ＰＬＤ（Programmable Logic Device）及びＡＳＩＣ（Application Specific Integrated Circuit）等が含まれる。

ＣＰＵは、プログラムを実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、製造後に回路構成を変更可能なプロセッサである。ＰＬＤの例として、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を有する専用電気回路である。

一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ等を用いて構成されてもよい。一つの処理部は、一つ以上のＦＰＧＡ及び一つ以上のＣＰＵを組み合わせて構成されてもよい。

また、一つのプロセッサを用いて複数の処理部を構成してもよい。一つのプロセッサを用いて複数の処理部を構成する例として、一つ以上のＣＰＵとソフトウェアとを組み合わせて一つのプロセッサを構成し、一つプロセッサが複数の処理部として機能する形態がある。かかる形態は、クライアント端末装置及びサーバ装置等のコンピュータに代表される。

他の構成例として、複数の処理部を含むシステム全体の機能を一つのＩＣチップを用いて実現するプロセッサを使用する形態が挙げられる。かかる形態は、システムオンチップ（System On Chip）などに代表される。なお、ＩＣはIntegrated Circuitの省略語である。また、システムオンチップは、System On Chipの省略語を用いてＳｏＣと記載される場合がある。

このように、各種の処理部は、ハードウェア的な構造として、上記した各種のプロセッサを一つ以上用いて構成される。更に、各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

［プログラムへの適用例］
本明細書に記載した画像処理装置の各種機能及び画像処理方法の各工程を、コンピュータに実現させるプログラムを構成し得る。例えば、図２に示す仕様情報取得部５０、画像取得部５２、ユーザ選択情報取得部５４、解析部５６、属性情報付与部５８、基準推測部６０、自動選択部６２、レイアウト部６４及び注文情報送信部６６に対応する処理をコンピュータに実現させるプログラムを構成し得る。

［ネットワークシステムへの適用例］
図１に示す画像処理装置１０は、複数の独立した装置が互いに接続されるシステムを用いて構成し得る。例えば、画像処理装置１０はネットワークを介して複数のコンピュータが互いに接続されるネットワークシステムを用いて構成し得る。複数のコンピュータは、ネットワークを介してデータ通信可能に接続されるサーバ装置及びクライアント装置を適用し得る。また、上記したシステムはクラウドコンピューティングを適用し得る。

例えば、画像処理装置１０は、ディスプレイユニット１４および入力ユニット１６を有する端末装置、メモリ２２以外の画像処理ユニット１２を有する画像処理サーバ装置及びメモリ２２およびストレージユニット１８を有するストレージサーバ装置を具備するシステム全体を構成し得る。更に、画像処理装置１０は、上記したシステムにおける画像処理サーバのみを構成し得る。

例えば、上記した画像処理装置をサーバ装置に搭載し、クライアント装置からユーザが所有する画像をアップロードし、サーバ装置を用いて各種の処理を実施し、サーバ装置からクライアント装置へ処理結果を送信し得る。なお、サーバ装置は一台に限定されない。複数のサーバ装置を用いて各種の処理を実施してもよい。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。また、実施形態、変形例及び応用例は適宜組み合わせて実施してもよい。

［本開示の他の態様］
他の態様に係る画像処理装置において、プロセッサは、非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、ユーザ選択基準に対応する重みを用いて基準スコアを調整した調整スコアを算出し、調整スコアが高い順に、非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザ選択基準に対応する重みに応じて、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、ユーザが候補画像からフォトアルバムに使用する画像として選択した第一ユーザ選択画像に関する第一ユーザ選択情報を取得し、第一ユーザ選択画像の解析結果に基づき、ユーザ選択基準としてフォトアルバムに使用する画像に対応する第一ユーザ選択基準を推測し、第一ユーザ選択基準に基づき、非選択画像からフォトアルバムに使用される画像である自動選択画像を選択する。

かかる態様によれば、ユーザがフォトアルバムに使用したい画像に基づき推測される第一ユーザ選択基準に基づき、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、第一ユーザ選択基準の基となる第一ユーザ選択比率が相対的に高い属性を有する非選択画像を自動選択画像として優先して選択する。

かかる態様によれば、第一ユーザ選択比率が高い属性を有する非選択画像が優先的に選択される。

他の態様に係る画像処理装置において、プロセッサは、非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、第一ユーザ選択基準に対応する正の重みを用いて基準スコアを調整した調整スコアを算出し、調整スコアが高い順に非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザ選択基準に対応する重みに応じて、非選択画像の自動選択を実施し得る。また、ユーザがフォトアルバムに使用したい画像に基づき、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、ユーザが候補画像からフォトアルバムに非使用とする画像として選択した第二ユーザ選択画像に関する第二ユーザ選択情報を取得し、第二ユーザ選択画像の解析結果に基づき、ユーザ選択基準としてフォトアルバムに非使用とする画像に対応する第二ユーザ選択基準を推測し、第二ユーザ選択基準に基づき、非選択画像からフォトアルバムに非使用とされる画像を除外して、非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザが選択したフォトアルバムに非使用とする画像に基づき推測される第二ユーザ選択基準に基づき、非選択画像からフォトアルバムに非使用とされる画像を除外して、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、第二ユーザ選択基準の基となる第二ユーザ選択比率が相対的に高い属性を有する非選択画像を自動選択画像として優先して除外する。

かかる態様によれば、第二ユーザ選択比率が高い属性を有する非選択画像が優先的に除外される。

他の態様に係る画像処理装置において、プロセッサは、非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、第二ユーザ選択基準に対応する負の重みを用いて基準スコアを調整した調整スコアを算出し、調整スコアが高い順に非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザが選択したフォトアルバムに非使用の画像に基づき、非選択画像から対象の画像を除外し、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、候補画像のうちの少なくとも一部を表示候補画像としてディスプレイユニットに表示させ、表示候補画像のうち、ユーザが非選択の画像である表示非選択画像に関する非表示選択情報を取得し、表示非選択画像の解析結果に基づき、ユーザ表示非選択基準を推測し、ユーザ選択基準及びユーザ表示非選択基準に基づき、候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザの嗜好等が反映される非選択画像の自動選択における精度を向上し得る。

他の態様に係る画像処理装置において、プロセッサは、非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、ユーザ選択基準及びユーザ表示非選択基準に対応する重みを用いて基準スコアを調整した調整スコアを算出し、調整スコアが高い順に非選択画像から自動選択画像を選択し、ユーザ選択基準に対応する重みが正の重み又は負の重みのいずれか一方である場合、ユーザ表示非選択基準に対応する重みは、正の重み又は負の重みの他方である。

かかる態様によれば、表示非選択基準に対応する重みに応じた非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、ユーザ選択画像の被写体に関する情報、ユーザ選択画像の合焦度合いに関する情報、ユーザ選択画像の明るさの度合いに関する情報及びユーザ選択画像の色彩に関する情報の少なくともいずれかを属性として、ユーザ選択画像に対して属性情報を付与する。

かかる態様によれば、画像の属性情報として、選択画像の被写体に関する情報、選択画像の合焦度合いに関する情報、選択画像の明るさの度合いに関する情報及び選択画像の色に関する情報の少なくともいずれかを適用し得る。

他の態様に係る画像処理装置において、プロセッサは、ユーザが候補画像からフォトアルバムに使用する画像として選択した第一ユーザ選択画像に関する第一ユーザ選択情報と、ユーザが候補画像からフォトアルバムに非使用とする画像として選択した第二ユーザ選択画像に関する第二ユーザ選択情報と、を取得し、第一ユーザ選択画像および第二ユーザ選択画像の解析結果に基づき、ユーザ選択基準として、フォトアルバムに使用する画像に対応する第一ユーザ選択基準と、フォトアルバムに非使用とする画像に対応する第二ユーザ選択基準とを推測し、第二ユーザ選択基準に基づき、非選択画像からフォトアルバムに非使用とされる画像を除外して、第一ユーザ選択基準に基づき、非選択画像からフォトアルバムに使用される画像である自動選択画像を選択する。

かかる態様によれば、ユーザがフォトアルバムに使用したい画像に基づき推測される第一ユーザ選択基準に基づき、非選択画像の自動選択を実施し得る。また、ユーザが選択したフォトアルバムに非使用とする画像に基づき推測される第二ユーザ選択基準に基づき、非選択画像からフォトアルバムに非使用とされる画像を除外して、非選択画像の自動選択を実施し得る。

他の態様に係る画像処理装置において、プロセッサは、非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、第一ユーザ選択基準に対応する正の重みと、第二ユーザ選択基準に対応する負の重みとを用いて基準スコアを調整した調整スコアを算出し、調整スコアが高い順に、非選択画像から自動選択画像を選択する。

かかる態様によれば、ユーザ選択基準に対応する重みに応じて、非選択画像の自動選択を実施し得る。

１０ 画像処理装置
１２ 画像処理ユニット
１４ ディスプレイユニット
１６ 入力ユニット
１８ ストレージユニット
２０ プロセッサ
２２ メモリ
２４ 画像メモリ
２６ 情報メモリ
２８ プログラムメモリ
３０ 通信インターフェース
３２ 入出力インターフェース
４０ ディスプレイドライバー
４２ 入力ドライバー
４４ ストレージドライバー
５０ 仕様情報取得部
５２ 画像取得部
５４ ユーザ選択情報取得部
５６ 解析部
５８ 属性情報付与部
６０ 基準推測部
６２ 自動選択部
６４ レイアウト部
６６ 注文情報送信部
１００ 選択画面
１０２ 候補画像
１０２Ａ ユーザ選択画像
１０４ 選択記号
１０６ 決定ボタン
１０８ スクロールバー
２００ 選択画面
２０２ 候補画像
２０２Ａ ユーザ選択画像
２０２Ｂ 非選択画像
２０４ 負の選択記号
２０６ 決定ボタン
２０８ スクロールバー
３００ 選択画面
３００Ａ 非表示領域
３０２ 候補画像
３０２Ａ ユーザ選択画像
３０２Ｂ 表示非選択画像
３０２Ｃ 非表示候補画像
３０４ 選択記号
３０６ 決定ボタン
３０８ スクロールバー
Ｓ１０からＳ２４ 画像処理方法の各工程

Claims (16)

1. 一以上のプロセッサを備えた画像処理装置であって、
   前記プロセッサは、
   複数の候補画像を取得し、
   前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、
   前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与し、
   前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率が規定の閾値以上となる前記属性を、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準として推測し、
   前記ユーザ選択基準として推測された前記属性に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理装置。
2. 前記プロセッサは、
   前記非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、前記ユーザ選択基準に対応する重みを用いて前記基準スコアを調整した調整スコアを算出し、
   前記調整スコアが高い順に、前記非選択画像から前記自動選択画像を選択する請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   ユーザが前記候補画像からフォトアルバムに使用する画像として選択した第一ユーザ選択画像に関する第一ユーザ選択情報を取得し、
   前記第一ユーザ選択画像の解析結果に基づき、前記ユーザ選択基準としてフォトアルバムに使用する画像に対応する第一ユーザ選択基準を推測し、
   前記第一ユーザ選択基準に基づき、前記非選択画像からフォトアルバムに使用される画像である自動選択画像を選択する請求項１に記載の画像処理装置。
4. 前記プロセッサは、
   前記第一ユーザ選択基準の基となる第一ユーザ選択比率が相対的に高い属性を有する非選択画像を前記自動選択画像として優先して選択する請求項３に記載の画像処理装置。
5. 前記プロセッサは、
   前記非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、前記第一ユーザ選択基準に対応する正の重みを用いて前記基準スコアを調整した調整スコアを算出し、
   前記調整スコアが高い順に前記非選択画像から前記自動選択画像を選択する請求項３又は４に記載の画像処理装置。
6. 前記プロセッサは、
   ユーザが前記候補画像からフォトアルバムに非使用とする画像として選択した第二ユーザ選択画像に関する第二ユーザ選択情報を取得し、
   前記第二ユーザ選択画像の解析結果に基づき、前記ユーザ選択基準としてフォトアルバムに非使用とする画像に対応する第二ユーザ選択基準を推測し、
   前記第二ユーザ選択基準に基づき、前記非選択画像からフォトアルバムに非使用とされる画像を除外して、前記非選択画像から前記自動選択画像を選択する請求項１、３又は４に記載の画像処理装置。
7. 前記プロセッサは、
   前記第二ユーザ選択基準の基となる第二ユーザ選択比率が相対的に高い属性を有する非選択画像を前記自動選択画像として優先して除外する請求項６に記載の画像処理装置。
8. 前記プロセッサは、
   前記非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、前記第二ユーザ選択基準に対応する負の重みを用いて前記基準スコアを調整した調整スコアを算出し、
   前記調整スコアが高い順に前記非選択画像から前記自動選択画像を選択する請求項６又は７に記載の画像処理装置。
9. 前記プロセッサは、
   前記候補画像のうちの少なくとも一部を表示候補画像としてディスプレイユニットに表示させ、
   前記表示候補画像のうち、ユーザが非選択の画像である表示非選択画像に関する非表示選択情報を取得し、
   前記表示非選択画像の解析結果に基づき、ユーザ表示非選択基準を推測し、
   前記ユーザ選択基準及び前記ユーザ表示非選択基準に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する請求項１、３、４、６又は７に記載の画像処理装置。
10. 一以上のプロセッサを備えた画像処理装置であって、
    前記プロセッサは、
    複数の候補画像を取得し、
    前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、
    前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与し、
    前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測し、
    前記候補画像のうちの少なくとも一部を表示候補画像としてディスプレイユニットに表示させ、
    前記表示候補画像のうち、ユーザが非選択の画像である表示非選択画像に関する非表示選択情報を取得し、
    前記表示非選択画像の解析結果に基づき、ユーザ表示非選択基準を推測し、
    前記ユーザ選択基準及び前記ユーザ表示非選択基準に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理装置。
11. 前記プロセッサは、
    前記非選択画像について、付与された属性の評価値に基づいて基準スコアを算出し、前記ユーザ選択基準及び前記ユーザ表示非選択基準に対応する重みを用いて前記基準スコア を調整した調整スコアを算出し、
    前記調整スコアが高い順に前記非選択画像から前記自動選択画像を選択し、
    前記ユーザ選択基準に対応する重みが正の重み又は負の重みのいずれか一方である場合、前記ユーザ表示非選択基準に対応する重みは、正の重み又は負の重みの他方である請求項９又は１０に記載の画像処理装置。
12. 前記プロセッサは、
    前記ユーザ選択画像の被写体に関する情報、前記ユーザ選択画像の合焦度合いに関する情報、前記ユーザ選択画像の明るさの度合いに関する情報及び前記ユーザ選択画像の色彩に関する情報の少なくともいずれかを属性として、前記ユーザ選択画像に対して属性情報を付与する請求項１から１１のいずれか一項に記載の画像処理装置。
13. 複数の候補画像を取得し、
    前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、
    前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与し、
    前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率が規定の閾値以上となる前記属性を、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準として推測し、
    前記ユーザ選択基準として推測された前記属性に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理方法。
14. 複数の候補画像を取得し、
    前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得し、
    前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与し、
    前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測し、
    前記候補画像のうちの少なくとも一部を表示候補画像としてディスプレイユニットに表示させ、
    前記表示候補画像のうち、ユーザが非選択の画像である表示非選択画像に関する非表示選択情報を取得し、
    前記表示非選択画像の解析結果に基づき、ユーザ表示非選択基準を推測し、
    前記ユーザ選択基準及び前記ユーザ表示非選択基準に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する画像処理方法。
15. コンピュータに、
    複数の候補画像を取得する処理、
    前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得する処理、
    前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与する処理、
    前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率が規定の閾値以上となる前記属性を、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準として推測する処理、及び
    前記ユーザ選択基準として推測された前記属性に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する処理を実現させるプログラム。
16. コンピュータに、
    複数の候補画像を取得する処理、
    前記取得した複数の前記候補画像からユーザが選択したユーザ選択画像に関するユーザ選択情報を取得する処理、
    前記ユーザ選択画像の解析結果に基づき前記ユーザ選択画像に対して属性を付与する処理、
    前記ユーザ選択画像の全数に対する同一の属性を有する前記ユーザ選択画像の数の比率で表されるユーザ選択比率に基づき、前記ユーザ選択画像を選択する際の基準であるユーザ選択基準を推測する処理、
    前記候補画像のうちの少なくとも一部を表示候補画像としてディスプレイユニットに表示させる処理、
    前記表示候補画像のうち、ユーザが非選択の画像である表示非選択画像に関する非表示選択情報を取得する処理、
    前記表示非選択画像の解析結果に基づき、ユーザ表示非選択基準を推測する処理、及び、
    前記ユーザ選択基準及び前記ユーザ表示非選択基準に基づき、前記候補画像においてユーザが非選択の非選択画像から自動選択画像を選択する処理を実現させるプログラム。
    

Images