JP5761386B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP5761386B2 JP5761386B2 JP2014000680A JP2014000680A JP5761386B2 JP 5761386 B2 JP5761386 B2 JP 5761386B2 JP 2014000680 A JP2014000680 A JP 2014000680A JP 2014000680 A JP2014000680 A JP 2014000680A JP 5761386 B2 JP5761386 B2 JP 5761386B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- thumbnail
- feature
- original
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関し、特に、複数の画像が１画面内に一覧表示される場合に、各々の画像処理の内容及び全体像をユーザが容易に把握することを可能とする技術に関する。
近年、鑑賞用の画像を表示するデジタルフォトフレーム（以下、単に「フォトフレーム」と呼ぶ）が登場してきた。即ち、ユーザは、フォトフレームを用いて、多数の画像の中から所望の画像を選択する操作をすることで、当該所望の画像を鑑賞することができる。
フォトフレームは、このような画像の選択操作を支援すべく、表示対象の候補となる複数の画像を縮小して一覧表示する機能を有している場合が多い。
このように、一覧表示するために元の画像が縦横均等に縮小された縮小画像を含む、解像度（サイズ）が固定された画像を、以下、「サムネイル画像」と呼ぶ。また、サムネイル画像に含まれる縮小画像の元の画像を、以下、「原画像」と呼ぶ。
なお、縮小画像そのものがサムネイル画像となるとは限らない。原画像とサムネイル画像との画面アスペクト比が異なる場合には、原画像と同一の画面アスペクト比を有する縮小画像に対して、余白領域が付加されて画面アスペクト比が調整された画像が、サムネイル画像として用いられるからである。
このように、一覧表示するために元の画像が縦横均等に縮小された縮小画像を含む、解像度（サイズ）が固定された画像を、以下、「サムネイル画像」と呼ぶ。また、サムネイル画像に含まれる縮小画像の元の画像を、以下、「原画像」と呼ぶ。
なお、縮小画像そのものがサムネイル画像となるとは限らない。原画像とサムネイル画像との画面アスペクト比が異なる場合には、原画像と同一の画面アスペクト比を有する縮小画像に対して、余白領域が付加されて画面アスペクト比が調整された画像が、サムネイル画像として用いられるからである。
図７は、サムネイル画像の一例を示している。
フォトフレームは、その画面５００内に、１０枚ものサムネイル画像５１１乃至５２０を一覧表示させることができる。ここで、「画面」とは、デジタルフォトフレーム等の表示装置又は装置が有する表示部の表示領域全体に表示される画像をいう。
フォトフレームは、その画面５００内に、１０枚ものサムネイル画像５１１乃至５２０を一覧表示させることができる。ここで、「画面」とは、デジタルフォトフレーム等の表示装置又は装置が有する表示部の表示領域全体に表示される画像をいう。
フォトフレームの表示対象の候補となる画像データの中には、階調処理や、絵画調の画像に変換する画調変換処理等、各種各様の画像処理が施されているものも存在する。このため、表示対象の候補となる画像データに画像処理が施されている場合、その画像処理の内容を把握した上で、表示対象の画像データを選択したという要望が近年挙げられている。
このため、特許文献１には、画像処理等の履歴を示す文字情報やアイコンを画像に重畳して表示する手法（以下、「特許文献１の手法」と呼ぶ）が開示されている。このような特許文献１の手法を適用することで、デジタルフォトフレームの画面全体に１枚の画像のみが表示されているときには、ユーザは、当該１枚の画像に重畳された文字情報やアイコンを視認することで、当該１枚の画像の画像データに対して施された画像処理の内容を容易に把握することができる。
しかしながら、特許文献１の手法を適用しても、フォトフレームの１画面内に複数のサムネイル画像が一覧表示されているときには、当該複数のサムネイル画像の各々に重畳される文字情報やアイコンは、非常に小さく表示される。このように非常に小さい文字情報やアイコンを視認することは、ユーザにとって非常に困難である。
また、サムネイル画像に含まれている原画像の縮小画像をみて、原画像内に存在する小さな違いを判断することも、ユーザにとって非常に困難である。
このため、ユーザにとっては、サムネイル画像を用いて、画像処理の内容を把握することは非常に困難である。
また、サムネイル画像に含まれている原画像の縮小画像をみて、原画像内に存在する小さな違いを判断することも、ユーザにとって非常に困難である。
このため、ユーザにとっては、サムネイル画像を用いて、画像処理の内容を把握することは非常に困難である。
なお、原画像内に存在する小さな違いを判断することの困難性を緩和するだけならば、原画像に含まれる顔を認識し、認識された顔の画像のみをサムネイル画像とする、といった従来の手法を適用すればよい。しかしながら、当該従来の手法を適用すると、ユーザにとっては、原画像の全体像が分からなくなり、表示対象を選択するという本来の目的を達成することが困難になってしまう。
本発明は、このような状況に鑑みなされたものであり、複数の画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握できるようにすることを目的とする。
本発明の一態様によると、原画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、前記原画像の特徴領域の少なくとも一部を特徴画像として抽出する特徴画像抽出手段と、前記特徴画像を、前記サムネイル画像に含まれる前記特徴領域と対応する領域の画像より拡大された画像として、前記サムネイル画像と合成して合成サムネイル画像を生成する合成サムネイル画像生成手段と、を備えることを特徴とする画像処理装置を提供する。
本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及び画像処理プログラムの各々を提供する。
本発明によれば、複数の画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握することができる。
［第１実施形態］
図１乃至図５を参照して、本発明が適用される画像処理装置の第１実施形態に係るフォトフレーム１について説明する。
図１乃至図５を参照して、本発明が適用される画像処理装置の第１実施形態に係るフォトフレーム１について説明する。
図１は、フォトフレーム１の内部のハードウェア構成を示すブロック図である。
図１に示すように、フォトフレーム１は、データ処理部１１と、ユーザインタフェース部１２と、を備えている。
図１に示すように、フォトフレーム１は、データ処理部１１と、ユーザインタフェース部１２と、を備えている。
データ処理部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、表示制御部３５と、画像処理部３６と、を備えている。
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。
即ち、ＲＯＭ３２には、表示制御部３５、画像処理部３６、通信部４３、ドライブ４４を制御する機能等、各種機能を実現するためのプログラムが記憶されている。そこで、ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラムに従って処理を実行することで、表示制御部３５、画像処理部３６、通信部４３、ドライブ４４を制御したり、各種機能を実現することができる。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等が適宜記憶される。
即ち、ＲＯＭ３２には、表示制御部３５、画像処理部３６、通信部４３、ドライブ４４を制御する機能等、各種機能を実現するためのプログラムが記憶されている。そこで、ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラムに従って処理を実行することで、表示制御部３５、画像処理部３６、通信部４３、ドライブ４４を制御したり、各種機能を実現することができる。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等が適宜記憶される。
メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、データ処理部１１に入力された画像データや、画像処理部３６により画像処理が施された画像データを一時的に記憶する。メモリ３４はまた、各種画像処理に必要なデータも適宜記憶する。
表示制御部３５は、メモリ３４に記憶された画像データを読み出し、当該画像データにより表現される画像を、表示部４１に表示させる制御を実行する。例えば、表示制御部３５は、当該画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４１に供給することにより、表示部４１に表示させる。
画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理等の各種画像処理を施す。
ユーザインタフェース部１２は、表示部４１と、操作部４２と、通信部４３と、ドライブ４４と、を備えている。
表示部４１は、フォトフレーム１の筐体に設けられたディスプレイ等で構成され、上述した表示制御部３５の制御の下、各種画像を表示する。表示部４１の表示例については、図４等を用いて後述する。
操作部４２は、ユーザの指示操作を受け付け、ＣＰＵ３１に通知する。ＣＰＵ３１は、通知された指示操作に応じて、各種処理を実行する。
通信部２０は、ＣＰＵ３１の制御の下、他の装置と通信する。この場合、通信部２０は、インターネットを含むネットワークに適宜接続する。
ドライブ４４は、ＣＰＵ３１の制御の下、リムーバブル記録媒体５１に対するデータの読み書きを行う。
表示部４１は、フォトフレーム１の筐体に設けられたディスプレイ等で構成され、上述した表示制御部３５の制御の下、各種画像を表示する。表示部４１の表示例については、図４等を用いて後述する。
操作部４２は、ユーザの指示操作を受け付け、ＣＰＵ３１に通知する。ＣＰＵ３１は、通知された指示操作に応じて、各種処理を実行する。
通信部２０は、ＣＰＵ３１の制御の下、他の装置と通信する。この場合、通信部２０は、インターネットを含むネットワークに適宜接続する。
ドライブ４４は、ＣＰＵ３１の制御の下、リムーバブル記録媒体５１に対するデータの読み書きを行う。
リムーバブル記録媒体５１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等で構成され、各種データを記録する。
例えば、リムーバブル記録媒体５１は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の画像データを、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルに含めて記録する。
なお、このような画像データを含むファイルを、以下、「画像ファイル」と呼ぶ。画像ファイルには、画像データの他、当該画像データに関する各種メタ情報を含めることが可能である。本実施形態では、当該画像データに施された画像処理の内容を示すメタ情報が、画像情報として画像ファイルに含められる。
例えば、リムーバブル記録媒体５１は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の画像データを、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルに含めて記録する。
なお、このような画像データを含むファイルを、以下、「画像ファイル」と呼ぶ。画像ファイルには、画像データの他、当該画像データに関する各種メタ情報を含めることが可能である。本実施形態では、当該画像データに施された画像処理の内容を示すメタ情報が、画像情報として画像ファイルに含められる。
ＣＰＵ３１を含むデータ処理部１１は、操作部４２からサムネイル画像等の一覧の表示が指示された場合、複数のサムネイル画像等の画像データを生成し、当該複数のサムネイル画像等の一覧を表示部４１に表示するまでの一連の処理を実行する。このような一連の処理を、以下、「サムネイル表示処理」と呼ぶ。
なお、複数のサムネイル画像等と「等」を記載しているのは、後述する合成サムネイル画像を含める意である。
なお、複数のサムネイル画像等と「等」を記載しているのは、後述する合成サムネイル画像を含める意である。
図２は、このようなサムネイル表示処理を実行するためのデータ処理部１１の機能的構成を示す機能ブロック図である。
データ処理部１１は、画像取得部６１と、画像記憶部６２と、合成サムネイル画像生成部６３と、一覧画像表示制御部６４と、を備えている。
画像取得部６１は、例えば、図１のＣＰＵ３１、及び当該ＣＰＵ３１により実行されるプログラムの組み合わせにより構成される。
画像取得部６１は、図１のドライブ４４を介してリムーバブル記録媒体５１から供給される画像ファイルや、通信部４３を介して他の装置（図示せぬ）から供給される画像ファイルを取得する。
画像取得部６１は、画像ファイルに含まれている画像データから、サムネイル画像の画像データを生成し、画像記憶部６２のサムネイル画像記憶部７１に記憶させる。
このように、サムネイル画像の画像データは、画像取得部６１により取得された画像ファイルに含まれる画像データを元にして生成される。従って、画像取得部６１により取得された画像ファイルに含まれる画像データが、原画像の画像データになる。そこで、画像取得部６１は、当該原画像の画像データを含む画像ファイルを、画像記憶部６２の原画像記憶部７２に記憶させる。
画像取得部６１は、図１のドライブ４４を介してリムーバブル記録媒体５１から供給される画像ファイルや、通信部４３を介して他の装置（図示せぬ）から供給される画像ファイルを取得する。
画像取得部６１は、画像ファイルに含まれている画像データから、サムネイル画像の画像データを生成し、画像記憶部６２のサムネイル画像記憶部７１に記憶させる。
このように、サムネイル画像の画像データは、画像取得部６１により取得された画像ファイルに含まれる画像データを元にして生成される。従って、画像取得部６１により取得された画像ファイルに含まれる画像データが、原画像の画像データになる。そこで、画像取得部６１は、当該原画像の画像データを含む画像ファイルを、画像記憶部６２の原画像記憶部７２に記憶させる。
画像記憶部６２は、例えば、図１のメモリ３４により構成される。画像記憶部６２は、サムネイル表示処理で生成又は使用される画像データを記憶すべく、サムネイル画像記憶部７１と、原画像記憶部７２と、特徴画像記憶部７３と、合成サムネイル画像記憶部７４と、を備えている。
サムネイル画像記憶部７１は、上述したように、画像取得部６１により生成されたサムネイル画像の画像データを記憶する。
原画像記憶部７２は、上述したように、画像取得部６１により取得された画像ファイル、即ち、原画像の画像データを含む画像ファイルを記憶する。
特徴画像記憶部７３及び合成サムネイル画像記憶部７４については、後述する。
サムネイル画像記憶部７１は、上述したように、画像取得部６１により生成されたサムネイル画像の画像データを記憶する。
原画像記憶部７２は、上述したように、画像取得部６１により取得された画像ファイル、即ち、原画像の画像データを含む画像ファイルを記憶する。
特徴画像記憶部７３及び合成サムネイル画像記憶部７４については、後述する。
合成サムネイル画像生成部６３は、例えば、図１のＣＰＵ３１及び画像処理部３６、並びに当該ＣＰＵ３１により実行されるプログラムの組み合わせにより構成される。
合成サムネイル画像生成部６３は、サムネイル画像の余白領域に対して原画像の特徴領域の少なくとも一部を合成した画像（以下、「合成サムネイル画像」と呼ぶ）の画像データを生成する。
合成サムネイル画像生成部６３は、このような合成サムネイル画像の画像データを生成すべく、合成対象決定部８１と、特徴画像抽出部８２と、画像合成部８３と、を備えている。
合成サムネイル画像生成部６３は、サムネイル画像の余白領域に対して原画像の特徴領域の少なくとも一部を合成した画像（以下、「合成サムネイル画像」と呼ぶ）の画像データを生成する。
合成サムネイル画像生成部６３は、このような合成サムネイル画像の画像データを生成すべく、合成対象決定部８１と、特徴画像抽出部８２と、画像合成部８３と、を備えている。
合成対象決定部８１は、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データの中から、合成サムネイル画像の画像データを生成する対象（以下、「合成対象」と呼ぶ）を決定する。なお、合成対象の決定手法については、後述する。
合成対象決定部８１は、合成対象として決定したサムネイル画像の画像データを、サムネイル画像記憶部７１から読み出して画像合成部８３に供給し、それ以外のサムネイル画像の画像データを、サムネイル画像記憶部７１から読み出して一覧画像表示制御部６４に供給する。
即ち、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち合成対象は、後述するように、画像合成部８３に供給されて合成サムネイル画像の画像データに変換されて、一覧画像表示制御部６４に供給される。一方、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち合成対象以外は、サムネイル画像の画像データのまま一覧画像表示制御部６４に供給される。
また、合成対象決定部８１により決定された合成対象は、特徴画像抽出部８２に通知される。
合成対象決定部８１は、合成対象として決定したサムネイル画像の画像データを、サムネイル画像記憶部７１から読み出して画像合成部８３に供給し、それ以外のサムネイル画像の画像データを、サムネイル画像記憶部７１から読み出して一覧画像表示制御部６４に供給する。
即ち、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち合成対象は、後述するように、画像合成部８３に供給されて合成サムネイル画像の画像データに変換されて、一覧画像表示制御部６４に供給される。一方、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち合成対象以外は、サムネイル画像の画像データのまま一覧画像表示制御部６４に供給される。
また、合成対象決定部８１により決定された合成対象は、特徴画像抽出部８２に通知される。
特徴画像抽出部８２は、通知された合成対象に対応する原画像を認識し、当該原画像の画像データを原画像記憶部７２から読み出し、当該原画像から特徴領域を検出する。
そして、特徴画像抽出部８２は、当該原画像の特徴領域の少なくとも一部を含む画像であって、サムネイル画像と同一解像度（同一サイズ）の画像（以下、「特徴画像」と呼ぶ）の画像データを、当該原画像の画像データから抽出する。
抽出された特徴画像の画像データは、特徴画像記憶部７３に記憶される。
そして、特徴画像抽出部８２は、当該原画像の特徴領域の少なくとも一部を含む画像であって、サムネイル画像と同一解像度（同一サイズ）の画像（以下、「特徴画像」と呼ぶ）の画像データを、当該原画像の画像データから抽出する。
抽出された特徴画像の画像データは、特徴画像記憶部７３に記憶される。
なお、原画像から検出される特徴領域の種類や、当該特徴領域の検出手法は、特に限定されない。本実施形態では、特徴領域として、人間の顔の像の領域（以下、「顔領域」と呼ぶ）が検出されている。顔領域の検出手法については後述する。
画像合成部８３には、合成対象決定部８１により合成対象として決定されたサムネイル画像の画像データが、サムネイル画像記憶部７１から読み出されて供給されると共に、合成対象に対応する特徴画像の画像データが、特徴画像記憶部７３から読み出されて供給される。
すると、画像合成部８３は、特徴画像を背景として、サムネイル画像を前景として、前景を背景の上に合成する合成処理を、特徴画像及びサムネイル画像の各画像データに施す。これにより、合成サムネイル画像の画像データが生成される。
すると、画像合成部８３は、特徴画像を背景として、サムネイル画像を前景として、前景を背景の上に合成する合成処理を、特徴画像及びサムネイル画像の各画像データに施す。これにより、合成サムネイル画像の画像データが生成される。
図３は、画像合成部８３の処理の概要を説明する図である。
原画像１０１は、水平方向（図３中横方向）にＮ個の画素が配置され、垂直方向（図３中縦方向）にＭ個の画素が配置されて構成されている。ここで、ＮとＭは、相互に異なる任意の整数値である。
ここで、画像を、「水平方向の画素数×垂直方向の画素数の画像」と表現するものとすると、原画像１０１はＮ×Ｍの画像である。この場合、原画像１０１の画面アスペクト比は、Ｎ：Ｍになる。
原画像１０１は、水平方向（図３中横方向）にＮ個の画素が配置され、垂直方向（図３中縦方向）にＭ個の画素が配置されて構成されている。ここで、ＮとＭは、相互に異なる任意の整数値である。
ここで、画像を、「水平方向の画素数×垂直方向の画素数の画像」と表現するものとすると、原画像１０１はＮ×Ｍの画像である。この場合、原画像１０１の画面アスペクト比は、Ｎ：Ｍになる。
本実施形態では、このような画面アスペクト比がＮ：Ｍの原画像１０１の画像データから、画面アスペクト比が１：１（後述するｎを利用すると、ｎ：ｎ）のサムネイル画像１０２の画像データが生成される。
即ち、サムネイル化のために、原画像１０１の画像データに対して画面アスペクト比を変化させずに１／Ｌ倍（Ｌは１よりも大きな任意の値）に縮小する縮小処理が施された場合、ｎ×ｍの縮小画像１１１の画像データが得られる。ここで、ｎは、（Ｎ／Ｌ）を満たす整数値であり、ｍは、（Ｍ／Ｌ）を満たす整数値である。即ち、原画像１０１の画面アスペクト比であるＮ：Ｍと、縮小画像１１１の画面アスペクト比であるｎ：ｍとは一致する。
一方、本実施形態では、サムネイル画像の画面アスペクト比は１：１である。従って、画面アスペクト比がｎ：ｍ（ｎとｍは相互に異なる値のため１：１ではない）である縮小画像１１１の画像データをそのまま、サムネイル画像の画像データとして採用することはできない。
そこで、本実施形態では、ｎ×ｍの縮小画像１１１に対して、水平方向に平行に余白領域１１２Ｕ及び１１２Ｄが上下に付加されたｎ×ｎの画像１０２、即ち、画面アスペクト比が１：１（＝ｎ：ｎ）に調整された画像１０２の画像データが、サムネイル画像の画像データとして採用されている。
即ち、サムネイル化のために、原画像１０１の画像データに対して画面アスペクト比を変化させずに１／Ｌ倍（Ｌは１よりも大きな任意の値）に縮小する縮小処理が施された場合、ｎ×ｍの縮小画像１１１の画像データが得られる。ここで、ｎは、（Ｎ／Ｌ）を満たす整数値であり、ｍは、（Ｍ／Ｌ）を満たす整数値である。即ち、原画像１０１の画面アスペクト比であるＮ：Ｍと、縮小画像１１１の画面アスペクト比であるｎ：ｍとは一致する。
一方、本実施形態では、サムネイル画像の画面アスペクト比は１：１である。従って、画面アスペクト比がｎ：ｍ（ｎとｍは相互に異なる値のため１：１ではない）である縮小画像１１１の画像データをそのまま、サムネイル画像の画像データとして採用することはできない。
そこで、本実施形態では、ｎ×ｍの縮小画像１１１に対して、水平方向に平行に余白領域１１２Ｕ及び１１２Ｄが上下に付加されたｎ×ｎの画像１０２、即ち、画面アスペクト比が１：１（＝ｎ：ｎ）に調整された画像１０２の画像データが、サムネイル画像の画像データとして採用されている。
なお、余白領域１１２Ｕ及び１１２Ｄを含め余白領域とは、サムネイル画像のうち、原画像の縮小画像の画素以外の画素から構成される領域をいう。従って、余白領域の画素の画素値は、特に限定されないが、サムネイル画像の段階では余白領域であることを明確にすべく、同一の画素値であることが好適であり、本実施形態では、白を示す値が採用されている。即ち、本実施形態では、余白領域１１２Ｕ及び１１２Ｄを含め余白領域は、サムネイル画像の段階では白い領域となる。
また、図３の例の原画像１０１は横長であるため、即ち、原画像１０１の水平方向の画素数Ｎは垂直方向の画素数Ｍよりも多いため（Ｎ＞Ｍであるため）、余白領域１１２Ｕ及び１１２Ｄは、水平方向と平行になるように、縮小画像１１１の上下に付加されている。しかしながら、図示はしないが、縦長の原画像の場合、即ち、垂直方向の方が水平方向よりも画素数が多い原画像の場合、余白領域は、垂直方向と平行になるように、原画像の縮小画像の左右に付加された画像が、サムネイル画像となる（図４のサムネイル画像２１１参照）。
本実施形態では、このようにして原画像１０１の画像データからサムネイル画像１０２の画像データが生成される。さらに、原画像１０１内の顔領域を少なくとも含むｎ×ｎの画像１２１が特徴画像として、当該特徴画像の画像データが原画像１０１の画像データから抽出される。
そこで、画像合成部８３は、特徴画像１２１を背景として、サムネイル画像１０２を前景として、前景を背景の上に合成する合成処理を、特徴画像１２１及びサムネイル画像１０２の各画像データに施す。これにより、合成サムネイル画像１０３の画像データが生成される。
具体的には、前景のサムネイル画像１０２のうち、原画像１０１の縮小画像１１１の部分は、透過率０％（非透明）で、背景の特徴画像１２１の上に合成される。一方、前景のサムネイル画像１０２のうち、余白領域１１２Ｕ及び１１２Ｄの部分は、透過率１００％（全透明）で、背景の特徴画像１２１の上に合成される。その結果、サムネイル画像１０２の余白領域１１２Ｕ及び１１２Ｄに対して、特徴画像１２１が重畳された画像１０３の画像データが、合成サムネイル画像の画像データとして得られることになる。
以上まとめると、画像合成部８３は、前景の特徴画像１２１を背景のサムネイル画像１０２に合成する合成処理を、特徴画像１２１及びサムネイル画像１０２の各画像データに施すことによって、サムネイル画像１０２の余白領域１１２Ｕ及び１１２Ｄに特徴画像１２１が重畳された合成サムネイル画像１０３の画像データを生成する。
具体的には、前景のサムネイル画像１０２のうち、原画像１０１の縮小画像１１１の部分は、透過率０％（非透明）で、背景の特徴画像１２１の上に合成される。一方、前景のサムネイル画像１０２のうち、余白領域１１２Ｕ及び１１２Ｄの部分は、透過率１００％（全透明）で、背景の特徴画像１２１の上に合成される。その結果、サムネイル画像１０２の余白領域１１２Ｕ及び１１２Ｄに対して、特徴画像１２１が重畳された画像１０３の画像データが、合成サムネイル画像の画像データとして得られることになる。
以上まとめると、画像合成部８３は、前景の特徴画像１２１を背景のサムネイル画像１０２に合成する合成処理を、特徴画像１２１及びサムネイル画像１０２の各画像データに施すことによって、サムネイル画像１０２の余白領域１１２Ｕ及び１１２Ｄに特徴画像１２１が重畳された合成サムネイル画像１０３の画像データを生成する。
図２に戻り、このようにして画像合成部８３により生成された合成サムネイル画像の画像データは、合成サムネイル画像記憶部７４に記憶される。
以上説明したように、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち、合成対象決定部８１によって合成対象と決定されたサムネイル画像の画像データは、合成サムネイル画像の画像データに変換されて、合成サムネイル画像記憶部７４に記憶される。その後、合成サムネイル画像の画像データは、合成サムネイル画像記憶部７４から読み出されて、一覧画像表示制御部６４に供給される。
一方、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち、合成対象決定部８１によって合成対象と決定されなかったサムネイル画像の画像データは、サムネイル画像記憶部７１からそのまま読み出されて、一覧画像表示制御部６４に供給される。
一方、サムネイル画像記憶部７１に記憶されたサムネイル画像の画像データのうち、合成対象決定部８１によって合成対象と決定されなかったサムネイル画像の画像データは、サムネイル画像記憶部７１からそのまま読み出されて、一覧画像表示制御部６４に供給される。
一覧画像表示制御部６４は、サムネイル画像記憶部７１又は合成サムネイル画像記憶部７４から供給された複数の画像データに基づいて、サムネイル画像や合成サムネイル画像を複数枚羅列した画像（以下、「一覧画像」と呼ぶ）を、表示部４１の画面として表示する。
図４は、フォトフレーム１の表示部４１の画面として表示される一覧画像の例を示している。
図４の例の一覧画像２００（画面２００）には、２枚のサムネイル画像２１１及び２１２、並びに、８枚の合成サムネイル画像２２１乃至２２８が含まれている。
８枚の合成サムネイル画像２２１乃至２２８の各々の中央部分には、原画像の縮小画像が含まれている。ユーザは、これらの縮小画像から、原画像の画像データに対して何らかの画像処理が施されていると把握することまではできるが、縮小画像内の小さな違いが区別付かないため、画像処理の内容を把握することは非常に困難である。
しかしながら、８枚の合成サムネイル画像２２１乃至２２８の各々の上下の部分、即ち、サムネイル画像の余白領域であった部分には、原画像の特徴領域（本実施形態では顔領域）の少なくとも一部を含む特徴画像が重畳されている。
ここで、合成サムネイル画像２２１乃至２２８の各々の中央部分の縮小画像には、即ち、合成前のサムネイル画像の中央部分の縮小画像には、原画像内の顔領域も縮小して含まれている。従って、視点を変えると、合成前のサムネイル画像内の顔領域の拡大画像が、特徴画像であると把握することもできる。このように把握すると、合成サムネイル画像２２１乃至２２８とは、合成前のサムネイル画像内の顔領域の拡大画像が、当該サムネイル画像の余白領域に重畳された画像であるといえる。
従って、ユーザは、合成サムネイル画像２２１乃至２２８のうち、特徴画像（縮小画像からみると顔領域の拡大画像）をみることで、原画像の画像データに対して施された画像処理の内容を容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像２２１乃至２２８のうち、中央部分の縮小画像をみることで、原画像の全体像を把握することが容易に可能になる。
以上まとめると、図４の例の一覧画像２００のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握することが可能になる。
図４の例の一覧画像２００（画面２００）には、２枚のサムネイル画像２１１及び２１２、並びに、８枚の合成サムネイル画像２２１乃至２２８が含まれている。
８枚の合成サムネイル画像２２１乃至２２８の各々の中央部分には、原画像の縮小画像が含まれている。ユーザは、これらの縮小画像から、原画像の画像データに対して何らかの画像処理が施されていると把握することまではできるが、縮小画像内の小さな違いが区別付かないため、画像処理の内容を把握することは非常に困難である。
しかしながら、８枚の合成サムネイル画像２２１乃至２２８の各々の上下の部分、即ち、サムネイル画像の余白領域であった部分には、原画像の特徴領域（本実施形態では顔領域）の少なくとも一部を含む特徴画像が重畳されている。
ここで、合成サムネイル画像２２１乃至２２８の各々の中央部分の縮小画像には、即ち、合成前のサムネイル画像の中央部分の縮小画像には、原画像内の顔領域も縮小して含まれている。従って、視点を変えると、合成前のサムネイル画像内の顔領域の拡大画像が、特徴画像であると把握することもできる。このように把握すると、合成サムネイル画像２２１乃至２２８とは、合成前のサムネイル画像内の顔領域の拡大画像が、当該サムネイル画像の余白領域に重畳された画像であるといえる。
従って、ユーザは、合成サムネイル画像２２１乃至２２８のうち、特徴画像（縮小画像からみると顔領域の拡大画像）をみることで、原画像の画像データに対して施された画像処理の内容を容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像２２１乃至２２８のうち、中央部分の縮小画像をみることで、原画像の全体像を把握することが容易に可能になる。
以上まとめると、図４の例の一覧画像２００のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握することが可能になる。
ここで、原画像の画像データに対して施されている可能性がある画像処理としては、例えば、画調変換処理が存在する。
画調変換処理とは、処理対象の画像を、所定の画調の画像に変換する処理をいう。所定の画調として、「日本画調」、「西洋画調」、「水彩画調」、「水墨画調」、「ペン画調」、「ゴッホ調」等、各種各様の画調を採用することができる。
具体的には例えば、所定のパラメータの値を、処理対象の画像が有する値から、所定の画調に合致した値に更新する処理が、画調変換処理の一例である。この場合に用いられるパラメータは、例えば、コントラスト、明るさ、色の濃さ、色合い、シャープネス、ノイズ低減フィルタの効果設定、色温度、及びγ補正のγ値が存在する。これらのパラメータは、単独で用いられる場合もあるし、任意の２以上の組み合わせで用いられる場合もある。なお、これらのパラメータは当然ながら例示であり、画調変換処理を表現するために妥当であれば、如何なるパラメータを用いてもよい。
画調変換処理は、例えば、機器に予め定められている編集機能や、フォトショップ（登録商標）等のアプリケーションソフトウエアにより実現される。
画調変換処理とは、処理対象の画像を、所定の画調の画像に変換する処理をいう。所定の画調として、「日本画調」、「西洋画調」、「水彩画調」、「水墨画調」、「ペン画調」、「ゴッホ調」等、各種各様の画調を採用することができる。
具体的には例えば、所定のパラメータの値を、処理対象の画像が有する値から、所定の画調に合致した値に更新する処理が、画調変換処理の一例である。この場合に用いられるパラメータは、例えば、コントラスト、明るさ、色の濃さ、色合い、シャープネス、ノイズ低減フィルタの効果設定、色温度、及びγ補正のγ値が存在する。これらのパラメータは、単独で用いられる場合もあるし、任意の２以上の組み合わせで用いられる場合もある。なお、これらのパラメータは当然ながら例示であり、画調変換処理を表現するために妥当であれば、如何なるパラメータを用いてもよい。
画調変換処理は、例えば、機器に予め定められている編集機能や、フォトショップ（登録商標）等のアプリケーションソフトウエアにより実現される。
また、原画像の画像データに対して施されている可能性がある画像処理としては、例えば、階調処理が存在する。
階調処理とは、画像の明度を段階的に変化させる処理をいう。
具体的には例えば、撮像時に光量を段階的に変化させることによって画像の明度を変化する処理や、機器に予め定められている編集機能又はフォトショップ（登録商標）等のアプリケーションソフトウエアにより実現される編集機能によって、撮像後の画像の明度を段階的に変換させる処理も、階調処理の一例である。
階調処理とは、画像の明度を段階的に変化させる処理をいう。
具体的には例えば、撮像時に光量を段階的に変化させることによって画像の明度を変化する処理や、機器に予め定められている編集機能又はフォトショップ（登録商標）等のアプリケーションソフトウエアにより実現される編集機能によって、撮像後の画像の明度を段階的に変換させる処理も、階調処理の一例である。
以上、原画像の画像データに対して施されている可能性がある画像処理として、画調変換処理と階調処理について説明したが、これらは例示に過ぎない。即ち、原画像の画像データに対しては、任意の種類の画像処理が施されている可能性がある。
ここで、ユーザの目的が、上述したように、一覧画像に含まれる合成サムネイル画像から、原画像の画像データに対して施された画像処理の内容を把握することである場合には、画像処理が施されてない原画像に対応するサムネイル画像データから、合成サムネイル画像の画像データを生成する必要は特にない。
従って、このような場合には、図２の合成対象決定部８１は、画像処理が施された原画像に対応するサムネイル画像の画像データのみを、合成対象として決定すればよい。
ここで、原画像の画像データに対して画像処理が施されているか否かの判断手法は、特に限定されず、例えば、複数の原画像に関するデータベースであって、施された画像処理の種類が格納されたデータベースが存在する場合、当該データベースを用いる手法を採用してもよい。
ただし、本実施形態では、次のような判断手法が採用されている。即ち、本実施形態では、上述したように、原画像の画像データは画像ファイルに含められて原画像記憶部７２に記憶されている。この画像ファイルには、当該原画像の画像データに対して施された画像処理の内容を示す画像情報が、メタ情報の１つとして含まれている。そこで、合成対象決定部８１は、この画像情報の内容に基づいて、原画像の画像データに対して画像処理が施されているか否かを判断する。
従って、このような場合には、図２の合成対象決定部８１は、画像処理が施された原画像に対応するサムネイル画像の画像データのみを、合成対象として決定すればよい。
ここで、原画像の画像データに対して画像処理が施されているか否かの判断手法は、特に限定されず、例えば、複数の原画像に関するデータベースであって、施された画像処理の種類が格納されたデータベースが存在する場合、当該データベースを用いる手法を採用してもよい。
ただし、本実施形態では、次のような判断手法が採用されている。即ち、本実施形態では、上述したように、原画像の画像データは画像ファイルに含められて原画像記憶部７２に記憶されている。この画像ファイルには、当該原画像の画像データに対して施された画像処理の内容を示す画像情報が、メタ情報の１つとして含まれている。そこで、合成対象決定部８１は、この画像情報の内容に基づいて、原画像の画像データに対して画像処理が施されているか否かを判断する。
このような判断手法が適用されたサムネイル表示処理の流れを説明するフローチャートが、図５に示されている。
即ち、図５は、図２の機能的構成を有するデータ処理部１１が実行するサムネイル表示処理の流れの一例を説明するフローチャートである。
即ち、図５は、図２の機能的構成を有するデータ処理部１１が実行するサムネイル表示処理の流れの一例を説明するフローチャートである。
サムネイル表示処理は、ユーザが操作部４２（図１）を用いて一覧画像（サムネイル画像又は合成サムネイル画像の一覧）の表示を指示操作したことをトリガとして開始する。なお、サムネイル表示処理の開始のトリガは、これに特に限定されず、その他例えば、画像データがデータ処理部１１に入力されたことをトリガとして、サムネイル表示処理を自動的に開始するようにしてもよい。
ステップＳ１において、画像取得部６１は、原画像の画像データを取得する。
即ち、画像取得部６１は、表示対象の候補として、原画像の画像データを含む画像ファイルを、図１のドライブ４４を介してリムーバブル記録媒体５１から取得したり、通信部４３を介して他の装置（図示せず）から取得する。
具体的には例えば、図３の原画像１０１の画像データが取得される。
即ち、画像取得部６１は、表示対象の候補として、原画像の画像データを含む画像ファイルを、図１のドライブ４４を介してリムーバブル記録媒体５１から取得したり、通信部４３を介して他の装置（図示せず）から取得する。
具体的には例えば、図３の原画像１０１の画像データが取得される。
ステップＳ２において、画像取得部６１は、原画像の画像データから、サムネイル画像の画像データを生成する。
即ち、画像取得部６１は、原画像の縮小画像に対して余白領域を付加することで、画面アスペクト比が１：１のサムネイル画像の画像データを生成する。
具体的には例えば、図３に示すように、原画像１０１の縮小画像１１１に対して余白領域１１２Ｕ及び１１２Ｄが付加された画像１０２の画像データが、サムネイル画像の画像データとして生成される。
即ち、画像取得部６１は、原画像の縮小画像に対して余白領域を付加することで、画面アスペクト比が１：１のサムネイル画像の画像データを生成する。
具体的には例えば、図３に示すように、原画像１０１の縮小画像１１１に対して余白領域１１２Ｕ及び１１２Ｄが付加された画像１０２の画像データが、サムネイル画像の画像データとして生成される。
原画像の画像データを含む画像ファイルが原画像記憶部７２に記憶され、サムネイル画像の画像データがサムネイル画像記憶部７１に記憶されると、処理はステップＳ３に進む。
ステップＳ３において、合成対象決定部８１は、原画像の画像データに対して画像処理が施されているか否かを判定する。
即ち、合成対象決定部８１は、原画像の画像データが含まれている画像ファイルから、画像情報を読み出し、当該画像情報の内容に基づいて、原画像の画像データに対して画像処理が施されているか否かを判定する。
即ち、合成対象決定部８１は、原画像の画像データが含まれている画像ファイルから、画像情報を読み出し、当該画像情報の内容に基づいて、原画像の画像データに対して画像処理が施されているか否かを判定する。
そもそも画像情報が画像ファイルに存在しないか、又は、画像ファイルから読み出された画像情報が、原画像の画像データに対して画像処理が施されていないことを示す情報の場合、原画像の画像データは合成対象でないとして、ステップＳ３においてＮＯであると判定されて、処理はステップＳ４に進む。
ステップＳ４において、一覧画像表示制御部６４は、サムネイル画像を一覧画像に含める。即ち、サムネイル画像の画像データが、サムネイル画像記憶部７１から読み出され、一覧画像表示制御部６４に供給されて、一覧画像の画像データの生成用として一覧画像表示制御部６４に保持される。
これにより、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理については後述する。
ステップＳ４において、一覧画像表示制御部６４は、サムネイル画像を一覧画像に含める。即ち、サムネイル画像の画像データが、サムネイル画像記憶部７１から読み出され、一覧画像表示制御部６４に供給されて、一覧画像の画像データの生成用として一覧画像表示制御部６４に保持される。
これにより、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理については後述する。
これに対して、画像ファイルから読み出された画像情報が、所定の画像処理の内容を示す情報、即ち原画像の画像データに対して画像処理が施されていることを示す情報の場合、原画像の画像データは合成対象であるとして、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ５に進む。
ステップＳ５において、特徴画像抽出部８２は、原画像の画像データを原画像記憶部７２から読み出して、当該原画像から顔領域を検出する。
即ち、本実施形態では、上述したように、特徴領域として顔領域が採用されている。そこで、特徴画像抽出部８２は、原画像から人間の顔に関する特徴点を１以上抽出し、抽出した１以上の特徴点から顔領域を検出する。
詳細には例えば、特徴画像抽出部８２は、特開２００１−１６５７３号公報等に開示された特徴点抽出処理を原画像の画像データに対して施すことで、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等を、人間の顔に関する特徴点として検出する。
特徴画像抽出部８２は、このように検出した各特徴点に基づいて、眉、目、鼻、唇の各領域を画定し、眉、目、鼻、唇の各領域の境界を輪郭として決定することによって、顔領域を検出する。
なお、顔領域の検出手法は、上述の手法に特に限定されず、その他例えば、原画像の画像データから輝度画像データを生成し、当該輝度画像データを用いて顔領域を検出する手法等、様々な手法を採用することができる。
即ち、本実施形態では、上述したように、特徴領域として顔領域が採用されている。そこで、特徴画像抽出部８２は、原画像から人間の顔に関する特徴点を１以上抽出し、抽出した１以上の特徴点から顔領域を検出する。
詳細には例えば、特徴画像抽出部８２は、特開２００１−１６５７３号公報等に開示された特徴点抽出処理を原画像の画像データに対して施すことで、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等を、人間の顔に関する特徴点として検出する。
特徴画像抽出部８２は、このように検出した各特徴点に基づいて、眉、目、鼻、唇の各領域を画定し、眉、目、鼻、唇の各領域の境界を輪郭として決定することによって、顔領域を検出する。
なお、顔領域の検出手法は、上述の手法に特に限定されず、その他例えば、原画像の画像データから輝度画像データを生成し、当該輝度画像データを用いて顔領域を検出する手法等、様々な手法を採用することができる。
ステップＳ６において、特徴画像抽出部８２は、原画像から検出された顔領域の少なくとも一部を含む画像の画像データを、特徴画像の画像データとして、原画像の画像データから抽出する。
具体的には例えば、図３に示すように、原画像１０１の顔領域の一部の画像１２１の画像データが、特徴画像の画像データとして抽出される。
このようにして抽出された特徴画像の画像データは、特徴画像記憶部７３に記憶される。これにより、処理はステップＳ７に進む。
具体的には例えば、図３に示すように、原画像１０１の顔領域の一部の画像１２１の画像データが、特徴画像の画像データとして抽出される。
このようにして抽出された特徴画像の画像データは、特徴画像記憶部７３に記憶される。これにより、処理はステップＳ７に進む。
ステップＳ７において、画像合成部８３は、サムネイル画像の余白領域に特徴画像を重畳した合成サムネイル画像の画像データを生成する。
即ち、画像合成部８３には、ステップＳ２の処理で生成されたサムネイル画像の画像データが供給されると共に、ステップＳ６の処理で抽出された特徴画像の画像データが供給される。そこで、画像合成部８３は、特徴画像を背景として、サムネイル画像を前景として、前景を背景の上に合成する合成処理を、特徴画像及びサムネイル画像の各画像データに施すことで、合成サムネイル画像の画像データを生成する。
具体的には例えば、上述した図３を用いて説明すると、前景のサムネイル画像１０２のうち、原画像１０１の縮小画像１１１の部分の画像データは、透過率０％（非透明）で、背景の特徴画像１２１の画像データに合成される。一方、前景のサムネイル画像１０２のうち、余白領域１１２Ｕ及び１１２Ｄの部分の画像データは、透過率１００％（全透明）で、背景の特徴画像１２１の画像データに合成される。その結果、サムネイル画像１０２の余白領域１１２Ｕ及び１１２Ｄに特徴画像１２１を重畳した画像１０３の画像データが、合成サムネイル画像の画像データとして生成される。
より具体的には例えば、本実施形態では、サムネイル画像１０２を含む前景の画像データには、透過度情報（以下、「アルファ値」と呼ぶ）を保存するためのデータ領域（以下、「アルファチャネル」と呼ぶ）が設けられているものとする。この場合、画像合成部８３は、前景を構成する各画素のアルファチャネル内のアルファ値をそれぞれ設定することで、透過率の設定を画素単位で実現することができる。
そこで、画像合成部８３は、前景のサムネイル画像１０２のうち、原画像１０１の縮小画像１１１を構成する各画素については、低いアルファ値を設定することで、透過率０％（非透明）を実現する。一方、画像合成部８３は、前景のサムネイル画像１０２のうち、余白領域１１２Ｕ及び１１２Ｄの部分を構成する各画素については、高いアルファ値を設定されることで、透過率１００％（全透明）を実現する。
このようにして、画像合成部８３により生成された合成サムネイル画像の画像データは、合成サムネイル画像記憶部７４に記憶される。これにより、処理はステップＳ８に進む。
より具体的には例えば、本実施形態では、サムネイル画像１０２を含む前景の画像データには、透過度情報（以下、「アルファ値」と呼ぶ）を保存するためのデータ領域（以下、「アルファチャネル」と呼ぶ）が設けられているものとする。この場合、画像合成部８３は、前景を構成する各画素のアルファチャネル内のアルファ値をそれぞれ設定することで、透過率の設定を画素単位で実現することができる。
そこで、画像合成部８３は、前景のサムネイル画像１０２のうち、原画像１０１の縮小画像１１１を構成する各画素については、低いアルファ値を設定することで、透過率０％（非透明）を実現する。一方、画像合成部８３は、前景のサムネイル画像１０２のうち、余白領域１１２Ｕ及び１１２Ｄの部分を構成する各画素については、高いアルファ値を設定されることで、透過率１００％（全透明）を実現する。
このようにして、画像合成部８３により生成された合成サムネイル画像の画像データは、合成サムネイル画像記憶部７４に記憶される。これにより、処理はステップＳ８に進む。
ステップＳ８において、一覧画像表示制御部６４は、合成サムネイル画像を一覧画像に含める。即ち、合成サムネイル画像の画像データが、合成サムネイル画像記憶部７４から読み出されて、一覧画像表示制御部６４に供給されて、一覧画像の画像データの生成用として一覧画像表示制御部６４に保持される。
このようにして、ステップＳ８の処理で合成サムネイル画像が一覧画像に含められるか、又はステップＳ４の処理でサムネイル画像が一覧画像に含められると、処理はステップＳ９に進む。
ステップＳ９において、一覧画像表示制御部６４は、表示対象の候補に対応するサムネイル画像又は合成サムネイル画像の全てが一覧画像に含められたか否かを判定する。
表示対象の候補となる原画像の中に、そのサムネイル画像又は合成サムネイル画像が一覧画像に含められていないものが未だ存在する場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
即ち、表示対象の候補となる複数の原画像の各々について、ステップＳ１乃至Ｓ９のループ処理がその都度実行されることで、そのサムネイル画像又は合成サムネイル画像が一覧画像に順次含まれていく。
そして、表示対象の候補に対応するサムネイル画像又は合成サムネイル画像の全てが一覧画像に含められると、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。
ステップＳ９において、一覧画像表示制御部６４は、表示対象の候補に対応するサムネイル画像又は合成サムネイル画像の全てが一覧画像に含められたか否かを判定する。
表示対象の候補となる原画像の中に、そのサムネイル画像又は合成サムネイル画像が一覧画像に含められていないものが未だ存在する場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
即ち、表示対象の候補となる複数の原画像の各々について、ステップＳ１乃至Ｓ９のループ処理がその都度実行されることで、そのサムネイル画像又は合成サムネイル画像が一覧画像に順次含まれていく。
そして、表示対象の候補に対応するサムネイル画像又は合成サムネイル画像の全てが一覧画像に含められると、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。
ステップＳ１０において、一覧画像表示制御部６４は、サムネイル画像や合成サムネイル画像を全て含む画像を、一覧画像として表示部４１に表示する。
具体的には例えば、図４に示す一覧画像２００が、表示部４１の画面として表示される。
具体的には例えば、図４に示す一覧画像２００が、表示部４１の画面として表示される。
このように、第１実施形態では、画像処理が施された原画像の画像データから、当該原画像の縮小画像に余白領域を付加したサムネイル画像の画像データが生成される。さらに、サムネイル画像の余白領域に、原画像の特徴領域（本実施形態では顔領域）の少なくとも一部を含む特徴画像を重畳した合成サムネイル画像の画像データが生成される。そして、当該合成サムネイル画像を含む一覧画像が表示部４１の画面として表示される。
ここで、特徴画像とは、サムネイル画像の観点からすると、サムネイル画像の特徴領域（本実施形態では顔領域）の拡大画像に相当する。従って、ユーザは、合成サムネイル画像のうち、特徴画像をみることで、サムネイル画像だけをみた場合と比較して、原画像内の小さな違いを確認し易くなるので、原画像の画像データに施された画像処理の内容を容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像のうち、原画像の縮小画像をみることで、当該原画像の全体像を把握することが容易に可能になる。
以上まとめると、一覧画像のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握することが可能になる。
ここで、特徴画像とは、サムネイル画像の観点からすると、サムネイル画像の特徴領域（本実施形態では顔領域）の拡大画像に相当する。従って、ユーザは、合成サムネイル画像のうち、特徴画像をみることで、サムネイル画像だけをみた場合と比較して、原画像内の小さな違いを確認し易くなるので、原画像の画像データに施された画像処理の内容を容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像のうち、原画像の縮小画像をみることで、当該原画像の全体像を把握することが容易に可能になる。
以上まとめると、一覧画像のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の画像処理の内容（画像処理が施されてないという内容含む）及び全体像をユーザが容易に把握することが可能になる。
さらに、合成サムネイル画像において、特徴画像が重畳される場所は、原画像とサムネイル画像の画面アスペクト比の違いによって必然的に生ずる余白領域である。このため、サムネイル画像や合成サムネイル画像を複数枚含む一覧画像の視認性、即ち、一覧性を阻害することはなく、かつ、表示部４１の画面といった限られた範囲（表示領域の範囲）を無駄に消費することもない。
［第２実施形態］
次に、本発明が適用される画像処理装置の第２実施形態について説明する。
次に、本発明が適用される画像処理装置の第２実施形態について説明する。
第２実施形態の画像処理装置として、図１のハードウェア構成のフォトフレーム１をそのまま採用することができる。また、第２実施形態のフォトフレーム１が、サムネイル表示処理を実現するための機能的構成も、図２の機能的構成をそのまま採用することができる。よって、第２実施形態のフォトフレーム１のハードウェア構成及び機能的構成の説明は省略する。
そこで、以下、第２実施形態のフォトフレーム１のうち、第１実施形態との差異点についてのみ説明する。
即ち、第１実施形態では、ユーザの目的が、上述したように、一覧画像に含まれる合成サムネイル画像から、原画像の画像データに対して施された画像処理の内容を把握することが前提とされた。このため、第１実施形態では、図２の合成対象決定部８１は、画像処理が施された原画像に対応するサムネイル画像の画像データを、合成対象として決定していた。即ち、第１実施形態では、画像処理が施された原画像に対応するサムネイル画像の画像データのみから、合成サムネイル画像の画像データが生成された。
これに対して、第２実施形態では、ユーザの目的が、一覧画像に含まれる合成サムネイル画像から、ブラケット撮影された複数の原画像の間の撮像条件の違いを把握することが前提とされる。このため、第２実施形態では、合成対象決定部８１は、ブラケット撮影により得られた原画像に対応するサムネイル画像の画像データを、合成対象として決定する。即ち、第２実施形態では、ブラケット撮影により得られた原画像に対応するサムネイル画像の画像データのみから、合成サムネイル画像の画像データが生成される。
従って、図示はしないが、第２実施形態のサムネイル表示処理も、原則として、図５のフローチャートに従った処理となる。ただし、第２実施形態のサムネイル表示処理では、ステップＳ３の処理のみが、「原画像はブラケット撮影により得られたものであるか？」という処理に置換される。
ここで、ブラケット撮影とは、露出値、ズーム値、フォーカス値、ホワイトバランス値フラッシュ発光量等の撮影時における１種類以上の設定値を複数段階に変更して、設定値変更する毎に撮影をすることをいう。ブラケット撮影により、異なる設定値でそれぞれ撮影された場合の原画像の画像データがそれぞれ得られる。
従って、図示はしないが、第２実施形態のサムネイル表示処理も、原則として、図５のフローチャートに従った処理となる。ただし、第２実施形態のサムネイル表示処理では、ステップＳ３の処理のみが、「原画像はブラケット撮影により得られたものであるか？」という処理に置換される。
ここで、ブラケット撮影とは、露出値、ズーム値、フォーカス値、ホワイトバランス値フラッシュ発光量等の撮影時における１種類以上の設定値を複数段階に変更して、設定値変更する毎に撮影をすることをいう。ブラケット撮影により、異なる設定値でそれぞれ撮影された場合の原画像の画像データがそれぞれ得られる。
図６は、第２実施形態のフォトフレーム１の表示部４１の画面として表示される一覧画像の例を示している。
図６の例の一覧画像３００（画面３００）には、１０枚の合成サムネイル画像３１１乃至３２０が含まれている。
１０枚の合成サムネイル画像３１１乃至３２０の各々の中央部分には、原画像の縮小画像が含まれている。ユーザは、これらの縮小画像から、原画像の画像データがブラケット撮影により得られたものであると把握することまではできるが、縮小画像内の小さな違いが区別付かないため、撮像条件の違いを把握することは非常に困難である。
しかしながら、１０枚の合成サムネイル画像３１１乃至３２０の各々の上下の部分、即ち、サムネイル画像の余白領域であった部分には、原画像の特徴領域（本実施形態では顔領域）の少なくとも一部を含む特徴画像が重畳されている。
ここで、合成サムネイル画像３１１乃至３２０の各々の中央部分の縮小画像には、即ち、合成前のサムネイル画像の中央部分の縮小画像には、原画像内の顔領域も縮小して含まれている。従って、視点を変えると、合成前のサムネイル画像内の顔領域の拡大画像が、特徴画像であると把握することもできる。このように把握すると、合成サムネイル画像３１１乃至３２０とは、合成前のサムネイル画像内の顔領域の拡大画像が、当該サムネイル画像の余白領域に重畳された画像であるといえる。
従って、ユーザは、合成サムネイル画像３１１乃至３２０のうち、特徴画像（縮小画像からみると顔領域の拡大画像）を見比べることで、ブラケット撮影により得られた複数の原画像の間の撮像条件の違いを容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像３１１乃至３２０のうち、中央部分の縮小画像をみることで、原画像の全体像を把握することが容易に可能になる。
以上まとめると、図６の例の一覧画像３００のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の撮影条件の違い及び全体像をユーザが容易に把握することが可能になる。
図６の例の一覧画像３００（画面３００）には、１０枚の合成サムネイル画像３１１乃至３２０が含まれている。
１０枚の合成サムネイル画像３１１乃至３２０の各々の中央部分には、原画像の縮小画像が含まれている。ユーザは、これらの縮小画像から、原画像の画像データがブラケット撮影により得られたものであると把握することまではできるが、縮小画像内の小さな違いが区別付かないため、撮像条件の違いを把握することは非常に困難である。
しかしながら、１０枚の合成サムネイル画像３１１乃至３２０の各々の上下の部分、即ち、サムネイル画像の余白領域であった部分には、原画像の特徴領域（本実施形態では顔領域）の少なくとも一部を含む特徴画像が重畳されている。
ここで、合成サムネイル画像３１１乃至３２０の各々の中央部分の縮小画像には、即ち、合成前のサムネイル画像の中央部分の縮小画像には、原画像内の顔領域も縮小して含まれている。従って、視点を変えると、合成前のサムネイル画像内の顔領域の拡大画像が、特徴画像であると把握することもできる。このように把握すると、合成サムネイル画像３１１乃至３２０とは、合成前のサムネイル画像内の顔領域の拡大画像が、当該サムネイル画像の余白領域に重畳された画像であるといえる。
従って、ユーザは、合成サムネイル画像３１１乃至３２０のうち、特徴画像（縮小画像からみると顔領域の拡大画像）を見比べることで、ブラケット撮影により得られた複数の原画像の間の撮像条件の違いを容易に把握することが可能になる。
一方で、ユーザは、合成サムネイル画像３１１乃至３２０のうち、中央部分の縮小画像をみることで、原画像の全体像を把握することが容易に可能になる。
以上まとめると、図６の例の一覧画像３００のように、複数のサムネイル画像又は合成サムネイル画像が１画面内に一覧表示される場合に、各々の撮影条件の違い及び全体像をユーザが容易に把握することが可能になる。
さらに、合成サムネイル画像において、特徴画像が重畳される場所は、原画像とサムネイル画像の画面アスペクト比の違いによって必然的に生ずる余白領域である。このため、第１実施形態と全く同様に、サムネイル画像や合成サムネイル画像を複数枚含む一覧画像の視認性、即ち、一覧性を阻害することはなく、かつ、表示部４１の画面といった限られた範囲（表示領域の範囲）を無駄に消費することもない。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述した第１実施形態では、画像処理が施された原画像に対応するサムネイル画像の画像データのみが、合成対象となり、合成サムネイル画像の画像データが生成された。一方、上述した第２実施形態では、ブラケット撮影により得られた原画像に対応するサムネイル画像の画像データのみが、合成対象となり、合成サムネイル画像の画像データが生成された。
しかしながら、合成対象は、上述した第１実施形態や第２実施形態の例に特に限定されず、任意でよい。例えば、第１実施形態と第２実施形態とを組み合わせてもよい。即ち、画像処理が施された原画像及びブラケット撮影により得られた原画像の各々に対応するサムネイル画像の画像データを、合成対象として、合成サムネイル画像の画像データを生成するようにしてもよい。
しかしながら、合成対象は、上述した第１実施形態や第２実施形態の例に特に限定されず、任意でよい。例えば、第１実施形態と第２実施形態とを組み合わせてもよい。即ち、画像処理が施された原画像及びブラケット撮影により得られた原画像の各々に対応するサムネイル画像の画像データを、合成対象として、合成サムネイル画像の画像データを生成するようにしてもよい。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、フォトフレームとして構成される例として説明した。しかしながら、本発明は、フォトフレームに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブル記録媒体５１（図１）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブル記録媒体５１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
１・・・フォトフレーム（画像処理装置）、１１・・・データ処理部、１２・・・ユーザインタフェース部、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・表示制御部、３６・・・画像処理部、４１・・・表示部（表示手段）、４２・・・操作部、４３・・・通信部、４４・・・ドライブ、５１・・・リムーバブル記録媒体、６１・・・画像取得部、６２・・・画像記憶部、６３・・・合成サムネイル画像生成部、６４・・・一覧画像表示制御部、７１・・・サムネイル画像記憶部、７２・・・原画像記憶部、７３・・・特徴画像記憶部、７４・・・合成サムネイル画像記憶部、８１・・・合成対象決定部、８２・・・特徴画像抽出部、８３・・・画像合成部
Claims (6)
- 原画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、
前記原画像の特徴領域の少なくとも一部を特徴画像として抽出する特徴画像抽出手段と、
前記特徴画像を、前記サムネイル画像に含まれる前記特徴領域と対応する領域の画像より拡大された画像として、前記サムネイル画像と合成して合成サムネイル画像を生成する合成サムネイル画像生成手段と、
を備えることを特徴とする画像処理装置。 - 前記原画像の画像データは、画像処理が施されていることを特徴とする請求項１記載の画像処理装置。
- 前記原画像の特徴領域は、人物の顔領域であることを特徴とする請求項１または２記載の画像処理装置。
- 前記合成サムネイル画像生成手段は、前記特徴画像を背景として、前記サムネイル画像を前景として合成処理を行うことを特徴とする請求項１ないし３いずれか記載の画像処理装置。
- 画像処理装置のコンピュータが、
原画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成工程と、
前記原画像の特徴領域の少なくとも一部を特徴画像として抽出する特徴画像抽出工程と、
前記特徴画像を、前記サムネイル画像に含まれる前記特徴領域と対応する領域の画像より拡大された画像として、前記サムネイル画像と合成して合成サムネイル画像を生成する合成サムネイル画像生成工程と、
を実行することを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
原画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、
前記原画像の特徴領域の少なくとも一部を特徴画像として抽出する特徴画像抽出手段と、
前記特徴画像を、前記サムネイル画像に含まれる前記特徴領域と対応する領域の画像より拡大された画像として、前記サムネイル画像と合成して合成サムネイル画像を生成する合成サムネイル画像生成手段と、
して機能させる画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014000680A JP5761386B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014000680A JP5761386B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010120221A Division JP5459072B2 (ja) | 2010-05-26 | 2010-05-26 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014067451A JP2014067451A (ja) | 2014-04-17 |
| JP5761386B2 true JP5761386B2 (ja) | 2015-08-12 |
Family
ID=50743695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014000680A Expired - Fee Related JP5761386B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5761386B2 (ja) |
-
2014
- 2014-01-07 JP JP2014000680A patent/JP5761386B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014067451A (ja) | 2014-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9165389B2 (en) | Image processing apparatus, image processing method, and program | |
| EP2525561B1 (en) | Data-generating device, data-generating method, data-generating program, and recording medium | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| WO2016026466A1 (zh) | 一种光绘图像的优化方法及装置 | |
| JP4821642B2 (ja) | 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム | |
| JP4399462B2 (ja) | 画像処理装置、方法、およびプログラム | |
| JP2010072934A (ja) | アルバム作成装置及びアルバム作成方法 | |
| US9258458B2 (en) | Displaying an image with an available effect applied | |
| JP5408037B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| US8971636B2 (en) | Image creating device, image creating method and recording medium | |
| JP5556194B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP5385059B2 (ja) | 画像表示方法、プログラム、画像表示装置、及び、撮像装置 | |
| JP5761386B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP5459072B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2019032654A (ja) | 画像処理装置、及び、画像処理方法、コンピュータプログラム | |
| WO2016187769A1 (zh) | 在视频中实现多层蒸汽特效的方法和装置 | |
| CN112488972A (zh) | 一种绿幕图像与虚拟图像实时合成的方法和装置 | |
| JP5232107B2 (ja) | 画像表示方法、プログラム、画像表示装置、及び、撮像装置 | |
| JP2008263657A (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
| JP2014174855A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11244187B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
| JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008147714A (ja) | 画像処理装置およびその方法 | |
| JP6606935B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6476811B2 (ja) | 画像生成装置、画像生成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5761386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |