JP5763700B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、それぞれ付帯情報を有する複数の画像について、画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを修正する画像処理装置、画像処理方法およびプログラムに関するものである。

フォトブックは、ユーザが所有する複数の画像（画像データ）から所定数の画像を選択（抽出）し、選択した所定数の画像を使用して、ユーザが希望するレイアウトの写真集（フォトアルバム）を作成したものである。近年では、ユーザが所有する複数の画像から自動的に所定数の画像を選択し、選択した所定数の画像を使用して、自動的にフォトブックのそれぞれのページのレイアウトを作成する自動レイアウト機能が提供されている。

従来のフォトブックでは、例えば、旅行、結婚式等の１つのイベントで撮影された数１００枚程度の画像からフォトブックを作成することが想定されていた。これに対し、近年では、大量の画像を保有するものの、フォトブックを作成する時間がないユーザ等を対象として、例えば、記念アルバムとして、１年分の１０００〜数１０００枚という大量の画像からフォトブックを作成することが行われている。

例えば、１年分の１０００〜数１０００枚という大量の画像からフォトブックを作成する場合、デジタルスチルカメラや携帯電話のカメラ機能等のように、機種が異なる２以上の撮影装置で撮影された画像、海外旅行の際に内蔵時計の時刻変更をしないで撮影された画像、友人からもらった画像等のように、内蔵時計の時刻設定が異なる１以上の撮影装置を使用して撮影された画像（画像データ）が混在する可能性が、従来の数１００枚程度の画像からフォトブックを作成する場合よりも高くなる。

例えば、機種が異なる２以上の撮影装置の場合、各々の撮影装置の内蔵時計の時刻設定が異なる可能性がある。このように、内蔵時計の時刻設定の異なる２以上の撮影装置の少なくとも一方で撮影された画像の付帯情報である撮影時刻は、画像の実際の撮影時刻とは異なる。同様に、海外旅行の際に撮影装置の内蔵時計の時刻変更をしないで画像を撮影した場合も、海外および国内で撮影された画像の少なくとも一方の付帯情報である撮影時刻は、画像の実際の撮影時刻とは異なる。友人からもらった画像等も同様である。

従って、内蔵時計の時刻設定が異なる１以上の撮影装置で撮影された画像が混在する場合、複数の画像を付帯情報である撮影時刻の順序で並べても、それぞれの画像の実際の撮影時刻の順序で並べることはできない。

このように、画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間にずれがあると、フォトブックの自動レイアウト機能を利用して、例えば、複数の画像を付帯情報である撮影時刻に基づいて、それぞれ、所定の時間内に連続的に撮影された所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を抽出して合計で所定数の画像を抽出し、抽出した所定数の画像を使用して複数のページからなるフォトブックを作成する場合に、正しく自動レイアウトを行うことができない可能性がある。

例えば、上記のように、画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間にずれがある場合、本来であれば、結婚式のケーキ入刀などのように、同じイベントで撮影された画像を同じグループに分類してフォトブックの同じページに配置したいところであるが、同じイベントで撮影された画像がフォトブックの別々のページに配置される可能性がある。また、フォトブックのレイアウト時に、画像の時系列順が崩れる可能性がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１〜３がある。

特許文献１は、撮像データに対する管理データの修正方法に関するものである。同文献には、現在時刻を逐次カウントし、これによって撮影画像の取得時刻を得るとともに、その取得時刻から現在時刻までの経過時間を計測し、撮影画像と、撮影画像の取得時刻および取得時刻から現在時刻までの経過時間とを対応づけ、現在時刻に対して修正が施された場合、その修正時刻から経過時間を逆算することで、複数の撮影画像の取得時刻を修正することが記載されている。

特許文献２は、複数の撮影装置によって取得された画像データの撮影日時を一律に修正するための撮影日時修正方法に関するものである。同文献には、複数の撮影装置によって取得された取得日時を示す日時データを付帯して有する画像データを取り込み、取り込んだ画像データの中から、複数の撮影装置のうち何れか１つの撮影装置により取得された画像データを全て選択し、選択した全ての画像データに付帯する日時データを一律に修正することが記載されている。

特許文献３は、デジタル画像ファイル内に取り込まれた各画像の日付と時刻を記憶するデジタルカメラに関するものである。同文献には、デジタルカメラと現在の日付／時刻値を提供する別個の装置との間の通信を確立し、デジタルカメラ内蔵現在日付／時刻値と別個の装置の現在日付／時刻値との間の差に応じて、デジタルカメラで撮影された複数のデジタル画像各々の日付／時刻値を補正することが記載されている。

特開２００６−１９７３１６号公報 特開２００７−９７０７６号公報 特表２００７−５１９３０９号公報

本発明の目的は、前記従来技術の問題点を解消し、画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを簡単に修正することができる画像処理装置、画像処理方法およびプログラムを提供することにある。

上記目的を達成するために、本発明は、それぞれ付帯情報を有する複数の画像を保存する画像保存部と、
画像保存部に保存されたそれぞれの画像の画像解析を行う画像解析部と、
画像解析部による画像解析の結果、および、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻が、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像の実際の撮影時刻の順序となるように修正する時刻修正部と、
複数の画像が付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、付帯情報である撮影時刻の修正の要否を判定する要否判定部とを備え、
要否判定部により付帯情報である撮影時刻の修正が必要と判定された場合に、画像解析部は、画像の画像解析を行い、かつ、時刻修正部は、付帯情報である撮影時刻を修正するものであることを特徴とする画像処理装置を提供するものである。

ここで、画像解析部は、画像解析として、類似画像判定処理を行うものであり、
時刻修正部は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、類似画像判定処理の結果、類似画像と判定された２以上の画像が連続して並ぶように、類似画像と判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものであることが好ましい。

また、画像解析部は、画像解析として、顔認識処理および構図判定処理の少なくとも１つを行うものであり、
時刻修正部は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、顔認識処理および構図判定処理の少なくとも１つの結果、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像が連続して並ぶように、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものであることが好ましい。

また、時刻修正部は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、付帯情報であるＧＰＳ情報に対応する撮影場所が所定の範囲内に含まれる２以上の画像が連続して並ぶように、撮影場所が所定の範囲内に含まれる２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものであることが好ましい。

ここで、画像解析部は、画像解析としての類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、複数の画像のそれぞれの類似度を算出するものであり、
時刻修正部は、類似度に応じて、付帯情報である撮影時刻を修正する１以上の画像の修正量を決定するものであることが好ましい。

また、時刻修正部は、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻が、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正した後の、複数の画像を付帯情報である撮影時刻の順序で並べた場合の前後の画像のうち、類似度が高い方の画像の付帯情報である撮影時刻に近くなるように、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正するものであることが好ましい。

また、時刻修正部は、類似度が高い方の画像の類似度が高くなるほど、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻が、類似度が高い方の画像の付帯情報である撮影時刻に近くなるように、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正するものであることが好ましい。

また、時刻修正部は、付帯情報である撮影装置の機種、または、付帯情報であるＧＰＳ情報に基づいて、複数の画像のうち、付帯情報である撮影時刻を修正する１以上の画像と同一機種の撮影装置で撮影された他の画像、または、付帯情報である撮影時刻を修正する１以上の画像と同一の所定の範囲内の撮影場所で撮影された他の画像の付帯情報である撮影時刻を、付帯情報である撮影時刻を修正する１以上の画像の修正量と同じ修正量だけ修正するものであることが好ましい。

また、類似画像判定処理の結果、付帯情報である撮影時刻を修正する１以上の画像のグループが複数存在すると判定された場合、時刻修正部は、付帯情報である撮影時刻の修正量が最も大きいグループに含まれる画像の修正量だけ、修正量が最も大きいグループ以外のグループに含まれる画像の付帯情報である撮影時刻を修正するものであることが好ましい。

さらに、複数の画像を画像表示部に表示させるための制御を行う表示制御部を備え、
表示制御部は、要否判定部により付帯情報である撮影時刻の修正が必要と判定された場合に、複数の画像を、付帯情報である撮影時刻の順序で並べて画像表示部に表示させ、かつ、付帯情報である撮影装置の機種毎に、もしくは、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、画像表示部に識別表示させるものであることが好ましい。

表示制御部は、要否判定部により付帯情報である撮影時刻の修正が不要と判定された場合に、複数の画像を、撮影日毎に、付帯情報である撮影時刻の順序で並べて画像表示部に表示させ、かつ、付帯情報である撮影装置の機種毎に、もしくは、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、画像表示部に識別表示させるものであることが好ましい。

また、本発明は、画像解析部が、それぞれ付帯情報を有する複数の画像を保存する画像保存部に保存されたそれぞれの画像の画像解析を行う画像解析ステップと、
時刻修正部が、画像解析の結果、および、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻が、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像の実際の撮影時刻となるように修正する時刻修正ステップと、
要否判定部が、複数の画像が付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、付帯情報である撮影時刻の修正の要否を判定する要否判定ステップとを含み、
要否判定ステップにより付帯情報である撮影時刻の修正が必要と判定された場合に、画像解析ステップは、画像の画像解析を行い、かつ、時刻修正ステップは、付帯情報である撮影時刻を修正することを特徴とする画像処理方法を提供する。

ここで、画像解析ステップは、画像解析として、類似画像判定処理を行い、
時刻修正ステップは、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、類似画像判定処理の結果、類似画像と判定された２以上の画像が連続して並ぶように、類似画像と判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正することが好ましい。

また、画像解析ステップは、画像解析として、顔認識処理および構図判定処理の少なくとも１つを行い、
時刻修正ステップは、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、顔認識処理および構図判定処理の少なくとも１つの結果、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像が連続して並ぶように、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正することが好ましい。

また、時刻修正ステップは、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、付帯情報であるＧＰＳ情報に対応する撮影場所が所定の範囲内に含まれる２以上の画像が連続して並ぶように、撮影場所が所定の範囲内に含まれる２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正することが好ましい。

また、本発明は、上記のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、画像解析の結果、および、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを自動で簡単に修正することができる。
これにより、例えば、フォトブックの自動レイアウト機能を利用して、複数の画像を付帯情報である撮影時刻に基づいて、それぞれ、所定の時間内に連続的に撮影された所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を抽出して合計で所定数の画像を抽出し、抽出した所定数の画像を使用して複数のページからなるフォトブックを作成する場合であっても、正しく自動レイアウトを行うことができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の概略動作を表すフローチャートである。 複数の画像を、付帯情報である撮影時刻の順序で並べた様子を表す概念図である。 画像の類似度に応じて、付帯情報である撮影時刻を修正する画像の修正量を決定する様子を表す概念図である。 複数の画像を、日毎に、付帯情報である撮影時刻の順序で並べた様子を表す概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法およびプログラムを詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、それぞれ付帯情報を有する複数の画像（画像データ）について、画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを自動で修正するものであり、画像保存部１２と、画像解析部１４と、時刻修正部１６と、要否判定部１８と、表示制御部２０と、画像表示部２２とによって構成されている。

画像保存部１２は、それぞれ付帯情報を有する複数の画像（画像データ）を保存するものである。画像の付帯情報は、例えば、撮影時刻、撮影装置の機種、ＧＰＳ（全地球測位システム）情報を含む各種の情報であり、撮影装置で画像が撮影された時に、撮影装置により画像のヘッダ情報として自動的に付与される。
また、画像保存部１２は、時刻修正部１６により付帯情報である撮影時刻が修正された画像（画像データ）を保存する。

要否判定部１８は、フォトブック等を作成する場合に、複数の画像が付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、付帯情報である撮影時刻の修正の要否を判定する。要否判定部１８の詳細動作については後述する。

画像解析部１４は、要否判定部１８により付帯情報である撮影時刻の修正が必要と判定された場合に、画像保存部１２に保存されたそれぞれの画像の画像解析、例えば、類似画像判定処理、顔認識処理（画像に人物の顔があるかどうか、その人物の顔のサイズ、顔の位置等の検出を含む）、構図判定処理等を行う。
また、画像解析部１４は、画像解析としての類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、複数の画像のそれぞれの類似度を算出する。

類似画像判定処理、顔認識処理、構図判定処理等の画像解析の詳細説明は省略するが、これらの画像解析は、従来公知の画像解析を含む各種の画像解析によって行うことができる。

時刻修正部１６は、要否判定部１８により付帯情報である撮影時刻の修正が必要と判定された場合に、画像解析部１４による画像解析の結果、すなわち、類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻が、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像の実際の撮影時刻の順序となるように修正する。時刻修正部１６の詳細動作は後述する。

画像表示部２２は、表示制御部２０の制御により、画像保存部１２に保存された複数の画像を表示する。

表示制御部２０は、画像保存部１２に保存された複数の画像を画像表示部２２に表示させるための制御を行う。
表示制御部２０は、要否判定部１８により付帯情報である撮影時刻の修正が必要と判定された場合に、複数の画像を、付帯情報である撮影時刻の順序で並べて画像表示部２２に表示させ、かつ、付帯情報である撮影装置の機種毎に、もしくは、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、画像表示部２２に識別表示させる。
また、表示制御部２０は、要否判定部１８により付帯情報である撮影時刻の修正が不要と判定された場合に、複数の画像を、撮影日毎に、付帯情報である撮影時刻の順序で並べて画像表示部に表示させ、かつ、付帯情報である撮影装置の機種毎に、もしくは、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、画像表示部に識別表示させる。

次に、図２に示すフローチャートを参照しながら、本発明の画像処理方法に従って、画像処理装置１０の概略動作を説明する。

付帯情報である撮影時刻の修正を行う場合、要否判定部１８により、複数の画像が付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、付帯情報である撮影時刻の修正の要否が判定される（ステップＳ１）。

要否判定部１８により付帯情報である撮影時刻の修正が必要と判定された場合（ステップＳ２でＹｅｓ）、例えば、表示制御部２０により、複数の画像が、付帯情報である撮影時刻の順序で並べて画像表示部２２に表示され、かつ、画像の表示枠の色を変える等して、例えば、付帯情報である撮影装置の機種毎に、画像表示部２２に識別表示される（ステップＳ３）。

続いて、画像解析部１４により、画像保存部１２に保存されたそれぞれの画像の画像解析、すなわち、類似画像判定処理、顔認識処理、構図判定処理等が行われる（ステップＳ４）。

続いて、時刻修正部１６により、画像解析部１４による画像解析の結果、すなわち、類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻が、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像の実際の撮影時刻の順序となるように修正される（ステップＳ５）。時刻修正部１６により付帯情報である撮影時刻が修正された画像（画像データ）は画像保存部１２に保存される。

そして、表示制御部２０により、画像保存部１２に保存された付帯情報である撮影時刻が修正された複数の画像が、付帯情報である撮影時刻の順序で並べて画像表示部２２に表示される（ステップＳ６）。
なお、ステップＳ３およびステップＳ６において画像を画像表示部２２に表示させることは必須ではなく、必要に応じて適宜実行させることが望ましい。

一方、要否判定部１８により画像の付帯情報である撮影時刻の修正が不要であると判定された場合（ステップＳ２でＮｏ）、時刻修正部１６により付帯情報である撮影時刻の修正は行われない（ステップＳ７）。
この場合も、表示制御部２０は、例えば、画像保存部１２に保存された複数の画像を、付帯情報である撮影時刻の順序で並べて画像表示部２２に表示するなどしてもよい。

次に、時刻修正部１６の動作を説明する。

時刻修正部１６は、前述のように、画像解析結果である類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻を修正する。

まず、時刻修正部１６が、類似画像判定処理の結果に基づいて、付帯情報である撮影時刻を修正する場合について説明する。

この場合、時刻修正部１６は、類似画像判定処理の結果、類似画像であると判定された２以上の画像を同一のグループであると判断する。そして、時刻修正部１６は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、類似画像と判定された２以上の画像が連続して並ぶように、類似画像と判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する。例えば、連続して並んでいない、付帯情報である撮影時刻の遅い方の１以上の画像の付帯情報である撮影時刻を早める方向に修正する。

図３は、複数の画像を付帯情報である撮影時刻の順序で並べた様子を表す概念図である。同図において、複数の画像は、番号で示すように、付帯情報である撮影時刻の順序で、同図中、左側から右側へ、かつ、上側から下側へ向かって並べられている。また、複数の画像は、画像の表示枠の色を変えて、付帯情報である撮影装置の機種毎に識別表示されている。同図では、画像の表示枠の色の変更に対応させて線種を変えることにより、２機種の撮影装置で撮影された画像が識別表示されている。

図３に示すように、類似画像判定処理の結果、例えば、画像３，４，６が類似画像の１つのグループと判定されたとする。この場合、時刻修正部１６は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像３，４，６が連続して並ぶように、画像３，４，６のうち画像６の付帯情報である撮影時刻を早める方向に修正する。具体的には、時刻修正部１６は、例えば、画像６の付帯情報である撮影時刻が画像４の付帯情報である撮影時刻と画像５の付帯情報である撮影時刻との間の時刻となるように、画像６の付帯情報である撮影時刻を修正する。

例えば、各画像３〜６の付帯情報である撮影時刻が表１に示す通りの場合、時刻修正部１６は、画像６の付帯情報である撮影時刻が画像４の付帯情報である撮影時刻2012/12/09 12:02:48と画像５の付帯情報である撮影時刻2012/12/09 12:03:50との間の時刻となるように、画像６の付帯情報である撮影時刻を２３秒以上、８３秒以下の範囲内で早める方向に修正する。これにより、複数の画像を付帯情報である撮影時刻の順序で並べた場合、画像５と画像６の順序が逆転し、画像３，４，６を連続して並べることができる。

また、時刻修正部１６は、付帯情報である撮影装置の機種に基づいて、複数の画像のうち、類似画像と判定されたある１つのグループに含まれる、付帯情報である撮影時刻を修正する画像６と同一機種の撮影装置で撮影された他の画像２，７，９，…の付帯情報である撮影時刻を、画像６の付帯情報である撮影時刻の修正量と同じ修正量だけ修正する。これにより、同一機種の撮影装置で撮影された画像の付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを一括で修正することができる。

なお、複数の画像が、付帯情報である撮影時刻の順序で並べられ、かつ、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に識別表示されている場合も同様に、時刻修正部１６は、付帯情報であるＧＰＳ情報に基づいて、複数の画像のうち、付帯情報である撮影時刻を修正する画像６と同一の所定の範囲内の撮影場所で撮影された他の画像の付帯情報である撮影時刻を、画像６の付帯情報である撮影時刻の修正量と同じ修正量だけ修正する。

表１の例では、前述のように、時刻修正部１６は、例えば、画像６の付帯情報である撮影時刻を２３秒以上、８３秒以下の範囲内で早める方向に修正することができるが、具体的には、画像６の付帯情報である撮影時刻が画像４の付帯情報である撮影時刻2012/12/09 12:02:48と画像５の付帯情報である撮影時刻2012/12/09 12:03:50の中央の時刻2012/12/09 12:03:19となるように、画像６の付帯情報である撮影時刻を５３秒だけ早める場合を例示することができる。この場合、他の画像２，７，９，…の付帯情報である撮影時刻も、同じ５３秒だけ早める。

ここで、例えば、画像６の付帯情報である撮影時刻を２３秒早める方向に修正すれば、画像３，４，６を実際の撮影時刻の順序に入れ換えることができる。しかし、画像６の付帯情報である撮影時刻を画像５の付帯情報である撮影時刻よりも早いぎりぎりの時刻に修正し、画像６と同一機種の撮影装置で撮影された他の画像２，７，９，…の付帯情報である撮影時刻も同様に２３秒だけ早める方向に修正すると、他の画像２，７，９，…を実際の撮影時刻の順序に入れ換えることができない可能性がある。

これに対し、上記のように、画像６の付帯情報である撮影時刻を画像４と画像５との中央の時刻に修正し、同一機種の撮影装置で撮影された他の画像２，７，９，…の付帯情報である撮影時刻も同様に修正することにより、他の画像２，７，９，…の付帯情報である撮影時刻を時間的な余裕をもって修正することができ、他の画像２，７，９，…をより正確に実際の撮影時刻の順序に入れ換えることができる。

また、時刻修正部１６は、複数の画像のそれぞれの類似度に応じて、付帯情報である撮影時刻を修正する１以上の画像の修正量を決定してもよい。

この場合、時刻修正部１６は、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻が、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正した後の、複数の画像を付帯情報である撮影時刻の順序で並べた場合の前後の画像のうち、類似度が高い方の画像の付帯情報である撮影時刻に近くなるように、付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正する。

例えば、類似画像判定処理の結果、同様に、画像３，４，６が類似画像と判定された場合に、画像５よりも画像４の方が画像６との類似度が高いとすると、時刻修正部１６は、図４に示すように、画像６の付帯情報である撮影時刻が画像５の付帯情報である撮影時刻2012/12/09 12:03:50よりも画像４の付帯情報である撮影時刻2012/12/09 12:02:48の方に近くなるように、画像６の付帯情報である撮影時刻を修正する。

この場合、時刻修正部１６は、類似度に応じて、画像６の付帯情報である撮影時刻の修正量を段階的に変更してもよい。すなわち、画像４と画像６との類似度が高くなるほど、画像６の付帯情報である撮影時刻が画像４の付帯情報である撮影時刻に近くなるように、画像６の付帯情報である撮影時刻を修正する。同様に、時刻修正部１６は、画像６と同一機種の撮影装置で撮影された他の画像の付帯情報である撮影時刻も、画像６の付帯情報である撮影時刻の修正量と同じ修正量だけ修正する。

同様に、画像６の付帯情報である撮影時刻を画像５の付帯情報である撮影時刻よりも早める方向に修正すれば、画像３，４，６を実際の撮影時刻の順序に修正することができる。その結果、画像６の付帯情報である撮影時刻は、画像４の付帯情報である撮影時刻よりも画像５の付帯情報である撮影時刻の方に近くなる。この場合、同様に、画像６と同一機種の撮影装置で撮影された他の画像を実際の撮影時刻の順序に入れ換えることができない可能性がある。

これに対し、上記のように、類似度に応じて画像６の付帯情報である撮影時刻の修正量を決定し、画像６と同一機種の撮影装置で撮影された他の画像の付帯情報である撮影時刻も同様に修正することにより、これら他の画像の付帯情報である撮影時刻を時間的な余裕をもって修正することができ、他の画像をより正確に実際の撮影時刻の順序に入れ換えることができる。

また、画像４と画像６との類似度と、画像５と画像６との類似度とがほぼ同じ場合、時刻修正部１６は、画像６の付帯情報である撮影時刻が画像３の付帯情報である撮影時刻と画像４の付帯情報である撮影時刻との中央の時刻に、画像６の付帯情報である撮影時刻を修正する。

なお、画像解析部１４は、画像の類似度を、類似画像判定処理だけでなく、顔認識処理、構図判定処理、付帯情報であるＧＰＳ情報の少なくとも１つを同時に利用して算出することが望ましい。これにより、画像の類似度をより正確に算出することができる。

また、類似画像判定処理の結果、付帯情報である撮影時刻を修正する画像のグループが複数存在すると判定された場合、時刻修正部１６は、付帯情報である撮影時刻の修正量が最も大きいグループに含まれる画像の付帯情報である撮影時刻の修正量だけ、修正量が最も大きいグループ以外のグループに含まれる画像の付帯情報である撮影時刻を修正してもよい。

例えば、画像６を含む類似画像のグループ、画像１２を含む類似画像のグループ、画像１９を含む類似画像のグループ、…の付帯情報である撮影時刻の修正量が表２に示す通りの場合について考える。この場合、付帯情報である撮影時刻の修正量が２４秒以上と最も大きい画像１９を含む類似画像のグループの付帯情報である撮影時刻の修正量だけ、修正量が最も大きいグループ以外の類似画像のグループに含まれる画像の付帯情報である撮影時刻を修正する。

なお、表示制御部２０は、複数の画像を、撮影装置の機種毎に画像表示部２２に識別表示させるのではなく、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に画像表示部２２に識別表示させることができる。この場合、表示制御部２０は、例えば、国内で撮影された画像と、海外で撮影された画像とを画像表示部２２に識別表示させたり、国内で撮影された画像と、国内とタイムゾーンが異なる場所で撮影された画像とを画像表示部２２に識別表示させたりする。

また、付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に画像表示部２２に識別表示させる場合も、同様に、時刻修正部１６は、付帯情報である撮影時刻を修正する画像と同一の所定の範囲内の撮影場所で撮影された他の画像の付帯情報である撮影時刻を、付帯情報である撮影時刻を修正する画像の付帯情報である撮影時刻の修正量と同じ修正量だけ修正する。

複数の画像を識別表示させることは必須ではない。しかし、複数の画像を識別表示させることにより、ユーザは、付帯情報である撮影時刻のずれが発生している可能性がある画像群を視認することができるようになる。

例えば、複数の画像を付帯情報である撮影時刻の順序で並べて識別表示し、かつ、類似画像と判定されたグループを表示して、付帯情報である撮影時刻と、画像の実際の撮影時刻との間にずれがあることをユーザに提示する。これにより、ユーザは、時刻修正部１６による判断が正しいかどうかを確認したり、時刻修正部１６に付帯情報である撮影時刻の修正を行わせるかどうかを、図示していない指示入力部を介して判断して指示したり、ユーザ自身が付帯情報である撮影時刻の修正を行うことなどができる。

続いて、時刻修正部１６が、顔認識処理および構図判定処理の少なくとも１つの結果に基づいて、付帯情報である撮影時刻を修正する場合について説明する。

この場合、時刻修正部１６は、顔認識処理および構図判定処理の少なくとも１つの結果、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像を同一のグループであると判断する。そして、時刻修正部１６は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、顔認識処理および構図判定処理の少なくとも１つにより同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像が連続して並ぶように、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する。例えば、連続して並んでいない、付帯情報である撮影時刻の遅い方の１以上の画像の付帯情報である撮影時刻を早める方向に修正する。

例えば、表３に示すように、画像３，４，６に同一のＡさん、Ｂさんが撮影され、画像３，４，６に撮影されたＡさん、Ｂさんの顔位置、顔サイズ等が同じであれば、時刻修正部１６は、画像３，４，６が同一のグループであると判断し、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、画像３，４，６が連続して並ぶように、画像６の付帯情報である撮影時刻を早める方向に修正する。また、画像の構図に基づいて同一のグループかどうかを判断する場合も同様である。

顔認識処理および構図判定処理の少なくとも１つの結果に基づいて付帯情報である撮影時刻を修正する場合の具体的な付帯情報である撮影時刻の修正方法は、類似画像判定処理の結果に基づいて付帯情報である撮影時刻を修正する場合と同様である。

なお、撮影装置の機種毎に、画像の色味や、フラッシュのオン／オフなどの撮影条件が異なる可能性がある。そのため、時刻修正部１６は、前述の類似画像判定処理だけでなく、顔認識処理、構図判定処理、付帯情報であるＧＰＳ情報等を同時に利用して、人物の顔位置や顔サイズ、構図、撮影場所等も考慮して同一グループかどうかを判断することが望ましい。また、例えば、画像の明るさや色味等を考慮するなど、他の画像処理を組み合わせて同一グループかどうかを判断してもよい。

続いて、時刻修正部１６が、付帯情報であるＧＰＳ情報に基づいて、時刻情報を修正する場合について説明する。

この場合、時刻修正部１６は、撮影場所が所定の範囲内に含まれる２以上の画像を同一のグループであると判断する。そして、時刻修正部１６は、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、付帯情報であるＧＰＳ情報に対応する撮影場所が所定の範囲内に含まれる２以上の画像が連続して並ぶように、撮影場所が所定の範囲内に含まれる２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する。例えば、連続して並んでいない、付帯情報である撮影時刻の遅い方の画像の付帯情報である撮影時刻を修正する。

ＧＰＳ情報に基づいて付帯情報である撮影時刻を修正する場合の具体的な付帯情報である撮影時刻の修正方法は、類似画像判定処理の結果に基づいて付帯情報である撮影時刻を修正する場合と同様である。

次に、要否判定部１８の動作を説明する。

結婚式、入学式等のように、同じグループの画像は、所定の時間内に連続的に撮影されていることが多いと考えられる。そこで、例えば、複数の画像を付帯情報である撮影時刻に基づいて、それぞれ、所定の時間内に連続的に撮影された所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を選択して合計で所定数の画像を選択し、選択した所定数の画像を使用して複数のページからなるフォトブックを作成する場合を考える。

この場合、付帯情報である撮影時刻の修正が必要かどうかは、フォトブックに使用する画像の数と、フォトブックのページ数によって変わってくる。

具体的には、分割したグループの数よりも、１日当たりに使用する画像の枚数の方が多い場合、分割したそれぞれのグループから１枚ずつ画像を選択したとしても、１以上のグループから２以上の画像を選択することになるため、付帯情報である撮影時刻の数分のずれが問題となる可能性がある。つまり、所定数のグループについて、同じグループから２以上の画像を選択してフォトブックに使用する場合には、付帯情報である撮影時刻の修正が必要になる。

例えば、表４のＣａｓｅ１に示すように、３泊４日の２００枚の画像群を付帯情報である撮影時刻に基づいて所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を選択して合計で１２０枚の画像を選択し、選択した１２０枚の画像を使用して３０ページのフォトブックを作成する場合を考える。この場合、平均すると、１日当たり３０枚の画像を選択してフォトブックに使用することになる。

これに対し、表４のＣａｓｅ２に示すように、１年分の２０００枚の画像群を付帯情報である撮影時刻に基づいて所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を選択して合計で１９２枚の画像を選択し、選択した１９２枚の画像から４８ページのフォトブックを作成する場合を考える。この場合、平均すると、１日当たり１．２８枚の画像を選択してフォトブックに使用することになる。

Ｃａｓｅ１の場合、１日当たりに使用する画像数は３０枚であるから、分割したそれぞれのグループから１枚ずつ画像を選択する場合、グループ数が３０以上であれば、それぞれのグループから１枚以下の画像が選択されるため、付帯情報である撮影時刻の数分のずれは問題とならない。従って、要否判定部１８は、グループ数が３０以上の場合に、付帯情報である撮影時刻の修正は不要であると判定し、グループ数が２９以下の場合に、付帯情報である撮影時刻の修正が必要であると判定する。

これに対し、Ｃａｓｅ２の場合、１日当たりに使用する画像数は１．２８枚であるから、分割したそれぞれのグループから１枚ずつ画像を選択する場合、グループ数が２以上であれば、それぞれのグループから１枚以下の画像が選択されるため、撮影時間の数分のずれは問題とならない。従って、要否判定部１８は、グループ数が２以上の場合に、付帯情報である撮影時刻の修正は不要であると判定し、グループ数が１の場合に、付帯情報である撮影時刻の修正が必要であると判定する。

なお、複数のページからなるフォトブックの場合を例に挙げて説明したが、フォトブックであることも、複数のページからなることも必須ではなく、複数の画像が付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから画像を選択して何らかの用途に使用する場合に同様に適用可能である。

前述のように、図２に示す例では、ユーザが、付帯情報である撮影時刻のずれが発生している可能性がある画像群を視認することができるように、複数の画像を付帯情報である撮影時刻の順序で並べ、かつ、撮影装置の機種毎に識別表示させている。

要否判定部１８により付帯情報である撮影時刻の修正が必要であると判定された場合、表示制御部２０は、図２に示す例のように、複数の画像を付帯情報である撮影時刻の順序で並べた場合に、撮影装置の機種毎に識別表示させることをデフォルト値としてオンとし、逆に、要否判定部１８により付帯情報である撮影時刻の修正が不要であると判定された場合、撮影装置の機種毎に識別表示させることをデフォルト値としてオフとすることが望ましい。

また、要否判定部１８により付帯情報である撮影時刻の修正が不要であると判定された場合、付帯情報である撮影時刻を時間単位で修正することは不要であるが、日単位で修正することが必要な場合が考えられる。そこで、図５に示すように、複数の画像を日毎に付帯情報である撮影時刻の順序で並べ、かつ、撮影装置の機種毎に識別表示させることが望ましい。これにより、ユーザは、日単位で付帯情報である撮影時刻のずれが発生しているかどうかを視認することができる。

上記のように、画像処理装置１０では、画像解析の結果、および、付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、付帯情報である撮影時刻と、画像の実際の撮影時刻との間のずれを自動で簡単に修正することができる。
これにより、例えば、フォトブックの自動レイアウト機能を利用して、複数の画像を付帯情報である撮影時刻に基づいて、それぞれ、所定の時間内に連続的に撮影された所定数のグループに分割し、分割した所定数のグループのそれぞれから画像を抽出して合計で所定数の画像を抽出し、抽出した所定数の画像を使用して複数のページからなるフォトブックを作成する場合であっても、正しく自動レイアウトを行うことができる。

本発明の画像処理方法は、その各ステップをコンピュータに実行させるためのプログラムとして実現することができる。また、このプログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 画像保存部
１４ 画像解析部
１６ 時刻修正部
１８ 要否判定部
２０ 表示制御部
２２ 画像表示部

Claims (17)

1. それぞれ付帯情報を有する複数の画像を保存する画像保存部と、
   前記画像保存部に保存されたそれぞれの画像の画像解析を行う画像解析部と、
   前記画像解析部による画像解析の結果、および、前記付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、前記付帯情報である撮影時刻が、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記画像の実際の撮影時刻の順序となるように修正する時刻修正部と、
   前記複数の画像が前記付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、前記付帯情報である撮影時刻の修正の要否を判定する要否判定部とを備え、
   前記要否判定部により前記付帯情報である撮影時刻の修正が必要と判定された場合に、前記画像解析部は、前記画像の画像解析を行い、かつ、前記時刻修正部は、前記付帯情報である撮影時刻を修正するものであることを特徴とする画像処理装置。
2. 前記画像解析部は、前記画像解析として、類似画像判定処理を行うものであり、
   前記時刻修正部は、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記類似画像判定処理の結果、類似画像と判定された２以上の画像が連続して並ぶように、前記類似画像と判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものである請求項１に記載の画像処理装置。
3. 前記画像解析部は、前記画像解析として、顔認識処理および構図判定処理の少なくとも１つを行うものであり、
   前記時刻修正部は、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記顔認識処理および構図判定処理の少なくとも１つの結果、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像が連続して並ぶように、前記同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものである請求項１または２に記載の画像処理装置。
4. 前記時刻修正部は、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記付帯情報であるＧＰＳ情報に対応する撮影場所が所定の範囲内に含まれる２以上の画像が連続して並ぶように、前記撮影場所が所定の範囲内に含まれる２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正するものである請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像解析部は、前記画像解析としての類似画像判定処理の結果、顔認識処理の結果および構図判定処理の結果、ならびに、前記付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、前記複数の画像のそれぞれの類似度を算出するものであり、
   前記時刻修正部は、前記類似度に応じて、前記付帯情報である撮影時刻を修正する１以上の画像の修正量を決定するものである請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記時刻修正部は、前記付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻が、前記付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正した後の、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合の前後の画像のうち、前記類似度が高い方の画像の付帯情報である撮影時刻に近くなるように、前記付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正するものである請求項５に記載の画像処理装置。
7. 前記時刻修正部は、前記類似度が高い方の画像の類似度が高くなるほど、前記付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻が、前記類似度が高い方の画像の付帯情報である撮影時刻に近くなるように、前記付帯情報である撮影時刻を修正する１以上の画像の付帯情報である撮影時刻を修正するものである請求項６に記載の画像処理装置。
8. 前記時刻修正部は、前記付帯情報である撮影装置の機種、または、前記付帯情報であるＧＰＳ情報に基づいて、前記複数の画像のうち、前記付帯情報である撮影時刻を修正する１以上の画像と同一機種の撮影装置で撮影された他の画像、または、前記付帯情報である撮影時刻を修正する１以上の画像と同一の所定の範囲内の撮影場所で撮影された他の画像の付帯情報である撮影時刻を、前記付帯情報である撮影時刻を修正する１以上の画像の修正量と同じ修正量だけ修正するものである請求項２〜７のいずれか１項に記載の画像処理装置。
9. 前記類似画像判定処理の結果、前記付帯情報である撮影時刻を修正する１以上の画像のグループが複数存在すると判定された場合、前記時刻修正部は、前記付帯情報である撮影時刻の修正量が最も大きいグループに含まれる画像の修正量だけ、前記修正量が最も大きいグループ以外のグループに含まれる画像の付帯情報である撮影時刻を修正するものである請求項２、５〜７のいずれか１項に記載の画像処理装置。
10. さらに、前記複数の画像を画像表示部に表示させるための制御を行う表示制御部を備え、
    前記表示制御部は、前記要否判定部により前記付帯情報である撮影時刻の修正が必要と判定された場合に、前記複数の画像を、前記付帯情報である撮影時刻の順序で並べて前記画像表示部に表示させ、かつ、前記付帯情報である撮影装置の機種毎に、もしくは、前記付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、前記画像表示部に識別表示させるものであることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記表示制御部は、前記要否判定部により前記付帯情報である撮影時刻の修正が不要と判定された場合に、前記複数の画像を、撮影日毎に、前記付帯情報である撮影時刻の順序で並べて前記画像表示部に表示させ、かつ、前記付帯情報である撮影装置の機種毎に、もしくは、前記付帯情報であるＧＰＳ情報に対応する所定の範囲内の撮影場所毎に、前記画像表示部に識別表示させるものであることを特徴とする請求項１０に記載の画像処理装置。
12. 画像解析部が、それぞれ付帯情報を有する複数の画像を保存する画像保存部に保存されたそれぞれの画像の画像解析を行う画像解析ステップと、
    時刻修正部が、前記画像解析の結果、および、前記付帯情報であるＧＰＳ情報の少なくとも１つに基づいて、前記付帯情報である撮影時刻が、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記画像の実際の撮影時刻となるように修正する時刻修正ステップと、
    要否判定部が、前記複数の画像が前記付帯情報である撮影時刻に基づいて分割された所定数のグループのそれぞれから２以上の画像を選択して使用するかどうかに基づいて、前記付帯情報である撮影時刻の修正の要否を判定する要否判定ステップとを含み、
    前記要否判定ステップにより前記付帯情報である撮影時刻の修正が必要と判定された場合に、前記画像解析ステップは、前記画像の画像解析を行い、かつ、前記時刻修正ステップは、前記付帯情報である撮影時刻を修正することを特徴とする画像処理方法。
13. 前記画像解析ステップは、前記画像解析として、類似画像判定処理を行い、
    前記時刻修正ステップは、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記類似画像判定処理の結果、類似画像と判定された２以上の画像が連続して並ぶように、前記類似画像と判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する請求項１２に記載の画像処理方法。
14. 前記画像解析ステップは、前記画像解析として、顔認識処理および構図判定処理の少なくとも１つを行い、
    前記時刻修正ステップは、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記顔認識処理および構図判定処理の少なくとも１つの結果、同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像が連続して並ぶように、前記同一の人物および同一の構図の少なくとも１つが撮影されていると判定された２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する請求項１２または１３に記載の画像処理方法。
15. 前記時刻修正ステップは、前記複数の画像を前記付帯情報である撮影時刻の順序で並べた場合に、前記付帯情報であるＧＰＳ情報に対応する撮影場所が所定の範囲内に含まれる２以上の画像が連続して並ぶように、前記撮影場所が所定の範囲内に含まれる２以上の画像のうちの１以上の画像の付帯情報である撮影時刻を修正する請求項１２〜１４のいずれか１項に記載の画像処理方法。
16. 請求項１２〜１５のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
17. 請求項１２〜１５のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。