JP4776433B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、内部メモリ等から複数の画像を選択して合成し、ディスプレイ画面上に表示させる画像処理装置、画像処理方法及びプログラムに関する。

特開２００２−１５２３５４号の公開特許公報（特許文献１）には、設定された時間間隔又は時刻と、画像とを対応付けて記憶しておき、設定された時間間隔又は時刻になった時に、対応付けられている画像を待ち受け画面として表示させる携帯電話機が開示されている。この公報記載の携帯電話機によれば、待ち受け画面にユーザの好みを反映した変化をつけることができる。

特開２００２−１５２３４５号公報（図１、図４）

上述した従来の技術の場合、待ち受け画面にユーザの好みを反映した変化をつけることは可能であるが、設定時間になった時に待ち受け画面に表示される画像は、予めユーザが指定した画像となされている。このため、ユーザは、好みの画像の選択とその画像が待ち受け画面に表示される時間等を、予め細かく設定しておかなければならず、非常に煩雑な操作を行わなければならない。

なお、設定時間等になった時に、装置がランダムに画像をピックアップして待ち受け画面に表示するようなことも考えられるが、この場合は、ユーザにとって必ずしも重要且つ好ましい画像が待ち受け画面に表示されるとは限らない。勿論、ユーザの好みの複数の画像を予め指定しておき、それら画像の中から装置がランダムに画像をピックアップすることも可能であるが、この場合には上述同様に、やはりユーザが自ら好みの画像等を予め用意しておかなければならない。

本発明は、このような実情に鑑みて提案されたものであり、ユーザが細かな設定等を行うことなく、ユーザにとって重要且つ好ましい画像を構成して待ち受け画面等の表示することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、複数の画像を登録する画像データベース部と、画像データベース部へ画像が少なくとも登録された時に、当該画像について重要度を判定し、画像データベース部に登録されている各画像の重要度に応じたランキングリスト管理し、所定のトリガに応じて、画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じてランキングリストを更新する画像管理部と、少なくとも日付の更新があった時に、画像管理部へ所定のトリガとして更新要求を送り、当該更新要求に応じて画像管理部が更新した後のランキングリストに基づいて画像データベース部から複数の画像を選択し、それら複数の画像を用いて、所定の表示画面上に表示する画像を合成する画像合成部とを有することにより、上述した課題を解決する。

また、本発明の画像処理方法は、画像データベース部に画像が少なくとも登録された時に、画像管理部が、当該画像について重要度を判定するステップと、画像管理部が、画像データベース部に登録されている各画像の重要度に応じたランキングリストを管理し、所定のトリガに応じて、画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じて上記ランキングリストを更新するステップと、少なくとも日付の更新があった時に、画像合成部が、画像管理部へ所定のトリガとして更新要求を送るステップと、更新要求に応じて画像管理部が更新した後のランキングリストに基づいて、画像合成部が、画像データベース部から複数の画像を選択するステップと、画像データベースから選択された複数の画像を用いて、画像合成部が、所定の表示画面上に表示する画像を合成するステップとを有することにより、上述した課題を解決する。

また、本発明の画像処理プログラムは、画像データベース部へ画像が少なくとも登録された時に、当該画像について重要度を判定し、画像データベース部に登録されている各画像の重要度に応じたランキングリストを管理し、所定のトリガに応じて、画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じてランキングリストを更新する画像管理部と、少なくとも日付の更新があった時に、画像管理部へ所定のトリガとして更新要求を送り、当該更新要求に応じて画像管理部が更新した後のランキングリストに基づいて画像データベース部から複数の画像を選択し、それら複数の選択された画像を用いて、所定の表示画面上に表示する画像を合成する画像合成部として、情報端末のコンピュータを機能させることにより、上述した課題を解決する。

すなわち、本発明によれば、画像データベース部に登録された各画像の重要度に応じて各画像のランキングを決めるようになされており、所定のトリガに応じて、各画像の重要度が再判定され、その再判定後の重要度に応じてランキングリストが更新される。そして、少なくとも日付の更新があった時に、画像管理部へ所定のトリガとして更新要求が送られ、その更新要求に応じて更新されたランキングリストに基づいて画像データベース部から選択された複数の画像を用いて、所定の表示画面上に表示する画像が合成されるため、ユーザは、重要な画像からなる合成画像を生成するための細かな設定等を行う必要がない。

本発明においては、画像データベース部に登録された各画像の重要度に応じて各画像のランキングを決めるようになされており、所定のトリガに応じて、各画像の重要度が再判定され、その再判定後の重要度に応じてランキングリストが更新される。そして、少なくとも日付の更新があった時に、画像管理部へ所定のトリガとして更新要求が送られ、その更新要求に応じて更新されたランキングリストに基づいて画像データベース部から選択された複数の画像を用いて、所定の表示画面上に表示する画像が合成されるため、ユーザが細かな設定等を行わなくても、ユーザにとって重要且つ好ましい画像等からなる待ち受け画面等の表示が可能となる。

以下、図面を参照しながら、本発明の一実施形態について説明する。

なお、以下の説明では、本発明の画像処理装置、画像処理方法及びプログラムが適用される一実施形態として携帯電話端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもなく、例えばカメラモジュールや無線通信モジュール等を備えたＰＤＡ（Personal Digital Assistants）等の各種の携帯端末にも適用可能である。

〔携帯電話端末の概略構成〕
図１には、本発明が適用される一実施形態である携帯電話端末の主要部の概略構成を示す。

図１に示す本実施形態の携帯電話端末において、入力部１１は、テンキーや十字キー、電源キーなど、ユーザが操作入力を行うキーデバイスと、各キーの操作に応じた操作入力信号を生成する操作信号発生回路等からなる。

表示部１２は、例えば液晶デバイス等からなるディスプレイ、そのディスプレイに表示する画像等の処理を行う画像処理回路、上記ディスプレイの駆動回路、ディスプレイへの表示画像データを一時的に保存するフレームバッファ等からなる。

無線通信部１５は、通信アンテナと通信回路からなる。通信アンテナは、例えば内蔵アンテナであり、携帯電話網の基地局との間で、例えば通話や電子メール等のパケット通信のための信号電波の送受信を行う。通信回路は、送受信信号の周波数変換、変調と復調等を行う。

音声処理部１３は、上記無線通信部１５から供給された通話音声データを復号化し、その復号化後の通話音声データを、図示しないスピーカへ送る。また、音声処理部１３は、図示しないマイクロホンから供給された通話音声データを符号化し、無線通信部１５へ送る。

タイマ１４は、年月日、日時の時間情報を生成し、その時間情報をＣＰＵ１０へ送る。

カメラ制御部１６は、図示しないカメラモジュールを制御して、当該カメラモジュールにおいて画像の撮影が行われる場合のシャッター制御、露出制御、ホワイトバランス制御、フォーカス制御等の各種動作制御を行う。

二次記憶部１８は、例えば大容量の半導体メモリや内蔵ＨＤＤであり、例えばカメラモジュールにより撮影された画像データ、電子メールを通じて受信した画像データ、インターネット等のネットワークを通じてダウンロードした画像データや音楽データ、プログラムデータ等の様々な大容量データを保存する。

メモリ１７は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＯＳ（Operating System）、ＣＰＵ１０が各部を制御するための制御プログラムコード、各種の初期設定値、フォントデータ、辞書データ、着信音やキー操作音等の各種音データ、本発明の画像処理プログラムである画像自動構成プログラムコード、その他、当該端末に搭載される各種のアプリケーション用のプログラムコード、当該端末の機器識別情報（ＩＤ）などを記憶している。このＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、電話帳や電子メールアドレス帳のデータ、スケジュール帳のデータ、通信履歴，通信料金等の通信に関連する様々なデータ、辞書データ、音データ、その他、各種のユーザ設定値等を保存することも可能となされている。ＲＡＭは、ＣＰＵ１０が各種のデータ処理を行う際の作業領域として、随時データを格納する。

ＣＰＵ１０は、メモリ１７に記憶されているＯＳや各種プログラムに基づいて、本実施形態の携帯電話端末の様々な制御を行い、また、本実施形態にかかる画像自動構成プログラムの実行、その他のアプリケーションプログラムの実行などを行う。

その他、図１には図示を省略しているが、本実施形態の携帯電話端末は、赤外線通信機能、電子財布機能、ＧＰＳ機能、バッテリ、電力制御機能など、一般的な携帯電話端末が有する各構成要素についても備えている。

〔画像自動構成プログラム実行時の機能説明〕
図２には、本実施形態の携帯電話端末のＣＰＵ１０が本発明にかかる画像自動構成プログラムを実行した時のソフトウェア機能の構成図と、当該ソフトウェア機能が使用するデータの一例を示す。

この図２において、画像撮影機能２６は、図１のカメラ制御部１６の動作制御を行うことで、当該携帯電話端末に搭載されているカメラモジュールによる画像撮影処理を実行させる。当該画像撮影機能２６での画像撮影処理により得られた画像データは、重要度判定付き画像管理機能２５を介して、図１の二次記憶部１８内の画像データベース２４に保存される。

メール送受信管理機能２７は、図１の無線通信部１５を介した電子メールの送受信処理と、画面表示機能２１のブラウズ機能３０を通じた電子メールの閲覧処理、及び、図１のメモリ１７内のメールデータ格納領域２８におけるデータ管理を実行する。なお、当該メール送受信管理機能２７を通じて受信された電子メールに画像ファイルが添付されていた場合、その画像ファイルのデータは、重要度判定付き画像管理機能２５を介して、上記画像データベース２４に保存される。

重要度判定付き画像管理機能２５は、上記画像データベース２４への画像データの保存や読み出し等の画像データベース管理を行う。また、詳細については後述するが、当該重要度判定付き画像管理機能２５は、上記画像データベース２４に保存される各画像が、ユーザにとって例えば重要で好ましい画像であるかどうかの重要度判定及びその管理と、それら画像の重要度判定に基づいたランキングリストの作成・更新・管理等を行う。

画面表示機能２１は、表示部１２のディスプレイへの表示処理全般を実行する。

ブラウズ機能３０は、画面表示機能２１に含まれており、上記メール送受信管理機能２７と連携して、送受信等される電子メールを図１の表示部１２のディスプレイ上に表示する。

コラージュ作成機能２９は、画面表示機能２１に含まれており、例えば本実施形態の携帯電話端末が着信待ち受け状態になるときに、表示部１２のディスプレイ上に表示される待ち受け画面を構成する処理を行う。また、詳細については後述するが、コラージュ作成機能２９は、上記待ち受け画面を構成する際に、上記画像データベース２４に保存される画像の中から、上記ランキングリストに基づいた画像選択を行い、それら選択した画像を例えば図３〜図６で説明するようなレイアウトに配置した待ち受け画面を生成するようになされてい。

図１のメモリ１７内の表示画像リスト格納領域２２は、上記コラージュ作成機能２９が待ち受け画面を構成する際の表示画像のリストを保存している。

図１のメモリ１７内のコラージュ登録画像リスト格納領域２３は、現在の待ち受け画面を構成している画像のリストを保存している。

〔待ち受け画面の構成例〕
本実施形態の携帯電話端末は、着信待ち受け状態の時に、例えば図３〜図６に示すように複数の画像が配置されたレイアウト構成の待ち受け画面を、上記表示部１２のディスプレイ上に表示する機能を備えている。

すなわち本実施形態では、例えば、図３に示すように、１画面内にフレームＦ１〜Ｆ４の４枚の画像を配置可能な第１のレイアウト構成や、図４に示すように、１画面内にフレームＦ１〜Ｆ９の９枚の画像を配置可能な第２のレイアウト構成、図５に示すように、１画面内にフレームＦ１〜Ｆ２０の２０枚の画像を配置可能な第３のレイアウト構成の待ち受け画面を、上記ディスプレイへ表示可能となされている。

また、本実施形態において、上記第１〜第３の何れのレイアウト構成を用いるかは、上記画面表示機能２１（具体的にはコラージュ作成機能２９）による自動選択、若しくは、ユーザによる任意選択により決定され、さらに、上記画面表示機能２１による自動選択とユーザによる任意選択の何れを用いるかは、ユーザが予め設定可能となされている。

ここで、本実施形態の携帯電話端末において、上記レイアウト構成の自動選択が設定されている場合、上記画像表示機能２１は、上記画像データベース２４内の画像ファイルの登録数に基づいて、上記第１〜第３のレイアウト構成の何れを使用するのかを自動的に選択する。すなわち、画面表示機能２１は、例えば、上記画像データベース２４内の画像ファイルの登録数が０枚から８枚以内である場合には上記第１のレイアウト構成を自動的に選択し、上記画像データベース２４内の画像ファイル登録数が９枚から１９枚以内である場合には上記第２のレイアウト構成を自動的に選択し、上記画像データベース２４内の画像ファイル登録数が２０枚以上である場合には上記第３のレイアウト構成を自動的に選択する。

より具体的に説明すると、画面表示機能２１のコラージュ作成機能２９は、上記画像データベース２４内の画像ファイルの登録数が０枚から８枚である場合には、上記レイアウト構成を第１のレイアウト構成とし、その第１のレイアウト構成内の四つのフレームＦ１〜Ｆ４へ、上記画像データベース２４の登録画像ファイルから選択した４枚の画像を配置する。また、上記画像データベース２４に登録されている画像ファイルが例えば０枚〜３枚しかなく、上記登録画像ファイルを配置できないフレームが発生してしまうような場合、コラージュ作成機能２９は、そのフレームに対して、予め用意されているデフォルト画像を配置する。すなわち、第１のレイアウト構成を選択している場合において、コラージュ作成機能２９は、例えば、上記画像データベース２４内の画像登録数が０枚であるような場合には、上記第１のレイアウト構成のフレームＦ１〜Ｆ４の画像をすべて初期設定のデフォルト画像とする。また例えば、上記画像データベース２４内の画像登録数が１枚である場合、コラージュ作成機能２９は、上記第１のレイアウト構成から自動的に選択した一つのフレームに上記１枚の登録画像を配置して残りの三つのフレームにはデフォルト画像を配置する。また例えば、上記画像データベース２４内の画像登録数が２枚である場合、コラージュ作成機能２９は、上記第１のレイアウト構成から自動的に選択した二つのフレームに上記２枚の登録画像を配置して残りの二つのフレームにはデフォルト画像を配置する。また例えば、上記画像データベース２４内の画像登録数が３枚である場合、コラージュ作成機能２９は、上記第１のレイアウト構成から自動的に選択した三つフレームに上記３枚の登録画像を配置して残りの一つのフレームにはデフォルト画像を配置する。なお、上記デフォルト画像は、そのレイアウト構成に元々描かれている背景画像であっても良いし、別途用意されている画像であっても良い。一方、上記画像データベース２４内の登録画像数が４枚である場合、コラージュ作成機能２９は、それら４枚の画像ファイルを当該第１のレイアウト構成の各フレームＦ１〜Ｆ４に配置する。また例えば、上記画像データベース２４に登録されている画像ファイルが５枚〜８枚となっており、上記第１のレイアウト構成のフレーム数よりも多い場合、コラージュ作成機能２９は、それら画像ファイルの中から自動的に選択した４枚の画像ファイルを、当該第１のレイアウト構成のフレームＦ１〜Ｆ４に配置する。

次に、上記画像データベース２４内の画像ファイルの登録数が８枚から９枚へ増加した場合、コラージュ作成機能２９は、上記レイアウト構成を第１のレイアウト構成から第２のレイアウト構成へ自動的に変更する。そして、コラージュ作成機能２９は、その第２のレイアウト構成内の各フレームＦ１〜Ｆ９に、上記画像データベース２４内に登録されている画像ファイルを自動的に選択して配置する。すなわち、当該第２のレイアウト構成を選択している場合において、上記画像データベース２４内の登録画像数が９枚である場合、コラージュ作成機能２９は、それら９枚の画像ファイルを当該第２のレイアウト構成の各フレームＦ１〜Ｆ９に配置する。また例えば、上記画像データベース２４の登録画像数が１０枚〜１９枚となっており、上記第２のレイアウト構成のフレーム数よりも多い場合、コラージュ作成機能２９は、それら画像ファイルの中から自動的に選択した９枚の画像ファイルを、当該第２のレイアウト構成のフレームＦ１〜Ｆ９に配置する。

次に、上記画像データベース２４内の画像ファイルの登録数が１９枚から２０枚へ増加した場合、コラージュ作成機能２９は、上記レイアウト構成を第２のレイアウト構成から第３のレイアウト構成へ自動的に変更する。そして、コラージュ作成機能２９は、その第３のレイアウト構成内の各フレームＦ１〜Ｆ２０に、上記画像データベース２４内に登録されている画像ファイルを自動的に選択して配置する。すなわち、当該第３のレイアウト構成を選択している場合において、上記画像データベース２４内の登録画像数が２０枚である場合、コラージュ作成機能２９は、それら２０枚の画像ファイルを当該第３のレイアウト構成の各フレームＦ１〜Ｆ２０に配置する。また例えば、上記画像データベース２４の登録画像数が２１枚以上となっており、上記第３のレイアウト構成のフレーム数よりも多い場合、コラージュ作成機能２９は、それら画像ファイルの中から自動的に選択した２０枚の画像ファイルを、当該第３のレイアウト構成のフレームＦ１〜Ｆ２０に配置する。

なお、レイアウト構成内の各フレームの配置は、予め決められていても良く、或いはランダムに変更されても良い。

上述の例では、画像データベース２４内の画像ファイルの登録数が０枚から８枚である場合に第１のレイアウト構成となされ、画像データベース２４内の画像ファイルの登録数が８枚から９枚へ増加した場合に第１のレイアウト構成から第２のレイアウト構成へ自動的に変更され、また、画像データベース２４内の画像ファイルの登録数が１９枚から２０枚へ増加した場合に第２のレイアウト構成から第３のレイアウト構成へ自動的に変更される例を挙げたが、その他の例として、画像データベース２４内の画像ファイルの登録数が０枚から４枚以内である場合には上記第１のレイアウト構成を自動的に選択し、画像データベース２４内の画像ファイル登録数が５枚から９枚以内である場合に上記第２のレイアウト構成を自動的に選択し、画像データベース２４内の画像ファイル登録数が１０枚以上である場合に第３のレイアウト構成を自動的に選択するようにしても良い。すなわち、上記画像データベース２４内の画像ファイルの登録数が４枚から５枚に増加した場合に、上記レイアウト構成を第１のレイアウト構成から第２のレイアウト構成へ自動的に変更し、また、画像データベース２４内の画像ファイルの登録数が９枚から１０枚に増加した場合に、レイアウト構成を第２のレイアウト構成から第３のレイアウト構成へ自動的に変更するようにしても良い。この場合において、例えば、上記選択されたレイアウト構成のフレーム数に対して、上記画像データベース２４内の登録画像数が少なく、登録画像ファイルを配置できないフレームが発生してしまうような場合、コラージュ作成機能２９は、そのフレームに対して、予め用意されている前述同様のデフォルト画像を配置しても良い。

このように、本実施形態の携帯電話端末によれば、画像の登録数とその登録数の変更に応じて、待ち受け画面のレイアウト構成が自動的に変更されるようになっている。

また、本実施形態において、上記第１〜第３のレイアウト構成の各フレーム内に配置される画像は、上記画像データベース２４に保存されている画像の中から、後述するランキングリストに基づいて上記コラージュ作成機能２９が選択した画像となされている。そして、本実施形態において、コラージュ作成機能２９は、上記ランキングリストに基づいて選択した各画像を、上記レイアウト構成の各フレーム内にランダムに配置する。また、コラージュ作成機能２９は、上記選択した各画像を各フレーム内にランダムに配置する際に、各々配置されるフレームの大きさや形状等に合わせて、それぞれ画像をトリミングしたり、縮小・拡大・回転させて配置する。図６には、後述のランキングリストに基づいて選択された画像等がトリミング等されて、第３のレイアウト構成である図５のフレームＦ１〜フレームＦ２０内に配置された場合の待ち受け画面の一具体例を示している。なお、一度レイアウトした画像について、その後、当該画像が上記ランキングリストから外れたような場合、当該画像が配置されていたフレームに、新たなランキングリストに基づいて選択された画像を配置する。

〔画像の重要度判定〕
ここで、本実施形態において、上記画面表示機能２１及びコラージュ作成機能２９は、上記図３〜図６に示したようなレイアウト構成の各フレーム内に画像を配置する際に、上記重要度判定付き画像管理機能２５が管理している画像の重要度に応じたランキングリストに基づいて、上記画像データベース２４から画像の選択を行うことにより、ユーザにとって重要で好ましい複数の画像により自動的に構成された待ち受け画面をディスプレイ上に表示可能となされている。

このように、ユーザにとって重要で好ましい画像からなる待ち受け画面を構成するために、本実施形態では、先ず、重要度判定付き画像管理機能２５により、例えば画像撮影機能２６による撮影画像を画像データベース２４に登録する時や、メール送受信管理機能により送受信された電子メールに画像が添付された時、インターネット経由等で画像をダウンロードした時などに、それら画像について重要度の判定を行う。

具体的には、重要度判定付き画像管理機能２５は、例えば、新たな撮影画像の登録時や、送信電子メールに画像を添付した時、受信電子メールに画像が添付されていた時、画像のサイズが所定サイズ以上（例えば６４０×４８０ピクセル以上）であった時などに、図７に示すような重要度判定テーブルに従って各画像の重要度の判定を行う。

ここで、図７に示す重要度判定テーブルによれば、例えば画像サイズが６４９×４８０ピクセル以上である場合には重要度の値に「＋１」加算を行うと共にその属性フラグを「０４」とし、また例えば、受信メールの添付画像については重要度の値に「＋２」加算を行い、その属性フラグを「０３」とし、また例えば、送信メールの添付画像については重要度の値に「＋３」加算を行うと共にその属性フラグを「０２」とし、さらに例えば、登録日が最新の一週間以内である画像については重要度の値に「＋４」加算を行うと共にその属性フラグを「０１」とすることが規定されている。

このため、例えば、画像撮影機能２６により本日撮影した画像を「ユーザ画像01.jpg」のファイル名で登録するような場合において、その画像のサイズが１２８０×９６０ピクセルであるとすると、重要度判定付き画像管理機能２５は、図７の重要度判定テーブルを元に、当該「ユーザ画像01.jpg」の画像ファイルについて、属性フラグの「０１」及び「０４」を有効とし、重要度の値は「３＋１＝４」とする。そして、重要度判定付き画像管理機能２５は、当該「ユーザ画像01.jpg」の画像ファイルに関する管理テーブルの各項目の情報を、例えば図８のように設定して、画像データベース２４に登録する。すなわちこの例の場合、当該「ユーザ画像01.jpg」の画像ファイルに関する管理テーブルには、更新登録日時が設定されると共に、「０１」〜「０４」の各属性フラグのうち「０１」と「０４」が有効に設定され、重要度の値が「４」に設定されることになる。

なお、図７の重要度判定テーブルは一例であり、当該テーブル内の項目の数や種類はユーザが任意に設定可能であり、また、当該テーブル内の重要度の値もユーザが任意に変更可能となされている。上記テーブルの他の例として、例えば、色数の多い画像、コントラストの高い画像、肌色の多い画像の重要度を高く設定したり、空の青色やオレンジ色，草原の緑色，花の赤色や黄色など原色の強い画像の重要度を高く設定することも可能であり、また例えば、顔認識ができた画像、特定の構図（ポートレート構図など）に近い画像、特定の配色に近い画像、閲覧回数の多い画像、ユーザ若しくは端末がテンプレートを選んだ（切り替えた）ときの当該テンプレートに合った画像、顔認証や色，原色，構図を選別するフィルタ処理を通した画像、特定の類似性を有するシリーズ化可能な画像（例えば花の画像など）の重要度を高く設定することも可能である。逆に、例えば前面白地の画像（例えば時刻表やメモ用紙を撮影した画像など）や、似た内容の重複した画像については重要度を低く設定することも可能である。

図９には、画像撮影機能２６による撮影画像が画像データベース２４に登録される際の、画像撮影機能２６と重要度判定付き画像管理機能２５の処理フロー（シーケンス図）を示す。

図９において、画像撮影機能２６は、ステップＳ１０にてカメラ制御部１６を通じて画像の撮影を行い、次いで、その撮影画像をステップＳ１１にて画像データベース２４に登録することを重要度判定付き画像管理機能２５へ要求する。

画像撮影機能２６から撮影画像の登録要求を受けると、重要度判定付き画像管理機能２５は、ステップＳ１２にて、上述のように図７の重要度判定テーブルを参照して上記撮影画像についての重要度の計算を行う。その後、重要度判定付き画像管理機能２５は、ステップＳ１３にて、その撮影画像のファイルに関する管理テーブルの設定を行うと共に、当該撮影画像ファイルを画像データベース２４に登録する。

また例えば、メール送受信管理機能２７にて画像ファイルが添付されたメールを本日受信し、その受信メールの添付画像ファイルを登録するような場合において、その画像のサイズが例えば３２０×２４０ピクセルであるとすると、重要度判定付き画像管理機能２５は、図７の重要度判定テーブルを元に、当該画像ファイルについて、属性フラグの「０１」及び「０３」を有効とし、重要度の値は「３＋２＝５」とする。そして、重要度判定付き画像管理機能２５は、当該画像ファイルに関する管理テーブルの各項目の情報を、前述同様に設定して、画像データベース２４に登録する。

図１０には、上記受信メールに添付されていた画像が画像データベース２４に登録される際の、メール送受信管理機能２７と重要度判定付き画像管理機能２５の処理フロー（シーケンス図）を示す。

図１０において、メール送受信管理機能２７は、ステップＳ２１にて、図１の無線通信部１５を介して、画像が添付されたメールを受信し、次いで、その添付画像をステップＳ２２にて画像データベース２４に登録することを重要度判定付き画像管理機能２５へ要求する。

メール送受信管理機能２７から上記添付画像の登録要求を受けると、重要度判定付き画像管理機能２５は、ステップＳ２３にて、上述のように図７の重要度判定テーブルを参照して上記添付画像についての重要度の計算を行う。すなわちこの例の場合、重要度判定付き画像管理機能２５では、メール受信のように携帯電話端末に特有の情報に基づいて、画像の重要度判定を行う。その後、重要度判定付き画像管理機能２５は、ステップＳ２４にて、その添付画像のファイルに関する管理テーブルの設定を行うと共に、当該画像ファイルを画像データベース２４に登録する。

また例えば、メール送受信管理機能２７にて画像ファイルを添付したメールを過去（一週間より過去）に送信しており、その送信メールの添付画像ファイルを登録するような場合において、その画像のサイズが例えば３２０×２４０ピクセルであるとすると、重要度判定付き画像管理機能２５は、図７の重要度判定テーブルを元に、当該画像ファイルについて、属性フラグの「０３」を有効とし、重要度の値は「３」とする。そして、重要度判定付き画像管理機能２５は、当該画像ファイルに関する管理テーブルの各項目の情報を、前述同様に設定して、画像データベース２４に登録する。

図１１には、画像データベース２４に登録されている画像を送信メールに添付して送信した場合の、メール送受信管理機能２７と重要度判定付き画像管理機能２５の処理フロー（シーケンス図）を示す。

図１１において、メール送受信管理機能２７は、ステップＳ４１にて、図１の入力部１１を通じてユーザによりメールが作成され、その後、画像データベース２４に登録されている画像をメールに添付するために、ステップＳ４２にて、当該画像データベース２４から画像を読み出すことを重要度判定付き画像管理機能２５へ要求する。

メール送受信管理機能２７から画像読み出しの要求を受けると、重要度判定付き画像管理機能２５は、ステップＳ４５にて、画像データベース２４から画像の読み出し処理を行い、その画像をメール送受信管理機能２７へ転送する。

上記重要度判定付き画像管理機能２５から画像ファイルを受けると、メール送受信管理機能２７は、ステップＳ４３にて、その画像ファイルをメールに添付して送信する。その後、メール送受信管理機能２７は、ステップＳ４４にて、重要度判定付き画像管理機能２５に対して、上記メールに添付した画像についての重要度の変更要求を行う。すなわちこの例の場合、重要度判定付き画像管理機能２５では、メール送信のように携帯電話端末に特有の情報に基づいて、画像の重要度判定を行う。

メール送受信管理機能２７から上記重要度変更要求を受けると、重要度判定付き画像管理機能２５は、ステップＳ４６にて、図７の重要度判定テーブルを参照しつつ、上記画像についての重要度の再計算と属性フラグ（「０２」）の再設定を行うと共に、その画像のファイルに関する管理テーブルの再設定を行う。

図１２には、上述のように、画像撮影や送受信メールの画像添付等に基づいて重要度判定付き画像管理機能２５が各画像に関する管理テーブルの各項目の情報を設定した場合の、当該管理テーブルの一例を示す。なお、この図１２の例は、「ユーザ画像01.jpg」〜「ユーザ画像05.jpg」の五つの画像ファイルに関して管理テーブルの設定がなされた状態を示している。すなわちこの図１２の例の場合、「ユーザ画像05.jpg」の重要度が「４」で最も高く、「ユーザ画像02.jpg」の重要度が「２」となり、以下、「ユーザ画像01.jpg」と「ユーザ画像04.jpg」が共に重要度「１」となり、「ユーザ画像03.jpg」は最も低い重要度「０」となっている。

〔ランキングリストの作成と更新〕
上述のように各画像ファイルに関して管理テーブルが設定されている場合において、重要度判定付き画像管理機能２５は、上記各画像ファイルの重要度に基づいてランキングリストを作成する。なお、図１２の例の場合、重要度が「４」の「ユーザ画像05.jpg」がランキングの最上位となり、重要度が「２」の「ユーザ画像02.jpg」がランキングの第２位となり、以下、重要度が「１」の「ユーザ画像01.jpg」と「ユーザ画像04.jpg」が共にランキングの第３位となり、重要度が「０」の「ユーザ画像03.jpg」ランキングの最下位となる。

また、本実施形態の携帯電話端末では、例えば、日付が変更された時や予め設定された一定時間が経過した時、当該携帯電話端末の電源がオンされた時、携帯電話端末がいわゆるクラムシェルタイプである場合に当該端末が閉状態から開状態に遷移した時、或るアプリケーション画面から待ち受け画面に遷移する時などをトリガとして、上述した重要度の再計算とランキングリストの再計算を行う。

すなわち、日付変更イベントをトリガとして再計算を行う場合を例に挙げると、図１のタイマ１４が日付変更イベントを感知すると、重要度判定付き画像管理機能２５は、図７の重要度判定テーブルを元に、画像データベース２４に保存されている画像データの全件に対して、属性フラグの更新と重要度再計算、及び、当該再計算された重要度に基づくランキングリストの再計算を実施する。

図１３には、図１のタイマ１４から日付変更イベントを感知した際の、タイマ１４と重要度判定付き画像管理機能２５の処理フロー（シーケンス図）を示す。

図１３において、タイマ１４は、ステップＳ５１にて、日付の更新イベントを感知すると、日付更新イベントが発生したことを上記重要度判定付き画像管理機能２５へ通知する。

上記タイマ１４から日付更新通知を受けると、重要度判定付き画像管理機能２５は、ステップＳ５２にて、図７の重要度判定テーブルを参照しつつ、上記画像データベース２４内の全画像についての重要度の再計算と属性フラグ（「０１」）の再設定を行うと共に、それら全画像のファイルに関する管理テーブルの再設定を行い、さらにその管理テーブルに基づいてランキングリストの再計算を行う。

〔レイアウト更新及びランキング更新に基づく待ち受け画面の再構成〕
そして、本実施形態の携帯電話端末においては、上記日付更新イベント等の所定のトリガに応じてランキングリストの更新を行った場合において、現在の待ち受け画面を構成している各画像に関するランキングと、上記更新後のランキングリストとの間に差分が存在した時には、その更新後のランキングリストに基づく画像を用いて待ち受け画面の再構成を行うようになされている。

図１４には、レイアウト更新及びランキング更新に基づく待ち受け画面の再構成が行われる際の、画面表示機能２１とコラージュ作成機能２９、重要度判定付き画像管理機能２５における処理フロー（シーケンス図）を示す。

この図１４において、画像表示機能２１は、上述のような所定のトリガが発生した時、ステップＳ３１にて、コラージュ作成機能２９に対して、待ち受け画面の取得要求（コラージュ画像の取得要求）を行う。

上記コラージュ画像取得要求を受けると、コラージュ作成機能２９は、ステップＳ３２にて、重要度判定付き画像管理機能２５に対して、ランキングリストを要求する。

上記ランキングリストの要求を受けると、重要度判定付き画像管理機能２５は、ステップＳ３８にて、前述のようにランキングリストの再計算を行う。

そして、コラージュ作成機能２９は、ステップＳ３３にて、現在の待ち受け画面を構成している各画像に関するランキングと、上記再計算されたランキングとを比較する。

ここで、それら両ランキング間に差分が無い場合には、ステップＳ３７にて、その旨を画面表示機能２１に返答する。これにより、画面表示機能２１は、待ち受け画面をそのままにしてディスプレイに表示する。

一方、ステップＳ３３にて両ランキングに差分が有った場合、コラージュ作成機能２９は、ステップＳ３４にて、画像データベース２４内の画像登録数の変動によりレイアウト構成の更新が必要か否か判定する。

上記ステップＳ３４にてレイアウト構成の更新が必要ない場合には、ステップＳ３６にて、先のランキングリストの再計算後に選択された各画像を用いて待ち受け画面の再構成（コラージュ再構成）を行った後、ステップＳ３７にて、当該再構成後の待ち受け画面を画面表示機能２１に送る。これにより、画面表示機能２１は、当該再構成された新しい待ち受け画面をディスプレイ上に表示する。

一方、ステップＳ３４にてレイアウト構成の更新が有ると判定した場合、コラージュ作成機能２９は、ステップＳ３５にて、レイアウト構成の更新を行い、その更新後のレイアウトを用いて、先のランキングリストの再計算後に選択された各画像を用いて待ち受け画面の再構成（コラージュ再構成）を行った後、ステップＳ３７にて、当該再構成後の待ち受け画面を画面表示機能２１に送る。これにより、画面表示機能２１は、レイアウト構成とそのレイアウト内の画像の再構成がなされた新しい待ち受け画面をディスプレイ上に表示する。

〔まとめ〕
以上説明したように、本実施形態の携帯電話端末においては、ユーザにとって重要度の高い（例えば画像サイズが大きい、メールで人から貰った、最近登録したなど）画像を優先して待ち受け画面に表示可能となされており、また、日付変更や一定時間経過、電源オン、端末の閉状態から開状態への遷移、別のアプリケーション画面から待ち受け画面に遷移する時などをトリガとして、重要度の再計算とランキングリストの再計算が行われて、自動的に待ち受け画面に表示される画像が変更可能となされている。さらに、本実施形態の携帯電話端末によれば、画像の登録枚数に応じてレイアウトを自動的に変更可能となされている。したがって本発明実施形態によれば、ユーザが細かな設定等を行うことなく、ユーザにとって重要且つ好ましい画像構成して待ち受け画面等の表示することが可能となっている。すなわち本実施形態によれば、例えば、画像の撮影、携帯電話端末特有のメール送受信などの操作だけで待ち受け画面が自動的に変化し、ユーザにとって重要度の高い画像が自動的にピックアップされるので、例えば多くの画像が登録された場合でもユーザにとって意味のある待ち受け画面を表示でき、また、画像の枚数に応じてレイアウトが自動変更され、登録枚数に応じた適切な表示が可能になり、それらの結果として、ユーザは待ち受け画面の変化を楽しむことができる。その他、本実施形態によれば、メールの送受信を重要度判定に加えているため、話題を記憶に留め、ユーザ間のコミュニケーションを円滑にすることも可能となる。

なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

例えば、ランキングに応じたポイント数にランダムに重み付けの係数（ランキングの確率に対する重み付け係数）を乗算するようにして、ランキングの下位のものも時々待ち受け画面に配置されるようにすることも可能である。

また、レイアウトされる各画像フレームの大きさやその位置（目立つ位置）は、画像の重要度等に応じて決めても良い。

また、待ち受け画面のレイアウトは、前述の図３〜図６の例のように隙間無く画像が並ぶものの他に、例えばコルクボードの上に写真を貼るイメージのようなレイアウトでも良い。

また、画像をフレームの大きさや形に応じてトリミングする際には、単純に画像の中心を真ん中にしてフレームに合うようなトリミングを行う場合の他、例えば、顔認証等で顔を識別できる場合には、その顔部分を中心にしてトリミングするようにしても良い。

更に、待ち受け画面にレイアウトされた各画像の中に、ユーザにとって不要なものが配置されたような場合、その不要な画像を指定して削除し、新たにコラージュを作成させるようにしても良い。このような操作を繰り返していくと、残っている画像がユーザにとって重要な画像となり、それによりユーザに重要な画像がどのようなものかを学習し、その学習結果をランキング計算等に反映させても良い。

その他、上述のようにコラージュした待ち受け画面をキャプチャーして、例えば電子メールに添付して送信するようなことも可能である。

本発明実施形態の携帯電話端末の主要部の概略構成を示すブロック図である。 本実施形態の携帯電話端末のＣＰＵが本発明にかかる画像自動構成プログラムを実行した時のソフトウェア機能の構成と、当該ソフトウェア機能が使用するデータの一例を示す図である。 １画面内に４枚の画像を配置可能な第１のレイアウト構成を示す図である。 １画面内に９枚の画像を配置可能な第２のレイアウト構成を示す図である。 １画面内に２０枚の画像を配置可能な第３のレイアウト構成を示す図である。 第３のレイアウト構成に画像が配置された待ち受け画面の一例を示す図である。 重要度判定テーブルの一例を示す図である。 本日撮影した画像を「ユーザ画像01.jpg」のファイル名で登録した場合の当該「ユーザ画像01.jpg」の画像ファイルに関する管理テーブルの一例を示す図である。 撮影画像が画像データベースに登録される際の、画像撮影機能と重要度判定付き画像管理機能の処理フローを示すシーケンス図である。 受信メールに添付されていた画像が画像データベースに登録される際の、メール送受信管理機能と重要度判定付き画像管理機能の処理フローを示すシーケンス図である。 画像を送信メールに添付して送信した場合の、メール送受信管理機能と重要度判定付き画像管理機能の処理フローを示すシーケンス図である。 画像撮影や送受信メールの画像添付等に基づいて重要度判定付き画像管理機能が各画像に関する管理テーブルの各項目の情報を設定した場合の、当該管理テーブルの一例を示す図である。 日付変更イベントを感知した際の、タイマと重要度判定付き画像管理機能の処理フローを示すシーケンス図である。 レイアウト更新及びランキング更新に基づく待ち受け画面の再構成が行われる際の、画面表示機能とコラージュ作成機能、重要度判定付き画像管理機能における処理フローを示すシーケンス図である。

符号の説明

１０ ＣＰＵ、１１ 入力部、１２ 表示部、１３ 音声処理部、１４ タイマ、１５ 無線通信部、１６ カメラ制御部、１７ メモリ、１８ 二次記憶部、２１ 画面表示機能、２２ 表示画面リスト格納領域、２３ 現在のコラージュ登録画像リスト格納領域、２４ 画像データベース、２５ 重要度判定付き画像管理機能、２６ 画像撮影機能、２７ メール送受信管理機能、２８ メールデータ格納領域、２９ コラージュ作成機能、３０ ブラウズ機能

Claims (5)

1. 複数の画像を登録する画像データベース部と、
   上記画像データベース部へ画像が少なくとも登録された時に、当該画像について重要度を判定し、上記画像データベース部に登録されている各画像の重要度に応じたランキングリストを管理し、所定のトリガに応じて、上記画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じて上記ランキングリストを更新する画像管理部と、
   少なくとも日付の更新があった時に、上記画像管理部へ上記所定のトリガとして更新要求を送り、当該更新要求に応じて上記画像管理部が更新した後の上記ランキングリストに基づいて上記画像データベース部から複数の画像を選択し、それら複数の画像を用いて、所定の表示画面上に表示する画像を合成する画像合成部と、
   を有する画像処理装置。
2. 上記画像合成部は、画像データベース部の登録画像数に応じて、上記合成する画像の数と各画像のレイアウトを決定する請求項１記載の画像処理装置。
3. 上記画像管理部は、撮影された画像、電子メールに添付されて受信された画像、電子メールに添付されて送信された画像、インターネット経由でダウンロードされた画像の、少なくとも何れかの画像が、上記画像データベース部へ登録された時に、上記重要度を判定する請求項１記載の画像処理装置。
4. 画像データベース部に画像が少なくとも登録された時に、画像管理部が、当該画像について重要度を判定するステップと、
   画像管理部が、上記画像データベース部に登録されている各画像の重要度に応じたランキングリストを管理し、所定のトリガに応じて、上記画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じて上記ランキングリストを更新するステップと、
   少なくとも日付の更新があった時に、画像合成部が、上記画像管理部へ上記所定のトリガとして更新要求を送るステップと、
   上記更新要求に応じて上記画像管理部が更新した後の上記ランキングリストに基づいて、画像合成部が、上記画像データベース部から複数の画像を選択するステップと、
   上記画像データベース部から選択された複数の画像を用いて、画像合成部が、所定の表示画面上に表示する画像を合成するステップと、
   を有する画像処理方法。
5. 画像データベース部へ画像が少なくとも登録された時に、当該各画像について重要度を判定し、上記画像データベース部に登録されている各画像の重要度に応じたランキングリストを管理し、所定のトリガに応じて、上記画像データベース部に登録されている各画像の重要度を再判定し、その再判定後の重要度に応じて上記ランキングリストを更新する画像管理部と、
   少なくとも日付の更新があった時に、上記画像管理部へ上記所定のトリガとして更新要求を送り、当該更新要求に応じて上記画像管理部が更新した後の上記ランキングリストに基づいて上記画像データベース部から複数の画像を選択し、それら複数の画像を用いて、所定の表示画面上に表示する画像を合成する画像合成部として、
   情報端末のコンピュータを機能させる画像処理プログラム。

Images