JP5601567B2 - 画像閲覧機能付き携帯電話装置 - Google Patents

Description

本発明は、画像閲覧機能付き携帯電話装置及び画像閲覧方法に関する。

昨今、携帯電話装置において画像データを閲覧する機会が非常に増加しており、また、ＳＤカードなどの外部メモリの大容量化にしたがって、記録される画像データ等のファイル数がますます増大している。さらに、携帯電話網の高速化や無線ＬＡＮ機能搭載に伴い、ＰＣやネットワークサービス（サーバ）で画像を一元管理する使い方が増えるとも予測されており、それらには使用者やその家族／友人が撮影した画像が大量に蓄積されると考えられる。

これまで、大量の画像データを処理して携帯電話装置で閲覧する方法として、例えば、特許文献１に記載のような方法が考案されてきた。これは、使用者の状況に応じてデータ量のより少ない（解像度の低い）画像データを選択的に表示することを特徴としている。他にも、特許文献２に記載されているような方法なども考案されている。

特開２００２−１５８９８２号公報 特開２００７−２２６５５５号公報

しかしながら、使用者やその家族／友人が蓄積された画像データを従来の方法で閲覧するとき、画像データが数的に大量に存在する場合、携帯電話の限られた表示画面で全ての画像データを一時に閲覧することは困難である。

このために、例えば、毎回「最近撮影した画像の１０枚を表示」するなどの表示法にしなければならない。しかし、いつもその表示法では使用者に飽きられてしまうだろうし、デジタルフォトフレームのようなランダム再生においては、表示したい画像を選択しなければ没画像まで表示されてしまい、好ましくない。

まとめるならば、これまでの画像閲覧方法には次のような課題があると言える。
（１）アクセスできる画像データが大量に存在する場合、使用者にとって携帯電話の限られた画面上で一時に画像を閲覧することができない。
（２）使用者の状況によって使用者が見たい画像が変わるので、適切な画像を使用者に提示することが難しい。

本発明は、上記課題に鑑みてなされたものであり、画像データに対し、画像の特徴やアクセス履歴、使用者の状況などに基づき、使用者への提示する画像を抽出する機能を実現することを目的とする。

本発明の第１の観点によれば、画像表示機能を有する携帯電話装置において、画像データから該画像データが有する特徴を解析する画像データ解析手段と、前記画像データ解析手段から出力された画像データの特徴を蓄積すると共に、前記画像データの特徴に応じて前記画像データを複数の群の何れかに属させる履歴蓄積手段と、使用者の状況に基づいて、前記履歴蓄積手段に蓄積された画像データの特徴から使用者の状況に適合した画像データを表示対象として選定する画像表示制御部と、を有し、前記選定は複数の段階に分けられると共に段階を追う毎に選定される枚数が増加し、少なくとも最初の選定においては前記複数の群の内の何れか１つの群の画像データを選定することを特徴とする携帯電話装置が提供される。

更に、本発明の第２の観点によれば、携帯電話装置が行う画像閲覧方法であって、前記携帯電話装置が備える画像データ解析手段が、画像データから該画像データが有する特徴を解析する工程と、前記携帯電話装置が備える履歴蓄積手段が、前記解析された画像データの特徴を蓄積すると共に、前記画像データの特徴に応じて前記画像データを複数の群の何れかに属させる工程と、前記携帯電話装置が備える画像表示制御部が、使用者の状況に基づいて、前記蓄積された画像データの特徴から使用者の状況に適合した画像データを表示対象として選定する工程と、を有し、前記携帯電話装置が前記選定された画像データの画像を表示し、前記選定は複数の段階に分けられると共に段階を追う毎に選定される枚数が増加し、少なくとも最初の選定においては前記複数の群の内の何れか１つの群の画像データを選定することを特徴とする画像閲覧方法が提供される。

第１の効果は、アクセスできる画像データが大量に存在する場合において、使用者の状況を加味し、より使用者に適した閲覧表示を行うことを実現することである。

第２の効果は、使用者の状況に合わせて、表示する画像を変えることを実現することである。

本発明の携帯電話装置部の一実施形態を示す。 図１の携帯電話装置部の機能ブロック図を示す。 履歴蓄積部に蓄積される履歴データの一例を示す。 本発明の一実施例における、メール機能操作後に画像ビューアを実行した場合のフローチャートを示す。 複数の履歴データにしたがって画像表示を行う場合の初期画像について説明する図を示す。

これより、本発明の携帯電話装置の実施形態について図を参照しながら詳細に説明する。

図１には、本発明の一実施形態である携帯電話装置部１が示されており、それは携帯電話網との通信手段及びカメラ機能を有している。図２には、携帯電話装置部１の機能ブロック図が示されている。

図２に示されているように、携帯電話装置部１は、画像データ解析部２１、画像表示制御部２２、履歴蓄積部２３、無線処理部２４、画像表示部２５及び制御部２６を有する。以下、各部分の機能について説明する。

画像データ解析部２１は、携帯電話装置部１のカメラ機能で撮影した画像などの画像データの特徴を解析し、出力結果を制御部２６を介して履歴蓄積部２３へ蓄積する。ここで、画像データ解析部２１は、撮影日、撮影モード、連写枚数、他の画像との類似性検出、代表画像判定、被写体情報（撮影シーン自動判定結果、物体自動認識結果等）、撮影場所などを、画像の特徴として解析し出力している。

上記画像の特徴としては、他にも次のような情報を用いることが可能である。

撮影画像情報（ＥＸＩＦ情報などに記録された情報ベース）としては、撮影日、撮影時間（帯）、撮影した季節、ＧＰＳ位置情報、撮影画像サイズ、設定（フラッシュ、撮影モード、ホワイトバランス、露光制御、シャープネス、コントラスト、感度など）などがある。ここで、ホワイトバランスや露光など、デフォルトから変更したり、連続した時間帯に、いろいろと設定を変更しながら撮影したりしたものからは、「キレイに写真を撮りたい」というユーザの意図を類推できる。

また、撮影時設定情報としては、連写枚数や連写間隔がある。
また、撮影画像解析情報としては、撮影シーン自動判定結果（風景、夜景、人物、メモ情報など）、個人認識情報（登録済みのＡさん）、物体自動認識（ペット、建物など）、ベストショット検出、没画像（ブレ・ぼけ）検出、類似性検出、連写画像から代表画像判定・日常／非日常ショット検出、撮影画像中のデータ認識（文字・バーコード）などがある。
また、ユーザ操作情報としては、フォルダ名、タグ情報、ユーザ編集情報、ユーザ操作情報（拡大表示、メール添付、ブログ投稿、スケジュールへリンクなど）、表示回数、閲覧時間などがある。

次に、画像表示制御部２２は、画像表示部２５から表示画像抽出要求を受け付けると、その日の使用者の状況（メール内に表現された感情や、その日に撮影した画像の特徴など）を元に、使用者にとってより好ましいと思われる画像を履歴蓄積部２３へ問い合わせる機能を有する。そして、抽出した画像から適切な枚数の画像を選定し、そのアクセス先及びファイル名の情報を画像表示部２５に返す。

上記使用者の状況としては、他にも、時間帯と履歴に基づく行動推定（ＯＮタイム、ＯＦＦタイム）、感情（メール本文の感情理解）、メールの送信回数・文字数（過去履歴の統計データからの変化推定）、位置情報（旅先、外出先など）、スケジュール情報（旅行、イベント、人）などを用いることが可能である。

履歴蓄積部２３は、上記した画像データの特徴や、表示した際の使用者の操作履歴や、画像データの使用者による加工の有無や、メールやブログへの添付等の履歴を蓄積しており、これらの履歴データに基づいて、画像表示制御部２２からの問い合わせに応答する。蓄積される履歴データは、画像データ１件ごとのデータでもよいし、撮影日及び撮影シーンなどに対して統計的に処理したデータでもよい。履歴データの一例を図３に示す。

上記履歴データとしては、上述した画像データの他にも操作履歴を利用することができる。操作履歴は、ある画像を閲覧した後にどのようなアクションを起こしたかについて統計処理を施すことで得られる。例えば、さらに探した、拡大して見た、スライドショーで再生した、メールやブログに添付した、待ち受けに設定した、編集した、赤外線で送った、印刷した、最終アクセス日時などのデータから、時間帯や位置情報、解析した画像情報などに基づき、テーブルを作成する。その際、統計データ量を小さくするために、例えば、「人とのコミュニケーションに関わるアクション」「個人の操作」など、大きく分類したり得点化したりする方がよい。

無線処理部２４は、携帯電話網との通信処理を行う部分である。

画像表示部２５は、ＬＣＤ画面（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）によって画像を提示するなど、使用者に対する画像ビューア機能を提供する。

制御部２６は、携帯電話装置部１の制御を行う部分である。

本発明の特徴を説明するにおいて、カメラ機能（撮影及び蓄積など）や画像表示等の機能は直接的には関係しないので、その詳細な構成は省略する。

以上説明したような構成及び情報処理方法を取ることによって、大量に蓄積される画像データに対し、使用者がその日に撮影した画像の特徴や、スケジュール／メール内のキーワード・感情などの情報、画像データに対する過去の操作履歴、画像データの特徴などの情報に基づき、使用者への提示する画像を抽出する機能を実現することができる。例えば、携帯電話装置において、蓄積された画像データへアクセスする際、その日に撮影した画像に近い１年前の画像を提示したり、使用者のスケジュールに入力されたキーワード（地名、人名など）やメールなどに表現された感情に合わせて提示する画像を変化させたりすることが可能である。

また、画像を検索する際に、検索のための履歴データを複数設けることによってＣＰＵやメモリにかかる負担をより減少させることができる。例えば、初期検索段階においては検索する画像枚数を３００枚とし、第２段階目には最大１０００枚とし、詳細の検索はそのファイルが格納されているフォルダや前後のタイムスタンプの画像を優先した全検索とする。

以下、上記の複数の履歴データによる画像表示の一例についてより具体的に説明する。

まず、履歴データを複数設ける。例えば、データＡ：撮影月ごとの代表画像３０枚分のリンク情報、撮影日ごとの代表画像３０枚分のリンク情報、撮影時間帯ごとの代表画像３０枚分のリンク情報、データＢ：撮影シーンごとの代表画像３０枚分のリンク情報、被写体（人・モノ）ごとの代表画像３０枚分のリンク情報、データＣ：コミュニケーション（メール等）につながった代表画像３０枚分のリンク情報、非日常画像の撮影月別代表画像３０枚分のリンク情報、などと複数に分ける。すなわち、画像検索の初期段階として、まず画像をそれぞれの状況において３０枚に限定する。

そして、画像を閲覧する日の使用者の状況によって、初期表示画像を決定する。例えば、使用者の状況と初期表示画像の関係としては、ａ）たくさん写真を撮った；データＡの今日の代表画像を初期表示、ｂ）桜の特徴を持つ画像をたくさん撮った；データＢの桜の代表画像を初期表示、ｃ）楽しいメールがたくさんやりとりした；データＣの休暇月の非日常に関する代表画像を初期表示、というようにして、限定された枚数の初期画像表示を効果的に行うことができる。また、その初期画像表示の際、図５の左側に示されているように、上記ａ）の画像のみを９枚サムネイル表示することもできるし、右側に示されているように、ａ）とｂ）とｃ）におけるそれぞれの代表画像を３枚ずつサムネイル表示することも可能である。さらに、表示されるサムネイル画像は、一定間隔で同じグループ内（３０枚）にある他の画像に切り替えることで、使用者はより多くの画像に気づくこともできる。

このようにして使用者は限定及び最適化された画像群から素早く好みの画像を選択することが可能であり、もし初期表示画像に不満があったとしても、より多く画像がストックされている、それぞれの画像の特徴のカテゴリ（すなわち、前述の第２段階）へとスムーズに入っていくことが可能である。
以上のように、履歴データをカテゴリごとに細分化することによって、初期探索する対象データを絞り込むことができ、これによってＣＰＵの演算量を小さくすることが可能となる。また、そのデータに対するユーザ操作を監視することによって、使用者の興味の低い履歴データのみ削除することもでき、これによって全体のメモリ容量を小さくすることも可能である。

さらには、上記データベースにユーザ操作（長い間閲覧している、メールを送る、加工するなど）の履歴情報を使うことができる。すなわち、使用者の興味の低い履歴データは削除したり、逆に、使用者が活用した場合は、それに近い条件を学習し、履歴データ生成や代表画像の選択時に活かすことが可能となる。

また、上記画像を選定する際には、似た絵（被写体、構図）に関しては数を絞るなどすることで、負担を軽減することも可能である。

これより、先に説明した実施形態、図２及び図３をもとに、本発明の一実施例を説明する。この実施例は、メール機能操作後に画像ビューアを実行する例であり、そのフローチャートを図４に示す。しかし、本発明はこの実施例に限定されることはない。

図４において、まず、Ｓ４１は、使用者が携帯電話装置部１の画像ビューアを起動した状態であることを示す。これによって、画像表示部２５は、画像表示制御部２２に対して表示する画像を問い合わせる。

次に、Ｓ４２で示されている、表示画像抽出ステップへと進む。ここでは、画像表示制御部２２が、使用者の性向とより良好に適合していると思われる画像の条件を設定し、履歴蓄積部２３へ問い合わせて表示画像を抽出し、その結果を画像表示部２５へ返す。例えば、その日に撮影した画像と類似した特徴を有している３ヶ月〜２年以内に撮影された画像を抽出することが可能であるし、また、使用者のメールなどに表現された感情が「楽しい」だった場合、その情報と関連付けられた画像や旅行又は人物の集合写真などの画像を抽出することも可能である。なお、画像のヒット数が多い場合は、得点の高いものから表示することもできる。

次に、Ｓ４３で示されているステップへと進み、ここでは、画像表示部２５が上記のようにして抽出された画像をビューアへと表示する。

次に、Ｓ４４で示されているように、使用者が実際に操作するステップへと進む。ここでは、画像表示部２５で表示された画像データに対し、使用者が何らかの操作を行う。

次に、Ｓ４５の履歴追加ステップにおいて、使用者の操作を履歴蓄積部２３へ追加登録する。ここでは、履歴蓄積部２３が、使用者によって操作された内容を記録し得点を再計算する。得点についての例として、ある画像データを使用者が拡大表示した場合は＋１００点、メールへ添付した場合は＋３００点などを加算することにより、その画像に対する使用者の優先度（愛着）を表現することを可能とする。

そして、一連の処理は終了する（Ｓ４６）。

以上、詳細に実施例を述べたが、携帯電話装置自体の構成は当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細は省略する。

本発明の他の実施例として、基本的に構成は上記と同じであるが、以下のような例も可能である。

携帯電話装置内に蓄積された画像だけでなく、ネットワーク上のＰＣ、サーバなど、携帯電話装置からアクセスできるシステム上に存在する画像データへの応用が考えられる。すなわち、使用者が通信網を介して外部装置に保存されている画像データにアクセス及び操作を行い、これに対して上述したような操作履歴に基づいた前記処理を行うことも可能である。このとき、使用者以外の人物（家族・友人等）とデータを共有することが想定されるので、使用者以外の操作履歴についてもデータを蓄積し、優先度（得点）の評価へ活用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画像表示機能を有する携帯電話装置において、画像データから該画像データが有する特徴を解析する画像データ解析手段と、前記画像データ解析手段から出力された画像データの特徴を蓄積する履歴蓄積手段と、使用者の状況に基づいて、前記履歴蓄積手段に蓄積された画像データの特徴から使用者の状況に適合した画像データを選定する画像表示制御部と、を有することを特徴とする携帯電話装置。

（付記２）前記履歴蓄積手段は、画像を表示した際の使用者の操作履歴、使用者による画像データの加工の有無、及び使用者による画像の添付の履歴のうち１つ以上をさらに蓄積することを特徴とする付記１に記載の携帯電話装置。

（付記３）前記画像データの特徴とは、撮影画像情報、撮影時設定情報、撮影画像解析情報、及びユーザ操作状況のうち１つ以上であることを特徴とする付記１又は２に記載の携帯電話装置。

（付記４）前記使用者の状況とは、その日に撮影された画像の特徴、スケジュールやメール内に表現された感情或いはキーワード、又は位置情報のうち１つ以上であることを特徴とする付記１から３のいずれかに記載の携帯電話装置。

（付記５）前記画像データは、携帯電話装置内に蓄積されていることを特徴とする付記１から４のいずれかに記載の携帯電話装置。

（付記６）前記画像データは、有線、無線又は携帯電話網を介して携帯電話装置に接続される外部装置に蓄積されていることを特徴とする付記１から４のいずれかに記載の携帯電話装置。

（付記７）前記履歴蓄積手段は、前記外部装置に蓄積されている画像データにおける使用者以外の第三者による操作履歴、画像データの加工の有無、及び画像の添付の履歴のうち１つ以上をさらに蓄積することを特徴とする付記６に記載の携帯電話装置。

（付記８）画像データから該画像データが有する特徴を解析する工程と、前記解析された画像データの特徴を蓄積する工程と、使用者の状況に基づいて、前記蓄積された画像データの特徴から使用者の状況に適合した画像データを選定する工程と、前記選定された画像データの画像を表示する工程と、を有する、画像閲覧方法。

（付記９）前記画像データを蓄積する工程は、前記画像データを複数のカテゴリに分けて蓄積することを特徴とする付記８に記載の画像閲覧方法。

本発明は、画像閲覧機能付きの携帯電話装置に適用することが可能である。他にも、ＰＤＡや、その他の小型通信端末に適用することも可能である。

Claims (7)

1. 画像表示機能を有する携帯電話装置において、
   画像データから該画像データが有する特徴を解析する画像データ解析手段と、
   前記画像データ解析手段から出力された画像データの特徴を蓄積すると共に、前記画像データの特徴に応じて前記画像データを複数の群の何れかに属させる履歴蓄積手段と、
   使用者の状況に基づいて、前記履歴蓄積手段に蓄積された画像データの特徴から使用者の状況に適合した画像データを表示対象として選定する画像表示制御部と、
   を有し、
   前記選定は複数の段階に分けられると共に段階を追う毎に選定される枚数が増加し、少なくとも最初の選定においては前記複数の群の内の何れか１つの群の画像データを選定することを特徴とする携帯電話装置。
2. 前記履歴蓄積手段は、画像を表示した際の使用者の操作履歴、使用者による画像データの加工の有無、及び使用者による画像の添付の履歴のうち１つ以上をさらに蓄積すること
   を特徴とする請求項１に記載の携帯電話装置。
3. 前記画像データの特徴とは、撮影画像情報、撮影時設定情報、撮影画像解析情報、及びユーザ操作状況のうち１つ以上であることを特徴とする請求項１又は２に記載の携帯電話装置。
4. 前記使用者の状況とは、その日に撮影された画像の特徴、スケジュールやメール内に表現された感情或いはキーワード、又は位置情報のうち１つ以上であることを特徴とする請求項１乃至３の何れか１項に記載の携帯電話装置。
5. 前記画像データは、有線、無線又は携帯電話網を介して携帯電話装置に接続される外部装置に蓄積されていることを特徴とする請求項１乃至４の何れか１項に記載の携帯電話装置。
6. 前記履歴蓄積手段は、前記外部装置に蓄積されている画像データにおける使用者以外の第三者による操作履歴、画像データの加工の有無、及び画像の添付の履歴のうち１つ以上をさらに蓄積することを特徴とする請求項５に記載の携帯電話装置。
7. 携帯電話装置が行う画像閲覧方法であって、
   前記携帯電話装置が備える画像データ解析手段が、画像データから該画像データが有する特徴を解析する工程と、
   前記携帯電話装置が備える履歴蓄積手段が、前記解析された画像データの特徴を蓄積すると共に、前記画像データの特徴に応じて前記画像データを複数の群の何れかに属させる工程と、
   前記携帯電話装置が備える画像表示制御部が、使用者の状況に基づいて、前記蓄積された画像データの特徴から使用者の状況に適合した画像データを表示対象として選定する工程と、
   前記携帯電話装置が、前記選定された画像データの画像を表示する工程と、
   を有し、
   前記選定は複数の段階に分けられると共に段階を追う毎に選定される枚数が増加し、少なくとも最初の選定においては前記複数の群の内の何れか１つの群の画像データを選定することを特徴とする画像閲覧方法。

Images