WO2019159333A1

WO2019159333A1 - 携帯情報端末、情報提示システム及び情報提示方法

Info

Publication number: WO2019159333A1
Application number: PCT/JP2018/005531
Authority: WO
Inventors: 吉澤　和彦; 益岡　信夫; 永田　英之
Original assignee: マクセル株式会社
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2019-08-22
Also published as: US11647370B2; US20210160424A1; US20230284000A1; CN111712807A

Abstract

携帯情報端末１００は、撮影した画像データを情報サーバ３００に保存するとき、撮影時の関連情報（日時情報、位置情報、方角情報、被写体までの距離情報、ユーザ識別情報）を情報サーバに送信する。また、情報サーバに保存されている画像データを要求するとき、現在の端末情報と、画像データの再生条件を記述した画像検索条件とを情報サーバに送信する。情報サーバは、現在の端末情報と画像検索条件とに基づいて、該当する画像データを検索し、携帯情報端末に送信する。携帯情報端末は、受信した画像データを関連画像として表示部に表示する。その際、撮影時の関連情報と現在の端末情報とを比較し、情報の一致度に応じて、関連画像の大きさを変えて表示する。これによりユーザは、撮影当時の状況や感動といった思い出を効果的に想起することができる。

Description

携帯情報端末、情報提示システム及び情報提示方法

　本発明は、画像を撮影して情報サーバに保存し、情報サーバから画像を取得して表示する携帯情報端末と、情報提示システム及び情報提示方法に関する。

　スマートホンやタブレット端末等の携帯情報端末の普及が進んでいる。携帯情報端末にはカメラ機能が搭載されており、ユーザは、カメラ機能を用いて様々な画像を撮影し、撮影した画像を携帯情報端末のストレージ部やクラウドストレージ等に保存することが可能である。また、ユーザは、携帯情報端末を用いてストレージ部やクラウドストレージ等に保存されている画像を再生表示することにより、画像を撮影した当時の状況や感動を思い返すことができる。

　例えば特許文献１には、「ユーザが、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができ、または当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができるようにする」ことを課題として、「ユーザ端末で現在位置が計測または指示され、サーバに送信されたとき、サーバは、その現在位置に対して一定の距離内の位置で撮影された写真の画像情報、撮影位置を示す情報、及び撮影時の撮影者の生体情報を当該ユーザ端末に送信する。当該ユーザ端末では、その送信された情報を、空間表現によって表示し、または振動や光の点滅によって呈示する」構成の情報呈示方法が開示されている。

特開２００９－１８７２３３号公報

　前記特許文献１に記載の技術は、ユーザの操作指示により、現在位置（或いは、設定位置）と撮影位置及びその距離に基づいて画像を選択して、生体情報と共に提示するものである。その際、画像の選択条件として、現在位置と撮影位置の位置情報が用いられているが、この条件だけでは、ユーザに思い出を想起させる画像を効果的に提供することが困難と思われる。

　すなわち、ユーザに撮影した当時の思い出を効果的に想起させるためには、過去に画像を撮影した際の季節（月日）や時刻、撮影対象物（被写体）に対して指向していた方角など、様々な条件を加味して画像を選択する必要がある。例えば、冬のある日に撮影された画像が同じ季節（或いは、同じ月日）に提示されれば、当時の思い出を想起し易い。また、ある日の夕方に撮影された画像が同様の時間帯（夕方）に提示されれば、当時の思い出を想起し易い。また、過去に撮影した撮影対象物（被写体）が無くなってしまった後でも、当時の撮影位置から撮影対象物（被写体）があった方角を向いた場合に画像が提示されれば、当時の思い出を想起し易い。そしてこのような選択条件（季節、月日、時刻、方角等）は、ユーザごとに、またユーザの置かれた状況ごとに、変化するものであるから、ユーザが適宜設定できることが望ましい。

　また、選択された思い出画像をユーザに提示する際、その表示方法においても工夫が必要である。前記特許文献１では、過去に撮影した画像を地図とリンクさせて表示すると共に、撮影時にユーザから取得した生体情報を併せて提示するようにしている。しかしながら、現在、ユーザが携帯端末を用いて撮影を行っている状況において、撮影中のカメラ画像に対し、思い出画像をどのように表示するかについて考慮されていない。つまり、複数の画像が選択されたとき、これらを画一的に表示するのではなく、ユーザが特に関心を持つと思われる画像を強調して表示するのが望ましい。

　本発明の目的は、ユーザが過去に撮影して保存した画像を、ユーザが設定した条件で選択してユーザに対して効果的に表示する携帯情報端末、情報提示システム及び情報提示方法を提供することである。

　本発明の携帯情報端末は、撮影した画像データを入力する画像入力部と、携帯情報端末の状況として、日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報を取得する情報取得部と、ネットワークを介して情報サーバとの間で画像データ及び各種情報の送受信を行う通信部と、画像入力部に入力された画像データによる入力画像及び／または通信部で受信した画像データによる関連画像を表示する表示部と、携帯情報端末の各部の動作を制御する制御部と、を備える。前記制御部は、撮影した画像データを情報サーバに保存するとき、情報取得部で取得した撮影時の携帯情報端末の状況を示す各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報とともに送信し、情報サーバに保存されている画像データを要求するとき、情報取得部で取得した現在の携帯情報端末の状況を示す各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、携帯情報端末のユーザにより設定された画像データの再生条件を記述した画像検索条件とを情報サーバに送信し、情報サーバにて現在の端末情報と画像検索条件とに基づいて検索された画像データを取得し、関連画像として表示部に表示するように制御する。

　本発明の情報提示システムにおいて、携帯情報端末は、撮影した画像データを入力する画像入力部と、携帯情報端末の状況として、日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報を取得する情報取得部と、ネットワークを介して情報サーバとの間で画像データ及び各種情報の送受信を行う通信部と、画像入力部に入力された画像データによる入力画像及び／または通信部で受信した画像データによる関連画像を表示する表示部と、を備える。情報サーバは、携帯情報端末から送信された画像データと各種情報を保存するストレージ部と、携帯情報端末からの要求に応じて、ストレージ部から該当する画像データを検索する画像検索部と、ネットワークを介して携帯情報端末との間で画像データ及び各種情報の送受信を行う通信部と、を備える。

　前記携帯情報端末は、撮影した画像データを前記情報サーバに保存するとき、情報取得部で取得した撮影時の携帯情報端末の状況を示す各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報とともに送信し、情報サーバに保存されている画像データを要求するとき、情報取得部で取得した現在の携帯情報端末の状況を示す各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、携帯情報端末のユーザにより設定された画像データの再生条件を記述した画像検索条件とを前記情報サーバに送信する。前記情報サーバは、携帯情報端末から受信した現在の端末情報と画像検索条件とに基づいてストレージ部から該当する画像データを検索し、検索した画像データを携帯情報端末に送信する。

　本発明の情報提示方法は、携帯情報端末が、撮影した画像データを情報サーバに保存するとき、撮影した画像データとともに、撮影時の携帯情報端末の状況を示す日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報を情報サーバに送信するステップと、情報サーバが、携帯情報端末から送信された画像データと撮影時の関連情報をストレージ部に保存するステップと、を備える。また、携帯情報端末が、情報サーバに保存されている画像データを要求するとき、現在の携帯情報端末の状況を示す各種情報、及び携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、携帯情報端末のユーザにより設定された画像データの再生条件を記述した画像検索条件とを情報サーバに送信するステップと、情報サーバが、携帯情報端末から受信した現在の端末情報と画像検索条件とに基づいて、ストレージ部から該当する画像データを検索し、検索した画像データを携帯情報端末に送信するステップと、携帯情報端末が、情報サーバから送信された画像データを関連画像として表示部に表示するステップと、を備える。

　本発明によれば、ユーザが過去に撮影して保存した画像をユーザが設定した条件で選択し、関連の深い画像が強調して表示されるので、ユーザは撮影当時の状況や感動といった思い出を効果的に想起することができる。

情報提示システムの構成図。携帯情報端末の外観図。携帯情報端末のホーム画面を示す図。携帯情報端末のハードウェア構成図。携帯情報端末のソフトウェア構成図。情報サーバのハードウェア構成図。携帯情報端末の思い出制御設定画面を示す図。登録条件設定の詳細を説明する図。再生条件設定の詳細を説明する図。対象物の方向の算出法を説明する図。携帯情報端末のカメラ機能画面を示す図。思い出画像登録処理のフローチャート。情報サーバにおける画像データベースの構成図。情報サーバにおけるユーザデータベースの構成図。情報サーバにおける関連情報データベースの構成図。思い出画像再生処理のフローチャート（携帯情報端末側）。思い出画像検索処理のフローチャート（情報サーバ側）。思い出画像の表示画面の例を示す図（表示例１）。思い出画像の表示画面の例を示す図（表示例２）。思い出画像の表示画面の例を示す図（表示例３）。携帯情報端末を挿入した視聴用装置の使用状態を示す図。ユーザの視線及び携帯情報端末の指向方向の変化の説明図。

　以下、本発明の実施形態の例を、図面を用いて説明する。以下に述べる実施例では、「思い出画像」という用語を用いているが、その画像を撮影したユーザにとって、撮影した当時の状況や感動を再現して思い出を想起することができる画像のことである。具体的には、撮影時の様々な条件（日時、位置、ほか）が現在の状況（日時、位置、ほか）に関連したものであることが多く、一般には「関連画像」と呼ぶことができる。

　本実施例で用いる携帯情報端末は、携帯電話やスマートホン、タブレット端末等であって良い。あるいは、ヘッドマウントディスプレイ（ＨＭＤ＝Head Mounted Display）等の頭部装着型情報端末であっても良い。さらには、スマートホンやタブレット端末等をアダプタに固定することにより頭部装着型情報端末の代替としたものであっても良い。その他、ＰＤＡ（Personal Digital Assistants）やノート型ＰＣ（Personal Computer）、電子ブックリーダ等であっても良い。また、デジタルスチルカメラや動画撮影可能なビデオカメラ、携帯型ゲーム機等、その他のデジタル機器であっても良い。以下の実施例では、携帯情報端末として主にスマートホンを用いた場合について説明する。

　［情報提示システム構成］
図１は、本実施例の情報提示システムの一例を示すシステム構成図である。情報提示システムは、携帯情報端末１００とインターネット等のブロードバンドネットワーク２００と情報サーバ３００とで構成される。

　携帯情報端末１００は、図示を省略したアクセスポイント等を介して、或いは、図示を省略した移動体電話通信網の基地局等を介して、ネットワーク（インターネット）２００と接続可能であり、ネットワーク２００上の各サーバ装置とのデータ送受信が可能である。携帯情報端末１００とアクセスポイントとの接続は、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。携帯情報端末１００と移動体電話通信網の基地局との接続は、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）（登録商標）方式やＧＳＭ（Global System for Mobile communications）（登録商標）方式、ＬＴＥ（Long Term Evolution）方式、或いはその他の通信方式によって行われる。

　情報サーバ３００は、情報記憶／提示サービスを行う業者によって設置されるサーバ装置である。情報サーバ３００は、携帯情報端末１００から送信された画像データ及び関連情報を受信して記憶し、また、携帯情報端末１００からの要求に応じて検索した画像データ及び関連情報を携帯情報端末１００に送信する。

　なお、図１では、ネットワーク２００に接続される携帯情報端末１００及び情報サーバ３００は、それぞれ１台のみ記載しているが、適宜複数の携帯情報端末１００と複数の情報サーバ３００を接続し、相互にデータ送受信を行うことができる。

　［携帯情報端末の外観］
図２Ａは、携帯情報端末１００の一例を示す外観図である。ここでは、携帯情報端末１００がスマートホンである場合の前面（表面）図（ａ）、及び背面（裏面）図（ｂ）を示す。

　（ａ）において携帯情報端末１００の前面には、動作インジケータ１２４、第一画像入力部１３３、モノラルスピーカ１４２、タッチスクリーン１８０、が備えられる。動作インジケータ１２４は、ＬＥＤ（Light Emitting Diode）の点灯／点滅の有無により携帯情報端末１００の動作状態を表示する。タッチスクリーン１８０は、タッチパネル１２３と表示部１３１で構成される。

　（ｂ）において携帯情報端末１００の背面には、タッチセンサ１２２、第二画像入力部１３４、補助光発光／赤外線測距器１３５、ステレオスピーカ１４３、が備えられる。補助光発光／赤外線測距器１３５は、第二画像入力部１３４からの画像入力時に、光量不足を補うための補助光を発光する。また、補助光発光／赤外線測距器１３５は、赤外線を用いて被写体までの距離測定を行う。

　ここで、２つの画像入力部のうち、前面に配置される第一画像入力部１３３を「インカメラ」、背面に配置される第二画像入力部１３４を「アウトカメラ」と呼ぶことにする。タッチセンサ１２２は、携帯情報端末１００の背面ではなく、側面や前面下部（タッチスクリーン１８０と重ならない部分）等に配置されても良い。また、タッチスクリーン１８０を構成するタッチパネル１２３がタッチセンサ１２２の機能を併せ持っていても良い。この場合、タッチスクリーン１８０上の任意の位置においてタッチセンサ１２２の機能（例えば、指紋認証機能）を実行することが可能である。

　携帯情報端末１００の上端には、操作キー１２１の一つである電源キー１２１ｐが備えられる。携帯情報端末１００の下端には、音声入力部１４５、拡張インタフェース部１７０の一つであるμ－ＵＳＢ入力部１７０ｕが備えられる。

　［携帯情報端末のホーム画面］
図２Ｂは、携帯情報端末１００で表示されるホーム画面の一例を示す図である。タッチスクリーン１８０に表示されるホーム画面１８０ａは、主機能アイコン表示領域１８０ａ１、一般アイコン表示領域１８０ａ２、その他情報表示領域１８０ａ３、制御キー領域１８０ａ４、通知領域１８０ａ５、で構成される。ホーム画面１８０ａは、携帯情報端末１００の電源オン後やスリープ状態の解除後、任意のアプリケーションを実行中に、ホームキーをタッチした場合等に表示される基本画面である。

　主機能アイコン表示領域１８０ａ１は、携帯情報端末１００で頻繁に使用される主要アプリケーションに関連付けられたアイコンの表示領域である。一般アイコン表示領域１８０ａ２は、その他のアプリケーションに関連づけられたアイコンの表示領域である。その他情報表示領域１８０ａ３は、時刻情報や気象情報等の一般的な情報を表示する領域である。制御キー領域１８０ａ４は、「バックキー」、「ホームキー」、「アプリ履歴キー」を表示する領域である。通知領域１８０ａ５は、電波状態やバッテリ残量等の情報が通知される領域である。

　［携帯情報端末のハードウェア構成］
図２Ｃは、携帯情報端末１００のハードウェア構成の一例を示す図である。携帯情報端末１００は、主制御部１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、ストレージ部１１０、操作入力部１２０、画像処理部１３０、音声処理部１４０、センサ部１５０、通信部１６０、拡張インタフェース部１７０、を備えて構成される。

　主制御部１０１は、所定の動作プログラムに従って携帯情報端末１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は、主制御部１０１と携帯情報端末１００内の各動作ブロックとの間で各種コマンドやデータの送受信を行うためのデータ通信路である。

　ＲＯＭ（Read Only Memory）１０３は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラム（アプリケーション、以下同様）が格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。ＲＡＭ（Random Access Memory）１０４は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ＲＯＭ１０３及びＲＡＭ１０４は、主制御部１０１と一体構成であっても良い。また、ＲＯＭ１０３は、図２Ｃに示したような独立構成とはせず、ストレージ部１１０内の一部記憶領域を使用するようにしても良い。

　ストレージ部１１０は、携帯情報端末１００の動作プログラムや動作設定値、携帯情報端末１００の正規ユーザの個人情報や認証情報等を記憶する。また、ネットワーク上からダウンロードした動作プログラムや該動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラ機能を使用して撮影した動画や静止画等のデータを記憶可能である。ストレージ部１１０の一部領域を以ってＲＯＭ１０３の機能の全部または一部を代替しても良い。また、ストレージ部１１０は、携帯情報端末１００に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、ＲＯＭ１０３やストレージ部１１０に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。

　操作入力部１２０は、携帯情報端末１００に対する操作指示の入力を行う指示入力部である。操作入力部１２０は、ボタンスイッチ等を並べた操作キー１２１、静電容量の変化に基づいて操作者（ユーザ）の手指が触れたことを検出するタッチセンサ１２２、表示部１３１に重ねて配置したタッチパネル１２３、で構成される。更に、その他の操作デバイスとして、拡張インタフェース部１７０に接続したキーボード、有線通信または無線通信により接続された別体の携帯端末機器、等を用いても良い。あるいは音声入力により携帯情報端末１００の操作を行っても良い。なお、タッチセンサ１２２はセンサ部に触れた手指の指紋や掌紋を検出する機能を備える。

　画像処理部１３０は、表示部１３１、画像信号処理部１３２、第一画像入力部１３３、第二画像入力部１３４、で構成される。表示部１３１は、例えば液晶パネル等の表示デバイスであり、画像信号処理部１３２で処理した画像データを表示し、携帯情報端末１００のユーザに提供する。画像信号処理部１３２は図示を省略したビデオＲＡＭを備え、入力した画像データに基づいて表示部１３１を駆動する。また、画像信号処理部１３２は、必要に応じて、符号化映像信号の復号処理、フォーマット変換処理、メニューやその他のＯＳＤ（On Screen Display）信号の重畳処理等を行う。第一画像入力部１３３及び第二画像入力部１３４は、インカメラ、アウトカメラなどの撮影ユニットであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換し、被写体の画像データを取り込む。

　音声処理部１４０は、音声出力部１４１、音声信号処理部１４４、音声入力部１４５、で構成される。音声出力部１４１はスピーカであり、音声信号処理部１４４で処理した音声信号を携帯情報端末１００のユーザに提供する。モノラルスピーカ１４２は音声通話時等にモノラル音声の出力を行い、ステレオスピーカ１４３は音楽再生時等にステレオ音声の出力を行う。音声信号処理部１４４は、必要に応じて、符号化音声信号の復号処理等を行う。音声入力部１４５はマイクであり、ユーザの声などを音声データに変換して入力する。

　センサ部１５０は、携帯情報端末１００の状態を検出するための各種センサ群である。センサとして、ＧＰＳ（Global Positioning System）受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、加速度センサ１５４を有し、携帯情報端末１００の位置、傾き、方角、動きを検出する。その他に、照度センサ、近接センサ、気圧センサ等を備え、周囲の明るさ、周囲物の近接状況等を検出しても良い。

　通信部１６０は、ＬＡＮ（Local Area Network）通信部１６１、電話網通信部１６２、ＮＦＣ（Near Field Communication）部１６３、で構成される。ＬＡＮ通信部１６１はアクセスポイント等を介してインターネット等のネットワーク２００と接続され、ネットワーク上の情報サーバ３００とデータの送受信を行う。アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）等の無線接続で行う。電話網通信部１６２は移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信はＷ－ＣＤＭＡ（登録商標）方式やＬＴＥ方式等で行われて良い。ＮＦＣ部１６３は対応するリーダ／ライタとの近接時に無線通信を行う。ＬＡＮ通信部１６１と電話網通信部１６２とＮＦＣ部１６３は、それぞれ符号化回路や復号回路やアンテナ等を備える。通信部１６０は、更に、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部や赤外線通信部等を備えていても良い。

　拡張インタフェース部１７０は、携帯情報端末１００の機能を拡張するためのインタフェース群であり、映像／音声インタフェース、ＵＳＢ（Universal Serial Bus）インタフェース、メモリインタフェース等で構成される。映像／音声インタフェースは、外部映像／音声機器との間で映像信号／音声信号の入力／出力を行う。ＵＳＢインタフェースは、ＰＣやキーボード、その他のＵＳＢ機器と接続して、データの送受信を行う。メモリインタフェースは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

　なお、図２Ｃに示した携帯情報端末１００の構成例は、本実施例の動作に必須ではない構成も多数含んでおり、これらが備えられていない構成であっても本実施例の効果を損なうことはない。

　［携帯情報端末のソフトウェア構成］
図２Ｄは、携帯情報端末１００のソフトウェア構成の一例を示す図である。ここには、ストレージ部１１０（或いはＲＯＭ１０３、以下同様）及びＲＡＭ１０４におけるソフトウェアの構成を示す。ストレージ部１１０には、基本動作プログラム１００１、撮影プログラム１００２、情報取得プログラム１００３、思い出画像制御プログラム１００４、その他の動作プログラム１００９、が記憶される。また、ストレージ部１１０は、携帯情報端末１００或いはそのユーザを識別可能なユーザ識別情報を記憶する識別情報記憶領域１０１１と、その他の情報を記憶する各種情報記憶領域１０１９を備える。

　ストレージ部１１０に記憶された基本動作プログラム１００１はＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された基本動作プログラムを実行することにより、基本動作部１１０１を構成する。同様に、撮影プログラム１００２と情報取得プログラム１００３と思い出画像制御プログラム１００４とその他の動作プログラム１００９は、それぞれＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された各動作プログラムを実行することにより、撮影機能部１１０２と情報取得部１１０３と思い出画像制御部１１０４とその他の動作部１１０９を構成する。また、ＲＡＭ１０４は、各動作プログラム実行時に作成したデータを一時的に記憶する一時記憶領域１２００を備える。

　なお、以下では動作説明を簡単にするために、主制御部１０１がストレージ部１１０に記憶された基本動作プログラム１００１をＲＡＭ１０４に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作部１１０１が各動作ブロックの制御を行うものとして記述する。他の動作プログラムによる他の機能ブロックの動作に関しても、同様の記述を行う。

　撮影機能部１１０２は、第一画像入力部１３３や第二画像入力部１３４等のカメラユニットを用いた画像撮影処理を制御する。なお、画像撮影処理における一般的な動作／処理に関しては公知であるため、詳細な説明を省略する。

　情報取得部１１０３は、日時情報取得部１１０３Ａと位置情報取得部１１０３Ｂと方角情報取得部１１０３Ｃと距離情報取得部１１０３Ｄとを備える。日時情報取得部１１０３Ａは、図示を省略した内蔵時計やネットワークに接続された標準時刻サーバから、日時情報を取得する。位置情報取得部１１０３Ｂは、ＧＰＳ受信部１５１が受信した信号に基づいて、携帯情報端末１００の位置情報を取得する。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部によりビーコン信号を受信することでも可能である。方角情報取得部１１０３Ｃは、地磁気センサ１５３が検出した地磁気情報に基づいて、携帯情報端末１００が指向する方角情報を取得する。距離情報取得部１１０３Ｄは、補助光発光／赤外線測距器１３５による距離測定等の公知技術を用いて、携帯情報端末１００と撮影対象物（被写体）との距離情報を取得する。

　思い出画像制御部１１０４は、画像登録部１１０４Ａ、画像要求部１１０４Ｂ、画像表示部１１０４Ｃを備える。画像登録部１１０４Ａは、ユーザが撮影した画像を情報サーバ３００に登録保存するための制御を行う。画像要求部１１０４Ｂは、ユーザの要求にしたがい情報サーバ３００から登録保存されている画像を取得するための制御を行う。画像表示部１１０４Ｃは、情報サーバ３００から取得した画像を表示部１３１に表示する制御を行う。

　なお、前記各動作プログラムは、製品出荷の時点で、予めストレージ部１１０に記憶された状態とする。あるいは、製品出荷後に、ネットワーク上の各サーバ装置からＬＡＮ通信部１６１または電話網通信部１６２等を介して取得しても良い。また、メモリカードや光ディスク等に格納された前記各動作プログラムを、拡張インタフェース部１７０等を介して取得しても良い。

　［情報サーバのハードウェア構成］
図３は、情報サーバ３００のハードウェア構成（一部ソフトウェア構成を含む）の一例を示す図である。情報サーバ３００は、主制御部３０１、システムバス３０２、ＲＡＭ３０４、ストレージ部３１０、ＬＡＮ通信部３６０、で構成される。

　主制御部３０１は、所定の動作プログラムに従って情報サーバ３００全体を制御するマイクロプロセッサユニットである。システムバス３０２は、主制御部３０１と情報サーバ３００内の各動作ブロックとの間で各種コマンドやデータの送受信を行うためのデータ通信路である。ＲＡＭ３０４は、各動作プログラム実行時のワークエリアである。ＲＡＭ３０４は、主制御部３０１と一体構成であっても良い。

　ストレージ部３１０には、情報管理プログラム３００１と画像検索プログラム３００２が記憶される。また、ストレージ部３１０は、画像データ記憶領域３０１１と関連情報記憶領域３０１２が備えられる。ストレージ部３１０に記憶された情報管理プログラム３００１と画像検索プログラム３００２はＲＡＭ３０４に展開され、更に主制御部３０１が前記展開された情報管理プログラムと画像検索プログラム３００２を実行することにより、情報管理部３１０１と画像検索部３１０２を構成する。また、ＲＡＭ３０４は、各動作プログラム実行時に作成したデータを、必要に応じて一時的に記憶する一時記憶領域（図示省略）を備える。ここに情報管理部３１０１は、携帯情報端末１００から送信された思い出画像とその関連情報を、画像データ記憶領域３０１１と関連情報記憶領域３０１２に保存する。画像検索部３１０２は、携帯情報端末１００からの要求に応じて、該当する思い出画像を検索する。

　ＬＡＮ通信部３６０は、図示を省略したルータ装置等を介してインターネット等のネットワーク２００と接続され、ネットワーク上の携帯情報端末１００とデータの送受信を行う。ルータ装置を介したインターネット等との接続は、有線接続でも無線接続でも良い。ＬＡＮ通信部３６０は、符号化回路や復号回路等を備える。

　［思い出画像の制御処理］
以下では、携帯情報端末１００を用いて撮影した画像データを思い出画像として情報サーバ３００に保存するとともに、情報サーバ３００に保存された思い出画像を検索して携帯情報端末１００に提供して再生表示する思い出画像の制御処理に関して説明する。なお、以下では「思い出画像の制御処理」等を単に「思い出制御処理」等と呼ぶ場合がある。

　［思い出制御設定処理］
図４Ａは、携帯情報端末１００における思い出画像の制御設定画面（思い出制御設定画面）の一例を示す図である。思い出制御設定画面１８０ｂは、思い出制御アプリケーションを起動することにより表示される。思い出制御アプリケーションの起動指示は、図２Ｂのホーム画面１８０ａにおいて、主機能アイコンまたは一般アイコンの表示領域１８０ａ１、１８０ａ２に表示されている思い出制御アプリケーションのアイコンをタップすることで行う。基本動作部１１０１は、ユーザの指示に応じて思い出画像制御部１１０４に制御主体を委譲し、思い出画像制御部１１０４は、タッチスクリーン１８０（表示部１３１）に思い出画像の制御条件を設定する思い出制御設定画面１８０ｂを表示する。

　思い出制御設定画面１８０ｂは、ログイン設定領域１８０ｂ１、登録条件設定領域１８０ｂ２、再生条件設定領域１８０ｂ３、で構成される。ログイン設定領域１８０ｂ１は、情報サーバ３００にログインするためのログイン名情報、及びユーザ認証のためのパスワード情報を入力する領域である。思い出制御アプリケーションが起動されると、携帯情報端末１００は、ログイン設定領域１８０ｂ１に入力された各情報を用いて、情報サーバ３００にログインする。

　登録条件設定領域１８０ｂ２は、カメラ機能を用いて撮影した画像データを思い出画像として登録するか否か、及び思い出として登録した画像データを他のユーザと共有するか否かを設定する領域である。再生条件設定領域１８０ｂ３は、過去に撮影して情報サーバ３００に保存した思い出画像を、どのような条件に基づいて選択し再生表示するかを設定する領域である。具体的な選択条件として、携帯情報端末１００が取得した現在の端末の情報（現在日時情報、現在位置情報、現在方角情報等）に基づき、これに関連した撮影条件の思い出画像を選択する。また、他のユーザ（友達）が思い出として登録した画像データを取得して再生表示することも可能である。ユーザは、設定画面１８０ｂの所望する条件の項目をチェックすれば良い。さらに、登録条件設定領域１８０ｂ２及び再生条件設定領域１８０ｂ３に表示される「詳細」キーは、これをタップすることで各設定項目について詳細な条件を入力できる。

　ログイン設定領域１８０ｂ１に入力された各情報は、ストレージ部１１０の識別情報記憶領域１０１１に記憶される。登録条件設定領域１８０ｂ２及び再生条件設定領域１８０ｂ３に入力された各情報は、ストレージ部１１０の各種情報記憶領域１０１９に記憶される。

　図４Ｂは、登録条件設定領域１８０ｂ２における詳細設定を説明する図である。ここでは、ユーザが「画像を共有」の項目をチェックし、思い出画像として登録した画像データを他のユーザと共有する場合について説明する。

　「画像を共有」の項目では、登録した画像データを、「登録済みユーザと共有する」のか、「全てのユーザと共有する」のか、すなわち画像の公開レベルを選択可能である。前者の「登録済みユーザと共有する」場合には公開レベルを制限し、更に設定範囲として、画像データの共有を許可するユーザを登録（設定）する。ユーザの登録は、メールアドレス情報や情報サーバ３００にログインするためのログイン名情報等で指定する。一方、後者の「全てのユーザと共有する」場合には、情報サーバ３００にログインしている全てのユーザが共有の対象となる。

　図４Ｃは、再生条件設定領域１８０ｂ３における詳細設定を説明する図である。ここでは、情報サーバ３００に保存した思い出画像をどのような条件で再生表示するかを詳細に設定する。

　「日時に応じて再生」の項目をチェックした場合は、日時の詳細条件として、「年」、「月」、「日」、「時刻」に分けて設定する。「年」に応じて再生する場合は、更に設定範囲として、現在日時と同じ年に撮影された画像のみを再生するか、現在日時からＸ年以上前に撮影された画像を再生するか、を選択できる。「月」に応じて再生する場合は、更に、現在日時と同じ月に撮影された画像のみを再生するか、現在日時と同じ月の前後Ｘか月以内に撮影された画像を再生するか、を選択できる。「日」に応じて再生する場合は、更に、現在日時と同じ日に撮影された画像のみを再生するか、現在日時と同じ日の前後Ｘ日以内に撮影された画像を再生するか、を選択できる。「時刻」に応じて再生する場合は、更に、現在時刻と同じ時刻の前後Ｘ分以内に撮影された思い出画像を再生する、ことを設定できる。なお、日時についての「年」、「月」、「日」、「時刻」の条件は、単独の条件でも、あるいは複数の条件を組み合わせたものでも良い。

　「位置に応じて再生」の項目をチェックした場合は、詳細条件として「現在位置」または「指定位置」に分けて設定する。「現在位置」に応じて再生する場合は、更に、携帯情報端末１００の現在位置から東西及び／または南北にＸｍ以内の位置で撮影された画像を再生するようにＸ値を設定できる。「指定位置」に応じて再生する場合は、更に、指定位置を緯度／経度にて設定し、指定位置から東西及び／または南北にＸｍ以内の位置で撮影された画像を再生するようにＸ値を設定する。あるいはＸ値は緯度／経度の変化幅により指定しても良い。指定位置から半径Ｘｍ以内と指定しても良い。

　「方角に応じて再生」の項目をチェックした場合は、詳細条件として「方角」または「対象物の方向を向いたとき」に分けて設定する。「方角」に応じて再生する場合は、更に、携帯情報端末１００が現在指向する方角と過去に撮影した際に指向していた方角との角度差が±Ｘ度以内となる画像を再生するようにＸ値を設定できる。「対象物の方向を向いたとき」に応じて再生する場合は、携帯情報端末１００が過去に撮影した画像内の対象物（被写体）の方向を向いたときに、その対象物が含まれる画像を再生するものである。この場合にも、角度差が±Ｘ度以内となる画像を再生するようにＸ値を設定できる。

　「友達の画像を再生」の項目をチェックした場合は、詳細条件として「特定のユーザ」または「全てのユーザ」に分けて設定する。「特定のユーザ」の画像を再生する場合は、更に、どのユーザの撮影した画像を再生するかを設定する。ユーザの設定は、メールアドレス情報や情報サーバ３００にログインするためのログイン名情報を用いる。なお、「特定のユーザ」は、図４Ｂの「画像を共有」の項目で登録したユーザと同じでも良い。「全てのユーザ」の画像を再生する場合は、情報サーバ３００に登録されている全てのユーザの画像が再生の対象となる。

　また、上記した再生表示のための各設定条件（日時、位置、方角、友達の画像）は、単独でも複数の組み合わせでも良い。複数の設定条件を組み合わせる場合は、論理和（ＯＲ）、論理積（ＡＮＤ）などの論理式を用いて、再生条件をより好適に絞り込むことができる。これにより、単に撮影日時だけでなく撮影位置や撮影方向の条件を組み合わせることで、ユーザの好みに応じた再生条件を設定でき、ユーザが撮影した当時の状況や感動を効果的に想起させる思い出画像を提示することが可能となる。

　また、「方角に応じて再生」の中で、「対象物の方向を向いたとき」に対象物の含まれる画像を再生することは本実施例において特にユニークな処理であり、以下、その算出方法について説明する。

　図４Ｄは、携帯情報端末から見える対象物の方向の算出法を説明する図である。
過去に、ユーザがＡ地点にて携帯情報端末１００を用いて対象物Ｓの撮影を行い、その撮影画像を思い出画像として情報サーバ３００に保存したとする。この際、携帯情報端末１００と対象物Ｓとの距離はＬであり、携帯情報端末１００の指向する方角はαであったものする。なお、距離Ｌは、情報取得部１１０３の距離情報取得部１１０３Ｄで測定する。これらの撮影関連情報（Ａ地点の位置情報、撮影方角α、距離Ｌ）は対象物Ｓの撮影画像データとともに情報サーバ３００に保存される。

　一方、現在ユーザがＢ地点にいる場合、対象物Ｓの位置がどの方向となるかを説明する。Ａ地点で取得した位置情報とＢ地点で取得した位置情報から、ＡＢ間の距離Ｍ及び角度βが算出できる。これらの情報（距離Ｌ、距離Ｍ、角度α、角度β）から、三角測量の計算により、Ｂ地点から対象物Ｓが見える方角γ、及びＢ地点から対象物Ｓまでの距離Ｎが算出可能である。すなわち、現在ユーザがＢ地点にいる場合、携帯情報端末１００の指向する方角が前記算出した方角γ（或いは、その±Ｘ度以内）であれば、携帯情報端末１００が対象物Ｓの方向を向いたものと判定することができる。

　［思い出画像登録処理］
以下では、携帯情報端末１００を用いて被写体の画像を撮影し、撮影した画像データを思い出画像としてその関連情報とともに情報サーバ３００に登録保存する思い出画像登録処理について説明する。

　図５Ａは、携帯情報端末１００のカメラ機能画面の一例を示す図である。ユーザが、図２Ｂのホーム画面１８０ａに表示されているカメラ機能アプリケーションのアイコンをタップすることで、タッチスクリーン１８０にはカメラ機能画面１８０ｃが表示される。カメラ機能画面１８０ｃは、カメラ制御キー領域１８０ｃ１、カメラ設定キー領域１８０ｃ３、焦点位置表示マーク１８０ｃ４、で構成される、一方、カメラユニットである第一画像入力部（インカメラ）１３３、或いは第二画像入力部（アウトカメラ）１３４から入力した画像データは、タッチスクリーン１８０に重畳されて表示される。カメラ制御キー領域１８０ｃ１にはシャッタキー１８０ｃ２が備えられる。また、カメラユニットの切り替えは、カメラ設定キー領域１８０ｃ３に用意されたカメラ切り替えキーをタップすることにより行われる。

　図５Ｂは、思い出画像登録処理を示すフローチャートである。この処理は、主に思い出画像制御部１１０４の画像登録部１１０４Ａにより制御される。

　先ず、ユーザが携帯情報端末１００に表示されたホーム画面１８０ａを操作することにより、カメラ機能アプリケーションの起動を指示する。具体的には、図２Ｂの主機能アイコンまたは一般アイコンの表示領域１８０ａ１、１８０ａ２に表示されているカメラ機能アプリケーションのアイコンをタップする。基本動作部１１０１は、図４Ａの思い出画像登録設定１８０ｂ２を確認すると共に、ユーザの指示に応じて思い出画像制御部１１０４の画像登録部１１０４Ａに制御主体を委譲する。画像登録部１１０４Ａは、撮影機能部１１０２を起動する（Ｓ１０１）。撮影機能部１１０２は、カメラユニットのうち例えば第二画像入力部（アウトカメラ）１３４を有効化すると共に、第二画像入力部１３４から画像データの入力を開始する。更に撮影機能部１１０２は、図５Ａに示したように、タッチスクリーン１８０（表示部１３１）に、第二画像入力部１３４から入力した画像データと共にカメラ機能画面１８０ｃを表示する（Ｓ１０２）。

　続いて、基本動作部１１０１は、タッチスクリーン１８０（タッチパネル１２３）へのユーザのタッチ操作による操作指示入力の有無を確認し、確認結果を画像登録部１１０４Ａに知らせる（Ｓ１０３）。タッチスクリーン１８０への操作指示入力が無い場合は、指示を受けるまで待機する。タッチスクリーン１８０への操作指示入力がある場合、操作指示の種別を確認する（Ｓ１０４）。

　Ｓ１０４で確認した操作指示の種別がカメラ機能アプリケーションの終了の指示である場合は、Ｓ１０５へ進み、画像登録部１１０４Ａは撮影機能部１１０２の動作を終了させ、制御主体を基本動作部１１０１に返還する。基本動作部１１０１は、タッチスクリーン１８０にホーム画面１８０ａを表示する（Ｓ１０６）。

　Ｓ１０４で確認した操作指示の種別がシャッタ操作である場合は、Ｓ１０７へ進み、撮影機能部１１０２は第二画像入力部１３４から入力した画像データの取得シーケンスを開始する。先ず、撮影機能部１１０２が、第二画像入力部１３４から画像データを取得して、ＲＡＭ１０４の一時記憶領域１２００に記憶する（Ｓ１０７）。画像データの取得処理には、合焦や露光等の前処理、ＣＣＤやＣＭＯＳセンサ等の電子デバイスの出力をデジタルデータに変換する処理、ガンマ補正やノイズ除去や画像圧縮処理等の後処理を含む。次に、画像登録部１１０４Ａは、情報取得部１１０３に対し撮影時の各種情報（日時情報ほか）の取得を要求する。

　これに応じて日時情報取得部１１０３Ａは、前記画像データを取得した際の撮影日時情報（年、月、日、時、分、秒）を取得する（Ｓ１０８）。位置情報取得部１１０３Ｂは、前記画像データを取得した際の携帯情報端末１００の撮影位置情報（経度、緯度）を取得する（Ｓ１０９）。方角情報取得部１１０３Ｃは、前記画像データを取得した際に携帯情報端末１００が指向する撮影方角情報を取得する（Ｓ１１０）。更に距離情報取得部１１０３Ｄは、撮影対象物（被写体）までの被写体距離情報を取得する（Ｓ１１１）。

　次に、撮影した画像データを思い出画像として登録するか否かを判定する（Ｓ１１２）。撮影した画像データを思い出画像として登録するか否かは、図４Ａに示した思い出制御アプリケーションの設定によりユーザが選択可能である。あるいは、ユーザメニュー等から設定できるようにしても良い。

　Ｓ１１２の判定で思い出画像として登録する場合は、Ｓ１１３へ進み、画像登録部１１０４Ａは、登録する画像に関連する撮影時の関連情報を生成する。撮影時の関連情報としては、携帯情報端末１００のユーザを識別可能なユーザ識別情報（または、携帯情報端末１００を識別可能な端末識別情報でも良い）と、情報取得部１１０３が取得した撮影時の各種情報（日時情報、位置情報、方角情報、距離情報）、思い出制御設定画面１８０ｂの登録条件設定領域１８０ｂ２の「画像を共有」項目で設定した公開レベル設定情報、などを含む。更に、画像登録部１１０４Ａは、Ｓ１０７の処理で取得した画像データとＳ１１３の処理で生成した撮影時の関連情報を、通信部１６０及びネットワーク（インターネット）２００を介して、情報サーバ３００に送信する（Ｓ１１４）。

　情報サーバ３００においては、画像データ記憶領域３０１１と関連情報記憶領域３０１２に、前記送信された画像データと撮影時の関連情報がそれぞれ関連付けられて記憶される。なお、Ｓ１０７の処理で取得した画像データとＳ１１３の処理で生成した撮影時の関連情報は、携帯情報端末１００内のストレージ部１１０の各種情報記憶領域１０１９において併せて記憶しても良い。そしてＳ１０３へ戻り、上記の処理を繰り返す。

　一方、Ｓ１１２の判定で、撮影した画像データを思い出画像として登録しない場合は、Ｓ１１５へ進み、通常の撮影処理を行う。画像登録部１１０４Ａは、Ｓ１０７で取得した画像データと、Ｓ１０８～Ｓ１１１で取得した撮影時の各種情報（日時情報、位置情報、方角情報、距離情報）から、画像ファイルを生成する（Ｓ１１５）。この画像ファイルは、公知のＥＸＩＦ（Exchangeable Image File Format）形式等であっても良い。更に、画像登録部１１０４Ａは、Ｓ１１５で生成した画像ファイルをストレージ部１１０の各種情報記憶領域１０１９に記憶する（Ｓ１１６）。そしてＳ１０３へ戻り、上記の処理を繰り返す。

　なお、Ｓ１１２の判定で撮影した画像データを思い出画像として登録しないとした場合でも、そのとき取得した画像データと撮影時の各種情報はストレージ部１１０に保存されている。従って、その後ユーザは、当該画像を思い出画像として情報サーバ３００に送信し追加登録することができる。また、Ｓ１１５～Ｓ１１６の処理は、画像登録部１１０４Ａに代わり撮影機能部１１０２が制御主体となって処理しても良い。

　［情報サーバのデータベース］
携帯情報端末１００から送信された思い出画像の画像データと撮影時の関連情報は、情報サーバ３００の情報管理部３１０１により、画像データ記憶領域３０１１と関連情報記憶領域３０１２に保存される。ここでは、これらのデータがどのような構成で保存されるかを説明する。

　図６Ａは、情報サーバ３００の画像データ記憶領域３０１１に記憶される画像データベースの一例を示す図である。画像データベースの構成は、携帯情報端末１００のユーザを識別可能なユーザ識別情報毎のフォルダに分割され、携帯情報端末１００から送信された画像データは対応するフォルダに格納される。これらの各フォルダは、以下に述べるユーザデータベース（図６Ｂ）のログイン名情報、及び関連情報データベース（図６Ｃ）のユーザ識別情報で管理されている。また、フォルダ内の各画像データは、関連情報データベースの画像識別情報に対応するファイル名により管理されている。

　図６Ｂは、情報サーバ３００の関連情報記憶領域３０１２に記憶されるユーザデータベースの一例を示す図である。ユーザデータベースは、情報記憶／提示サービスを利用するユーザの一覧を記憶するデータベースであり、ログイン名、パスワード、氏名、メールアドレス、連絡先番号等の情報が登録される。住所情報やクレジットカード情報等、その他の情報が更に登録されても良い。

　ログイン名は、情報記憶／提示サービスを利用するユーザを識別するための識別情報であり、情報記憶／提示サービスにログインする際に使用する。ログイン名はユーザ毎に一意に決定される。パスワードは、情報記憶／提示サービスにログインする際のユーザ認証に使用される認証情報である。パスワードは各ユーザが任意に指定可能である。氏名は、情報記憶／提示サービスを利用するユーザの氏名に関する情報である。メールアドレス及び連絡先番号は、情報記憶／提示サービスを利用する各ユーザへの連絡先に関する情報であり、各種連絡を行う際に使用される。図４Ａに示したログイン設定領域１８０ａ１では、ログイン名及びパスワードをそれぞれ入力してログインを行う。

　図６Ｃは、情報サーバ３００の関連情報記憶領域３０１２に記憶される関連情報データベースの一例を示す図である。関連情報データベースは、携帯情報端末１００から送信された各画像データに関連する撮影時の関連情報を記憶するデータベースである。

　画像識別情報は、携帯情報端末１００から送信された各画像データを識別可能な識別情報である。ユーザ識別情報は、各画像データの撮影（登録）者を識別可能なユーザ識別情報であり、ユーザデータベース（図６Ｂ）のログイン名が用いられる。画像識別情報とユーザ識別情報を組み合わせることで、画像データを一意に識別することができる。撮影日時情報は、携帯情報端末１００から送信された各画像データの撮影日時情報であり、同様に、各画像データの撮影位置情報、撮影方角情報、被写体距離情報（図示省略）が、画像識別情報に対応して登録される。更に、携帯情報端末を識別可能な端末識別情報や公開レベル設定情報等の情報が登録されても良い。

　［思い出画像再生処理］
以下では、過去に撮影して情報サーバ３００に保存されている思い出画像を、携帯情報端末１００の現在の状況に応じて検索取得し、携帯情報端末１００に再生表示する思い出画像再生処理について説明する。

　図７Ａと図７Ｂは、思い出画像再生処理を示すフローチャートであり、図７Ａは携帯情報端末１００側の処理を、図７Ｂは情報サーバ３００側の処理を示す。

　まず、図７Ａで携帯情報端末１００側の画像再生処理を説明する。以下の処理は、思い出画像制御部１１０４の画像要求部１１０４Ｂにより制御される。なお、思い出画像再生処理を実行するか否かは、思い出制御アプリケーションの設定により選択できる。あるいは、ユーザメニュー等から設定できるようにしても良い。思い出画像再生処理を実行するように設定されている場合には、図７Ａに示した処理フローは常に動作している。

　Ｓ２０１では、思い出画像制御部１１０４の画像要求部１１０４Ｂが、携帯情報端末１００のユーザ識別情報と、思い出制御設定画面１８０ｂの再生条件設定領域１８０ｂ３で設定した再生条件を記述した思い出画像検索条件（以下、画像検索条件）を生成する。更に、画像要求部１１０４Ｂは、Ｓ２０１の処理で生成した画像検索条件を、通信部１６０及びネットワーク２００を介して、情報サーバ３００に送信する（Ｓ２０２）。送信された画像検索条件は、情報サーバ３００の関連情報記憶領域３０１２に記憶される。

　次に、画像要求部１１０４Ｂは、情報取得部１１０３に、現在の端末の状況（日時情報ほか）を取得するよう要求する。これに応じて、日時情報取得部１１０３Ａは現在の日時情報を取得し（Ｓ２０３）、位置情報取得部１１０３Ｂは携帯情報端末１００の現在の位置情報を取得する（Ｓ２０４）。さらに、方角情報取得部１１０３Ｃは携帯情報端末１００が現在指向する方角情報を取得する（Ｓ２０５）。

　次にＳ２０６では、画像要求部１１０４Ｂは、情報取得部１１０３が取得した現在日時情報、現在位置情報及び現在方角情報と、携帯情報端末１００のユーザ識別情報から、現在の端末状態の情報（以下、現在の端末情報）を生成する。更に画像要求部１１０４Ｂは、Ｓ２０６で生成した現在の端末情報を、通信部１６０及びネットワーク２００を介して、情報サーバ３００に送信する（Ｓ２０７）。

　これに対応し情報サーバ３００では、図７Ｂに後述するように、携帯情報端末１００から送信された画像検索条件（Ｓ２０２）と現在の端末情報（Ｓ２０７）に基づき、データベースから該当する画像データを検索して、思い出画像として撮影時の関連情報と一緒に、携帯情報端末１００に送信する。

　Ｓ２０８では、携帯情報端末１００の画像要求部１１０４Ｂは、情報サーバ３００から思い出画像とその関連情報を受信したかどうかを判定する。思い出画像と関連情報を受信した場合には、携帯情報端末１００の表示部１３１の稼働状況を判定し（Ｓ２０９）、思い出画像表示処理（Ｓ２１０）または思い出画像報知処理（Ｓ２１１）を実行する。Ｓ２１０とＳ２１１の処理は、主に思い出画像制御部１１０４の画像表示部１１０４Ｃにより制御される。

　Ｓ２０９の判定において、表示部１３１が稼動中である場合（画面表示が為されている場合）には、画像表示部１１０４Ｃは、ユーザが携帯情報端末１００を使用中であると判断する。この場合にはＳ２１０に進み、画像表示部１１０４Ｃは、受信した思い出画像を表示部１３１に表示する。なお、思い出画像の表示方法の詳細については、後述する。その後、Ｓ２１２に進む。

　Ｓ２０９の判定において、表示部１３１が稼働中でない場合（画面表示が為されていない場合）には、画像表示部１１０４Ｃは、ユーザが携帯情報端末１００を使用していないと判断する。この場合にはＳ２１１に進み、画像表示部１１０４Ｃは、ステレオスピーカ１４３から思い出画像を受信したことを知らせる報知音を出力する、または図示を省略したバイブレータにより携帯情報端末１００の筐体を振動させる。これにより、ユーザは思い出画像を受信したことを知ることができる。

　一方、Ｓ２０８の判定で、情報サーバ３００から思い出画像と関連情報を受信しなかった場合（或いは、再生の対象となる画像データが無い旨を情報サーバ３００から受信した場合）には、Ｓ２１２へ進む。Ｓ２１２では、画像要求部１１０４Ｂは、思い出制御設定画面１８０ｂの再生条件設定領域１８０ｂ３で設定した再生条件が更新されているか否かを確認する。再生条件が更新されている場合は、Ｓ２０１に戻って処理を繰り返す。再生条件が更新されていない場合は、Ｓ２０３に戻って処理を繰り返す。

　図７Ｂは、情報サーバ３００の画像検索処理を示す。情報サーバ３００の関連情報記憶領域３０１２には、図７ＡのＳ２０２で携帯情報端末１００から送信された思い出画像検索条件（以下、画像検索条件）が記憶されている。以下の処理は、主に画像検索部３１０２により制御される。

　Ｓ３０１では、情報サーバ３００は、携帯情報端末１００から現在の端末情報（現在日時情報、現在位置情報、現在方角情報、ユーザ識別情報）を受信する（図７ＡのＳ２０７に対応）。画像検索部３１０２は、受信した現在の端末情報から、送信元の携帯情報端末１００のユーザ識別情報を取得する。そして、予め携帯情報端末１００から送信された画像検索条件のうち、前記ユーザ識別情報に対応する画像検索条件を確認する（Ｓ３０２）。

　次にＳ３０３では、画像検索部３１０２は、関連情報記憶領域３０１２に記憶された関連情報データベースを参照して、前記画像検索条件に一致する画像があるか否かを判定する。この判定は、Ｓ３０１で受信した現在の端末情報（現在日時情報、現在位置情報、現在方角情報、ユーザ識別情報）と、関連情報データベースに登録されている撮影時の関連情報（日時情報、位置情報、方角情報、距離情報）とを比較し、画像検索条件に記載された再生条件を参照することにより行う。その具体例は後述する。検索条件に一致する画像がある場合はＳ３０４に進み、検索条件に一致する画像がない場合には、処理を終了する。

　Ｓ３０４では、検索条件に一致した画像（以下、当該画像）が携帯情報端末１００のユーザ自身が登録した画像であるか否かを判定する。この判定では、現在の端末情報から取得したユーザ識別情報と、関連情報データベースに登録されている当該画像データのユーザ識別情報とを比較すればよい。判定の結果、当該画像が携帯情報端末１００のユーザ自身が登録した画像である場合は、Ｓ３０６の処理に進む。当該画像が携帯情報端末１００のユーザ自身が登録した画像データでない場合は、Ｓ３０５に進む。

　Ｓ３０５では、当該画像データが、現在の端末情報から取得したユーザ識別情報で識別されるユーザに対して共有を許可されているか否かを判定する。この判定では、現在の端末情報から取得したユーザ識別情報と、関連情報データベースの当該画像データの公開レベル設定の情報とを比較すれば良い。判定の結果、当該画像データが前記識別されたユーザに対して共有を許可されている場合は、Ｓ３０６の処理に進む。当該画像データが前記識別されたユーザに対して共有を許可されていない場合は、処理を終了する。

　Ｓ３０６では、画像検索部３１０２は、当該画像データの画像識別情報に基づいて、画像データ記憶領域３０１１の画像データベースから当該画像データを取得する。更に、画像検索部３１０２は、取得した画像データを思い出画像として、関連情報データベースに登録されている撮影時の関連情報と共に、携帯情報端末１００に送信する（Ｓ３０７）。

　このようにして情報サーバ３００は、携帯情報端末１００により設定された思い出画像検索条件に基づき、検索条件に一致する画像を画像データベースから検索して、思い出画像として携帯情報端末１００に送信することができる。

　［思い出画像検索処理の具体例］
前記図７Ｂの思い出画像の検索処理について、図６Ａ～図６Ｃに記載された登録データを例に具体的に説明する。この画像検索処理では、携帯情報端末１００から取得した現在の端末情報（現在日時情報、現在位置情報、現在方角情報）と、図６Ｃの関連情報データベースに登録されている撮影条件のデータを比較し、思い出画像検索条件に記載された再生条件（図４Ｃ）を参照して該当する画像を検索する。

　＜検索例１＞
端末の現在日時情報が「2017年10月01日13時25分15秒」であり、再生条件が「年に基づく思い出画像の再生」で「現在日時から２年以上前に撮影された思い出画像を再生する」ように設定されている場合、画像データ「img_000001」と画像データ「img_000002」が抽出される。

　＜検索例２＞
端末の現在日時情報が「2017年10月01日13時25分15秒」であり、再生条件が「年に基づく思い出画像の再生」で「現在日時から２年以上前に撮影された思い出画像を再生する」ように設定され、さらに「月に基づく思い出画像の再生」で「前後１カ月以内に撮影された思い出画像を再生する」ように設定されている場合、画像データ「img_000002」が抽出される。

　＜検索例３＞
端末の現在日時情報が「2017年10月01日13時25分15秒」であり、再生条件が「時刻に基づく思い出画像の再生」で「前後１５分以内に撮影された思い出画像を再生する」ように設定されている場合、画像データ「img_000001」と画像データ「img_000027」が抽出される。

　＜検索例４＞
端末の現在位置情報が「35.4030/139.5329」であり、再生条件が「現在位置に基づく思い出画像の再生」で「緯度及び／または経度の誤差が０．００１０以内で撮影された思い出画像を再生する」ように設定されている場合、画像データ「img_000002」と画像データ「img_000027」が抽出される。

　＜検索例５＞
再生条件が「指定位置に基づく思い出画像の再生」で「指定位置＝35.4050/139.5320」及び「緯度及び／または経度の誤差が0.0010以内で撮影された思い出画像を再生する」ように設定されている場合、携帯の現在位置情報によらず、画像データ「img_000003」が抽出される。

　＜検索例６＞
端末の現在方角情報が「192度」であり、再生条件が「方角に基づく思い出画像の再生」で「方角の差分が±5度以内で撮影された思い出画像のみを再生する」ように設定されている場合、画像データ「img_000003」が抽出される。

　＜検索例７＞
端末の現在日時情報が「2017年10月01日13時25分15秒」、端末の現在位置情報が「35.4030/139.5329」であり、再生条件が「年に基づく思い出画像の再生」で「現在日時から２年以上前に撮影された思い出画像を再生する」ように設定され、「月に基づく思い出画像の再生」で「前後１カ月以内に撮影された思い出画像を再生する」ように設定され、さらに「現在位置に基づく思い出画像の再生」で「緯度及び／または経度の誤差が0.0010以内で撮影された思い出画像を再生する」ように設定されている場合、画像データ「img_000002」が抽出される。

　＜検索例８＞
端末の現在方角情報が「δ度」であり、再生条件が「対象物の方向を向いたときに再生」するように設定されている場合、各画像データに関して図４Ｄに示した手順で現在位置から対象物の方角γを算出し、算出した方角γと現在方角δとの角度差が所定値（Ｘ度）以内となる画像データがある場合には、当該画像データが抽出される。なお、方角γの算出では、現在位置情報と、関連情報データベースに登録されている撮影条件（位置情報、方角情報、距離情報）を用いる。

　＜検索例９＞
再生条件が「特定のユーザの思い出画像を再生」で「USER000002」のメールアドレスが登録されている場合、「USER000002」が登録した画像データ「img_000001」が抽出される（但し、「USER000002」が「USER000001」に対して思い出画像の共有を許可している場合）。

　上記の検索例のうち、携帯情報端末の現在方角情報を用いる場合であって、再生条件が「方角に基づく思い出画像の再生」（検索例６）、及び「対象物の方向を向いたときに再生」（検索例８）は、特にユニークな処理といえる。

　＜思い出画像の表示＞
　前記図７Ａの思い出画像表示処理（Ｓ２１０）における画像表示方法を具体的に説明する。携帯情報端末１００は、情報サーバ３００から受信した思い出画像を表示する訳であるが、情報サーバ３００からは当該画像の撮影時の関連情報も一緒に送られる。これを受けて画像表示部１１０４Ｃは、表示する画像の撮影時の関連情報と、携帯情報端末１００の現在の状況（現在の端末情報）とを比較して、各情報の一致度に基づいた表示制御を行う。以下、いくつかの表示例を示す。

　＜表示例１＞
図８Ａは、前述の＜検索例３＞の検索結果に対応する表示画面を示す。携帯情報端末１００の現在日時情報が「2017年10月01日13時25分15秒」で、再生条件が「時刻に基づく思い出画像の再生」の場合、情報サーバ３００から、抽出された２つの画像データ「img_000001」、「img_000027」及びそれらの関連情報を受信する。この場合、画像表示部１１０４Ｃは、第二画像入力部１３４から入力した画像データ（以下、カメラ画像）１８０ｄ１に重畳して、受信した２つの画像データ「img_000001」、「img_000027」を、それぞれ画像データ１８０ｄ２、１８０ｄ３のように表示する。

　この表示では、画像データ１８０ｄ２と画像データ１８０ｄ３の表示の大きさを変え、画像データ１８０ｄ３の方を大きく表示している。これは、現在日時情報と各画像データの関連情報（撮影日時情報）とを比較し、その一致度に応じて大きさを制御している。すなわち本例では、現在時刻情報（13時25分15秒」と各画像データの時刻情報とを比較し、その誤差が小さい方の画像データ１８０ｄ３「img_000027」（13時22分53秒）を大きく表示し、他方の画像データ１８０ｄ２「img_000001」（13時36分41秒）を小さく表示している。

　＜表示例２＞
図８Ｂは、前述の＜検索例４＞の検索結果に対応する表示画面を示す。携帯情報端末１００の現在位置情報が「35.4030/139.5329」で、再生条件が「現在位置に基づく思い出画像の再生」の場合、情報サーバ３００から、抽出された２つの画像データ「img_000002」、「img_000027」及びその関連情報を受信する。この場合、２つの画像データを表示するのではなく、各画像データの関連情報（撮影位置情報）と現在位置情報とを比較し、一致度の大きい方（誤差の小さい方）の画像データを選択して表示している。本例では、「img_000027」の画像データ（撮影位置情報が「35.4031/139.5330」）を選択し、画像データ（思い出画像）１８０ｅ２として、第二画像入力部１３４から入力した画像データ（カメラ画像）１８０ｅ１と並べて表示している。

　その際、選択した画像データ「img_000027」の撮影位置情報と現在位置情報との一致度に応じて、画像データ（カメラ画像）１８０ｅ１と画像データ（思い出画像）１８０ｅ２との表示比率を変えている。図８Ｂ（ａ）は、両者の誤差が小さい（一致度が大きい）場合で、画像データ（思い出画像）１８０ｅ２の表示比率を大きくする。図８Ｂ（ｂ）は、両者の誤差が大きい（一致度が小さい）場合で、画像データ（思い出画像）１８０ｅ２の表示比率を小さくする。

　更に、ユーザが移動して携帯情報端末１００の現在位置情報が更新されると、前記表示比率も現在位置に応じて更新されるように制御する。

　＜表示例３＞
図８Ｃは、前述の＜検索例６＞の検索結果に対応する表示画面を示す。携帯情報端末１００の現在方角情報が「１９２度」であり、再生条件が「方角に基づく思い出画像の再生」の場合、情報サーバ３００から、抽出された１つの画像データ「img_000003」とその関連情報を受信する。この場合、受信した画像データ「img_000003」を画像データ（思い出画像）１８０ｆ２として、第二画像入力部１３４から入力した画像データ（カメラ画像）１８０ｆ１に重畳して表示する。

　なお、画像データ（思い出画像）１８０ｆ２の表示の大きさは、当該画像データの関連情報と携帯情報端末１００の現在の状況（現在日時情報、現在位置情報、現在方角情報等）との一致度に応じて制御する。本例では、「img_000003」の撮影方角情報（１９５度）と現在方角情報（１９２度）を比較している。図８Ｃ（ａ）は一致度が大きい（誤差が小さい）場合で、画像データ１８０ｆ２を大きく表示する。図８Ｃ（ｂ）は一致度が小さい（誤差が大きい）場合で、画像データ１８０ｆ２を小さく表示する。

　図８Ｃの＜表示例３＞は、前述の＜検索例８＞の検索結果を表示する場合にも適用できる。携帯情報端末１００の現在方角情報が「δ度」であり、再生条件が「対象物の方向を向いた場合に再生」するように設定されている場合、対象物の方角γが現在方角δに近い画像データ（思い出画像）を受信する。この場合も、図８Ｃに示したように、受信した画像データ（思い出画像）を、画像データ１８０ｆ２として表示する。

　この場合の画像データ１８０ｆ２の表示の大きさは、対象物の方角γと現在方角δを比較し、その誤差が小さければ（ａ）のように画像データ１８０ｆ２を大きく表示し、その誤差が大きければ（ｂ）のように画像データ１８０ｆ２を小さく表示する。或いは、算出した対象物までの距離Ｎが小さければ画像データ１８０ｆ２を大きく表示し、対象物までの距離Ｎが大きければ画像データ１８０ｆ２を小さく表示しても良い。

　このように＜表示例３＞によれば、ユーザが持つ携帯情報端末１００の現在方角が変化すると、撮影時の方角（または対象物の方角）との一致度に応じて、表示される思い出画像の大きさが変化する。そして、当該思い出画像を撮影したときの方角（または対象物の方角）を向いたときに、当該思い出画像が最大の大きさで表示され、ユーザに対し撮影時の思い出を効果的に想起させることができる。

　なお、前記した表示制御では、現在の端末の状況と撮影時の関連情報との一致度に応じて、思い出画像の大きさを変えて表示するようにしたが、一致度に応じて画像の透過度を異ならせて表示しても良い。

　また、前記表示例において、表示中の思い出画像に対し、ユーザ操作指示によって１つが選択されると全画面表示となるように制御しても良い。或いは、選択された画像とカメラ画像との表示比率等を入れ替えるように制御しても良い。

　また、前記＜表示例１、３＞において、携帯情報端末１００が透過型ディスプレイを備えたＨＭＤの場合、カメラ画像１８０ｄ１、１８０ｆ１はディスプレイを透過した周辺風景であって良い。その場合、周辺風景上に思い出画像１８０ｄ２や１８０ｆ２が重畳されて表示されることになる。

　以上説明したように、本実施例の携帯情報端末１００は、ユーザが過去に撮影して情報サーバ３００に登録した思い出画像のうち、現在の端末の状況（日時、位置、指向方向等）に関連の深い画像を取得して、現在の周辺風景に重畳または並べて表示する。その際、現在の端末の状況と撮影時の関連情報との一致度に応じて表示画像の大きさや透過度を制御して表示するので、現在の状況に特に関連の深い画像が強調されて表示され、効果的にユーザに思い出を想起させることが可能となる。

　＜ＶＲ表示が可能な視聴用装置＞
ここでは、携帯情報端末１００の使用形態として、ユーザの頭部に装着してＶＲ（Virtual Reality）等の表示が可能な視聴用装置について説明する。

　図９Ａは、携帯情報端末１００を視聴用装置（アダプタ）１０に挿入し、これをユーザ１が装着した使用状態を示す図である。（ａ）は視聴用装置１０を装着したユーザ１を真上から見た上面図、（ｂ）は視聴用装置１０を装着したユーザ１を正面から見た正面図である。このような視聴用装置１０を用いることで、ＨＭＤ（Head Mounted Display）と同様の機能を実現できる。あるいは視聴用装置１０の代わりに、携帯情報端末１００が眼前に配置されるように、ユーザ１が両手または片手で携帯情報端末１００を把持して使用する形態でも良い。

　視聴用装置１０は、スリット部２０にスマートホンやタブレット端末等の携帯情報端末１００を挿入して支持する構成である。ユーザ１は、携帯情報端末１００が挿入された視聴用装置１０を眼前に配置し、ベルト等を用いて頭部に固定する。携帯情報端末１００の表示画面（表示部１３１）は、第二画像入力部１３４から入力した画像データ（カメラ画像）に、ＣＧ（Computer Graphics）等で作成した人工物を重畳するＶＲ（Virtual Reality）表示やＭＲ（Mixed Reality）表示等を行うことが可能である。また、透過型ディスプレイを備えたＨＭＤの場合、周辺風景にＣＧ等で作成した人工物を重畳するＡＲ（Augmented Reality）表示等を行うことが可能である。

　携帯情報端末１００の表示画面に表示された画像は、視聴用装置１０の内部に配置されたレンズ部１１を介してユーザ１の目に入射する。また、隔壁部１２は、左右それぞれのレンズ部１１を通過した画像の混合を防止する。なお、前述のスリット部２０やレンズ部１１や隔壁部１２等は、視聴用装置１０の内部構造を説明するものであり、通常時は外部に露出しない。また、通常時は、携帯情報端末１００を視聴用装置１０の筐体の一部が蓋のように覆い、ユーザ１の頭部の上下左右動の際にも、携帯情報端末１００の落下やずれを防止する構造とすることが望ましい。また、視聴用装置１０の筐体には窓１３が設けられており、携帯情報端末１００の背面に備えられた第二画像入力部１３４を露呈させる構造となる。

　図９Ｂは、ユーザ１が頭部を動かした場合の、ユーザの視線及び携帯情報端末１００の指向方向の変化を説明する図である。（ａ）は、ユーザ１を真上から見た上面図である。視聴用装置１０を装着したユーザ１が、頭部中心を軸として頭を左右（水平方向）に動かすことにより、視聴用装置１０に挿入された携帯情報端末１００が位置１００ａから位置１００ｂに移動する。この場合、携帯情報端末１００が位置１００ａで指向する方向はＤａ、位置１００ｂで指向する方向はＤｂであり、相対角度差はδとなる。また（ｂ）は、（ａ）における携帯情報端末１００の指向方向の変化（Ｄａ→Ｄｂ）を、携帯情報端末１００の中心位置を固定して表現した図である。

　ここで、図９Ａ，図９Ｂの視聴用装置を用いて前記図８Ｃの＜表示例３＞の制御を行う場合を説明する。携帯情報端末１００が現在指向する方角が方向Ｄｂであり、対象物の方向Ｄａである場合、その角度差δの大きさに応じて画像データ１８０ｆ２の大きさが制御されることになる。更に、角度差δの大きさに応じて、画像データ１８０ｆ２の透過度を変化させても良い。また、ユーザ１が頭部を左右（水平方向）に動かして携帯情報端末１００の現在方角情報が更新されたり、ユーザ１が移動して携帯情報端末１００の現在位置情報が更新されたりすると、前記表示の大きさも適宜更新されるように制御される。

　［変形例１］
情報サーバ３００の画像データベースに登録する画像データは、携帯情報端末１００で撮影してネットワーク２００を介してアップロードした画像データでなくとも良い。例えば、店舗経営者が自店舗の広告画像をＰＣ上で作成して登録する。この際、関連情報データベースに登録する撮影時の関連情報には、撮影日時情報として自店舗の特売日等を登録し、撮影位置情報として自店舗の正面入り口前の緯度／経度情報を登録し、撮影方角情報として自店舗正面入り口前の位置から自店舗正面入り口を指向した際の方角情報を登録する。また、公開レベル設定の「画像を共有」項目の設定として「全てのユーザと共有する」を選択しておく。

　すると、任意のユーザが、前記特売日と「日」の情報が一致する日に、前記店舗経営者の経営する店舗の正面入り口前で、携帯情報端末１００を前記店舗正面入り口側に指向させた場合に、携帯情報端末１００が前記広告画像を情報サーバ３００から取得して表示することができる。すなわち、店舗経営者は予め広告画像を用意して思い出画像として登録しておくことにより、自店舗の宣伝を効果的に行うことが可能となる。

　［変形例２］
携帯情報端末１００で撮影した画像データとその関連情報を情報サーバ３００に登録する際に、その他の関連データ（例えば、音声データ、テキストデータ、等）を同時に登録する。前記関連データは、情報サーバ３００の関連ファイルデータベース（図示省略）に登録される。

　例えば、前述の思い出画像再生処理（図７Ａ）でサーバ３００から画像データ（思い出画像）を受信する際に（Ｓ２０８）、前記関連データを同時に受信する。その後は、前記画像データ（思い出画像）が表示部１３１に表示される際に（Ｓ２１０）、関連データを同時に再生する。音声データであれば、音声再生ソフトを起動してスピーカから音声出力し、テキストデータであれば、メモ帳アプリ等により表示部１３１上に表示する。或いは、Ｓ２０８の処理で前記関連データの取得のみを行い、取得した関連データの再生処理は、表示部１３１に表示された画像データ（思い出画像）がユーザ操作指示によって選択された後に行うようにしても良い。このような制御を行うことにより、画像データ（思い出画像）の表示と同時に前記画像に関連するデータを再生することが可能となり、従って、思い出の想起をより効果的に行うことが可能となる。

　以上、本発明の実施形態の例を説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

　前述した本発明の各機能ブロックは、それらの一部または全部を、例えば集積回路で実現する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予め携帯情報端末１００のＲＯＭ１０３やストレージ部１１０等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。

　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

　１０…視聴用装置、１００…携帯情報端末、１０４…ＲＡＭ、１１０…ストレージ部、１３１…表示部、１３３…第一画像入力部、１３４…第二画像入力部、１５０…センサ部、１６０…通信部、１８０…タッチスクリーン、１８０ｂ…思い出画像の制御設定画面、１８０ｃ…カメラ機能画面、１８０ｄ～ｆ…表示画面の例、２００…ネットワーク、３００…情報サーバ、３０４…ＲＡＭ、３１０…ストレージ部、３６０…ＬＡＮ通信部、１１０２…撮影機能部、１１０３…情報取得部、１１０４…思い出画像制御部、３１０１…情報管理部、３１０２…画像検索部、３０１１…画像データ記憶領域、３０１２…関連情報記憶領域。

Claims

　撮影した画像データをネットワークを介して情報サーバに保存するとともに、前記情報サーバに保存された画像データを前記ネットワークを介して取得して関連画像として表示する携帯情報端末であって、
　撮影した画像データを入力する画像入力部と、
　前記携帯情報端末の状況として、日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報を取得する情報取得部と、
　前記ネットワークを介して前記情報サーバとの間で画像データ及び各種情報の送受信を行う通信部と、
　前記画像入力部に入力された画像データによる入力画像及び／または前記通信部で受信した画像データによる関連画像を表示する表示部と、
　前記携帯情報端末の各部の動作を制御する制御部と、を備え、
　前記制御部は、
　撮影した画像データを前記情報サーバに保存するとき、前記情報取得部で取得した撮影時の前記携帯情報端末の状況を示す各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報とともに送信し、
　前記情報サーバに保存されている画像データを要求するとき、前記情報取得部で取得した現在の前記携帯情報端末の状況を示す各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、前記携帯情報端末のユーザにより設定された再生条件を記述した画像検索条件とを前記情報サーバに送信し、
　前記情報サーバにて前記現在の端末情報と前記画像検索条件とに基づいて検索された画像データを取得し、関連画像として前記表示部に表示するように制御する、
　ことを特徴とする携帯情報端末。
　請求項１に記載の携帯情報端末であって、
　前記制御部は、前記表示部に、前記情報サーバからの関連画像と前記画像入力部からの入力画像とを同時に表示する場合、前記情報サーバから画像データとともに当該画像データの撮影時の関連情報を受信し、受信した前記撮影時の関連情報と、前記情報取得部で取得した現在の前記携帯情報端末の状況を示す各種情報とを比較し、いずれかの情報の一致度に応じて、前記入力画像に対する前記関連画像を大きさを変えて前記表示部に表示するように制御することを特徴とする携帯情報端末。
　請求項２に記載の携帯情報端末であって、
　前記表示部には、前記関連画像と前記入力画像とを並べて表示する場合と、前記関連画像を前記入力画像に重畳して表示する場合とが可能であり、
　さらに重畳する場合には、前記関連画像の大きさに代えて、前記関連画像の透過度を変えて表示することが可能であることを特徴とする携帯情報端末。
　携帯情報端末で撮影した画像データをネットワークを介して情報サーバに保存するとともに、前記情報サーバに保存された画像データを前記ネットワークを介して前記携帯情報端末が取得して関連画像として表示する情報提示システムであって、
　前記携帯情報端末は、
　撮影した画像データを入力する画像入力部と、
　前記携帯情報端末の状況として、日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報を取得する情報取得部と、
　前記ネットワークを介して前記情報サーバとの間で画像データ及び各種情報の送受信を行う通信部と、
　前記画像入力部に入力された画像データによる入力画像及び／または前記通信部で受信した画像データによる関連画像を表示する表示部と、を備え、
　前記情報サーバは、
　前記携帯情報端末から送信された画像データと各種情報を保存するストレージ部と、
　前記携帯情報端末からの要求に応じて、前記ストレージ部から該当する画像データを検索する画像検索部と、
　前記ネットワークを介して前記携帯情報端末との間で画像データ及び各種情報の送受信を行う通信部と、を備え、
　前記携帯情報端末は、
　撮影した画像データを前記情報サーバに保存するとき、前記情報取得部で取得した撮影時の前記携帯情報端末の状況を示す各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報とともに送信し、
　前記情報サーバに保存されている画像データを要求するとき、前記情報取得部で取得した現在の前記携帯情報端末の状況を示す各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、前記携帯情報端末のユーザにより設定された画像データの再生条件を記述した画像検索条件とを前記情報サーバに送信し、
　前記情報サーバは、
　前記携帯情報端末から受信した前記現在の端末情報と前記画像検索条件とに基づいて前記ストレージ部から該当する画像データを検索し、検索した画像データを前記携帯情報端末に送信する、
　ことを特徴とする情報提示システム。
　請求項４に記載の情報提示システムであって、
　前記画像検索条件に記述された再生条件が、対象物の方向を向いたときに再生するように設定されている場合、前記情報サーバは、現在の前記携帯情報端末の位置情報と方角情報から、前記携帯情報端末が指向する方向に存在する対象物が含まれる画像データを検索することを特徴とする情報提示システム。
　請求項４に記載の情報提示システムであって、
　前記携帯情報端末が送信する前記撮影時の関連情報には、撮影した画像データの公開レベル設定の情報が含まれ、
　前記情報サーバは、前記検索した画像データが、画像データを要求する前記携帯情報端末のユーザにより保存されたものでなく、かつ、前記検索した画像データの公開レベル設定により、前記ユーザが画像の共有を許可されていない場合、前記検索した画像データを前記携帯情報端末へは送信しないことを特徴とする情報提示システム。
　携帯情報端末で撮影した画像データをネットワークを介して情報サーバに保存するとともに、前記情報サーバに保存された画像データを前記ネットワークを介して前記携帯情報端末が取得して関連画像として表示する情報提示方法であって、
　前記携帯情報端末が、撮影した画像データを前記情報サーバに保存するとき、前記撮影した画像データとともに、撮影時の前記携帯情報端末の状況を示す日時情報、位置情報、方角情報、被写体までの距離情報を含む各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む撮影時の関連情報を前記情報サーバに送信するステップと、
　前記情報サーバが、前記携帯情報端末から送信された画像データと撮影時の関連情報をストレージ部に保存するステップと、
　前記携帯情報端末が、前記情報サーバに保存されている画像データを要求するとき、現在の前記携帯情報端末の状況を示す各種情報、及び前記携帯情報端末のユーザを識別可能なユーザ識別情報を含む現在の端末情報と、前記携帯情報端末のユーザにより設定された画像データの再生条件を記述した画像検索条件とを前記情報サーバに送信するステップと、
　前記情報サーバが、前記携帯情報端末から受信した前記現在の端末情報と前記画像検索条件とに基づいて、前記ストレージ部から該当する画像データを検索し、検索した画像データを前記携帯情報端末に送信するステップと、
　前記携帯情報端末が、前記情報サーバから送信された画像データを関連画像として表示部に表示するステップと、
　を備えることを特徴とする情報提示方法。
　請求項７に記載の情報提示方法であって、
　前記情報サーバが、検索した画像データを前記携帯情報端末に送信するステップでは、検索した画像データとともに当該画像データの撮影時の関連情報を送信し、
　前記携帯情報端末が、前記情報サーバからの関連画像を前記表示部に表示するステップにおいて、前記関連画像と、前記携帯情報端末の画像入力部に入力している入力画像を同時に表示する場合、受信した前記撮影時の関連情報と、現在の前記携帯情報端末の状況を示す各種情報とを比較し、いずれかの情報の一致度に応じて、前記入力画像に対する前記関連画像を大きさを変えて前記表示部に表示する、
　ことを特徴とする情報提示方法。