WO2005008463A1

WO2005008463A1 - データの概要を提示する情報を複数出力する情報出力装置

Info

Publication number: WO2005008463A1
Application number: PCT/JP2004/010041
Authority: WO
Inventors: Tatsuo Sudoh; Kanae Naoi
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2003-07-17
Filing date: 2004-07-14
Publication date: 2005-01-27
Also published as: JP4145746B2; EP1650638A4; JP2005038101A; EP1650638A1; US20060224937A1; EP1650638B1

Abstract

　情報出力装置である携帯電話では、メールアプリケーションを実行して受信箱を開く操作が行なわれると（Ｓ２０１）、メール保存領域にあるメールファイルを読込み（Ｓ２０３）、未処理のメールがある場合には現在カーソルが当たって選択されているメールの前後の所定範囲のメールについて、ユーザからのメール開封操作に先行して添付ファイルのサムネイルを作成する先読み処理を実行し（Ｓ２１１）、先行して作成したサムネイルをサムネイル保存領域に保存する。そして、ユーザからメール開封操作があった場合には（Ｓ２１３）、そのメールの添付ファイルについて予め作成しておいたサムネイルを表示する（Ｓ２１５）。

Description

明細書

データの概要を提示する情報を複数出力する情報出力装置

技術分野

[0001] この発明は情報出力装置、情報出力方法、および情報出力プログラムプロダクト関し、特に、ユーザの利便性が高ぐ複数の、データの概要を提示する情報を出力する情報出力装置、情報出力方法、および情報出力プログラムプロダ外に関する。背景技術

[0002] 近年、携帯電話や PDA (Personal Digital Assistants)などの通信機能を備えた装置が爆発的に普及し、その機能や性能は着々と進歩している。携帯電話を利用した電子メールの送受信機能に着目すると、送信可能なデータサイズが大きくなり、対応するデータの種類が増加している。これにより、静止画、動画、音声、およびアニメ一シヨンと、つたマルチメディアデータを 1つまたは複数、メールに添付し送受信することができるようになった。

[0003] そこで、そのような装置においても、パソコン (パーソナルコンピュータ）での処理と同様に、メールに添付されたマルチメディアデータや、スライドショーされるデータの各スライドや、複数のシーン力構成され時間的に遷移するムービーデータの各シーンなどの表示サイズを縮小した概要提示用の画像を複数並べて表示することによつて、各データの内容をユーザが簡単に素早く認識できるようになり、利便性が増すと考えられる。

[0004] データの縮小画像を表示する技術を採用した装置としては、たとえば、特許文献 1 に記載されてヽるような、メールに添付されたファイルのサムネイル画像を作成する電子メール受信装置が知られて、る。特許文献 1に記載されて、る電子メール受信装置は、メールに添付された画像ファイルを、その概略が認識可能な画像であるサムネイル画像に変換し、また、画像以外の形式のファイルについても、ー且画像データに変換した後にサムネイル画像に変換し、受信メール本文と共に表示するという装置である。

特許文献 1：特開 2001— 75892号公報発明の開示

発明が解決しょうとする課題

[0005] し力しながら、特許文献 1に開示されている方法を近年の携帯端末などの装置に適用すると以下のような問題点が生じる。

[0006] すなわち、近年の携帯端末などの装置は、演算能力が向上し、搭載する記憶領域の容量が増えたものの、パソコンなどに比べると使えるリソースは少なぐサムネイル画像作成のための演算速度が確保し難、と、う問題がある。

[0007] また、液晶ディスプレイなどの表示デバイスの性能が向上し、画面内により多くのテキスト、大きな画像、および映像を表示可能になってきているために、扱う画像や映像がより大きなものになってきており、その縮小画像であるサムネイル画像を作成するのに時間が力かるという問題がある。

[0008] また、送受信可能なデータサイズが大きくなつたことで、数個から数十個のファイルを 1通のメールに添付可能になってきており、複数あるデータすベてのサムネイル画像を瞬時に作成することは困難で、ユーザが添付ファイルのサムネイル画像一覧を表示させる操作を行なってカゝらすべてのサムネイル画像が作成されて表示が完了するまでに数秒程度要してしまい、ユーザがストレスを感じてしまう場合があるという問題がある。

[0009] そこで、メールの送信側で、添付ファイルと共にそのサムネイル画像を一緒に送信し、受信側は新たにサムネイル画像を作成することなくこのサムネイル画像を取出すだけで即時に表示するという解決策も考えられるが、携帯端末のメール送受信システムにおいては、送受信可能なデータサイズの上限があり、サムネイル画像データを付カロしたことによってその上限を超えてしまって送信できなくなるという問題が発生する場合がある。さらに、送受信するデータサイズに応じた課金がなされていれば、サムネイルを付加する分ユーザの負担が増えてしまうという問題も発生する。

[0010] また、サムネイル画像を作成する処理には少なからず電力を消費し、電池で駆動する装置においてはサムネイル画像を作成するために電池が早く消耗してしまう場合があるという問題もある。

[0011] 本発明は上述の問題点に鑑みてなされたもので、装置上で、電子メールなどの外部から受信した文書やユーザが作成した文書力^つ以上のメディアデータを含み、各メディアデータのサムネイル画像を表示する場合にぉヽて、サムネイルリスト表示画面に切替えたときのもたつきや、このもたつきによりユーザが感じるストレスを軽減することのできる情報出力装置、情報出力方法、および情報出力プログラムプロダクトを提供することを目的とする。

課題を解決するための手段

[0012] 上記目的を達成するために、本発明のある局面に従うと、情報出力装置は、

情報を選択する第 1の情報選択手段と、第 1の情報選択手段で選択された情報に含まれるマルチメディアデータの概要提示情報を作成する概要提示情報作成手段と、概要提示情報作成手段での概要提示情報作成処理の実行を制御する概要提示情報作成制御手段と、作成された概要提示情報を提示する提示手段とを備え、提示手段は、概要提示情報作成処理の完了前において、概要提示情報に替わる代替情報を提示する。

[0013] 本発明の他の局面に従うと、情報出力方法は、情報を選択する第 1の情報選択ステツプと、第 1の情報選択ステップで選択された情報に含まれるマルチメディアデータの概要提示情報を作成する概要提示情報作成ステップと、概要提示情報作成ステツプでの概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、作成された概要提示情報を提示する提示ステップとを備え、提示ステップは、概要提示情報作成処理の完了前にお、て、概要提示情報に替わる代替情報を提示する

[0014] 本発明のさらに他の局面に従うと、情報出力プログラムプロダクトは、マルチメディアデータを含む情報の出力処理をコンピュータに実行させる情報出力プログラムプロダタトであって、情報を選択する第 1の情報選択ステップと、第 1の情報選択ステップで選択された情報に含まれるマルチメディアデータの概要提示情報を作成する概要提示情報作成ステップと、概要提示情報作成ステップでの概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップと、作成された概要提示情報を提示する提示ステップとを実行させ、提示ステップは、概要提示情報作成処理の完了前にお、て、概要提示情報に替わる代替情報を提示する。図面の簡単な説明

[図 1]第 1の実施の形態に力かる携帯電話 100のハードウェア構成の具体例を示すブロック図である。

[図 2]第 1の実施の形態に力かる携帯電話 100の機能構成の具体例を示すブロック図である。

[図 3]メールデータのデータ構造の具体例を示す図である。

[図 4]メディアファイルのデータ構造の具体例を示す図である。

[図 5]サムネイルデータのデータ構造の具体例を示す図である。

[図 6]第 1の実施の形態に力かる携帯電話 100でメールを開封する処理を示すフローチャートである。

[図 7]第 1の実施の形態に力かる携帯電話 100でメールを開封する処理を示すフローチャートである。

[図 8]画面遷移の具体例を示す図である。

[図 9]画面遷移の具体例を示す図である。

[図 10]画面遷移の具体例を示す図である。

[図 11]中途データの表示画面の第 1の具体例を示す図である。

[図 12]中途データの表示画面の第 2の具体例を示す図である。

[図 13]中途データの表示画面の第 3の具体例を示す図である。

[図 14]中途データの表示画面の第 4の具体例を示す図である。

[図 15]中途データの表示画面の第 5の具体例を示す図である。

[図 16]中途データの表示画面の第 6の具体例を示す図である。

[図 17]代替データの表示画面の具体例を示す図である。

[図 18]第 1の実施の形態に力かる携帯電話 100でのサムネイルデータの削除または移動処理を示すフローチャートである。

[図 19]第 2の実施の形態に力かる携帯電話 100の機能構成の具体例を示すブロック図である。

[図 20]第 2の実施の形態に力かる携帯電話 100でメールを開封する処理を示すフロ一チャートである。 [図 21]先読み処理を示すフローチャートである。

[図 22]先読み処理を示すフローチャートである。

[図 23]メールデータのデータ構造の具体例を示す図である。

[図 24]メディアファイルのデータ構造の具体例を示す図である。

[図 25]サムネイルデータのデータ構造の具体例を示す図である。

[図 26]メール表示処理を示すフローチャートである。

[図 27]メール表示処理を示すフローチャートである。

[図 28]画面遷移の具体例を示す図である。

[図 29]画面遷移の具体例を示す図である。

[図 30]画面遷移の具体例を示す図である。

[図 31]画面遷移の具体例を示す図である。

[図 32]本発明にかかる情報出力装置の具体例であるテレビに表示される番組表の具体例を示す図である。

符号の説明

[0016] 11 通信部、 12 制御部、 13 記憶部、 14 入出力部、 20 メール、 21 範囲、 1 00 携帯電話、 101 操作受付部、 102 文書選択部、 103 文書保存部、 104 文書解析部、 105 表示管理部、 106 サムネイル処理制御部、 107 サムネイル作成部、 108 サムネイル一時保存部、 109 先行処理管理部、 110 電源管理部、 111 メモリ管理部、 141 操作部、 142 表示部、 143 音声入力部、 144 音声出力部、 145 画像取得部。

発明を実施するための最良の形態

[0017] 以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらにっ、ての詳細な説明は繰返さな、。

[0018] 本実施の形態においては、本発明にかかる情報出力装置を携帯電話 100で実現するものとし、取扱うデータを文書データであるものとして説明するが、情報出力装置の具体例は携帯電話に限定されずパーソナルコンピュータや PDA (Personal Digital Assistants)、テレビジョン受像機などのその他の装置であってもよぐまた取扱うデータも文書データに限定されず、音楽データ、ビデオデータ、テレビ番組データなどその他のデータであってもよい。なお、以降の記載において、概要を提示するための画像であるサムネイル画像を、単にサムネイルと略して記載する。

[0019] [第 1の実施の形態]

図 1を参照して、本実施の形態にカゝかる携帯電話 100は、 CPU (Central Processing Unit)等カゝら構成されて、この携帯電話 100全体を制御する制御部 12と、他の装置と通信するための通信部 11と、 ROM (Read Only Memory)や RAM ( Random Access Memory)などから構成されて、制御部 12において実行されるプログラムや、そのプログラムの中間データおよび他のコンピュータから受信したデータ等を記憶する記憶部 13と、ユーザインタフェースである入出力部 14とを含んで構成される。

[0020] さらに上述の入出力部 14は、「1」、「2」などの数字ボタンおよび「R」、「L」などの方向ボタンなどを含む操作部 141と、ユーザに情報を表示する LCD (Liquid Crystal Display)などの表示部 142と、音声を入力するマイクロフォンなどの音声入力部 143 と、音声を出力するスピーカなどの音声出力部 144と、被写体を撮影して撮影画像を取得するカメラなどの画像取得部 145と含んで構成される。

[0021] なお、図 1に示されるハードウェア構成は、一般的な携帯電話のハードウェア構成であって、本発明に力かる情報出力装置のハードウェア構成は、図 1に示されるハードウエア構成に限定されるものではない。

[0022] 次に、図 2に、第 1の実施の形態にかかる携帯電話 100において表示する文書を選択して表示する機能、および該文書の概要を提示する情報であるサムネイルに関するサムネイルデータを作成する機能にかかる機能構成の具体例を示す。図 2を参照して、本実施の形態に力かる携帯電話 100は、操作受付部 101、文書選択部 102 、文書保存部 103、文書解析部 104、表示管理部 105、サムネイル処理制御部 106 、サムネイル作成部 107、およびサムネイル一時保存部 108を含んで構成される。これらの機能は、制御部 12が、記憶部 13に記憶されるプログラムを読出し、そのプログラムを実行して図 1に示されるハードウェア構成の各部を制御することによって発揮される。 [0023] 操作受付部 101は操作部 141や表示部 142など力も構成され、ユーザからの操作入力を受付ける。表示部 142は表示可能な文書を識別する属性 (ファイル名、差出人、タイトルなど）が一覧表示されている画面を出力し、ユーザは、操作部 141を用いて、任意の 1つの文書にカーソルを合わせるカーソル移動操作と、その操作によってカーソルが当たって選択されている文書を開く（内容の表示を指示する)操作と、文書表示装置 100全体の動作設定を変更する操作とを行なう。そして操作受付部 101 は、ユーザ力も受付けた操作に関する情報を文書選択部 102に出力する。

[0024] 文書選択部 102は、操作受付部 101から入力された情報に基づいて、表示処理およびサムネイル作成処理の対象となる文書を特定し、文書保存部 103より対象となる文書データを読込む。文書保存部 103は記憶部 13の所定領域から構成されて、文書データを記憶する。そして文書選択部 102は、文書保存部 103から読込んだ文書データを文書解析部 104に出力する。

[0025] 文書解析部 104は文書選択部 102から入力された文書データを解析し、解析結果を表示管理部 105に出力する。また、文書データにメディアデータが添付されていることが解析され、このメディアデータのサムネイルも表示する場合には、文書解析部 1 04は、解析結果に基づ!/、てサムネイルデータを取得させるための要求をサムネイル処理制御部 106に出力する。

[0026] サムネイル処理制御部 106は、文書解析部 104から受取った要求に基づいて、文書保存部 103に格納されている文書データを参照してサムネイル一時保存部 108に対して該当するサムネイルデータがあるか否かの検索を実行する。サムネイル一時保存部 108から該当するサムネイルデータが抽出された場合には、そのサムネイルデータの存在場所を示す情報を文書解析部 104に出力する。一方、該当するサムネィルデータがサムネイル一時保存部 108に存在しなければ、サムネイル作成部 107 にサムネイルを作成させるための要求を出力する。

[0027] サムネイル作成部 107は、サムネイル処理制御部 106から受取った要求に基づいてサムネイルデータを作成し、完成したサムネイルデータを一時保存部 108に出力して保存する。サムネイル一時保存部 108は記憶部 13の所定領域カゝら構成されて、サムネイル作成の作業領域となって作成の途中段階のデータである中途データを保持すると共に、完成したサムネイルデータを一時的に保持する。また、完成したサムネィルデータは、サムネイル一時保存部 108から文書保存部 103に渡され、文書保存部 103において文書データと共に保存されてもよい。そして、次回、該文書がユーザ操作によって開かれたときには、サムネイル一時保存部 108に保存されているサムネィルデータが用いられる。

[0028] サムネイル作成部 107はサムネイルデータの存在場所を示す情報をサムネイル処理制御部 106に出力し、サムネイル処理制御部 106はその情報を文書解析部 104 に出力する。また、サムネイルデータ作成中には、サムネイル作成部 107はその中途データの存在場所を示す情報をサムネイル処理制御部 106に出力し、サムネイル処理制御部 106はその情報を文書解析部 104に出力する。

[0029] 文書解析部 104は、文書データの解析結果と共に、サムネイル処理制御部 106から入力されたサムネイルデータ、または中途データの存在場所を示す情報を表示管理部 105に出力する。

[0030] 表示管理部 105は表示部 142における表示を管理し、文書解析部 104から入力された解析結果を表示部 142に出力する。また、文書解析部 104からサムネイルデータの存在場所を示す情報が入力された場合には、その情報にしたがってサムネイルデータ、または中途データを読込み、解析結果と共にサムネイルを表示部 142に出力する。

[0031] 次に、本実施の形態に力かる携帯電話 100が取扱う文書データカールデータであり、メールに添付されたメディアファイルのサムネイルを取扱う場合にっヽて説明する。

[0032] メールに添付されるメディアファイルとしては、テキスト、静止画、アニメーション、動画、音声、音楽、および SVG (Scalable Vector Graphics)などのベクタ 'グラフィックスデータ、ならびにこれらのデータを XML (Extensible Markup Language)に準拠した形式もしくは他の任意の形式で 1つに統合したデータなどが想定される。

[0033] さらに、これらのメディアファイルのサムネイルの主な形態としては、メディアファイルが静止画であればピクセルサイズを縮小した画像データ、メディアファイルがアニメ一シヨンや動画であれば、再生時間内の任意の再生時刻において表示されるデータを静止画として抽出し、このピクセルサイズを縮小した画像データ、メディアファイルがテキスト、音声、および音楽であれば、ファイルフォーマットを示す拡張子などの情報、またはそれをアイコン画像として表現した画像データ、メディアファイルがベクタ'グラフィックスデータであれば、データ内の各ベクトルの大きさを縮めたベクタ'グラフィックスデータ、などが想定される。

[0034] また、アニメーションや動画のように、自身が時間軸に沿って配置される複数の表示データ力構成されるメディアについては、再生時間内の任意の複数の再生時刻における表示データを静止画として抽出し、これを縮小することで複数のサムネイルとしてちよい。

[0035] また、テキスト、静止画、アニメーション、動画、音声、音楽、およびべクタ ·グラフイツタスデータなどのうち 1つ以上を 2次元座標にレイアウトし (これをスライドと呼ぶことにする）、この、レイアウト情報を含むスライド 1つ以上力も構成される文書、たとえば複数のスライドを時間的にあるいはユーザ操作により切替えて表示していくプレゼンテーシヨン文書などにっ、ては、各スライドのピクセルサイズを縮小したものをサムネィノレとしてもよ、。

[0036] また、上述のプレゼンテーション文書が含むテキスト、静止画、アニメーション、動画、音声、音楽、およびべクタ'グラフィックスデータなどの個々のメディアデータに対しても、プレゼンテーション文書のサムネイルとは別に、前述のようにサムネイルデータを作成し表示してもよい。

[0037] 以下の例では、メールに添付されたファイルは静止画データであり、この静止画データのピクセルサイズを縮小したものをサムネイルとして取扱う場合について説明しているが、もちろん、サムネイルの形態としては上記に挙げた各種形態であっても構わない。

[0038] 始めに、本実施の形態に力かる携帯電話 100が取扱う文書データであるメールデータのデータ構造について図 3を用いて説明する。図 3を参照して、メールデータは、該メールが送信された日時または該メールデータが保存された日時を示す整数型の情報 (フィールド名「time」）と、該メールの送信者のアドレスを示す文字列型の情報 (フィールド名「from」）と、該メールの宛先を示す文字列型の情報 (フィールド名「t o」）と、該メールの同報宛先を示す文字列型の情報 (フィールド名「cc」）と、該メールの件名を示す文字列型の情報 (フィールド名「subject」）と、該メールの本文を示す文字列型の情報 (フィールド名「msg— text」）と、該メールの総容量を示す整数型の情報 (フィールド名「_msg— si_ze」）と、該メールに添付されたメディアファイルが格納される文書保存部 103へのアクセス先を示すポインタ型の情報（フィールド名 r_attach _dataj )とを含んで構成される。

[0039] 図 3に具体例が示されるメールデータのデータ構造は文書保存部 103に保存されるメールデータのデータ構造であって、上述の各情報のうちフィールド名「time」ーフィールド名「msg— size」の情報は、文書解析部 104が通信部 11が受信したメールデータを解析してメールデータ力も取得する情報である。また、フィールド名 rattach _datajの情報は、通信部 11が受信したメールに添付されたメディアファイルが文書保存部 103に格納され、文書解析部 104がその格納先の情報を書込むことでメールデータに含まれる情報である。文書保存部 103でのメールデータの解析は、後に説明するメールの表示処理を行なう際にその都度行なわれてもよいし、通信部 11で受信したときに行なわれて、データ構造に展開されて文書保存部 103に保存してもよい

[0040] さらに、メールに添付されるメディアファイルのデータ構造について図 4を用いて説明する。図 4を参照して、メディアファイルは、該メディアファイルの名前を示す文字列型の情報 (フィールド名「name」）と、該メディアファイルの種類を示す文字列型の情報 (フィールド名「type」 )と、該メディアファイルが作成された日時を示す整数型の情報 (フィールド名「time」）と、該メディアファイルの本体情報が格納される記憶部 13上の本体情報の先頭へのアクセス先を示す整数型の情報（フィールド名「_address」）と、該メディアファイルのサムネイルデータが格納されるサムネイル一時保存部 108または文書保存部 103へのアクセス先を示すポインタ型の情報（フィールド名「thumb _dataj )とを含んで構成される。

[0041] 図 4にデータ構造の具体例が示されるメディアファイルのデータ構造は文書保存部 103に保存されるメディアファイルのデータであって、上述の各情報のうちフィールド名「name」一フィールド名「size」は、文書解析部 104が通信部 11が受信したメールデータに添付されるメディアファイルを解析してメディアファイルから取得する情報である。また、フィールド名「address」の情報は、通信部 11が受信したメールに添付されたメディアファイルの本体情報が文書保存部 103に格納され、文書解析部 104がその格納先の情報を書込むことでメディアデータに含まれる情報である。また、フィールド名「thumb— data」の情報は、サムネイル作成部 107から作成したサムネイルデータまたは中途データの存在場所を示す情報を受取った文書解析部 104がその情報を更新することでメディアデータに含まれる情報である。

[0042] さらに、メディアファイルの概要を提示するサムネイルを表わすデータであるサムネィルデータのデータ構造について、図 5を用いて説明する。図 5を参照して、サムネィルデータは、該メディアファイルにつ、ての表示管理部 105で取得可能なサムネイルの有,無および完成,未完成を示す整数型の情報 (フィールド名「complete」）であつて具体的にサムネイルなしを示す「一 1」とサムネイル完成を示す「0」と中途データありを示す「1」とのいずれかである情報と、該サムネイルの作成処理状態を示す整数型の情報（フィールド名 Γ status] )であって具体的にサムネイル作成処理完了または中止を示す「0」と、サムネイル作成処理進行中を示す「1」とのいずれかである情報と、該サムネイルのサイズを示す整数型の情報（フィールド名「size」）と、画像データである該サムネイルの本体情報が格納されるサムネイル一時保存部 108または文書保存部 103上の本体情報の先頭へのアクセス先を示す整数型の情報 (フィールド名「a ddress」）と、該サムネイルを作成するサムネイル作成処理が完了した日時を示す整数型の情報 (フィールド名「time」）と、該サムネイルデータに最終にアクセスした日時を示す整数型の情報（フィールド名「lastaccess」）と、該サムネイルデータにアクセスした回数を示す整数型の情報（フィールド名「count」）と、該サムネイルデータの重要度を示す整数型の情報 (フィールド名「priority」 )とを含んで構成される。

[0043] 図 5に具体例が示されるサムネイルデータのデータ構造は、サムネイル一時保存部 108に保存されるサムネイルデータのデータ構造であって、上述の各情報は、サムネィル作成部 107でサムネイルデータ作成時または作成完了時またはアクセス時にサムネイル処理制御部 106がサムネイル作成部 107から取得して書込むことでサムネィルデータに含まれる情報である。 [0044] 次に、第 1の実施の形態に力かる携帯電話 100のメールアプリケーションにおいて、ユーザ力 Sメールを開く操作を行なったときに実行される処理について、図 6—図 8を用いて説明する。図 6および図 7のフローチャートに示される処理は、携帯電話 100 の制御部 12が記憶部 13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図 2に示される各機能を発揮させることで実現される。

[0045] 始めに、メールアプリケーションの実行を開始すると、表示管理部 105において文書保存部 103に保存されているメールファイルの一覧が取得され、表示部 142に受信箱のメール一覧が表示される。メールアプリケーションにおける、受信箱のメール一覧表示画面の具体例は図 8 (a)に示される。図 8 (a)を参照して、受信箱のメール一覧表示画面においては、受信箱（文書保存部 103)に入っているメールの送信元メールアドレスおよびメールの件名カ^スト表示されており、カーソルが当たって選択されて!/、るメール（図 8 (a)では、件名が Sucjectlのメール）がハイライト表示される。操作部 141を構成する上下キーが押されて操作されることによりカーソルが移動し、それに伴ってハイライト表示が移動する。

[0046] 図 8 (a)に示される受信箱のメール一覧表示画面においてカーソルが当たって選択されてヽるメールを開く操作 (たとえば操作部 141を構成する決定キーを押す操作）が行なわれ、文書選択部 102が操作受付部 101から操作情報を受取ると (S101で Y ES)、文書解析部 104において該メールデータが解析される（S 103)。ステップ S 10 3で文書解析部 104は、メールデータを図 3に示されるようなデータ構造に展開し、該メールデータのフィールド名「msg— text」の情報とフィールド名「attach— data」の情報とを参照して、テキストと該メールデータに添付されたメディアファイル (以下において、添付ファイルと略す）とを抽出する。なお、上述のように、メールデータの解析は、開封の要求を受取る以前、たとえばメールを受信した時点で行なわれていてもよい。

[0047] 文書解析部 104は、ステップ S 103での解析結果に基づいて、該メールデータのフィールド名「msg— text」の情報カゝらテキストを取得し、取得されたテキストは表示管理部 105によって表示部 142に表示される（S 105)。

[0048] さらに、ステップ S 103での解析の結果、フィールド名 fattach datajの情報が空（ NULL)、つまり該メールデータから添付ファイルが抽出されない場合には（S 107で YES)、ステップ S 105のテキスト表示のみ行なって該メールを開封する処理が終了する。

[0049] 一方、ステップ S 103での解析の結果、フィールド名 r_attach_datajの情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には（S107で NO)、メールデータのフィールド名 r_attach_datajの情報からメディアファイルが読出され、添付ファイルが解析される。その結果、メディアファイルのフィールド名「thumb_d ata」の情報が空（NULL)、つまりサムネイルデータが存在しない場合には（S 109で YES)、サムネイル処理制御部 106において該添付ファイルのサムネイルデータが作成される（Sl l l)。また、ステップ S 109での解析の結果、メディアファイルのフィールド名「thumb— data」の情報がある場合、つまりサムネイルデータが存在する場合には（S109で NO)、ステップ S111の処理をスキップして、処理を次へ進める。

[0050] 次に、文書解析部 104は、メディアファイルのフィールド名「thumb— data」の情報力サムネイルデータを読出し、フィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば（S 113で YES)、フィールド名「address」の情報にしたがって該サムネイルを取得して（S 115)、表示管理部 105にお、てテキストと共に表示部 142に表示する（S 117)。ステップ S 117で表示されるテキストとサムネイルとの表示画面の具体例は図 8 (b)に示される。ここでは、図 8 (b)に示されるように、先に抽出されたテキストと共に、ステップ S 115で取得されたサムネイルが表示される。

[0051] なお、本実施の形態において作成済みのサムネイルが既に存在している場合としては、すでに以下に説明するサムネイルの作成処理が実行されて作成されたサムネィルデータがサムネイル一時保存部 108に保存されて、る場合や、該添付ファイル力 Sもともと携帯電話 100の他の機能やアプリケーションで取扱われたものであって、該機能やアプリケーションによってサムネイルが作成済みである場合 (たとえばカメラで撮影した画像ファイルを携帯電話 100内の保存領域に保存する際にサムネイルデータも作成され保存されて、る場合など)や、サムネイル自身カールに添付されて送信されてきた場合などが考えられる。 [0052] そして、サムネイル処理制御部 106は、サムネイルデータのフィールド名「count」の情報であるアクセス回数を 1インクリメントし（SI 19)、フィールド名「lastaccess」の情報を現在時刻に更新する (S 121)。

[0053] 一方、ステップ S 113での解析の結果、フィールド名「complete」の情報が「0」でない、つまり作成済みのサムネイルが存在しない場合（S 113で NO)、図 7を参照して、文書解析部 104はさらにフィールド名「status」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネイル作成処理が開始していなければ（S 1 25で NO)、サムネイル処理制御部 106においてサムネイル作成部 107に対してサムネイルの作成を要求し、サムネイル作成処理を開始する（S 127)。そして、サムネィル処理制御部 106は、フィールド名「status」の情報を「1」に更新する（S129)。なお、その場合、図 8 (b)に示されるテキストの表示画面において、添付ファイルが存在する旨や、または添付されているファイルの名前や数などを、テキストと共に表示することが好ましい。

[0054] サムネイル作成処理が完了しない間（S131で NO)、文書解析部 104はサムネイルデータのフィールド名「complete」の情報を解析する。その結果、フィールド名「com pletejの情報が「一 1」、つまり表示可能な中途データが存在して、な、場合（S 135 で NO)、表示可能なデータが存在するまで待機する。そして、サムネイル作成処理が完了すれば（S131で YES)、サムネイル処理制御部 106は、フィールド名 Γ status 」の情報を「0」に、フィールド名「complete」の情報を「0」に更新する（S133)。さらに、表示管理部 105においてテキストと共に表示部 142に表示される（S117)。ステツプ S117で表示されるテキストとサムネイルとの表示画面の具体例は図 8 (b)および図 8 (c)に示される。図 8 (b)では、先に抽出されたテキストと共に、ステップ S 115で取得されたサムネイルが表示される。または、ステップ S 125— S 137で複数の添付ファィルのサムネイルデータが順次作成されている場合には、図 8 (c)に示されるように作成された順に表示される。図 8 (b)および図 8 (c)では、メールデータ「subjectl」の添付ファイル「Nature. jpg」および「Duck. png」のサムネイルデータが添付順に作成され、添付順にサムネイルが表示されることを示して、る。

[0055] なお、図 8 (b)および図 8 (c)は、メール内のテキストと添付ファイルのサムネイルとがを同じ画面内に表示される具体例である力添付ファイルのサムネイルはテキストとは別の画面に表示されてもよい。たとえば、図 8 (a)でノヽイライト表示されているメールが開かれると、解析処理の結果、図 8 (d)に示されるようにまずテキストのみが表示され、この画面から、たとえば図 8 (e)に示されるように「Options」が選択され、さらに「 Attached files」を選択するようなユーザのキー操作を受付けて、図 8 (f)に示されるようにテキストとは別画面において添付ファイルのサムネイルがリスト表示されてもよい。この場合、テキストが表示される画面（図 8 (d) )において、添付ファイルが存在することを示すアイコン画像や、添付ファイルの数などを表示することにすれば、ユーザの利便性が高まりより好まし、。

[0056] さらに、図 8 (b) ,図 8 (c) ,図 8 (f)に示されるように、添付ファイルのサムネイル表示画面において、サムネイルだけでなぐ個々の添付ファイルの名前やサイズ、作成された日時、ファイル種別などの属性を、テキストやアイコンで同時に表示してもよい。これにより、サムネイルを表示中の段階であっても、ファイルの名前カゝらある程度ファィルの内容が推測できたり、ファイルのサイズ表記を見てサムネイルが表示されるまでの時間をある程度推測できたりし、ユーザの利便性が高まりより好ま、。

[0057] このように、添付ファイルの概要を提示する情報であるサムネイルが一覧表示されることによって、ユーザは添付ファイルの内容の概要が把握できるようになり、ユーザにとって有用なデータと不要なデータとの見分け力実際に添付ファイルを開かなくてもある程度可能となり、特に添付ファイルが複数存在する場合に内容の把握をスムーズに行なえるので便利である。

[0058] なお、 1つのメールに複数のメディアファイルが添付されている場合、図 8に示されるように、サムネイル作成処理を添付されている順番で開始してもよいし、添付されて V、る順番とは関係のな、順序で開始してもよ、。サムネイル作成処理の開始順の他の具体例としては、ファイルサイズに基づいた順が挙げられる。その場合の表示部 14 2に表示される画面遷移の具体例を図 9に示す。

[0059] 図 9を参照して、サムネイルデータを作成すべき添付ファイル「Roulette. jpg」、「D uck. jpg」、「Earth. gif」、および「Weathercook. jpg」力この川頁にメーノレに添付されているものとする。このとき、ステップ S 127で、文書解析部 104からサムネイルデータの取得するよう要求を受取ったサムネイル処理制御部 106は、上述の 4個の添付ファイルのサイズを比較して、まず最もサイズの小さい「Earth. gif」についてサムネイル作成部 107に対してサムネイルデータを作成するよう要求する。そして、作成された「Earth. gif」のサムネイルがまず表示される。図 9 (b)は、最もサイズの小さい添付ファイルのサムネイルのみが表示された画面表示の具体例を示す図である。

[0060] 次に、 2番目にサイズの小さい「Roulette. jpgjについてサムネイル作成部 107に対してサムネイルデータを作成するよう要求する。そして、作成された「Roulette. jp g」のサムネイルが次に表示される。図 9 (c)は、 2番目にサイズの小さい添付ファイルのサムネイルも表示された画面表示の具体例を示す図である。このようにサイズの小さヽ添付ファイル力も順にサムネイルデータが作成されてサムネイルが表示され、図 9 (d)に示されるように、最終的にすべての添付ファイルのサムネイルが表示される。

[0061] 通常、ファイルサイズの小さな添付ファイルほど、サムネイル作成に要する時間は短くなると考えられるため、上記の方法が採用されることで、より早い段階で完成したサムネイルが表示され、ユーザのストレスを軽減することができる。

[0062] さらに、 1つのメールに複数のメディアファイルが添付されている場合、画面上にサムネイルを並べて表示する際の順序関係は、図 8や図 9に示されるように添付の順序と同じ〖こしてもよいし、異なっていてもよい。たとえば、サムネイル作成処理が完了したもの力順にサムネイルを並べて表示することにしてもよい。

[0063] これにより、画面内に完成済みのサムネイルをより多ぐサムネイルが未完成であるファイルをより少なく表示することが可能になる。

[0064] さらに、 1つのメールに複数のメディアファイルが添付されている場合、各ファイルのサムネイル作成処理の進行に伴ってサムネイルのリスト表示の形態を変化させてもよい。図 10は、その場合の表示部 142に表示される画面遷移の具体例を示す図である。

[0065] サムネイルデータを作成すべき添付ファイル「001. jpg」、「002. jpg」、「003. jpg 」、および「004. jpg」のサムネイルデータがこの順に作成され、作成された順にサムネイルを表示するものとする。このとき、ステップ S 117で、サムネイルデータのフィールド名「address」の情報にしたがってサムネイルデータを取得した表示管理部 105 は、「001. jpg」のサムネイルデータが完成した時点で、サムネイルをリスト表示する領域全体に該サムネイルを大きく表示し（図 10 (a) )、続いて「002. jpg」のサムネィルデータが完成した時点で、当該領域に「001. jpg」のサムネイルと「002. jpg」のサムネイルとを並べて表示し（図 10 (b) )、続いて「003. jpg」のサムネイルデータが完成した時点で、当該領域に「001. jpg」のサムネイルと「002. jpg」のサムネイルと「0 03. jpg」のサムネイルとを並べて表示し（図 10 (c) )、最後に「004. jpg」のサムネィルデータが完成した時点で、当該領域に「001. jpg」のサムネイルと「002. jpg」のサムネイルと「003. jpg」のサムネイルと「004. jpg」のサムネイルとを並べて表示する（図 10 (d) )よう、表示部 142における表示を制御する。

[0066] 上記の表示方法を採用することにより、サムネイルが未完成であることによる表示の空白領域をより小さくすることができ、また表示形態が順次変化するため、表示完了までの時間、ユーザを飽きさせな、と、う効果が期待できる。

[0067] なお、上記の表示方法を採用する場合、現在未完成のサムネイルがあと何枚あるの力、サムネイル作成処理は全体の何割くらい進んでいるのかが一目ではわ力りにくくなる恐れがあるので、進拔度合いを示すテキスト (たとえば、全 4枚のうち 2枚まで完成し、表示できている状態では「2Z4」と表示)や、プログレスバーなどのグラフィックを、サムネイルリストと共に表示させることが好ましい。図 10に示される表示 1001はプログレスバーを用いた表示例である。全部で 4枚作成するサムネイルのうち 1枚の作成が済み、表示されている図 10 (a)の状態ではバーの 4分の 1程度、同様に図 10 (b)では半分程度、図 10 (c)では 4分の 3程度が反転表示される。 4枚全てのサムネィルが完成した図 10 (d)ではプログレスバーの役割は終えたので非表示にしている

[0068] 携帯電話 100でメールを開封する処理の説明に戻って、ステップ S 125での解析の結果、フィールド名「status」の情報が「1」、つまりサムネイル作成処理が進行中であつて（S 125で YES)、その作成が完了していない場合 (S131で NO)、文書解析部 1 04はサムネイルデータのフィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「1」、つまり表示可能な中途データが存在していれば（S 135で YES)、表示管理部 105において中途データが表示部 142に表示される（S137)。

[0069] ステップ S137で表示される中途データの表示画面の第 1の具体例を図 11に示す。第 1の具体例では、ステップ S127において、サムネイル作成部 107は画像ファイルのサムネイル作成処理を画像の左上点カゝら右下点に向カゝつて実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部 108に保存する。表示管理部 105は、ステップ S137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネイルに注目すると、図 11 (a)—図 11 (d)にかけて、左上点から右下点に向かって段階的に表示される。同時に、 2番目のサムネイルである右上のサムネイルも、 1番目のサムネイルの表示に遅れて、左上点から右下点に向力つて段階的に表示される。

[0070] また、ステップ S137で表示される中途データの表示画面の第 2の具体例を図 12に示す。第 2の具体例でも第 1の具体例と同様に、ステップ S127において、サムネイル作成部 107は画像ファイルのサムネイル作成処理を画像の左上点から右下点に向力つて実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部 108に保存する。第 2の具体例では、表示管理部 105は、ステップ S137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを最終的なサムネイルのピクセルサイズに拡大して表示する。具体的には

、表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネィルに注目すると、図 12 (a)—図 12 (d)にかけて、左上点から右下点に向かって段階的に作成されるサムネイル力最終的なサムネイルのピクセルサイズに拡大されて表示される。

[0071] なお、サムネイル作成部 107でのサムネイルの作成順は、画像の左上点から右下点に向カゝぅ順に限定されず、他の順で作成されてもよい。たとえば、画像中央から周辺部に向力つて作成されてもよぐその場合のステップ S 137で表示される中途データの表示画面の第 3の具体例を図 13に示す。第 3の具体例でも第 1の具体例と同様に、ステップ S127において、サムネイル作成部 107は画像ファイルのサムネイル作成処理を画像の中央力周辺部に向力つて実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部 108に保存する。表示管理部 105は、ステツプ S137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネイルに注目すると、図 13 (a)—図 13 (d)にかけて、中央力も周辺部に向力つて段階的に表示される。

[0072] また、上述と同様に、ステップ S137で、表示管理部 105は、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されて!ヽるサムネイルを最終的なサムネイルのピクセルサイズに拡大して表示してもよ、。その場合のステップ S 137で表示される中途データの表示画面の第 4の具体例を図 14に示す。表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネイルに注目すると、図 14 (a)—図 14 (c)にかけて、中央力も周辺部に向力つて段階的に作成されるサムネイル力最終的なサムネイルのピクセルサイズに拡大されて表示される。

[0073] また、ステップ S 137で表示される中途データの表示画面の第 5の具体例を図 15に示す。第 5の具体例では、ステップ S127において、サムネイル作成部 107は画像フアイルのサムネイル作成処理を画像の各ブロックの低周波成分から高周波成分に向力つて実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部 108に保存する。表示管理部 105は、ステップ S137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する（プログレッシブ表示)。具体的には、図 15 (a)—図 15 (d)にかけて、サムネィルが画像の各ブロックの低周波成分から高周波成分に向力つて段階的に表示される。

[0074] また、ステップ S137で表示される中途データの表示画面の第 6の具体例を図 16に示す。第 6の具体例では、ステップ S127において、サムネイル作成部 107は画像フアイルのサムネイル作成処理を、画像の上部から下部へ向カゝつて実行し、中途データとして、作成中のサムネイルを段階的にサムネイル一時保存部 108に保存する。表示管理部 105は、ステップ S137で、表示画面のサムネイルを表示する領域に、中途データとして途中まで作成されているサムネイルを段階的に表示する。具体的には、表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネィノレに注目すると、図 16 (a)—図 16 (d)にかけて、上部から下部に向かって段階的に表示される。

[0075] 以上の第 1一第 6の具体例では、ステップ S 137でサムネイル作成処理途中の画像データである中途データを表示するものとして説明した力元の画像ファイルに拠らない他の画像データを代替データとして表示してもよい。この場合、サムネイル作成部 107は、サムネイル作成処理が完了するまでの間、予め記憶部 13に格納されている画像データ、または生成した画像データを代替データとして設定する。なお、 1つのサムネイルに対して代替データが複数設定され、または生成され、サムネイル作成処理が完了するまでの間に何度力切替わるようにしてもょ、。

[0076] ステップ S 137で代替データが表示される場合の代替データの表示画面の具体例を図 17に示す。この場合、ステップ S127において、サムネイル作成部 107はサムネィル作成処理が完了するまでの間、サムネイルに替えて代替データを設定または生成する。そして、表示管理部 105は、ステップ S137で、表示画面のサムネイルを表示する領域に、代替データを表示する。具体的には、表示部 142に表示されるサムネイルのうち 1番目のサムネイルである左上のサムネイルに注目すると、サムネイル作成処理が完了して!/、な、図 17 (a)では代替データである画像が表示され、サムネィル作成処理が完了した図 17 (b)でサムネイルが表示される。同様に、 2番目のサムネィルである右上のサムネイルに注目すると、サムネイル作成処理が完了して!/、ない図 17 (a) ,図 17 (b)では代替データである画像が表示され、サムネイル作成処理が完了した図 17 (c)でサムネイルが表示される。

[0077] ステップ S 137で表示されるサムネイルの他の具体例としては、元の画像ファイル内の 1点以上のピクセルの RGB値の平均値で塗りつぶした画像データであってもよ!/、。または、元の画像ファイルのピクセルサイズを縮小した画像データ、色数を減らした画像データであってもよ、。

[0078] 以上のように、本発明にかかる情報出力装置である携帯電話 100では添付フアイルのサムネイルを一覧表示することによって、ユーザは、添付ファイルの内容の概要が把握できるようになり、ユーザにとって有用なデータと不要なデータとの見分けが、実際に添付ファイルを開かなくてもある程度可能となって、特に添付ファイルが複数存在する場合に内容の把握をスムーズに行なえるので便利である。

[0079] さらに、本発明にかかる情報出力装置である携帯電話 100でサムネイル作成処理の途中経過である中間データを段階的に表示することにすれば、各サムネイルの内容を少しでも早く見たいというユーザの欲求に応えることができる。

[0080] さらに、本発明にかかる情報出力装置である携帯電話 100では代替データを用意することにより、ユーザがあるメールを開いたときに、もし表示すべきサムネイルがなかつたとしても、代替となるデータを表示できるので、ユーザの利便性が向上する。

[0081] なお、上述の実施の形態においては、サムネイルまたは代替データをメールを受信した携帯電話 100にて作成していた力サムネイルまたは代替データを、送信側の端末装置またはメール配送を中継するサーバにて作成する構成にしてもよい。

[0082] ただし、送信するメールにサムネイルまたは代替データを含めると、受信側の携帯電話 100の送受信可能データサイズを超過して送受信不能になってしまったり、データ量の増加により送信者、受信者への課金が増えてしまったりする問題が生じかねないので、送信データに含まれるサムネイルまたは代替データは、送信可能データサイズを超過しない範囲、また、送信者や受信者への課金が増えない範囲のデータであることが好ましい。

[0083] また、メールの送信端末と受信端末とで、所定の記号や番号を指定することによつて双方が同一のアイコン画像など代替データとなるデータを参照できる場合においては、メール送信時に記号や番号を一緒に送ることによって、アイコン画像などを代替データとして扱うことも可能である。これにより代替データのための送信データの増分を最小限に抑えることができる。

[0084] ところで、本実施の形態に力かる携帯電話 100は上述の処理を実行することで作成されたサムネイルデータを記憶部 13の所定領域であるサムネイル一時保存部 108 に保存するものとするが、上述の処理を繰返すうちに、サムネイルデータを保存するための領域がいっぱいになる場合がある。その場合、サムネイル一時保存部 108は、保存されているサムネイルデータに付随する属性を参照して、適宜削除または他の保存領域 (たとえば文書保存部 103)に移動することが好ましい。そこで、本実施の形態に力かる携帯電話 100での、サムネイルデータの削除または移動処理について図 18のフローチャートを用いて説明する。図 18のフローチャートに示される処理もまた、携帯電話 100の制御部 12が記憶部 13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図 2に示される各機能を発揮させることで実現される。

[0085] 図 18を参照して、はじめに、たとえば上述のステップ S 127の処理を実行する際など、新たにサムネイルを作成する必要が生じた場合 (S501で YES)、サムネイル処理制御部 106はサムネイル一時保存部 108に保存されている各サムネイルデータの図 4に示される構造体を走査し、フィールド名「size」の情報である各サムネイルのデータサイズの合計を算出する（S503)。

[0086] なお、ここでのサムネイルデータの削除または移動処理を開始するトリガとなる条件は、上述の新たにサムネイルを作成する必要が生じた場合に限定されず、たとえば、所定周期や、携帯電話 100の電源が投入されたときや、使用可能メモリが所定量以下になつたときや、その他所定のタイミングであってもよい。

[0087] 次に、サムネイル処理制御部 106は、算出された合計値と予め設定されている所定値とを比較して、合計値が所定値を越えていない場合には（S505で NO)、サムネィルデータの削除または移動は不要であると判断して、本処理を終了する。ここでの「所定値」は、予め携帯電話 100に固有の値として設定されて記憶部 13に格納されて V、てもよ、し、ユーザ操作で設定されるものであってもよ!/、。

[0088] 一方、ステップ S505での比較において、合計値が所定値を越えている場合には（ S505で YES)、サムネイルデータの削除または移動を実行するために以降の処理が実行されて削除または移動するサムネイルデータ力マルチメディアデータの属性による条件に照らし合わせて抽出される。

[0089] 第 1の条件として、まず、サムネイルデータのフィールド名「complete」の情報を参照して、フィールド名「complete」の情報が「0」であるサムネイルデータ、つまり、サムネイル作成処理が完了しているサムネイルデータが抽出される（S507)。

[0090] 次に、第 2の条件として、ステップ S507で抽出されたサムネイルデータについてフィールド名「priority」の情報が参照されて、フィールド名「priority」の情報である重要度が予め設定されている所定値以下のサムネイルデータ、つまり、所定の重要度よりも重要度の低いマルチメディアデータのサムネイルデータが抽出される（S509)。ここでの「所定値」もまた、予め携帯電話 100に固有の値として設定されて記憶部 13 に格納されて、てもよ、し、ユーザ操作で設定されるものであってもよ、。

[0091] 次に、第 3の条件として、ステップ S509で抽出されたサムネイルデータについてフィールド名「lastaccess」の情報が参照され該サムネイルの表示状況に応じて、フィ一ルド名「lastaccess」の情報である値が最も小さいサムネイルデータ、つまり、該マルチメディアデータへの最終のアクセスが最も古、サムネイルデータが抽出される (S 511)。

[0092] そして、サムネイル処理制御部 106は、ステップ S511で抽出されたサムネイルデータをサムネイル一時保存部 108から削除または移動する（S513)。

[0093] その後、処理を再度ステップ S503に戻して、サムネイル一時保存部 108に保存されて、るサムネイルデータのデータサイズの合計が所定値を越えな、ようになるまで (S505で NO)、上述の以降の処理を繰返す。

[0094] なお、削除または移動するサムネイルデータの条件は上に挙げた第 1一第 3の条件に限定されず、たとえば、作成日時の古いサムネイル力も順に削除または移動する、データサイズの大きなサムネイル力順に削除または移動する、作成に要する時間、消費電力などを勘案し、再びサムネイル作成するための処理量や消費電力量、またはそれを導出する符号ィ匕種別等の属性などのコストが少ないものから順に削除または移動する、などのサムネイルデータ自身の属性や、最近表示されていないものから順に削除または移動する、表示頻度が低いもの力順に削除または移動する、などのサムネイルの表示状況に応じた条件であってもよい。

[0095] 本実施の形態に力かる携帯電話 100が上述のサムネイルデータの削除または移動処理を実行することで、近、将来アクセスされる可能性の高、メールの添付ファイルについてより優先的にサムネイルを保存しておくことができ、ユーザの利便性が向上する。

[0096] さらに、サムネイル処理制御部 106は、サムネイル一時保存部 108に複数の削除候補のサムネイルデータがある場合に、 1つのメールに添付された複数のファイルのサムネイルデータのすべてを削除しな、ように、つまり 1つのメールにっ、て少なくとも 1つの添付ファイルのサムネイルデータを残すように、 1つのメールに添付されたフアイルのサムネイルデータの中から削除対象を選択するよう制御することも好ま U、。このようにすることにより、ユーザがあるメールを開いたときに少なくとも 1つのサムネィルは表示できる可能性が高くメールのサムネイル表示が早まり、ユーザの利便性がより向上する。

[0097] また、サムネイル一時保存部 108は、削除候補であるサムネイルデータを削除または移動するのではなぐデータサイズを削減する処理を行なうことにしてもよい。たとえば、画像のピクセルサイズを縮小する、画像の色数を減らす、サムネイルをアイコンなどの代替画像に差替える、などである。このようにすることにより、ユーザがあるメールを開いたときに、もし表示すべきサムネイルがなかったとしても、代替となるデータを表示できるので、ユーザの利便性がより向上する。

[0098] [第 2の実施の形態]

第 2の実施の形態に力かる携帯電話 100のハードウェア構成は、図 1に示される第 1の実施の形態に力かる携帯電話 100のハードウェア構成と同様であるので、ここでの説明を繰返さない。

[0099] 図 19に、第 2の実施の形態に力かる携帯電話 100において表示する文書を選択して表示する機能、および、サムネイルデータを作成する機能に力かる機能構成の具体例を示す。図 19を参照して、本実施の形態に力かる携帯電話 100は、図 2に示される第 1の実施の形態に力かる携帯電話 100の機能構成に加えて、先行処理管理部 109と、電源管理部 110と、メモリ管理部 111とをさらに含んで構成される。これらの機能もまた、制御部 12が、記憶部 13に記憶されるプログラムを読出し、そのプログラムを実行して図 1に示されるハードウェア構成の各部を制御することによって発揮される。

[0100] 先行処理管理部 109は、現在文書リスト画面内でどの文書にカーソルが当たって選択されている力、または、どの文書が開かれているかの情報を、文書選択部 102より取得する。

[0101] 電源管理部 110は、図 1には図示されない電源供給部である電池の残量を監視し、電池残量に関する情報を先行処理管理部 109に出力する。また、メモリ管理部 11 1も記憶部 13の使用状況を監視し、使用可能メモリ残量に関する情報を先行処理管理部 109に出力する。

[0102] そして、先行処理管理部 109は、文書選択部 102より取得した情報に基づいて、次にユーザ操作によって開かれると想定される文書力も順に、文書選択部 102に対して選択することを要求し、文書選択部 102に文書解析部 104を介してサムネイル処理制御部 106に対してサムネイルの要求をさせる。その際、電源管理部 110から入力された情報や、メモリ管理部 111から入力された情報などを参照する。

[0103] 以下、図 19に示される他の機能構成については、すでに第 1の実施の形態において述べた機能と同様であるため、ここでの説明は繰返さない。また、本実施の形態に力かる携帯電話 100が取扱うデータについても第 1の実施の形態に力かる携帯電話 100の取扱うデータと同様であるため、ここでの説明は繰返さない。

[0104] 次に、第 2の実施の形態に力かる携帯電話 100のメールアプリケーションにおいて、ユーザ力 Sメールの受信箱を開く操作を行なったときに実行される処理について、図 20のフローチャートを用いて説明する。図 20のフローチャートに示される処理もまた、携帯電話 100の制御部 12が記憶部 13に記憶されるメールアプリケーションを実行するためのプログラムを読出して実行し、図 2に示される各機能を発揮させることで実現される。

[0105] 図 20を参照して、始めに、メールアプリケーションの実行を開始して、メールの受信箱を開く操作が行なわれて文書選択部 102が操作受付部 101から操作情報を受取ると（S201で YES)、文書解析部 104において文書保存部 103に保存されているメールファイルが読込まれる（S203)。その中に、メールデータを図 3に示されるようなデータ構造に展開する処理が行なわれて、な、未処理のメールデータが含まれる場合 (S205で YES)、文書解析部 104において該メールデータが解析される (S20 7)。ステップ S207での処理は、第 1の実施の形態のステップ S103と同様の処理であるため、ここでの詳細な説明は繰返さない。そして文書解析部 104は、データ構造体に展開されて解析されたメールデータより送信元メールアドレスなどを取得して、受信箱を表示する（S209)。ここで表示される受信箱の表示画面は、第 1の実施の形態において図 8 (a)に具体例を挙げて説明されたものと同様であるため、ここでの説明は繰返さない。

[0106] ステップ S203で読込まれたメールファイルがすべてデータ構造に展開する処理が行なわれているものである場合には（S205で NO)、先行処理管理部 109はそれらのメールデータが読込まれたことを文書選択部 102より取得し、それらのメールデータついて先読み処理を実行する（S211)。先読み処理とは、ユーザ操作によって近い将来に内容が表示されると予想されるメールに対して添付されているファイルのサムネイルィ匕を先行して行なう処理を言う。ステップ S211での先読み処理にっヽては、後にサブルーチンを挙げて詳細に説明する。

[0107] そして、受信箱の表示画面においてカーソルが当たっているメールを開く操作 (たとえば操作部 141を構成する決定キーを押す操作)が行なわれ、文書選択部 102が操作受付部 101から操作情報を受取ると（S213で YES)、メール表示処理が実行される（S215)。ステップ S215でのメール表示処理についても、後にサブルーチンを挙げて詳細に説明する。

[0108] 以上で第 2の実施の形態に力かる携帯電話 100での処理が終了する。

[0109] 次に、上述のステップ S211で実行される先読み処理について説明する。

[0110] 図 21を参照して、上述のステップ S211で先読み処理を実行すると（S301で NO) 、先行処理管理部 109は、電源管理部 110から入力される電池の残量に関する情報と、メモリ管理部 111から入力される記憶部 13の使用状況に関する情報と、文書選択部 102を介して操作受付部 101で受付けたユーザ操作についての情報とを参照して、電池の残量がしきい値をまたいで変化がある力否か（S303)、使用が可能なメモリの残量がしきい値をまたいで変化あるか否か（S305)、およびユーザからの操作があるか否か（S307)の各条件について、該当するか否かを判定する。ステップ S30 3— S307の判定の結果、 1つでも上記条件を満たす場合、先行処理管理部 109は、先読み処理の対象とするメール群を決定する処理を実行する（S309)。

[0111] このように、先読み処理の対象とするメール群は、携帯電話 100の電池の残量や使用が可能なメモリの残量などの状況情報によって可変であることが好ましい。すなわち、電池の残量が多いときや、充電器に接続されているとき、使用が可能なメモリの残量が多いときほど、より多くのメールを先読み処理の対象とし、逆に、電池の残量が少ないとき、メモリの残量が少ないときほど、先読み処理の対象とするメールを少なくする、または先読み処理を行なわないことにする、などとする構成であることが好ましい。これにより、電池の消耗や、携帯電話の他のアプリケーションの実行の妨げを避けることができる。

[0112] また、先読み処理の対象とするメール群は、画面表示状況の変化やユーザが設定を変更する操作などに応じて、適宜変更されることも好ましい。すなわち、ユーザが受信箱内でカーソルを移動させるのに応じて、カーソルが近いメールに対する先読み処理を優先し、カーソルが遠くなつたメールに対する先読み処理を中止する、などとする構成であることが好ましい。これにより、近い将来に閲覧される可能性の高いメールに対して、先読み処理を優先させることができる。

[0113] ステップ S309での決定方法については、本発明において限定されない。たとえば、カーソルが当たって選択されているメールデータ力所定の範囲を先読み処理の対象とすると予め設定されている場合、その設定に基づいて決定されてもよいし、所定の範囲はユーザ操作によって設定されるものであってもよい。ユーザ操作によって設定される場合、メールの本文のみを確認した!/、ような場合には先読み処理を行なわな、設定にするなどできて利便性が増す。

[0114] より具体的には、選択されているメールデータの 1つ前から 3つ先までの範囲にあるメールデータを先読み処理の対象とするものと設定されている場合、図 23に示されるメールデータのデータ構造の具体例を参照して、メールデータ 20にカーソルが当たつて選択されているときには、ステップ S309で先行処理管理部 109は、範囲 21に含まれるメールデータ群を先読み処理の対象と決定する。このように、選択されているメールデータに基づ、て先読み処理の対象とするメールデータ群を決定して先読み処理を実行することで、ユーザカールを閲覧する際に、該メールに添付されていたファイルのサムネイルが完成している可能性を高くすることができる。

[0115] また、先読み処理の対象とするメールデータ群の決定方法の他の具体例としては、現在選択されているメールと、送信元、件名などの属性を同じくするメールが、先読み処理の対象とするメールデータ群に決定されてもよい。また、受信メールの保存領域を複数設け、送信者ごとに、あるいは適当なグループごとなど、メールの属性に応じて保存先を分類する場合にぉヽては、特定の属性に応じた保存領域に保存されるメールデータ群が、先行サムネイル作成処理の対象とするメールデータ群に決定されてもよい。

[0116] ステップ S309で先読み処理の対象とするメールデータ群が決定されると、先行処理管理部 109はメールデータ群に含まれる各メールデータについて先読み処理を実行した力否かを判定する（S311)。そして、上述のメールデータ群に含まれるすべてのメールデータにっ、て先読み処理が完了して!/、る場合には（S311で NO)、先読み処理を終了して、処理を図 20に示されるメインルーチンに戻す。

[0117] 一方、上述のメールデータ群の中に先読み処理を実行していないメールデータが含まれる場合には（S311で YES)、先行処理管理部 109は、先読み処理を実行していないメールデータの中から 1つ、先読み処理の対象とするメールデータを決定する (S313)。ここでのメールデータの決定方法もまた、画面表示状況の変化や、電池の残量やメモリの使用状況の変化や、ユーザの設定変更操作などに応じて、適宜変更されることが好ましい。

[0118] 続いて図 22を参照して、文書選択部 102が先行処理部 109からステップ S313での決定を受取ると、文書解析部 104において該メールデータが解析される（S323)。ここでの解析は、第 1の実施の形態におけるステップ S103での処理と同様であるため、詳細な説明は繰返さない。ステップ S323での解析の結果、該メールデータのフィールド名「attach— data」の情報が空（NULL)、つまり該メールデータから添付フアイルが抽出されない場合には（S325で YES)、該メールデータについての先読み処理を終了して、処理を図 21のステップ S301に戻し、再度上述の処理を繰返す。

[0119] 一方、ステップ S323での解析の結果、フィールド名 r_attach_datajの情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には（S325で NO)、文書解析部 104はそのメールデータのフィールド名 r_attach_datajの情報からメディァファイルを読出し、図 4に示されるデータ構造に展開されて以降の処理が実行されていない添付ファイルがあるか否かを判定する（S327)。たとえば、ステップ S313 で先読み処理の対象に決定されたメールデータが図 23に示されるメールデータ 20 であるときに、図 24に示されるように、メールデータ 20のフィールド名「attach— data 」の情報からメディアファイル「nature. jpg」，「Duck. png」，「Sunset. png」を読出し、図 4に示されるデータ構造に展開されて以降の処理が実行されていない添付ファィルがあるカゝ否かを判定する

その結果、すべての添付ファイルについて処理済みである場合には（S327で NO) 、該メールデータについての先読み処理を終了して、処理を図 21のステップ S301 に戻し、再度上述の処理を繰返す。

[0120] 一方、ステップ S327での判定の結果、処理を行なって!/、な!/、添付ファイルがある場合には、文書解析部 104は、その中の 1つの添付ファイルについて図 4に示されるようなデータ構造に展開し、メディアデータを解析する（S329)。その結果、メディアファイルのフィールド名「thumb— data」の情報が空（NULL)、つまりサムネイルデータが存在しない場合には（S331で YES)、サムネイル処理制御部 106はサムネィル作成部 107に該添付ファイルのサムネイルデータを作成させる（S333)。図 24においては、メディアファイル「Sunset. png」のフィールド名「thumb— data」の情報が空（NULL)であるため、メディアファイル rsunset. png」のサムネイルデータを作成させる。

[0121] また、ステップ S329での解析の結果、メディアファイルのフィールド名「thumb— da ta」の情報がある場合、つまりサムネイルデータが存在する場合には（S331で NO)、ステップ S333の処理をスキップして、処理を次へ進める。

[0122] 次に、文書解析部 104は、メディアファイルのフィールド名「thumb— data」の情報力サムネイルデータを読出し、フィールド名「complete」の情報を解析する。図 25 に、上述のメディアファイル「Nature. jpg」、「Duck. png」のデータ構造についての具体例を挙げる。図 25に示されるメディアファイル「Nature. jpg」のように、解析の結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば（S335で YES)、該添付ファイルについての処理を終了して、処理をステツプ S327に戻し、再度上述の処理を繰返す。

[0123] 一方、図 25に示されるメディアファイル「Duck. png」のように、ステップ S335での解析の結果、フィールド名「complete」の情報が「0」でない、つまり作成済みのサムネイルが存在しない場合（S335で NO)、文書解析部 104はさらにフィールド名「stat us」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネィル作成処理が開始していなければ（S337で NO)、サムネイル処理制御部 106にお、てサムネイル作成部 107に対してサムネイルの作成を要求し、サムネイル作成処理を開始する（S339)。そして、サムネイル処理制御部 106は、フィールド名「stat us」の情報を「1」に更新する（S341)。

[0124] そして、サムネイル作成処理が完了すれば（S337で YESかつ S343で YES)、サムネイル処理制御部 106は、フィールド名「complete」の情報を「0」に更新し（S345 )、該添付ファイルについての処理を終了して処理をステップ S327に戻し、再度上述の処理を繰返す。

[0125] 以上の処理を繰返して、該メールデータの全ての添付ファイルについて処理を完了すると（S327で NO)、処理を図 21のステップ S301に戻し、再度上述の処理を繰返す。つまり、ステップ S309で決定された先読み処理対象のメール群のうちのステツプ S313で決定された 1つのメールデータについて先読み処理が完了し、まだステツプ S309で決定された先読み処理対象のメール群のうちの他のメールデータについて先読み処理を行なう場合（S301で NO)、再度ステップ S303— S307の各処理を行なって、 1つでも条件を満たす場合、先行処理管理部 109はステップ S309で先読み対象とするメール群を決定し直して以降の処理を繰返す。

[0126] なお、上述の処理では、先読み処理の対象となるメールデータが複数存在する場合において 1つのメールデータに添付された添付ファイルのすべてについてサムネィル作成処理を完了してから次のメールデータに対して先読み処理を実行するものとしたが、先行処理管理部 109は、先読み処理の対象となる複数のメールデータのすベてに対して、添付された添付ファイルのうちの少なくとも 1つの添付ファイルのサムネイル作成処理が完了することを優先するように処理を制御してもよヽ。このようにすることにより、あるメールを開いたときに少なくとも 1つのサムネイルは完成済みであつて表示できる可能性が高まり、ユーザの利便性が向上する。

[0127] 次に、上述のステップ S215で実行されるメール表示処理について図 26および図 2 7のフローチャートを用いて説明する。

[0128] 図 26を参照して、始めに、文書解析部 104において、表示処理の対象となるメールデータが解析される（S401)。ここでの処理は、第 1の実施の形態におけるステツプ S103での処理と同様であるため、説明を繰返さない。そして文書解析部 104は、ステップ S401での解析結果に基づいて、該メールデータのフィールド名「msg— tex t」の情報力もテキストを取得し、取得されたテキストは表示管理部 105によって表示部 142に表示される（S403)。

[0129] さらに、文書解析部 104は該メールデータのフィールド名 r_attach_datajの情報をチェックし、フィールド名「attach— data」の情報が空（NULL)、つまり該メールデータから添付ファイルが抽出されない場合には（S407で YES)、ステップ S403のテキスト表示のみ行なって該メールを開封する処理を終了する。

[0130] 一方、解析の結果、フィールド名 r_attach_datajの情報がある場合、つまり該メールデータから添付ファイルが抽出された場合には（S407で NO)、サムネイルが表示されてヽな、添付ファイルがな、かチェックする（S409)。サムネイルが表示されて!ヽない添付ファイルがある場合には（S409で YES)、文書解析部 104はメールデータのフィールド名「attach— data」の情報からメディアファイルを読出し、添付ファイルを解析する（S417)。その結果、メディアファイルのフィールド名「thumb— data」の情報が空（NULL)、つまりサムネイルデータが存在しない場合には（S419で YES) 、サムネイル処理制御部 106におヽて該添付ファイルのサムネイルデータが作成される（S421)。また、ステップ S417での解析の結果、メディアファイルのフィールド名 rthumb_datajの情報がある場合、つまりサムネイルデータが存在する場合には（ S419で NO)、ステップ S421の処理をスキップして、処理を次へ進める。

[0131] 次に、図 27を参照して、文書解析部 104は、メディアファイルのフィールド名「thu mb— data」の情報からサムネイルデータを読出し、フィールド名「complete」の情報を解析する。その結果、フィールド名「complete」の情報が「1」、つまり表示可能な中途データが存在していれば（S431で NO、かつ S439で YES)、表示管理部 105において中途データが表示部 142に表示される（S441)。ここでの中途データは、第 1 の実施の形態で説明されたように、サムネイル作成処理の途中段階のデータであつて、ステップ S441では図 8—図 16に示されたように中途データが段階的に表示される。また、第 1の実施の形態で説明されたように、中途データに替えて代替データが取得されて、ステップ S441では図 17に示されたように代替データが表示されてもよい。

[0132] 一方、ステップ S431での解析の結果、フィールド名「complete」の情報が「一 1」、つまり表示できるサムネイルデータも中途データも存在しな、場合（S439で NO)、文書解析部 104はさらにフィールド名「status」の情報を解析する。その結果、フィールド名「status」の情報が「0」、つまりサムネイル作成処理が開始していなければ（S4 43で YES)、サムネイル処理制御部 106はサムネイル作成部 107に対してサムネィルの作成を要求し、サムネイル作成処理が開始される（S445)。そして、サムネイル処理制御部 106は、フィールド名「status」の情報を「1」に更新する（S447)。

[0133] 他方、ステップ S431での解析の結果、フィールド名「complete」の情報が「0」、つまり作成済みのサムネイルが既に存在していれば（S431で YES)、フィールド名「ad dress」の情報にしたがって該サムネイルが取得されて、表示管理部 105においてテキストと共に表示部 142に表示される（S433)。

[0134] なお、本実施の形態において作成済みのサムネイルが既に存在している場合としては、上述の処理の結果サムネイルが作成された場合や、先に述べた先読み処理でサムネイルが作成されて、サムネイル一時保存部 108に保存されてヽる場合などが該当する。

[0135] そして、サムネイル処理制御部 106は、サムネイルデータのフィールド名「count」の情報であるアクセス回数を 1インクリメントし（S435)、フィールド名「lastaccess」の情報を現在時刻に更新する (S437)。

[0136] サムネイル処理制御部 106は、上述の図 27に示される処理を、表示処理対象のメールデータに添付されたすベての添付ファイルについて実行させる。そして、サムネィル未表示の添付ファイルがなくなり、該メールデータに添付されたすベての添付フアイルのサムネイルが表示されると（S409で YES)、メール表示処理を終了して、図 2 0に示されるメインルーチンに処理を戻す。

[0137] このように、第 2の実施の形態に力かる携帯電話 100ではユーザ操作に先行してサムネイルの作成を行ない、さらにユーザ操作にサムネイルの作成が間に合わなかつた場合でも、上述のメール表示処理を実行してより早、段階で完成したサムネイルを表示することができる。このため、ユーザのストレスを軽減することができる。

[0138] なお、上述の第 1の実施の形態および第 2の実施の形態では、本発明にかかる情報出力装置である携帯電話 100が、メールに添付された静止画データである添付フアイルのサムネイルを作成する処理を中心に説明した力作成されたサムネイルが表示されるタイミングは、ユーザのカーソル移動操作により該メールにカーソルが当てられて選択され、ユーザによる該メールを「開く」操作がなされたタイミングであることが好ましい。さらに、ユーザのカーソル移動操作により該サムネイルにカーソルが当てられて選択され、ユーザによる該添付ファイルを「開く」操作がなされたタイミングに、携帯電話 100では元の静止画データを大きなサイズで表示する処理が実行されることが好ましい。この「開く」操作とは、決定操作を実行するためのキー (決定キーなど）の押下によるものであってもよいし、カーソル移動操作により該メールゃ該サムネイルにカーソルが当てられて選択された状態で所定の時間が経過したことによるものでもよい。

[0139] また、本実施の形態に力かる携帯電話 100がアニメーションや動画、プレゼンテーシヨン文書などのように、自身が時間軸を持つメディアデータを含む情報を取扱う場合については、上述のように、再生時間内の任意の複数の再生時刻における表示データを静止画として抽出し、これを縮小することで複数のサムネイルを作成してもよく、さらにこの複数のサムネイルを、同じ画面に並べて表してもよいし、 1つのサムネィル表示領域内で、所定の時間が経過するごとに自動的に切替えて表示してもよい。また、この場合にも、静止画と同様に、上述のサムネイルを開く操作によって、表示または再生されることが好ましい。このとき、携帯電話 100は、ピクセルサイズ縮小前の本来のサイズで表示または再生してもよ、し、サムネイル表示領域内で表示または再生してちょい。

[0140] 以下に、携帯電話 100で時間的に遷移するメディアを含むメールを取扱う場合のサムネイル表示について、具体的に、時間的に遷移するプレゼンテーション文書のサムネイル表示にっ、て説明する。

[0141] 図 28および図 29は、メールにプレゼンテーション文書が添付されていた場合の、表示部 142に表示される画面遷移の具体例を示す図である。プレゼンテーション文書は、ユーザによるスライドを切替える操作もしくは所定の時間の経過にことにより、切替えて表示される複数のスライドからなる文書である。

[0142] 図 28 (a)は図 8 (a)と同じ図であって、受信箱に入っているメールの一覧を表示するメール一覧表示画面の具体例を示す図である。そのメール一覧表示画面にぉ、て、カーソル移動で表示対象メール（図 28 (a)では、件名「Subjectl」のメール）を選択し、たとえば決定キーの押下などによって、表示対象メールを開く。図 28 (b)は、件名「Subjectl」の表示対象メールを開!、たときのメール表示画面の具体例を示す図でめる。

[0143] 図 28 (c)および図 28 (d)に示されるように、そのメール表示画面にお!、て上下キーを押してメールに添付されたプレゼンテーション文書にカーソルを移動した状態で、操作受付部 101にお!/、て、たとえば「Options」の「Slide」を選択するなどのユーザのキー操作を受付けることにより、サムネイル処理制御部 106は、プレゼンテーション文書のスライドのピクセルサイズを縮小したサムネイルをスライドごとに作成し、図 28 ( e)に示されるように、表示管理部 105において画面内に並べてサムネイルとして表示すされる。このとき、スライドが多数あり、 1つの画面内にサムネイルを並べきれない場合には、スクロールなどの手法により順次表示してもよい。

[0144] 図 28 (e)に示されるようなサムネイル表示画面において、上下左右キーによりハイライト表示するスライドを移動し、プレゼンテーション文書を表示、再生する操作 (たとえば決定キーの押下）を受付けると、図 29 (a)—図 29 (c)に示されるように、カーソルが当たっているスライドから表示、再生される。また、携帯電話 100は、図 28 (c)に示されるメール表示画面にぉヽてユーザのキー操作 (ここでは ropenjを選択する操作 )を受付けて直接プレゼンテーション文書を表示、再生してもよい。

[0145] さらに、プレゼンテーション文書のサムネイル表示の他の具体例として、サムネイル表示領域内で所定の時間が経過するごとに所定数のスライドのサムネイルを切替えて表示してもよい。図 30はその場合の表示部 142に表示される画面遷移の具体例を示す図であって、件名「3111^₍^1」の対象メールを選択したときに（図30 (&) )、添付ファイル名「Material. ppt」のサムネイル表示領域に各スライドごとのサムネイルを 1 つずつ所定時間ごとに切替えて表示している例が示されている（図 30 (b)—図 30 (d ) )。

[0146] また、携帯電話 100で時間的に遷移するメディアを含むメールを取扱う場合のサムネイル表示について、具体的に、 MMS (Multimedia Messaging Service)のように時間的に切替わる複数のスライドから構成されるメールのサムネイル表示について説明する。

[0147] 図 31は、メールが MMSのように時間的に切替わる複数のスライド力構成されている場合の、表示部 142に表示される画面遷移の具体例を示す図である。本具体例では表示対象メールは 3枚のスライドを含んで構成され、各スライドにはそれぞれ、テキスト、静止画、動画、および音声などの複数のメディアファイルが添付されてレイァゥ卜されている。

[0148] 図 31 (a)もまた図 8 (a)と同じ図であって、受信箱に入っているメールの一覧を表示するメール一覧表示画面の具体例を示す図である。そのメール一覧表示画面にお!ヽて、カーソル移動で表示対象メール（図 31 (a)では、件名「Subjectl」のメール）を選択し、たとえば決定キーの押下などによって、表示対象メールを開く。 MMSのように時間的に切替わる複数のスライドから構成されるメールは、携帯電話 100において展開すると、始めに図 31 (d)に示されるような 1枚目のスライドが表示され、所定時間ごとに 2枚目、 3枚目と切替わる（図 31 (e) ,図 31 (f) )。

[0149] また、図 31 (a)に示されるメール一覧表示で表示対象メールを選択した状態で、操作受付部 101において、たとえば「Options」メニューから「Slide」を選択などのユーザのキー操作を受付けることにより、サムネイル処理制御部 106は、メールに含まれるスライドのピクセルサイズを縮小したサムネイルを各スライドごとに作成し、図 31 (b) に示されるように、表示管理部 105において画面内に並べてサムネイルとして表示される。このため、ユーザは、メールを表示させてすべてのスライドが切替わって表示されるまで待たなくても、このメールにどんなスライドが含まれているかひと目で見ることができる。

[0150] 図 31 (b)に示されるようなサムネイル表示画面において、上下左右キーによりハイライト表示するスライドを移動し、メールを表示、再生する操作 (たとえば決定キーの押下）を受付けると、カーソルが当たっているスライドから該メールが表示、再生される。たとえば、図 31 (b)では 1Z3枚目のスライドを示すサムネイルが選択されているので、その状態でメールを表示、再生する操作を受付けると、図 31 (d)に示される 1 Z3枚目のスライドから該メールが表示、再生される。同様に、図 31 (c)では 2Z3枚目のスライドを示すサムネイルが選択されているので、その状態でメールを表示、再生する操作を受付けると、図 31 (e)に示される 2/3枚目のスライドから該メールが表示、再生される。

[0151] なお、このようにサムネイル表示する対象はメールに添付されたメディアファイルだけに限定されるものではない。

[0152] さらに、上述のプレゼンテーション文書のサムネイル表示方法と同様に、 1つのメールに添付されたファイルが多数あって、サムネイル表示領域内にすべて表示できない場合には、サムネイル表示領域内に所定数のサムネイルを所定の時間が経過するごとに切替えて表示してもよ、。

[0153] また、上述のように、表示すべきサムネイルが作成処理中のときに、作成途中の中途データまたは代替データを表示する、または表示すべきサムネイルが作成処理中のときに何も表示しない場合においても、上述の「開く」操作によって、本来のデータを表示または再生できることが好ましい。または、表示すべきサムネイルが作成処理中のときに何も表示しない場合において、ユーザによるキャンセル操作によって、進行中または開始前のサムネイル作成処理を中止できることが好ましい。ユーザによるキャンセル操作としては、キャンセルボタンを押下することによるものであってもよいし、カーソル移動操作によってカーソルが外れて選択状態が解除されたことをもってキヤンセルされたとみなすことにしてもよい。

[0154] さらに、本実施の形態においては、本発明にかかる情報出力装置を携帯電話 100 で実現するものとして説明したが、本発明にかかる情報出力装置の他の具体例として、テレビジョン受像機（以下、テレビという）であって、取扱うデータが番組情報であり、番組データ自体もしくは番組情報に付与されたメディアファイルの概要提示情報であるサムネイルを表示する場合にっ、て述べる。

[0155] 図 32を参照して、本発明にかかる情報出力装置の具体例であるテレビで表示される番組表には、各番組を表示する領域内に、番組名および番組の説明にカ卩えて、番組の内容やロゴを表わす画像、番組のハイライトシーンなどの動画像、などがサムネィルで表示される。このように、番組に関連した情報の概要を提示するサムネイルを表示することにより、ユーザは所望の番組を見つけやすくなる。また、各サムネイル表示領域内で一定時間ごとにサムネイルが切替わってもよい。さらに番組ごとに異なるサムネイルを表示（「金曜映画」のように、毎回内容が大きく変化するような番組はその都度異なるサムネイルを表示するのでもよい)するようにして、サムネイルの準備に時間が力かる場合は、テレビにおいて上述のメールの開封処理と同様の処理を行なうことで、該サムネイルの準備ができるまで、作成途中の中途データを表示してもよいし、代替データとして予めカテゴリ別にデフォルトで設定されて、るサムネイルを表示してちよい。

[0156] さらに、本発明にかかる情報出力装置が行なうサムネイルの表示方法を、プロダラムとして提供することもできる。このようなプログラムは、コンピュータ読取可能な記録媒体に格納されてプログラムプロダクトとして提供される。本発明では、この記録媒体として、一般的なコンピュータで処理が行なわれるために、一般的なコンピュータに内蔵あるいは接続される ROMなどのメモリがプログラムメディアであってもよ、し、また、外部記憶装置としてプログラム読取装置が設けられ、そこに記録媒体を挿入することで読取可能なフレキシブルディスクや CD— ROM (Compact Disc-Read Only Memory)などのプログラムメディアであってもよ!、。

[0157] いずれの場合においても、プログラムプロダクトに格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよ、。または、ずれの場合もマイクロプロセッサがプログラムを読出し、一般的なコンピュータを構成する RAMなどのプログラム記憶エリアにダウンロードして、そのプログラムを実行する方式であつてもよい。このダウンロード用のプログラムは予めコンピュータ本体に格納されているものとする。

[0158] ここで上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクや CD— ROM/MO (Magnet Optical disc) /MD (Mini Disc) /DVD (Digital Video Disc)等の光ディスクのディスク系、 ICカード（メモリ力ードを含む） Z光カード等のカード系、あるいはマスク ROM、 EPROM (Erasable Programmable Read Only Memory) (登録商標）、 EEPROM (Electronically Erasable and Programmable Read Only Memory) (登録商標)、フラッシュ ROM 等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。

[0159] また、本発明にかかる情報出力装置はインターネットを含む通信ネットワークと接続可能なシステム構成であることから、通信ネットワーク力もプログラムをダウンロードするように流動的にプログラムを担持する媒体を用いてもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め情報出力装置本体に格納しておくか、あるいは別な記録媒体からインスト一ノレされるものであってもよ、。

[0160] 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

産業上の利用可能性

[0161] この発明は、装置上で、電子メールなどの外部から受信した文書やユーザが作成した文書が 1つ以上のメディアデータを含み、各メディアデータのサムネイル画像を表示する場合において、サムネイルリスト表示画面に切替えたときのもたつきや、このもたつきによりユーザが感じるストレスを軽減して、ユーザの利便性を向上させ、複数のデータの概要を提示する情報を出力する情報出力装置、情報出力方法、および情報出力プログラムプロダクトにおいて有利に利用され得る。

Claims

請求の範囲

[1] 情報を選択する第 1の情報選択部（102)と、

前記第 1の情報選択部（102)で選択された情報に含まれるマルチメディアデータの概要提示情報を作成する概要提示情報作成部（107)と、

前記概要提示情報作成部（107)での前記概要提示情報作成処理の実行を制御する概要提示情報作成制御部（106)と、

前記作成された概要提示情報を提示する提示部（105)とを備え、

前記提示部（105)は、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報を提示する、情報出力装置。

[2] 前記代替情報は、前記概要提示情報作成部（107)で作成処理途中の前記概要提示情報であって、前記提示部（105)は、前記作成処理途中の概要提示情報を、前記概要提示情報作成部（107)での前記概要提示情報作成処理に応じて段階的に提示する、請求項 1に記載の情報出力装置。

[3] 概要提示情報を格納する格納部（108)をさらに備え、

前記概要提示情報が前記格納部（108)に格納されている場合には、

前記概要提示情報作成制御部（106)は、前記概要提示情報作成部（107)におヽて前記概要提示情報作成処理を実行しな!、よう制御し、

前記提示部（105)は、前記格納部（108)に格納されて!ヽる前記概要提示情報を提示する、請求項 1に記載の情報出力装置。

[4] 前記第 1の情報選択部（102)で選択された前記情報に基づいて、前記概要提示情報作成処理を行なう対象とする情報を選択する第 2の情報選択部（102, 109)をさらに備え、

前記概要提示情報作成部（107)は、前記第 2の情報選択部（102, 109)で選択された情報に含まれるマルチメディアデータの概要提示情報を作成して前記格納部（1 08)に格納する、請求項 3に記載の情報出力装置。

[5] 前記第 2の情報選択部（102, 109)は、当該情報出力装置の状況に基づいて前記概要提示情報作成処理を行なう対象とする情報を選択する、請求項 4に記載の情報出力装置。

[6] 前記第 2の情報選択部（102, 109)は、前記第 1の情報選択部（102)で選択された前記情報の属性に基づいて前記概要提示情報作成処理を行なう対象とする情報を選択する、請求項 4に記載の情報出力装置。

[7] 前記第 2の情報選択部（102, 109)で選択された複数の情報の中に複数のマルチメディアデータを含む情報が含まれるとき、前記概要提示情報作成制御部（106)は、前記第 2の情報選択部（102, 109)で選択されたすベての情報について、前記情報に含まれる少なくとも 1つのマルチメディアデータの概要提示情報が作成されるよう、前記概要提示情報作成部（107)での前記概要提示情報作成処理の実行を制御する、請求項 4に記載の情報出力装置。

[8] 前記第 2の情報選択部（102, 109)で選択された複数の情報の中に複数のマルチメディアデータを含む情報が含まれるとき、前記概要提示情報作成制御部（106)は、前記第 2の情報選択部（102, 109)で選択された 1つの情報について、前記 1つの情報に含まれるすべてのマルチメディアデータの概要提示情報が作成された後に、前記 1つの情報の次の情報に含まれるマルチメディアデータの概要提示情報を作成するよう、前記概要提示情報作成部（107)での前記概要提示情報作成処理の実行を制御する、請求項 4に記載の情報出力装置。

[9] 前記格納部（108)力削除対象である概要提示情報を選択する削除概要提示情報選択部（106)と、

前記選択された概要提示情報を削除する削除部（106)とをさらに備える、請求項 3 に記載の情報出力装置。

[10] 前記削除概要提示情報選択部（106)は、マルチメディアデータの属性に基づいて前記削除対象の概要提示情報を選択する、請求項 9に記載の情報出力装置。

[11] 前記削除概要提示情報選択部（106)は、前記概要提示情報のデータサイズに基づいて前記削除対象の概要提示情報を選択する、請求項 9に記載の情報出力装置。

[12] 前記削除概要提示情報選択部（106)は、前記概要提示情報作成部（107)での前記概要提示情報作成処理のコストに基づいて前記削除対象の概要提示情報を選択する、請求項 9に記載の情報出力装置。

[13] 前記削除概要提示情報選択部（106)は、前記提示部（105)での前記概要提示情報の提示状況に基づいて前記削除対象の概要提示情報を選択する、請求項 9に記載の情報出力装置。

[14] 前記削除概要提示情報選択部（106)が前記削除対象の概要提示情報を複数選択したとき、前記削除部（106)は、 1つの情報に含まれる少なくとも 1つのマルチメディァデータの概要提示情報を残すように前記削除対象の概要提示情報のうちの所定の概要提示情報を削除する、請求項 9に記載の情報出力装置。

[15] 前記提示部（105)での前記概要提示情報の提示のタイミングを制御する概要提示情報提示制御部（105)をさらに備える、請求項 1に記載の情報出力装置。

[16] 前記概要提示情報提示制御部（105)は、前記第 1の情報選択部（102)で前記情報が選択された後、所定時間経過後に前記概要提示情報を提示するよう、前記提示部 (105)での前記概要提示情報の提示のタイミングを制御する、請求項 15に記載の情報出力装置。

[17] 前記マルチメディアデータは画像を含むデータであって、

前記概要提示情報作成部（107)は、前記画像の少なくとも一部を用いて前記概要提示情報を作成する、請求項 1に記載の情報出力装置。

[18] 情報を選択する第 1の情報選択ステップ (S101, S201, S213)と、

前記第 1の情報選択ステップ (S101, S201, S213)で選択された情報に含まれるマルチメディアデータの概要提示情報を作成する概要提示情報作成ステップ (S 111 , S127, S333, S339)と、

前記概要提示情報作成ステップ（S111, S127, S333, S339)での前記概要提示情報作成処理の実行を制御する概要提示情報作成制御ステップ (S 109, S 113, S125, S331, S335, S337)と、

前記作成された概要提示情報を提示する提示ステップ (S 117, S137, S215)とを備え、

前記提示ステップ（S 137, S215)は、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報を提示する、情報出力方法。

[19] 前記代替情報は、前記概要提示情報作成ステップ (S 111, S127, S333, S339) で作成処理途中の前記概要提示情報であって、前記提示ステップ (S 137, S215) は、前記作成処理途中の概要提示情報を、前記概要提示情報作成ステップ (S111 , S127, S333, S339)での前記概要提示情報作成処理に応じて段階的に提示する、請求項 18に記載の情報出力方法。

[20] 概要提示情報を格納装置に格納する格納ステップ (S133, S345)をさらに備え、前記概要提示情報が前記格納装置に格納されている場合には、

前記概要提示情報作成制御ステップ（S 109, S113, S331, S335)は、前記概要提示情報作成ステップ（S111, S127, S333, S339)において前記概要提示情報作成処理を実行しな!ヽよう制御し、

前記提示ステップ（S 117, S215)は、前記格納装置に格納されている前記概要提示情報を提示する、請求項 18に記載の情報出力方法。

[21] 前記第 1の情報選択ステップ (S201)で選択された前記情報に基づいて、前記概要提示情報作成処理を行なう対象とする情報を選択する第 2の情報選択ステップ (S30 1一 S313)をさらに備え、

前記概要提示情報作成ステップ（S333, S339)は、前記第 2の情報選択ステップ（ S 301— S 313)で選択された情報に含まれるマルチメディアデータの概要提示情報を作成して前記格納装置に格納する、請求項 20に記載の情報出力方法。

[22] 前記第 2の情報選択ステップ (S301— S313)は、情報出力装置の状況に基づいて前記概要提示情報作成処理を行なう対象とする情報を選択する、請求項 21に記載の情報出力方法。

[23] 前記第 2の情報選択ステップ (S301— S313)は、前記第 1の情報選択ステップ (S 2 01)で選択された前記情報の属性に基づ、て前記概要提示情報作成処理を行なう対象とする情報を選択する、請求項 21に記載の情報出力方法。

[24] 前記第 2の情報選択ステップ (S301— S313)で選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、前記概要提示情報作成制御ステップ (S331, S335)は、前記第 2の情報選択ステップ（S301— S313)で選択されたすベての情報について、前記情報に含まれる少なくとも 1つのマルチメディアデータの概要提示情報が作成されるよう、前記概要提示情報作成ステップ (S333, S339)での前記概要提示情報作成処理の実行を制御する、請求項 21に記載の情報出力方法。

[25] 前記第 2の情報選択ステップ (S301— S313)で選択された複数の情報に複数のマルチメディアデータを含む情報が含まれるとき、前記概要提示情報作成制御ステップ (S331, S335)は、前記第 2の情報選択ステップ（S301— S313)で選択された 1つの情報について、前記 1つの情報に含まれるすべてのマルチメディアデータの概要提示情報が作成された後に、次の情報に含まれるマルチメディアデータの概要提示情報を作成するよう、前記概要提示情報作成ステップ (S333, S339)の前記概要提示情報作成処理の実行を制御する、請求項 21に記載の情報出力方法。

[26] 前記格納ステップ (S133, S345)力も削除対象である概要提示情報を選択する削除概要提示情報選択ステップ (S501— S511)と、

前記選択された概要提示情報を削除する削除ステップ (S513)とをさらに備える、請求項 20に記載の情報出力方法。

[27] 前記削除概要提示情報選択ステップ（S501— S511)は、マルチメディアデータの属性に基づいて前記削除対象の概要提示情報を選択する、請求項 26に記載の情報出力方法。

[28] 前記削除概要提示情報選択ステップ (S501— S511)は、前記概要提示情報のデータサイズに基づいて前記削除対象の概要提示情報を選択する、請求項 26に記載の情報出力方法。

[29] 前記削除概要提示情報選択ステップ (S501— S511)は、前記概要提示情報作成ステツプ（Si l l, S127, S333, S339)での前記概要提示情報作成処理のコストに基づいて前記削除対象の概要提示情報を選択する、請求項 26に記載の情報出力方法。

[30] 前記削除概要提示情報選択ステップ（S501— S511)は、前記提示ステップ (S117 , S215)での前記概要提示情報の提示状況に基づいて前記削除対象の概要提示情報を選択する、請求項 26に記載の情報出力方法。

[31] 前記削除概要提示情報選択ステップ (S501— S511)が前記削除対象の概要提示情報を複数選択したとき、前記削除ステップ (S513)は、 1つの情報に含まれる少なくとも 1つのマルチメディアデータの概要提示情報を残すように前記削除対象の概要提示情報のうちの所定の概要提示情報を削除する、請求項 26に記載の情報出力方法。

[32] 前記提示ステップ（S 117, S215)での前記概要提示情報の提示のタイミングを制御する概要提示情報提示制御ステップ (S 117, S215)をさらに備える、請求項 18に記載の情報出力方法。

[33] 前記概要提示情報提示制御ステップ (S 117, S215)は、前記第 1の情報選択ステツプ（S101, S201, S213)で前記情報が選択された後、所定時間経過後に前記概要提示情報を提示するよう、前記提示ステップ (S 117, S215)での前記概要提示情報の提示のタイミングを制御する、請求項 32に記載の情報出力方法。

[34] 前記マルチメディアデータは画像を含むデータであって、

前記概要提示情報作成ステップ（S111, S127, S333, S339)は、前記画像の少なくとも一部を用いて前記概要提示情報を作成する、請求項 18に記載の情報出力方法。

[35] マルチメディアデータを含む情報の出力処理をコンピュータに実行させる情報出力プログラムプロダクトであって、

情報を選択する第 1の情報選択ステップ（S101, S201, S213)と、

前記作成された概要提示情報を提示する提示ステップ (S 117, S137, S215)とを実行させ、

前記提示ステップ（S 117, S137, S215)は、前記概要提示情報作成処理の完了前において、前記概要提示情報に替わる代替情報を提示する、情報出力プログラムプロダクト。

[36] 前記代替情報は、前記概要提示情報作成ステップ (S 111, S127, S333, S339) で作成処理途中の前記概要提示情報であって、前記提示ステップ (S 137, S215) は、前記作成処理途中の概要提示情報を、前記概要提示情報作成ステップ (S111 , S127, S333, S339)での前記概要提示情報作成処理に応じて段階的に提示する、請求項 35に記載の情報出力プログラムプロダクト。

[37] 概要提示情報を格納装置に格納する格納ステップ (S133, S345)をさらに実行させ前記概要提示情報が前記格納装置に格納されている場合には、

前記提示ステップ（S 117, S215)は、前記格納装置に格納されている前記概要提示情報を提示する、請求項 35に記載の情報出力プログラムプロダクト。

[38] 前記第 1の情報選択ステップ (S201)で選択された前記情報に基づ!/、て、前記概要提示情報作成処理を行なう対象とする情報を選択する第 2の情報選択ステップ (S30 1一 S313)をさらに実行させ、

前記概要提示情報作成ステップ（S333, S339)は、前記第 2の情報選択ステップ（ S 301— S 313)で選択された情報に含まれるマルチメディアデータの概要提示情報を作成して前記格納装置に格納する、請求項 37に記載の情報出力プログラムプロダタト。