以下、本発明の実施の形態について図を参照して説明する。
本発明を適用したPDA(Personal Digital Assistants)1の外観を図2乃至図5に示す。図2および図3はPDA1の本体正面側の外観を示す斜視図であり、図4および図5は本体背面側の外観を示す斜視図である。
PDA1は、図3に示す中央のヒンジ部12を境に、表示部11と本体部13とに分けられており、ヒンジ部12を介して折り畳み可能に形成されている(折り畳んだ状態を図2に示す)。
図3に示すように、表示部11の面11−1のほぼ全面には、LCD(Liquid Crystal Display)28、および、LCD28の上に積層された透明なタッチパネル36が設けられている。すなわち、ユーザが、指先や図2のスタイラス2の先端をLCD28上の任意の位置に接触させると、その座標がタッチパネル36により検出され、検出された座標に対応する所定の処理が行われる。
ヒンジ部12には、CCD(Charge Coupled Device)等よりなるカメラ部21が設けられている。
PDA1を折り畳んだときに面11−1(表示部11)に対向する面となる本体部13の上面13−1には、PDA1にインストールされている、例えば、スケジュール管理用のプログラム、電話帳管理用のプログラム等のアプリケーションプログラムのそれぞれを表すシンボルが印刷されたボタン32が設けられている。ユーザによりボタン32が押下されたとき、それに対応するアプリケーションプログラムが起動される。
また、上面13−1のボタン32が配置されている領域の中央部には、LCD28に表示されている画面を上下方向にスクロールさせるためのスクロールボタン33が設けられている。さらに、上面13−1のボタン32、スクロールボタン33の下方には、文字、記号、数字等を入力するためのキーボード34が設けられている。
本体部13の右側面13−2には、不揮発性半導体メモリの一種であるメモリースティック(商標)(以下、MSと記述する)3を装着可能なMSスロット41が設けられている(図2)。なお、MSスロット41には、例えば、Bluetooth(商標)による通信機能拡張モジュールなどの、MS3と同じ形状の機能拡張モジュールを装着させることも可能である。
図4に示すように、本体部13の左側面13−3には、本体部13に電力を供給するリチウムイオン電池などからなるリムーバブルメインバッテリ162(図6)を着脱するときに開閉するバッテリ蓋26が設けられている。また、左側面13−3には、押下および回転自在なジョグダイヤル25が当該側面から僅かに突出した状態で設けられている。
本体部13の背面13−4には、不揮発性半導体メモリの一種であるコンパクトフラッシュ(登録商標)(以下、CFと記述する)4を装着可能なCFスロット42が設けられている。CFスロット42は、図5に示すように、CF4を装着するときには当該背面からポップアップするようになされている。なお、CFスロット42には、例えば、PHS(Personal Handy Phone)による通信機能拡張モジュールなどの、CF4と同じ形状の機能拡張モジュールを装着させることも可能である。
本体部13の下端面13−5(図3)には、リムーバブルメインバッテリ162に対して充電を行うクレードル91(図6)等の付属機器を接続するためのコネクタ67が設けられている。
図6は、以上のような外観構成を有するPDA1の内部の構成例について示すブロック図である。
CPU(Central Processing Unit)131は、ROM(Read Only Memory)132に記憶されているプログラム、または記憶部139からRAM(Random Access Memory)133にロードされたアプリケーションプログラムに従って各種の処理を実行する。RAM133にはまた、CPU131が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU131、ROM132、およびRAM133は、CPUインタフェース135を介して相互に接続されている。CPUインタフェース135には、LCD28に対する画面の表示を制御する表示制御部136も接続されている。
表示制御部136には、カメラ部21、LCD28の他、VRAM138も接続されている。表示制御部136は、CPU131による制御に基づいて、カメラ部21により撮像された画像をVRAM138に記憶させ、そのVRAM138に記憶させている画像や、他のメモリ(MS3、CF4、RAM133、記憶部139)に記憶されている画像をLCD28に表示させる。VRAM138には、カメラ部21により撮像された画像の他、LCD28に表示させる画像も記憶される。
また、CPUインタフェース135には、ジョグダイヤル25、ボタン32、スクロールボタン33、およびキーボード34等からなる入力部137、タッチパネル36、赤外線通信ポート62、MSスロット41およびCFスロット42に相当するスロットI/F64、リムーバブルメインバッテリ162およびバックアップバッテリ163を充電させるとともに、他の外部装置152との通信の中継装置となるクレードル91等が接続されるコネクタ67、並びに、マイクロフォン142で集音された音声をディジタルデータに変換する音声処理部141が接続されている。
なお、タッチパネル36により検出された座標を表す情報は、CPUインタフェース135を介してCPU131に供給される。
さらに、CPUインタフェース135には、EEPROM(Electrically Erasable and Programmable Read Only Memory)またはハードディスクなどより構成される記憶部139が接続される。記憶部139は、PDA1に対して着脱可能な記憶媒体であるMS3やCF4とは異なり、PDA1が内蔵するメモリである。
CPUインタフェース135には、Bluetooth等の規格に準拠した無線通信を行う無線通信部146、および、FeliCa(商標)のようなICカードに対して非接触でデータを読み書きする非接触ICカードインタフェース(I/F)147が接続されている。
外部装置152に適宜装着される磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどから読み出されたアプリケーションプログラムは、赤外線ポート62を介して行われる赤外線通信、無線通信部146を介して行われる無線通信、または、クレードル91を介して行われる有線の通信等により、必要に応じてPDA1に対して供給され、記憶部139にインストールされる。または、スロットI/F64に適宜装着されるMS3やCF4から読み出されたアプリケーションプログラムも、必要に応じて記憶部139にインストールされる。
CPUインタフェース135には、表示部11が本体部13に対して閉じた状態の場合、オン状態となり、表示部11が本体部13に対して開いた状態の場合、オフ状態となるLCD開閉スイッチ144、および、表示部11が所定の角度以上回動された場合にオン状態となるLCD回転スイッチ145が設けられている。
また、CPUインタフェース135には、リムーバブルメインバッテリ162が装着されるメインバッテリ装着部161、およびリムーバブルメインバッテリ162が取り外されたときの予備電源となる、充電式ボタン電池等から成るバックアップバッテリ163が接続されている。
図7は、LCD28に表示されるメイン画面の例を示す図である。
PDA1を用いて行われる各種の操作は、基本的には、このメイン画面から開始される。メイン画面は、標準表示領域201、シルク領域202、およびステータス領域203からなる。
標準表示領域201には、アプリケーションプログラム(ソフトウエア)が実行されているときには、その実行中のアプリケーションプログラムの画面が表示される。また、アプリケーションプログラムが実行されていないときには、図7に示すように、インストールされているアプリケーションプログラムのそれぞれに対応するアプリケーションアイコン204が表示される(ただし、厳密には、このときにおいても、アプリケーションプログラムが全く実行されていないわけではなく、アプリケーションアイコン204を表示し、ユーザに選択させるためのアプリケーションプログラムが実行されている)。
図7においては、アプリケーションアイコン204として、メモを作成するアプリケーションを実行するときに操作(スタイラス2の先端でLCD28の表面が押下)されるメモ帳アイコン204A、予定を管理するアプリケーションを実行するときに操作される予定表アイコン204Bが表示されている。
シルク領域202には、実行中のシルクプラグインに対応するユーザインタフェース(ユーザによる入力用の領域)が表示される。なお、実行されるアプリケーションによっては、シルク領域202の表示が消え、標準表示領域201とシルク領域202の全体に1つの画面が表示されることもある。
ステータス領域203には、例えば、バッテリ容量、MSスロット41に対するMS3の装着の有無や、CFスロット42に対するCF4の装着の有無、音量設定等の、PDA1の状態を示すステータスアイコン205や時刻等が表示される。
図8は、図7のメモ帳アイコン204Aが操作されたときに表示される画面の例を示す図である。
図8に示すメモの入力画面は、メモ帳アイコン204Aが操作されたときに起動する、メモを管理するソフトウエアによって表示される。
メモの入力画面は、ステータス領域203の他に、入力領域211、メモを作成するためのツールを選択するときに操作される各種のボタンが表示されるツールボタン領域212から構成される。
ユーザは、スタイラス2の先端を入力領域211に当て、その状態のままスタイラス2を移動させることで、任意の文字や記号などを入力領域211に入力することができる。例えば、図9の曲線の画像231は、スタイラス2の先端が移動した軌跡を表す。このように、ユーザは、スタイラス2を用いて入力領域211に手書きのメモをとることができる。
また、ユーザは、後に詳述するように、スタイラス2で手書きの文字や記号を入力するだけでなく、カメラ部21で撮影した静止画や動画、或いは、録音した音声などの各種のコンテンツを表す画像を貼り付けることによってもメモを作成することができる(メモにコンテンツを関連付けることができる)。
図8のツールボタン領域212には、メモに貼り付けるコンテンツの一覧を表示させるときや、既に表示しているコンテンツの一覧を閉じるときに操作される一覧表示ボタン221、図7のシルク領域202やソフトウエアのキーボードなどを表示するときに操作される文字入力ボタン222、入力領域211に手書きの文字などを入力するときに操作されるペンボタン223が用意される。
ユーザによりペンボタン223が操作されたとき、ペンモードが設定される。そのペンモードが設定されている間は、図9に示すような手書きの入力を入力領域211に対して行うことが可能となる。
また、ツールボタン領域212には、入力領域211に一度入力した文字などを消すときに操作される消しゴムボタン224の他、各種のツールを選択するときに操作されるボタンも表示される。
図10は、図9の状態(コンテンツの一覧が表示されていない状態)で一覧表示ボタン221が操作されたときに表示される画面の例を示す図である。
一覧表示ボタン221が操作されたとき、図10に示すように、ツールボタン領域212とステータス領域203の間の、それまで入力領域211の一部を形成していた領域を含む領域であるサムネイル表示領域241が形成され、そこに、入力領域211を利用して作成しているメモに貼り付けることができるコンテンツ(コンテンツの内容を表すサムネイル画像)の一覧が表示される。
サムネイル表示領域241に表示されるサムネイル画像は、コンテンツ本体のデータから生成されるものである。例えば、静止画コンテンツのサムネイル画像は、コンテンツ本体の静止画が縮小されることで生成され、動画コンテンツのサムネイル画像は、連続する画像の中から選択される、例えば、先頭の1フレーム(MPEG(Moving Picture Experts Group)方式で圧縮された動画コンテンツの場合、最初のI(Intra)ピクチャ)の画像が縮小されることで生成される。なお、音声コンテンツのサムネイル画像には、吹き出しの画像が用いられる。
図10の例においては、左から、「MOV000…」のファイル名が設定された動画コンテンツを表すサムネイル画像251、「031030…」のファイル名が設定された音声コンテンツを表すサムネイル画像252、「DSC0001」のファイル名が設定された静止画(風景画)コンテンツを表すサムネイル画像253、「DSC0002」のファイル名が設定された静止画(人物画)コンテンツを表すサムネイル画像254が表示されている。
これらのサムネイル画像で表されるコンテンツは、PDA1の内部のメモリである記憶部139やPDA1に装着されているMS3などに、その本体のデータが記憶されている。
例えば、図10の点線矢印で示すように、左から3番目の静止画コンテンツのサムネイル画像253にスタイラス2を押し当て、その状態のまま入力領域211上の位置P1まで移動させ、そこで、スタイラス2の先端をLCD28の表面から離すことで(ドラッグアンドドロップすることで)、ユーザは、サムネイル画像253を位置P1に貼り付けることができる。
図11は、位置P1にサムネイル画像253が貼り付けられた状態の画面の例を示す図である。ユーザは、このように、一覧表示されるものの中からドラッグアンドドロップすることで、作成中のメモに、静止画などの各種のカテゴリのコンテンツのサムネイル画像を貼り付けることができる。なお、ユーザは、ペンモードが設定されている状態で、位置P1に貼り付けたサムネイル画像253を入力領域211上の他の位置にさらに移動させることもできる。
例えば、ユーザは、「〜に行ったときの写真」などの手書きの文字を入力領域211に入力しておき、そのメモに写真(静止画コンテンツ)のサムネイル画像を次々貼り付けておくことで、PDA1内にある写真を容易に分類することができる。この操作は、フォルダを新規に作成し、そこに写真などのコンテンツを記録することによって分類する場合に較べて直感的な操作であり、外出先などで、僅かな時間に気軽に操作するというPDA1の性質上、好ましい。
また、ユーザは、メモに貼り付けたサムネイル画像を選択することで、そのサムネイル画像により内容が表されるコンテンツの再生を開始させることができる。
図12は、図11のサムネイル画像253を選択して、サムネイル画像253により内容が表される静止画コンテンツを再生(プレビュー)させたときの画面の例を示す図である。
サムネイル画像253が選択されたとき、静止画コンテンツのビューワ機能を有するソフトウエアが起動し、サムネイル画像253により内容が表される静止画コンテンツの本体のデータに基づいて、ステータス領域203以外の領域全体を用いて画像の表示が行われる。これにより、ユーザは、静止画コンテンツの詳細を容易に確認することができる。
なお、メモに貼り付けた動画コンテンツのサムネイル画像251を選択した場合も同様に、動画コンテンツの再生が行われ、図12に示すようなステータス領域203以外の領域を用いて画像が表示される。また、メモに貼り付けた音声コンテンツのサムネイル画像252を選択した場合、その音声コンテンツの再生が行われる。
ここで、サムネイル表示領域241の表示の詳細について説明する。
図13Aは、図10のサムネイル表示領域241のみを示す図である。
サムネイル表示領域241の右上には、サムネイル画像表示部271に表示するサムネイル画像を、それが表すコンテンツのカテゴリに応じてフィルタリングするカテゴリ選択ボタン261乃至264が表示されている。
すなわち、一覧表示ボタン221を操作したとき、サムネイル画像表示部271には、入力領域211で作成中のメモに貼り付けることができる全てのカテゴリのコンテンツのサムネイル画像が表示されるが、ユーザは、カテゴリ選択ボタン261乃至264を操作することで、サムネイル画像表示部271に表示されるサムネイル画像を制限することができる。
例えば、カメラの絵が付されたカテゴリ選択ボタン261が操作されたとき、サムネイル画像表示部271に表示されるサムネイル画像の中から、静止画コンテンツのサムネイル画像が除かれ(表示が消え)、フィルムの絵が付されたカテゴリ選択ボタン262が操作されたとき、動画コンテンツのサムネイル画像が除かれる。
また、ペンと紙の絵(メモ)が付されたカテゴリ選択ボタン263が操作されたとき、サムネイル画像表示部271に表示されるサムネイル画像の中から、メモのコンテンツを表すサムネイル画像が除かれる。
カテゴリ選択ボタン263の右隣には、吹き出しの絵が付されたカテゴリ選択ボタン264が用意されている。カテゴリ選択ボタン264が操作されたとき、サムネイル画像表示部271に表示されるサムネイル画像の中から、音声コンテンツのサムネイル画像が除かれる。
図13Bは、静止画、動画、音声のそれぞれのカテゴリのコンテンツのサムネイル画像が表示されている図13Aの状態から、カテゴリ選択ボタン262(動画コンテンツのサムネイル画像の表示を消すボタン)とカテゴリ選択ボタン264(音声コンテンツのサムネイル画像の表示を消すボタン)が操作された状態の表示を示す図である。
図13Bに示すように、サムネイル画像表示部271に表示するサムネイル画像の中から、動画と音声のコンテンツを表すサムネイル画像がフィルタリングによりカットされ、その表示が消される。
このように、サムネイル画像表示部271に表示させるサムネイル画像に、カテゴリに基づくフィルタリングをかけることができるため、ユーザは、貼り付けようとするコンテンツのサムネイル画像を迅速に探すことができる。
例えば、ある静止画コンテンツをメモに貼り付けようとしている場合、図13Bに示すように他のカテゴリのコンテンツのサムネイル画像を除いてから探すことで、ユーザは、貼り付けようとする静止画コンテンツのサムネイル画像を迅速に探すことができる。
以上のようにしてサムネイル画像表示部271に表示されるサムネイル画像からも、メモに貼り付けたサムネイル画像から、そのサムネイル画像により表されるコンテンツを再生させることができるのと同様に、コンテンツの再生を開始させることが可能とされる。
例えば、図13Aに示すように、静止画コンテンツのサムネイル画像253がカーソル281で選択されている状態でさらに選択された場合、図12を参照して説明したように、その静止画コンテンツがLCD28に拡大表示される。すなわち、ビューワ機能を提供するソフトウエアが実行され、静止画コンテンツの表示が行われる。
サムネイル画像表示部271の下には、サムネイル画像表示部271に表示させるサムネイル画像の範囲を切り替えるときに水平方向に操作されるスクロールバー272が表示され、その下には、カーソル281で選択されているコンテンツの名前等を表示するコンテンツ情報表示部273が表示される。
なお、図13Aにおいて、動画コンテンツのサムネイル画像251上に表示されているMS3の外観を表す画像251Aは、その動画コンテンツが外部のメモリであるMS3に記憶されていることを表している。また、フィルムの絵を表す画像251Bは、それが付されているサムネイル画像251が動画コンテンツであることを表している(静止画コンテンツのサムネイル画像と区別できるようになっている)。
図14は、図8の予定表アイコン204Bが操作されたときに表示される画面の例を示す図である。図14において、図8と同じ部分には同一の符号を付している。
予定表アイコン204Bが操作されたとき、予定表を管理するソフトウエアが起動し、図14に示すような予定表が表示される。
予定表は、ステータス領域203の他に、所定の間隔で時刻が表示される予定入力領域301、予定入力領域301の表示形式(週単位、月単位による表示形式)を変更するときに操作されるボタンなどが用意される表示切替領域302、予定を入力するためのツールを選択するときに操作されるボタンが用意されるツールボタン領域303から構成される。
ツールボタン領域303には、予定表に貼り付けるコンテンツのサムネイル画像の一覧を表示させるときに操作される一覧表示ボタン221、予定入力領域301に手書きの文字や記号などを入力するときに操作されるペンボタン223、一度入力した手書きの文字などを消すときに操作される消しゴムボタン224などの、図8のツールボタン領域212に用意されるものと同じボタンが用意される。
また、ツールボタン領域303には、これらのボタンの他、予定入力領域301に入力した予定の1つの項目を選択し、その選択した項目を移動したり、内容を変更する手モードを選択するときに操作される手ボタン311が表示される。この手ボタン311は、上述したメモの作成時には用意されないボタンである。
図15は、図14の画面に対して、ある予定が入力された状態の画面の例を示す図である。
予定入力領域301の9時(9:00)の欄に入力された予定321(「会議」の文字が入力されている予定)は、例えば、ユーザにより手ボタン311が操作され、手モードが設定されてから入力されたものである。9時の時間帯が、予定を入力する時間帯としてスタイラス2で選択された場合、画面の下方には図7のシルク領域202が表示されるため、ユーザは、その領域を用いて予定を入力する(「会議」の文字を入力する)。
なお、一覧表示ボタン221の右隣にあるボタンは、予定を新規に作成するときに操作されるボタンであり、このボタンが操作された場合も、手モードが設定された状態で時間帯が指定されたときと同様に、新たな予定を入力することが可能とされる。また、ツールボタン領域303にも文字入力ボタン222(図8)が表示されるようにしてもよい。
図16は、図15の状態の画面に対して、「重要!」の手書き文字と、予定321を指す矢印の画像からなる画像331が入力された状態の画面を示す図である。
ペンボタン223を操作し、ペンモードを設定することによって、ユーザは、予定入力領域301に手書きの文字などを入力することができる。
このように、予定を入力する場合でも、ユーザは、所定の時間帯に予定の項目を入力するだけでなく、上述したメモを作成する場合と同様に手書きの文字を入力することができる。
図17は、図16の状態(サムネイル画像の一覧が表示されていない状態)において、一覧表示ボタン221が操作されたときに表示される画面の例を示す図である。
一覧表示ボタン221が操作されたとき、図17に示すように、ツールボタン領域303とステータス領域203の間の、それまで予定表入力領域301の一部を形成していた領域を含む領域であるサムネイル表示領域241が形成され、そこに、予定入力領域301に貼り付けることができるコンテンツのサムネイル画像の一覧が表示される。
例えば、音声コンテンツのサムネイル画像352をスタイラス2で選択し、図17の点線矢印で示すように、その状態のまま予定入力領域301上の位置P2まで移動させ、スタイラス2の先端をLCD28の表面から離すことで、ユーザは、サムネイル画像352を位置P2に貼り付けることができる。
図18は、位置P2に音声コンテンツのサムネイル画像352が貼り付けられた状態の画面の例を示す図である。
ユーザは、このように、一覧表示されるものの中からドラッグアンドドロップすることで、予定表に、各種のカテゴリのコンテンツのサムネイル画像を貼り付けることができる(予定表にコンテンツを関連付けることができる)。
以上のようにしてサムネイル画像を予定表に貼り付けることができるため、ユーザは、例えば、9時からの会議(図18の予定321の「会議」)が終了したとき、そのときに録音しておいた音声コンテンツのサムネイル画像351を予定321の周りに貼り付けておくことで、後から、その会議で録音した音声コンテンツを容易に探すことができる。
そのサムネイル画像の貼り付けも、サムネイル表示領域241に表示されるものの中からドラッグアンドドロップするだけの非常に直感的な操作である。
また、予定表に貼り付けたサムネイル画像351を選択することで、そのサムネイル画像351により表される音声コンテンツの再生を開始させることができるため、ユーザは、会議で録音した音声を予定表から容易に再生させることができる。
なお、図17、図18において、サムネイル画像353,354は、予め作成しておいたメモのサムネイル画像である。
以上においては、サムネイル画像の一覧(サムネイル表示領域241)は、メモや予定表に重ねて表示されるものとしたが、この場合、一覧と重なってしまうメモや予定表の部分にサムネイル画像を貼り付けることが困難になる。例えば、ユーザは、図17の予定入力領域301の右側に表示されるようなスクロールバーを用いて表示範囲を切り替えてから、サムネイル画像を貼り付ける必要がある。
従って、サムネイル画像の一覧がメモなどに重ねて表示されるのではなく、メモなどの下(図8の表示を基準として、入力領域211とツールボタン領域212の間)に表示されるようにしてもよい。
図19A乃至Dは、メモの入力画面を模式的に示す図である。一覧表示ボタン221を除いて、図8に示すような各種のボタンなどについては、ここでは、その図示を省略している。また、ステータス領域203やツールボタン領域212などの入力領域211に較べて比較的狭い領域についても図示を省略している。
図19Aは、サムネイル表示領域241が表示されていない状態のメモの入力画面の例を示す図である。
図19Aの表示範囲は、LCD28のサイズより定まる固定サイズの範囲であり、例えば、図8のステータス領域203以外の範囲に相当する。ユーザは、この範囲にある文字などを確認することができる。図19Aにおいては、表示範囲にあるメモの入力領域211には手書きの図形(楕円と方形)が入力されている。
図19Bは、図19Aの状態で一覧表示ボタン221が操作されたときに表示されるメモの入力画面の例を示す図である。
一覧表示ボタン221が操作されたとき、入力領域211の下方にサムネイル表示領域241が表示される。このとき、表示範囲は固定であるから、入力領域211がサムネイル表示領域241の分だけ全体的に上に移動し、一部が表示範囲から外れる。
表示範囲から外れた部分は、ユーザが確認することができない仮想的な表示範囲(仮想範囲)となる。図19A乃至Dにおいて、点線は仮想範囲を示す。後述する、図20A乃至Dにおいても同様である。
すなわち、図10などにおいては、それまで表示されていた入力領域211の上に重ねてサムネイル表示領域241が表示されるものとしたが、この例においては、入力領域211の下方に表示される。
これにより、ユーザは、入力領域211の下方にも(図10の場合、サムネイル表示領域241が表示されることにより隠れてしまう部分にも)、サムネイル画像を貼り付けることができる。なお、図19B等のサムネイル表示領域241に示す4つの四角はサムネイル画像を表している。
ところで、この場合、表示範囲から外れてしまった入力領域211にサムネイル画像を貼り付けたり、文字を入力したりするためには、その領域を表示範囲内に戻す必要がある。そこで、PDA1においては、例えば、入力領域211の上をスタイラス2の先端でなぞることによって、スクロールバーなどを利用することなく、入力領域211とサムネイル表示領域241全体(表示範囲と仮想範囲の領域全体)を一体的にスクロールすることができるようになされている。
例えば、図19Cの表示範囲の位置P11から、その下方の位置P12まで、ユーザがスタイラス2の先端をLCD28に押し当てた状態で移動させたとき(なぞったとき)、位置P11から位置P12までの縦方向の移動量に応じて、入力領域211とサムネイル表示領域241が一体としてスクロールする。
図19Dは、スクロールした状態を示す図である。
図19Dの画面においては、仮想範囲にあった入力領域211の一部が表示範囲に移動し、反対に、サムネイル表示領域241の下方の一部が表示範囲から外れている。
このように、ユーザは、スクロールバーなどを利用することなく、直感的な操作で表示をスクロールさせることができる。また、スクロールバーが不要となることから、入力領域211をより広く確保することができる。
図20A乃至Dは、他の方法によるスクロールについて示す図である。
上述したように、ユーザは、サムネイル表示領域241に表示されているサムネイル画像を入力領域211上などに移動させることができるが、この例においては、そのサムネイル画像を移動させることに応じてスクロールが行われる。
例えば、図20Aに示すように、ユーザが左から2番目のサムネイル画像を選択し、それを入力領域211上の位置P13まで移動させたとき、その移動に追従するようにサムネイル画像の表示位置も移動する。図20Bは、位置P13までサムネイル画像が移動した状態を示している。
この状態から、表示範囲の上端付近にある図20Cの位置P14までサムネイル画像が移動されたとき、その上端付近の位置をユーザが押し当てている期間に応じて、入力領域211とサムネイル表示領域241が一体的に下方向にスクロールする。すなわち、上方にある仮想範囲の領域にサムネイル画像を移動させるような操作を行った場合、仮想範囲にあった入力領域211の一部が徐々に表示範囲内に入る。
図20Dは、図20Cに示すように、ユーザがサムネイル画像を表示範囲の上端付近まで移動させ、そのままLCD28を押し当てていたときに表示される画面を示す。図20Dにおいては、入力領域211の全体が表示範囲に現れている。
これにより、ユーザは、図20Cの状態では仮想範囲にあった入力領域211の位置P15にサムネイル画像を貼り付けることができる。なお、表示範囲上のある位置を基準としたとき、相対的には、図20Dの位置P15は図20Cの位置P14と同じ位置である(ユーザは、位置P14からスタイラス2を移動させなくても、位置P15にサムネイル画像を移動させることができる)。
このように、ユーザは、一覧表示ボタン221を再度操作し、サムネイル表示領域241の表示を消したり、スクロールバーなどを利用することなく、サムネイル画像を移動させるだけの直感的な操作で表示をスクロールさせることができる。また、仮想範囲にあった領域を表示範囲内に移動させて、サムネイル画像を貼り付けることができる。
なお、図20Dに示すように、ユーザが位置P15でスタイラス2による押し当てを止め、その位置にサムネイル画像を貼り付けたとき、メモの入力画面は図20Aの表示に戻る。これにより、ユーザは、次に貼り付けるサムネイル画像を効率的に選択することができる。
以下、図8乃至図11に示したものと同様の画面の図を用いて、スクロールについて説明する。
図21は、メモの入力画面の例を示す図である。図21の画面は、図8の画面と同様である。重複する説明については省略する。
図21の入力画面には、ユーザにより入力された手書きの軌跡を表す手書きデータ#1乃至#3が入力されている。また、一覧表示ボタン221が操作されていないことから、サムネイル表示領域241はまだ表示されていない。
図22は、図21の状態で、一覧表示ボタン221が操作されたときに表示される入力画面の例を示す図である。
入力領域211(ツールボタン領域212)の下にはサムネイル表示領域241が新たに表示され、入力領域211の全体が上方に移動している。入力領域211の全体が上方に移動することにより、手書きデータ#1が表示範囲(LCD28)から外れ、表示が消えている。なお、サムネイル表示領域241には、3つのサムネイル画像371乃至373が表示されている。
これにより、ユーザは、例えば、手書きデータ#3の近傍などの入力領域211の下方にも、サムネイル画像を容易に貼り付けることができる。
図19A乃至Dを参照して説明したように、ユーザが、スタイラス2の先端で入力領域211上を下方向になぞった場合、ステータス領域203以外の領域である入力領域211とサムネイル表示領域241(それらの領域の間にあるツールボタン領域212)が一体となって下方向にスクロールする。
入力領域211とサムネイル表示領域241が一体となってスクロールした入力画面の例を図23に示す。
図23の例においては、入力領域211とサムネイル表示領域241が一体となって下方向にスクロールすることによって、入力領域211のそれまで表示範囲から外れていた手書きデータ#1の一部が新たに表示されるとともに、サムネイル表示領域241のそれまで表示範囲に入っていた一部の表示が消えている。
これにより、図23に示すようにスクロールさせた後、ユーザは、手書きデータ#1の近傍にサムネイル画像を貼り付けたりすることができる。
図24は、サムネイル画像を貼り付けるために移動させている状態を示す図である。
図24においては、点線矢印で示すように、図22の入力画面においてサムネイル画像372が選択され、サムネイル画像372にスタイラス2を押し当てたまま、位置P21まで移動されている。
なお、図24においては、サムネイル画像が重なっている手書きデータの部分は、その表示が消えてしまっているが、貼り付け位置が確定される前の移動中のサムネイル画像については、ある程度の透明度を有して表示されるようにしてもよい。これにより、ユーザは、サムネイル画像の下にある手書きデータを確認しながら貼り付け位置を決めることができる。
図24の状態から、ユーザがさらに上方にサムネイル画像372を移動させ、表示範囲の上端(サムネイル画像をそれ以上移動させることができない位置)で、スタイラス2での押し当てが続けられた場合、押し当てが続けられている期間に応じて入力領域211とサムネイル表示領域241が一体的に下方向にスクロールする。
図25は、サムネイル画像372が表示範囲の上端の位置P22に移動することに応じて入力領域211とサムネイル表示領域241が下方向にスクロールしている状態を示す。
図25の例においては、図24の状態では表示範囲に含まれていなかった手書きデータ#1の一部が新たに表示されるとともに、図24の状態では表示範囲に含まれていたサムネイル表示領域241の一部が表示範囲から外れ、表示が消えている。
例えば、図25の状態が保持され、スクロールすることで現れる図26の位置P23(位置P22から右斜め上の点)でスタイラス2での押し当てが終了されたとき、その位置にサムネイル画像372が貼り付けられる。
これにより、ユーザは、サムネイル表示領域241を表示したことによって表示範囲から外れてしまっていた、入力領域211の上端付近にもサムネイル画像を貼り付けることができる。
図27は、図21の状態で文字入力ボタン222が操作されたときに表示されるメモの入力画面の例を示す図である。
この例においては、入力領域211(ツールボタン領域212)の下には、サムネイル表示領域241ではなくソフトウエアのキーボードが表示されている。
文字入力ボタン222が操作されたとき、キーボートを表示するキーボード領域381が入力領域211の下に新たに表示され、入力領域211の全体が上方に移動する。入力領域211の全体が上方に移動することに応じて、手書きデータ#1が表示範囲から外れ、表示が消えている。
キーボード領域381の下には、ユーザがキーボード領域381のそれぞれのボタンを操作して入力した文字や記号が表示される入力文字領域382が設けられている。
例えば、ユーザがキーボード領域381の左上の「あ」のボタンを連続して押したとき、入力文字領域382には、図28に示されるように、「あ」の文字が、ユーザがボタンを押した数だけ表示される。
ユーザは、入力文字領域382に表示させた文字にスライラス2の先端を押し当て、その状態を保持したまま入力領域211まで移動させることにより、上述したサムネイル画像の場合と同様に、入力文字領域382に表示されている文字を、まとめて入力領域211の所定の位置に入力することができる。
図29は、入力文字領域382に表示された「あああ」の文字が入力領域211の位置P31まで移動した状態を示している。移動中(スライラス2での押し当て中)の文字には枠が付される。
例えば、図30に示すように、図29の位置P31から表示範囲の上端付近にある位置P32まで移動されたとき、サムネイル画像を表示範囲の上端に移動したときと同様に、ステータス領域203以外の入力領域211、ツールボタン領域212、キーボード領域381、入力文字領域382が一体となり下方向にスクロールする。
図30の例においては、それらの領域が下方向にスクロールすることに応じて、入力領域211の上方に入力されていた手書きデータ#1や、その近傍に貼り付けられていたサムネイル画像372の一部が新たに表示されている。また、表示範囲から外れたキーボード領域381の下方の一部と入力文字領域382の表示が消えている。
このように、ユーザは、ソフトウエアのキーボードを用いて入力した文字も、直感的な操作で、入力中のメモに貼り付けることができる。また、スクロールバーなどを利用することなく、表示のスクロールを行うことができる。
図31は、位置P32から、さらに、「あああ」の文字が入力領域211の左上端の位置P33まで移動され、そこに入力が確定された状態を示している。スライラス2による押し当てが終了したとき、その終了した位置に文字が貼り付けられる(入力される)。文字が入力されたとき、移動中には付されていた文字を囲む枠が消える。
以上のようにして表示を制御するPDA1の動作については、フローチャートを参照して後に詳述する。
次に、PDA1のソフトウエア構成について説明する。
なお、以下において、メモの入力を管理するソフトウエアにより作成される1つのメモや、予定を管理するソフトウエアにより作成される1つの予定表をデータベースともいう。
図32は、PDA1に用意されるソフトウエアの例を示すブロック図である。
PDA1には、複数のデータベース処理ソフトウエアからなるデータベース処理ソフトウエア群401、複数のコンテンツ処理ソフトウエアからなるコンテンツ処理ソフトウエア群402、サムネイル表示ソフトウエア403が用意されている。これらのソフトウエアは記憶部139(図6)などに記憶されている。
データベース処理ソフトウエア群401は、メモのデータベースを管理するメモデータベース処理ソフトウエア411−1と、予定表のデータベースを管理する予定表データベース処理ソフトウエア411−2から構成される。以下、メモデータベース処理ソフトウエア411−1と予定表データベース処理ソフトウエア411−2を個々に区別する必要がない場合、まとめてデータベース処理ソフトウエア411という。
なお、図32においては、データベース処理ソフトウエアが2つしか示されていないが、実際には、PDA1で扱われる各種のデータベース毎にデータベース処理ソフトウエアが用意される。
データベース処理ソフトウエア411は、データベースの作成機能をユーザに提供し、例えば、スタイラス2による手書き文字の入力や、サムネイル画像の貼り付けを受け付け、データベースを作成する。
データベース処理ソフトウエア411は、図33に示すようなデータ構造を有するデータベース構成情報を用いてそれぞれのデータベースを管理する。
図33の例においては、データベースに貼り付けられたサムネイル画像により表されるコンテンツ等の種類、サムネイル画像のリンク先(コンテンツ本体のデータの記憶場所)、サムネイル画像が貼り付けられたデータベース上の位置を表す座標、コンテンツに関するその他の情報がデータベース構成情報により表されている。
サムネイル画像が貼り付けられたり、手書き文字が入力される毎に、これらの情報がデータベース構成情報に登録される。図33の例においては、データベース構成情報の2段目に、あるデータベースに入力された手書き文字のリンク先はリンク情報#1であり、入力位置は座標(x1,y1)であることが登録されている。また、手書き文字の幅W1、高さh1とともに、その他の情報として、手書き文字の色、ペンの太さ等が登録されている。
同様に、同じデータベースに貼り付けられた動画コンテンツ、静止画コンテンツ、テキスト、音声コンテンツのそれぞれのサムネイル画像のリンク情報、位置、幅、高さ、その他の情報も登録されている。
なお、図33において、コンテンツの種類にある「テキスト」は、例えば、予定表のデータベースに入力された予定である。また、データベース構成情報に登録される「座標」は、例えば、サムネイル画像の左上隅の座標である。
図32の説明に戻り、データベース処理ソフトウエア411により管理されているデータベース431にはコンテンツ#1乃至#3が関連付けられている(コンテンツ#1乃至#3のそれぞれのサムネイル画像がデータベース431に貼り付けられている)。
すなわち、この場合、データベース処理ソフトウエア411は、データベース構成情報を用いて、データベース431に関連付けられているコンテンツ#1乃至#3のコンテンツの種類、サムネイル画像のリンク情報、貼り付け位置、その他の情報を管理している。
データベース処理ソフトウエア411は、データベース431に貼り付けられたサムネイル画像が選択され、コンテンツの再生が指示されたとき、コンテンツ処理ソフトウエア群402を構成するコンテンツ処理ソフトウエアのいずれかにコンテンツの再生を要求する。
また、データベース処理ソフトウエア411は、ユーザにより一覧表示ボタン221が操作され、サムネイル画像の一覧の表示が指示されたとき、そのことをサムネイル表示ソフトウエア403に通知し、サムネイル画像の一覧を表示させる。
コンテンツ処理ソフトウエア群402は、静止画コンテンツの再生(プレビュー)を管理する静止画コンテンツ処理ソフトウエア421−1、動画コンテンツの再生を管理する動画コンテンツ処理ソフトウエア421−2、音声コンテンツの再生を管理する音声コンテンツ処理ソフトウエア421−3、コンテンツとして用意されているメモの再生(プレビュー)を管理するメモコンテンツ処理ソフトウエア421−4から構成される。以下、静止画コンテンツ処理ソフトウエア421−1乃至メモコンテンツ処理ソフトウエア421−4を個々に区別する必要がない場合、まとめてコンテンツ処理ソフトウエア421という。
コンテンツ処理ソフトウエア421は、記憶部139やMS3に記憶されている全てのコンテンツ432を管理しており、コンテンツのビューワの機能を提供する。データベース処理ソフトウエア411から静止画コンテンツの再生が要求されたとき、静止画コンテンツ処理ソフトウエア421−1により静止画コンテンツの再生が行われ、動画コンテンツの再生が要求されたとき、動画コンテンツ処理ソフトウエア421−2により動画コンテンツの再生が行われる。
また、音声コンテンツの再生が要求されたとき、音声コンテンツ処理ソフトウエア421−3により音声コンテンツの再生が行われ、メモの再生が要求されたとき、メモコンテンツ処理ソフトウエア421−4によりメモの再生が行われる。
なお、メモの再生は、それを作成したデータベース処理ソフトウエア411(メモデータベース処理ソフトウエア411−1)により行われるようにしてもよい。
上述したように、ユーザは、サムネイル表示領域241に一覧表示されているサムネイル画像を選択することによってもコンテンツを再生させることができる。サムネイル表示領域241に表示されているサムネイル画像が選択されたとき、サムネイル表示ソフトウエア403からそのことが通知され、再生が指示されたコンテンツのカテゴリに応じて、コンテンツ処理ソフトウエア421によりコンテンツの再生が行われる。
サムネイル表示ソフトウエア403は、データベース処理ソフトウエア411からサムネイル画像の一覧の表示が要求されたとき、コンテンツ432を参照して、それぞれのコンテンツを表すサムネイル画像を生成し、サムネイル画像をサムネイル表示領域241に一覧表示させる。
また、サムネイル表示ソフトウエア403は、サムネイル画像として一覧表示させるコンテンツのカテゴリを制限することが要求されたとき(カテゴリ選択ボタン261乃至264のいずれかが操作されたとき)、その要求に応じてサムネイル画像の表示を更新させる。
さらに、サムネイル表示ソフトウエア403は、サムネイル表示領域241に表示されているサムネイル画像が選択されたとき、コンテンツの再生をコンテンツ処理ソフトウエア421に要求する。
図34は、図32の各ソフトウエアが実行されることで実現されるPDA1の機能構成例を示すブロック図である。
データベース処理ソフトウエア411により実現されるデータベース構成情報管理部451は、図33に示すようなデータベース構成情報を管理し、必要に応じてデータベース構成情報をデータベース表示制御部452に提供する。
また、データベース構成情報管理部451は、データベースに貼り付けられているサムネイル画像が選択され、コンテンツの再生が指示されたことをタッチパネル36からの出力に基づいて検出した場合、それを再生要求部453に通知する。
データベース表示制御部452は、データベース構成情報管理部451から提供される情報に従って、図8の入力領域211や図15の予定入力領域301の表示を制御する。
例えば、データベース表示制御部452は、データベース構成情報管理部451から図33のデータベース構成情報が提供されたとき、手書き文字(2段目に登録されている情報)を、その他の情報で表される色、太さで、座標(x1,y1)で表される位置に表示させるとともに、他のコンテンツについても、サムネイル画像等をデータベース上の所定の位置に、所定の大きさで表示させる。サムネイル画像の大きさを表す情報は、例えば、図33のその他の情報として記述されている。
再生要求部453は、静止画コンテンツのサムネイル画像が選択された場合、静止画コンテンツ処理ソフトウエア421−1の静止画コンテンツ再生部471−1に静止画コンテンツの再生を要求し、動画コンテンツのサムネイル画像が選択された場合、動画コンテンツ処理ソフトウエア421−2の動画コンテンツ再生部471−2に動画コンテンツの再生を要求する。
また、再生要求部453は、音声コンテンツのサムネイル画像が選択された場合、音声コンテンツ処理ソフトウエア421−3の音声コンテンツ再生部471−3に音声コンテンツの再生を要求し、メモのサムネイル画像が選択された場合、メモコンテンツ処理ソフトウエア421−4のメモコンテンツ再生部471−4にメモの再生を要求する。
表示要求部454は、一覧表示ボタン221に対するユーザの操作を検出し、サムネイル画像の一覧を表示することが指示された場合、それをサムネイル表示ソフトウエア403の検索部461に要求し、一方、サムネイル画像の一覧を閉じることが指示された場合、それを表示制御部463に要求する。
サムネイル表示ソフトウエア403の検索部461は、静止画コンテンツの検索を行う静止画コンテンツ検索部461−1、動画コンテンツの検索を行う動画コンテンツ検索部461−2、音声コンテンツの検索を行う音楽コンテンツ検索部461−3、メモの検索を行うメモコンテンツ検索部461−4から構成される。このように、PDA1には、コンテンツの検索を行う機能部がコンテンツのカテゴリ毎に用意される。
静止画コンテンツ検索部461−1乃至メモコンテンツ検索部461−4のそれぞれは、サムネイル画像の一覧を表示することがデータベース処理ソフトウエア411の表示要求部454から要求されることに応じてコンテンツの検索を行い、検索結果をサムネイル画像生成部462に出力する。
静止画コンテンツ検索部461−1乃至メモコンテンツ検索部461−4によるコンテンツの検索は、PDA1にMS3やCF4が装着されている場合には、MS3、CF4、および記憶部139を対象として行われ、MS3やCF4が装着されていない場合には、記憶部139のみを対象として行われる。
サムネイル画像生成部462は、検索部461から供給される検索結果に基づいて、各コンテンツのサムネイル画像を生成する。サムネイル画像生成部462により生成されたサムネイル画像は表示制御部463に出力される。
なお、サムネイル画像を生成するサムネイル画像生成部462は、コンテンツ処理ソフトウエア421により実現されるようにしてもよい。この場合、検索部461によるコンテンツの検索結果がコンテンツ処理ソフトウエア421のサムネイル画像生成部462に通知され、その通知に応じてサムネイル画像が生成される。生成されたサムネイル画像は、サムネイル表示ソフトウエア403の表示制御部463に供給され、LCD28に表示される。
表示制御部463は、サムネイル画像生成部462から供給されるサムネイル画像をサムネイル表示領域241に一覧表示させる。サムネイル表示領域241を表示させている間、表示制御部463は、例えば、サムネイル表示領域241と、その上方にある入力領域211の一体的なスクロールを制御する。
また、表示制御部463は、タッチパネル36からの出力に基づいて、カテゴリ選択ボタン261乃至264のいずれかが操作されたことを検出した場合、操作されたボタンに対応するカテゴリのコンテンツのサムネイル画像を除くように一覧の表示を更新する。
さらに、表示制御部463は、タッチパネル36からの出力に基づいて、サムネイル表示領域241に表示させているサムネイル画像が選択され、コンテンツを再生することがユーザから指示された場合、そのことを再生要求部464に通知する。
再生要求部464は、データベース処理ソフトウエア411の再生要求部453と同様に、再生が指示されたコンテンツのカテゴリに応じて、静止画コンテンツ再生部471−1乃至メモコンテンツ再生部471−4のいずれかにコンテンツの再生を要求する。
次に、PDA1の動作についてフローチャートを参照して説明する。
始めに、図35のフローチャートを参照して、メモデータベース処理ソフトウエア411−1により実行されるメモ入力処理について説明する。予定表データベース処理ソフトウエア411−2によっても同様の処理が行われる。
ステップS1において、データベース構成情報管理部451は、タッチパネル36からの出力に基づいて、例えば、手書き文字の入力やサムネイル画像の貼り付けなどの、入力領域211に対するユーザの入力があったか否かを判定する。
データベース構成情報管理部451は、ステップS1において、ユーザからの入力があったと判定した場合、ステップS2に進み、その入力に応じてデータベース構成情報を更新する。ステップS2においては、データベース構成情報の更新に伴い、その更新が、データベース表示制御部452によりメモの表示に反映される。
これにより、例えば、曲線の手書き文字がユーザにより入力された場合、この手書き文字の入力された位置を表す座標や、色、ペンの太さがデータベース構成情報に登録される。また、新たに登録された情報がメモの表示に反映され、図9に示すような画像231がLCD28に表示される。
ステップS1において、ユーザからの入力がないと判定された場合、ステップS2の処理はスキップされる。
ステップS3において、表示要求部454は、サムネイル画像の一覧を表示済みであるか否かを判定し、まだ表示していないと判定した場合、ステップS4に進む。
ステップS4において、表示要求部454は、サムネイル画像の一覧の表示が指示されたか否かをタッチパネル36からの出力に基づいて判定する。
一覧表示ボタン221が操作されたため、ステップS4において、サムネイル画像の一覧の表示が指示されたと判定した場合、表示要求部454は、ステップS5に進み、サムネイル画像の一覧の表示をサムネイル表示ソフトウエア403(検索部461)に要求する。
この要求に応じて、サムネイル表示ソフトウエア403においては、サムネイル画像の一覧の表示が行われる。サムネイル表示ソフトウエア403による処理の詳細については図36のフローチャートを参照して後述する。
一方、ステップS3において、サムネイル画像の一覧を表示済みであると判定された場合、ステップS4およびS5はスキップされる。
ステップS6において、データベース構成情報管理部451は、入力領域211に対するサムネイル画像の貼り付けが、サムネイル表示ソフトウエア403の表示制御部463から通知されたか否かを判定する。
サムネイル画像の一覧から選択されたサムネイル画像が、ドラッグアンドドロップにより入力領域211に貼り付けられたとき、そのことが表示制御部463から通知されてくる(図38のステップS52)。
データベース構成情報管理部451は、ステップS6において、サムネイル画像の貼り付けが通知されてきたと判定した場合、ステップS7に進み、データベース構成情報を更新する。このときも、データベース構成情報の更新がメモの表示に反映される。
これにより、例えば、図10に示すように、サムネイル画像253がドラッグアンドドロップにより位置P1に貼り付けられたとき、そのサムネイル画像253により表されるコンテンツ本体のデータの記録場所を表すリンク情報や、位置P1の座標等がデータベース構成情報に登録され、表示に反映される(図11)。
ステップS4において、サムネイル画像の一覧の表示が指示されていないと判定された場合、ステップS5乃至S7はスキップされる。また、ステップS6において、サムネイル画像の貼り付けが通知されていないと判定された場合、ステップS7はスキップされる。
ステップS8において、データベース構成情報管理部451は、データベースに貼り付けたコンテンツの再生がユーザから指示されたか否かを判定し、サムネイル画像が選択されたことから、コンテンツの再生が指示されたと判定した場合、そのことを再生要求部453に通知する。
再生要求部453は、ステップS9において、コンテンツの再生をコンテンツ処理ソフトウエア421に対して要求する。コンテンツ処理ソフトウエア421においては、ここでの要求に応じてコンテンツの再生が行われる。コンテンツ処理ソフトウエア421による処理については図40のフローチャートを参照して後述する。
ステップS8において、コンテンツの再生が指示されていないと判定された場合、ステップS9はスキップされる。
データベース構成情報管理部451は、ステップS10において、メモの作成を終了するか否かを判定し、終了しないと判定した場合、ステップS1に戻り、それ以降の処理を繰り返し実行する。
一方、ステップS10において、データベース構成情報管理部451は、例えば、図7のメインの画面に戻ることが指示されたため、メモの作成を終了させると判定した場合、作成中のメモに関するデータベース構成情報を保存し、処理を終了させる。
次に、図36のフローチャートを参照して、サムネイル表示ソフトウエア403により実行されるサムネイル画像の表示制御処理について説明する。
この処理は、データベース処理ソフトウエア411の表示要求部454から要求(図35のステップS5)があったときに開始される。
ステップS21において、検索部461は、記憶部139やMS3などに記憶されているコンテンツを対象として、データベースに貼り付けることのできる全てのカテゴリのコンテンツの検索を行う。
すなわち、静止画コンテンツ検索部461−1により静止画コンテンツの検索が行われ、動画コンテンツ検索部461−2により動画コンテンツの検索が行される。また、音声コンテンツ検索部461−3により音声コンテンツの検索が行われ、メモコンテンツ検索部461−4によりメモコンテンツの検索が行われる。静止画コンテンツ検索部461−1至メモコンテンツ検索部461−4によるそれぞれの検索結果は、サムネイル画像生成部462に出力される。
サムネイル画像生成部462は、ステップS22において、それぞれのカテゴリのコンテンツのサムネイル画像を生成し、生成したサムネイル画像を表示制御部463に出力する。
ステップS23において、表示制御部463は、サムネイル画像の一覧を表示させる。これにより、図22に示すように、サムネイル表示領域241がLCD28に新たに表示され、それに伴い、入力領域211の全体が上方に移動する。
ステップS24において、表示制御部463は、タッチパネル36からの出力に基づいて、サムネイル画像のカテゴリの選択が行われたか否かを判定し、カテゴリ選択ボタン261乃至264のいずれかが操作され、カテゴリの選択が行われたと判定した場合、ステップS25に進む。
ステップS25において、表示制御部463は、ユーザによる入力に応じてサムネイル画像の表示を更新させる。表示制御部463は、例えば、カテゴリ選択ボタン261が操作されたとき、既に表示させているサムネイル画像の中から、静止画コンテンツのサムネイル画像を除くことで表示を更新し、カテゴリ選択ボタン262が操作されたとき、動画コンテンツのサムネイル画像を除くことで表示を更新する。カテゴリ選択ボタン263,264が操作されたときも同様に、メモ、音声コンテンツのサムネイル画像が除かれることで表示が更新される。
ステップS24において、カテゴリの選択が行われていないと判定された場合、ステップS25はスキップされる。
ステップS26において、表示制御部463は、タッチパネル36からの出力に基づいて、サムネイル表示領域241にサムネイル画像を表示させているコンテンツの再生が指示されたか否かを判定する。
サムネイル画像が選択されたことから、ステップS26において、コンテンツの再生が指示されたと判定した場合、表示制御部463は、そのことを再生要求部464に通知する。
再生要求部464は、ステップS27において、コンテンツの再生をコンテンツ処理ソフトウエア421に要求する。再生要求部464は、静止画コンテンツのサムネイル画像が選択された場合、静止画コンテンツ再生部471−1に静止画コンテンツの再生を要求し、動画コンテンツのサムネイル画像が選択された場合、動画コンテンツ再生部471−2に動画コンテンツの再生を要求する。また、再生要求部464は、音声コンテンツのサムネイル画像が選択された場合、音声コンテンツ再生部471−3に音声コンテンツの再生を要求し、メモのサムネイル画像が選択された場合、メモコンテンツ再生部471−4にメモの再生を要求する。
ステップS26において、コンテンツの再生が指示されていないと判定された場合、ステップS27はスキップされ、処理は終了される。
このようにしてサムネイル表示領域241が表示されている間、次の図37乃至図39の処理が行われる。
次に、図37乃至図39のフローチャートを参照して、ユーザ操作に応じて表示範囲のスクロールを行うサムネイル表示ソフトウエア403の処理について説明する。
ステップS41において、表示制御部463は、タッチパネル36からの入力に基づいて、Pen Downがあったか否か(スタイラス2によりLCD28が押し当てられたか否か)を判定し、Pen Downがあったと判定するまで待機する。
表示制御部463は、ステップS41において、Pen Downがあったと判定した場合、ステップS42に進む。
ステップS42において、表示制御部463は、Pen Downの位置がサムネイル表示領域241のサムネイル画像の上か否か、すなわち、サムネイル画像が選択されたか否かを判定し、サムネイル画像の上ではないと判定した場合、ステップS43に進む。
ステップS43において、表示制御部463は、次に、Pen Downの位置が、一覧表示ボタン221上であるか否かを判定する。例えば、サムネイル表示領域241が表示されていない状態で一覧表示ボタン221が操作された場合、サムネイル表示領域241が新たに表示されるが、サムネイル表示領域241が表示されている状態で一覧表示ボタン221が操作された場合、サムネイル表示領域241の表示は終了される。
表示制御部463は、ステップS43において、Pen Downの位置が一覧表示ボタン221上であると判定した場合、ステップS44に進み、Pen Up(スタイラス2による押し当ての終了)があったか否かを判定する。表示制御部463は、ステップS44において、Pen Upがあったと判定するまで待機する。
表示制御部463は、ステップS44において、Pen Upがあったと判定した場合、ステップS45に進み、Pen Upの位置が一覧表示ボタン221の上であるか否か、すなわち、一覧表示ボタン221が操作されたか否かを判定する。
ステップS45において、Pen Upの位置が一覧表示ボタン221の上ではないと判定した場合、表示制御部463は、ステップS41に戻り、それ以降の処理を繰り返し、一覧表示ボタン221の上であると判定した場合、処理を終了させる。Pen Downが次に検出されたとき、以上の処理が繰り返される。
一方、ステップS42において、表示制御部463は、Pen Downの位置がサムネイル表示領域241のサムネイル画像の上であると判定した場合、ステップS46(図38)に進む。
ステップS46において、表示制御部463は、Pen Move(スタイラス2を押し当てた状態での押し当て位置の移動)があったか否かを判定する。
表示制御部463は、ステップS46において、Pen Moveがあったと判定した場合、ステップS47に進み、スライラス2の移動に追従するように、選択されたサムネイル画像の表示位置を移動させる。
ステップS48において、表示制御部463は、サムネイル画像が表示範囲の端に移動され、そこで、移動を続ける操作が行われているか否かを判定する。
表示制御部463は、ステップS48において、表示範囲の端でサムネイル画像の移動を続ける操作が行われていると判定した場合、ステップS49に進み、スクロール処理を行う。
すなわち、図20CおよびDを参照して説明したように、入力領域211とサムネイル表示領域241が一体となり、その全体のスクロールが行われる。例えば、表示範囲の上端でサムネイル画像を上方に移動させる操作(仮想領域に移動させるような操作)が行われている場合、下方向のスクロールが行われ、表示範囲の下端でサムネイル画像を下方に移動させる操作が行われている場合、上方向のスクロールが行われる。
当然、表示範囲の左端でサムネイル画像を左方向に移動させる操作が行われている場合、右方向へのスクロールが行われ、右端でサムネイル画像を右方向に移動させる操作が行われている場合、左方向へのスクロールが行われるように、左右へのスクロールが行われるようにしてもよい。
ステップS46において、Pen Moveがないと判定された場合、ステップS47乃至S49はスキップされる。また、ステップS48において、サムネイル画像の移動を続ける操作が行われていないと判定された場合、スクロール処理はスキップされる。
表示制御部463は、ステップS50において、Pen Upがあったか否か、すなわち、サムネイル画像の移動が終了され、貼り付け位置が決定されたか否かを判定し、Pen Upがないと判定した場合、ステップS46以降の処理を繰り返す。
ステップS50において、Pen Upがあったと判定した場合、ステップS51に進み、表示制御部463は、Pen Upの位置が入力領域211内であるか否かを判定する。
ステップS51において、表示制御部463は、Pen Upの位置が入力領域211内であると判定した場合、ステップS52に進み、サムネイル画像の貼り付け処理を行う。すなわち、表示制御部463からメモデータベース処理ソフトウエア411−1のデータベース構成情報管理部451に対してメモの貼り付けが通知される。メモデータベース処理ソフトウエア411−1においては、データベースの更新と、表示への反映が行われる(図35のステップS7)。
その後、表示制御部463は、ステップS53において、表示範囲の復帰処理を行い、ステップS41に戻り、それ以降の処理を繰り返す。
例えば、図20Dに示すように、入力領域211の上端にサムネイル画像が貼り付けられた場合でも、入力画面の表示は図20Aの表示に戻り、その状態から、上述した処理が繰り返される。
表示制御部463は、ステップS51において、Pen Upの位置が入力領域211内ではないと判定した場合、ステップS52およびS53をスキップし、ステップS41以降の処理を行う。例えば、サムネイル画像が一度選択されたが、サムネイル表示領域241内でその選択が終了された場合、サムネイル画像の貼り付けは行われない。
一方、ステップS43(図37)において、表示制御部463は、Pen Downの位置が、一覧表示ボタン221上でもないと判定した場合、ステップS54(図39)に進む。これは、入力領域211の上でPen Downが行われたことを表す。
ステップS54において、表示制御部463は、Pen Moveがあったか否かを判定し、Pen Moveがあったと判定した場合、ステップS55に進み、スライラス2の移動に応じて、入力領域211とサムネイル表示領域241を一体的にスクロールさせる。
すなわち、図19CおよびDを参照して説明したように、入力領域211とサムネイル表示領域241が一体となり、その全体のスクロールが行われる。
ステップS56において、表示制御部463は、Pen Upがあったか否かを判定し、Pen Upがないと判定した場合、ステップS54に戻り、それ以降の処理を行う。これにより、Pen Moveの期間に応じて、スクロールが連続的に行われる。
なお、ステップS54において、Pen Moveがないと判定された場合、ステップS55はスキップされる。
表示制御部463は、ステップS55において、Pen Upがあったと判定した場合、ステップS41(図37)に戻り、それ以降の処理を行う。
以上のようにして、ユーザ操作に応じたスクロールが行われる。なお、図27に示すようにソフトウエアのキーボードが表示される場合も、同様のスクロールがユーザ操作に応じて行われる。
次に、図40のフローチャートを参照して、コンテンツ処理ソフトウエア421により実行されるコンテンツの再生処理について説明する。
例えば、この処理が静止画コンテンツ処理ソフトウエア421−1により実行される場合、静止画コンテンツ再生部471−1は、ステップS71において、静止画コンテンツの再生(プレビュー)が要求されたか否かを判定し、要求されたと判定するまで待機する。
メモに貼り付けられた静止画コンテンツのサムネイル画像が選択されたとき、または、サムネイル表示領域241に表示されている静止画コンテンツのサムネイル画像が選択されたとき、データベース処理ソフトウエア411の再生要求部453、サムネイル表示ソフトウエア403の再生要求部464からそれぞれ静止画コンテンツの再生が要求されてくる(図35のステップS9、図36のステップS27)。再生要求部453、再生要求部464からの要求には、コンテンツ本体の記憶位置を表す情報等も含まれる。
なお、サムネイル画像が選択されたときにすぐにコンテンツの再生が開始されるのではなく、サムネイル画像が選択されたとき、選択されたコンテンツに対してユーザが選択可能な操作の内容を表すメニューが表示され、そのメニューからある操作が選択されてからコンテンツの再生が開始されるようにしてもよい。サムネイル画像が選択されたときに表示されるメニューには、例えば、コンテンツの再生/はがす/拡大/縮小/削除等が、ユーザが選択可能な操作として用意される。
静止画コンテンツ再生部471−1は、ステップS71において、静止画コンテンツの再生が要求されたと判定した場合、ステップS72に進み、再生要求部453、再生要求部464からの要求に含まれる情報に基づいてコンテンツ本体のデータを取得し、その再生を開始する。
これにより、LCD28上には、例えば、図12に示されるような静止画のプレビューが表示される。静止画コンテンツ再生部471−1は、以上の処理を繰り返し、静止画コンテンツの再生を行う。
同様の処理が動画コンテンツ再生部471−2、音声コンテンツ再生部471−3、メモコンテンツ再生部471−4によりそれぞれのカテゴリのコンテンツに対して行われる。
以上においては、図19A乃至Dや図20A乃至Dを参照して、メモの入力領域211の下方にサムネイル表示領域241やキーボード表示領域381が表示された場合のスクロール等について主に説明したが、予定入力領域301の下方にサムネイル表示領域241やキーボード表示領域381が表示された場合にも、同様にして、ユーザ操作に応じてスクロールが行われる。
また、入力領域211や予定入力領域301の下に新たに表示され、それらの領域と一体になってスクロールする領域は、サムネイル表示領域241やキーボード表示領域381に限られない。
さらに、以上においては、上述したようなデータベースに対するコンテンツの貼り付けや画面のスクロールは、PDA1において行われるとしたが、この他、携帯電話機やノートブック型のパーソナルコンピュータなど、各種の機器において行われるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図6に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているMS3やCF4などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM132や記憶部139などで構成される。
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
1 PDA, 2 スタイラス, 401 データベース処理ソフトウエア群, 402 コンテンツ処理ソフトウエア群, 403 サムネイル表示ソフトウエア, 451 データベース構成情報管理部, 452 データベース表示制御部, 453 再生要求部, 454 表示要求部, 461 検索部, 462 サムネイル画像生成部, 463 表示制御部, 414 再生要求部