JP4547926B2

JP4547926B2 - 断片データ作成装置及び断片データ作成システム

Info

Publication number: JP4547926B2
Application number: JP2004032622A
Authority: JP
Inventors: 悟牧野; 喜世治村松; 博明鈴木
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2004-02-09
Filing date: 2004-02-09
Publication date: 2010-09-22
Anticipated expiration: 2024-02-09
Also published as: JP2005222495A

Description

本発明は、断片化されている複数の情報を編集して統合ファイルを作成する際に用いられる断片データを作成する断片データ作成装置及び断片データ作成システムに関し、詳細には、利用者が異なる時や場所において様々なメディアによって作成した情報であっても、これらの情報に基づいて断片データを作成する断片データ作成装置及び断片データ作成システムに関する。

従来、コンピュータ上で取扱われる情報としては、文字、画像（動画を含む）、音声などの様々なメディアのものが存在する。これらの情報が属するメディアの種別は、主に入力装置（入力デバイス）の種類に依存しており、キーボードのような文字入力装置から入力された情報は文字情報として、スキャナやカメラのような画像入力装置から入力された情報は画像情報として、マイクなどの音声入力装置から入力された情報は音声情報として、コンピュータ上で取扱われる。このような様々なメディアの情報を取扱うことができるコンピュータは、一般にマルチメディア装置などと呼ばれる。

そして、各入力装置から入力された情報は、利用者によって情報が入力される毎に、その入力装置又はその入力装置に接続されたコンピュータにおいて、所定のメディア形式による断片化された情報（以下、断片情報）として記憶される。一方で、利用者によっては、これらの複数のメディアによる断片情報を、１つの統合ファイルとして取扱いたい場合もある。その場合には、異なる入力装置やコンピュータに存在する複数の断片情報を１つのコンピュータに集めて、それらの断片情報をつなぎ合わせたり、体裁を整えるなどして、１つの統合ファイルにまとめる作業を行っていた。尚、統合ファイルとは、文書データのみを示すものではなく、文書データ，静止画や動画である画像データ，表計算データ，音声データなどのマルチメディア情報を含むデジタルデータを示す。

ところで、複数の断片情報を編集して１つの統合ファイルを作成する場合、それらの断片情報をどのような体裁で、どのような順序で編集して統合ファイルを作成するかは利用者の任意である。しかし、利用者は各断片情報の内容の他、それらの断片情報に付加された日時等の関連情報も考慮して、統合ファイルを作成するのが通常である。

利用者が入力装置等を用いて作成した断片情報に関連情報を付加する技術としては様々なものが知られており、例えば、カメラにＧＰＳ受信機、方位・傾きセンサ、温度・湿度・気圧センサを設けて、カメラによる撮影が行われて画像データに作成されると、撮影位置や撮影状況などの関連情報が、画像データに対応付けられて記憶される情報記録機能付きカメラが知られている（例えば、特許文献１参照。）。
特開平８−１８４８９２号公報

しかしながら、センサが設けられた入力装置でなければ、断片情報に関連情報を付加することができないので、入力装置が限定されてしまうという問題があった。

本発明は上記課題を解決するためになされたものであり、入力装置にて作成された断片情報に対して関連情報が対応付けられた断片データを作成できる断片データ作成装置及び断片データ作成システムを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明の断片データ作成装置は、文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報を、ネットワークを介して取得するためのインタフェースであるインタフェース手段と、前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含む断片データを作成する断片データ作成手段と、前記断片データ作成手段によって作成された前記断片データを複数記憶する断片データ記憶手段と、前記断片データ記憶手段に記憶された前記複数の断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、前記断片データ記憶手段に記憶された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする。

また、請求項２に係る発明の断片データ作成装置は、請求項１に記載の発明の構成に加え、前記インタフェース手段は、前記ネットワーク上の公開ディレクトリ、メールサーバ及びウェブサーバの少なくとも１つと接続するためのインタフェースであり、若しくは、電話ゲートウエイ又はＦＡＸゲートウエイとの接続を確立してデータ通信を実行するためのインタフェースであることを特徴とする。

また、請求項３に係る発明の断片データ作成装置は、請求項１又は２に記載の発明の構成に加え、前記断片情報の種別と、前記断片情報のデータ形式を変換するための変換情報との対応を定義したメディア変換テーブルと、前記断片データ作成手段により作成された前記断片データに含まれる前記断片情報の種別に対応する前記変換情報を、前記メディア変換テーブルに基づいて特定する変換情報特定手段と、前記変換情報特定手段により特定された前記変換情報に基づいて、前記断片データ作成手段により作成された前記断片データに含まれる前記断片情報のデータ形式を変換するメディア変換手段とを備えている。

また、請求項４に係る発明の断片データ作成装置は、請求項１乃至３のいずれかに記載の発明の構成に加え、前記断片データ作成手段により作成された前記断片データを、他のコンピュータ装置へ送信する断片データ送信手段を備えている。

また、請求項５に係る発明の断片データ作成システムは、文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報が取得されて、前記断片情報を含む断片データが作成される携帯端末装置と、前記携帯端末装置で作成された前記断片データが編集されて統合ファイルが作成される編集装置とが、ネットワークを介して接続された断片データ作成システムであって、前記携帯端末装置は、前記断片情報を、前記ネットワークを介して取得するためのインタフェースであるインタフェース手段と、前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含めて、前記断片データを作成する断片データ作成手段と、前記断片データ作成手段により作成された前記断片データを前記編集装置へ送信する断片データ送信手段とを備え、前記編集装置は、前記携帯端末装置から送信された前記断片データを受信する断片データ受信手段と、前記断片データ受信手段により受信された前記断片データを複数記憶する断片データ記憶手段と、前記断片データ記憶手段に記憶された前記複数の断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、前記断片データ記憶手段に記憶された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする。

また、請求項６に係る発明の断片データ作成システムは、文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報が取得されて、前記断片情報を含む断片データが作成される携帯端末装置と、前記断片データが記憶される複数の記憶装置と、前記断片データが編集されて統合ファイルが作成される編集装置とが、ネットワークを介して接続された断片データ作成システムであって、前記携帯端末装置は、前記断片情報を、前記ネットワークを介して取得するためのインタフェースであるインタフェース手段と、前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含めて、前記断片データを作成する断片データ作成手段と、前記断片データ作成手段により作成された前記断片データを、前記複数の記憶装置の少なくとも１つへ送信する第１の断片データ送信手段とを備え、前記複数の記憶装置の各々は、前記携帯端末装置から送信された前記断片データを受信する第１の断片データ受信手段と、前記第１の断片データ受信手段により受信された前記断片データを記憶する断片データ記憶手段と、前記断片データ記憶手段に記憶された前記断片データを、前記編集装置へ送信する第２の断片データ送信手段とを備え、前記編集装置は、前記複数の記憶装置の各々から送信された前記断片データを受信する第２の断片データ受信手段と、前記第２の断片データ受信手段により受信された複数の前記断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、前記第２の断片データ受信手段により受信された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする。

請求項１に係る発明の断片データ作成装置では、外部の入力装置やコンピュータにて入力された断片情報を取得して、センサからの利用者情報に基づくコンテクスト情報と、その断片情報とを含む断片データが作成されるようにしたので、コンテクスト情報を付加する機能がない入力装置にて作成された断片情報に対してコンテクスト情報が対応付けられた断片データを作成できる。

また、センサからの利用者情報に基づいて作成されたコンテクスト情報と、文字、画像及び音声の断片情報とを含めて断片データが作成されるようにしたので、利用者による入力情報と、入力時の利用者のコンテクストを対応付けることができる。

また、利用者情報とコンテクストの対応を定義したコンテクスト定義テーブルに基づいて利用者のコンテクストが推定されるので、利用者情報に対応したコンテクストを正確に推定できる。

また、コンテクスト情報はコンテクストの種別とコンテクストの強弱とを示すので、利用者情報に対応したコンテクストを正確に推定できる。

また、センサにより利用者の体温、心拍数、発汗、呼吸及び加速度が計測されるので、利用者情報に対応するコンテクストを正確に推定できる。
また、複数の断片情報をコンテクスト情報に基づいて編集して統合ファイルが作成されるので、利用者のコンテクストに基づいて断片情報を編集して統合ファイルを作成することができ、利用者の統合ファイル作成の負担と手間を軽減し、利用者のニーズに合致した体裁や順序で統合ファイルを作成できる。
また、断片情報を編集して統合ファイルを作成するための編集ルールを定める編集ルールテーブルを設けて、この編集ルールとコンテクスト情報とに基づいて統合ファイルが作成されるようにした。よって、複数の断片情報を任意の編集ルールにより統合ファイルとして編集することができる。
また、断片データに含まれる断片情報を最適な順序で編集して統合ファイルを作成できる。

また、請求項２に係る発明の断片データ作成装置では、請求項１に係る発明の効果に加え、ネットワーク上の公開ディレクトリ、メールサーバ及びウェブサーバに接続し、あるいは電話ゲートウエイ又はＦＡＸゲートウエイとデータ通信するためのインタフェースによって、外部の入力装置やコンピュータにて入力された断片情報が取得されるようにした。よって、異なる時間や場所において、様々な入力装置やコンピュータにて入力された断片情報に基づいて、断片データを作成することができ、かつ、各断片データを収集することができる。

また、請求項３に係る発明の断片データ作成装置では、請求項１又は２に係る発明の効果に加え、メディア変換テーブルに基づいて断片データに含まれる断片情報のデータ形式が変換されるので、最適なデータ形式に変換された断片情報を得ることができる。

また、請求項４に係る発明の断片データ作成装置では、請求項１乃至３のいずれかに係る発明の効果に加え、作成された断片データを他のコンピュータ装置に送信することができるので、統合ファイル作成端末が断片データ作成端末と離間している場合であっても、断片データ作成端末から統合ファイル作成端末へ断片データを送信することで統合ファイルを作成できる。

また、請求項５に係る発明の断片データ作成システムでは、外部の入力装置やコンピュータにて入力された断片情報を取得して、センサからの利用者情報に基づくコンテクスト情報と、その断片情報とを含む断片データを作成する携帯端末装置から、統合ファイルを作成するための編集装置へ断片データが送信されるようにした。よって、コンテクスト情報を付加する機能がない入力装置にて作成された断片情報に対してコンテクスト情報が対応付けられた断片データを作成できる。

また、複数の断片情報をコンテクスト情報に基づいて編集して統合ファイルが作成されるので、利用者のコンテクストに基づいて断片情報を編集して統合ファイルを作成することができ、利用者の統合ファイル作成の負担と手間を軽減し、利用者のニーズに合致した体裁や順序で統合ファイルを作成できる。

また、請求項６に係る発明の断片データ作成システムでは、外部の入力装置やコンピュータにて入力された断片情報を取得し、センサからの利用者情報に基づくコンテクスト情報と、その断片情報とを含む断片データを作成する携帯端末装置から、断片データを記憶するための複数の記憶装置へ断片データが送信されるようにした。よって、コンテクスト情報を付加する機能がない入力装置にて作成された断片情報に対してコンテクスト情報が対応付けられた断片データを作成できる。

また、複数の記憶装置に記憶された断片データが、編集装置に収集されて統合ファイルが作成されるようにしたので、利用者のコンテクストに基づいて断片情報を編集して統合ファイルを作成することができ、利用者の統合ファイル作成の負担と手間を軽減し、利用者のニーズに合致した体裁や順序で統合ファイルを作成できる。

以下、本発明の一実施の形態について説明する。本発明に係る断片データ作成装置及び断片データ作成システムは、ＰＤＡ、携帯電話機などの入力装置等による入力毎に作成される断片情報を、その入力装置等から取得する。一方、利用者の体温，発汗，心拍数等を各種センサによって計測して、断片情報の作成時における利用者の感情や利用者を取り巻く状況等のコンテクストを推定し、このコンテクストの推定結果を断片情報に付加して断片データを作成する装置及びシステムである。そして、各断片情報に付加されたコンテクストの推定結果に基づいて、各断片データを編集して統合ファイルを作成する装置及びシステムである。尚、統合ファイルとは、文書データのみを示すものではなく、文書データ，静止画や動画である画像データ，表計算データ，音声データなどのマルチメディア情報を含むデジタルデータを示す。また、雰囲気、感情、重要度等のように、事象の文脈や状況の前後関係などを示すものであって、事実や証拠のみでは把握できない抽象的な概念をコンテクストという。

第１の実施の形態では、本発明の断片データ作成装置の一例として、独立して存在する携帯電話やＰＤＡなどの入力装置等と無線又は有線により接続可能であって、かつ、利用者の体温，発汗，心拍数等（利用者情報）を計測する各種センサとが接続された断片データ作成装置１について、以下説明する。なお、本実施の形態の断片データ作成装置１は、断片データの作成や統合ファイルの作成等を実行するための各種機能を備えるものである。

まず、図１乃至図４を参照して、第１の実施の形態に係る断片データ作成装置１の構成について説明する。図１は、断片データ作成装置１の概要を示す図である。図２は、断片データ作成装置１の構成を示すブロック図である。図３は、断片データ作成装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。図４は、断片データ作成装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。

図１に示すように、小型の携帯端末装置である断片データ作成装置１は、利用者に携帯または装着されている。断片データ作成装置１には、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサが接続されており、これらのセンサの読み取り部は利用者の皮膚等に接触して、適切に利用者情報を計測可能な状態に設けられている。そのため、断片データ作成装置１は常に利用者情報が計測される状態に保持される。

利用者は断片データ作成装置１を携行しつつ、外部の入力装置又はコンピュータ機器であるＰＤＡ２，携帯電話機３，デジタルカメラ４，ＦＡＸ５，固定電話６を用いて、各装置に断片情報を入力する。例えば、利用者がＰＤＡ２のキー又はスイッチを操作することで、文字情報がＰＤＡ２に入力される。また、利用者がデジタルカメラ４で風景などを撮影して、又はＦＡＸ５から文書を読取り送信させて、画像情報が各々の装置に入力される。また、利用者は携帯電話機３又は固定電話６を用いて通話を行うことで、音声情報が各々の装置に入力される。

利用者が外部の入力装置等を利用すると、各装置において入力された断片情報は断片データ作成装置１に取得されるが、詳細は後述する。なお、利用者が断片情報を入力する外部の入力装置等としては、上記のものに限定されず、断片データ作成装置１へのデータ転送を確保できれば、スキャナやパーソナルコンピュータなど任意のものが利用可能である。

図２に示すように、断片データ作成装置１には、断片データ作成装置１の制御を司るＣＰＵ１１０が設けられている。このＣＰＵ１１０には、バス１１５を介し、ＣＰＵ１１０が実行するＢＩＯＳ等のプログラムを記憶したＲＯＭ１２０と、データを一時的に記憶するＲＡＭ１３０と、データの記憶装置であるハードディスクドライブ（以下、「ＨＤＤ」という。）１４０とが接続されている。また、ＲＡＭ１３０には、各種センサから計測された情報に基づいてコンテクストを推定するためのコンテクスト定義テーブルと、断片データのデータ形式を変換するためのメディア変換テーブルと、複数の断片データを編集して統合ファイルを作成する際の編集ルールを定めた編集ルールテーブルが記憶されているが、詳細は後述する。

さらに、外部機器との通信を行うためのＵＳＢインタフェース１５０と、動作状態を表示するＬＥＤ１６１の画面表示処理を行う表示制御部１６０と、利用者が音声入力を行うためのマイク１７１及び音声を出力するためのスピーカ１７２の音声情報の入出力制御のための処理を行う音声制御部１７０と、各種機器からの入力の検知を行う入力検知部１８０と、現在日時や時間間隔をカウントするためのタイマ１９０と、一般の公衆電話網（ＰＳＴＮ）又はインターネット網に接続して、データ列と音声信号の相互変換を行なってデータ通信を実行するモデム１９５と、無線によるデータ通信を仲介するためのアンテナ１９６とが、バス１１５を介してＣＰＵ１１０に接続されている。ＵＳＢインタフェース１５０には、図１に示す各入力装置のうちでＰＤＡ２とデジタルカメラ４が、外部の入力装置等として接続可能である。なお、ＬＥＤ１６１，表示制御部１６０，マイク１７１，スピーカ１７２，音声制御部１７０は、断片データ作成装置１に必ずしも必要な構成ではないため、ＵＳＢやネットワークなどのインタフェースを介して、外部の表示装置，マイク，スピーカなどと接続されてリモート制御するようにしてもよい。

また、入力検知部１８０には、利用者が断片データ作成装置１を操作したり、電源スイッチやリセットスイッチを備えた入力パネル１８１と、利用者の体温を計測する体温センサ１８２と、利用者の発汗状態を計測するための発汗センサ１８３と、利用者の心拍数を計測するための心拍数センサ１８４とが接続されている。体温センサ１８２、発汗センサ１８３及び心拍数センサ１８４は、有効に利用者の体温、発汗、心拍数を測定できれば、その位置や計測手法は問わないが、好適には、利用者が断片データ作成装置１を携帯又は装着した場合、その利用者の皮膚が接触する位置に各センサの読み取り部が設けられている。なお、入力パネル１８１には、断片データ作成装置１に対して、統合ファイルの作成の実行を指示するための実行ボタンも設けられている。

第１の実施の形態の断片データ作成装置１では、断片情報の取得、コンテクストの推定、断片データの作成、統合ファイルの作成の際に実行されるモジュールの一つとして断片データ作成プログラムが実行される。断片データ作成装置１には、図示外のＣＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスクドライブ、各種インタフェースなども設けられており、導入時には、ＣＤ−ＲＯＭ等の外部の記憶媒体やネットワークを介して外部の記憶装置から、ＨＤＤ１４０上のプログラム記憶エリア１４２や情報記憶エリア１４３（図４参照）に、断片データ作成プログラムがセットアップされて記憶されるようになっている。

なお、断片データ作成プログラムには、モデム１９５からの信号をデコードして画像に変換するＦＡＸゲートウエイを実現するためのプログラムと、モデム１９５からの信号を音声として出力するＰＳＴＮゲートウエイを実現するためのプログラムとが含まれている。また、断片データ作成プログラムには、Ｗｅｂサーバを監視する機能を実現するための巡回プログラムや、Ｍａｉｌサーバを監視する機能を実現するための巡回プログラムも含まれている。

また、本実施の形態において、モデム１９５は公衆電話網（ＰＳＴＮ）と送受信される信号及びインターネット網と送受信される信号を処理でき、公衆電話網（ＰＳＴＮ）及びインターネット網に接続可能とする機能を有するものであるが、公衆電話網（ＰＳＴＮ）への通信部と、インターネット網への通信部とがそれぞれ独立した構成として、断片データ作成装置１に具備されてもよい。また、モデム１９５はアンテナ１９６を介して無線通信を実行するが、有線による接続がされるようにしてもよい。

次に、図３に示すように、断片データ作成装置１のＲＡＭ１３０には、プログラムの実行中の一時的なデータを記憶するワークエリア１３１と、入力された各種情報を一時的に記憶する入力情報記憶エリア１３２と、出力すべき各種情報を一時的に記憶する出力情報記憶エリア１３３とが設けられている。さらに、ＲＡＭ１３０には、図示外の各種記憶エリアが設けられている。

また、図４に示すように、断片データ作成装置１のＨＤＤ１４０には、断片データ作成装置１の動作を制御するためＣＰＵ１１０が実行する各種のプログラム等を記憶したオペレーティングシステム（ＯＳ）記憶エリア１４１と、断片データ作成装置１で実行される各種のプログラムや断片データ作成プログラムを記憶したプログラム記憶エリア１４２と、プログラムの実行に必要な設定や初期値、データ等の情報を記憶した情報記憶エリア１４３と、画像、文字及び音声の入力情報である断片情報に基づいて作成された断片データを記憶する断片データ記憶エリア１４４と、断片データに基づいて作成された統合ファイルを記憶する統合ファイル記憶エリア１４５とが設けられている。なお、後述のコンテクスト定義テーブル，編集ルールテーブル，メディア変換テーブルなどの各種テーブル情報は、情報記憶エリア１４３に記憶されている。

次に、図５及び図６を参照して、第１の実施の形態に係る断片データ作成装置１における処理の概要について説明する。図５は、断片データ作成装置１の構成を機能別に示す機能ブロック図である。図６は、断片データ作成装置１におけるデータ構成の変遷を示す図である。

図５に示すように、断片データ作成装置１の外部には、画像、文字及び音声の入力情報である断片情報が入力される複数の入力手段１０が存在する。断片データ作成装置１は、各入力手段１０からの断片情報の取り込みを仲介するインタフェース手段２４と、インタフェース手段２４を介して取り込まれた断片情報を取得する断片情報取得手段２５とを備える。また、断片データ作成装置１には、利用者の体温，発汗，心拍数等の利用者情報を計測する複数のセンサ１１が接続され、センサ１１により計測された利用者情報に基づいて、コンテクスト推定手段１２がコンテクスト定義テーブル１３を参照して、利用者の感情、雰囲気及び状態等を示すコンテクストが推定される。コンテクスト定義テーブル１３には、あらかじめ利用者情報とコンテクストとの対応が定義されている。

この推定されたコンテクストに基づいて、コンテクスト情報作成手段１４によりコンテクストの種別とその強弱を示すコンテクスト値とを含むコンテクスト情報が作成される。そして、断片データ作成手段１５により、断片情報取得手段２５により取得された断片情報にコンテクスト情報が付加されて、断片データが作成される。作成された断片データは、断片データ記憶手段１６に記憶される。

図６に示すように「断片データ作成」において、入力手段１０において画像、文字及び音声が入力された断片情報２００（断片情報Ａ）は、主にヘッダー部とデータ部から構成されている。この断片情報２００（断片情報Ａ）は、断片情報取得手段２５によりインタフェース手段２４を介して入力手段１０から取得される。また、コンテクスト情報作成手段１４により作成されたコンテクスト情報３００（コンテクスト情報Ａ）は、主にヘッダー部とコンテクストデータ部から構成されている。このような断片情報２００（断片情報Ａ）及びコンテクスト情報３００（コンテクスト情報Ａ）から、断片データ作成手段１５により断片データ４００ａ（断片データＡ）が作成される。その結果、断片データ４００ａ（断片データＡ）は、ヘッダー部の他に、データ部とコンテクストデータ部とを含む構成となっている。図５では、断片データ４００として断片データ４００ａ（断片データＡ）の他に、断片データ４００ｂ（断片データＢ），断片データ４００ｃ（断片データＣ），断片データ４００ｄ（断片データＤ）が作成されており、これらの断片データ４００は断片データ記憶手段１６に保存される。このように、入力手段１０から入力された断片情報２００の全てについて、コンテクスト情報３００が付加されて断片データ４００が作成される。

図５に戻り、利用者より統合ファイル作成が指示された等の所定のタイミングで、「統合ファイル作成」が実行される。すなわち、統合ファイル作成手段１７により、断片データ記憶手段１６に記憶された複数の断片データ４００を編集して、統合ファイル６００を作成する処理が実行される。また、断片データ４００のデータ形式を変換する必要がある場合は、メディア変換手段１８によりデータ形式を変換するための変換情報を定義したメディア変換テーブル１９が参照されて、断片データ４００のデータ形式の変換が実行される。

統合ファイル作成手段１７により断片データ４００が編集される際は、統合ファイルの体裁や順序を定める編集ルールを具備する編集ルールテーブル２０が参照されて、断片データ４００に含まれるコンテクストの情報に基づいて統合ファイル６００が作成される。統合ファイル作成手段１７により作成された統合ファイル６００は、統合ファイル記憶手段２１に保存される。

図６に示すように「統合ファイル作成」においては、統合ファイル作成手段１７により、断片データ記憶手段１６に記憶された断片データ４００ａ，４００ｂ，４００ｃ，４００ｄが編集されて統合ファイル６００が作成される。このとき、統合ファイル６００の体裁や順序を定める編集ルールに基づいて統合ファイル６００が作成されるが、詳細は後述する。なお、図６では統合ファイル６００が作成される過程で縫合データ５００が作成される。断片データ４００ａ及び４００ｃが合成された縫合データ５００ｅ（縫合データＥ）と、断片データ４００ｂ及び４００ｄが合成された縫合データ５００ｆ（縫合データＦ）とが作成されて、この縫合データ５００ｅ及び５００ｆが合成されて統合ファイル６００が作成されている。その結果、統合ファイル６００は、ヘッダー部の他に、各断片データ４００ａ，４００ｂ，４００ｃ，４００ｄのデータ部とコンテクストデータ部とを含む構成となっている。以上のようにして、複数の断片データ４００から統合ファイル６００が作成される。

なお、上記のような各機能を具備する断片データ作成装置１のうち、第１の実施の形態においては、ＰＤＡ２，携帯電話機３，デジタルカメラ４，ＦＡＸ５，固定電話６が、本発明の「入力手段」１０に相当する。また、体温センサ１８２、発汗センサ１８３、心拍数センサ１８４が、本発明の「センサ」１１に相当する。また、外部の入力装置等やネットワークに接続されるＵＳＢインタフェース１５０及びモデム１９５が、本発明の「インタフェース手段」２４に相当する。

そして、プログラム記憶エリア１４２に記憶されている断片データ作成プログラムを実行して後述のフローチャートを処理するＣＰＵ１１０が、本発明の「断片情報取得手段」２５，「コンテクスト推定手段」１２，「コンテクスト情報作成手段」１４，「断片データ作成手段」１５，「統合ファイル作成手段」１７，「メディア変換手段」１８に相当する。

また、本発明の「コンテクスト定義テーブル」１３，「編集ルールテーブル」２０，「メディア変換テーブル」１９は、ＨＤＤ１４０の情報記憶エリア１４３に各々の記憶領域が確保されている。また、ＨＤＤ１４０の断片データ記憶エリア１４４が、本発明の「断片データ記憶手段」１６に相当し、ＨＤＤ１４０の統合ファイル記憶エリア１４５が、本発明の「統合ファイル記憶手段」２１に相当する（図４参照）。

以下、本発明の断片データ作成装置１における処理の流れを、図面を参照して説明する。本発明の断片データ作成装置１では、［１］外部の入力手段から断片情報を取得する処理（断片情報取得処理）、［２］各種センサから計測された利用者情報に基づいてコンテクスト推定してコンテクスト情報を作成する処理（コンテクスト推定処理）、［３］各種入力手段から断片情報が入力されると、その断片情報にコンテクスト情報を付加して断片データを作成する処理（断片データ作成処理）、［４］複数の断片データを編集して統合ファイルを作成する処理（統合ファイル作成処理）、が主要な処理として実行される。

これらの処理により、外部の入力装置等から取得された音声、画像、文字などの各種の断片情報が、雰囲気、感情、重要度などのコンテクストに基づいて編集されて、利用者のコンテクストを反映した１つの統合ファイルが作成される。以下では、一例として、コンテクストが「感動」であるものとし、断片情報を入力した当時の利用者の「感動」の度合いによって、統合ファイルが作成される場合を説明する。

まず、［１］断片情報取得処理について、図７乃至図１１を参照して説明する。図７は、入力装置等の種類とメディア種類とに応じた断片情報取得方法を説明するためのテーブル図である。図８は、ファイル転送による断片情報取得処理の詳細を示すフローチャートである。図９は、Ｗｅｂサーバ経由による断片情報取得処理の詳細を示すフローチャートである。図１０は、Ｍａｉｌサーバ経由による断片情報取得処理の詳細を示すフローチャートである。図１１は、ＦＡＸゲートウエイ又はＰＳＴＮゲートウエイ経由による断片情報取得処理の詳細を示すフローチャートである。

この断片情報取得処理の前提として、ＰＤＡ２，携帯電話機３，デジタルカメラ４，ＦＡＸ５，固定電話６等において、利用者が音声，画像，文字の断片情報２００を入力した場合、各入力装置等では入力された断片情報２００を送信するデータ送信処理が実行される。このデータ送信処理における送信方法及び送信先は、入力装置等の種類（デバイス種類）や、利用者により入力された断片情報２００の種類（メディア種類）によって異なる。

例えば、図７に示すように、入力装置等の「デバイス種類」が「ＰＤＡ」の場合には、断片情報２００の「メディア種類」を問わずに、「ファイル転送」，「Ｗｅｂサーバへのアップロード」，「メール送信」のいずれかのデータ送信処理が実行される。また、入力装置等の「デバイス種類」が「デジタルカメラ」の場合には、断片情報２００の「メディア種類」は「画像」に限られ、その送信方法は「ファイル転送」のみである。また、入力装置等の「デバイス種類」が「固定電話」の場合、断片情報２００の「メディア種類」は「音声」に限られ、その送信方法は「ＰＳＴＮゲートウエイへの電話」のみである。

このように、各入力装置等では、そのデバイス種類やメディア種類に応じて、断片情報２００が適切に送信処理される。一方、この入力装置等によるデータ送信処理の送信方法及び送信先によって、断片データ作成装置１による断片情報２００の取得態様が異なる。以下では、各データ送信処理の内容毎に、断片データ作成装置１による断片情報取得処理の詳細を説明する。

各入力装置等により「ファイル転送」で断片情報２００が送信される場合、すなわち各入力装置等と断片データ作成装置１とが有線又は無線により接続されて、各入力装置等から断片データ作成装置１へ直接断片情報２００が転送されると、断片データ作成装置１では以下処理がなされる。図８に示すように、断片データ作成装置１では入力装置等とリンクが確立されると（Ｓ３０１：ＹＥＳ）、入力装置等から送信された断片情報２００が受信され（Ｓ３０２）、その断片情報２００が入力情報記憶エリア（図３参照）に保存される（Ｓ３０３）。リンクが確立されなければ（Ｓ３０１：ＮＯ）、Ｓ３０１において待ち状態とされる。

例えば、デジタルカメラ４と断片データ作成装置１とが、ＵＳＢインタフェース１５０を介して有線接続されている場合、利用者がデジタルカメラ４で撮影を行うと、デジタルカメラ４に画像データ（断片情報２００）が入力される。そして、このＵＳＢインタフェース１５０を介してデジタルカメラ４から断片データ作成装置１に断片情報２００が転送される。なお、入力装置等と断片データ作成装置１とが、ブルートゥースなどで無線接続されてファイル転送されるようにしてもよい。

次に、各入力装置等により「Ｗｅｂサーバへのアップロード」で断片情報２００が送信される場合、すなわちインターネット網を介して接続された所定のＷｅｂサーバに、各入力装置等により断片情報２００が記録（アップロード）されると、断片データ作成装置１では以下処理がなされる。図９に示すように、断片データ作成装置１では所定のＷｅｂサーバのアップロードディレクトリが定期的に監視される（Ｓ３１１）。アップロードディレクトリは、アップロードされた断片情報２００が記録されるＷｅｂサーバの記憶領域を示すものであり、断片データ作成装置１ではこのアップロードディレクトリが監視されて、Ｗｅｂサーバでの断片情報２００のアップロードを検知する。その結果、アップロードディレクトリに断片情報２００があれば（Ｓ３１２：ＹＥＳ）、インターネット網を介して当該断片情報２００が取得されて、入力情報記憶エリア（図３参照）に保存される（Ｓ３１３）。断片情報２００がなければ（Ｓ３１２：ＮＯ）、Ｓ３１１へ戻ってアップロードディレクトリの監視がなされる。

例えば、利用者が携帯電話機３から文字等の断片情報２００を入力すると、その携帯電話機３はインターネット網に接続して、所定のＷｅｂサーバにその断片情報２００をアップロードする。断片データ作成装置１では、アップロードディレクトリの監視によって、断片情報２００のアップロードが検出されて、当該Ｗｅｂサーバに記憶された断片情報２００は、インターネット網を経由してモデム１９５を介して断片データ作成装置１に取得される。

なお、各入力装置等により断片情報２００がＬＡＮ上で共有されているネットワーク公開ディレクトリにアップロードされるようにしてもよい。その場合の断片データ作成装置１の処理も、上記と同様である。

次に、各入力装置等により「メール送信」で断片情報２００が送信される場合、すなわち断片データ作成装置１に固有のメールアドレスに宛てて、各入力装置等により断片情報２００が付加されたメールが送信されると、断片データ作成装置１では以下処理がなされる。各入力装置等により送信されたメールはＭａｉｌサーバを経由して、断片データ作成装置１の受信トレイに転送される。そして、図１０に示すように、断片データ作成装置１では受信トレイにメールがあれば（Ｓ３２１：ＹＥＳ）、そのメールが受信トレイから読出され（Ｓ３２２）、メールからヘッダー部などが取り除かれて断片情報２００が取出され（Ｓ３２３）、断片情報２００が入力情報記憶エリア（図３参照）に保存される（Ｓ３２４）。受信トレイにメールがなければ（Ｓ３２１：ＮＯ）、Ｓ３２１に戻りメールの受信待ち状態となる。

例えば、利用者がＰＤＡ２から文字等の断片情報２００を入力すると、ＰＤＡではその断片情報２００を添付したメールが、断片データ作成装置１に宛てて送信される。送信されたメールは、Ｍａｉｌサーバを経由して断片データ作成装置１の受信トレイに格納される。断片データ作成装置１では、受信トレイに格納されたメールから断片情報２００が取り出されることで、断片情報２００が取得される。

次に、各入力装置等により「ＰＳＴＮゲートウエイへの電話」又は「ＦＡＸゲートウエイへの送信」で断片情報２００が送信される場合、すなわち断片データ作成装置１に固有の電話番号に宛てて、各入力装置等により電話通話又はＦＡＸ送信がされると、断片データ作成装置１では以下の処理がなされる。図１１に示すように、断片データ作成装置１では着信があると（Ｓ３３１：ＹＥＳ）、その着信がＦＡＸ送信によるものであれば（Ｓ３３２：ＹＥＳ）、受信される音声が画像データにデコードされて（Ｓ３３３）、そのデコードされた画像データが断片情報２００として入力情報記憶エリア（図３参照）に保存される（Ｓ３３４）。そして、着信元との通信が切断されていなければ（Ｓ３３５：ＮＯ）、Ｓ３３３へ戻り音声のデコードを継続する。一方、着信がＦＡＸ送信によるものでなく（Ｓ３３２：ＮＯ）、電話通話によるものであれば（Ｓ３３６：ＹＥＳ）、受信される音声が音声データにデコードされて（Ｓ３３７）、そのデコードされた音声データが断片情報２００として入力情報記憶エリア（図３参照）に保存される（Ｓ３３８）。そして、着信元との通信が切断されていなければ（Ｓ３３９：ＮＯ）、Ｓ３３７へ戻り音声のデコードを継続する。なお、着信元との通信が切断され（Ｓ３３５：ＹＥＳ，Ｓ３３９：ＹＥＳ）、又は着信が電話通信でもＦＡＸ送信でもなければ（Ｓ３３２：ＮＯ，Ｓ３３６：ＮＯ）、一定時間のウエイトがなされた後に（Ｓ３４０）、Ｓ３３１に戻る。同様に、着信がない場合も（Ｓ３３１：ＮＯ），一定時間のウエイトがなされた後に（Ｓ３４０）、Ｓ３３１に戻り、着信待ち状態となる。

例えば、利用者がＦＡＸ５から断片データ作成装置１の電話番号に宛てて、電話通話又はＦＡＸ送信を実行した場合、エンコードされた音声信号が公衆電話網（ＰＳＴＮ）を経由して、断片データ作成装置１のＦＡＸゲートウエイ又はＰＳＴＮゲートウエイに着信及び送信される。断片データ作成装置１では、ＦＡＸゲートウエイ又はＰＳＴＮゲートウエイにて音声信号が断片情報２００にデコードされることで、断片情報２００が取得される。

以上のように、利用者が外部の各入力装置等において画像，音声，文字の断片情報２００を入力した場合であっても、断片データ作成装置１は各入力装置等から断片情報２００を取得することができる。

次に、［２］コンテクスト推定処理について、図１２乃至図１７を参照して説明する。図１２は、コンテクスト推定処理のメインフローチャートである。図１３は、キャリブレーション処理（Ｓ１４）の詳細を示すフローチャートである。図１４は、計測処理（Ｓ１５）の詳細を示すフローチャートである。図１５は、推定処理（Ｓ１６）の詳細を示すフローチャートである。図１６は、コンテクスト定義テーブル１３の概要を示す図である。図１７は、Ｓ１７で作成されたコンテクスト情報３００のデータ構成を示す図である。なお、コンテクスト推定処理は、断片データ作成装置１の電源がＯＮされて起動されると、その処理が開始されるものとする。

図１２に示すように、まず、利用者から利用者情報を計測するための各種センサが初期化される（Ｓ１１）。本実施の形態においては、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が設けられており、それぞれ利用者の体温，発汗，心拍数を利用者情報として計測する。そして、断片データ作成装置１が起動されると、Ｓ１１ではこれらのセンサが初期化される。

そして、所定の測定間隔時間がタイマ１９０にセットされる（Ｓ１２）。測定間隔時間は、後述のキャリブレーション処理（Ｓ１４）においてキャリブレーション測定が実行される時間間隔である。Ｓ１２ではあらかじめ定められた値が、測定間隔時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。また、所定の計測間隔時間がタイマ１９０にセットされる（Ｓ１３）。計測間隔時間は、後述の計測処理（Ｓ１５）が実行される時間間隔である。この計測間隔時間も、測定間隔時間と同様に、利用者又は設計者が任意の値を設定するようにしてもよい。

次に、各種タイマによる計測値の平均である基準値を取得するためのキャリブレーション処理が実行される（Ｓ１４）。

図１３に示すように、まず測定回数の初期化がなされ（Ｓ２１）、このキャリブレーション処理が実行されるキャリブレーション時間がタイマ１９０にセットされる（Ｓ２２）。Ｓ２２ではあらかじめ定められた値が、キャリブレーション時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。

そして、キャリブレーション時間を終了（経過）しておらず（Ｓ２３：ＮＯ）、かつ、コンテクスト推定処理（図１２参照）のＳ１２で設定された測定間隔時間が終了（経過）していれば（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。本実施の形態においては、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が設けられているから、それぞれ利用者の体温，発汗，心拍数について出力された計測値が取得される。なお、測定間隔時間が終了（経過）していない場合は（Ｓ２４：ＮＯ）、測定間隔時間が終了（経過）するまで、Ｓ２４において待ち状態となる。その後、測定回数が増加されて（Ｓ２６）、Ｓ２３へ戻る。

そして、Ｓ２３でキャリブレーション時間を終了（経過）していない場合には（Ｓ２３：ＮＯ）、再び、測定間隔時間の経過後（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。このように、Ｓ２２においてセットされたキャリブレーション時間が終了（経過）するまで、測定間隔時間毎に各センサの出力の測定が繰り返される（Ｓ２３〜Ｓ２６）。

一方、キャリブレーション時間の経過後は（Ｓ２３：ＹＥＳ）、各センサ毎の測定値の平均値が算出される（Ｓ２７）。例えば、体温センサ１８２により測定間隔時間毎に測定された複数の体温の測定値を全て加算し、その加算値をＳ２６により取得された測定回数で除算する等して、体温センサ１８２の測定値の平均値が算出される。そして、Ｓ２７で算出された各センサの基準値は、ＲＡＭ１３０に設けられた基準値エリア（図示外）に保存される（Ｓ２８）。

その後、図１２に戻り、各センサが利用者から利用者情報を計測する計測処理が実行される（Ｓ１５）。

図１４に示すように、まず計測回数の初期化がなされ（Ｓ３１）、計測回数のセットがなされた後（Ｓ３２）、各センサの出力が計測される（Ｓ３３）。そして、Ｓ３３による各センサの計測値から、ＲＡＭ１３０に設けられた基準値エリアに記憶された各センサの基準値が減算された増分値が算出される（Ｓ３４）。例えば、Ｓ３３において、体温センサ１８２により現在の利用者の体温が計測値３６．５℃として計測された場合に、体温センサ１８２の基準値３６．０℃であれば、増分値０．５℃が算出されることになる。その後、計測回数が増加されて（Ｓ３５）、Ｓ３２でセットされた計測回数が終了していなければ（Ｓ３６：ＮＯ）、その計測回数を終了するまで、各センサの出力の測定が繰り返される（Ｓ３３〜Ｓ３６）。Ｓ３４においては、１回の計測毎の増分値がその都度前回までの増分値に加算されていく。Ｓ３２でセットされた計測回数が終了すると（Ｓ３６：ＹＥＳ）、Ｓ３２によりセットされた計測回数で、各センサ毎に増分値を除算して、各センサ毎の増分値の平均値が算出される（Ｓ３７）。

その後、図１２に戻り、利用者のコンテクストを推定するコンテクスト推定処理が実行される（Ｓ１６）。

図１５に示すように、まず、各センサから利用者情報の状態変化を示すフラグである状態変数がクリアされる（Ｓ４１）。本実施の形態では、体温センサ１８２が計測する体温についての第２ｂｉｔ、発汗センサ１８３が計測する発汗についての第１ｂｉｔ、心拍数センサ１８４が計測する心拍数についての第０ｂｉｔ、の３つのビットを状態変数として有している。そして、計測処理（Ｓ１５）で算出された各センサ毎の増分値の平均値に基づいて、利用者情報の変化を判定する。

最初に、体温センサ１８２から計測された体温の増分値の平均値（体温増分値）と、体温に関する基準値（体温閾値）とが比較される（Ｓ４２）。基準値（閾値）は、キャリブレーション処理（図１３）のＳ２８で、各センサの基準値エリアに保存された値である。その結果、体温増分値が体温閾値よりも大きければ（Ｓ４２：ＹＥＳ）、第２ｂｉｔが「ＯＮ」にセットされる（Ｓ４３）。一方、体温増分値が体温閾値よりも大きくない場合（Ｓ４２：ＮＯ）、そのまま次のステップ（Ｓ４４）へ進む。同様に、発汗センサ１８３が計測する発汗についても、その増分値の平均値（発汗増分値）と発汗に関する基準値（発汗閾値）とが比較され（Ｓ４４）、その結果、発汗増分値が発汗閾値よりも大きければ（Ｓ４４：ＹＥＳ）、第１ｂｉｔが「ＯＮ」にセットされる（Ｓ４５）。一方、発汗増分値が発汗閾値よりも大きくない場合（Ｓ４４：ＮＯ）、そのまま次のステップ（Ｓ４６）へ進む。また、心拍数センサ１８４が計測する心拍数についても、その増分値の平均値（心拍数増分値）と心拍数に関する基準値（心拍数閾値）とが比較され（Ｓ４６）、その結果、心拍数増分値が心拍数閾値よりも大きければ（Ｓ４６：ＹＥＳ）、第０ｂｉｔが「ＯＮ」にセットされる（Ｓ４７）。一方、心拍数増分値が心拍数閾値よりも大きくない場合（Ｓ４６：ＮＯ）、そのまま次のステップ（Ｓ４８）へ進む。

その後、状態変数の第２ｂｉｔ，第１ｂｉｔ，第０ｂｉｔまでのパターンに対応するコンテクスト種別及びコンテクスト値が、コンテクスト定義テーブル１３から取得される（Ｓ４８）。図１６に示すように、コンテクスト定義テーブル１３は、コンテクストの種別を示すコンテクスト種別１３ａと、各センサにより計測された利用者情報の変化状態を示すセンサ状態１３ｂと、利用者のコンテクストの強弱を数値で示すコンテクスト値１３ｃとをデータ項目として具備している。そして、各々のデータ項目の対応を、テーブル形式で定義している。先述のように、本実施の形態では利用者のコンテクスト「感動」に基づいて統合ファイルが作成されるから、参照されるコンテクスト定義テーブル１３もコンテクスト「感動」に関するものである。よって、そのコンテクスト種別１３ａは「感動」に関するコンテクストの種別が定義されており、利用者の「感動」の強弱によって「大興奮」から「無感動（平常）」までの複数のコンテクストの種別が存在している。また、その「感動」の強弱を数値で表したコンテクスト値１３ｃが定義され、例えば、コンテクスト種別１３ａが「大興奮」であれば、そのコンテクスト値１３ｃは最大値の「１００」である。なお、図１６に示すコンテクスト定義テーブル１３は、コンテクスト「感動」に関するものであるから、コンテクスト値１３ｃは感動値（Ｅ）とも表示される。

そして、Ｓ４８では、Ｓ４２〜Ｓ４７によりセットされた状態変数によってセンサ状態１３ｂが特定されるから、このセンサ状態１３ｂに対応するコンテクスト種別１３ａやコンテクスト値１３ｃが取得される。なお、第２ｂｉｔ〜第０ｂｉｔが、それぞれ「ＯＮ」がセットされている場合には、センサ状態１３ｂにおいては「ＵＰ」と判定される。例えば、第２ｂｉｔ「ＯＮ」，第１ｂｉｔ「ＯＮ」，第０ｂｉｔ「ＯＦＦ」の場合は、コンテクスト種別１３ａ「混乱」でコンテクスト値１３ｃ「１０」が、コンテクスト定義テーブル１３を参照して取得される。

その後、図１２に戻り、推定処理（Ｓ１６）で取得されたコンテクスト種別１３ａ及びコンテクスト値１３ｃに基づいて、所定のヘッダー部などを付加したコンテクスト情報３００が作成されて（Ｓ１７）、ＲＡＭ１３０のコンテクスト情報記憶エリア（図示しない）に保存される（Ｓ１８）。コンテクスト情報３００の保存については、前回のコンテクスト情報３００に上書き保存してもよいし、ＨＤＤ１４０にログとして過去から現在までのコンテクスト情報３００を保存してもよい。すなわち、最新のコンテクスト情報３００が参照できるのであれば、いずれの保存形態でもよい。なお、本実施の形態では、ＲＡＭ１３０のコンテクスト情報記憶エリアに、最新のコンテクスト情報３００のみが記憶されるものとする。

図１７に示すように、コンテクスト情報３００は、データの各種特性を示す詳細情報が格納されたコンテクストヘッダー部３０１と、データの本体部であるコンテクストデータ部３０４とから構成される。コンテクストヘッダー部３０１には、コンテクストヘッダー部３０１のサイズ情報３０２、コンテクストデータ部３０４のサイズ情報３０３とが含まれている。また、コンテクストデータ部３０４には、Ｓ４８で取得されたコンテクスト種別１３ａとコンテクスト値１３ｃとが含まれている。

その後、Ｓ１２でセットされた計測間隔時間を終了（経過）していれば（Ｓ１９：ＹＥＳ）、Ｓ１５に戻り、最新のコンテクスト情報３００を取得する処理が繰り返される（Ｓ１５〜Ｓ１８）。一方、計測間隔時間を終了（経過）していなければ（Ｓ１９：ＮＯ）、Ｓ１９において待ち状態となる。以上のように、断片データ作成装置１が動作している間は、計測間隔時間毎に最新の利用者のコンテクスト情報３００が取得される。

次に、［３］断片データ作成処理について、図１８乃至図２１を参照して説明する。図１８は、断片情報２００のデータ構成を示す図である。図１９は、断片データ作成処理のメインフローチャートである。図２０は、断片データ作成実行処理（Ｓ７４）の詳細を示すフローチャートである。図２１は、断片データ４００のデータ構成を示す図である。

本処理の前提として、利用者が外部の各入力装置において入力した断片情報２００が、［１］断片情報取得処理（図８〜図１１）により取得されて、断片データ作成装置１に記憶されたものとする。すなわち、断片データ作成装置１の外部に存在するＰＤＡ２，携帯電話機３，デジタルカメラ４，ＦＡＸ５，固定電話６などの入力手段において入力された断片情報２００が、断片データ作成装置１により収集されて、ＲＡＭ１３０の入力情報記憶エリア１３２（図３参照）に格納されたものとする。また、［２］コンテクスト推定処理（図１２〜図１７）により、最新の利用者のコンテクスト情報３００が、ＲＡＭ１３０のコンテクスト情報記憶エリアに格納されている。

図１８に示すように、断片情報２００は、データの各種特性を示す詳細情報が格納されたヘッダー部２０１と、データの本体部であるデータ部２０６とから構成される。ヘッダー部２０１には、ヘッダー部２０１のサイズ情報２０２と、データ部２０６のサイズ情報２０３と、データ部２０６のメディア種類２０４と、データ部２０６のフォーマット情報２０５とが含まれている。また、データ部２０６には、文字、画像又は音声の入力されたデータ本体が格納されている。

そして、断片データ作成処理では、入力情報記憶エリア１３２に断片情報２００が格納されると、断片データ４００の作成が実行されるものとして、以下説明を続ける。

図１９に示すように、まず、あらかじめ定められた監視インターバル時間がセットされる（Ｓ７１）。本実施の形態では、一定間隔ごとに入力情報記憶エリア１３２に格納された断片情報２００を検知するところ、監視インターバル時間はこの検知処理が実行される時間間隔を定める。そして、Ｓ７１でセットされた監視インターバル時間が終了（経過）していれば（Ｓ７２：ＹＥＳ）、入力情報記憶エリア１３２に未処理の断片情報２００があるかを判定する（Ｓ７３）。断片情報２００の処理済又は未処理の判定は、断片情報２００のファイル名に基づいて行う。具体的には、処理済の断片情報２００は、そのファイル名の先頭に「ｄｏｎｅ＿」という識別子が付与されるようにして、Ｓ７３ではファイル名に「ｄｏｎｅ＿」が付与されていないファイルの断片情報２００は、未処理であると判定する。

未処理の断片情報２００が入力情報記憶エリア１３２に存在すると判定された場合（Ｓ７３：ＹＥＳ）、断片データ作成実行処理（Ｓ７４）が実行される。一方、監視インターバル時間を終了（経過）していない場合（Ｓ７２：ＮＯ）、または未処理の断片情報２００が入力情報記憶エリア１３２に存在しないと判定された場合（Ｓ７３：ＮＯ）、Ｓ７２において監視インターバル時間の終了（経過）の待ち状態となる。

図２０に示すように、断片データ作成実行処理（Ｓ７４）では、Ｓ７３において未処理と判定された断片情報２００が読込まれ（Ｓ８１）、また、コンテクスト情報記憶エリアに保存されている最新のコンテクスト情報３００が読込まれる（Ｓ８２）。そして、Ｓ８１で読込まれた断片情報２００と、Ｓ８２で読込まれたコンテクスト情報３００とに基づいて、断片データ４００が作成される（Ｓ８３）。Ｓ８３では、作成される断片データ４００のヘッダー部が、断片情報２００のヘッダー部２０１の情報と、コンテクスト情報３００のコンテクストヘッダー部３０１の情報とを含むように作成される。また、断片データ４００のデータ部が、断片情報２００のデータ部２０６の情報と、コンテクスト情報３００のコンテクストデータ部３０４の情報とを含むように作成される。

その結果、図２１に示すように、断片データ４００は、データの各種特性を示す詳細情報が格納された断片データヘッダー部４０１と、データの本体部である断片データデータ部４０４とから構成される。断片データヘッダー部４０１には、断片データヘッダー部４０１のサイズ情報４０２と、断片データ４００の作成時刻情報４０３と、データ部２０６０のサイズ情報２０３、データ部２０６のメディア種類２０４と、データ部２０６のフォーマット情報２０５と、コンテクストデータ部３０４のサイズ情報３０３が含まれている。また、断片データデータ部４０４には、コンテクストデータ部３０４とデータ部２０６が含まれている。なお、先述の断片情報２００及びコンテクスト情報３００と、実質的に同一のデータには同一符号が付与されている（図１７及び図１８参照）。

以上のようにして、Ｓ８３で作成された断片データ４００は、ＨＤＤ１４０の断片データ記憶エリア１４４に保存される（Ｓ８４）。その後、図１９に戻り、断片情報２００のリネームが実行される（Ｓ７５）。すなわち、上記の処理を実行した断片情報２００については、そのファイル名の先頭に「ｄｏｎｅ＿」という識別子が付与される。これにより、「ｄｏｎｅ＿」という識別が付与されてリネームされた断片情報２００は、Ｓ７３の判定処理において処理済と判定されて、断片データ作成の対象とならないようにしている。

以上のように、利用者から文字、音声、画像などの断片情報２００の入力があった場合には、それが異なる場所や時間に入力されたものであっても、最新の利用者のコンテクスト情報３００と、入力された断片情報２００とを対応付けて、断片データ４００が作成される。

次に、［４］統合ファイル作成処理について、図２２乃至図２８を参照して説明する。図２２は、統合ファイル作成処理のメインフローチャートである。図２３は、断片データリスト９００のデータ構成を示す図である。図２４は、メディア変換テーブル１９の概要を示す図である。図２５は、「Ｘ文」作成処理（Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６）の詳細を示すフローチャートである。図２６は、編集ルールテーブル２０のデータ構成を示す図である。図２７は、「Ｘ文」構成リスト９１０のデータ構成を示す図である。図２８は、統合ファイル６００のデータ構成を示す図である。

なお、統合ファイル作成処理は、断片データ作成装置１において入力パネル１８１などから統合ファイル作成が指示された場合に、その処理が開始されるものとする。また、本実施の形態では、複数の断片データ４００を並べ替えて編集することによって１つの統合ファイルを作成する場合を説明する。また、本実施の形態では、「序文」、「主文」、「跋文」、「補足文」の４つのセクションから構成される統合ファイルが、複数の断片データ４００から作成される場合を、一例として説明する。

図２２に示すように、まず、ＨＤＤ１４０の断片データ記憶エリア１４４内の断片データリスト９００が作成される（Ｓ１０１）。断片データリスト９００は、断片データ記憶エリア１４４に保存された断片データ４００を一覧表示するためのインデックスであり、Ｓ１０１により、図２３のような断片データリスト９００が作成される。図２３では、断片データ記憶エリア１４４に保存されているｎ個の断片データ４００が示されている。

次に、メディアの変換先が指定される（Ｓ１０２）。断片データ４００のデータ部２０６（図２１参照）は、音声、画像、文字などの様々なメディア種類２０４のものがあり、また同じメディア種類２０４であってもフォーマット情報２０５が異なる場合がある。また、利用者が統合ファイルに使用したいメディア種類やフォーマット情報などが、断片データ４００（データ部２０６）のメディア種類２０４やフォーマット情報２０５などと異なる場合がある。そこで、統合ファイル６００が作成される前に、断片データ４００（データ部２０６）をどのようなメディア種類やフォーマット情報に変換すべきかを、Ｓ１０２のメディアの変換先の指定により設定する。このメディアの変換先の指定は、図２４に示すメディア変換テーブル１９を参照して指定することで実行されるが、利用者が入力パネル１８１から任意に指定してもよいし、自動的にデフォルトの指定がなされるようにしてもよい。

メディア変換テーブル１９は、変換元のメディアと変換後のメディアを対応付けたテーブルであり、変換元の断片データ４００（データ部２０６）が文字，音声，画像の各メディア種類２０４である場合に、それを変換先の文字，音声，画像の各メディア種類に変換する際の、データ変換処理の内容が示されている。このようなメディア変換テーブル１９を参照して、例えば、変換元の断片データ４００（データ部２０６）のメディア種類２０４が「音声」に対して、変換先として「文字」を指定する。すると、メディア種類２０４が「音声」の断片データ４００（データ部２０６）は、「音声認識」の処理がなされて「文字」のデータに変換された後に統合ファイル６００として編集される。同様に、メディア種類２０４が「画像」や「音声」についても、変換先のメディア種類を指定する。また、変換元の断片データ４００（データ部２０６）のフォーマット情報２０５についても、変換先のフォーマット情報を指定する。

次に、序文作成処理（Ｓ１０３）、主文作成処理（Ｓ１０４）、跋文作成処理（Ｓ１０５）、補足文作成処理（Ｓ１０６）が実行される。これらは、各々「序文」、「主文」、「跋文」、「補足文」の４つのセクションを作成する処理であるが、その処理内容は共通しているため、以下では「Ｘ文」作成処理として説明する。

図２５に示すように、「Ｘ文」作成処理では、まず空の「Ｘ文」構成リスト９１０が作成される（Ｓ１２１）。この「Ｘ文」作成処理が序文作成処理（Ｓ１０３）であれば、「Ｘ文」構成リスト９１０は序文構成リストとなる。次に、編集ルールテーブル２０から分類「Ｘ文」のコンテクスト値及び優先編集順序が取得される（Ｓ１２２）。編集ルールテーブル２０は、複数の断片データ４００が編集される規則や順序を示す編集ルールを示すものである。図２６に示すように、編集ルールテーブル２０は、統合ファイルのセクションを示す分類２０ａ、断片データ４００のコンテクスト値２０ｂ、統合ファイル編集時における優先順序を定めた優先編集順序２０ｃを、データ項目として備えている。Ｓ１２２では、編集ルールテーブル２０から「Ｘ文」に対応する分類２０ａをもとに、コンテクスト値２０ｂ及び優先編集順序２０ｃが取得される。例えば、「Ｘ文」が序文である場合、コンテクスト値２０ｂとして「７０以上８０未満」が、優先編集順序２０ｃとして「コンテクスト値昇順>作成時間順」が取得される。

次に、Ｓ１２２で取得されたコンテクスト値２０ｂに基づいて、下限閾値と上限閾値がセットされる（Ｓ１２３）。コンテクスト値２０ｂのうち、最小値が下限閾値に、最大値が上限閾値に、それぞれセットされる。例えば、「Ｘ文」が序文である場合、コンテクスト値２０ｂ「７０以上８０未満」であるから、下限閾値「７０」、上限閾値「８０」となる。

その後、断片データリスト９００の全てのファイルについてチェックしたか否かが判定される（Ｓ１２４）。その結果、チェックしていないと判定された場合は（Ｓ１２４：ＮＯ）、そのチェックしていない断片データ４００のコンテクストデータ部３０４からコンテクスト値が取得される（Ｓ１２５）。そして、そのコンテクスト値と下限閾値とを比較して、そのコンテクスト値が下限閾値以上であるか否かが判定され（Ｓ１２６）、下限閾値以上であると判定された場合は（Ｓ１２６：ＹＥＳ）、さらにそのコンテクスト値と上限閾値とを比較して、そのコンテクスト値が上限閾値未満であるか否かが判定される（Ｓ１２７）。すなわち、断片データ４００に含まれるコンテクスト値が、コンテクスト値２０ｂで示される値に含まれるか否かが判定される。

その結果、断片データ４００に含まれるコンテクスト値が下限閾値以上と判定され（Ｓ１２６：ＹＥＳ）、かつ上限閾値未満であると判定された場合は（Ｓ１２７：ＹＥＳ）、断片データリスト９００から当該断片データ４００が削除されて（Ｓ１２８）、当該断片データ４００が「Ｘ文」構成リスト９１０に追加される（Ｓ１２９）。一方、断片データ４００に含まれるコンテクスト値が下限閾値未満と判定され（Ｓ１２６：ＮＯ）、または上限閾値以上であると判定された場合は（Ｓ１２７：ＮＯ）、Ｓ１２４へ戻る。これにより、断片データリスト９００に登録された全ての断片データ４００について、Ｓ１２４〜Ｓ１２９の処理が実行される。

断片データリスト９００の全てのファイルについてチェックしたと判定された場合（Ｓ１２４：ＹＥＳ）、Ｓ１２２で取得された優先編集順序２０ｃに基づいて、優先編集順序がセットされ（Ｓ１３０）、この優先編集順序に従って、「Ｘ文」構成リスト９１０に追加された断片データ４００のソートが実行される（Ｓ１３１）。例えば、Ｓ１２４〜Ｓ１２９の処理によって、ｍ個の断片データ４００が「Ｘ文」構成リスト９１０に追加されている場合に、優先編集順序「コンテクスト値昇順>作成時間順」でソートが実行される。すると、図２７に示すように、断片データファイル名９１０ｃに追加されたｍ個の断片データ４００は、コンテクスト値９１０ａを第１キーとして昇順にソートされ、また、コンテクスト値が同じ場合には作成時間９１０ｂを第２キーとしてソートされる。

次に、断片データ記憶エリア１４４に保存されている断片データ４００のうち、「Ｘ文」構成リスト９１０に追加されたものについて、メディア変換テーブル１９に基づいてメディア変換処理が実行される（Ｓ１３２）。具体的には、該当する断片データ４００（データ部２０６）のメディア種類２０４及びフォーマット情報２０５を取得して、メディア変換テーブル１９を参照して、データ変換処理の内容を取得する。そして、断片データ４００（データ部２０６）は、このデータ変換処理に従ってデータ変換が実行され、変換先のメディア種類及びフォーマット情報のデータが取得される。例えば、変換元の断片データ４００（データ部２０６）のメディア種類２０４「音声」で及びフォーマット情報２０５「ＭＰＥＧ」である場合には、メディア変換テーブル１９に基づいて「音声認識」の処理がなされて、変換先のメディア種類「文字」及びフォーマット情報「ＴＸＴ」のデータに変換される。

このように、「Ｘ文」構成リスト９１０に登録されている断片データ４００が、統合ファイル作成処理（図２２）のＳ１０２で指定されたメディアに変換された後、Ｓ１３１でソートされた順序に従って１つの縫合データとして編集される縫合処理が実行される（Ｓ１３３）。この「Ｘ文」作成処理が、序文作成処理（Ｓ１０３）である場合、Ｓ１３３の縫合処理で序文データが作成される。同様に、主文作成処理（Ｓ１０４）では主文データが、跋文作成処理（Ｓ１０５）では跋文データが、補足文作成処理（Ｓ１０６）では補足文データが、それぞれ作成される。

図２２に戻り、統合ファイルの各セクション毎（序文，主文，跋文，補足文）の縫合データが作成されたら、それらをさらに縫合する処理が行われる。まず、序文データと主文データとを１つの縫合データに編集する縫合処理が実行される（Ｓ１０７）。この時、編集される順序は、序文データが先、主文データが後となるように縫合されて、（序文＋主文）データが作成される。同様に、跋文データと補足文データとを１つの縫合データに編集する縫合処理が実行されて（Ｓ１０８）、（跋文＋補足文）データが作成される。

最後に、（序文＋主文）データと（跋文＋補足文）データとを縫合して、１つの統合ファイルを作成する縫合処理が実行される（Ｓ１０９）。この時、編集される順序は、（序文＋主文）データが先、（跋文＋補足文）データが後となるように縫合されて、（序文＋主文＋跋文＋補足文）というセクション構成の統合ファイルが作成される。Ｓ１０９で作成された統合ファイル６００は、ＨＤＤ１４０の統合ファイル記憶エリア１４５に保存される（Ｓ１１０）。

図２８に示すように、統合ファイル６００は、データの各種特性を示す詳細情報が格納された統合ファイルヘッダー部６０１と、データの本体部である統合ファイルデータ部６０７とから構成される。統合ファイルヘッダー部６０１には、統合ファイルヘッダー部６０１のサイズ情報６０２と、統合データ部６０９のサイズ情報６０３と、統合コンテクストデータ部６０８のサイズ情報６０４とが含まれている。さらに、統合ファイルヘッダー部６０１には、統合断片データヘッダー部６０５と、断片データ４００の個数６０６とが含まれ、断片データ４００の個数６０６で示されたｎ個分の断片データヘッダー部４０１が存在する。

断片データヘッダー部４０１には、当該断片データ４００の作成時刻情報４０３，データ部２０６のサイズ情報２０３，データ部２０６のメディア種類２０４，データ部２０６のフォーマット情報２０５，コンテクストデータ部３０４のサイズ情報３０３が含まれている。また、統合ファイルデータ部６０７には、統合コンテクストデータ部６０８と、統合データ部６０９とが含まれており、それぞれ断片データ４００のｎ個分のコンテクストデータ部３０４とデータ部２０６とが格納されている。なお、先述の断片データ４００と、実質的に同一のデータには同一符号が付与されている（図２１参照）。

以上のように、複数の断片データ４００が含まれた１つの統合ファイル６００が作成される。そして、統合ファイル６００においては、複数の断片データ４００が各セクション毎（序文，主文，跋文，補足文）に、「Ｘ文」構成リスト９１０でソートされた順序で編集されている。すなわち、統合ファイル６００は、利用者のコンテクストに対応した順序や規則によって、各断片データ４００が編集されたものであり、この統合ファイル６００は断片情報２００の入力時における利用者のコンテクストを反映した内容及び構成となっている。

すなわち、第１の実施の形態の断片データ作成装置によれば、利用者が外部の入力装置等において断片情報２００を入力すると、各入力装置から断片情報２００が送信されて、断片データ作成装置１により断片情報２００が取得される。断片データ作成装置１が動作している間は、計測間隔時間毎に最新の利用者のコンテクスト情報３００が取得される。利用者から文字、音声、画像などの断片情報２００の入力があった場合には、最新の利用者のコンテクスト情報３００と、入力された断片情報２００とに基づいて、断片データ４００が作成される。統合ファイル６００の作成時には、コンテクスト情報３００に基づいて複数の断片データ４００を編集して統合ファイル６００が作成される。

よって、異なる時間や場所において、外部の入力装置等にて入力された断片情報２００に基づいて、断片データ４００を作成することができ、かつ、各断片データ４００を収集することができる。また、コンテクスト情報３００を付加する機能がない入力装置等にて断片情報２００が入力されても、その断片情報２００とコンテクスト情報３００とが対応付けられた断片データ４００を作成できる。また、異なる時間や場所において、外部の入力装置等を用いて作成された断片情報２００を、コンテクスト情報３００に基づいて編集して統合ファイル６００を作成することで、利用者の統合ファイル作成の負担と手間を軽減し、利用者のニーズに合致した体裁や順序で統合ファイル６００を作成できる。

次に、第２の実施の形態の断片データ作成システムについて説明する。第２の実施の形態の断片データ作成システムは、第１の実施の形態における［１］断片情報取得処理，［２］コンテクスト推定処理，［３］断片データ作成処理が実行される携帯端末装置７と、［４］統合ファイル作成処理が実行される編集装置８とが、ネットワークを介して接続された断片データ作成システムを構成する。

まず、図２９及び図３０を参照して、第２の実施の形態に係る断片データ作成システムの構成について説明する。図２９は、編集装置８の構成を示すブロック図である。図３０は、第２の実施の形態における、断片データ作成システムの構成を機能別に示す機能ブロック図である。

第２の実施の形態における携帯端末装置７は、基本的に図２に示す断片データ作成装置１と同じ構成であるが、作成された断片データ４００がモデム１９５を介して編集装置８へ送信されるため、［４］統合ファイル作成処理に関する機能及び構成を具備しない点で異なっている。一方、図２９に示すように、編集装置８にはＣＰＵ８１０，ＲＯＭ８２０，ＲＡＭ８３０，ＨＤＤ８４０，ディスプレイ８６１が接続された表示制御部８６０，マイク８７１及びスピーカ８７２が接続された音声制御部８７０，マウス８８１及びキーボード８８２が接続された入力検知部８８０が、バス８１５を介して具備されている。このような編集装置８の構成は、通常のコンピュータ機器の構成として公知のものであるから、詳細は省略する。なお、編集装置８には、携帯端末装置７から送信された断片データ４００を受信するための通信制御部８９１を備え、また［４］統合ファイル作成処理に関する機能及び構成を備えている。

図３０に示すように、第２の実施の形態における断片データ作成システムの機能ブロック図は、第１の実施の形態における断片データ作成装置１（図５）のものと基本的に同一であるが、携帯端末装置７及び編集装置８で全体の機能を構成している点で異なる。また、携帯端末装置７は、断片データ作成手段１５により作成された断片データ４００を編集装置８へ送信する断片データ送信手段２２を具備している。一方、編集装置８は、断片データ送信手段２２から送信された断片データ４００を受信する断片データ受信手段２３を具備している。この断片データ受信手段２３により受信された断片データ４００は、断片データ記憶手段１６に保存される。なお、モデム１９５が、本発明の「断片データ送信手段」２２に相当し、通信制御部８９１が、本発明の「断片データ受信手段」２３に相当する。

また、断片データ作成プログラムのうち、第１の実施の形態における［１］断片情報取得処理，［２］コンテクスト推定処理，［３］断片データ作成処理を実行するためのプログラムは、携帯端末装置７に記憶されており、このプログラムを実行するＣＰＵ１１０が、本発明の「断片情報取得手段」２５，「コンテクスト推定手段」１２，「コンテクスト情報作成手段」１４，「断片データ作成手段」１５に相当する。また、断片データ作成プログラムのうち、［４］統合ファイル作成処理を実行するためのプログラムは、編集装置８に記憶されており、このプログラムを実行するＣＰＵ８１０が、「統合ファイル作成手段」１７，「メディア変換手段」１８に相当する。

また、本発明の「コンテクスト定義テーブル」１３は、携帯端末装置７のＨＤＤ１４０に記憶領域が確保される。一方、本発明の「断片データ記憶手段」１６，「編集ルールテーブル」２０，「メディア変換テーブル」１９，「統合ファイル記憶手段」２１は、編集装置８のＨＤＤ８４０にそれぞれ記憶領域が確保される。

このような構成において、携帯端末装置７では、第１の実施の形態と同様に、［１］断片情報取得処理，［２］コンテクスト推定処理，［３］断片データ作成処理が実行されて、ＨＤＤ１４０に断片データ４００が保存されると、その断片データ４００はモデム１９５によりネットワークを介して編集装置８へ送信される。編集装置８では、携帯端末装置７から送信された断片データ４００が通信制御部８９１により受信されて、ＨＤＤ８４０の断片データ記憶エリア（図示せず）に保存されるように制御される。そして、編集装置８では、ネットワークを介して収集された複数の断片データ４００をもとに統合ファイル６００が作成される。

以上説明したように、第２の実施の形態の断片データ作成システムによれば、断片データ４００を作成する携帯端末装置７と、統合ファイル６００を作成する編集装置８とをネットワークを介して接続された構成としたので、携帯端末装置７と編集装置８とが離間した構成にすることができ、より自由な構成を可能とする断片データ作成システムを提供することができる。

次に、第３の実施の形態の断片データ作成システムについて説明する。第３の実施の形態の断片データ作成システムでは、携帯端末装置７，編集装置８，記憶装置９がネットワークを介して接続されており、各携帯端末装置７で作成された断片データ４００を記憶装置９に保存する一方、編集装置８は記憶装置９に記憶された断片データ４００を編集して、統合ファイル６００を作成するものである。

以下、図３１及び図３２を参照して、第３の実施の形態に係る断片データ作成システムの構成について説明する。図３１は、第３の実施の形態における、断片データ作成システムの全体構成図である。図３２は、第３の実施の形態における、断片データ作成システムの構成を機能別に示す機能ブロック図である。

図３１に示すように、複数の携帯端末装置７ａ〜７ｎは複数の記憶装置９ａ〜９ｎとネットワーク１０００を介して接続され、また、複数の記憶装置９ａ〜９ｎは１つの編集装置８とネットワーク１０００を介して接続されている。ネットワーク１０００は、有線又は無線を問わず、有効に接続されていればよい。また、本実施の形態では、編集装置８は１つであるが、編集装置８が複数設けられてもよい。

第３の実施の形態における携帯端末装置７と編集装置８の構成は、第２の実施の形態のものと同じである。記憶装置９の構成は、図２９に示す編集装置８と同様に、ＣＰＵ，ＲＯＭ，ＲＡＭ，ＨＤＤ，通信制御部などが具備された通常のコンピュータ機器の構成であり、詳細は省略する。

図３２に示すように、第３の実施の形態における機能ブロック図は、第２の実施の形態における断片データ作成システム（図３０）のものと基本的に同一であるが、断片データ記憶手段１６を具備する記憶装置９が独立した構成となっている点で異なる。そして、携帯端末装置７には、作成された断片データ４００を、記憶装置９へ送信するための断片データ送信手段２２が具備されている。記憶装置９には、携帯端末装置７から送信される断片データ４００を受信するための断片データ受信手段２３と、断片データ記憶手段１６に保存された断片データ４００を編集装置８へ送信するための第２の断片データ送信手段２６が具備されている。編集装置８には、記憶装置９から送信される断片データ４００を受信するための第２の断片データ受信手段２７が具備されている。

なお、携帯端末装置７のモデム１９５が、本発明の「第１の断片データ送信手段」２２に相当し、記憶装置９の通信制御部（図示せず）が、本発明の「第１の断片データ受信手段」２３及び「第２の断片データ送信手段」２６に相当し、編集装置８の通信制御部８９１が、「第２の断片データ受信手段」２７に相当する。

このような構成において、携帯端末装置７では、第２の実施の形態と同様に、［１］断片情報取得処理，［２］コンテクスト推定処理，［３］断片データ作成処理が実行される。そして、断片データ４００が作成されると、その断片データ４００はモデム１９５によりネットワーク１０００を介して記憶装置９へ送信される。記憶装置９では、携帯端末装置７から送信された断片データ４００が通信制御部（図示せず）により受信されて、ＨＤＤの断片データ記憶エリア（図示せず）に保存される。そして、利用者からの統合ファイル開始の指示を受け、又は編集装置８からの問い合わせを受ける等の所定のタイミングで、記憶装置９に保存される断片データ４００は、通信制御部（図示せず）により編集装置８へ送信される。編集装置８では、記憶装置９から送信された断片データ４００が通信制御部８９１により受信されて、ＨＤＤ８４０の断片データ記憶エリア（図示せず）に保存される。そして、編集装置８では、ネットワーク１０００を介して複数の記憶装置９から収集された断片データ４００をもとに統合ファイル６００が作成される。

以上説明したように、第３の実施の形態の断片データ作成システムによれば、断片データ４００を作成する携帯端末装置７と、断片データ４００を保存する記憶装置９と、統合ファイル６００を作成する編集装置８とが、ネットワークを介して接続された構成としたので、携帯端末装置７，記憶装置９，編集装置８の各々が離間した構成にすることができ、より自由な構成を可能とする断片データ作成システムを提供することができる。

ところで、上記「第１の実施の形態」〜「第３の実施の形態」においては、先述のように、統合ファイル作成プログラムを実行して上記のフローチャートを処理するＣＰＵ１１０（ＣＰＵ８１０）が、本発明の「断片情報取得手段」２５，「コンテクスト推定手段」１２，「コンテクスト情報作成手段」１４，「断片データ作成手段」１５，「統合ファイル作成手段」１７，「メディア変換手段」１８に相当する。より詳細には、断片情報取得処理（図８〜図１１）を実行するＣＰＵ１１０が、「断片情報取得手段」２５に相当する。また、コンテクスト推定処理（図１２）を実行するＣＰＵ１１０が、「コンテクスト推定手段」１２に相当し、コンテクスト推定処理（図１２）のＳ１７及びＳ１８を実行するＣＰＵ１１０が、「コンテクスト情報作成手段」１４に相当する。また、断片データ作成処理（図１９）を実行するＣＰＵ１１０が、「断片データ作成手段」１５に相当する。また、統合ファイル作成処理（図２２）を実行するＣＰＵ１１０（ＣＰＵ８１０）が、「統合ファイル作成手段」１７に相当し、「Ｘ文」作成処理（図２５）のＳ１３２を実行するＣＰＵ１１０（ＣＰＵ８１０）が、「メディア変換手段」１８に相当する。

なお、本発明は、以上詳述した「第１の実施の形態」〜「第３の実施の形態」に限定されるものではなく、各種の変形が可能なことはいうまでもない。

例えば、上記実施の形態では、利用者のコンテクストとして「感動」である場合を例に説明しているが、コンテクストは、利用者の感情や利用者を取り巻く状況等であればよい。コンテクストしては、「感動」，「悲しみ」，「怒り」，「楽しさ」，「賑やかさ」，「忙しさ」等の様々なものが適用可能であり、各コンテクストに対応するコンテクスト定義テーブル１３が設定されればよい。例えば、利用者のコンテクスト「悲しみ」に基づいて、統合ファイルを編集したい場合は、コンテクスト「悲しみ」に対応するコンテクスト定義テーブル１３が設定されればよい。

また、コンテクスト定義テーブル１３には、あらかじめ任意のコンテクストについてのテーブルが利用者又は設計者によって設定されていてもよいし、複数のコンテクストの各々に対応する複数のテーブルがコンテクスト定義テーブル１３にあらかじめ設定されており、コンテクスト推定処理（図１２）において、自動的に最適なテーブルがコンテクスト定義テーブル１３から選択されるようにしてもよい。

また、統合ファイル作成処理（図２２）において、複数の断片データ４００がどのような内容及び構成で編集されて統合ファイル６００が作成されるかも、利用者又は設計者が任意に設定可能である。例えば、断片データ４００に含まれるコンテクストデータ部３０４（図２１参照）には、コンテクスト種別１３ａとコンテクスト値１３ｃが示されているから（図１６参照）、各コンテクスト種別１３ａのそれぞれについて断片データ４００が編集されてもよい。また、コンテクスト値１３ｃについて昇順又は降順にソートされるように編集されてもよい。

また、キャリブレーション処理（図１３）では、サンプリング値を測定してその平均値を基準値として算定しているが、サンプリング値の時系列データを取得して、その推移の特徴に基づいて基準値を算定するようにしてもよい。また、異常なサンプリング値は除外して基準値を算定するようにしてもよい。また、推定処理（図１５）における各センサの増分値と閾値との比較処理（Ｓ４２，Ｓ４４，Ｓ４６）では、各センサ毎に変化閾値εを設けておき、閾値を変化閾値εで補正した補正値で、増分値との比較を実行してもよい。

また、各センサから計測される利用者情報は、体温、発汗及び心拍数に限定されないことはいうまでもない。例えば、利用者の振動、脳波、呼吸、加速度、傾き、バイオリズムなどを利用者情報として計測するようにしてもよい。

本発明の断片データ作成装置及び断片データ作成システムは、利用者のコンテクストに基づいて断片データを作成するコンピュータ機器に適用できる。

断片データ作成装置１の概要を示す図である。断片データ作成装置１の構成を示すブロック図である。断片データ作成装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。断片データ作成装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。断片データ作成装置１の構成を機能別に示す機能ブロック図である。断片データ作成装置１におけるデータ構成の変遷を示す図である。入力装置等の種類とメディア種類とに応じた断片情報取得方法を説明するためのテーブル図である。ファイル転送による断片情報取得処理の詳細を示すフローチャートである。Ｗｅｂサーバ経由による断片情報取得処理の詳細を示すフローチャートである。Ｍａｉｌサーバ経由による断片情報取得処理の詳細を示すフローチャートである。ＦＡＸゲートウエイ又はＰＳＴＮゲートウエイ経由による断片情報取得処理の詳細を示すフローチャートである。コンテクスト推定処理のメインフローチャートである。キャリブレーション処理（Ｓ１４）の詳細を示すフローチャートである。計測処理（Ｓ１５）の詳細を示すフローチャートである。推定処理（Ｓ１６）の詳細を示すフローチャートである。コンテクスト定義テーブル１３の概要を示す図である。Ｓ１７で作成されたコンテクスト情報３００のデータ構成を示す図である。断片情報２００のデータ構成を示す図である。断片データ作成処理のメインフローチャートである。断片データ作成実行処理（Ｓ７４）の詳細を示すフローチャートである。断片データ４００のデータ構成を示す図である。統合ファイル作成処理のメインフローチャートである。断片データリスト９００のデータ構成を示す図である。メディア変換テーブル１９の概要を示す図である。「Ｘ文」作成処理（Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６）の詳細を示すフローチャートである。編集ルールテーブル２０のデータ構成を示す図である。「Ｘ文」構成リスト９１０のデータ構成を示す図である。統合ファイル６００のデータ構成を示す図である。編集装置８の構成を示すブロック図である。第２の実施の形態における、断片データ作成システムの構成を機能別に示す機能ブロック図である。第３の実施の形態における、断片データ作成システムの全体構成図である。第３の実施の形態における、断片データ作成システムの構成を機能別に示す機能ブロック図である。

１断片データ作成装置
２ＰＤＡ
３携帯電話機
４デジタルカメラ
５ＦＡＸ
６固定電話
７携帯端末装置
８編集装置
９記憶装置
１０入力手段
１１センサ
１２コンテクスト推定手段
１３コンテクスト定義テーブル
１４コンテクスト情報作成手段
１５断片データ作成手段
１６断片データ記憶手段
１７統合ファイル作成手段
１８メディア変換手段
１９メディア変換テーブル
２０編集ルールテーブル
２１統合ファイル記憶手段
２２断片データ送信手段
２３断片データ受信手段
２４インタフェース手段
２５断片情報取得手段
２６第２の断片データ送信手段
２７第２の断片データ受信手段
１１０ＣＰＵ
１１５バス
１２０ＲＯＭ
１３０ＲＡＭ
１４０ＨＤＤ
１５０ＵＳＢインタフェース
１６０表示制御部
１６１ＬＥＤ
１７０音声制御部
１７１マイク
１７２スピーカ
１８０入力検知部
１８１入力パネル
１８２体温センサ
１８３発汗センサ
１８４心拍数センサ
１９０タイマ
１９５モデム
１９６アンテナ
２００断片情報
３００コンテクスト情報
４００断片データ
６００統合ファイル
８１０ＣＰＵ
８１５バス
８２０ＲＯＭ
８３０ＲＡＭ
８４０ＨＤＤ
８６０表示制御部
８６１ディスプレイ
８７０音声制御部
８７１マイク
８７２スピーカ
８８０入力検知部
８８１マウス
８８２キーボード
８９１通信制御部
９００断片データリスト
９１０「Ｘ文」構成リスト

Claims

文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報を、ネットワークを介して取得するためのインタフェースであるインタフェース手段と、
前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、
利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、
前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、
前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、
前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、
前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含む断片データを作成する断片データ作成手段と、
前記断片データ作成手段によって作成された前記断片データを複数記憶する断片データ記憶手段と、
前記断片データ記憶手段に記憶された前記複数の断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、
前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、
前記断片データ記憶手段に記憶された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、
前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする断片データ作成装置。
前記インタフェース手段は、前記ネットワーク上の公開ディレクトリ、メールサーバ及びウェブサーバの少なくとも１つと接続するためのインタフェースであり、若しくは、電話ゲートウエイ又はＦＡＸゲートウエイとの接続を確立してデータ通信を実行するためのインタフェースであることを特徴とする請求項１に記載の断片データ作成装置。
前記断片情報の種別と、前記断片情報のデータ形式を変換するための変換情報との対応を定義したメディア変換テーブルと、
前記断片データ作成手段により作成された前記断片データに含まれる前記断片情報の種別に対応する前記変換情報を、前記メディア変換テーブルに基づいて特定する変換情報特定手段と、
前記変換情報特定手段により特定された前記変換情報に基づいて、前記断片データ作成手段により作成された前記断片データに含まれる前記断片情報のデータ形式を変換するメディア変換手段と
を備えることを特徴とする請求項１又は２に記載の断片データ作成装置。
前記断片データ作成手段により作成された前記断片データを、他のコンピュータ装置へ送信する断片データ送信手段を備えることを特徴とする請求項１乃至３のいずれかに記載の断片データ作成装置。
文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報が取得されて、前記断片情報を含む断片データが作成される携帯端末装置と、前記携帯端末装置で作成された前記断片データが編集されて統合ファイルが作成される編集装置とが、ネットワークを介して接続された断片データ作成システムであって、
前記携帯端末装置は、
前記断片情報を、前記ネットワークを介して取得するためのインタフェースであるインタフェース手段と、
前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、
利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、
前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、
前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、
前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、
前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含めて、前記断片データを作成する断片データ作成手段と、
前記断片データ作成手段により作成された前記断片データを前記編集装置へ送信する断片データ送信手段とを備え、
前記編集装置は、
前記携帯端末装置から送信された前記断片データを受信する断片データ受信手段と、
前記断片データ受信手段により受信された前記断片データを複数記憶する断片データ記憶手段と、
前記断片データ記憶手段に記憶された前記複数の断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、
前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、
前記断片データ記憶手段に記憶された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、
前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする断片データ作成システム。
文字情報、画像情報及び音声情報の少なくとも１つを含む断片情報が取得されて、前記断片情報を含む断片データが作成される携帯端末装置と、前記断片データが記憶される複数の記憶装置と、前記断片データが編集されて統合ファイルが作成される編集装置とが、ネットワークを介して接続された断片データ作成システムであって、
前記携帯端末装置は、
前記断片情報を、前記ネットワークを介して取得するためのインタフェースであるインタフェース手段と、
前記インタフェース手段を介して前記断片情報を取得する断片情報取得手段と、
利用者の体温、心拍数、発汗、呼吸、及び加速度の少なくとも１つを、前記利用者に関する利用者情報として計測するセンサと、
前記利用者情報と、前記利用者における感情、雰囲気及び状態の少なくとも１つを含むコンテクストとの対応を定義したコンテクスト定義テーブルと、
前記センサにより計測された前記利用者情報に対応する前記コンテクストを、前記コンテクスト定義テーブルに基づいて推定するコンテクスト推定手段と、
前記コンテクスト推定手段により推定された前記コンテクストに基づいて、前記コンテクストの種別および強弱を示すコンテクスト情報を作成するコンテクスト情報作成手段と、
前記断片情報取得手段により取得された前記断片情報と、前記コンテクスト情報作成手段により作成された前記コンテクスト情報とを含めて、前記断片データを作成する断片データ作成手段と、
前記断片データ作成手段により作成された前記断片データを、前記複数の記憶装置の少なくとも１つへ送信する第１の断片データ送信手段とを備え、
前記複数の記憶装置の各々は、
前記携帯端末装置から送信された前記断片データを受信する第１の断片データ受信手段と、
前記第１の断片データ受信手段により受信された前記断片データを記憶する断片データ記憶手段と、
前記断片データ記憶手段に記憶された前記断片データを、前記編集装置へ送信する第２の断片データ送信手段とを備え、
前記編集装置は、
前記複数の記憶装置の各々から送信された前記断片データを受信する第２の断片データ受信手段と、
前記第２の断片データ受信手段により受信された複数の前記断片データにそれぞれ含まれる前記断片情報を編集して、一の統合ファイルを作成する統合ファイル作成手段と、
前記コンテクスト情報に応じて、前記統合ファイルの作成時に前記断片情報が編集される順序を示す編集ルールを定義した編集ルールテーブルと、
前記第２の断片データ受信手段により受信された前記複数の断片データごとに、前記断片データに含まれる前記コンテクスト情報に対応する前記順序を、前記編集ルールテーブルに定義された前記編集ルールに基づいて特定する順序特定手段とを備え、
前記統合ファイル作成手段は、前記複数の断片データにそれぞれ含まれる前記断片情報を、前記順序特定手段によって特定された前記順序に応じた前後関係で並ぶように編集することを特徴とする断片データ作成システム。