JP3544829B2 - 情報記憶検索装置及び情報記憶検索方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数種類の情報データを記憶する情報記憶装置および複数種類の情報データを記憶・検索する情報記憶検索装置に関する。
【０００２】
【従来の技術】
複数種類の情報（音声、画像等のコンティニュアス情報やテキストデータ等）を記憶ための情報記憶装置は、独立記録型と関連付け記録型の２つに大きく分類される。
【０００３】
独立記録型は、複数種類の情報をただ単にそれぞれ異なった装置で情報を記録するものである。例えば、手書きメモと音と映像を記録するには、手書きメモは紙のノート、音はカセットテープレコーダー、映像はビデオ、というように、それぞれ別個に記録する。この場合、複数種類の情報間で互いに関連付けて情報を記録することができない。すなわち、例えば、音声を記録しながらそれと同期して書かれたメモを互いに関連付けて記録することができないため、後に手書きメモの所望の箇所に対応する音声を参照するということができない。
【０００４】
関連付け記録型は、複数種類の情報の間で関連付けを行いながら情報を記録するものである。この関連付けにより、例えば手書きメモに関連付けられた音声を再生する、といった複数種類の情報の間で連携した情報操作を行うことができる。
【０００５】
この関連付け記録型で用いられている関連付けは大別して、直接関連付けと間接関連付けに分類される。
直接関連付けは、関連付け先のデータのカウンタ値や記録媒体中でのアドレスなどの、関連付け先のデータを直接指定できる単位を関連付け元のデータに付加して記録することにより関連付けを行うものである。例えば、ビデオの記録中に音声や手書きペンで注釈を付加する際に、それらの注釈にその注釈が付加された時のビデオのカウンタ値を付加して記録しておき、記録後にその注釈を選択すると、選択された注釈に付加されて記録されたカウンタ値を用いて、ビデオの頭出し再生を行うことができる。
【０００６】
しかし、直接関連付けは、関連付け元のデータが関連付け先のデータを指定する直接値を保持しているため、関連付け先のデータから逆に関連付け元のデータをたどることができなかい。これを先の例で説明すると、指定された注釈から関連付けられたビデオの一部領域をたどって再生することは可能であるが、その逆のビデオの一部領域を指定して、その領域に関連付けを行っている注釈をたどることはできなかった。
【０００７】
間接関連付けは、時刻などの、情報の種類に依存せず、かつ再現性のある付加情報をそれぞれの情報に付加しながら記録し、この付加情報を用いて間接的にたどって関連付けるものである。その一例として、例えば、特開平第６−１７６１７１号には、ビデオなどのデータと表示可能なアイコン（ｉｎｄｉｃｉａ）に「共通の時刻」をそれぞれ独立して付加しておいて、記録後にアイコンを選択すると、そのアイコンが記録された時刻をたどって、これと同じ時刻に記録されたビデオデータを検索して、その検索されたビデオデータヘの操作を行うことができる、といった記載がされている。
【０００８】
この場合、ビデオデータとアイコンとが時刻を介して間接的に関連付されているため、原理的には関連付け元と関連付け先の区別はなく双方向に関連付けをたどることができる。しかし、どの種類のデータでも関連付け元とすることができるとは限らない。例えばビデオデータのように有意義な単位で区切らることが困難なコンティニュアス情報では、ビデオデータの一部を選択するということができないため、結果として関連付け元とはならない。すなわち、関連付けられたデータ領域をひとつのかたまり（オブジェクト）として識別して、その単位ごとに情報を削除したり再記録する、といった操作をどの種類のデータに対しても行うことが必ずしもできないことを意味する。そのため、情報をかたまりごとに操作する、データベースなどでの使用には適さなかった。
【０００９】
【発明が解決しようとする課題】
このように、複数種類の情報データを関連付けして記憶する従来の情報記憶装置では、データ間の関連が全くないか、または、関連付け元・関連付け先の区別なくデータ間で双方向の関連付けを行うことはできなかった。
【００１０】
そこで、本発明は、異なる種類の複数の情報データを互い双方向に関連付けて記憶するとともに、関連のある複数の情報データを容易に検索できる情報記憶装置および情報記憶検索装置および情報記憶方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の情報記憶装置は、入力された複数種類の情報データのそれぞれを記憶する情報記憶装置において、
前記入力される複数種類の情報データのそれぞれを互いに関連のあるデータブロックに区切る区切り手段と、
この区切り手段により区切られて得られた前記複数の情報データのそれぞれのデータブロックのうち、同一区間内の前記複数種類の情報データのデータブロックを互いに対応付けて記憶する記憶手段と、
を具備することにより、入力された各種情報データのそれぞれの互いに関連するデータブロック間を双方向に検索可能なように対応つけが行え、その関連付けされた各種情報データのデータブロック間は主従の関係がなく対等に取り扱うことができる。
【００１２】
本発明の情報記憶装置は、入力された複数種類の情報データのそれぞれを記憶する情報記憶装置において、
前記入力される複数種類の情報データのそれぞれを、その情報の種類に応じたデータ入力時の条件に基づき任意の長さに区切るとともに、その区切り目に基づき前記複数種類の情報データのそれぞれを任意の長さのデータブロックに区切る区切り手段と、
この区切り手段により区切られて得られた前記複数種類の情報データのそれぞれのデータブロックのうち、同一区間内のデータブロックを互いに対応付けるためのオブジェクト情報を生成する生成手段と、
この生成手段で生成されたオブジェクト情報を記憶するオブジェクト情報記憶手段と、
を具備したことにより、入力された各種情報データのそれぞれの互いに関連するデータブロック間を双方向に検索可能なように対応つけが行え、その関連付けされた各種情報データのデータブロック間は主従の関係がなく対等に取り扱うことができる。すなわち、例えば、手書きペンデータと音声データとを互いに双方向に関連付けられながら記録することができる。従って、手書きペンデータからそれに対応付けられた音声データを操作すること、および、音声データからそれに対応付けられた手書きペンデータを操作することが行える。
【００１３】
本発明の情報記憶検索装置は、入力された複数種類の情報データのそれぞれを記憶し、その記憶された情報データを検索する情報記憶検索装置において、
前記入力される複数種類の情報データのそれぞれを互いに関連のあるデータブロックに区切る区切り手段と、
この区切り手段により区切られて得られた前記複数の情報データのそれぞれのデータブロックのうち、同一区間内の前記複数種類の情報データのデータブロックを互いに対応付けて記憶する記憶手段と、
前記オブジェクト情報にて特定されるデータブロック単位に情報データを検索する検索手段と、
を具備したことにより、複数種類の情報データのそれぞれを互いに関連するデータブロック単位で互いに対応付けて管理、記憶することにより、複数種類の情報データ間でデータブロック単位に双方向に容易に検索が行える。
【００１４】
本発明の情報記憶検索装置は、入力された複数種類の情報データのそれぞれを記憶し、その記憶された情報データを検索する情報記憶検索装置において、
前記入力される複数種類の情報データのそれぞれを、その情報の種類に応じたデータ入力時の条件に基づき任意の長さに区切るとともに、その区切り目に基づき前記複数種類の情報データのそれぞれを任意の長さのデータブロックに区切る区切り手段と、
この区切り手段により区切られて得られた前記複数種類の情報データのそれぞれのデータブロックのうち、同一区間内のデータブロックを互いに対応付けるためのオブジェクト情報を生成する生成手段と、
この生成手段で生成されたオブジェクト情報を記憶するオブジェクト情報記憶手段と、
前記オブジェクト情報にて特定されるデータブロック単位に情報データを検索する検索手段と、
を具備したことにより、複数種類の情報データのそれぞれを互いに関連するデータブロック単位で互いに対応付けて、それをオブジェクトという概念で、その属性情報と識別子で管理し記憶することにより、複数種類の情報データの検索がオブジェクトの属性情報や、オブジェクトの識別子を検索キーにして容易に行える。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報記憶検索装置の構成例を概略的に示したものである。
【００１６】
図１に示すように、情報記憶検索装置は、複数種類の情報データ（例えば、手書きペンデータや音声データ）を入力するデータ入力部１と、データ入力部１から入力されたデータを、例えば手書きペンデータの場合にはデータの入力が開始されてから２秒以上データの入力がない時に区切り記号を発生する、といったようにデータの種類に応じた入力条件に基づき適切な単位で区切るデータ区切り部２と、データ入力部１から入力され、データ区切り部２で区切られたデータを、例えば磁気ディスク等の記録媒体上に記憶するデータ記憶部３と、データ区切り部２で区切られた複数種類のデータ全体をオブジェクトとして再び区切り、オブジェクト（具体的にはオブジェクト情報）を生成するデータ再区切り部４と、データ再区切り部４によって生成されたオブジェクトを記憶するオブジェクト記憶部５とから構成される。
【００１７】
図２は、図１に示したデータ入力部１の具体例である。ここでは、タブレット１１と呼ぶ。タブレット１１は、例えば、手書きペンデータを入力するためのタブレット面１２、と音声データを収集するためのマイク１３を具備している。
【００１８】
図２に示すタブレット面１２上に描かれたペンの軌跡がタブレット面１２での座標値に変換され、この座標値列が手書きペンデータとして図１のデータ入力部１に入力されるようになっている。
【００１９】
タブレット１１にて発生する座標値の列は、ペンがタブレット面１２と接触してから離すまでの間に連続して発生する。また、タブレット１１は一度ペンがタブレット面１２から離されると、例えば（−１、−１）などの、手書きペンデータとして発生しない座標値をストローク区切り記号として挿入する。
【００２０】
データ区切り部２は、データ入力部１によって入力された情報の特徴に応じて、データを扱いやすい単位に区切るものである。例えば、手書きペンデータは、タブレット１１を用いて入力が開始された後、例えば２秒以上新たなストロークの入力がない場合に、データ区切り記号を発生する。区切り記号には、例えば（−２５６、−２５６）などの手書きペンデータでは発せず、かつストローク区切り記号とは異なる座標値であれば何でもよい。
【００２１】
このようにして、データ入力部１から入力されたデータ（例えば、手書きペンデータの座標値列）に、データ区切り部２で区切り記号が付加されて、データ記憶部３に記憶される。
【００２２】
図３にデータ記憶部３における手書きペンデータの座標値列の記憶例を示す。図３において、図２のタブレット面１２に描かれた丸印Ｐ１の手書きペンデータを表す座標値列はアドレス「１」からアドレス「７」に記憶されており、図２のタブレット面１２に描かれた矢印Ｐ２の手書きペンデータを表す座標値列はアドレス「８」からアドレス「１９」に記憶されている。データ区切り部２によって挿入されたストローク区切り記号Ｃ１（−１、−１）はアドレス「６」、アドレス「１３」、アドレス「１８」に記憶されている。データ区切り部２によって挿入されたデータ区切り記号Ｃ２（−２５６、−２５６）はアドレス「７」、「１９」に記憶されている。
【００２３】
矢印の手書きペンデータはアドレス「８」からアドレス「１３」までのストロークと、アドレス「１４」からアドレス「１８」までのストロークの２つから構成される。
【００２４】
データ記憶部３は、データ区切り部２によってストローク区切り記号、データ区切り記号の挿入された手書きペンデータの座標列や音声データを記憶する。
データ記憶部３は、例えば磁気ディスク装置、メモリカード等の各種記憶装置のうちの少なくとも１つの記憶装置から構成され、入力されるデータの種類に応じた記憶領域を持つ。例えば、データ記憶部３は、手書きペンデータを記憶するペンデータ記憶領域と、音声データを記憶する音声データ記憶領域とを持つ。データ記憶部３でデータを記憶する際には、例えば図３に示すように記憶装置のアドレスの小さい順に記憶する。
【００２５】
音声データは、例えば、マイク、サウンドボード等から構成されるデータ入力部１を用いることで入力することができる。すなわち、図２のタブレット１１のマイク１３にて収集された音声の音圧をサンプリングして得られた音圧値の列が音声データとして図１のデータ入力部１に入力されるようになっている。
【００２６】
音声のようなコンティニュアス情報には、手書きペンデータのようにデータの区切りがない。すなわち、記録開始から記録終了までが１区切りのデータであるので、データ区切り部２は、音声データの記録が開始された後、その記録が終了したらときに区切り記号を発生する。音声データの区切り記号には、例えば「−２５６」などの他の種類のデータ（ここでは、例えば、手書きペンデータ）には使われない数値を用いる。
【００２７】
このようにして、データ入力部１から入力された区切りのないデータ（例えば、音声データの音圧値）にも、データ区切り部２で区切り記号が付加されて、データ記憶部３に記憶される。
【００２８】
図４に、データ記憶部３における音声データの記憶領域における音圧値列の記憶例を示す。図４において、データ区切り部２で発生された音声データの区切り記号Ｃ３、例えば「−２５６」は、アドレス「２８」に記憶されている。
【００２９】
データ再区切り部４は、手書きペンデータと音声データの区切りを利用して、データ入力部１に入力されたデータからオブジェクトを生成するようになっている。
【００３０】
図５を参照して、データ再区切り部４でのオブジェクトの生成方法について説明する。図５には、手書きペンデータ・音声データを入力するサウンド機能付きのペンコンピュータ（すなわち、図２のタブレット１１内に図１に示した構成部を全て具備したようなもの、以下、これを簡単にタブレット１１と呼ぶ）、このタブレット１１にデータが時間軸上において、どのようなタイミングで入力されたかを示している。
【００３１】
例えば、タブレット面１２に描かれた矢印Ｐ２の手書きペンデータは、時刻「ｔ１」から「ｔ２」の間に記憶されたことが分かる。同様に、音声データは時刻「ｔ０」から「ｔ５」の間に記録されていることがわかる。
【００３２】
入力されたデータには、例えば、図５に示すように、そのデータが記憶された順に番号がふられる。例えば、矢印ｐ２の手書きペンデータは２番目に記憶されたものであるため、「２」の番号がふられる。ここでは、この２番目に記録された手書きペンデータのデータブロックを「ペン２」と呼ぶ。同様に、このとき、同時に記憶された音声データのデータブロック（音声データの場合記録開始から記録終了までが１つのデータブロックとなる）を「サウンド１」と呼ぶ。
【００３３】
データ再区切り部４は、以下の条件（条件１〜条件２）を満たす時に手書きペンデータと音声データのデータブロックを再度区切って新たなデータブロックを生成し、そのうち同一区間内のデータブロックをまとめてオブジェクトを生成する。このとき、生成されたオブジェクトを識別するための識別子として時系列にそって「１」から順に番号（オブジェクト番号）を付すことにする。例えば、最初に生成されたオブジェクトをオブジェクト番号とともに「オブジェクト１」と呼ぶ。
【００３４】
条件１：データ区切り部２によって少なくとも１つのデータの区切りが発生したとき
条件２：データ区切り部２によって少なくとも１つのデータの区切りが終了した時
この条件に従えば、データ再区切り部４では、２種類の情報データのうち、いずれか一方にデータブロックの始まりあるいは終わりの区切りがあれば、それとほぼ同じ位置（時間軸上の位置）で、他方の情報データを区切るようになっている。
【００３５】
この条件に基づくデータ再区切り部４の動作を、図５の「オブジェクト３」を例にとって説明する。まず、データ入力部１から矢印ｐ２の手書きペンデータの入力が時刻「ｔ１」に開始されると、データ区切り部２は手書きペンデータの区切りを開始し、これにより、データ再区切り部４は「オブジェクト３」の区切りを開始する。矢印ｐ２の手書きペンデータの入力が時刻「ｔ２」に終わって２秒以上経過すると、データ区切り部２が手書きペンデータを区切り、データ再区切り部４は、この手書きペンデータの区切りを検出して、時刻「ｔ１」から時刻「ｔ２」の間に入力された音声データ（図５中の斜線部分のデータブロック）の区切りを終端する。
【００３６】
このように、データ区切り部２で入力された複数種類の情報データをその情報の種類に応じたデータ入力時の条件に基づき区切り、データ再区切り部４でその区切りに基づき、さらに、その複数種類の情報データを区切ってデータブロックを生成し、そのうちの同一区間内のデータブロックをまとめて１単位のオブジェクトを生成するようになっている。
【００３７】
例えば、図５において、「オブジェクト３」として生成されたオブジェクトでは、手書きペンデータの「ペン２」というデータブロックと、音声データの斜線部分のデータブロックが特定できることになる。
【００３８】
オブジェクト記憶部３では、オブジェクトして対応付けられた複数種類の情報データのデータブロックを管理するための情報（オブジェクト情報）が記憶されるようになっている。
【００３９】
図６は、オブジェクト記憶部５に記憶されるオブジェクト情報と、それによる複数種類の情報データ（例えば、手書きペンデータと音声データ）のデータブロックの対応付け方法を説明するためのものである。なお、図６は、図５の手書きペンデータ、音声データ、オブジェクトに対応して示してある。
【００４０】
オブジェクト記憶部５に記憶される各オブジェクト情報には、少なくともそのオブジェクトに含まれる手書きペンデータと音声データのそれぞれが記憶されているデータ記憶部３内での開始アドレスおよび終了アドレスが含まれている。
【００４１】
例えば、図５の「オブジェクト３」というオブジェクトを例にとり説明する。「オブジェクト３」は、データ再区切り部４によって時刻「ｔ１」における手書きペンデータのデータブロックである「ペン２」の始まりと終わりとの区切りからデータ再区切り部４で音声データを区切り、その結果として、手書きペンデータのデータブロックである「ペン２」と、それと同一区間内にある音声データのデータブロック（図５中の斜線部分）とを対応付けるものである。
【００４２】
そして、オブジェクト記憶部５には、手書きペンデータの「ペン２」というデータブロックのデータ記録部３における記録開始アドレス「８」と記録終了アドレス「１９」と、この「ペン２」というデータブロックと同一区間内である音声データのデータブロック（図５中の斜線部分）のデータ記録部３における記録開始アドレス「１８」と記録終了アドレス「２５」を含むオブジェクト情報が記憶される。
【００４３】
図５の「オブジェクト４」というオブジェクトを例にとり説明する。データ再区切り部４は、矢印ｐ２の手書きペンデータ（「ペン２」というデータブロック）の記録が時刻「ｔ２」に終了されると、「オブジェクト４」の区切りを開始し、その後、手書きペンデータの入力および記録が時刻「ｔ３」に開始されると、「オブジェクト４」の区切りを終端する。すると、データ再区切り部４は、時刻「ｔ２」から時刻「ｔ３」の間に入力および記録された手書きペンデータと音声データのデータブロックの記憶アドレスを「オブジェクト４」のオブジェクト情報としてオブジェクト記憶部５に記憶するが、この時刻には、図５に示すように、手書きペンデータが入力されていないため、「オブジェクト４」のオブジェクト情報として、手書きペンデータの記憶開始アドレスとして「−１」、記憶終了アドレスとして「−１」などのデータ記憶部３内ではアドレスとして用いられていない値を記憶し、音声データの記憶開始アドレス「１８」と記憶終了アドレス「２５」のみを記憶する。
【００４４】
図７は、オブジェクト記憶部５のオブジェクト情報の記憶例をより具体的に示したものである。なお、図７は、図５の「オブジェクト１」と「オブジェクト３」について示したものである。
【００４５】
オブジェクト記憶部５は、例えば磁気ディスク装置、メモリカード等の各種記憶装置のうちの少なくとも１つの記憶装置から構成されている。オブジェクト情報は、例えば、
・そのオブジェクトの識別子
・手書きペンデータのデータブロックの記憶開始アドレス
・手書きペンデータのデータブロックの記憶終了アドレス
・音声データのデータブロックの記憶開始アドレス
・音声データのデータブロックの記憶終了アドレス
・オブジェクト情報の区切り記号
といった６つのデータから構成される。
【００４６】
オブジェクト記憶部５には、１つのアドレスの記憶領域に、この６つのデータのうちの１つと、そのデータが上記６つのうちのどれであるかを識別するためのデータ種類識別記号とを記憶するようになっている。
【００４７】
データ種類識別記号は、ここでは、「１」をオブジェクト識別子、「２」を手書きペンデータの記憶開始アドレス、「３」を手書きペンデータの記憶終了アドレス、「４」を音声データの記憶開始アドレス、「５」を音声データ記憶終了アドレス、「６」をオブジェクト区切り記号を表すものとして用いている。
【００４８】
図７では、アドレスが小さい順に、「オブジェクト１」についての、そのオブジェクトの識別子「１」、手書きペンデータのデータブロックの記憶開始アドレス「８」、手書きペンデータのデータブロックの記憶終了アドレス「１９」、音声データのデータブロックの記憶開始アドレス「２」、音声データのデータブロックの記憶終了アドレス「８」、オブジェクト情報の区切り記号「−２５６」が記憶されている。これに続いて「オブジェクト２」、「オブジェクト３」のオブジェクト情報が前記同様記憶されている。
【００４９】
各オブジェクト情報は、オブジェクト区切り記号で区切られるため、それ以外の情報の前後関係は考慮しなくて良い。
次に、図８に示すフローチャートを参照して図１の情報記憶装置の複数種類のデータの記録時の動作を説明する。
【００５０】
まず、データ入力部１を介して複数種類の情報データ（例えば、手書きペンデータ、音声データ）が入力されると（ステップＳ１）、データ区切り部２では、その情報の種類に応じた入力条件に基づき各種情報データを任意の長さに区切る（ステップＳ２）。すなわち、入力データが手書きペンデータの場合は、タブレット１１を用いて入力を開始してから、例えば２秒以上新たなストロークの入力がないときに、データ区切り部２はデータ区切り記号を発生する。また入力データが音声データの場合は、音声データの記録が開始されてから、その記録が終了したときにデータ区切り記号を発生する。このようにして区切られた各種情報データは、その区切りが判別できるようにしてデータ記憶部３に記憶される（ステップＳ３）。
【００５１】
次に、再区切り部４では、データ区切り部２で発生された各種情報データのデータ区切り記号（データの区切り目）に基づき、各種情報データのそれぞれをさらに任意の長さのデータブロックに区切る。そして、各種情報データのそれぞれのデータブロックのうち、同一区間内のデータブロックを互いに対応付けるためのオブジェクト情報を生成する（ステップＳ４）。この生成されたオブジェクトの情報（オブジェクト情報）は、オブジェクト記憶部５に記憶される（ステップＳ５）。
【００５２】
以上、説明したように、上記第１の実施形態によれば、複数種類の情報データを同時に記録する際には、その情報の種類に応じた入力条件および各種情報データの区切り目に基づき区切られたデータブロックを同一区間内のもの同士で対応づけ、それをオブジェクトという概念で取り扱えるよう記憶することにより、例えば、同時に記録された種類の異なる複数の情報データの所望の箇所を検索する際には、オブジェクト単位で指定することにより、データの扱いが容易になる。
【００５３】
すなわち、オブジェクト情報にて対応付けられた種類の異なる複数の情報データ間には主従の関係がなく対等に扱うことができるため、例えば、手書きペンデータと音声データとを互いに双方向に関連付けられながら記録することができる。従って、手書きペンデータからそれに対応付けられた音声データを操作すること、および、音声データからそれに対応付けられた手書きペンデータを操作することが行える。
【００５４】
以下、第１の実施形態に係る情報記録装置の各種変形例について説明する。
（１）
上記実施形態では、手書きペンデータと音声データの２種類の情報データのみを記録する場合を例にとり説明したが、入力する情報データ種類の数は３種類以上でも良い。３種類以上の情報データを扱うためには、データ記憶部３は入力されるデータ種類の数に応じた記憶領域を設ける。情報データの種類が増えても、前述同様に複数種類の情報データをオブジェクト単位に管理しているため、情報データの種類がいくら多くなってもデータの扱い易さが低下することなく、情報データの管理を行うことができる。
（２）
データ再区切り部４は、２種類の情報データのうち、いずれか一方にデータブロックの始まりあるいは終わりの区切りがあれば、それとほぼ同じ位置（時間軸上の位置）で、他方の情報データを区切るようになっていた。しかし、手書きペンデータと同時に記録される音声データは、例えば、「この部分を修理して下さい」などと発声した後にペンデータで注釈を描く、といったようにペンデータとそれに関連する音声データとは、時間が前後にずれて記録されることも多い。
【００５５】
そこで、データ再区切り部４によって音声データを区切るタイミングを、手書きペンデータがデータ区切り部２で区切りを開始した時刻よりも、例えば５秒前や、５秒後といった予め定められた時間早めたり遅らしたりした時間位置で行うようにしてもよい。
【００５６】
これにより、入力される情報間での相関があらかじめ分かっている場合には、その相関を用いてより扱い易い単位でデータの再区切りを行うことができる。
（３）
データ再区切り部４では、データ区切り部２での区切り開始・終了のタイミングでデータの再区切りを行うため、これによって生成されるオブジェクトには、何のデータも含まれないオブジェクトも含まれる。このことは、何のデータを含まないオブジェクトと、少なくともひとつの種類のデータを含むオブジェクトとを公平に扱えることを意味する。すなわち、少なくとも１つの情報データの記録が開始された時に記録されたオブジェクトを検索するときに、何も含まないオブジェクトをまず検索すると、その次のオブジェクトが該当するオブジェクトであると分かるという利点がある。
（第２の実施形態）
前述の第１の実施形態では、オブジェクト記憶部５は、オブジェクト情報として、オブジェクトの境界を表す情報しか記憶しなかったが、そのオブジェクトの属性も一緒に記憶しても良い。
【００５７】
属性は、オブジェクトの特徴を表すものであれば何でも良い。以下、オブジェクトの属性として、例えば、「手書きペンデータと音声データを両方含むオブジェクトかどうか」というオブジェクトの特徴を例にとり説明する。このような属性をここでは「サウンド付き手書きメモ」と呼ぶ。
【００５８】
データ記憶部３に手書きペンデータと音声データとを記憶するまでは第１の実施形態の場合と同様である。異なる点は、データ再区切り部４がデータの再区切りを行う際に、「サウンド付き手書きメモ」属性の記憶を行う。この属性の判定は、オブジェクトが区切られた時に、手書きペンデータと音声データとの両方のデータが入力されていたかどうかを、データ記憶部３の記憶内容を参照して行われる。
【００５９】
オブジェクト記憶部５は、まず、「サウンド付き手書きメモ」属性の記憶領域を確保する場合ために、図７に示したオブジェクトの区切り記号「−２５６」の前に、属性を記憶するアドレスを確保する。そして、この確保されたアドレスに、データ種類識別記号「７」が「サウンド付き手書きメモ」属性を表すとして、この属性を満たす条件の真偽値と組にして記憶する。例えば、手書きペンデータも音声データも含むオブジェクトである場合の属性値を「真」、いずれか一方のみである場合の属性値を「偽」とする。
【００６０】
図５において、「サウンド付き手書きメモ」属性の値が「真」である「オブジェクト３」の場合は、データ再区切り部４によって区切られた時に、その他の情報とともに、データ種類識別記号「７」とその属性値が「真」であることを表すデータ「−１」を組にして、例えばオブジェクト区切り記号の前に記憶する。図５において、「サウンド付き手書きメモ」属性の値が「偽」である「オブジェクト４」の場合は、「サウンド付き手書きメモ」属性の値が「偽」であることを表すデータ「０」を記憶する。
【００６１】
このようにオブジェクト情報に属性を付加することにより、例えば、手書きペンデータと音声データの両方を含むオブジェクトのみを検索したいときには、各オブジェクト情報のうちの属性情報のみを参照するだけで容易に行うことができる。
【００６２】
以下、第２の実施形態に係る情報記憶装置の各種変形例について説明する。
（１）
前述の説明では、オブジェクトへの属性の付加をオブジェクト生成時に行ったが、データの記録後に行っても良い。すなわち、図８のフローチャートに従った記録動作が終了した後に各オブジェクトの属性情報を記憶する。
【００６３】
図８のフローチャートに従った記録動作が終了した後のオブジェクト記憶部５には、図７に示すようにオブジェクト情報が記憶されている。ここで、オブジェクト記憶部５の記憶されたオブジェクト情報のうち、データ種類識別記号が「２」、「３」のペンデータ開始アドレスおよび終了アドレスと、データ種類識別記号が「４」、「５」の音声データ開始アドレスおよび終了アドレスとが組になって記憶されているデータの値を調べて、そのすべてが有効な値である場合には、そのオブジェクトの「サウンド付き手書きメモ」属性の値が「真」であると判別する。例えば、図７の「オブジェクト３」は「サウンド付き手書きメモ」属性の値が「真」であると判別され、「オブジェクト２」の場合は、図５から明らかなように「偽」であると判別される。
【００６４】
次に、この結果をオブジェクト記憶部５に記憶する。例えば、「オブジェクト１」の「サウンド付き手書きメモ」属性の値が「真」であると判別されると、例えば、オブジェクト記憶部５のアドレス「１３」に記憶された情報をアドレス「１４」に、アドレス「１４」に記憶された情報をアドレス「１５」に、というように、「オブジェクト１」の区切り記号以降のすべての情報を移動し、属性情報を記憶する領域を確保する。このようにして確保された属性記憶領域である例えば、アドレス「１３」に、データ種類識別記号として「７」を、データとして「サウンド付き手書きメモ」属性の値「真」であることを表「−１」を記憶する。
【００６５】
このように、オブジェクトの記憶後に属性を付加することにより、データ記憶時だけでなく、その属性が必要になった時に後から属性を付加することができる。
【００６６】
また、情報データの記録後に、「サウンド付き手書きメモ」属性の値が「真」であるオブジェクトのみを抽出して、それにより対応付けられた手書きペンデータ、音声データを圧縮し、それ以外のデータは削除することにより、データ容量を減少させるといったことも容易に行える。
（２）
オブジェクトの属性は、前述の「サウンド付き手書きメモ」属性以外にも、オブジェクトの特徴を表すものであれば何でも良い。
【００６７】
例えば、オブジェクトに含まれる手書きペンデータを筆跡認識し、音声データを話者認識して、入力されたデータが誰のものなのか、という属性でも良い。この「人物」属性は、筆跡認識と話者認識の、少なくともどちらか一方の認識でそのデータを入力した人物が特定できた場合に「真」であると判別する。ただし、筆跡認識と話者認識の結果が矛盾する場合には「偽」とする。「人物」属性を記憶する場合、例えば、図７で用いているデータ種類識別記号を「８」、そのデータとして属性値が「真」の場合には「−１」を、「偽」の場合には「０」を記憶することにより行う。
【００６８】
オブジェクトに付加する属性は、高度な認識を用いた結果を用いても良い。この場合、一度属性の付加を行うと、複雑で膨大な量の計算を行わなくても、次回からは属性の参照のみでその判別を行うことができるようになる。
【００６９】
この他にも、何のデータも含まないオブジェクトを検索し、例えば、それが５秒以上の未入力であるかどうかを調べて「５秒以上未入力」属性を付加しても良い。この属性はデータの未入力部分を高速に検索する際に有効である。
（３）
オブジェクトに付加する属性は１種類のみに限らず、２種類以上であってもよい。
【００７０】
データ入力部１から入力されるデータの種類が３種類以上の場合には、オブジェクト記憶部５に記憶されるオブジェクト情報のデータのうち、各種情報データのデータブロックの記憶開始／終了アドレスの組をそれに応じて増やして記憶すればよい。さらに、入力される情報の種類に応じて属性を付加したい場合には、オブジェクト情報のデータのうち、各種情報データのデータブロックの記憶開始／終了アドレスおよび属性の組をそれに応じて増やして記憶すればよい。
【００７１】
これにより、３種類以上のデータのデータブロックの対応付けと、そのそれぞれに２種類以上の属性が付加されているオブジェクトの記憶も容易に行えるとともに、オブジェクトの特徴を属性として、より詳細に表することができる。従って、データ検索のが容易に行える。
（第３の実施形態）
本発明の第３の実施形態に係る情報記憶装置は、前述の第１および第２の実施形態で説明したように、複数種類の情報データをオブジェクト単位で記憶するとともに、そのオブジェクトのオブジェクト情報に対し、再生・表示や削除・編集などの操作指示をするものである。
【００７２】
図９は、第３の実施形態に係る情報記憶装置の構成例を概略的に示したものである。なお図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図９では、オブジェクト操作部６、操作入力部７、提示部８が追加されている。
【００７３】
操作入力部７は、オブジェクト記憶部５に記憶されたオブジェクトに対して再生や表示等の指示を入力するためのものである。
オブジェクト操作部６は、操作入力部７で入力された指示を解釈してオブジェクトを操作するもので、その結果を呈示部８にて提示するようになっている。
【００７４】
操作入力部７は、例えば図１０に示すような構成のものである。図１０に示した操作入力部７は、例えば、手書きペンデータと音声データを記憶することのできる情報記憶装置に用いられるもので、所望のオブジェクトをそのオブジェクトの識別子（番号）にて選択するためのオブジェクト番号選択ボタン２１、選択されたオブジェクトのオブジェクト情報あるいは選択されたオブジェクトのオブジェクト情報／手書きペンデータおよび音声データのデータブロック等を選択するためのオブジェクト選択ボタン２２、選択されたオブジェクトに含まれる手書きペンデータのデータブロックを選択するためのペンデータ選択ボタン２３、選択されたオブジェクトに含まれる音声データのデータブロックを選択するための音声データ選択ボタン２４、選択されたオブジェクト情報あるいは手書きペンデータあるいは音声データの削除を指示するための削除ボタン２５、選択されたオブジェクトに含まれるデータブロックの再生／表示を指示するための再生／表示ボタン２６から構成されている。
【００７５】
操作入力部７を用いて、例えば、図５の「オブジェクト３」のオブジェクト情報を削除する場合を例にとり説明する。この場合、ユーザは、操作入力部７に対して、以下の順序でボタン操作（押下）すればよい。
【００７６】
１．オブジェクト番号選択ボタン２１の「３」と示されたボタンを押下する
２．オブジェクト選択ボタン２２を押下する
３．削除ボタン２５を押下する
オブジェクト操作部６は、操作入力部７上の上記の操作による指示内容を解釈して、「オブジェクト３」を削除する。この削除は、例えば、図７において、「オブジェクト３」のオブジェクト情報が記憶された、アドレス「１４」からアドレス「１９」までの間に、例えば、「−１」などのオブジェクト識別子では現れない記号を記憶させることにより行う。
【００７７】
ここでは、オブジェクト選択ボタン２２を押下することにより、選択されたオブジェクトのオブジェクト情報のみ（すなわち、データの区切りのみ）を削除する場合について説明したが、オブジェクト選択ボタン２２を押下することにより、選択されたオブジェクトのオブジェクト情報のみならず、手書きペンデータ・音声データのデータブロックも選択されて、削除ボタン２５が押下されると、これら全てが削除されるようになっていてもよい。
【００７８】
例えば、「オブジェクト１」の削除の際に、「オブジェクト１」の手書きペンデータのデータブロックはデータ記憶部３のアドレス「１」から「８」の間に記憶されているので、この部分に「−２５６、−２５６」などの、データ入力部１で発生せず、かつデータ区切り記号でない値に書き換えることにより削除する。
【００７９】
また、「オブジェクト１」の音声データのデータブロックはデータ記憶部３のアドレス「２」から「８」に記憶されているので、この部分に「−２５６」などのデータ区切り部２で発生しない値に置き換えることにより削除する。
【００８０】
これにより、データ記憶部３に記憶されたデータそのものに対して編集の結果を反映させることができる。
操作入力部７を用いて、例えば、図５の「オブジェクト３」の音声データのデータブロックのみを削除する場合を例にとり説明する。この場合、ユーザは、操作入力部７に対して、以下の順序でボタン操作（押下）すればよい。
【００８１】
１．オブジェクト番号選択ボタン２１の「３」と示されたボタンを押下する
２．音声データ選択ボタン２４を押下する
３．削除ボタン２５を押下する
オブジェクト操作部６は、操作入力部７上の上記の操作による指示内容を解釈して、「オブジェクト３」の音声データのデータブロックを削除する。例えば、データ記憶部３に記憶されている「オブジェクト３」の音声データのデータブロックのデータ値を全て「−１」に書き換えることにより削除する。
【００８２】
以上説明したように、上記第３の実施形態によれば、複数種類の情報データのそれぞれを互いに関連するデータブロック単位で互いに対応付けて、それをオブジェクトという概念で、その属性情報と識別子で管理し記憶することにより、複数種類の情報データの操作がオブジェクト単位に容易に行える。
（第４の実施形態）
本発明の第４の実施形態として、前述の第１および第２の実施形態で説明したように複数種類の情報をオブジェクト単位で記憶するとともに、その記憶されたオブジェクトというデータ操作単位で情報を検索する情報記憶検索装置について説明する。
【００８３】
第４の実施形態に係る情報記憶検索装置の構成は、図９と同様で、操作入力部７を介して入力された情報検索キー（例えば、オブジェクト番号、オブジェクトの属性情報等）に基づき、オブジェクト操作部６は、オブジェクト記憶部５に記憶されたオブジェクトを検索し、検索されたオブジェクトにて特定される各種情報データのデータブロックを読み出して提示部８に提示するようになっている。
【００８４】
第４の実施形態に係る情報記憶検索装置の情報記憶動作は、前述の第１および第２の実施形態の場合と同様である。本実施形態に係る情報検索動作について、図１１に示すフローチャートを参照して説明する。
【００８５】
操作入力部７を介して、検索キーとして例えば、オブジェクト番号（図１１の変数ｃｏｕｎｔ）とオブジェクトの属性が指定されたとする（ステップＳ１１）。オブジェクト操作部６は、検索キーを解釈して、オブジェクト記憶部５に記憶されたオブジェクトの中から指定されたオブジェクト番号のオブジェクトを検索し、そして、その検索されたオブジェクトの属性情報が、検索キーにて指定された属性のものであるか否かをチェックする（ステップＳ１２）。指定された属性のオブジェクトであるとき、オブジェクト記憶部６はデータ記憶部３からそのオブジェクト情報にて特定されるデータ（例えば、手書きペンデータ、音声データ）を読み出して提示部８に提示、すなわち、情報を再生する（ステップＳ１４）。
【００８６】
一方、ステップＳ１３で、検索されたオブジェクトの属性情報が検索キーとして指定された属性と異なるときは、オブジェクト番号を１つインクリメントし、次の番号のオブジェクトを検索し、その検索されたオブジェクトの属性情報を前記動同様にチェックする（ステップＳ１５、ステップＳ１６、ステップＳ１２）。
そして、検索キーとして指定されたオブジェクトの属性と一致するものが見つかるまで、あるいは、操作入力部７を介して処理動作終了の指示が入力されるまで、オブジェクト番号を１つずつインクリメントしながらオブジェクトを検索して属性をチェックする（ステップＳ１６）。
【００８７】
このように、記憶された情報データはオブジェクトというデータ操作単位で記憶され、各オブジェクトは、そのオブジェクトにて特定されるデータブロックに関する情報を属性情報として保持しているため、このオブジェクトの識別番号であるオブジェクト番号、属性情報を検索キーとして、データの内容そのものを検索することなく、所望の情報データを検索することができる。従って、検索時間を短縮することができる。
【００８８】
次に、図１２に示すフローチャートを参照して、本実施形態に係る情報検索動作の他の例について説明する。図１２のフローチャートは、例えば、音声データから所望の手書きペンデータのデータブロックを検索する場合の動作を示している。
【００８９】
操作入力部７を介して、検索キーとして例えば、オブジェクト番号（図１２の変数ｃｏｕｎｔ）が指定され、それと同時に、その指定したオブジェクトにて特定される音声データの再生を指示したとする（ステップＳ２１）。オブジェクト操作部６は、検索キーを解釈して、オブジェクト記憶部５に記憶されたオブジェクトの中から指定されたオブジェクト番号のオブジェクトを検索し、それにより特定される音声データが存在する場合は、その音声データの情報を再生する（ステップＳ２２）。なお、検索キーにて指定されたオブジェクト番号のオブジェクトに音声データが含まれない場合は、そのまま処理を終了してもよい。
【００９０】
ステップＳ２２で音声データが再生されているとき、操作入力部７を介して現在再生中の音声データのオブジェクトに含まれる手書きペンデータの再生の指示が入力されると（例えば、操作入力部７に具備された所定の選択ボタンがユーザにより押下されたことを検出する）（ステップＳ２４）、オブジェクト操作部６は現在再生中の音声データのオブジェクトに含まれる手書きペンデータをデータ記憶部３から読み出して提示部８に提示、すなわち、手書きペンデータの情報を再生する（ステップＳ２５）。
【００９１】
一方、ステップＳ２４で音声データの再生中に、例えば選択ボタンの押下が検出されなかったときは、オブジェクト番号を１つインクリメントし（ステップＳ２６）、次の番号のオブジェクトにて特定される音声データを再び再生する。
【００９２】
以上の動作をオブジェクト記憶部５に記憶されている全てのオブジェクトについて実行されるか、あるいは、操作入力部７を介して処理動作終了の指示が入力されるまで繰り返す（ステップＳ２７）。
【００９３】
なお、ステップＳ２４で現在再生中の音声データに対応する手書きペンデータの提示の指示が入力されたとき、オブジェクト操作部６は、提示部８にそのとき再生中の音声データのオブジェクトのオブジェクト番号のみを提示するようにしてもよい。ユーザは、必要があれば、この提示されたオブジェクト番号を用いて図１１のフローチャートに従って、手書きペンデータを検索すればよい。
【００９４】
また、ステップＳ２４で、手書きペンデータの提示の指示が入力されたとき、そのとき再生中の音声データのオブジェクトに手書きペンデータが含まれていないときは、提示部８には何も提示されない。
【００９５】
さらに、提示部８で手書きペンデータを提示する際に、提示部８に提示されている手書きペンデータのうち、該当するオブジェクトの手書きペンデータ部のみを他と識別できるように、例えば表示色を変えるなどして提示するようにしてもよい。
【００９６】
図１１および図１２のフローチャートのステップＳ１５、ステップＳ２６において、オブジェクト番号を１つづつインクリメントするようになっているが、操作入力部７からいくつかの番号をスキップしてオブジェクト番号を更新するような指示するようにしてもよい。この場合、例えば、操作入力部７に所定のボタンを設けてもよい。
【００９７】
以上説明したように、上記第４の実施形態によれば、複数種類の情報データのそれぞれを互いに関連するデータブロック単位で互いに対応付けて、それをオブジェクトという概念で、その属性情報と識別子で管理し記憶することにより、複数種類の情報データの検索がオブジェクトの属性情報や、オブジェクトの識別子を検索キーにして容易に行える。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、異なる種類の複数の情報データを互い双方向に関連付けて記憶するとともに、関連のある複数の情報データを容易に検索できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報記憶装置の構成例を概略的に示した図。
【図２】データ入力部の具体的な構成例を示した図。
【図３】データ記憶部における手書きペンデータの座標値列の記憶例を示した図。
【図４】データ記憶部における音声データの音圧値例の記憶例を示した図。
【図５】データ再区切り部でのオブジェクトの生成方法について説明するための図。
【図６】オブジェクト記憶部に記憶されるオブジェクト情報と、それによる複数種類の情報データ（例えば、手書きペンデータと音声データ）のデータブロックの対応付け方法を説明するための図。
【図７】オブジェクト記憶部におけるオブジェクト情報の記憶例をより具体的に示した図。
【図８】図１の情報記憶装置の情報データの記録動作を説明するためのフローチャート。
【図９】本発明の第３の実施形態に係る情報記憶装置、および第４の実施形態に係る情報記憶検索装置の構成例を概略的に示した図。
【図１０】操作入力部の具体的な構成例を示した図。
【図１１】本発明の第４の実施形態に係る情報記憶検索装置の情報検索動作を説明するためのフローチャート。
【図１２】情報検索動作の他の例を説明するためのフローチャート。
【符号の説明】
１…データ入力部
２…データ区切り部
３…データ記憶部
４…データ再区切り部
５…オブジェクト記憶部
６…オブジェクト操作部
７…操作入力部
８…提示部

Claims (6)

1. 同時に入力される種別の異なる第１及び第２の時系列データのそれぞれから各時系列データに予め定められた条件を満たす区切り目を検出する手段と、
   前記第１及び第２の時系列データのうちのいずれか一方に前記区切り目が検出された時点で前記第１の時系列データを区切り、時間区間毎の第１のデータブロック群を生成する手段と、
   前記第１及び第２の時系列データのうちのいずれか一方に前記区切り目が検出された時点で前記第２の時系列データを区切り、時間区間毎の第２のデータブロック群を生成する手段と、
   同一時間区間の前記第１及び第２の時系列データのデータブロックを対応付けるための情報と、当該２つのデータブロックに関する属性情報とを含む複数のオブジェクトデータを生成する手段と、
   前記複数のオブジェクトデータを記憶する第１の記憶手段と、
   各オブジェクトデータの識別子と各オブジェクトデータに含まれる前記属性情報のうちのいずれか１つを検索キーとして、前記複数のオブジェクトデータのなかから所望のオブジェクトデータを検索する検索手段と、
   検索されたオブジェクトデータにより対応付けられた前記２つのデータブロックのうちの少なくとも一方の再生／表示を行う手段と、
   を具備したことを特徴とする情報記憶検索装置。
2. 前記第１及び第２の時系列データのうちの一方は音声データであることを特徴とする請求項１記載の情報記憶検索装置。
3. 同時に入力される種別の異なる複数の時系列データのそれぞれから各時系列データに予め定められた条件を満たす区切り目を検出する手段と、
   前記複数の時系列データのうちのいずれかから前記区切り目が検出された時点で前記複数の時系列データをそれぞれ区切ることにより、前記複数の時系列データから時間区間毎のデータブロック群をそれぞれ生成する手段と、
   同一時間区間の前記複数の時系列データのデータブロックを対応付けるための情報と、当該複数のデータブロックに関する属性情報とを含む複数のオブジェクトデータを生成する手段と、
   前記複数のオブジェクトデータを記憶する第１の記憶手段と、
   各オブジェクトデータの識別子と各オブジェクトデータに含まれる前記属性情報のうちのいずれか１つを検索キーとして、前記複数のオブジェクトデータのなかから所望のオブジェクトデータを検索する検索手段と、
   検索されたオブジェクトデータにより対応付けられた前記複数のデータブロックのうちの少なくとも１つの再生／表示を行う手段と、
   を具備したことを特徴とする情報記憶検索装置。
4. 前記複数の時系列データのうちの１つは音声データであることを特徴とする請求項３記載の情報記憶検索装置。
5. 同時に入力される種別の異なる第１及び第２の時系列データのそれぞれから各時系列データに予め定められた条件を満たす区切り目を検出する第１のステップと、
   前記第１及び第２の時系列データのうちのいずれか一方に前記区切り目が検出された時点で前記第１の時系列データを区切り、時間区間毎の第１のデータブロック群を生成する第２のステップと、
   前記第１及び第２の時系列データのうちのいずれか一方に前記区切り目が検出された時点で前記第２の時系列データを区切り、時間区間毎の第２のデータブロック群を生成する第３のステップと、
   同一時間区間の前記第１及び第２の時系列データのデータブロックを対応付けるための情報と、当該２つのデータブロックに関する属性情報とを含む複数のオブジェクトデータを生成する第４のステップと、
   各オブジェクトデータの識別子と各オブジェクトデータに含まれる前記属性情報のうちのいずれか１つを検索キーとして、前記複数のオブジェクトデータのなかから所望のオブジェクトデータを検索する第５のステップと、
   検索されたオブジェクトデータにより対応付けられた前記２つのデータブロックのうちの少なくとも一方の再生／表示を行う第６のステップと、
   を有することを特徴とする情報記憶検索方法。
6. 同時に入力される種別の異なる複数の時系列データのそれぞれから各時系列データに予め定められた条件を満たす区切り目を検出する第１のステップと、
   前記複数の時系列データのうちのいずれかから前記区切り目が検出された時点で前記複数の時系列データをそれぞれ区切ることにより、前記複数の時系列データから時間区間毎のデータブロック群をそれぞれ生成する第２のステップと、
   同一時間区間の前記複数の時系列データのデータブロックを対応付けるための情報と、当該複数のデータブロックに関する属性情報とを含む複数のオブジェクトデータを生成する第３のステップと、
   各オブジェクトデータの識別子と各オブジェクトデータに含まれる前記属性情報のうちのいずれか１つを検索キーとして、前記複数のオブジェクトデータのなかから所望のオブジェクトデータを検索する第４のステップと、
   検索されたオブジェクトデータにより対応付けられた前記複数のデータブロックのうちの少なくとも１つの再生／表示を行う第５のステップと、
   を有することを特徴とする情報記憶検索方法。

Images