JP3727794B2 - 情報記憶検索方法および情報記憶検索装置および記録媒体 - Google Patents
情報記憶検索方法および情報記憶検索装置および記録媒体 Download PDFInfo
- Publication number
- JP3727794B2 JP3727794B2 JP36370398A JP36370398A JP3727794B2 JP 3727794 B2 JP3727794 B2 JP 3727794B2 JP 36370398 A JP36370398 A JP 36370398A JP 36370398 A JP36370398 A JP 36370398A JP 3727794 B2 JP3727794 B2 JP 3727794B2
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- display area
- screen
- writing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画などの時間の経過に伴って変化する時系列データを記憶するとともに、当該時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの内容に関する説明としての役割との２役を同時に果たす付加情報の付加することのできる情報記憶検索方法およびそれを用いた情報記憶検索装置に関する。
【０００２】
【従来の技術】
動画などの時間の経過に伴って変化する時系列データは、全体を一度に一覧することができず、時系列データの特定部分を検索することは一般的に難しかった。ここでは、時系列データとして例えば動画を例にとり、動画にユーザが注釈としての付加情報を付加して、その注釈を用いた動画検索を行う場合を考える。
【０００３】
注釈を用いた動画検索とは、動画を入力しながら同時に注釈も入力し、注釈とその注釈が入力されたときに入力された動画とを対応付けて記憶し、検索時には注釈を検索キーとして用いて指定することにより、指定された注釈と関連付けられた動画を頭出しするものである。
【０００４】
従来の注釈を用いた動画検索方法は、以下のように分類できる。
・別画面型（注釈を動画の表示画面外に入力する方法）
・同一画面型（注釈を動画の表示画面内に入力する方法）
別画面型は、動画を表示する画面と注釈を入力する画面とが異なる動画検索方法である。この別画面型の例として、特開平第６−１７６１７１号に記載された「データアクセスシステム」が挙げられる。この装置では、ビデオを記録しながらノートパッドコンピュータでノートを取る。記録のときに、ノートの各要素と、ビデオデータの各フレームとに、共通の時刻で刻印しておく。検索時には、ユーザはノートパッドコンピュータ上に表示されたノートを一覧してクリックなどの簡単な操作で指定することにより、そのノートに刻印された時刻と同じ時刻が刻印されたビデオデータを検索して頭出して再生することができる。
【０００５】
別画面型は、注釈をひとつの画面上で一覧でき、さらに注釈が動画の内容を良く表すものであれば、注釈と対応付けられた動画を容易に類推することができるため、ユーザは容易に動画を検索できるという利点がある。しかし、注釈を取る画面は動画が表示される画面と別の画面であるため、動画が表示された画面の中の特定部分を指し示す注釈を入力することができないという問題があった。
【０００６】
同一画面型は、動画を表示する画面と注釈を入力する画面とが同一の動画検索方法である。この同一画面型の例として、特願平成第１０−２８２５０号に記載の「インテリジェントビデオカメラ及びインテリジェントスチルカメラ」が挙げられる。この装置では、動画の記録中にその表示画面上に手書き文字などの注釈を入力する。記録のときに、注釈の各要素とそれらが入力されたときに記録されていた動画のフレーム番号とを対応付けてテーブルに記憶しておく。検索時には、装置は注釈の各要素と対応付けられた動画のフレームを代表画面として一覧表示し、ユーザはこの一覧を見ることにより検索したい動画の特定部分を簡単に検索することができる。一覧された動画のフレームのひとつをユーザが指定すると、注釈が入力されたときの動画を頭出しして再生する。
【０００７】
同一画面型は、動画の代表画面の中に注釈を入力できるため、動画の表示された画面の特定の部分を指し示す注釈を入力することができるという利点がある。
【０００８】
しかし、検索キーとして用いる代表画面を一覧表示するため、代表画面が多くなると一覧表で表示する代表画面の数も多くなり、代表画面を選択するユーザの負担が大きくなるという問題があった。
【０００９】
【発明が解決しようとする課題】
このように、従来の注釈を用いた動画検索では、別画面型のような動画の検索キーとしての役割と、同一画面型のような動画中の特定部分を指し示す注釈の役割との２役を同時に果たす付加情報を入力できなかった。
【００１０】
そこで、本発明は、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる情報記憶検索方法およびそれを用いた情報記憶検索装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
１）本発明の情報記憶検索方法は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該第１の画面に呈示された時系列データに関連付ける第２の付加情報を、該時系列データに関連付けて記憶手段に記憶し、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索して呈示し、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示することを特徴とする。
【００１２】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００１３】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００１４】
前記第１の付加情報と前記第２の付加情報とを結ぶ引き出し線を検出し、前記検出された引き出し線を前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００１５】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００１６】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００１７】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００１８】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００１９】
前記第１の付加情報と前記第２の付加情報とを結ぶ前記第３の画面にまたがって入力された引き出し線を検出し、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００２０】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００２１】
３）本発明の情報記憶検索装置は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報とを該時系列データに関連付けて記憶する記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索し呈示する検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示する第１の付加情報呈示手段と、を具備したことを特徴とする。
【００２２】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００２３】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００２４】
前記第１の付加情報と前記第２の付加情報とを結ぶ引き出し線を検出する検出手段と、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００２５】
前記時系列データからオブジェクトを検出するオブジェクト検出手段をさらに具備し、前記変形手段は、このオブジェクト検出手段で検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００２６】
４）本発明の情報記憶検索装置は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報と、前記第１および第２の画面とは別個の第３の画面に入力された該時系列データに関連付ける第３の付加情報とを該時系列データに関連付けて記憶する記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報および前記第３の付加情報とを前記記憶手段から検索し呈示する検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示する第１の付加情報呈示手段と、を具備したことを特徴とする。
【００２７】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００２８】
ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００２９】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００３０】
前記第１の付加情報と前記第２の付加情報とを結ぶ前記第３の画面にまたがって入力された引き出し線を検出する検出手段と、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００３１】
本発明によれば、付加情報の記憶動作時と、検索結果を呈示する時とで、第１の画面と第２の画面との位置が変わっていても、引き出し線は、関連付けを示すように変形して表示されるため、ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００３２】
前記時系列データからオブジェクトを検出するオブジェクト検出手段をさらに具備し、前記変形手段は、このオブジェクト検出手段で検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００３３】
５）本発明の記録媒体は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報とを該時系列データに関連付けて記憶させる記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索し呈示させる検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示させる第１の付加情報呈示手段と、を実行するプログラムを記録した機械読み取り可能な記録媒体であり、本発明によれば、上記手段を、少なくとも時系列データとして例えば動画を入力するためのカメラ（データ入力部）、ディスプレイ装置とその上に重ねられて固定された透明な感圧式タブレットとその上に手書き図形を描くためのペン（呈示部、付加情報入力部）を具備したパーソナルコンピュータに実行させることのできるプログラムとして磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することにより、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００３４】
６）本発明の記録媒体は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報と、前記第１および第２の画面とは別個の第３の画面に入力された該時系列データに関連付ける第３の付加情報とを該時系列データに関連付けて記憶させる記憶手段と、
前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報および前記第３の付加情報とを前記記憶手段から検索し呈示させる検索手段と、
前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示させる第１の付加情報呈示手段と、
を実行するプログラムを記録した機械読み取り可能な記録媒体であり、
本発明によれば、上記手段を、少なくとも時系列データとして例えば動画を入力するためのカメラ（データ入力部）、ディスプレイ装置とその上に重ねられて固定された透明な感圧式タブレットとその上に手書き図形を描くためのペン（呈示部、付加情報入力部）を具備したパーソナルコンピュータに実行させることのできるプログラムとして磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することにより、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００３５】
また、ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００３６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、本発明の情報記憶検索方法を用いた第１の実施形態に係る情報記憶検索装置の概略構成を示したもので、時系列データ（動画、音声等）を入力するデータ入力部１と、データ入力部１から入力された時系列データを記憶するデータ記憶部２と、第１の画面３ａおよび第２の画面３ｂとからなる呈示部３と、呈示部３に呈示された時系列データに付加情報（注釈）を入力するための例えば呈示部３上に設けられたタブレット４ａとポインティングデバイスとしてのペン４ｂとからなる付加情報入力部４と、付加情報入力部４から入力された付加情報を記憶する付加情報記憶部５と、付加情報変形部６と、関連付け部７と、検索部８とから構成される。
【００３７】
データ入力部１は、検索の対象となる動画などの時間の経過とともに変化する時系列データを入力する、例えば、カメラ、テレビ受信機、ビデオ再生機等で構成されている。
【００３８】
第１の画面３ａは、記憶時には、ユーザがデータ入力部１から入力された時系列データをモニタできるようにデータ入力部１から入力した時系列データを呈示し、ユーザが時系列データをモニタしながら、その画面上に設けられたタブレット４ａとペン４ｂとを用いて手書き図形などの付加情報（注釈）を入力できるようになっている。検索時には、ユーザが検索した結果の時系列データを見ることができるように、検索された時系列データと、その上に描かれた付加情報を呈示するようになっている。
【００３９】
第２の画面３ｂは、記憶時には、ユーザが第１の画面３ａに呈示された時系列データをモニタしながら、時系列データを呈示する第１の画面３ａの外に付加情報の入力を可能とするものである。そして、この入力された付加情報を呈示し、検索時には、ユーザが第２の画面３ｂ上に呈示された付加情報のひとつを指定することにより、それと関連付けられた時系列データと、その時系列データ上に描かれた付加情報を第１の画面３ａに呈示するようになっている。
【００４０】
第１の画面３ａと第２の画面３ｂとは、例えば、１つのディスプレイ装置の同じ画面上に設けられている。
【００４１】
付加情報記憶部５は、第１の画面３ａおよび第２の画面３ｂによって入力された付加情報を記憶する。
【００４２】
付加情報変形部６は、第１の画面３ａに入力され呈示された付加情報が第１の画面３ａに呈示される動画の画面が変化しても、邪魔にならないように、例えば、第１の画面３ａに描かれた付加情報を、入力されてから一定時間後に消去するよう変形する。
【００４３】
関連付け部７は、第２の画面３ｂに入力された付加情報が第１の画面３ａに入力された付加情報のうち、どれと同時に入力され、さらに第１の画面３ａに呈示された時系列データのうち、どの時系列データと同時に入力されたかが後から分かるように、これらの関連を記憶し、検索時には、これらの関連を出力するものである。
【００４４】
検索部８は、ユーザが第２の画面３ｂに呈示された付加情報を見て、そのうちのひとつを指定したら、データ記憶部２からその付加情報と関連付けられた時系列データを検索し、また、その上に描かれた付加情報を付加情報記憶部５から検索して、それらを第１の画面３ａに呈示するようになっている。
【００４５】
以下、時系列データとして動画データを例にとり説明する。
【００４６】
第１の画面３ａと第２の画面３ｂの配置方法には、以下のようなものが考えられる。
・ 連続配置（第１の画面と第２の画面とが隣接する）
・ 独立配置（例えば、隣接しない２つの独立のウインドウ）
・ 重なり配置（第１および第２の画面の一部が重なる）
なお、ここでは、図１に示すような第１の画面３ａと第２の画面３ｂとが隣接する連続配置をとりあげて説明する。図１中の白い部分が第１の画面３ａであり、斜線の部分が第２の画面３ｂを表す。
【００４７】
図２は、図１の情報記憶検索装置の概略的な処理動作を示したフローチャートである。情報記憶検索装置の動作は、データ入力部１から入力した動画データや付加情報入力部４から入力した付加情報の記憶動作と、記憶した動画データを検索する検索動作とに大別できる。
【００４８】
例えば、情報記憶検索装置には、記憶動作を開始の指示入力のためのハードウエア的あるいはソフトウエア的なスイッチが所定位置に予め設けられているとする。このスイッチが押されたことを検出して記憶を開始する（ステップＳ１〜ステップＳ２）。
【００４９】
記録の開始が指示されると、データ入力部１は動画の取得を開始し、ユーザは取得された動画を第１の画面３ａでモニタしながら、第１の画面３ａと第２の画面３ｂの上に、付加情報入力部４を用いて手書き図形などの付加情報（注釈）を入力することができる。これら入力された動画と付加情報は関連付け部７で互いに関連付けながらデータ記憶部２、付加情報記憶部５に記憶する。
【００５０】
付加情報変形部６は、第１の画面３ａ上に書き込まれた付加情報を、新しく入力される動画の邪魔にならないように、入力されてから一定時間経過すると第１の画面３ａ上から消去する。一方、第２の画面３ｂ上に書き込まれた付加情報は、そのまま画面上に残る。
【００５１】
ユーザが、例えば、スイッチをもう一度押下することにより記憶動作の終了を指示すると、記憶を終了する。
【００５２】
ユーザが記憶動作の開始を指示しないときは、検索動作の開始可能な状態になる（ステップＳ１、ステップＳ３）。この状態で、ユーザが第２の画面３ｂ上に呈示された付加情報を例えばペン４ｂを用いて選択すると、選択された付加情報と、それと同時に入力された動画を頭出しして、第１の画面３ａ上に再生してユーザに呈示する。
【００５３】
次に、情報記憶検索装置の記憶動作（ステップＳ２）について、詳細に説明する。
【００５４】
図３は、記憶動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１の概略構成に、記憶動作時のデータの流れの一例を加え、さらに、記憶動作時に必要な構成要素のみを抜き出したものである（記憶動作時に関係のない構成要素や情報の流れを点線で示してある）。
【００５５】
データ入力部１は、カメラあるいはテレビ受信機などを用いて動画を入力する。データの入力は、例えば、０．５秒に１回というように、周期的に静止画（フレーム画像）を連続して取り込むことにより行う。各フレーム画像データは、例えばＤ／Ａコンバータで数値化され、数値列としてデータ記憶部２へ出力される。
【００５６】
データ記憶部２は、データ入力部１から出力された動画データを記憶する。データの記憶は、例えば、図３に示すように、フレーム画像を１単位として、入力順にフレーム番号を付されて、データ記憶部２の記憶領域ＭＡ２にフレーム画像の列として記憶される。データ記憶部２の記憶領域ＭＡ１には、各フレーム画像に付されたフレーム番号が、当該フレーム画像に対応して記憶するようになっている。
【００５７】
フレーム番号は、各フレーム画像を一義的に識別できるように、例えば、入力された順番に付される番号である。ここで、フレーム番号Ｃの付されたフレーム画像ＤをＤ（Ｃ）と表すことにすると、図３のデータ記憶部２のＤ（１０５１）からＤ(１０５３）には、左を向いた人が左に移動する動画が記憶され、Ｄ（１８２２）からＤ（１８２３）には、右を向いた人が右に移動する動画が記憶されている。
【００５８】
第１の画面３ａは、例えば、液晶画面の上に、透明な感圧式タブレット４ａを重ねて構成され、データ入力部１から入力された動画が、どのようなものであるかをユーザがモニターして確認できるように、データ記憶部２に記憶された最新のフレーム画像を液晶画面に呈示する。
【００５９】
第１の画面３ａに動画が呈示されている間、ユーザは、第１の画面３ａ上に直接手書き図形などの付加情報を入力すると、その入力された付加情報をリアルタイムで呈示する。すなわち、第１の画面３上のタブレット４ａ上でペン４ｂを用いてその軌跡を入力すると、その軌跡が呈示される。
【００６０】
付加情報の入力は、タブレット４ａとペン４ｂとが接触すると、タブレット４ａが、ペン４ｂがタブレット４ａと接触した場所のタブレット４ａ上の座標値（Ｘ、Ｙ）を発生することにより行う。ペン４ｂがタブレット４ａ上を接触しながら移動すると、座標値が連続して発生する。ペン４ｂがタブレット４ａから離れると、終端値（Ｘｔｍ、Ｙｔｍ）を発生し、一筆書きの区切りが分かるようにする。
【００６１】
第２の画面３ｂも第１の画面３ａと同様な構成で、図３に示すように、第１の画面３ａと隣接して配置される。動画の呈示を行わないこと以外は、第１の画面３ａと同様の動作をする。
【００６２】
これにより、ユーザは第１の画面３ａと第２の画面３ｂとの両方の画面をあたかもひとつの画面であるかのように扱うことができ、例えば動画の呈示される第１の画面３ａから第２の画面３ｂにまたがった連続した付加情報も入力できるようになる。図３では、第１の画面３ａに呈示された人の画像の手の部分を注目すべく付加情報を入力するために、第１の画面３ａに呈示された人の画像の手の部分に「丸印」を書込み、当該動画の外側、すなわち、第２の画面３ｂ上に「ＣＨＥＣＫ」と書込み、それらを第１の画面３ａから第２の画面３ｂにまたがって引き出し線で結んでいる。
【００６３】
付加情報記憶部５は、第１の画面３ａおよび第２の画面３ｂで入力された付加情報を、所定時間毎に入力された付加情報に区切って生成したブロック単位に記憶する。第１の画面３ａ、第２の画面３ｂで、座標値列として入力されたブロック単位の付加情報は、各付加情報を識別するための識別子（ここでは、第１の画面３ａから入力された付加情報を第１の付加情報、その識別子を第１の付加情報ＩＤと呼び、第２の画面３ｂから入力された付加情報を第２の付加情報、その識別子を第２の付加情報ＩＤと呼ぶ）が付されて、図３に示すように、それぞれ付加情報記憶部５の記憶領域ＭＡ３、ＭＡ５に記憶される。記憶領域ＭＡ４には、記憶領域ＭＡ３に記憶された付加情報に対応して、それに付された第１の付加情報ＩＤが記憶され、記憶領域ＭＡ６には、記憶領域ＭＡ５に記憶された付加情報に対応して、それに付された第２の付加情報ＩＤが記憶される。
【００６４】
付加情報記憶部５は、第１の画面３ａ、第２の画面３ｂから座標値が出力される度に、その座標値を記憶領域ＭＡ３、ＭＡ５に順次追加することにより、常に最新の付加情報を記憶する。
【００６５】
この最新の付加情報は、付加情報変化部６を経て、第１の画面３ａ、第２の画面３ｂに呈示されることにより、ユーザは、どのような付加情報を入力したかを確認できるようにする。
【００６６】
付加情報記憶部５は、第１の画面３ａ、第２の画面３ｂのいずれの画面からも、予め定められた時間（Ｔａ秒）、付加情報の入力がない場合には、それまでに入力された付加情報を区切ってブロックを生成する。ブロックの生成は、付加情報を表す座標値列にブロック値（Ｘｂ、Ｙｂ）を追加することにより行い、その生成されたブロック値も付加情報を表すブロック単位の座標値列とともに記憶領域ＭＡ３、ＭＡ５に記憶される。
【００６７】
付加情報変形部６は、第１の画面３ａおよび第２の画面３ｂに呈示する付加情報を呈示する際には、まず、付加情報記憶部５から第１の画面３ａに書き込まれた最新の付加情報を読み出し、同じく付加情報記憶部５から第２の画面３ｂに現時点までに入力された全ての付加情報を読み出して、これらを合成した画面イメージを生成する。
【００６８】
例えば、図３において、第１の付加情報ＩＤ「ＩＤ１」の付された第１の付加情報をＭ１（ＩＤ１）、第２の付加情報ＩＤ「ＩＤ２」の付された第２の付加情報をＭ２（ＩＤ２）と表すことにすると、図３において、記憶領域ＭＡ３から最新の付加情報であるＭ１（２）を選択して読み出し、記憶領域ＭＡ５から現時点までに当該動画に入力された全ての付加情報Ｍ２（１）とＭ２（２）とを読み出し、これらすべてを合成した第１の画面３ａと第２の画面３ｂとにまたがった付加情報の画面イメージＧ１を生成する。
【００６９】
付加情報変形部６は、第１の画面３ａに付加情報Ｍ１（２）がずっと呈示され続けて背景の動画とあまりにも関係のない呈示にならないように、例えば付加情報記憶部５がブロックを生成してから１０秒間だけ、付加情報Ｍ１（２）を選択する。
【００７０】
この様子を図５に示す。図５（ａ）は、付加情報Ｍ１（２）、Ｍ２（２）が入力された直後の第１の画面３ａと第２の画面３ｂとにまたがった画面イメージを示したもので、付加情報変形部６にて付加情報Ｍ１（２）、Ｍ１（１）、Ｍ２（２）を合成して生成された画面イメージを示している。図５（ｂ）はそれからＴｂ秒経過したときの画面の様子を示している。図５（ａ）では、第１の画面３ａ上に、付加情報Ｍ１（２）が呈示されており、これが、人の画像の手の部分を示していることが分かる。しかし、この付加情報を、図５（ｂ）のように動画の入力が進んだときにも呈示すると、（付加情報Ｍ１（２）の位置は移動しないので）手の部分を示すことはできないため、当該付加情報Ｍ１（２）を第１の画面３ａの画面イメージから消去している。
【００７１】
一方、第２の画面３ｂに入力された付加情報は、背景に動画が呈示されないため、図５（ｂ）に示すように、動画がいくら変化しても、付加情報Ｍ２（１）とＭ２（２）の両方を呈示したところで、ユーザは混乱することはない。そこで、付加情報変化部６は、第２の画面３ｂに入力された付加情報については、すべての付加情報が呈示されるように、付加情報記憶部５に記憶された全ての付加情報を選択してイメージを生成して、第２の画面３ｂにそれらを呈示する。
【００７２】
関連付け部７は、データ記憶部２に記憶された動画と、付加情報記憶部５に記憶された付加情報のうち、同時に入力されたもの同士を後で判別できるように関連付ける。この関連付けは、付加情報記憶部５がブロックを生成したときに入力されたフレーム画像のフレーム番号と、第１の画面３ａに入力された付加情報のＩＤ（第１の付加情報ＩＤ）と、第２の画面３ｂに入力された付加情報のＩＤ（第２の付加情報ＩＤ）とを対応付けて、図３に示しように関連付け部７にテーブル形式にて記憶することにより行う。
【００７３】
図３の例では、フレーム番号「１０５２」のフレーム画像と、第１の付加情報ＩＤ「１」の付加情報と、第２の付加情報ＩＤ「１」の付加情報とが同時に入力されたために関連付けられ、同様に、フレーム番号「１８２２」のフレーム画像と、第１の付加情報ＩＤ「２」の付加情報と、第２の付加情報ＩＤ「２」の付加情報とが同時に入力されたために関連つけられていることがわかる。
【００７４】
図４は、以上の記憶動作を示したフローチャートである。
【００７５】
第１の画面３ａ、第２の画面３ｂ上にユーザが付加情報を書込み（ステップＳ１１）、ブロックを生成するための予め定められた時間Ｔａが経過して、付加情報記憶部５に第１の画面３ａおよび第２の画面３ｂ上の付加情報が入力したときは（ステップＳ１２）、当該付加情報を付加情報記憶部５に記憶する（ステップＳ２０）。
【００７６】
付加情報変形部６は、第１の画面３ａに呈示する付加情報として、付加情報記憶部５に記憶された第１の付加情報のうち最新のものを選択してイメージを生成し、第２の画面３ｂに呈示する付加情報として、付加情報記憶部５に記憶された第２の付加情報を全て選択してイメージを生成し、これらを合成して第１の画面３ａおよび第２の画面３ｂに呈示する（ステップＳ２１）。
【００７７】
付加情報記憶部５で次にブロックを生成するまでの時間を計測するための変数ｔ１に「０」を代入して、付加情報が入力された直後であることを設定し、ステップＳ１２へ進む（ステップＳ２２）。以後、変数ｔ１の値を所定時間毎にインクリメントして時間を計測する。但し、第１の実施形態の情報検索装置の起動時のｔ１の初期値は「０」に設定されているものとする。
【００７８】
付加情報が入力されなかった場合は（ステップＳ１２）、ブロック生成を行うかどうかを調べるために、変数ｔ１にて表される時間と時間Ｔａとを比較して調べ（ステップＳ１３）、ｔ１＞Ｔａの場合は、ステップＳ２３へ進み、ブロック生成を行い、そうでない場合は、ステップＳ１４へ進み、動画の入力処理を行う。
【００７９】
付加情報記憶部５が、第１の画面３ａ、第２の画面３ｂに入力された付加情報をそれぞれブロック単位に付加情報ＩＤを付して記憶する（ステップＳ２３〜ステップＳ２４）。
【００８０】
そして、第１の画面３ａに入力された付加情報に関しては、ブロック単位の記憶がなされてから予め定められた時間Ｔｂ秒だけ、第１の画面３ａへの当該付加情報の呈示がなされるように時間を計測するための変数ｔ２に「０」を代入する（ステップＳ２５）。以後、変数ｔ２の値を所定時間毎にインクリメントして時間を計測する。
【００８１】
一方、ステップＳ１３で、ｔ１＞Ｔａでない場合は、ステップＳ１４へ進む。ステップＳ１４では、データ入力部１で動画の入力を行い、データ記憶部２は、入力された動画をフレーム単位にフレーム番号を付して記憶するとともに（ステップＳ１５）、その記憶したフレーム画像を記憶した順に第１の画面３ａに呈示する（ステップＳ１６）。
【００８２】
次に、変数ｔ２と値Ｔｂとを比較して、ブロックが生成されてからＴｂ秒経過したかどうかをチェックする（ステップＳ１７）。ｔ２＞Ｔｂの場合は、ステップＳ２６へ進み、ステップＳ２１で第１の画面３ａに呈示した付加情報を消去し、そうでない場合は、ステップＳ１８へ進む。
【００８３】
ステップＳ１８では、記憶終了を指示するスイッチが押されて、記憶終了の指示があるかどうかを調べ、記憶の終了が指示されていない場合は、ステップＳ１１に戻って、動画および付加情報の入力を継続し、終了する場合は、記憶動作を終了する。
【００８４】
このように、画像記憶時に当該動画を第１の画面３ａに呈示しながら第１の画面３ａおよび第２の画面３ｂ上に付加情報を入力し、その入力した付加情報を当該動画に関連付けて付加情報記憶部５に記憶することにより、後に、付加情報記憶部５に記憶された第２の画面３ｂ上で入力された第２の付加情報を動画検索のための検索キーとして、付加情報記憶部５に記憶された第１の画面３ａおよび第２の画面３ｂ上で入力された付加情報を当該動画の内容に関する注釈として用いることができる。
【００８５】
次に、検索動作（図２のステップＳ３）について、詳細に説明する。
【００８６】
図６は、検索動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１の概略構成に、検索動作時のデータの流れの一例を加え、さらに、検索時に必要な構成要素のみを抜き出したものである（検索動作時に関係のない構成要素や情報の流れを破線で示している）。
【００８７】
図２のステップＳ１で、記憶動作の開始の指示がない場合には、ステップＳ３に進み、検索状態に入る。この状態に入ると、第１の画面３ａには、それまでに入力された全ての付加情報が消去されて呈示され、第２の画面３ｂには、それまでに入力された全ての付加情報が入力されたときのまま残されて呈示される。この様子を図８に示す。図８（ａ）は記憶動作を終了し、検索状態に入ったときの第１の画面３ａ、第２の画面３ｂの呈示例を示している。
【００８８】
まず、ユーザは、第２の画面３ｂに呈示された付加情報を一覧することにより、その付加情報と関連付けられた動画を容易に類推することができる。そして、検索キーとなる付加情報を指定して、その付加情報と同時に入力された、ユーザが検索したい動画、あるいは、第１の画面３ａに入力された付加情報を検索する指示をする。
【００８９】
第２の画面３ｂは、検索動作時には付加情報の指定の働きを兼ねており、付加情報の指定は第２の画面３ｂにペン４ｂを接触させることにより行われる。第２の画面３ｂは、接触した点の当該画面上での座標値（Ｘｓ、Ｙｓ）を検索部８に出力する。図８（ａ）では、座標値（５６、３２）が出力されている様子が示されている。
【００９０】
検索部８は、付加情報指定のための座標値（Ｘｓ、Ｙｓ）を受け取ると、付加情報記憶部５に記憶された、第２の画面３ｂに入力されたすべての第２の付加情報について、（Ｘｓ、Ｙｓ）を含む第２の付加情報を検索し、見つかった場合には、その第２の付加情報のＩＤ（第２の付加情報ＩＤ）を取得する。
【００９１】
図６では、検索部８が、付加情報指定のための座標値（５６、３２）は、第２の画面３ｂに入力された第２の付加情報Ｍ２（２）に含まれることを検索した様子を示している。
【００９２】
当該付加情報指定のための座標値を含む第２の付加情報が見つかったときは、検索部８は、関連付け部７を参照して、当該第２の付加情報と同時に入力された（関連付けられた）動画データのフレーム番号と、第１の画面３ａに入力された第１の付加情報のＩＤとを取得する。すなわち、図６において、関連付け部７に記憶されているテーブルから当該第２の付加情報ＩＤに対応する第１の付加情報ＩＤとフレーム番号とを読取る。この場合、第２の付加情報ＩＤが「２」である第２の付加情報に関連付けられた（同時に入力された）第１の付加情報のＩＤは「２」であり、フレーム画像は、フレーム番号が「１８２２」のものであことがわかる。
【００９３】
一方、当該付加情報指定のための座標値を含む第２の付加情報が見つからなかったときは、検索動作をそのまま終了する。
【００９４】
さて、関連付け部７を検索した結果、フレーム番号（例えば、「１８２２」）が取得されると、検索部８は、データ記憶部２に対して、当該フレーム番号に対応するフレーム画像以降の動画を再生する指示を出し、再生された動画を第１の画面３ａに呈示する。次に、付加情報記憶部５に対して、関連付け部７を検索した結果得られた第１の付加情報ＩＤ（例えば、「２」）に対応する第１の付加情報を動画と同期して第１の画面３ａに呈示する指示を出す。
【００９５】
動画の再生と付加情報の再生とを同期させること以外は、記憶時と同じ方法で呈示する。例えば、フレーム番号「１８２２」のフレーム画像からの動画の再生を始めて時間Ｔｂ秒経過すると、第１の付加情報（第１の付加情報ＩＤ「２」の付加情報）は消去される。
【００９６】
図８（ｂ）は、このようにして検索された動画とその上に付加された付加情報の再生を開始するときの様子を示している。ユーザは、図８（ｂ）に示したような検索結果を見ることによって、第２の画面３ｂに呈示された「ＣＨＥＣＫ」という付加情報が、人の動画と同時に記憶されたこを知ることができると同時に、人の画像の手の部分に付加情報として付加された「丸印」が「ＣＨＥＣＫ」という付加情報（注釈）と関連付けられていることを知ることができる。このように、第２の画面３ａに入力された付加情報が動画のどの部分に対して付加されたのか、を具体的に知ることができる。
【００９７】
図７は、以上の検索動作を示したフローチャートである。
【００９８】
ユーザが第２の画面３ｂから検索キーとなる付加情報を指定して（ステップＳ３１）、付加情報指定のための座標値（Ｘｓ、Ｙｓ）が入力されたら（ステップＳ３２）、ステップＳ３３に進み、検索処理を継続する。
【００９９】
ステップＳ３３では、検索部８は、付加情報記憶部５を検索して、座標値（Ｘｓ、Ｙｓ）を含む第２の付加情報を検索し、検索できたときは（ステップＳ３４）、ステップＳ３５に進み、検索処理を続け、座標値（Ｘｓ、Ｙｓ）を含む第２の付加情報が見つからなかったときは検索処理を終了する。
【０１００】
ステップＳ３５では、検索部８は関連付け部７を参照して、第２の付加情報と関連付けられた（同時に入力された）、第１の付加情報のＩＤと動画のフレーム番号とを取得する。次に、データ記憶部２にこの取得されたフレーム番号以降の動画の再生を指示し（ステップＳ３６）、付加情報記憶部５には、当該動画と同期して、先に取得されたＩＤに対応する第１の付加情報の再生を指示する（ステップＳ３７）。なお、このとき動画を再生する際には、記憶動作時と同様である（ステップＳ３８）。
【０１０１】
このように、検索動作時には、ユーザは動画データの呈示領域外、すなわち第２の画面３ｂに入力された第２の付加情報を検索のための検索キー（インデックス）として用いることにより、それと関連付けられた動画データを容易に検索することができる。また、その付加情報は動画の画面上での位置に関する注釈の意味も持つ。
（効果）
以上に説明したように、上記第１の実施形態によれば、動画の呈示領域（第１の画面３ａ）と連続した画面（第２の画面３ｂ）に、その呈示された動画（フレーム画像）に対し、動画の呈示領域から継ぎ目なく付加情報を付加することができるため、動画に対して検索キー（インデックス）としての役割と動画の内容の注釈との２役を同時にこなす付加情報を付加することが容易に行え、これを基に所望のフレームからの動画を検索することができるようになり、その効果は大きい。
（変形例１：別画面、重なり画面）
上記第１の実施形態では、第１の画面３ａと第２の画面３ｂとは、連続するように設定したが、必ずしもこれに限らず、第１の画面３ａと第２の画面３ｂとの上に同時に付加情報を入力できる画面であれば、どのようなものでも良い。例えば、図９に示すように、第１の画面と第２の画面とが連続しておらず、分離して設けられたものであってもよい。
【０１０２】
第１の画面３ａと第２の画面３ｂとが、連続していない場合、それらの画面は、同じディスプレイ装置に設けられたものに限定されない。例えば、第１の画面３ａは、パトロールの現場などで用いる携帯端末に設けられたディスプレイ装置に設けられ、この第１の画面３ａ上に付加情報が入力されると同時に、当該携帯端末と通信で接続された、センターのコンピュータのディスプレイ装置に設けられた第２の画面３ｂに、別のユーザが付加情報を入力して用いても良い。
【０１０３】
また、上記第１の実施形態で説明した手書き図形の付加情報は、引き出し線が第１の画面３ａと第２の画面３ｂとに渡って連続するように付加されたが、必ずしもこれに限定されない。例えば、第１の画面３ａと第２の画面３ｂとが第１の実施形態で説明した互いに隣接する画面であっても、それぞれの画面に連続しない別々の手書き図形を付加情報として入力し、それらをひとつのブロックとして識別して関連付けても良い。
（第１の付加情報を変形する方法）
上記第１の実施形態では、付加情報変形部６での付加情報の呈示方法として、第１の画面３ａ上の付加情報は、一定時間が経過すると消去されるという常に同じ変形を行わしめ、第２の画面３ｂ上の付加情報は消去することなく呈示するとしたが、必ずしもこれに限らず、第１の画面３ａ上の付加情報と第２の画面３ｂ上の付加情報とが、異なる方法で呈示されれば、その呈示方法は何でも良い。例えば、図１０に示すように、センサデータのトレンド（軌跡）を、時間とともに右から左にスクロールして第１の画面３ａに呈示させ、その上に描かれた付加情報の呈示位置は、この動きに沿って、右から左に移動する変形を行ってもよい。
【０１０４】
図１０では、センサデータは、第１の画面３ａに呈示され、一定の速度で、画面の右から左にスクロールする。図１０（ａ）は、センサデータが第１の画面３ａに呈示され、そこに付加情報が付加される様子を示している。その後、数秒後のセンサデータの呈示と付加情報の呈示の様子を示したものが図１０（ｂ）である。
【０１０５】
図１０（ａ）で、「丸印」の付加情報Ｆ１の呈示位置は、図１０（ｂ）に示すように、センサデータのスクロールと同期して移動するが、図１０（ａ）で付加された、「ＣＨＥＣＫ」という手書き図形の付加情報Ｆ２の表示位置は、第２の画面３ｂに付加されているため移動しない。付加情報変形部６は、このような方法で付加情報を変形しても良い。
【０１０６】
また、ハードウエア的あるいはソフトウエア的なページ切り替えボタンを図１の情報記憶検索装置に設け、このページ切り替えボタンを押すことにより、それまでに入力された付加情報をひとつのページという単位に区切ってまとめ、第２の画面３ｂに入力された注釈を消去しても良い。この場合、ユーザが別個設けられたページめくりボタンを押して、ページを指定することにより、以前に第２の画面３ｂに入力した付加情報を簡単に参照できる。このページ切り替えは、第２の画面３ｂが、入力した付加情報でいっぱいになったときや、入力した付加情報をページで区切りたいときなどに有効である。
（第１の画面上の第１の付加情報から第２の画面の第２の付加情報を検索）
上記第１の実施形態では、第２の画面３ｂ上の第２の付加情報を検索キーとして用いて、第１の画面３ａ上の動画と、その動画上の第１の付加情報を検索したが、検索キーとして用いる付加情報は、これに限定されるものではない。例えば、検索動作時には、まず、データ記憶部２に記憶された動画とそれに関連付けされた第１の付加情報とを第１の画面３ａに同期させながら再生し、その再生中に呈示された第１の付加情報を、第１の実施形態と同様の方法で、ユーザが指定することによって、第２の付加情報を検索するようにしてもよい。
【０１０７】
このような検索動作は、図１０に示したような第１の画面３ａ上の付加情報の呈示位置が背景のセンサデータの動きに沿って移動する場合に有効である。この場合、ユーザが第１の画面３ａに呈示された第１の付加情報をペン４ｂで押してその位置を指定したら、当該指定された第１の付加情報と、それと関連付けられた第２の画面３ｂ上の第２の付加情報とが画面上で連続してひとつの注釈と見えるように、動画と第１の付加情報とを呈示することが望ましい。
（複数画面）
上記第１の実施形態では、第２の画面３ｂの背景は白紙（背景画像がない状態）で用いていたが、必ずしもこれに限定されるものではない。例えば、第２の画面３ｂの背景画像に地図や図面などの、静止画を呈示しても良い。これにより、どちらの画面に描かれた付加情報も、検索キーと図中での注釈との２役を持つことができ、上記第１の実施形態で示した例よりも、１つの付加情報が果たす役割が増え、ユーザは、付加情報の入力、動画検索にかかる負担を、さらに低減させることができる。
【０１０８】
第２の画面３ｂの背景に呈示されるデータは静止画に限らず、動画でも良い。例えば、図９（ｂ）に示すように、第１の画面３ａには動画を、第２の画面３ｂには、例えば、プラントの状態を表す動画が呈示される。プラントの状態を表す動画は、プラントの構成図が描かれ、その上の図形の色が変化したり、点滅したりして、プラントの状態を表すものである。このように、第２の画面３ｂに呈示する背景としての動画は、時系列で変化するデータではあるが、画面上での位置は変化しないため、白紙や静止画の上に付加情報を付加したりするのと同様に、当該付加情報を検索キーとして用いることができる。
【０１０９】
また、第１の画面３ａおよび第２の画面３ｂの両方に動画を呈示しても良い。この場合、第２の画面３ｂに呈示する動画を、例えば再生したり、スクロールバーのようなもので、動画中での位置を移動したりしながら、その上の付加情報を呈示させて、呈示された付加情報と関連付けられた第１の画面３ａに呈示された動画と、その上の付加情報とを検索するといったことが可能になる。
（付加情報の種類）
付加情報は手書きを例にあげたが、これに限定されるものではなく、第１の画面３ａと第２の画面３ｂとに同時に入力できるものであれば何でも良い。例えば、テキストやアイコンを用いても良い。この場合、まず、ペン４ｂをタブレット４ａに接触させて、テキストを入力する位置を決めた後に、キーボードからテキストを入力したり、その位置にアイコンを置いたりする。また、あらかじめ、第２の画面３ｂに呈示されたアイコンなどに、引き出し線で関連付けても良い。
（検索結果の呈示方法）
上記第１の実施形態では、検索結果を呈示するのに、ユーザが指定した第２の画面３ａ上の第２の付加情報と関連付けられた動画と、その上に描かれた第１の付加情報とを、頭出しして同期再生することにより行ったが、検索結果の呈示方法は、これに限定されるものではない。例えば、動画と第１の付加情報を頭出しして静止しても良いし、あるいは、関連付けをより分かりやすく呈示するために、ユーザが指定した第２の画面３ｂ上の第２の付加情報と、検索された結果の第１の付加情報とを、他の付加情報とは別の色で呈示しても良い。このように、検索結果の呈示方法は、ユーザが指定した第２の付加情報と、検索結果の第１の付加情報と、動画との関連が、ユーザに分かるものであればなんでも良い。
（第２の実施形態）
図１１は、本発明の情報記憶検索方法を用いた第２の実施形態に係る情報記憶検索装置の概略構成を示したもので、連続しない分離した画面上にそれぞれ入力した付加情報を引き出し線で結んで、付加情報間の関連を簡単に指定し、かつ、一覧することのできるものである。
【０１１０】
第１の実施形態では、動画の呈示される第１の画面３ａと第２の画面３ｂとの両方に付加情報を付加して関連付け、１つの付加情報が動画の検索キーと動画の内容の注釈との２つの役割を果たすことを可能にするものであった。が、同一のディスプレイ装置の上に、第１の画面３ａと第２の画面３ｂとが連続せずに分離して設けられている場合には、それらの画面上に入力された付加情報の間を引き出し線で結んで関係付けたり、あるいは、関係を示したりすることはできなかった。第２の実施形態に係る情報記憶検索装置は、このような問題を解決するものである。
【０１１１】
なお、図１１において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１１に示す情報記憶検索装置では、第１の画面３ａと第２の画面３ｂは同一のディスプレイ装置の画面上に連続せずに分離して設けられており、この同一のディスプレイ装置の画面に設けられた第１の画面３ａと第２の画面３ｂを含む、例えば、当該ディスプレイ装置の画面全体を覆う引き出し線画面３ｃとを具備し、この引き出し線画面３ｃ上に、第１および第２の画面３ａ、３ｂ上に入力された付加情報を結ぶ引き出し線を入力することを可能にする。これにより、第１および第２の画面３ａ、３ｂが、ディスプレイ装置の画面上のどこに位置していても、引き出し線の入力、呈示が可能になり、ユーザは、第１および第２の画面３ａ、３ｂを当該ディスプレイ装置の画面上に自由にレイアウトする操作も可能となる（そのために、図１１の構成に、さらに、第１の画面３ａ、第２の画面３ｂをディスプレイ装置の画面上に自由にレイアウトするための画面レイアウト部１１を具備していてもよい）。
【０１１２】
引き出し線画面３ｃは、第２の画面３ｂと同様に透明な液晶画面の上に、透明な感圧式タブレットが重ねられて構成され、第１および第２の画面３ａ、３ｂを含むディスプレイ装置の画面全体を覆う画面である。この引き出し線画面３ｃが配置されることにより、図１１に示すように、ユーザは、第１の画面３ａ上の付加情報と第２の画面３ｂ上の付加情報とを引き出し線で結ぶことができるようになる。
【０１１３】
次に、図１１の情報記憶検索装置の動作について、記憶動作と検索動作とに分けて説明する。なお、動画の処理方法については、第１の実施形態と変わらないので、ここでは、それ以外の付加情報の処理についてのみ取り上げて説明する。
【０１１４】
まず、記憶動作時について説明する。
【０１１５】
図１２は、記憶動作時の３つの画面３ａ、３ｂ、３ｃによる動画と付加情報の呈示例を示したものである。図１２（ａ）に示すように、ユーザは、第１、第２の画面３ａ、３ｂに対して、第１の実施形態と同様にして付加情報を入力すればよい。引き出し線画面３ｃ上にも、第１、第２の画面３ａ、３ｂの場合と同様に付加情報（引き出し線画面３ｃ上に入力される付加情報を第３の付加情報と呼ぶ）を座標値列として入力し、その入力された第３の付加情報はＩＤ（第３の付加情報ＩＤ）が付されて付加情報記憶部５に記憶される。
【０１１６】
図１２（ａ）では、第１の画面３ａに、人の動画が呈示されており、その人の画像の手の部分に「丸印」の付加情報が入力され、第２の画面３ｂに、「ＣＨＥＣＫ」という付加情報が入力され、それらの間を引き出し線で結んでいる。このように、第１の画面３ａ、第２の画面３ｂ、引き出し線画面３ｃにまたがって入力された付加情報は、各画面の境界で分離して、第１の画面３ａ内に含まれる部分を第１の付加情報Ｍ１、第２の画面３ｂ内に含まれる部分を第２の付加情報、引き出し線画面３ｃ内に含まれる部分を第３の付加情報と判定する。
【０１１７】
付加情報記憶部５で、ブロックを生成するタイミングは、第１の実施形態では、第１の画面３ａ、第２の画面３ｂの、いずれの画面に対してもＴａ秒の間、付加情報が入力されない場合に行ったが、第２の実施形態では、これらの画面に加えて、引き出し線画面３ｃに付加情報が入力されるかどうかも考慮する。また、このタイミングで生成された第３の付加情報Ｍ３には、第１の付加情報Ｍ１、第２の付加情報Ｍ２と同様に、ブロックが生成されたときに、第１の画面３ａに呈示されていた動画のフレーム画像（およびフレーム番号）をデータ記憶部２に記憶する。
【０１１８】
図１２（ａ）に示した付加情報は、図１２（ｂ）に示すように、各画面の境界で分離されて第１〜第３の付加情報Ｍ１、Ｍ２、Ｍ３が得られる。ここまでは第１の実施形態とほぼ同様であるが、第２の実施形態では、付加情報記憶部５は、第１〜第２の付加情報Ｍ１、Ｍ２から引き出し線を分離して、引き出し線の付加情報（第３の付加情報）Ｍ３’と新たな第１および第２の付加情報Ｍ１’Ｍ２’を生成してから記憶する。例えば、図１２（ｂ）では、付加情報Ｍ１、Ｍ２には、引き出し線の一部である付加情報ｍ３１、ｍ３２が含まれるため、この付加情報ｍ３１、ｍ３２を分離して、図１２（ｃ）に示すように、第１の付加情報Ｍ１から付加情報ｍ３１を除いた部分を新たな第１の付加情報Ｍ１’とし、第２の付加情報Ｍ２から付加情報ｍ３２を除いた部分を新たな第２の付加情報Ｍ２’とし、第３の付加情報Ｍ３に付加情報ｍ３１とｍ３２を加えたものを新たな第３の付加情報Ｍ３’とする。
【０１１９】
引き出し線の検出は、例えば、図１３のフローチャートに示す手順で行う。まず、第１の画面３ａに入力された付加情報Ｍ１を構成するストロークの番号を保持する変数ｎに「１」を代入して初期化し（ステップＳ５１）、ｎ番目のストロークであるＳＲ１（ｎ）が、第１の画面３ａの境界（輪郭）と接するかどうかを調べる（ステップＳ５２）。
【０１２０】
ＳＲ１（ｎ）が第１の画面３ａの輪郭と接する場合は（ステップＳ５３）、ステップＳ５４に進み、処理を継続し、接していない場合は、ステップＳ５６に進み、変数ｎを１つインクリメントして、第１の画面３ａ上の次のストロークについての処理に移行する。
【０１２１】
ステップＳ５４では、ストロークＳＲ１（ｎ）と第１の画面３ａの輪郭との接点Ｐが、引き出し線画面３ｃ上の付加情報である第３の付加情報Ｍ３と隣接するかどうかを調べる。
【０１２２】
接点Ｐが第３の付加情報Ｍ３と隣接する場合は、ステップＳ５８に進み、第２の画面３ｂに入力された付加情報のストロークＳＲ２に対する処理に移行し、接点Ｐが第３の付加情報Ｍ３と隣接しない場合はステップＳ５６に進む。
【０１２３】
以上の処理を第１の画面３ａに入力された付加情報の全てのストロークについて行ったかどうかを、付加情報記憶部５に記憶された次の第１の画面の付加情報を読み取ることにより調べ、読み取れた場合は、ステップＳ５２に戻って、次のストロークについて検索を繰り返し、読み取れなかった場合は、引き出し線検出処理を終了する（ステップＳ５７）。
【０１２４】
さて、ステップＳ５８では、第２の画面３ｂに入力された付加情報の全てのストロークについて、第３の付加情報Ｍ３と隣接するストロークＳＲ２を検索する。ＳＲ２が存在する場合は（ステップＳ５９）、ステップＳ６０へ進み、引き出し線が検出された場合の処理を行い、存在しない場合は、ステップＳ５６に戻る。
【０１２５】
ステップＳ６０では、ＳＲ１（ｎ）を図１２で説明したような第１の画面３ａに入力された引き出し線の一部であるｍ３１とし、ＳＲ２を同じく図１２で説明したような第２の画面３ｂに入力された引き出し線の一部であるｍ３２と判定できるので、結局ｍ３１、ｍ３２、Ｍ３をユーザにより入力された引き出し線として検出し（ステップＳ６１）、この検出された引き出し線を新たな第３の付加情報Ｍ３’とし、処理を終了する。
【０１２６】
第１の実施形態では、第１の画面３ａに入力された付加情報は、ブロックが生成されてからＴｂ秒経過すると、付加情報変形部６によって消去されたが、第２の実施形態では、これに加えて、上記検出された引き出し線も消去される。これにより、記憶動作時に、ディスプレイ装置の画面上で第１の画面３ａ、第２の画面３ｂの位置を移動させても、ユーザは引き出し線を誤って識別することを防ぐことができる。
【０１２７】
なお、記憶動作時のその他の処理（付加情報の記憶動作以外の処理）は、第１の実施形態と同様である。
【０１２８】
次に、検索動作について説明する。
【０１２９】
図１４（ａ）に、検索動作開始時の画面の呈示例を示す。図１４（ａ）では、ディスプレイ装置の画面上における第１および第２の画面３ａ、３ｂの配置位置が、記憶動作時のとき（図１２（ａ）参照）と異なっている。また、図１４（ａ）では、第１の実施形態の場合例と同様に、第１の画面３ａには何も呈示されていない。
【０１３０】
ユーザは、第１の実施形態の場合と同様に、第２の画面３ｂに呈示された第２の付加情報を指定し、第１の画面３ａに、指定された第２の付加情報と関連付けられた動画と第１の付加情報とを呈示する。図１４（ａ）では、ユーザは、手書き図形の「ＣＨＥＣＫ」という付加情報をペン４ｂで指定している（なお、この付加情報は、例えば、図１２（ｃ）で示した付加情報記憶部５に記憶された第２の付加情報Ｍ２’に相当する）。
【０１３１】
検索部８は、第１の実施形態の場合と同様に、第２の付加情報Ｍ２’と関連付けられた動画と第１の付加情報Ｍ１’とを検索して、第１の画面３ａに呈示する。
【０１３２】
第２の実施形態では、さらに、引き出し線の呈示も行う。引き出し線は、ユーザが指定した、第２の画面３ｂ上の第２の付加情報Ｍ２’と、それと関連付けられた、第１の画面３ａ上の第１の付加情報Ｍ１’とを結ぶように呈示される。この様子を図１４（ｂ）に示す。
【０１３３】
引き出し線の呈示方法を、図１４（ｂ）を例にとって説明する。まず、第１の付加情報Ｍ１’を構成する全て座標値について、第２の画面３ｂに最も近いものをｐｄ１として取得する。同様に、第２の付加情報Ｍ２’についても、第１の画面に最も近いものをｐｄ２として取得する。ｐｄ１、ｐｄ２は、それぞれ、第１および第２の画面３ａ、３ｂの座標系での座標値なので、これらを引き出し線画面上での座標系に変換して、ＰＤ１、ＰＤ２を得る。そして、第３の付加情報Ｍ３’の縮尺を変更して、座標値ＰＤ１にて表される位置と座標値ＰＤ２にて表される位置とを結ぶ引き出し線（第３の付加情報Ｍ３’）の画像を生成し、これを引き出し線画面３ｃに呈示する。
【０１３４】
引き出し線画面３ｃは、例えば、第１および第２の画面３ａ、３ｂの上に配置された、液晶画面で構成されるため、引き出し線が、第１、第２の画面と重なった部分もユーザは見ることができる。
【０１３５】
これにより、検索動作時の第１、第２の画面３ａ、３ｂの配置位置が、記憶動作時に第１、第２の付加情報が入力されたときの第１、第２の画面３ａ、３ｂの配置位置とは異なる場合でも、第１および第２の付加情報を結ぶように引き出し線が呈示されるため、ユーザは、一目でどの付加情報とどの付加情報とが関連付いているのかを視覚的に（瞬時に、かつ、容易に）知ることができる。
（効果）
以上説明したように、上記第２の実施形態によれば、連続しない分離した画面上に入力した付加情報の位置関係を引き出し線を用いて視覚的に簡単に関連付けることが可能となり、ユーザが付加情報の関連付けを行う負担が大きく軽減される。
【０１３６】
また、付加情報の記憶動作時と、検索結果を呈示する時とで、画面の位置が変わっていても、引き出し線は、関連付けを示すように変形して表示されるため、ユーザは、ディスプレイ装置の画面上に自由に画面をレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減され、その効果は大きい。
（第２の実施形態の変形例：付加情報の入力画面の数の限定）
上記第２の実施形態では、引き出し線にて関連付ける付加情報を入力するための画面は、第１、第２の画面３ａ、３ｂの２つの画面しかなかったが、付加情報を入力する画面は、これに限定されるものではない。例えば、３つ目の付加情報を入力するための第３の画面を設けて、これら３つの画面を引き出し線にて結びつけるようにしてもよい。
【０１３７】
すなわち、第２の実施形態に係る情報記憶検索装置は、時系列データを呈示するとともに付加情報を入力するための少なくとも１つの第１の画面３ａおよび付加情報を入力するための少なくとも１つの第２の画面３ｂと、これらに入力された付加情報を結びつける（関連付ける）引き出し線を入力するための、第１の画面３ａおよび第２の画面３ｂに隣接する少なくとも１つの引き出し線画面３ｃとを持っていればよく、また、第２の画面３ｂにも動画が呈示できるものであってもよい。
（引き出し線の分離方法）
上記第２の実施形態で説明した引き出し線を分離する方法は、図１３に示した処理方法に限定されるものではなく、付加情報と付加情報とを結ぶ引き出し線を分離できるものであれば、どんな方法でも良い。例えば、図１２（ａ）において、引き出し線画面３ｃのみの領域内（第１の画面３ａと第２の画面３ｂと重複しない引き出し線画面３ｃ内の領域）に入力された付加情報Ｍ３のみを引き出し線としてもよい。この場合、付加情報ｍ３１は第１の付加情報Ｍ１として、また、付加情報ｍ３２は第２の付加情報として識別される。
（引き出し線の呈示方法）
上記第２の実施形態では、引き出し線は、第１の画面３ａの付加情報が消去されるときに、一緒に引き出し線画面から消去されたが、第２の画面３ｂの付加情報と同様に、画面上に呈示したままでも良い。
（引き出し線の変形）
前述の第１の実施形態では、引き出し線は変形させなかったが（図１０参照）、上記第２の実施形態と同様の方法で、引き出し線を変形させて、付加情報との関連付けを呈示しても良い。図１５は、このような例を示すものである。例えば、センサデータを呈示する第１の画面３ａ上の第１の付加情報Ｆ１が移動した場合には、移動した第１の付加情報Ｆ１と、第２の画面３ｂ上の第２の付加情報Ｆ２とを結ぶように、図１５に示すように引き出し線Ｆ３を変形して、関連付けをユーザに呈示しても良い。
（引き出し線の種類）
第１および第２の実施形態のいずれにおいても、引き出し線は、第１の画面３ａ上に入力された付加情報と第２の画面３ｂ上に入力された付加情報との間の関連を表すための手段の一例として挙げたもので、必ずしもこれに限定されず複数の種類の引き出し線があっても良い。
【０１３８】
例えば、引き出し線を書き始めてから書き終わるまでの時間が所定時間（Ｔｃ秒）以上かかったら「引き出し線で結ばれたものは等価である」という意味を持たせ、Ｔｃ秒かからなかったら「引き出し線で結ばれたものは等価でない」という意味を持たせることにより、２種類の引き出し線があっても良い。
【０１３９】
この場合、「等価である」ことを表す引き出し線は細い線で表示し、「等価でない」ことを表す引き出し線は太い線で表示することにより、２種類の引き出し線を見分けることも可能になる。
【０１４０】
引き出し線の種類を指定する方法は、上記の方法に限定されず、引き出し線の種類を特定できる方法であれば何でもよい。
【０１４１】
例えば、引き出し線を書くときの筆圧を用いて、筆圧を強く描いたものと弱く描いたものを区別してもよいし、マウスボタンを用いて、右クリックしながら描いたものと左クリックしながら描いたものとクリックしないで描いたものを区別してもよいし、引き出し線の形状の違い（線種）を用いて、一本線、二重線、点線、破線で描いたものを区別してもよい。
【０１４２】
二重線の引き出し線が入力されたことを識別する方法としては、例えば図１６に示すように、１本目に引かれた線の始点座標Ｂ０と２本目に引かれた線の始点座標Ｂ１との距離、１本目に惹かれた線の終点座標Ｅ０と２本目に引かれた線の終点座標Ｅ１との距離がそれぞれ、予め定められた値Ｌ０より小さいときに、これを二重線の引き出し線と識別すればよい。
【０１４３】
さらに、引き出し線の始点位置と終点位置の関係を用いて、引き出し線の種類を指定してもよい。これについて、図１７を参照して説明する。
【０１４４】
図１７（ａ）は、動画の中から２つのフレームＦＬＭ１、ＦＬＭ２を抜き出して、それぞれ同じディスプレイ装置の呈示画面上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１７（ａ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。この動画中ではフレームＦＬＭ１の後にフレームＦＬＭ２が再生されるものとする。図１７（ａ）に示すように、第１の画面３ａ上の第１の付加情報Ｍ１と第２の画面３ｂ上の第２の付加情報Ｍ２とを結ぶ第３の付加情報Ｍ３としての引き出し線が始点Ｂ３から終点Ｅ３に向かって引かれている。この引き出し線を「第１の付加情報Ｍ１から第２の付加情報Ｍ２に値が変化した」という意味を表す種類と区別してもよい。
【０１４５】
この場合、例えば、当該第３の付加情報Ｍ３を入力した直後、あるは検索結果の呈示時に、「Ｍ１からＭ２に値が変化した」という意味を表す種類の引き出し線に、図１７（ａ）に示すような第１の付加情報Ｍ１から第２の付加情報Ｍ２に向かう矢印の形になるように、自動的に矢印の矢尻の画像を付加すると、引き出し線の種類を見分けることも可能になる。
【０１４６】
また、引き出し線を線分として描くのではなく、図１７（ａ）に示す矢印を描いた場合に、矢印を自動的に認識して「Ｍ１からＭ２に値が変化した」のか、「Ｍ２からＭ１に値が変化した」のかを区別しても良い。
（他の引き出し線検出方法）
第１および第２の実施形態のいづれにおいても、引き出し線の識別は、第１の画面３ａ、第２の画面３ｂ、引き出し線画面３ｃが隣接する点におけるストロークの連続状況を見て引き出し線を検出していたが、必ずしもそれに限定されるものではなく、第１および第２の付加情報と第３の付加情報としての引き出し線とを区別できる方法であれば何でもよい。
【０１４７】
例えば、図形認識で直線に近い形状を検出したものを引き出し線とみなしてもよい。
（引き出し線にさらに付加情報を付加する）
上記第１および第２の実施形態では、付加情報は、第１の画面３ａ、第２の画面３ｂに呈示された動画に対して付加されたものであったが、引き出し線に対して付加するものであってもよい。
【０１４８】
例えば、図１７（ｂ）は、第１の画面３ａ上の第１の付加情報Ｍ１と第２の画面３ｂ上の第２の付加情報Ｍ２とを結ぶ第３の付加情報Ｍ３としての引き出し線に対して、引き出し線画面３ｃ上から第４の付加情報Ｍ４を入力した様子を示す。第４の付加情報Ｍ４が第３の付加情報Ｍ３としての引き出し線に対して付加された付加情報であることの識別は、例えば、当該引き出し線の入力が終わってから所定時間（Ｔｄ秒）の間に入力されたストロークを、第３の付加情報Ｍ３としての当該引き出し線に対して付加された付加情報として識別する。
【０１４９】
引き出し線に付加された付加情報の識別方法はこれに限らず、引き出し線に対して付加されたことが識別できる方法であれば何でも良い。
【０１５０】
例えば、第３の付加情報Ｍ３としての引き出し線と第４の付加情報Ｍ４はどちらが先に入力されても構わず、第４の付加情報Ｍ４の入力が終わってからＴｄ秒の間に、第１の画面３ａと第２の画面３ｂに渡って入力されたストローク情報を引き出し線として識別して、これらを関連付けてもよい。また、第１の画面３ａにも第２の画面３ｂにも含まれず、しかも、引き出し線画面３ｃ上の第３の付加情報Ｍ３としての引出し線にも該当しない全てのストローク情報を第４の付加情報として関連付けてもよい。
【０１５１】
また、図１７（ｃ）に示すように、引き出し線画面３ｃ上に、第１の画面３ａにも第２の画面３ｂにも含まれず、しかも、引き出し線画面３ｃ上の第３の付加情報Ｍ３としての引出し線にも該当しない、複数の（例えば２つの）付加情報Ｆ１０、Ｆ１１が入力された場合、第３の付加情報Ｍ３としての引き出し線に最も近い１つのみ（例えば、付加情報Ｆ１０）を当該第３の付加情報Ｍ３としての引き出し線に付加する第４の付加情報Ｍ４であるとみなしてもよい。なお、引き出し線画面３ｃ上の引き出し線以外の付加情報の判別方法としては、例えば、最初のストロークが入力されてからＴｂ秒以上次のストロークの入力がない場合に、それまでに入力されたストロークを１つの付加情報としてまとめ、Ｔｂ秒以上経過した後に新たに入力されたストロークを他の付加情報としてまとめることにより行う。
【０１５２】
引き出し線に付加する第４の付加情報の識別方法としては、上記以外に、当該引き出し線に一番近い付加情報が特定できる方法であればなんでも良い。例えば、引き出し線が入力された時間と最も近い時間に入力された付加情報を第４の付加情報とする方法であってもよいし、付加情報を構成する座標値の重心を求めて、これが引き出し線の重心と最も近いものを第４の付加情報とする方法であってもよい。
（既に入力された付加情報に後から引き出し線で関連付け）
上記第１よび第２の実施形態のいづれにおいても、記憶動作時に付加情報と引き出し線とは同時に入力したが、この場合に限らず、既に入力された付加情報に後から引き出し線を付け加えて関連付けても良い。この場合を図１８を参照して説明する。
【０１５３】
図１８（ａ）、（ｂ）は、動画の中から２つのフレームを抜き出して、それぞれ同じディスプレイ上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１８（ａ）（ｂ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。
【０１５４】
図１８（ａ）に示すように、第１の付加情報Ｍ１と第２の付加情報Ｍ２が既に入力されている状態に、図１８（ｂ）に示すような「Ｍ１とＭ２は等価である」という意味を持つ第３の付加情報Ｍ３としての引き出し線を後から付け加えることにより、当該引き出し線の始点および終点の近くにある第１の付加情報Ｍ１と第２の付加情報Ｍ２とを関連付ける。
【０１５５】
図１８（ｃ）、（ｄ）は、動画の中から２つのフレームを抜き出して、それぞれ同じディスプレイ上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１８（ｃ）（ｄ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。
【０１５６】
図１８（ｃ）に示すように、第１の付加情報Ｍ１と第２の付加情報Ｍ２と第３の付加情報Ｍ３としての引き出し線が既に入力されている状態に、図１８（ｄ）に示すような当該引き出し線に関連付ける第４の付加情報Ｍ４、さらに、第２の画面３ｂ上に新たに第２の付加情報（矢印）を入力してもよい。このように、付加情報を後から追加していくことにより、既に入力してあった引き出し線に意味を追加することもできる。
（第３の実施形態）
次に、情報記憶検索装置が呈示する動画からオブジェクトを検出し、そのオブジェクトに対して付加情報を付加することのできる第３の実施形態について説明する。
【０１５７】
ここで、オブジェクトとは、例えば、ＭＰＥＧ４などで用いるオブジェクト情報であり、動画中の被写体全体、あるいは、被写体の各構成部の１つ１つをいうものとする。
【０１５８】
第１の実施形態および第２の実施形態ともに、付加情報を付加する対象となる動画は詳しくは静止画（フレーム画像）であるため、例えば付加情報を付加した人物像の顔の画像が、付加情報付加後に画面上で大きく動いた場合、当該付加情報が顔の画像に追随できないという問題があった。第３の実施形態ではこのような問題を解決するものである。すなわち、動画から例えば人物像の顔画像などのオブジェクトを検出し、このオブジェクトとオブジェクトの近くに描かれた付加情報とを関連付けることにより、付加情報をオブジェクトの動きに追従させて呈示することが可能になる。
【０１５９】
図１９は第３の実施形態に係る情報記憶検索装置の概略構成を示したもので、図１に示した情報記憶検索装置の構成にさらに、オブジェクト検出部１０を追加したものである。また、図１９のデータ記憶部２には、オブジェクト検出部１０で検出したオブジェクトを記憶する機能を追加し、図１９の関連付け部７にはオブジェクトと付加情報とを関連付ける機能を追加している。
【０１６０】
次に、図１９の情報記憶検索装置の動作について、記憶動作と検索動作とに分けて説明する。
【０１６１】
図２０は、記憶動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１９の概略構成に、記憶動作時のデータの流れの一例を加え、さらに記憶動作時に必要な構成要素のみを抜き出したものである（記憶動作時に関係のない構成要素や情報の流れを点線で示してある）。
【０１６２】
データ入力部１は、第１の実施形態と同様に動画を静止画列として入力するが、第３の実施形態では、例えばＭＰＥＧ４などを用いたオブジェクト情報が埋め込まれた動画像を入力の対象とする。
【０１６３】
図２１は、第１の画面３ａのオブジェクト情報が埋め込まれた動画像の呈示例を示している。図２１に示した動画には、人物像の頭部を表す第１のオブジェクトＯＢＪ１、胴体を表すオブジェクトＯＢＪ２、手の部分を表すオブジェクトＯＢＪ３の情報が埋め込まれている。各オブジェクトの画像は、画面上での表示領域と同じ形の図形の静止画としてデータ記憶部２に入力される。例えば、第１のオブジェクトＯＢＪ１は人物像の頭部の画像と同じ形をした画像として入力され、オブジェクト内部の領域の画素値が「１」、オブジェクト外部の領域の画素値が「０」の静止画として入力される。
【０１６４】
データ入力部１から入力した動画は、第１の実施形態と同様に、動画を構成する各フレーム単位に図２０に示すデータ記憶部２の記憶領域ＭＡ２にそれぞれのフレーム番号の記憶領域ＭＡ１に対応する記憶領域ＭＡ２に記憶される。さらに第３の実施例では、さらに、オブジェクト検出部１０によって動画を構成する各フレーム画像（静止画）に埋め込まれたオブジェクト（オブジェクトの識別子（ＩＤ））を検出し、これをそれぞれのフレーム画像に対応させて記憶領域ＭＡ１１に記憶する。
【０１６５】
例えば、データ記憶部２の記憶内容からフレーム番号「１８２２」のフレーム画像には、オブジェクトＩＤ「７」「８」「９」のオブジェクトを含んでいることがわかる。なお、図２０には表していないが、データ記憶部２の記憶領域ＭＡ１１には、当該フレーム画像から検出されたオブジェクトのＩＤのみに限らず、当該オブジェクトの画像（図２１参照）も記憶するようになっている。
【０１６６】
付加情報は第１の実施形態と同様の方法で入力される。入力された付加情報は関連付け部７によって動画と関連付けられるが、第３の実施形態ではさらに付加情報がどのオブジェクトに対して付加されたのかも関連付ける。
【０１６７】
図２２（ａ）は、第１の画面３ａと第２の画面３ｂに付加情報を入力した際の画面呈示例を示したものである。ここでは、フレーム番号「１８２２」のフレーム画像が第１の画面３ａに呈示されていて、「ＣＨＥＣＫ」という第２の付加情報としての手書き図形と、人物像の手を表すオブジェクトＯＢＪ３を囲む第１の付加情報としての手書きされた円とが引き出し線によって結ばれて関連付けられている。
【０１６８】
図２２（ｂ）は、付加情報とどのオブジェクトとが関連付いているかを判定する方法を説明するための図で、まず、第２の実施形態の変形例として説明した方法と同様にして、付加情報と引き出し線を分離し、フレーム画像に含まれる全てのオブジェクトＯＢＪ１〜ＯＢＪ３の重心ＧＲ（１）、ＧＲ（２）、ＧＲ（３）と動画中に付加された付加情報の重心ＧＲ（０）との距離をそれぞれもと目、その求めた距離が最も小さいオブジェクトが当該付加情報と関連付けられていると判定する。
【０１６９】
図２２（ｂ）の場合、付加情報の重心ＧＲ（０）とオブジェクトＯＢＪ３の重心ＧＲ（３）の間の距離が最も小さいから、当該付加情報はオブジェクＯＢＪ３と関連付ける。
【０１７０】
付加情報と関連付いているオブジェクトＩＤは、図２０に示すように、関連付け部７の記憶領域ＭＡ１２に、当該オブジェクトＩＤと関連付けられているフレーム番号と第１の付加情報ＩＤと第２の付加情報ＩＤとに対応付けて記憶される。
【０１７１】
例えば、図２０に示す関連付け部７の記憶内容からは、フレーム番号「１０５２」のフレーム画像には、第１の付加情報ＩＤが「１」の第１の付加情報と、第２の付加情報ＩＤが「１」の第２の付加情報と、オブジェクトＩＤが「２」のオブジェクトとが関連付けされていることがわかる。
【０１７２】
図２３は、動画の呈示が進んでオブジェクトが移動すると、付加情報変形部６にて、そのオブジェクトに付加した付加情報を当該オブジェクトの移動に追従するように変形して呈示する場合を示したものである。
【０１７３】
付加情報変形部６では、付加情報を変形して、その変形した付加情報を動画に合成して第１の画面３ａに呈示する。付加情報変形部６は、第１の実施形態と同様に第１の画面３ａに呈示する。第１の付加情報については、常に最新に入力された第１の付加情報を選択し、第２の画面３ｂに呈示する第２の付加情報については、それまでに入力された全ての第２の付加情報を選択して、これらを合成した画面を生成するが、その際、第１の画面３ａに呈示する第１の付加情報については、第１の画面３ａの動画のオブジェクトの変化に追従するように変形させてから合成する。また、引き出し線については、第２の実施形態の変形例として説明した方法と同様に、変形した第１の付加情報とそれと関連付けられた第２の付加情報とを結ぶように変形してから合成する。
【０１７４】
第１の付加情報の変形方法としては、次のようなものが考えられる。例えば、フレーム番号「１８２２」のフレーム画像に対し第１の付加情報ＩＤが「２」の第１の付加情報と、第２の付加情報ＩＤが「２」の第２の付加情報と、オブジェクトＩＤ「９」のオブジェクトとが関連付けられた後に、後続のフレーム画像、すなわち、フレーム番号「１８２３」のフレーム画像が入力された場合、フレーム番号「１８２３」のフレームから例えば１００フレーム前までに入力された全てのフレームについて、関連付け部７の記憶領域ＭＡ７を参照することにより関連付けがあるかどうかを検索する。この例の場合、フレーム番号「１８２２」のフレーム画像に関連付けがあったことが検索される。関連付けがある場合には、フレーム番号「１８２３」のフレーム画像に含まれる全てのオブジェクトＩＤについて、関連付け部７の記憶領域ＭＡ１２を参照して、他のフレーム画像に関連付けされているオブジェクトを検索する。この例の場合、オブジェクトＩＤ「９」のオブジェクトが検索される。このとき検索された各オブジェクトについて、それと関連付けられた第１の付加情報を変形する。
【０１７５】
第１の付加情報の変形は、当該第１の付加情報の関連付けられたオブジェクトの位置の変化を右方向にＭｘドット、下方向にＭｙドット、すなわち（Ｍｘ、Ｍｙ）とすると、当該第１の付加情報も（Ｍｘ、Ｍｙ）移動することにより生成する。オブジェクトの位置はデータ記憶部２の記憶領域ＭＡ１１に記憶されているのでこれを参照することにより行う。この例では、オブジェクトＯＢＪ３は、フレーム番号「１８２２」のフレーム画像とフレーム番号「１８２３」のフレーム画像との間で（１５、２）移動したとすると、関連付けはフレーム番号「１８２２」のフレーム画像で行われ、最新のフレーム画像はフレーム番号「１８２３」であるから、第１の付加情報ＩＤが「２」の第１の付加情報も（１５、２）移動させる。
【０１７６】
第１の付加情報を動画中のオブジェクトに追従して呈示する以外は第１の実施形態と同様であるので、ここでは説明を省略する。
【０１７７】
検索動作時には、第１の実施形態と同様である。検索された動画の呈示は、第１の付加情報を動画中のオブジェクトに追従して呈示する以外は第１の実施形態と同様の方法で行う。
（効果）
動画中のオブジェクトが変形したとしても、そのオブジェクトに対して付加された付加情報をオブジェクトの変形に追従して変形して呈示することができる。
（オブジェクトの変化）
上記第３の実施形態では、オブジェクトの移動に追従して付加情報を変形する場合についえ説明したが、付加情報の変形が追従するオブジェクトの変化は、この場合に限らない。例えば、図２４に示すように、人物像の頭部画像のオブジェクトの大きさが変化した場合（図２４（ａ）〜（ｃ）参照）、これに付加された付加情報としての丸印と「A」という手書き図形との大きさを当該オブジェクトの大きさに追従して変化させても良い。
（オブジェクトの検出）
上記第３の実施形態では、ＭＰＥＧ４のフォーマットでオブジェクトは動画の中に含まれて入力されたが、オブジェクトを含まない動画を入力して、オブジェクト検出部１０にて、当該動画からオブジェクトを検出しても良い。オブジェクトの検出方法は、本発明の要旨ではないので、説明は省略する。
【０１７８】
【発明の効果】
動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図２】図１の情報記憶検索装置の概略的な処理動作を示したフローチャート。
【図３】記憶動作を説明するための情報記憶検索装置の構成を示した図。
【図４】記憶動作の処理動作を説明するためのフローチャート。
【図５】第１の画面上における第１の付加情報の呈示例を示した図、所定時間経過したら当該第１の付加情報は消去される場合を示している。
【図６】検索動作を説明するための情報記憶検索装置の構成を示した図。
【図７】検索動作の処理動作を説明するためのフローチャート。
【図８】検索動作時における画面の呈示例を示したもので、（ａ）図は検索開始時、（ｂ）図は検索結果の呈示例を示した図。
【図９】第１の画面と第２の画面とが連続しておらず、分離した別個のものである場合を示した図で、（ａ）図は第２の画面に背景画像がない場合、（ｂ）図は第２の画面に背景画像として静止画あるいは動画が呈示されている場合を示している。
【図１０】第１の付加情報の他の変形例を示した図。
【図１１】本発明の第２の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図１２】記憶動作時の第１の画面、第２の画面、第３の画面による動画と付加情報の呈示例を示した図。
【図１３】引き出し線の検出処理を説明するためのフローチャート。
【図１４】検索動作時における画面の呈示例を示したもので、（ａ）図は検索開始時、（ｂ）図は検索結果の呈示例を示した図。
【図１５】引き出し線を第１の画面に呈示される第１の付加情報の移動に伴って移動させた場合の呈示例を示した図。
【図１６】二重線の引き出し線が入力されたことを識別する方法を説明するための図。
【図１７】（ａ）図は、引き出し線の種類を識別する方法を説明するための図で、（ｂ）図および（ｃ）図は引き出し線に付加する付加情報の識別方法を説明するための図。
【図１８】既に入力された付加情報に後から引き出し線を付け加えて関連付けを行う場合について説明するための図。
【図１９】本発明の第３の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図２０】記憶動作を説明するための情報記憶検索装置の構成を示した図。
【図２１】動画中から検出されるオブジェクトについて説明するための図。
【図２２】オブジェクトと付加情報との関連付けについて説明するための図。
【図２３】動画の呈示が進んでオブジェクトが移動すると、付加情報変形部にて、そのオブジェクトに付加した付加情報を当該オブジェクトの移動に追従するように変形して呈示する場合を示した図。
【図２４】オブジェクトの変化に伴う当該オブジェクトに関連付けられた付加情報の変形例を示した図。
【符号の説明】
１…データ入力部
２…データ記憶部
３…呈示部（３ａ…第１の画面、３ｂ…第２の画面、３ｃ…第３の画面）
４…付加情報入力部
５…付加情報記憶部
６…付加情報変形部
７…関連付け部
８…検索部
１０…オブジェクト検出部
【発明の属する技術分野】
本発明は、動画などの時間の経過に伴って変化する時系列データを記憶するとともに、当該時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの内容に関する説明としての役割との２役を同時に果たす付加情報の付加することのできる情報記憶検索方法およびそれを用いた情報記憶検索装置に関する。
【０００２】
【従来の技術】
動画などの時間の経過に伴って変化する時系列データは、全体を一度に一覧することができず、時系列データの特定部分を検索することは一般的に難しかった。ここでは、時系列データとして例えば動画を例にとり、動画にユーザが注釈としての付加情報を付加して、その注釈を用いた動画検索を行う場合を考える。
【０００３】
注釈を用いた動画検索とは、動画を入力しながら同時に注釈も入力し、注釈とその注釈が入力されたときに入力された動画とを対応付けて記憶し、検索時には注釈を検索キーとして用いて指定することにより、指定された注釈と関連付けられた動画を頭出しするものである。
【０００４】
従来の注釈を用いた動画検索方法は、以下のように分類できる。
・別画面型（注釈を動画の表示画面外に入力する方法）
・同一画面型（注釈を動画の表示画面内に入力する方法）
別画面型は、動画を表示する画面と注釈を入力する画面とが異なる動画検索方法である。この別画面型の例として、特開平第６−１７６１７１号に記載された「データアクセスシステム」が挙げられる。この装置では、ビデオを記録しながらノートパッドコンピュータでノートを取る。記録のときに、ノートの各要素と、ビデオデータの各フレームとに、共通の時刻で刻印しておく。検索時には、ユーザはノートパッドコンピュータ上に表示されたノートを一覧してクリックなどの簡単な操作で指定することにより、そのノートに刻印された時刻と同じ時刻が刻印されたビデオデータを検索して頭出して再生することができる。
【０００５】
別画面型は、注釈をひとつの画面上で一覧でき、さらに注釈が動画の内容を良く表すものであれば、注釈と対応付けられた動画を容易に類推することができるため、ユーザは容易に動画を検索できるという利点がある。しかし、注釈を取る画面は動画が表示される画面と別の画面であるため、動画が表示された画面の中の特定部分を指し示す注釈を入力することができないという問題があった。
【０００６】
同一画面型は、動画を表示する画面と注釈を入力する画面とが同一の動画検索方法である。この同一画面型の例として、特願平成第１０−２８２５０号に記載の「インテリジェントビデオカメラ及びインテリジェントスチルカメラ」が挙げられる。この装置では、動画の記録中にその表示画面上に手書き文字などの注釈を入力する。記録のときに、注釈の各要素とそれらが入力されたときに記録されていた動画のフレーム番号とを対応付けてテーブルに記憶しておく。検索時には、装置は注釈の各要素と対応付けられた動画のフレームを代表画面として一覧表示し、ユーザはこの一覧を見ることにより検索したい動画の特定部分を簡単に検索することができる。一覧された動画のフレームのひとつをユーザが指定すると、注釈が入力されたときの動画を頭出しして再生する。
【０００７】
同一画面型は、動画の代表画面の中に注釈を入力できるため、動画の表示された画面の特定の部分を指し示す注釈を入力することができるという利点がある。
【０００８】
しかし、検索キーとして用いる代表画面を一覧表示するため、代表画面が多くなると一覧表で表示する代表画面の数も多くなり、代表画面を選択するユーザの負担が大きくなるという問題があった。
【０００９】
【発明が解決しようとする課題】
このように、従来の注釈を用いた動画検索では、別画面型のような動画の検索キーとしての役割と、同一画面型のような動画中の特定部分を指し示す注釈の役割との２役を同時に果たす付加情報を入力できなかった。
【００１０】
そこで、本発明は、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる情報記憶検索方法およびそれを用いた情報記憶検索装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
１）本発明の情報記憶検索方法は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該第１の画面に呈示された時系列データに関連付ける第２の付加情報を、該時系列データに関連付けて記憶手段に記憶し、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索して呈示し、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示することを特徴とする。
【００１２】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００１３】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００１４】
前記第１の付加情報と前記第２の付加情報とを結ぶ引き出し線を検出し、前記検出された引き出し線を前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００１５】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００１６】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００１７】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００１８】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００１９】
前記第１の付加情報と前記第２の付加情報とを結ぶ前記第３の画面にまたがって入力された引き出し線を検出し、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００２０】
前記時系列データからオブジェクトを検出し、この検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００２１】
３）本発明の情報記憶検索装置は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報とを該時系列データに関連付けて記憶する記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索し呈示する検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示する第１の付加情報呈示手段と、を具備したことを特徴とする。
【００２２】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００２３】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００２４】
前記第１の付加情報と前記第２の付加情報とを結ぶ引き出し線を検出する検出手段と、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００２５】
前記時系列データからオブジェクトを検出するオブジェクト検出手段をさらに具備し、前記変形手段は、このオブジェクト検出手段で検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００２６】
４）本発明の情報記憶検索装置は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報と、前記第１および第２の画面とは別個の第３の画面に入力された該時系列データに関連付ける第３の付加情報とを該時系列データに関連付けて記憶する記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報および前記第３の付加情報とを前記記憶手段から検索し呈示する検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示する第１の付加情報呈示手段と、を具備したことを特徴とする。
【００２７】
本発明によれば、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００２８】
ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００２９】
前記第２の画面には、前記第１の画面に呈示する時系列データとは異なる時系列データあるいは静止画を呈示することを特徴とする。
【００３０】
前記第１の付加情報と前記第２の付加情報とを結ぶ前記第３の画面にまたがって入力された引き出し線を検出する検出手段と、前記検出された引き出し線を、前記第１の画面に呈示された第１の付加情報と前記第２の画面に呈示された第２の付加情報とを結ぶように変形して呈示することを特徴とする。
【００３１】
本発明によれば、付加情報の記憶動作時と、検索結果を呈示する時とで、第１の画面と第２の画面との位置が変わっていても、引き出し線は、関連付けを示すように変形して表示されるため、ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００３２】
前記時系列データからオブジェクトを検出するオブジェクト検出手段をさらに具備し、前記変形手段は、このオブジェクト検出手段で検出されたオブジェクトとの相関関係に基づき前記第１の付加情報を変形することを特徴とする。
【００３３】
５）本発明の記録媒体は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報とを該時系列データに関連付けて記憶させる記憶手段と、前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報とを前記記憶手段から検索し呈示させる検索手段と、前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示させる第１の付加情報呈示手段と、を実行するプログラムを記録した機械読み取り可能な記録媒体であり、本発明によれば、上記手段を、少なくとも時系列データとして例えば動画を入力するためのカメラ（データ入力部）、ディスプレイ装置とその上に重ねられて固定された透明な感圧式タブレットとその上に手書き図形を描くためのペン（呈示部、付加情報入力部）を具備したパーソナルコンピュータに実行させることのできるプログラムとして磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することにより、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００３４】
６）本発明の記録媒体は、時間の経過に伴って変化する時系列データを呈示するための第１の画面に入力された該時系列データに関連付ける第１の付加情報と、該第１の画面とは別個の第２の画面に入力された該時系列データに関連付ける第２の付加情報と、前記第１および第２の画面とは別個の第３の画面に入力された該時系列データに関連付ける第３の付加情報とを該時系列データに関連付けて記憶させる記憶手段と、
前記第２の画面に呈示された第２の付加情報のうち、指定された該第２の付加情報に関連付けられた時系列データおよび前記第１の付加情報および前記第３の付加情報とを前記記憶手段から検索し呈示させる検索手段と、
前記時系列データに関連付けられた前記第１の付加情報を呈示する際には、該時系列データとの相関関係に基づき変形して前記時系列データと合成してから前記第１の画面に呈示させる第１の付加情報呈示手段と、
を実行するプログラムを記録した機械読み取り可能な記録媒体であり、
本発明によれば、上記手段を、少なくとも時系列データとして例えば動画を入力するためのカメラ（データ入力部）、ディスプレイ装置とその上に重ねられて固定された透明な感圧式タブレットとその上に手書き図形を描くためのペン（呈示部、付加情報入力部）を具備したパーソナルコンピュータに実行させることのできるプログラムとして磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することにより、動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【００３５】
また、ユーザは、ディスプレイ装置の画面上に自由に第１の画面と第２の画面とをレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減される。
【００３６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、本発明の情報記憶検索方法を用いた第１の実施形態に係る情報記憶検索装置の概略構成を示したもので、時系列データ（動画、音声等）を入力するデータ入力部１と、データ入力部１から入力された時系列データを記憶するデータ記憶部２と、第１の画面３ａおよび第２の画面３ｂとからなる呈示部３と、呈示部３に呈示された時系列データに付加情報（注釈）を入力するための例えば呈示部３上に設けられたタブレット４ａとポインティングデバイスとしてのペン４ｂとからなる付加情報入力部４と、付加情報入力部４から入力された付加情報を記憶する付加情報記憶部５と、付加情報変形部６と、関連付け部７と、検索部８とから構成される。
【００３７】
データ入力部１は、検索の対象となる動画などの時間の経過とともに変化する時系列データを入力する、例えば、カメラ、テレビ受信機、ビデオ再生機等で構成されている。
【００３８】
第１の画面３ａは、記憶時には、ユーザがデータ入力部１から入力された時系列データをモニタできるようにデータ入力部１から入力した時系列データを呈示し、ユーザが時系列データをモニタしながら、その画面上に設けられたタブレット４ａとペン４ｂとを用いて手書き図形などの付加情報（注釈）を入力できるようになっている。検索時には、ユーザが検索した結果の時系列データを見ることができるように、検索された時系列データと、その上に描かれた付加情報を呈示するようになっている。
【００３９】
第２の画面３ｂは、記憶時には、ユーザが第１の画面３ａに呈示された時系列データをモニタしながら、時系列データを呈示する第１の画面３ａの外に付加情報の入力を可能とするものである。そして、この入力された付加情報を呈示し、検索時には、ユーザが第２の画面３ｂ上に呈示された付加情報のひとつを指定することにより、それと関連付けられた時系列データと、その時系列データ上に描かれた付加情報を第１の画面３ａに呈示するようになっている。
【００４０】
第１の画面３ａと第２の画面３ｂとは、例えば、１つのディスプレイ装置の同じ画面上に設けられている。
【００４１】
付加情報記憶部５は、第１の画面３ａおよび第２の画面３ｂによって入力された付加情報を記憶する。
【００４２】
付加情報変形部６は、第１の画面３ａに入力され呈示された付加情報が第１の画面３ａに呈示される動画の画面が変化しても、邪魔にならないように、例えば、第１の画面３ａに描かれた付加情報を、入力されてから一定時間後に消去するよう変形する。
【００４３】
関連付け部７は、第２の画面３ｂに入力された付加情報が第１の画面３ａに入力された付加情報のうち、どれと同時に入力され、さらに第１の画面３ａに呈示された時系列データのうち、どの時系列データと同時に入力されたかが後から分かるように、これらの関連を記憶し、検索時には、これらの関連を出力するものである。
【００４４】
検索部８は、ユーザが第２の画面３ｂに呈示された付加情報を見て、そのうちのひとつを指定したら、データ記憶部２からその付加情報と関連付けられた時系列データを検索し、また、その上に描かれた付加情報を付加情報記憶部５から検索して、それらを第１の画面３ａに呈示するようになっている。
【００４５】
以下、時系列データとして動画データを例にとり説明する。
【００４６】
第１の画面３ａと第２の画面３ｂの配置方法には、以下のようなものが考えられる。
・ 連続配置（第１の画面と第２の画面とが隣接する）
・ 独立配置（例えば、隣接しない２つの独立のウインドウ）
・ 重なり配置（第１および第２の画面の一部が重なる）
なお、ここでは、図１に示すような第１の画面３ａと第２の画面３ｂとが隣接する連続配置をとりあげて説明する。図１中の白い部分が第１の画面３ａであり、斜線の部分が第２の画面３ｂを表す。
【００４７】
図２は、図１の情報記憶検索装置の概略的な処理動作を示したフローチャートである。情報記憶検索装置の動作は、データ入力部１から入力した動画データや付加情報入力部４から入力した付加情報の記憶動作と、記憶した動画データを検索する検索動作とに大別できる。
【００４８】
例えば、情報記憶検索装置には、記憶動作を開始の指示入力のためのハードウエア的あるいはソフトウエア的なスイッチが所定位置に予め設けられているとする。このスイッチが押されたことを検出して記憶を開始する（ステップＳ１〜ステップＳ２）。
【００４９】
記録の開始が指示されると、データ入力部１は動画の取得を開始し、ユーザは取得された動画を第１の画面３ａでモニタしながら、第１の画面３ａと第２の画面３ｂの上に、付加情報入力部４を用いて手書き図形などの付加情報（注釈）を入力することができる。これら入力された動画と付加情報は関連付け部７で互いに関連付けながらデータ記憶部２、付加情報記憶部５に記憶する。
【００５０】
付加情報変形部６は、第１の画面３ａ上に書き込まれた付加情報を、新しく入力される動画の邪魔にならないように、入力されてから一定時間経過すると第１の画面３ａ上から消去する。一方、第２の画面３ｂ上に書き込まれた付加情報は、そのまま画面上に残る。
【００５１】
ユーザが、例えば、スイッチをもう一度押下することにより記憶動作の終了を指示すると、記憶を終了する。
【００５２】
ユーザが記憶動作の開始を指示しないときは、検索動作の開始可能な状態になる（ステップＳ１、ステップＳ３）。この状態で、ユーザが第２の画面３ｂ上に呈示された付加情報を例えばペン４ｂを用いて選択すると、選択された付加情報と、それと同時に入力された動画を頭出しして、第１の画面３ａ上に再生してユーザに呈示する。
【００５３】
次に、情報記憶検索装置の記憶動作（ステップＳ２）について、詳細に説明する。
【００５４】
図３は、記憶動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１の概略構成に、記憶動作時のデータの流れの一例を加え、さらに、記憶動作時に必要な構成要素のみを抜き出したものである（記憶動作時に関係のない構成要素や情報の流れを点線で示してある）。
【００５５】
データ入力部１は、カメラあるいはテレビ受信機などを用いて動画を入力する。データの入力は、例えば、０．５秒に１回というように、周期的に静止画（フレーム画像）を連続して取り込むことにより行う。各フレーム画像データは、例えばＤ／Ａコンバータで数値化され、数値列としてデータ記憶部２へ出力される。
【００５６】
データ記憶部２は、データ入力部１から出力された動画データを記憶する。データの記憶は、例えば、図３に示すように、フレーム画像を１単位として、入力順にフレーム番号を付されて、データ記憶部２の記憶領域ＭＡ２にフレーム画像の列として記憶される。データ記憶部２の記憶領域ＭＡ１には、各フレーム画像に付されたフレーム番号が、当該フレーム画像に対応して記憶するようになっている。
【００５７】
フレーム番号は、各フレーム画像を一義的に識別できるように、例えば、入力された順番に付される番号である。ここで、フレーム番号Ｃの付されたフレーム画像ＤをＤ（Ｃ）と表すことにすると、図３のデータ記憶部２のＤ（１０５１）からＤ(１０５３）には、左を向いた人が左に移動する動画が記憶され、Ｄ（１８２２）からＤ（１８２３）には、右を向いた人が右に移動する動画が記憶されている。
【００５８】
第１の画面３ａは、例えば、液晶画面の上に、透明な感圧式タブレット４ａを重ねて構成され、データ入力部１から入力された動画が、どのようなものであるかをユーザがモニターして確認できるように、データ記憶部２に記憶された最新のフレーム画像を液晶画面に呈示する。
【００５９】
第１の画面３ａに動画が呈示されている間、ユーザは、第１の画面３ａ上に直接手書き図形などの付加情報を入力すると、その入力された付加情報をリアルタイムで呈示する。すなわち、第１の画面３上のタブレット４ａ上でペン４ｂを用いてその軌跡を入力すると、その軌跡が呈示される。
【００６０】
付加情報の入力は、タブレット４ａとペン４ｂとが接触すると、タブレット４ａが、ペン４ｂがタブレット４ａと接触した場所のタブレット４ａ上の座標値（Ｘ、Ｙ）を発生することにより行う。ペン４ｂがタブレット４ａ上を接触しながら移動すると、座標値が連続して発生する。ペン４ｂがタブレット４ａから離れると、終端値（Ｘｔｍ、Ｙｔｍ）を発生し、一筆書きの区切りが分かるようにする。
【００６１】
第２の画面３ｂも第１の画面３ａと同様な構成で、図３に示すように、第１の画面３ａと隣接して配置される。動画の呈示を行わないこと以外は、第１の画面３ａと同様の動作をする。
【００６２】
これにより、ユーザは第１の画面３ａと第２の画面３ｂとの両方の画面をあたかもひとつの画面であるかのように扱うことができ、例えば動画の呈示される第１の画面３ａから第２の画面３ｂにまたがった連続した付加情報も入力できるようになる。図３では、第１の画面３ａに呈示された人の画像の手の部分を注目すべく付加情報を入力するために、第１の画面３ａに呈示された人の画像の手の部分に「丸印」を書込み、当該動画の外側、すなわち、第２の画面３ｂ上に「ＣＨＥＣＫ」と書込み、それらを第１の画面３ａから第２の画面３ｂにまたがって引き出し線で結んでいる。
【００６３】
付加情報記憶部５は、第１の画面３ａおよび第２の画面３ｂで入力された付加情報を、所定時間毎に入力された付加情報に区切って生成したブロック単位に記憶する。第１の画面３ａ、第２の画面３ｂで、座標値列として入力されたブロック単位の付加情報は、各付加情報を識別するための識別子（ここでは、第１の画面３ａから入力された付加情報を第１の付加情報、その識別子を第１の付加情報ＩＤと呼び、第２の画面３ｂから入力された付加情報を第２の付加情報、その識別子を第２の付加情報ＩＤと呼ぶ）が付されて、図３に示すように、それぞれ付加情報記憶部５の記憶領域ＭＡ３、ＭＡ５に記憶される。記憶領域ＭＡ４には、記憶領域ＭＡ３に記憶された付加情報に対応して、それに付された第１の付加情報ＩＤが記憶され、記憶領域ＭＡ６には、記憶領域ＭＡ５に記憶された付加情報に対応して、それに付された第２の付加情報ＩＤが記憶される。
【００６４】
付加情報記憶部５は、第１の画面３ａ、第２の画面３ｂから座標値が出力される度に、その座標値を記憶領域ＭＡ３、ＭＡ５に順次追加することにより、常に最新の付加情報を記憶する。
【００６５】
この最新の付加情報は、付加情報変化部６を経て、第１の画面３ａ、第２の画面３ｂに呈示されることにより、ユーザは、どのような付加情報を入力したかを確認できるようにする。
【００６６】
付加情報記憶部５は、第１の画面３ａ、第２の画面３ｂのいずれの画面からも、予め定められた時間（Ｔａ秒）、付加情報の入力がない場合には、それまでに入力された付加情報を区切ってブロックを生成する。ブロックの生成は、付加情報を表す座標値列にブロック値（Ｘｂ、Ｙｂ）を追加することにより行い、その生成されたブロック値も付加情報を表すブロック単位の座標値列とともに記憶領域ＭＡ３、ＭＡ５に記憶される。
【００６７】
付加情報変形部６は、第１の画面３ａおよび第２の画面３ｂに呈示する付加情報を呈示する際には、まず、付加情報記憶部５から第１の画面３ａに書き込まれた最新の付加情報を読み出し、同じく付加情報記憶部５から第２の画面３ｂに現時点までに入力された全ての付加情報を読み出して、これらを合成した画面イメージを生成する。
【００６８】
例えば、図３において、第１の付加情報ＩＤ「ＩＤ１」の付された第１の付加情報をＭ１（ＩＤ１）、第２の付加情報ＩＤ「ＩＤ２」の付された第２の付加情報をＭ２（ＩＤ２）と表すことにすると、図３において、記憶領域ＭＡ３から最新の付加情報であるＭ１（２）を選択して読み出し、記憶領域ＭＡ５から現時点までに当該動画に入力された全ての付加情報Ｍ２（１）とＭ２（２）とを読み出し、これらすべてを合成した第１の画面３ａと第２の画面３ｂとにまたがった付加情報の画面イメージＧ１を生成する。
【００６９】
付加情報変形部６は、第１の画面３ａに付加情報Ｍ１（２）がずっと呈示され続けて背景の動画とあまりにも関係のない呈示にならないように、例えば付加情報記憶部５がブロックを生成してから１０秒間だけ、付加情報Ｍ１（２）を選択する。
【００７０】
この様子を図５に示す。図５（ａ）は、付加情報Ｍ１（２）、Ｍ２（２）が入力された直後の第１の画面３ａと第２の画面３ｂとにまたがった画面イメージを示したもので、付加情報変形部６にて付加情報Ｍ１（２）、Ｍ１（１）、Ｍ２（２）を合成して生成された画面イメージを示している。図５（ｂ）はそれからＴｂ秒経過したときの画面の様子を示している。図５（ａ）では、第１の画面３ａ上に、付加情報Ｍ１（２）が呈示されており、これが、人の画像の手の部分を示していることが分かる。しかし、この付加情報を、図５（ｂ）のように動画の入力が進んだときにも呈示すると、（付加情報Ｍ１（２）の位置は移動しないので）手の部分を示すことはできないため、当該付加情報Ｍ１（２）を第１の画面３ａの画面イメージから消去している。
【００７１】
一方、第２の画面３ｂに入力された付加情報は、背景に動画が呈示されないため、図５（ｂ）に示すように、動画がいくら変化しても、付加情報Ｍ２（１）とＭ２（２）の両方を呈示したところで、ユーザは混乱することはない。そこで、付加情報変化部６は、第２の画面３ｂに入力された付加情報については、すべての付加情報が呈示されるように、付加情報記憶部５に記憶された全ての付加情報を選択してイメージを生成して、第２の画面３ｂにそれらを呈示する。
【００７２】
関連付け部７は、データ記憶部２に記憶された動画と、付加情報記憶部５に記憶された付加情報のうち、同時に入力されたもの同士を後で判別できるように関連付ける。この関連付けは、付加情報記憶部５がブロックを生成したときに入力されたフレーム画像のフレーム番号と、第１の画面３ａに入力された付加情報のＩＤ（第１の付加情報ＩＤ）と、第２の画面３ｂに入力された付加情報のＩＤ（第２の付加情報ＩＤ）とを対応付けて、図３に示しように関連付け部７にテーブル形式にて記憶することにより行う。
【００７３】
図３の例では、フレーム番号「１０５２」のフレーム画像と、第１の付加情報ＩＤ「１」の付加情報と、第２の付加情報ＩＤ「１」の付加情報とが同時に入力されたために関連付けられ、同様に、フレーム番号「１８２２」のフレーム画像と、第１の付加情報ＩＤ「２」の付加情報と、第２の付加情報ＩＤ「２」の付加情報とが同時に入力されたために関連つけられていることがわかる。
【００７４】
図４は、以上の記憶動作を示したフローチャートである。
【００７５】
第１の画面３ａ、第２の画面３ｂ上にユーザが付加情報を書込み（ステップＳ１１）、ブロックを生成するための予め定められた時間Ｔａが経過して、付加情報記憶部５に第１の画面３ａおよび第２の画面３ｂ上の付加情報が入力したときは（ステップＳ１２）、当該付加情報を付加情報記憶部５に記憶する（ステップＳ２０）。
【００７６】
付加情報変形部６は、第１の画面３ａに呈示する付加情報として、付加情報記憶部５に記憶された第１の付加情報のうち最新のものを選択してイメージを生成し、第２の画面３ｂに呈示する付加情報として、付加情報記憶部５に記憶された第２の付加情報を全て選択してイメージを生成し、これらを合成して第１の画面３ａおよび第２の画面３ｂに呈示する（ステップＳ２１）。
【００７７】
付加情報記憶部５で次にブロックを生成するまでの時間を計測するための変数ｔ１に「０」を代入して、付加情報が入力された直後であることを設定し、ステップＳ１２へ進む（ステップＳ２２）。以後、変数ｔ１の値を所定時間毎にインクリメントして時間を計測する。但し、第１の実施形態の情報検索装置の起動時のｔ１の初期値は「０」に設定されているものとする。
【００７８】
付加情報が入力されなかった場合は（ステップＳ１２）、ブロック生成を行うかどうかを調べるために、変数ｔ１にて表される時間と時間Ｔａとを比較して調べ（ステップＳ１３）、ｔ１＞Ｔａの場合は、ステップＳ２３へ進み、ブロック生成を行い、そうでない場合は、ステップＳ１４へ進み、動画の入力処理を行う。
【００７９】
付加情報記憶部５が、第１の画面３ａ、第２の画面３ｂに入力された付加情報をそれぞれブロック単位に付加情報ＩＤを付して記憶する（ステップＳ２３〜ステップＳ２４）。
【００８０】
そして、第１の画面３ａに入力された付加情報に関しては、ブロック単位の記憶がなされてから予め定められた時間Ｔｂ秒だけ、第１の画面３ａへの当該付加情報の呈示がなされるように時間を計測するための変数ｔ２に「０」を代入する（ステップＳ２５）。以後、変数ｔ２の値を所定時間毎にインクリメントして時間を計測する。
【００８１】
一方、ステップＳ１３で、ｔ１＞Ｔａでない場合は、ステップＳ１４へ進む。ステップＳ１４では、データ入力部１で動画の入力を行い、データ記憶部２は、入力された動画をフレーム単位にフレーム番号を付して記憶するとともに（ステップＳ１５）、その記憶したフレーム画像を記憶した順に第１の画面３ａに呈示する（ステップＳ１６）。
【００８２】
次に、変数ｔ２と値Ｔｂとを比較して、ブロックが生成されてからＴｂ秒経過したかどうかをチェックする（ステップＳ１７）。ｔ２＞Ｔｂの場合は、ステップＳ２６へ進み、ステップＳ２１で第１の画面３ａに呈示した付加情報を消去し、そうでない場合は、ステップＳ１８へ進む。
【００８３】
ステップＳ１８では、記憶終了を指示するスイッチが押されて、記憶終了の指示があるかどうかを調べ、記憶の終了が指示されていない場合は、ステップＳ１１に戻って、動画および付加情報の入力を継続し、終了する場合は、記憶動作を終了する。
【００８４】
このように、画像記憶時に当該動画を第１の画面３ａに呈示しながら第１の画面３ａおよび第２の画面３ｂ上に付加情報を入力し、その入力した付加情報を当該動画に関連付けて付加情報記憶部５に記憶することにより、後に、付加情報記憶部５に記憶された第２の画面３ｂ上で入力された第２の付加情報を動画検索のための検索キーとして、付加情報記憶部５に記憶された第１の画面３ａおよび第２の画面３ｂ上で入力された付加情報を当該動画の内容に関する注釈として用いることができる。
【００８５】
次に、検索動作（図２のステップＳ３）について、詳細に説明する。
【００８６】
図６は、検索動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１の概略構成に、検索動作時のデータの流れの一例を加え、さらに、検索時に必要な構成要素のみを抜き出したものである（検索動作時に関係のない構成要素や情報の流れを破線で示している）。
【００８７】
図２のステップＳ１で、記憶動作の開始の指示がない場合には、ステップＳ３に進み、検索状態に入る。この状態に入ると、第１の画面３ａには、それまでに入力された全ての付加情報が消去されて呈示され、第２の画面３ｂには、それまでに入力された全ての付加情報が入力されたときのまま残されて呈示される。この様子を図８に示す。図８（ａ）は記憶動作を終了し、検索状態に入ったときの第１の画面３ａ、第２の画面３ｂの呈示例を示している。
【００８８】
まず、ユーザは、第２の画面３ｂに呈示された付加情報を一覧することにより、その付加情報と関連付けられた動画を容易に類推することができる。そして、検索キーとなる付加情報を指定して、その付加情報と同時に入力された、ユーザが検索したい動画、あるいは、第１の画面３ａに入力された付加情報を検索する指示をする。
【００８９】
第２の画面３ｂは、検索動作時には付加情報の指定の働きを兼ねており、付加情報の指定は第２の画面３ｂにペン４ｂを接触させることにより行われる。第２の画面３ｂは、接触した点の当該画面上での座標値（Ｘｓ、Ｙｓ）を検索部８に出力する。図８（ａ）では、座標値（５６、３２）が出力されている様子が示されている。
【００９０】
検索部８は、付加情報指定のための座標値（Ｘｓ、Ｙｓ）を受け取ると、付加情報記憶部５に記憶された、第２の画面３ｂに入力されたすべての第２の付加情報について、（Ｘｓ、Ｙｓ）を含む第２の付加情報を検索し、見つかった場合には、その第２の付加情報のＩＤ（第２の付加情報ＩＤ）を取得する。
【００９１】
図６では、検索部８が、付加情報指定のための座標値（５６、３２）は、第２の画面３ｂに入力された第２の付加情報Ｍ２（２）に含まれることを検索した様子を示している。
【００９２】
当該付加情報指定のための座標値を含む第２の付加情報が見つかったときは、検索部８は、関連付け部７を参照して、当該第２の付加情報と同時に入力された（関連付けられた）動画データのフレーム番号と、第１の画面３ａに入力された第１の付加情報のＩＤとを取得する。すなわち、図６において、関連付け部７に記憶されているテーブルから当該第２の付加情報ＩＤに対応する第１の付加情報ＩＤとフレーム番号とを読取る。この場合、第２の付加情報ＩＤが「２」である第２の付加情報に関連付けられた（同時に入力された）第１の付加情報のＩＤは「２」であり、フレーム画像は、フレーム番号が「１８２２」のものであことがわかる。
【００９３】
一方、当該付加情報指定のための座標値を含む第２の付加情報が見つからなかったときは、検索動作をそのまま終了する。
【００９４】
さて、関連付け部７を検索した結果、フレーム番号（例えば、「１８２２」）が取得されると、検索部８は、データ記憶部２に対して、当該フレーム番号に対応するフレーム画像以降の動画を再生する指示を出し、再生された動画を第１の画面３ａに呈示する。次に、付加情報記憶部５に対して、関連付け部７を検索した結果得られた第１の付加情報ＩＤ（例えば、「２」）に対応する第１の付加情報を動画と同期して第１の画面３ａに呈示する指示を出す。
【００９５】
動画の再生と付加情報の再生とを同期させること以外は、記憶時と同じ方法で呈示する。例えば、フレーム番号「１８２２」のフレーム画像からの動画の再生を始めて時間Ｔｂ秒経過すると、第１の付加情報（第１の付加情報ＩＤ「２」の付加情報）は消去される。
【００９６】
図８（ｂ）は、このようにして検索された動画とその上に付加された付加情報の再生を開始するときの様子を示している。ユーザは、図８（ｂ）に示したような検索結果を見ることによって、第２の画面３ｂに呈示された「ＣＨＥＣＫ」という付加情報が、人の動画と同時に記憶されたこを知ることができると同時に、人の画像の手の部分に付加情報として付加された「丸印」が「ＣＨＥＣＫ」という付加情報（注釈）と関連付けられていることを知ることができる。このように、第２の画面３ａに入力された付加情報が動画のどの部分に対して付加されたのか、を具体的に知ることができる。
【００９７】
図７は、以上の検索動作を示したフローチャートである。
【００９８】
ユーザが第２の画面３ｂから検索キーとなる付加情報を指定して（ステップＳ３１）、付加情報指定のための座標値（Ｘｓ、Ｙｓ）が入力されたら（ステップＳ３２）、ステップＳ３３に進み、検索処理を継続する。
【００９９】
ステップＳ３３では、検索部８は、付加情報記憶部５を検索して、座標値（Ｘｓ、Ｙｓ）を含む第２の付加情報を検索し、検索できたときは（ステップＳ３４）、ステップＳ３５に進み、検索処理を続け、座標値（Ｘｓ、Ｙｓ）を含む第２の付加情報が見つからなかったときは検索処理を終了する。
【０１００】
ステップＳ３５では、検索部８は関連付け部７を参照して、第２の付加情報と関連付けられた（同時に入力された）、第１の付加情報のＩＤと動画のフレーム番号とを取得する。次に、データ記憶部２にこの取得されたフレーム番号以降の動画の再生を指示し（ステップＳ３６）、付加情報記憶部５には、当該動画と同期して、先に取得されたＩＤに対応する第１の付加情報の再生を指示する（ステップＳ３７）。なお、このとき動画を再生する際には、記憶動作時と同様である（ステップＳ３８）。
【０１０１】
このように、検索動作時には、ユーザは動画データの呈示領域外、すなわち第２の画面３ｂに入力された第２の付加情報を検索のための検索キー（インデックス）として用いることにより、それと関連付けられた動画データを容易に検索することができる。また、その付加情報は動画の画面上での位置に関する注釈の意味も持つ。
（効果）
以上に説明したように、上記第１の実施形態によれば、動画の呈示領域（第１の画面３ａ）と連続した画面（第２の画面３ｂ）に、その呈示された動画（フレーム画像）に対し、動画の呈示領域から継ぎ目なく付加情報を付加することができるため、動画に対して検索キー（インデックス）としての役割と動画の内容の注釈との２役を同時にこなす付加情報を付加することが容易に行え、これを基に所望のフレームからの動画を検索することができるようになり、その効果は大きい。
（変形例１：別画面、重なり画面）
上記第１の実施形態では、第１の画面３ａと第２の画面３ｂとは、連続するように設定したが、必ずしもこれに限らず、第１の画面３ａと第２の画面３ｂとの上に同時に付加情報を入力できる画面であれば、どのようなものでも良い。例えば、図９に示すように、第１の画面と第２の画面とが連続しておらず、分離して設けられたものであってもよい。
【０１０２】
第１の画面３ａと第２の画面３ｂとが、連続していない場合、それらの画面は、同じディスプレイ装置に設けられたものに限定されない。例えば、第１の画面３ａは、パトロールの現場などで用いる携帯端末に設けられたディスプレイ装置に設けられ、この第１の画面３ａ上に付加情報が入力されると同時に、当該携帯端末と通信で接続された、センターのコンピュータのディスプレイ装置に設けられた第２の画面３ｂに、別のユーザが付加情報を入力して用いても良い。
【０１０３】
また、上記第１の実施形態で説明した手書き図形の付加情報は、引き出し線が第１の画面３ａと第２の画面３ｂとに渡って連続するように付加されたが、必ずしもこれに限定されない。例えば、第１の画面３ａと第２の画面３ｂとが第１の実施形態で説明した互いに隣接する画面であっても、それぞれの画面に連続しない別々の手書き図形を付加情報として入力し、それらをひとつのブロックとして識別して関連付けても良い。
（第１の付加情報を変形する方法）
上記第１の実施形態では、付加情報変形部６での付加情報の呈示方法として、第１の画面３ａ上の付加情報は、一定時間が経過すると消去されるという常に同じ変形を行わしめ、第２の画面３ｂ上の付加情報は消去することなく呈示するとしたが、必ずしもこれに限らず、第１の画面３ａ上の付加情報と第２の画面３ｂ上の付加情報とが、異なる方法で呈示されれば、その呈示方法は何でも良い。例えば、図１０に示すように、センサデータのトレンド（軌跡）を、時間とともに右から左にスクロールして第１の画面３ａに呈示させ、その上に描かれた付加情報の呈示位置は、この動きに沿って、右から左に移動する変形を行ってもよい。
【０１０４】
図１０では、センサデータは、第１の画面３ａに呈示され、一定の速度で、画面の右から左にスクロールする。図１０（ａ）は、センサデータが第１の画面３ａに呈示され、そこに付加情報が付加される様子を示している。その後、数秒後のセンサデータの呈示と付加情報の呈示の様子を示したものが図１０（ｂ）である。
【０１０５】
図１０（ａ）で、「丸印」の付加情報Ｆ１の呈示位置は、図１０（ｂ）に示すように、センサデータのスクロールと同期して移動するが、図１０（ａ）で付加された、「ＣＨＥＣＫ」という手書き図形の付加情報Ｆ２の表示位置は、第２の画面３ｂに付加されているため移動しない。付加情報変形部６は、このような方法で付加情報を変形しても良い。
【０１０６】
また、ハードウエア的あるいはソフトウエア的なページ切り替えボタンを図１の情報記憶検索装置に設け、このページ切り替えボタンを押すことにより、それまでに入力された付加情報をひとつのページという単位に区切ってまとめ、第２の画面３ｂに入力された注釈を消去しても良い。この場合、ユーザが別個設けられたページめくりボタンを押して、ページを指定することにより、以前に第２の画面３ｂに入力した付加情報を簡単に参照できる。このページ切り替えは、第２の画面３ｂが、入力した付加情報でいっぱいになったときや、入力した付加情報をページで区切りたいときなどに有効である。
（第１の画面上の第１の付加情報から第２の画面の第２の付加情報を検索）
上記第１の実施形態では、第２の画面３ｂ上の第２の付加情報を検索キーとして用いて、第１の画面３ａ上の動画と、その動画上の第１の付加情報を検索したが、検索キーとして用いる付加情報は、これに限定されるものではない。例えば、検索動作時には、まず、データ記憶部２に記憶された動画とそれに関連付けされた第１の付加情報とを第１の画面３ａに同期させながら再生し、その再生中に呈示された第１の付加情報を、第１の実施形態と同様の方法で、ユーザが指定することによって、第２の付加情報を検索するようにしてもよい。
【０１０７】
このような検索動作は、図１０に示したような第１の画面３ａ上の付加情報の呈示位置が背景のセンサデータの動きに沿って移動する場合に有効である。この場合、ユーザが第１の画面３ａに呈示された第１の付加情報をペン４ｂで押してその位置を指定したら、当該指定された第１の付加情報と、それと関連付けられた第２の画面３ｂ上の第２の付加情報とが画面上で連続してひとつの注釈と見えるように、動画と第１の付加情報とを呈示することが望ましい。
（複数画面）
上記第１の実施形態では、第２の画面３ｂの背景は白紙（背景画像がない状態）で用いていたが、必ずしもこれに限定されるものではない。例えば、第２の画面３ｂの背景画像に地図や図面などの、静止画を呈示しても良い。これにより、どちらの画面に描かれた付加情報も、検索キーと図中での注釈との２役を持つことができ、上記第１の実施形態で示した例よりも、１つの付加情報が果たす役割が増え、ユーザは、付加情報の入力、動画検索にかかる負担を、さらに低減させることができる。
【０１０８】
第２の画面３ｂの背景に呈示されるデータは静止画に限らず、動画でも良い。例えば、図９（ｂ）に示すように、第１の画面３ａには動画を、第２の画面３ｂには、例えば、プラントの状態を表す動画が呈示される。プラントの状態を表す動画は、プラントの構成図が描かれ、その上の図形の色が変化したり、点滅したりして、プラントの状態を表すものである。このように、第２の画面３ｂに呈示する背景としての動画は、時系列で変化するデータではあるが、画面上での位置は変化しないため、白紙や静止画の上に付加情報を付加したりするのと同様に、当該付加情報を検索キーとして用いることができる。
【０１０９】
また、第１の画面３ａおよび第２の画面３ｂの両方に動画を呈示しても良い。この場合、第２の画面３ｂに呈示する動画を、例えば再生したり、スクロールバーのようなもので、動画中での位置を移動したりしながら、その上の付加情報を呈示させて、呈示された付加情報と関連付けられた第１の画面３ａに呈示された動画と、その上の付加情報とを検索するといったことが可能になる。
（付加情報の種類）
付加情報は手書きを例にあげたが、これに限定されるものではなく、第１の画面３ａと第２の画面３ｂとに同時に入力できるものであれば何でも良い。例えば、テキストやアイコンを用いても良い。この場合、まず、ペン４ｂをタブレット４ａに接触させて、テキストを入力する位置を決めた後に、キーボードからテキストを入力したり、その位置にアイコンを置いたりする。また、あらかじめ、第２の画面３ｂに呈示されたアイコンなどに、引き出し線で関連付けても良い。
（検索結果の呈示方法）
上記第１の実施形態では、検索結果を呈示するのに、ユーザが指定した第２の画面３ａ上の第２の付加情報と関連付けられた動画と、その上に描かれた第１の付加情報とを、頭出しして同期再生することにより行ったが、検索結果の呈示方法は、これに限定されるものではない。例えば、動画と第１の付加情報を頭出しして静止しても良いし、あるいは、関連付けをより分かりやすく呈示するために、ユーザが指定した第２の画面３ｂ上の第２の付加情報と、検索された結果の第１の付加情報とを、他の付加情報とは別の色で呈示しても良い。このように、検索結果の呈示方法は、ユーザが指定した第２の付加情報と、検索結果の第１の付加情報と、動画との関連が、ユーザに分かるものであればなんでも良い。
（第２の実施形態）
図１１は、本発明の情報記憶検索方法を用いた第２の実施形態に係る情報記憶検索装置の概略構成を示したもので、連続しない分離した画面上にそれぞれ入力した付加情報を引き出し線で結んで、付加情報間の関連を簡単に指定し、かつ、一覧することのできるものである。
【０１１０】
第１の実施形態では、動画の呈示される第１の画面３ａと第２の画面３ｂとの両方に付加情報を付加して関連付け、１つの付加情報が動画の検索キーと動画の内容の注釈との２つの役割を果たすことを可能にするものであった。が、同一のディスプレイ装置の上に、第１の画面３ａと第２の画面３ｂとが連続せずに分離して設けられている場合には、それらの画面上に入力された付加情報の間を引き出し線で結んで関係付けたり、あるいは、関係を示したりすることはできなかった。第２の実施形態に係る情報記憶検索装置は、このような問題を解決するものである。
【０１１１】
なお、図１１において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１１に示す情報記憶検索装置では、第１の画面３ａと第２の画面３ｂは同一のディスプレイ装置の画面上に連続せずに分離して設けられており、この同一のディスプレイ装置の画面に設けられた第１の画面３ａと第２の画面３ｂを含む、例えば、当該ディスプレイ装置の画面全体を覆う引き出し線画面３ｃとを具備し、この引き出し線画面３ｃ上に、第１および第２の画面３ａ、３ｂ上に入力された付加情報を結ぶ引き出し線を入力することを可能にする。これにより、第１および第２の画面３ａ、３ｂが、ディスプレイ装置の画面上のどこに位置していても、引き出し線の入力、呈示が可能になり、ユーザは、第１および第２の画面３ａ、３ｂを当該ディスプレイ装置の画面上に自由にレイアウトする操作も可能となる（そのために、図１１の構成に、さらに、第１の画面３ａ、第２の画面３ｂをディスプレイ装置の画面上に自由にレイアウトするための画面レイアウト部１１を具備していてもよい）。
【０１１２】
引き出し線画面３ｃは、第２の画面３ｂと同様に透明な液晶画面の上に、透明な感圧式タブレットが重ねられて構成され、第１および第２の画面３ａ、３ｂを含むディスプレイ装置の画面全体を覆う画面である。この引き出し線画面３ｃが配置されることにより、図１１に示すように、ユーザは、第１の画面３ａ上の付加情報と第２の画面３ｂ上の付加情報とを引き出し線で結ぶことができるようになる。
【０１１３】
次に、図１１の情報記憶検索装置の動作について、記憶動作と検索動作とに分けて説明する。なお、動画の処理方法については、第１の実施形態と変わらないので、ここでは、それ以外の付加情報の処理についてのみ取り上げて説明する。
【０１１４】
まず、記憶動作時について説明する。
【０１１５】
図１２は、記憶動作時の３つの画面３ａ、３ｂ、３ｃによる動画と付加情報の呈示例を示したものである。図１２（ａ）に示すように、ユーザは、第１、第２の画面３ａ、３ｂに対して、第１の実施形態と同様にして付加情報を入力すればよい。引き出し線画面３ｃ上にも、第１、第２の画面３ａ、３ｂの場合と同様に付加情報（引き出し線画面３ｃ上に入力される付加情報を第３の付加情報と呼ぶ）を座標値列として入力し、その入力された第３の付加情報はＩＤ（第３の付加情報ＩＤ）が付されて付加情報記憶部５に記憶される。
【０１１６】
図１２（ａ）では、第１の画面３ａに、人の動画が呈示されており、その人の画像の手の部分に「丸印」の付加情報が入力され、第２の画面３ｂに、「ＣＨＥＣＫ」という付加情報が入力され、それらの間を引き出し線で結んでいる。このように、第１の画面３ａ、第２の画面３ｂ、引き出し線画面３ｃにまたがって入力された付加情報は、各画面の境界で分離して、第１の画面３ａ内に含まれる部分を第１の付加情報Ｍ１、第２の画面３ｂ内に含まれる部分を第２の付加情報、引き出し線画面３ｃ内に含まれる部分を第３の付加情報と判定する。
【０１１７】
付加情報記憶部５で、ブロックを生成するタイミングは、第１の実施形態では、第１の画面３ａ、第２の画面３ｂの、いずれの画面に対してもＴａ秒の間、付加情報が入力されない場合に行ったが、第２の実施形態では、これらの画面に加えて、引き出し線画面３ｃに付加情報が入力されるかどうかも考慮する。また、このタイミングで生成された第３の付加情報Ｍ３には、第１の付加情報Ｍ１、第２の付加情報Ｍ２と同様に、ブロックが生成されたときに、第１の画面３ａに呈示されていた動画のフレーム画像（およびフレーム番号）をデータ記憶部２に記憶する。
【０１１８】
図１２（ａ）に示した付加情報は、図１２（ｂ）に示すように、各画面の境界で分離されて第１〜第３の付加情報Ｍ１、Ｍ２、Ｍ３が得られる。ここまでは第１の実施形態とほぼ同様であるが、第２の実施形態では、付加情報記憶部５は、第１〜第２の付加情報Ｍ１、Ｍ２から引き出し線を分離して、引き出し線の付加情報（第３の付加情報）Ｍ３’と新たな第１および第２の付加情報Ｍ１’Ｍ２’を生成してから記憶する。例えば、図１２（ｂ）では、付加情報Ｍ１、Ｍ２には、引き出し線の一部である付加情報ｍ３１、ｍ３２が含まれるため、この付加情報ｍ３１、ｍ３２を分離して、図１２（ｃ）に示すように、第１の付加情報Ｍ１から付加情報ｍ３１を除いた部分を新たな第１の付加情報Ｍ１’とし、第２の付加情報Ｍ２から付加情報ｍ３２を除いた部分を新たな第２の付加情報Ｍ２’とし、第３の付加情報Ｍ３に付加情報ｍ３１とｍ３２を加えたものを新たな第３の付加情報Ｍ３’とする。
【０１１９】
引き出し線の検出は、例えば、図１３のフローチャートに示す手順で行う。まず、第１の画面３ａに入力された付加情報Ｍ１を構成するストロークの番号を保持する変数ｎに「１」を代入して初期化し（ステップＳ５１）、ｎ番目のストロークであるＳＲ１（ｎ）が、第１の画面３ａの境界（輪郭）と接するかどうかを調べる（ステップＳ５２）。
【０１２０】
ＳＲ１（ｎ）が第１の画面３ａの輪郭と接する場合は（ステップＳ５３）、ステップＳ５４に進み、処理を継続し、接していない場合は、ステップＳ５６に進み、変数ｎを１つインクリメントして、第１の画面３ａ上の次のストロークについての処理に移行する。
【０１２１】
ステップＳ５４では、ストロークＳＲ１（ｎ）と第１の画面３ａの輪郭との接点Ｐが、引き出し線画面３ｃ上の付加情報である第３の付加情報Ｍ３と隣接するかどうかを調べる。
【０１２２】
接点Ｐが第３の付加情報Ｍ３と隣接する場合は、ステップＳ５８に進み、第２の画面３ｂに入力された付加情報のストロークＳＲ２に対する処理に移行し、接点Ｐが第３の付加情報Ｍ３と隣接しない場合はステップＳ５６に進む。
【０１２３】
以上の処理を第１の画面３ａに入力された付加情報の全てのストロークについて行ったかどうかを、付加情報記憶部５に記憶された次の第１の画面の付加情報を読み取ることにより調べ、読み取れた場合は、ステップＳ５２に戻って、次のストロークについて検索を繰り返し、読み取れなかった場合は、引き出し線検出処理を終了する（ステップＳ５７）。
【０１２４】
さて、ステップＳ５８では、第２の画面３ｂに入力された付加情報の全てのストロークについて、第３の付加情報Ｍ３と隣接するストロークＳＲ２を検索する。ＳＲ２が存在する場合は（ステップＳ５９）、ステップＳ６０へ進み、引き出し線が検出された場合の処理を行い、存在しない場合は、ステップＳ５６に戻る。
【０１２５】
ステップＳ６０では、ＳＲ１（ｎ）を図１２で説明したような第１の画面３ａに入力された引き出し線の一部であるｍ３１とし、ＳＲ２を同じく図１２で説明したような第２の画面３ｂに入力された引き出し線の一部であるｍ３２と判定できるので、結局ｍ３１、ｍ３２、Ｍ３をユーザにより入力された引き出し線として検出し（ステップＳ６１）、この検出された引き出し線を新たな第３の付加情報Ｍ３’とし、処理を終了する。
【０１２６】
第１の実施形態では、第１の画面３ａに入力された付加情報は、ブロックが生成されてからＴｂ秒経過すると、付加情報変形部６によって消去されたが、第２の実施形態では、これに加えて、上記検出された引き出し線も消去される。これにより、記憶動作時に、ディスプレイ装置の画面上で第１の画面３ａ、第２の画面３ｂの位置を移動させても、ユーザは引き出し線を誤って識別することを防ぐことができる。
【０１２７】
なお、記憶動作時のその他の処理（付加情報の記憶動作以外の処理）は、第１の実施形態と同様である。
【０１２８】
次に、検索動作について説明する。
【０１２９】
図１４（ａ）に、検索動作開始時の画面の呈示例を示す。図１４（ａ）では、ディスプレイ装置の画面上における第１および第２の画面３ａ、３ｂの配置位置が、記憶動作時のとき（図１２（ａ）参照）と異なっている。また、図１４（ａ）では、第１の実施形態の場合例と同様に、第１の画面３ａには何も呈示されていない。
【０１３０】
ユーザは、第１の実施形態の場合と同様に、第２の画面３ｂに呈示された第２の付加情報を指定し、第１の画面３ａに、指定された第２の付加情報と関連付けられた動画と第１の付加情報とを呈示する。図１４（ａ）では、ユーザは、手書き図形の「ＣＨＥＣＫ」という付加情報をペン４ｂで指定している（なお、この付加情報は、例えば、図１２（ｃ）で示した付加情報記憶部５に記憶された第２の付加情報Ｍ２’に相当する）。
【０１３１】
検索部８は、第１の実施形態の場合と同様に、第２の付加情報Ｍ２’と関連付けられた動画と第１の付加情報Ｍ１’とを検索して、第１の画面３ａに呈示する。
【０１３２】
第２の実施形態では、さらに、引き出し線の呈示も行う。引き出し線は、ユーザが指定した、第２の画面３ｂ上の第２の付加情報Ｍ２’と、それと関連付けられた、第１の画面３ａ上の第１の付加情報Ｍ１’とを結ぶように呈示される。この様子を図１４（ｂ）に示す。
【０１３３】
引き出し線の呈示方法を、図１４（ｂ）を例にとって説明する。まず、第１の付加情報Ｍ１’を構成する全て座標値について、第２の画面３ｂに最も近いものをｐｄ１として取得する。同様に、第２の付加情報Ｍ２’についても、第１の画面に最も近いものをｐｄ２として取得する。ｐｄ１、ｐｄ２は、それぞれ、第１および第２の画面３ａ、３ｂの座標系での座標値なので、これらを引き出し線画面上での座標系に変換して、ＰＤ１、ＰＤ２を得る。そして、第３の付加情報Ｍ３’の縮尺を変更して、座標値ＰＤ１にて表される位置と座標値ＰＤ２にて表される位置とを結ぶ引き出し線（第３の付加情報Ｍ３’）の画像を生成し、これを引き出し線画面３ｃに呈示する。
【０１３４】
引き出し線画面３ｃは、例えば、第１および第２の画面３ａ、３ｂの上に配置された、液晶画面で構成されるため、引き出し線が、第１、第２の画面と重なった部分もユーザは見ることができる。
【０１３５】
これにより、検索動作時の第１、第２の画面３ａ、３ｂの配置位置が、記憶動作時に第１、第２の付加情報が入力されたときの第１、第２の画面３ａ、３ｂの配置位置とは異なる場合でも、第１および第２の付加情報を結ぶように引き出し線が呈示されるため、ユーザは、一目でどの付加情報とどの付加情報とが関連付いているのかを視覚的に（瞬時に、かつ、容易に）知ることができる。
（効果）
以上説明したように、上記第２の実施形態によれば、連続しない分離した画面上に入力した付加情報の位置関係を引き出し線を用いて視覚的に簡単に関連付けることが可能となり、ユーザが付加情報の関連付けを行う負担が大きく軽減される。
【０１３６】
また、付加情報の記憶動作時と、検索結果を呈示する時とで、画面の位置が変わっていても、引き出し線は、関連付けを示すように変形して表示されるため、ユーザは、ディスプレイ装置の画面上に自由に画面をレイアウトして、付加情報の記憶、検索が行え、ユーザが関連付けを理解する負担が大きく軽減され、その効果は大きい。
（第２の実施形態の変形例：付加情報の入力画面の数の限定）
上記第２の実施形態では、引き出し線にて関連付ける付加情報を入力するための画面は、第１、第２の画面３ａ、３ｂの２つの画面しかなかったが、付加情報を入力する画面は、これに限定されるものではない。例えば、３つ目の付加情報を入力するための第３の画面を設けて、これら３つの画面を引き出し線にて結びつけるようにしてもよい。
【０１３７】
すなわち、第２の実施形態に係る情報記憶検索装置は、時系列データを呈示するとともに付加情報を入力するための少なくとも１つの第１の画面３ａおよび付加情報を入力するための少なくとも１つの第２の画面３ｂと、これらに入力された付加情報を結びつける（関連付ける）引き出し線を入力するための、第１の画面３ａおよび第２の画面３ｂに隣接する少なくとも１つの引き出し線画面３ｃとを持っていればよく、また、第２の画面３ｂにも動画が呈示できるものであってもよい。
（引き出し線の分離方法）
上記第２の実施形態で説明した引き出し線を分離する方法は、図１３に示した処理方法に限定されるものではなく、付加情報と付加情報とを結ぶ引き出し線を分離できるものであれば、どんな方法でも良い。例えば、図１２（ａ）において、引き出し線画面３ｃのみの領域内（第１の画面３ａと第２の画面３ｂと重複しない引き出し線画面３ｃ内の領域）に入力された付加情報Ｍ３のみを引き出し線としてもよい。この場合、付加情報ｍ３１は第１の付加情報Ｍ１として、また、付加情報ｍ３２は第２の付加情報として識別される。
（引き出し線の呈示方法）
上記第２の実施形態では、引き出し線は、第１の画面３ａの付加情報が消去されるときに、一緒に引き出し線画面から消去されたが、第２の画面３ｂの付加情報と同様に、画面上に呈示したままでも良い。
（引き出し線の変形）
前述の第１の実施形態では、引き出し線は変形させなかったが（図１０参照）、上記第２の実施形態と同様の方法で、引き出し線を変形させて、付加情報との関連付けを呈示しても良い。図１５は、このような例を示すものである。例えば、センサデータを呈示する第１の画面３ａ上の第１の付加情報Ｆ１が移動した場合には、移動した第１の付加情報Ｆ１と、第２の画面３ｂ上の第２の付加情報Ｆ２とを結ぶように、図１５に示すように引き出し線Ｆ３を変形して、関連付けをユーザに呈示しても良い。
（引き出し線の種類）
第１および第２の実施形態のいずれにおいても、引き出し線は、第１の画面３ａ上に入力された付加情報と第２の画面３ｂ上に入力された付加情報との間の関連を表すための手段の一例として挙げたもので、必ずしもこれに限定されず複数の種類の引き出し線があっても良い。
【０１３８】
例えば、引き出し線を書き始めてから書き終わるまでの時間が所定時間（Ｔｃ秒）以上かかったら「引き出し線で結ばれたものは等価である」という意味を持たせ、Ｔｃ秒かからなかったら「引き出し線で結ばれたものは等価でない」という意味を持たせることにより、２種類の引き出し線があっても良い。
【０１３９】
この場合、「等価である」ことを表す引き出し線は細い線で表示し、「等価でない」ことを表す引き出し線は太い線で表示することにより、２種類の引き出し線を見分けることも可能になる。
【０１４０】
引き出し線の種類を指定する方法は、上記の方法に限定されず、引き出し線の種類を特定できる方法であれば何でもよい。
【０１４１】
例えば、引き出し線を書くときの筆圧を用いて、筆圧を強く描いたものと弱く描いたものを区別してもよいし、マウスボタンを用いて、右クリックしながら描いたものと左クリックしながら描いたものとクリックしないで描いたものを区別してもよいし、引き出し線の形状の違い（線種）を用いて、一本線、二重線、点線、破線で描いたものを区別してもよい。
【０１４２】
二重線の引き出し線が入力されたことを識別する方法としては、例えば図１６に示すように、１本目に引かれた線の始点座標Ｂ０と２本目に引かれた線の始点座標Ｂ１との距離、１本目に惹かれた線の終点座標Ｅ０と２本目に引かれた線の終点座標Ｅ１との距離がそれぞれ、予め定められた値Ｌ０より小さいときに、これを二重線の引き出し線と識別すればよい。
【０１４３】
さらに、引き出し線の始点位置と終点位置の関係を用いて、引き出し線の種類を指定してもよい。これについて、図１７を参照して説明する。
【０１４４】
図１７（ａ）は、動画の中から２つのフレームＦＬＭ１、ＦＬＭ２を抜き出して、それぞれ同じディスプレイ装置の呈示画面上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１７（ａ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。この動画中ではフレームＦＬＭ１の後にフレームＦＬＭ２が再生されるものとする。図１７（ａ）に示すように、第１の画面３ａ上の第１の付加情報Ｍ１と第２の画面３ｂ上の第２の付加情報Ｍ２とを結ぶ第３の付加情報Ｍ３としての引き出し線が始点Ｂ３から終点Ｅ３に向かって引かれている。この引き出し線を「第１の付加情報Ｍ１から第２の付加情報Ｍ２に値が変化した」という意味を表す種類と区別してもよい。
【０１４５】
この場合、例えば、当該第３の付加情報Ｍ３を入力した直後、あるは検索結果の呈示時に、「Ｍ１からＭ２に値が変化した」という意味を表す種類の引き出し線に、図１７（ａ）に示すような第１の付加情報Ｍ１から第２の付加情報Ｍ２に向かう矢印の形になるように、自動的に矢印の矢尻の画像を付加すると、引き出し線の種類を見分けることも可能になる。
【０１４６】
また、引き出し線を線分として描くのではなく、図１７（ａ）に示す矢印を描いた場合に、矢印を自動的に認識して「Ｍ１からＭ２に値が変化した」のか、「Ｍ２からＭ１に値が変化した」のかを区別しても良い。
（他の引き出し線検出方法）
第１および第２の実施形態のいづれにおいても、引き出し線の識別は、第１の画面３ａ、第２の画面３ｂ、引き出し線画面３ｃが隣接する点におけるストロークの連続状況を見て引き出し線を検出していたが、必ずしもそれに限定されるものではなく、第１および第２の付加情報と第３の付加情報としての引き出し線とを区別できる方法であれば何でもよい。
【０１４７】
例えば、図形認識で直線に近い形状を検出したものを引き出し線とみなしてもよい。
（引き出し線にさらに付加情報を付加する）
上記第１および第２の実施形態では、付加情報は、第１の画面３ａ、第２の画面３ｂに呈示された動画に対して付加されたものであったが、引き出し線に対して付加するものであってもよい。
【０１４８】
例えば、図１７（ｂ）は、第１の画面３ａ上の第１の付加情報Ｍ１と第２の画面３ｂ上の第２の付加情報Ｍ２とを結ぶ第３の付加情報Ｍ３としての引き出し線に対して、引き出し線画面３ｃ上から第４の付加情報Ｍ４を入力した様子を示す。第４の付加情報Ｍ４が第３の付加情報Ｍ３としての引き出し線に対して付加された付加情報であることの識別は、例えば、当該引き出し線の入力が終わってから所定時間（Ｔｄ秒）の間に入力されたストロークを、第３の付加情報Ｍ３としての当該引き出し線に対して付加された付加情報として識別する。
【０１４９】
引き出し線に付加された付加情報の識別方法はこれに限らず、引き出し線に対して付加されたことが識別できる方法であれば何でも良い。
【０１５０】
例えば、第３の付加情報Ｍ３としての引き出し線と第４の付加情報Ｍ４はどちらが先に入力されても構わず、第４の付加情報Ｍ４の入力が終わってからＴｄ秒の間に、第１の画面３ａと第２の画面３ｂに渡って入力されたストローク情報を引き出し線として識別して、これらを関連付けてもよい。また、第１の画面３ａにも第２の画面３ｂにも含まれず、しかも、引き出し線画面３ｃ上の第３の付加情報Ｍ３としての引出し線にも該当しない全てのストローク情報を第４の付加情報として関連付けてもよい。
【０１５１】
また、図１７（ｃ）に示すように、引き出し線画面３ｃ上に、第１の画面３ａにも第２の画面３ｂにも含まれず、しかも、引き出し線画面３ｃ上の第３の付加情報Ｍ３としての引出し線にも該当しない、複数の（例えば２つの）付加情報Ｆ１０、Ｆ１１が入力された場合、第３の付加情報Ｍ３としての引き出し線に最も近い１つのみ（例えば、付加情報Ｆ１０）を当該第３の付加情報Ｍ３としての引き出し線に付加する第４の付加情報Ｍ４であるとみなしてもよい。なお、引き出し線画面３ｃ上の引き出し線以外の付加情報の判別方法としては、例えば、最初のストロークが入力されてからＴｂ秒以上次のストロークの入力がない場合に、それまでに入力されたストロークを１つの付加情報としてまとめ、Ｔｂ秒以上経過した後に新たに入力されたストロークを他の付加情報としてまとめることにより行う。
【０１５２】
引き出し線に付加する第４の付加情報の識別方法としては、上記以外に、当該引き出し線に一番近い付加情報が特定できる方法であればなんでも良い。例えば、引き出し線が入力された時間と最も近い時間に入力された付加情報を第４の付加情報とする方法であってもよいし、付加情報を構成する座標値の重心を求めて、これが引き出し線の重心と最も近いものを第４の付加情報とする方法であってもよい。
（既に入力された付加情報に後から引き出し線で関連付け）
上記第１よび第２の実施形態のいづれにおいても、記憶動作時に付加情報と引き出し線とは同時に入力したが、この場合に限らず、既に入力された付加情報に後から引き出し線を付け加えて関連付けても良い。この場合を図１８を参照して説明する。
【０１５３】
図１８（ａ）、（ｂ）は、動画の中から２つのフレームを抜き出して、それぞれ同じディスプレイ上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１８（ａ）（ｂ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。
【０１５４】
図１８（ａ）に示すように、第１の付加情報Ｍ１と第２の付加情報Ｍ２が既に入力されている状態に、図１８（ｂ）に示すような「Ｍ１とＭ２は等価である」という意味を持つ第３の付加情報Ｍ３としての引き出し線を後から付け加えることにより、当該引き出し線の始点および終点の近くにある第１の付加情報Ｍ１と第２の付加情報Ｍ２とを関連付ける。
【０１５５】
図１８（ｃ）、（ｄ）は、動画の中から２つのフレームを抜き出して、それぞれ同じディスプレイ上に設けられた第１の画面３ａと第２の画面３ｂに呈示した様子を示している。なお、図１８（ｃ）（ｄ）に示す第２の画面３ｂには、第１の画面３ａと同様に背景として動画を呈示するものである。
【０１５６】
図１８（ｃ）に示すように、第１の付加情報Ｍ１と第２の付加情報Ｍ２と第３の付加情報Ｍ３としての引き出し線が既に入力されている状態に、図１８（ｄ）に示すような当該引き出し線に関連付ける第４の付加情報Ｍ４、さらに、第２の画面３ｂ上に新たに第２の付加情報（矢印）を入力してもよい。このように、付加情報を後から追加していくことにより、既に入力してあった引き出し線に意味を追加することもできる。
（第３の実施形態）
次に、情報記憶検索装置が呈示する動画からオブジェクトを検出し、そのオブジェクトに対して付加情報を付加することのできる第３の実施形態について説明する。
【０１５７】
ここで、オブジェクトとは、例えば、ＭＰＥＧ４などで用いるオブジェクト情報であり、動画中の被写体全体、あるいは、被写体の各構成部の１つ１つをいうものとする。
【０１５８】
第１の実施形態および第２の実施形態ともに、付加情報を付加する対象となる動画は詳しくは静止画（フレーム画像）であるため、例えば付加情報を付加した人物像の顔の画像が、付加情報付加後に画面上で大きく動いた場合、当該付加情報が顔の画像に追随できないという問題があった。第３の実施形態ではこのような問題を解決するものである。すなわち、動画から例えば人物像の顔画像などのオブジェクトを検出し、このオブジェクトとオブジェクトの近くに描かれた付加情報とを関連付けることにより、付加情報をオブジェクトの動きに追従させて呈示することが可能になる。
【０１５９】
図１９は第３の実施形態に係る情報記憶検索装置の概略構成を示したもので、図１に示した情報記憶検索装置の構成にさらに、オブジェクト検出部１０を追加したものである。また、図１９のデータ記憶部２には、オブジェクト検出部１０で検出したオブジェクトを記憶する機能を追加し、図１９の関連付け部７にはオブジェクトと付加情報とを関連付ける機能を追加している。
【０１６０】
次に、図１９の情報記憶検索装置の動作について、記憶動作と検索動作とに分けて説明する。
【０１６１】
図２０は、記憶動作を説明するための情報記憶検索装置の構成を詳細に示したもので、図１９の概略構成に、記憶動作時のデータの流れの一例を加え、さらに記憶動作時に必要な構成要素のみを抜き出したものである（記憶動作時に関係のない構成要素や情報の流れを点線で示してある）。
【０１６２】
データ入力部１は、第１の実施形態と同様に動画を静止画列として入力するが、第３の実施形態では、例えばＭＰＥＧ４などを用いたオブジェクト情報が埋め込まれた動画像を入力の対象とする。
【０１６３】
図２１は、第１の画面３ａのオブジェクト情報が埋め込まれた動画像の呈示例を示している。図２１に示した動画には、人物像の頭部を表す第１のオブジェクトＯＢＪ１、胴体を表すオブジェクトＯＢＪ２、手の部分を表すオブジェクトＯＢＪ３の情報が埋め込まれている。各オブジェクトの画像は、画面上での表示領域と同じ形の図形の静止画としてデータ記憶部２に入力される。例えば、第１のオブジェクトＯＢＪ１は人物像の頭部の画像と同じ形をした画像として入力され、オブジェクト内部の領域の画素値が「１」、オブジェクト外部の領域の画素値が「０」の静止画として入力される。
【０１６４】
データ入力部１から入力した動画は、第１の実施形態と同様に、動画を構成する各フレーム単位に図２０に示すデータ記憶部２の記憶領域ＭＡ２にそれぞれのフレーム番号の記憶領域ＭＡ１に対応する記憶領域ＭＡ２に記憶される。さらに第３の実施例では、さらに、オブジェクト検出部１０によって動画を構成する各フレーム画像（静止画）に埋め込まれたオブジェクト（オブジェクトの識別子（ＩＤ））を検出し、これをそれぞれのフレーム画像に対応させて記憶領域ＭＡ１１に記憶する。
【０１６５】
例えば、データ記憶部２の記憶内容からフレーム番号「１８２２」のフレーム画像には、オブジェクトＩＤ「７」「８」「９」のオブジェクトを含んでいることがわかる。なお、図２０には表していないが、データ記憶部２の記憶領域ＭＡ１１には、当該フレーム画像から検出されたオブジェクトのＩＤのみに限らず、当該オブジェクトの画像（図２１参照）も記憶するようになっている。
【０１６６】
付加情報は第１の実施形態と同様の方法で入力される。入力された付加情報は関連付け部７によって動画と関連付けられるが、第３の実施形態ではさらに付加情報がどのオブジェクトに対して付加されたのかも関連付ける。
【０１６７】
図２２（ａ）は、第１の画面３ａと第２の画面３ｂに付加情報を入力した際の画面呈示例を示したものである。ここでは、フレーム番号「１８２２」のフレーム画像が第１の画面３ａに呈示されていて、「ＣＨＥＣＫ」という第２の付加情報としての手書き図形と、人物像の手を表すオブジェクトＯＢＪ３を囲む第１の付加情報としての手書きされた円とが引き出し線によって結ばれて関連付けられている。
【０１６８】
図２２（ｂ）は、付加情報とどのオブジェクトとが関連付いているかを判定する方法を説明するための図で、まず、第２の実施形態の変形例として説明した方法と同様にして、付加情報と引き出し線を分離し、フレーム画像に含まれる全てのオブジェクトＯＢＪ１〜ＯＢＪ３の重心ＧＲ（１）、ＧＲ（２）、ＧＲ（３）と動画中に付加された付加情報の重心ＧＲ（０）との距離をそれぞれもと目、その求めた距離が最も小さいオブジェクトが当該付加情報と関連付けられていると判定する。
【０１６９】
図２２（ｂ）の場合、付加情報の重心ＧＲ（０）とオブジェクトＯＢＪ３の重心ＧＲ（３）の間の距離が最も小さいから、当該付加情報はオブジェクＯＢＪ３と関連付ける。
【０１７０】
付加情報と関連付いているオブジェクトＩＤは、図２０に示すように、関連付け部７の記憶領域ＭＡ１２に、当該オブジェクトＩＤと関連付けられているフレーム番号と第１の付加情報ＩＤと第２の付加情報ＩＤとに対応付けて記憶される。
【０１７１】
例えば、図２０に示す関連付け部７の記憶内容からは、フレーム番号「１０５２」のフレーム画像には、第１の付加情報ＩＤが「１」の第１の付加情報と、第２の付加情報ＩＤが「１」の第２の付加情報と、オブジェクトＩＤが「２」のオブジェクトとが関連付けされていることがわかる。
【０１７２】
図２３は、動画の呈示が進んでオブジェクトが移動すると、付加情報変形部６にて、そのオブジェクトに付加した付加情報を当該オブジェクトの移動に追従するように変形して呈示する場合を示したものである。
【０１７３】
付加情報変形部６では、付加情報を変形して、その変形した付加情報を動画に合成して第１の画面３ａに呈示する。付加情報変形部６は、第１の実施形態と同様に第１の画面３ａに呈示する。第１の付加情報については、常に最新に入力された第１の付加情報を選択し、第２の画面３ｂに呈示する第２の付加情報については、それまでに入力された全ての第２の付加情報を選択して、これらを合成した画面を生成するが、その際、第１の画面３ａに呈示する第１の付加情報については、第１の画面３ａの動画のオブジェクトの変化に追従するように変形させてから合成する。また、引き出し線については、第２の実施形態の変形例として説明した方法と同様に、変形した第１の付加情報とそれと関連付けられた第２の付加情報とを結ぶように変形してから合成する。
【０１７４】
第１の付加情報の変形方法としては、次のようなものが考えられる。例えば、フレーム番号「１８２２」のフレーム画像に対し第１の付加情報ＩＤが「２」の第１の付加情報と、第２の付加情報ＩＤが「２」の第２の付加情報と、オブジェクトＩＤ「９」のオブジェクトとが関連付けられた後に、後続のフレーム画像、すなわち、フレーム番号「１８２３」のフレーム画像が入力された場合、フレーム番号「１８２３」のフレームから例えば１００フレーム前までに入力された全てのフレームについて、関連付け部７の記憶領域ＭＡ７を参照することにより関連付けがあるかどうかを検索する。この例の場合、フレーム番号「１８２２」のフレーム画像に関連付けがあったことが検索される。関連付けがある場合には、フレーム番号「１８２３」のフレーム画像に含まれる全てのオブジェクトＩＤについて、関連付け部７の記憶領域ＭＡ１２を参照して、他のフレーム画像に関連付けされているオブジェクトを検索する。この例の場合、オブジェクトＩＤ「９」のオブジェクトが検索される。このとき検索された各オブジェクトについて、それと関連付けられた第１の付加情報を変形する。
【０１７５】
第１の付加情報の変形は、当該第１の付加情報の関連付けられたオブジェクトの位置の変化を右方向にＭｘドット、下方向にＭｙドット、すなわち（Ｍｘ、Ｍｙ）とすると、当該第１の付加情報も（Ｍｘ、Ｍｙ）移動することにより生成する。オブジェクトの位置はデータ記憶部２の記憶領域ＭＡ１１に記憶されているのでこれを参照することにより行う。この例では、オブジェクトＯＢＪ３は、フレーム番号「１８２２」のフレーム画像とフレーム番号「１８２３」のフレーム画像との間で（１５、２）移動したとすると、関連付けはフレーム番号「１８２２」のフレーム画像で行われ、最新のフレーム画像はフレーム番号「１８２３」であるから、第１の付加情報ＩＤが「２」の第１の付加情報も（１５、２）移動させる。
【０１７６】
第１の付加情報を動画中のオブジェクトに追従して呈示する以外は第１の実施形態と同様であるので、ここでは説明を省略する。
【０１７７】
検索動作時には、第１の実施形態と同様である。検索された動画の呈示は、第１の付加情報を動画中のオブジェクトに追従して呈示する以外は第１の実施形態と同様の方法で行う。
（効果）
動画中のオブジェクトが変形したとしても、そのオブジェクトに対して付加された付加情報をオブジェクトの変形に追従して変形して呈示することができる。
（オブジェクトの変化）
上記第３の実施形態では、オブジェクトの移動に追従して付加情報を変形する場合についえ説明したが、付加情報の変形が追従するオブジェクトの変化は、この場合に限らない。例えば、図２４に示すように、人物像の頭部画像のオブジェクトの大きさが変化した場合（図２４（ａ）〜（ｃ）参照）、これに付加された付加情報としての丸印と「A」という手書き図形との大きさを当該オブジェクトの大きさに追従して変化させても良い。
（オブジェクトの検出）
上記第３の実施形態では、ＭＰＥＧ４のフォーマットでオブジェクトは動画の中に含まれて入力されたが、オブジェクトを含まない動画を入力して、オブジェクト検出部１０にて、当該動画からオブジェクトを検出しても良い。オブジェクトの検出方法は、本発明の要旨ではないので、説明は省略する。
【０１７８】
【発明の効果】
動画などの時間の経過に伴って変化する時系列データに対して、所望の特定箇所を検索する際の検索キーとしての役割と、時系列データの注釈としての役割の２役を同時に果たす付加情報を容易に付加することができるとともに、これを基に容易に時系列データを検索できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図２】図１の情報記憶検索装置の概略的な処理動作を示したフローチャート。
【図３】記憶動作を説明するための情報記憶検索装置の構成を示した図。
【図４】記憶動作の処理動作を説明するためのフローチャート。
【図５】第１の画面上における第１の付加情報の呈示例を示した図、所定時間経過したら当該第１の付加情報は消去される場合を示している。
【図６】検索動作を説明するための情報記憶検索装置の構成を示した図。
【図７】検索動作の処理動作を説明するためのフローチャート。
【図８】検索動作時における画面の呈示例を示したもので、（ａ）図は検索開始時、（ｂ）図は検索結果の呈示例を示した図。
【図９】第１の画面と第２の画面とが連続しておらず、分離した別個のものである場合を示した図で、（ａ）図は第２の画面に背景画像がない場合、（ｂ）図は第２の画面に背景画像として静止画あるいは動画が呈示されている場合を示している。
【図１０】第１の付加情報の他の変形例を示した図。
【図１１】本発明の第２の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図１２】記憶動作時の第１の画面、第２の画面、第３の画面による動画と付加情報の呈示例を示した図。
【図１３】引き出し線の検出処理を説明するためのフローチャート。
【図１４】検索動作時における画面の呈示例を示したもので、（ａ）図は検索開始時、（ｂ）図は検索結果の呈示例を示した図。
【図１５】引き出し線を第１の画面に呈示される第１の付加情報の移動に伴って移動させた場合の呈示例を示した図。
【図１６】二重線の引き出し線が入力されたことを識別する方法を説明するための図。
【図１７】（ａ）図は、引き出し線の種類を識別する方法を説明するための図で、（ｂ）図および（ｃ）図は引き出し線に付加する付加情報の識別方法を説明するための図。
【図１８】既に入力された付加情報に後から引き出し線を付け加えて関連付けを行う場合について説明するための図。
【図１９】本発明の第３の実施形態に係る情報記憶検索装置の概略的な構成を示した図。
【図２０】記憶動作を説明するための情報記憶検索装置の構成を示した図。
【図２１】動画中から検出されるオブジェクトについて説明するための図。
【図２２】オブジェクトと付加情報との関連付けについて説明するための図。
【図２３】動画の呈示が進んでオブジェクトが移動すると、付加情報変形部にて、そのオブジェクトに付加した付加情報を当該オブジェクトの移動に追従するように変形して呈示する場合を示した図。
【図２４】オブジェクトの変化に伴う当該オブジェクトに関連付けられた付加情報の変形例を示した図。
【符号の説明】
１…データ入力部
２…データ記憶部
３…呈示部（３ａ…第１の画面、３ｂ…第２の画面、３ｃ…第３の画面）
４…付加情報入力部
５…付加情報記憶部
６…付加情報変形部
７…関連付け部
８…検索部
１０…オブジェクト検出部
Claims (20)
- 第１の表示領域と第２の表示領域の配置された表示画面上の書き込みを入力するための入力手段と、
前記入力手段で入力された書き込みを記憶する第１の記憶手段と、
入力された複数のフレーム画像を含む時系列データを記憶する第２の記憶手段と、
制御手段と、
を備えた情報記憶検索装置における情報記憶検索方法において、
前記制御手段が、前記時系列データを前記第１の表示領域に表示する第１のステップと、
前記制御手段が、前記入力手段で入力された、前記第１の表示領域に表示されたフレーム画像に対する注釈としての前記第１の表示領域上の書き込み、及び当該フレーム画像を検索するための検索キーとしての第２の表示領域上の書き込みを当該フレーム画像に関連付けて前記第１の記憶手段に記憶する第２のステップと、
前記制御手段が、前記第１の表示領域上の書き込みが前記第１の表示領域に表示される前記時系列データの移動に同期して移動するように変形する第３のステップと、
前記制御手段が、変形された書き込みを前記第１の表示領域に表示する第４のステップと、
前記制御手段が、検索キーの選択のために、前記第1の記憶手段に記憶された前記第２の表示領域上の各書き込みを前記第２の表示領域に表示する第５のステップと、
前記制御手段が、前記第６のステップで前記第２の表示領域に表示された書き込みの中から選択された書き込みに関連付けられたフレーム画像を検索する第６のステップと、
前記制御手段が、前記第７のステップで検索されたフレーム画像、及び当該フレーム画像に関連付けて前記第１の記憶手段に記憶されている前記第１の表示領域上の書き込みを前記第１の表示領域に表示する第７のステップと、
を有することを特徴とする情報記憶検索方法。 - 前記第１及び第２の表示領域は、隣接して設けられていることを特徴とする請求項１記載の情報記憶検索方法。
- 前記入力手段で入力された前記第１の表示領域上の書き込みを予め定められた時間だけ前記第１の表示領域に表示することを特徴とする請求項１記載の情報記憶検索方法。
- 前記第２の表示領域に、前記第１の表示領域に表示される前記時系列データとは異なる時系列データあるいは静止画が表示されることを特徴とする請求項１記載の情報記憶検索方法。
- 前記制御手段が、前記入力手段で入力された引き出し線を検出するステップをさらに含み、
前記第３のステップは、前記第１の表示領域上の書き込みが前記引き出し線により前記第２の表示領域上の書き込みに接続されたまま、前記第１の表示領域に表示される前記時系列データの移動に同期して移動するように、前記第１の表示領域上の書き込みを変形することを特徴とする請求項２記載の情報記憶検索方法。 - 前記制御手段が、前記入力手段で入力された引き出し線を検出するステップと、
前記制御手段が、前記第１の表示領域上の書き込みと前記第２の表示領域上の書き込みを結ぶように、前記引き出し線を変形するステップと、
前記制御手段が、前記変形された引き出し線を前記表示画面に表示するステップと、
をさらに含むことを特徴とする請求項１記載の情報記憶検索方法。 - 前記制御手段が、前記時系列データから各オブジェクトを検出するステップと、
前記制御手段が、前記入力手段で入力された書き込みの位置と各オブジェクトの位置を基に、当該書き込みに関連するオブジェクトを判定するステップと、
をさらに含み、
前記第３のステップは、前記第１の表示領域に表示される前記オブジェクトとともに移動するように当該オブジェクトに関連する書き込みを変形することを特徴とする請求項１記載の情報記憶検索方法。 - 前記制御手段が、前記時系列データから各オブジェクトを検出するステップと、
前記制御手段が、前記入力手段で入力された書き込みの位置と各オブジェクトの位置を基に、当該書き込みに関連するオブジェクトを判定するステップと、
前記制御手段が、前記第１の表示領域に表示される前記オブジェクトの大きさの変化に合わせて当該オブジェクトに関連する書き込みの大きさを変化させるステップと、
をさらに含むことを特徴とする請求項１記載の情報記憶検索方法。 - 前記表示画面は、前記第１及び第２の表示領域に隣接する第３の表示領域をさらに備え、
前記制御手段が、前記第１の表示領域に表示されたフレーム画像に対し、前記入力手段で入力された前記第３の表示領域上の書き込みを前記フレーム画像に関連付けて前記第１の記憶手段に記憶するステップと、
前記第６のステップで検索されたフレーム画像に関連付けて前記第１の記憶手段に記憶されている前記第３の表示領域上の書き込みを表示するステップと、
をさらに含むことを特徴とする請求項１記載の情報記憶検索方法。 - 第１の表示領域と第２の表示領域の配置された表示画面上の書き込みを入力するための入力手段と、
入力された複数のフレーム画像を含む時系列データを記憶する第１の記憶手段と、
前記時系列データを前記第１の表示領域に表示する第１の制御手段と、
前記第１の表示領域に表示されたフレーム画像に対し前記入力手段で入力された前記第１及び第２の表示領域上の書き込みを、当該フレーム画像に関連付けて記憶する第２の記憶手段と、
前記第１の表示領域上の書き込みが前記第１の表示領域に表示される前記時系列データの移動に同期して移動するように変形する変形手段と、
変形された書き込みを前記第１の表示領域に表示する手段と、
検索キーの選択のために、前記第２の記憶手段に記憶された前記第２の表示領域上の各書き込みを前記第２の表示領域に表示する第２の制御手段と、
前記第３の制御手段で前記第２の表示領域に表示された書き込みの中から選択された書き込みに関連付けられたフレーム画像を検索する検索手段と、
前記検索手段で検索されたフレーム画像、及び当該フレーム画像に関連付けて前記第２の記憶手段に記憶されている前記第１の表示領域上の書き込みを前記第１の表示領域に表示する第３の制御手段と、
を具備したことを特徴とする情報記憶検索装置。 - 前記第１及び第２の表示領域は、隣接して設けられていることを特徴とする請求項１０記載の情報記憶検索装置。
- 前記入力手段で入力された前記第１の表示領域上の書き込みを予め定められた時間だけ前記第１の表示領域に表示することを特徴とする請求項１０記載の情報記憶検索装置。
- 前記第２の表示領域に、前記第１の表示領域に表示される前記時系列データとは異なる時系列データあるいは静止画が表示されることを特徴とする請求項１０記載の情報記憶検索装置。
- 前記入力手段で入力された引き出し線を検出する検出手段をさらに含み、
前記変形手段は、前記第１の表示領域上の書き込みが前記引き出し線により前記第２の表示領域上の書き込みに接続されたまま、前記第１の表示領域に表示される前記時系列データの移動に同期して移動するように、前記第１の表示領域上の書き込みを変形することを特徴とする請求項１０記載の情報記憶検索装置。 - 前記入力手段で入力された引き出し線を検出する検出手段と、
前記第１の表示領域上の書き込みと前記第２の表示領域上の書き込みを結ぶように、前記引き出し線を変形する手段と、
変形された引き出し線を前記表示画面に表示する手段と、
をさらに具備したことを特徴とする請求項１０記載の情報記憶検索装置。 - 前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
前記入力手段で入力された書き込みの位置と各オブジェクトの位置を基に、当該書き込みに関連するオブジェクトを判定する手段と、
をさらに具備し、
前記変形手段は、前記第１の表示領域に表示される前記オブジェクトとともに移動するように当該オブジェクトに関連する書き込みを変形することを特徴とする請求項１０記載の情報記憶検索装置。 - 前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
前記入力手段で入力された書き込みの位置と各オブジェクトの位置を基に、当該書き込みに関連するオブジェクトを判定する手段と、
前記第１の表示領域に表示される前記オブジェクトの大きさの変化に合わせて当該オブジェクトに関連する書き込みの大きさを変化させる第２の変形手段と、
をさらに具備したことを特徴とする請求項１０記載の情報記憶検索装置。 - 前記表示画面は、前記第１及び第２の表示領域に隣接する第３の表示領域をさらに備え、
前記第２の記憶手段は、前記第１の表示領域に表示されたフレーム画像に対し、前記第３の表示領域上の書き込みを前記フレーム画像に関連付けてさらに記憶し、
前記検索手段で検索されたフレーム画像に関連付けて前記第２の記憶手段に記憶されている前記第３の表示領域上の書き込みを表示する第４の制御手段をさらに具備したことを特徴とする請求項１０記載の情報記憶検索装置。 - 第１の表示領域と第２の表示領域の配置された表示画面上の書き込みを入力するための入力手段と、
前記入力手段で入力された書き込みを記憶する第１の記憶手段と、
入力された複数のフレーム画像を含む時系列データを記憶する第２の記憶手段と、
を備えたコンピュータに、
前記時系列データを前記第１の表示領域に表示する第１のステップと、
前記第１の表示領域に表示されたフレーム画像に対し前記入力手段で入力された前記第１及び第２の表示領域上の書き込みを、当該フレーム画像に関連付けて前記第１の記憶手段に記憶する第２のステップと、
前記第１の表示領域上の書き込みが前記第１の表示領域に表示される前記時系列データの移動に同期して移動するように変形する第３のステップと、
変形された書き込みを前記第１の表示領域に表示する第４のステップと、
検索キーの選択のために、前記第1の記憶手段に記憶された前記第２の表示領域上の各書き込みを前記第２の表示領域に表示する第５のステップと、
前記第５のステップで前記第２の表示領域に表示された書き込みの中から選択された書き込みに関連付けられたフレーム画像を検索する第６のステップと、
前記第６のステップで検索されたフレーム画像、及び当該フレーム画像に関連付けて前記第１の記憶手段に記憶されている前記第１の表示領域上の書き込みを前記第１の表示領域に表示する第７のステップと、
を実行させるためのプログラムを記録した機械読み取り可能な記録媒体。 - 前記表示画面は、前記第１及び第２の表示領域に隣接する第３の表示領域をさらに備え、
前記プログラムは、
前記第１の表示領域に表示されたフレーム画像に対し、前記第３の表示領域上の書き込みを前記フレーム画像に関連付けて前記第１の記憶手段に記憶するステップと、
前記第６のステップで検索されたフレーム画像に関連付けて前記第１の記憶手段に記憶されている前記第３の表示領域上の書き込みを表示するステップと、
をさらに含むことを特徴とする請求項１９記載の情報記憶検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36370398A JP3727794B2 (ja) | 1998-12-22 | 1998-12-22 | 情報記憶検索方法および情報記憶検索装置および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36370398A JP3727794B2 (ja) | 1998-12-22 | 1998-12-22 | 情報記憶検索方法および情報記憶検索装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000187664A JP2000187664A (ja) | 2000-07-04 |
| JP3727794B2 true JP3727794B2 (ja) | 2005-12-14 |
Family
ID=18479981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36370398A Expired - Fee Related JP3727794B2 (ja) | 1998-12-22 | 1998-12-22 | 情報記憶検索方法および情報記憶検索装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3727794B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10210159B2 (en) | 2005-04-21 | 2019-02-19 | Oath Inc. | Media object metadata association and ranking |
| US8732175B2 (en) | 2005-04-21 | 2014-05-20 | Yahoo! Inc. | Interestingness ranking of media objects |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3221028B2 (ja) * | 1992-01-29 | 2001-10-22 | 株式会社日立製作所 | 動画像情報のキーワード付与方法 |
| JPH08153120A (ja) * | 1994-11-30 | 1996-06-11 | Fujitsu Ltd | 画像データベース生成方式および画像データベース検索方式 |
-
1998
- 1998-12-22 JP JP36370398A patent/JP3727794B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000187664A (ja) | 2000-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8250490B2 (en) | Display image control apparatus | |
| JP4356762B2 (ja) | 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム | |
| US9465437B2 (en) | Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor | |
| US8760418B2 (en) | Display control apparatus, display control method and display control program | |
| US10073910B2 (en) | System and method for browsing summary image | |
| JP4752897B2 (ja) | 画像処理装置、画像表示方法および画像表示プログラム | |
| US6339431B1 (en) | Information presentation apparatus and method | |
| JP5346941B2 (ja) | データ表示装置、集積回路、データ表示方法、データ表示プログラム及び記録媒体 | |
| US7698658B2 (en) | Display controlling apparatus, display controlling method, and recording medium | |
| US9538116B2 (en) | Relational display of images | |
| JP3171744B2 (ja) | 音声及び動画の検索装置 | |
| US20170243611A1 (en) | Method and system for video editing | |
| JP5889028B2 (ja) | 動画記録装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
| JPH07192118A (ja) | プロセッサ制御システム | |
| JP2011257923A (ja) | 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体 | |
| JPH07168855A (ja) | 情報記録再生装置 | |
| CN110502117B (zh) | 电子终端中的截图方法以及电子终端 | |
| TWI646526B (zh) | 子畫面佈局控制方法和裝置 | |
| JP5329130B2 (ja) | 検索結果表示方法 | |
| JPH07200632A (ja) | 情報処理装置 | |
| JP5826513B2 (ja) | 類似画像検索システム | |
| JP3727794B2 (ja) | 情報記憶検索方法および情報記憶検索装置および記録媒体 | |
| JP2004336466A (ja) | メタデータ登録方法 | |
| WO2020170986A1 (ja) | 情報処理装置、方法及びプログラム | |
| JP6010062B2 (ja) | キューポイント制御装置およびキューポイント制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050929 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081007 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |