WO1999044153A1 - Systeme de recuperation d'informations et systeme de traitement d'informations - Google Patents

Description

明 細 書 情報検索システム及び情報処理システム 技術分野

本発明は、 動画像中の所定の映像を対象と して、 その所定の映像に関 連づけられた関連情報を、 入力部からの指示に基づき検索できるシステ ムである。 背景技術

動画像から関連情報を検索する画像による情報検索システム及び動画 像から関連処理を実行する画像による情報処理システムの例と しては、 特開平 6— 2 2 1 2 4号公報に示されたものがあ り、 これを第 2 4図に 示す。 この第 2 4図は、 従来の情報検索システム及び情報処理システム の構成を示す構成図である。

第 2 4図において、 1 0 はシステムタイ ム管理部であ り、 システムの 時間管理をする。 1 1 は動画像スケジュール管理部であ り、 システム夕 ィム管理部 1 0 に接続される。 この動画像スケジュール管理部 1 1 は、 動画像の開始時間 T s、 開始フ レーム番号 F s、 及びフ レーム表示速度 T f に関する情報を管理する。 1 2は入力指示手段であるマウスである _c 1 3 は入力指示情報出力部であ り、 システムタイ ム管理部 1 0及びマウ ス 1 2 に接続される。 この入力指示情報出力部 1 3 は、 マウス 1 2 によ る指示に基づき。 その指示された指示座標（X i , Y i )及び指示時間 T i 等の情報を出力する。 1 4は該当フ レーム検出部であ り、 動画像スケジ ユール管理部 1 1及び入力指示情報出力部 1 3 に接続される。 この該当 フ レーム検出部 1 4は、 動画像スケジュール管理部 1 1 から出力された 開始時間 T s、 開始フ レーム番号 F s、 及びフ レーム表示速度 T f に関 する情報と、 入力指示情報出力部 1 3から出力された指示時間 T i に関 する情報とに基づき、 該当する フ レーム番号 F i が求められる。 1 5 は アイ コ ン情報管理部であ り、 該当フ レーム検出部 1 4 に接続される。 こ のアイ コ ン情報管理部 1 5 は、 該当フ レーム検出部 1 4から出力された フ レーム番号 F i に基づき、 フ レーム毎のアイ コ ン配置情報とアイ コ ン 処理情報とをもつ。 1 6 はアイ コ ン形成部であ り、 アイ コ ン情報管理部 1 5 に接続される。 1 7 は該当アイ コン検出部であ り、 入力指示情報出 力部 1 3及びアイ コ ン形成部 1 6 に接続される。 この該当アイ コ ン検出 部 1 7 は、 入力指示情報出力部 1 3から出力された指示座標（X i . Y i ) に関する情報と、 1 5はアイ コ ン情報管理部から出力されアイ コ ン形成 部 1 6 を介して入力される当該フ レーム内でのアイ コ ン配置情報とに基 づき、 マウス 1 2 によ り指示されたアイ コ ンを検出する。 この該当アイ コ ン検出部 1 7が所定のアイ コ ンを検出する と、 この該当アイ コ ン検出 部 1 7 は検出された当該アイ コ ンに割 り 当て られた所定の処理管理番号 0 i に関する情報を出力する。 1 8は処理部であ り、 アイ コ ン形成部 1 6 に接続される。 この処理部 1 8は、 該当アイ コ ン検出部 1 7 によ り検 出されアイ コ ン形成部 1 6 を介して入力された処理管理番号 0 i に基づ く 当該アイ コンに対応した処理を行う。

次に、 第 2 4図に示す従来の情報検索システム及び情報処理システム の動作について説明する。 まず、 動画像の動作が開始される。 する と、 動画スケジュール管理部 1 1 は、 システムタイ ム管理部 1 0 によ り通知 されるシステムタイ ムを開始時間 T s と して該当フ レーム検出部 1 4へ 出力する。 また、 動画スケジュール管理部 1 1 は、 動作の開始された動 画像の動画像開始フ レーム番号 F s、 及びその動画像のフ レーム表示速 度 T f に関する情報を該当フ レーム検出部 1 4へ出力する。 次に、 この 従来の情報検索システム及び情報処理システムのユーザが、 マウス 1 2 を用いて、 動画像のある一点を指示した場合、 このマウス 1 2 によ り指 示された指示座標（X i， Y i )に関する情報が、 マウス 1 2から入力指示 情報出力部 1 3へ出力される。 このマウス 1 2 によ り指示された指示座 標（X i . Y i )に関する情報が入力された入力指示情報出力部 1 3は、 指 示座標（X i . Y i )に関する情報が入力された時点のシステムタイ ムを 指示時間 T i と して、 この指示時間 T i に関する情報を該当フ レーム検 出部 1 4へ通知する。 なお、 入力指示情報出力部 1 3 に通知されるシス テムタイ ムは、 システムタイ ム管理部 1 0から通知される。 また、 入力 指示情報出力部 1 3 に入力された指示座標（X i . Y i )に関する情報は， 該当アイ コ ン検出部 1 7へ出力される。 指示時間 T i に関する情報が入 力される該当フ レーム検出部 1 4は、 指示時間 T i、 開始時間 T s .開始 フ レーム番号 F s，及びフ レーム表示速度 T f に関する情報に基づき、 マ ウス 1 2 によ り指示された当該フ レーム番号 F i を検出する。 この該当 フ レーム検出部 1 4によ り検出されたフ レーム番号 F i に関する情報は、 アイ コ ン情報管理部 1 5へ出力される。 このフ レーム番号 F i に関する 情報が入力されるアイ コ ン情報管理部 1 5 は、 入力されたフ レーム番号 F i に関する情報に基づき、 マウス 1 2 によ り指示されう るアイ コ ン配 置情報とアイ コン処理情報とを決定し、 アイ コ ン形成部 1 6へ出力する。 なお、 アイ コ ン配置情報は、 アイ コ ンの配置される座標とそのアイ コ ン に割 り 当て られたアイ コ ン番号とが関連付けられ構成される。 また、 ァ イ コ ン処理情報は、 アイ コ ン番号と、 この当該アイ コ ン番号のアイ コ ン に指定される処理の種類を指定する処理管理番号 0 i とが関連付けられ 構成される。 アイ コ ン情報管理部 1 5から出力されたアイ コ ン配置情報 とアイ コ ン処理情報とが入力されたアイ コ ン形成部 1 6 は、 このアイ コ ン配置情報を該当アイ コ ン検出部 1 7へ出力する。 入力指示情報出力部 1 3 を介してマウス 1 2 によ り指示された指示座標（ X i . Y i )に関す る情報と、 アイ コ ン形成部 1 6 を介してアイ コ ン情報管理部 1 5から出 力されたアイ コ ン配置情報とが入力された該当アイ コ ン検出部 1 7 は、 これらの情報に基づき、 当該アイ コ ン番号を検出 し、 その当該アイ コ ン 番号に関する情報をアイ コ ン形成部 1 6へ出力する。 該当アイ コ ン検出 部 1 7 によ り検出されたアイ コン番号に関する情報が入力されたアイ コ ン形成部 1 6 は、 アイ コ ン情報管理部 1 5 から出力され入力されたアイ コ ン処理情報を参照し、 当該アイ コ ン番号のアイ コ ンに指定される処理 の種類が指定された処理管理番号 0 i を検出 し、 その当該処理管理番号 0 i に関する情報を処理部 1 8へ出力する。 処理部 1 8は、 アイ コ ン形 成部 1 6から入力された処理管理番号 0 i に関する情報に基づき、 所定 の処理を行う。

以上のよ う に、 従来の画像による情報検索システム及び情報処理シス テムでは、 画像中に設けられるアイ コ ンの位置を動画像の各画像フ レー ム每に判別するため、 全ての画像をデジタル化してコ ンピュータに入力 する必要がある。 このため、 上述した従来の情報検索システム及び情報 処理システムでは、 テレ ビ放送や衛星放送やビデオのような リ アルタイ ムの画像から、 任意の画像フ レームを判別し、 その判別されたアイ コ ン に基づ く処理を リアルタイ ムに実施するために、 リ アルタイ ムの映像情 報を非常に高速な処理ス ピー ドをもってコ ンピュータに入力 しなければ ならないという問題があった。

また、 上述した従来の情報検索システム及び情報処理システムでは、 画像中に設けられるアイ コ ンに関する情報を、 全ての画像フ レーム毎に 管理しなければならず、 その管理維持する情報量が莫大なものとなる と いう問題があった。 発明の開示

本発明は、 これらの問題に鑑みなされたものであ り、 管理管理する情 報量が抑え られ、 システム全体の構成が簡素化された情報検索システム 及び情報処理システムを得るこ とを 目的とする。

この目的を達成するために、 この発明にかかる情報検索システムは、 映像情報と映像情報の種類を通知する映像識別情報とを出力する送信手 段と、 映像情報に基づ く映像を出力する表示手段と、 表示手段に出力さ れた映像における任意の位置を指定し、 この指定された位置に基づ く位 置情報を出力する位置指定手段と、 位置情報と映像識別倩報とに基づ く 、 位置指定手段によ り指定された映像に関する関連データを保持するデー 夕保持手段とを有 し、 位置指定手段によ り指定された映像に関する関連 データが表示手段に出力される ものである。

また、 この発明にかかる情報検索システムは、 映像情報と映像倩報の 種類の切り替わ り を通知する映像識別情報と映像識別情報が切 り替わつ てからの経過時間に関する時間情報とを出力する送信手段と、 映像倩報 に基づ く映像を出力する表示手段と、 表示手段に出力された映像におけ る任意の位置を指定し、 この指定された位置に基づ く位置情報を出力す る位置指定手段と、 位置情報と映像識別情報と時間情報とに基づ く、 位 置指定手段によ り指定された映像に関する関連デ一夕を保持するデ一夕 保持手段とを有 し、 位置指定手段によ り指定された映像に関する関連デ —夕が表示手段に出力されるものである。

さ らに、 この発明にかかる情報検索システムは、 映像情報と、 映像情 報の種類を通知する映像識別情報と、 映像識別情報に関する映像情報が 出力されている間に割 り込み挿入された割込情報があるかないかを通知 する指定エリ ア情報とを出力する送信手段と、 映像情報に基づ く 映像を 出力する表示手段と、 表示手段に出力された映像における任意の位置を 指定し、 この指定された位置に基づ く位置情報を出力する位置指定手段 と、 位置情報と映像識別情報と指定エリ ア情報とに基づ く、 位置指定手 段によ り指定された映像に関する関連データを保持するデータ保持手段 とを有し、 位置指定手段によ り指定された映像に関する関連データが表 示手段に出力されるものである。

この発明にかかる情報処理システムは、 映像情報と映像情報の種類を 通知する映像識別情報とを出力する送信手段と、 映像情報に基づ く映像 を出力する表示手段と、 表示手段に出力された映像における任意の位置 を指定し、 この指定された位置に基づ く位置情報を出力する位置指定手 段と、 位置情報と映像識別情報とに基づ く 、 位置指定手段によ り指定さ れた映像に関する関連処理を実行する処理実行手段とを有するものであ る。

また、 この発明にかかる情報処理システムは、 映像情報と映像情報の 種類の切り替わ り を通知する映像識別情報と映像識別情報が切り替わつ てからの経過時間に関する時間情報とを出力する送信手段と、 映像情報 に基づ く映像を出力する表示手段と、 表示手段に出力された映像におけ る任意の位置を指定し、 この指定された位置に基づ く位置情報を出力す る位置指定手段と、 位置情報と映像識別情報と時間情報とに基づ く、 位 置指定手段によ り指定された映像に関する関連処理を実行する処理実行 手段とを有するものである。

さ らに、 この発明にかかる情報処理システムは、 映像情報と、 映像情 報の種類を通知する映像識別情報と、 映像識別情報に関する映像情報が 出力されている間に割 り込み挿入された割込情報があるかないかを通知 する指定エリア情報とを出力する送信手段と、 映像情報に基づ く映像を 出力する表示手段と、 表示手段に出力された映像における任意の位置を 指定し、 この指定された位置に基づ く位置情報を出力する位置指定手段 と、 位置情報と映像識別情報と指定エリ ア情報とに基づ く、 位置指定手 段によ り指定された映像に関する関連処理を実行する処理実行手段とを 有するものである。

この発明にかかる情報検索システム又は情報処理システムは、 送信手 段がら出力される映像情報に対して、 その出力方法を制御する制御手段 を設けたものである。 図面の簡単な説明

第 1 図は、 本発明の実施伊 1 の構成図である。

第 2図は、 本発明の実施伊 1 の映像と通知の関係である。

第 3 図は、 本発明の実施例 1 の関連データの保持形式である。

第 4図は、 本発明の実施伊 2 の構成図である。

第 5図は、 本発明の実施 2 の映像と通知の関係である。

第 6図は、 本発明の実施伊 2の関連データの保持形式である。

第 7 図は、 本発明の実施伊 3 の構成図である。

第 8図は、 本発明の実施伊 3 の映像と通知の関係である。

第 9図は、 本発明の実施例 3の関連データの保持形式である。

第 1 0図は、 本発明の実施例 4の構成図である。

第 1 1 図は、 本発明の実施例 5の構成図である。

第 1 2図は、 本発明の実施例 5の映像と通知の関係である。

第 1 3 図は、 本発明の実施例 6 の構成図である。

第 1 4図は、 本発明の実施例 6の映像と通知の関係である。

第 1 5 図は、 本発明の実施例 7 の構成図である。

第 1 6図は、 本発明の実施例 7 の処理内容の保持形式である。

第 1 7図は、 本発明の実施例 8の構成図である。

第 1 8図は、 本発明の実施例 8の処理内容の保持形式である。 第 1 9図は、 本発明の実施例 9 の構成図である。

第 2 0図は、 本発明の実施例 9 の処理内容の保持形式である。

第 2 1 図は、 本発明の実施例 1 0の構成図である。

第 2 2図は、 本発明の実施例 1 1 の構成図である。

第 2 3図は、 本発明の実施例 1 2 の構成図である。

第 2 4図は、 従来の技術の構成図である。 発明を実施するための最良の形態

次に、 本発明について、 以下の通り 、 実施例を説明する。

実施例 1 - 本発明の画像による情報検索システムの一実施例を、 第 1 図を用いて 説明する。 この第 1 図は、 実施例 1 の情報検索システムの構成を示す構 成図である。 第 1 図において、 2 0 は映像音声送信手段であ り 、 例えば テレビ放送局や通信衛星のように、 映像と音声に関する情報を リ アル夕 ィ ムに出力する。 2 1 は映像音声情報であ り、 映像音声送信手段 2 0 か ら出力される映像と音声に関する情報のこ とである。 2 2は映像識別情 報であ り、 映像音声送信手段 2 0から出力され、 映像音声送信手段 2 0 から出力される映像音声情報 2 1 の種類を識別するための情報である。 2 3は映像開始通知手段であ り、 映像音声送信手段 2 0 に接続される。 この映像開始通知手段 2 3 は映像音声送信手段 2 0 に連動し、 映像音声 送信手段 2 0から映像識別情報 2 2が出力される と共に映像開始信号 2 4を出力 し、 新たな映像の出力が開始されたこ とを通知する。 2 5 は時 間計測手段であ り、 映像開始通知手段 2 3 に接続される。 この時間計測 手段 2 5は、 映像開始通知手段 2 3から出力された映像開始信号 2 4 に 基づき、 時間の計測を開始し、 その計測した時間に基づ く時間情報 2 6 を出力する。 なお、 時間情報 2 6は、 映像開始信号 2 4 とは異なる任意 の時点から時間の計測を開始してもよい。 2 7 は表示手段であ り、 映像 音声送信手段 2 0 に接続される。 この表示手段 2 7 は、 例えばテレ ビの よう に、 映像音声送信手段 2 0から出力された映像音声情報 2 1 に基づ き、 画像を表示し、 音声を出力する。 2 8は位置指定手段であ り、 例え ばコ ンピュータのマウスゃタ ツチパネルのよう に、 この位置指定手段 2 8 を用いるこ とによ り、 本システムのュ一ザは、 表示手段 2 7上の表示 された任意の対象物を指定するこ とができる。 この位置指定手段 2 8 を 用いて表示画面 2上の任意の対象物を指定するこ とによ り、 位置指定手 段 2 8は、指定された対象物の位置（X. Y)に関する位置情報 2 9 を出力す る。 3 0 は端末であ り、 映像音声送信手段 2 0、 時間計測手段 2 5、 位 置指定手段 2 8、 及び表示手段 2 7 に接続される。 この端末 3 0は、 入 力された映像識別情報 2 2、 時間情報 2 6、 及び位置情報 2 9 に基づき、 これらの情報が互いに関連付けられた映像指定情報 3 1 を出力する。 3 2はデータ検索手段であ り、 端末 3 0 に接続される。 このデ一夕検索手 段 3 2 は、 映像の種類、 位置指定手段 2 8 によ り指定された時間、 及び 位置指定手段 2 8 によ り指定された位置とに関する情報が互いに関連付 けられ、 これらの情報と関連データの種類とが関連付けらたテーブルを 有する。 そ して、 このデ一夕検索手段 3 2 には、 映像識別情報 2 2、 時 間情報 2 6、 及び位置情報 2 9が互いに関連付けられた映像指定情報 3 1 が入力される。 これら所定のテーブルと入力された映像指定情報 3 1 とに基づき、 データ検索手段 3 2は、 当該関連データの検索を命ずるデ —夕要求 3 3 を出力する。 3 4はデ一タ保持手段であ り、 データ検索手 段 3 2 に接続される。 このデータ保持手段 3 4 には、 複数種の関連デ一 夕が保持される。 そ して、 デ一夕保持手段 3 4は、 入力されるデータ要 求 3 3 に基づき、 所定の関連データを検索する。 この検索して得られた 関連データ 3 5は、 データ検索手段 3 2 を介して、 端末 3 0へ出力され る。 端末 3 0 に入力された関連データ 3 5は、 この端末 3 0 によ り変換 され、 データ画像情報と して、 表示手段 2 7へ出力される。 3 6 は送信 システムであ り、 映像音声送信手段 2 0、 映像開始通知手段 2 3、 及び 時間計測手段 2 5からなる。 3 7 は受信システムであ り、 表示手段 2 7、 位置指定手段 2 8、 及び端末 3 0からなる。 3 8は記録システムであ り、 データ検索手段 3 2、 及びデータ保持手段からなる。

なお、 表示手段 2 7で、 入力された映像音声情報 2 1 に基づ く 映像が 出力される とき、 その映像音声情報 2 1 に基づ く 映像の表示位置は、 表 示手段 2 7 の仕様に関わらず一定の位置に表示される。

この実施例 1 の情報検索システムでは、 1 つの送信システム 3 6 に複 数の受信システム 3 7 を対応させてもよい。 この場合、 送信システム 3 6の映像音声送信手段 2 0 は、 複数の受信システム 3 7 の各表示手段 2 7 に映像音声情報 2 1 を出力する。 また、 送信システム 3 6 の映像音声 送信手段 2 0は、 複数の受信システム 3 7 の各端末 3 0 に映像識別情報 2 2 を出力する。 さ らに、 送信システム 3 6 の時間計測手段 2 5 は、 複 数の受信システム 3 7 の各端末 3 0 に時間情報 2 6 を出力する。

また、 この実施例 1 の情報検索システムでは、 複数の受信システム 3 7 に 1 つの記録システム 3 8 を対応させてもよい。 この場合、 複数の受 信システム 3 7 の端末 3 0から出力された映像指定情報 3 1 は、 記録シ ステム 3 8のデータ検索手段 3 2で処理され、 所望の関連データ 3 5 を 当該端末 3 0へ出力する。 この記録システム 3 8は、 イ ンターネ ッ トな どのネッ ト ワーク上にあっても、 ある端末 3 0や表示手段 2 7 などと同 一の場所にあっても良い。

関連デ一夕 3 5 と しては、 映像データ若し く は音声デ一夕若し く は文 字デ一タ等が挙げられる。

そ して、 デ一夕保持手段 3 4 に保持されるこの関連デ一夕 3 5 は、 映 像音声送信手段 2 0から当該映像音声情報 2 1 が出力される前段階で、 この映像音声情報 2 1 に基づき作成される。

この映像音声情報 2 1 とは、 複数の部分映像が連続的に繋げられたも のであ り、 この部分映像とは、 内容が異な り、 その出力に要する時間が 数秒から数時間程度である映像情報のこ とである。

映像識別情報 2 2 とは、 その部分映像を識別するための情報である。 これら映像音声情報 2 1 、 映像識別情報 2 2、 及び映像開始信号 2 4 は、 映像音声送信手段 2 0若し く は映像開始通知手段 2 3から、 同時に 出力され、 また電波若し く は電気信号に運ばれ送信される。

次に、 この実施例 1 の情報検索システムにおける映像音声情報 2 1 、 映像識別情報 2 2、 及び映像開始信号 2 4 に基づ く時間情報 2 6 との相 関について、 第 2 図を用いて説明する。 第 2図は、 この実施例 1 の情報 検索システムにおける映像音声情報 2 1 、 映像識別情報 2 2、 及び映像 開始信号 2 4に基づ く時間情報 2 6 との相関について示 した概念図であ る。 第 2 図において、 映像 A、 映像： B、 及び映像 Cは部分映像であ り 、 これら映像 A〜映像 Cは、 連続的に繋げられ映像音声情報 2 1 を構成す る。 そ して、 これら映像 A〜映像 Cが映像音声送信手段 2 0からそれそ れ出力開始される時、 映像 A〜映像 Cそれそれに関する映像識別情報 2 2が映像音声送信手段 2 0から出力される と共に、 映像音声送信手段 2 0 に連動する映像開始通知手段 2 3 から映像開始信号 2 4が出力される。 この映像開始通知手段 2 3から出力される映像開始信号 2 4 に基づき、 時間計測手段 2 5から時間情報 2 6 が、 端末 3 0へ出力される。 この時 間情報 2 6は、 映像開始信号 2 4が出力される度に リセ ッ 卜 されるもの であ り、 T 1 〜 T 4は映像 Aに基づ く 映像開始信号 2 4が出力される と 共に計測が開始される映像 Aに関する相対時間であ り、 T 5 〜 T 6 は映 像 Bに基づ く映像開始信号 2 4が出力される と共に計測が開始される映 像 Bに関する相対時間である。

次に、 この実施例 1 の情報検索システムのデータ検索手段 3 2が有す るテ一ブルについて、 第 3図を用いて説明する。 第 3図は、 この実施例 1 の情報検索システムのデータ検索手段 3 2が有するテ一ブルに関する 概念図である。 第 3 図において、 データ検索手段 3 2が有するテーブル には、 映像音声情報 2 1 を構成する部分映像の種類と、 この部分映像に 関する情報が映像音声送信手段 2 0から出力されはじめてから経過した その経過時間と、 この部分映像に関する情報が映像音声送信手段 2 0 か ら出力されはじめてから所定の経過時間を経過したときに現れるアイ コ ンの位置に関する位置情報と、 この当該アイ コ ンが指定されるこ とによ り 出力される関連デ一夕の種類とが、 互いに関連付けられ記録されてい る。 なお、 デ一夕検索手段 3 2が有するテーブルに記録されるアイ コ ン の位置に関する位置情報は、 表示手段 2 7 の画面を X— Y座標の平面と 見な したその平面の任意の 2点の X— Y座標で指定される。 そ して、 こ れら 2点の X— Y座標を対角線と した長方形が、 当該アイ コ ンの設置位 置となる。 なお、 直線若し く は曲線を示す数式で当該アイ コ ンの領域を 指定してもよい。 また、 画面を ド ッ トの集合と見な し、 その ド ッ トの補 集合で当該アイ コ ンの領域を指定してもよい。 なお、 テーブルに記録さ れる任意の点の X— Y座標は、 表示手段 2 7 の画面上の X— Y座標に対 応するものとする。 また、 任意の部分映像の種類及びこの部分映像に関 する経過時間に対応した、 異なる複数のアイ コ ンの位置に関する位置情 報及びこの当該アイ コ ンによ り指定される関連デ一夕が存在していても よい。 さ らに、 全ての部分映像、 若し く は部分映像が出力されている全 ての時間、 若し く は部分映像が出力されている表示手段 2 7 の全ての位 置に、 関連デ一夕を出力させるためのアイ コ ンを設ける必要はない。 次に、 この実施例 1 の情報検索システムの動作について説明する。 まず、 映像音声情報 2 1 が映像音声送信手段 2 0から出力される。 そ して、 この映像音声送信手段 2 0は、 映像音声情報 2 1 を連続して 表示手段 2 7 に出力する。 この表示手段 2 7 は、 入力された映像音声情 報 2 1 に基づき映像を表示する。 また、 映像音声送信手段 2 0は、 映像 音声情報 2 1 を構成する部分映像に関する情報の区切れを識別するため の映像識別情報 2 2 を端末 3 0 に出力する。 なお、 端末 3 0 に入力され た映像識別情報 2 2は、 端末 3 0で保持される。 映像開始通知手段 2 3 は、 映像音声送信手段 2 0 と連動して動作し、 映像音声情報 2 1 が有す るある部分映像に関する情報の送信が開始されたその時点に、 映像開始 信号 2 4 を時間計測手段 2 5へ出力する。 映像開始信号 2 4が入力され た時間計測手段 2 5は、 映像開始信号 2 4が入力される と共に時間の計 測を開始し、 この時間の計測を開始してからの経過時間を示す時間情報 2 6 を定期的に端末 3 0へ出力する。 次に、 表示手段 2 7 に出力された 任意の映像に関する情報を検索するために、 表示手段 2 7 に表示された 所望の映像の任意の点を、 端末 3 0 に接続された位置指定手段 2 8 を用 いて指定する。 なお、 位置指定手段 2 8 によ り指定される所望の映像の 任意の点とは、 表示手段 2 7 の画面に表示される対象物や文字や図形等 のある一点のこ とを差 し示す。 位置指定手段 2 8は、 表示手段 2 7 に表 示された対象物等に対して、 指定した任意の点の X— Y座標を位置情報 2 9 と して端末 1へ出力する。 位置情報 2 9が入力された端末 3 0は、 この位置情報 2 9 と、 この位置情報 2 9が入力された時点の時間に関す る時間情報 2 6 と、 当該位置情報 2 9が入力された時点で表示手段 2 7 に出力されている映像の種類を識別する映像識別情報 2 2 とを互いに関 連付け、 映像指定情報 3 1 と してデータ検索手段 3 2へ出力する。 そ して、 このデ一夕検索手段 3 2は、 このデータ検索手段 3 2が有す る所定のテ一ブルと入力された映像指定情報 3 1 とを参照する。 この参 照の結果、 データ検索手段 3 2 は、 該当する関連デ一夕の出力を命令す るデ一夕要求 3 3 をデータ保持手段 3 4 に出力する。

このデータ保持手段 3 4は、 入力されたデータ要求 3 3 に基づ く 当該 関連デ一夕 3 5 を出力する。 なお、 データ保持手段 3 4が、 入力された データ要求 3 3 に基づ く 当該関連デ一夕 3 5 を有しない場合には、 この 当該関連データ 3 5 を有 しない旨の情報を関連データ 3 5 と して出力す る。 データ保持手段 3 4から出力された関連デ一夕 3 5 は、 デ一夕検索 手段 3 2 を経て、 端末 3 0 に出力される。 端末 3 0 は、 入力された関連 データ 3 5 を、 表示手段 2 7 に出力可能なデータ画像情報に変換して、 表示手段 2 7へ出力する。 このデ一夕画像情報が入力された表示手段 2 7 は、 入力されたデータ画像情報に基づき、 表示手段 2 7 の画面の一部 または全部に当該関連デ一夕 3 5 に関する情報を表示する。 なお、 位置 指定手段 2 8 によ り指定される点の数は、 1 点だけでな く 2点以上を指 定してもよい。 この位置指定手段 2 8 による複数点の指定でも同様の検 索処理が行われる。

このよ う に、 本実施例の画像による情報検索システムでは、 表示手段 2 7 に表示された任意の対象物の任意の点を位置指定手段 2 8で指定し て、 当該関連データを検索する。 そ して、 このシステムは、 この位置指 定手段 2 8 によ り指定された表示手段 2 7 の X— Y座標である位置情報 2 9 と、 この位置の指定が行われた時刻である時間情報 2 6 とに基づき、 当該関連デ一夕を検索し出力する。 つま り、 従来のシステムでは、 任意 の時間指定に基づき数あるフ レームの中から特定のフ レームを特定し、 その特定されたフ レーム と上述の時間指定に関連する座標指定とによ り 特定のフ レームに設定された当該関連データの出力に関する情報を検出 し、 この当該関連データを出力 していたが、 本システムでは、 任意の時 間指定及びこの時間指定に関する表示手段 2 7 の座標指定に基づき、 当 該関連データが出力されるだけである。

このため、 本システムは、 映像に関する全てのフ レーム情報を持つと いったこ とをせずとも よ く、 つま り莫大な量の情報を保持する必要が無 く な り、 データ検索手段 3 2及びシステム全体を小型化させるこ とが可 能となる。 また、 本システムでは、 特定のフ レームを検出するための演 算処理装置を設ける必要がな く、 システム全体の小型化を図るこ とが容 易となる。 さ らに、 本システムでは、 特定のフ レームを検出するための 演算処理を行う必要がな く 、 当該関連情報の出力までに要する時間を短 縮させるこ とが容易となる。 また、 本システムでは、 任意の時間指定及 びこの時間指定に関する表示手段 2 7 の座標指定が所定の範囲をもって データ検索手段 3 2 のテーブルに設定されているため、 従来のシステム のように、 出力する映像に関する全てのフ レームにそれそれ設定された 関連データの出力の為の情報を持つ必要がな く 、 つま り膨大な量の情報 を保持する必要が無く な り、 データ検索手段 3 2 のテーブル及び/若し く はデータ検索手段 3 2 を簡素化させるこ とが可能となる。

また、 本システムの送信システム 3 6からは、 映像音声情報 2 1 と時 間情報 2 6 とが互いに関連づけられ出力されるため、 一つの送信システ ム 3 6から出力された映像音声情報 2 1及び時間情報 2 6 を、 設置場所 の異なる複数の受信システム 3 7で受信したと しても、 全ての受信シス テム 3 7 で任意の映像に対する関連情報を同様に得るこ とができる。 仮 に、 送信システム 3 6 から映像音声情報 2 1 が出力され、 送信システム 3 6から出力された映像音声情報 2 1 が入力される複数の受信システム 3 7各々で時間情報 2 6 を計算し、 送信システム 3 6から映像音声情報 2 1 が出力され始める時刻と、 受信システム 3 7で時間情報 2 6の計測 を開始する時刻とを同時にする と、 各受信システム 3 7 はその設置位置 によ り映像音声情報 2 1 の入力時間に遅延が生じ、 同 じ画像に対して各 受信システム 3 7で見られる当該画像に関する関連情報が異なる可能性 が出て く る。

実施例 2 .

本発明の画像による情報検索システムの他の実施例について、 第 4図 を用いて説明する。 この第 4図は、 実施例 2 の情報検索システムの構成 を示す構成図である。 なお、 実施例 2 において、 送信システム 3 6は、 映像音声送信手段 2 0からなる。 また、 第 4図において、 第 1 図に示す 実施例 1 と同一又は相当の部分には、 同一 '符号を付 してその説明を省略 した。 次に、 この実施例 2 の情報検索システムにおける映像音声情報 2 1 と映像識別情報 2 2 との相関について、 第 5 図を用いて説明する。 第 5図は、 この実施例 2 の情報検索システムにおける映像音声情報 2 1 と映像識別情報 2 2 との相関について示した概念図である。

第 5図において、 映像 A、 映像 B、 及び映像 Cは部分映像であ り、 こ れら映像 A〜映像 Cは、 連続的に繋げられ映像音声情報 2 1 を構成する p そ して、 これら映像 A〜映像 Cが映像音声送信手段 2 0からそれぞれ 出力開始される時、 映像 A〜映像 Cそれぞれに対応する映像識別情報 2 2が映像音声送信手段 2 0から出力される。

次に、 この実施例 2 の情報検索システムのデータ検索手段 3 2が有す るテーブルについて、 第 6 図を用いて説明する。 第 6図は、 この実施例 2の情報検索システムのデータ検索手段 3 2が有するテ一ブルに関する 概念図である。 第 6 図において、 デ一夕検索手段 3 2が有するテーブル には、 映像音声情報 2 1 を構成する部分映像の種類と、 この部分映像が 出力されているタイ ミ ングで現れるアイ コ ンの位置に関する位置情報と、 この当該アイ コ ンが指定されるこ とによ り 出力される関連データの種類 とが、 互いに関連付けられ記録されている。

次に、 この実施例 2 の情報検索システムの動作について説明する。 まず、 映像音声情報 2 1 が映像音声送信手段 2 0から出力される。 そ して、 この映像音声送信手段 2 0 は、 映像音声情報 2 1 を連続して 表示手段 2 7 に出力する。 この表示手段 2 7 は、 入力された映像音声情 報 2 1 に基づき映像を表示する。 また、 映像音声送信手段 2 0 は、 映像 音声情報 2 1 を構成する部分映像に関する情報の区切れを識別するため の映像識別情報 2 2 を端末 3 0 に出力する。 なお、 端末 3 0 に入力され た映像識別情報 2 2は、 端末 3 0で保持される。

映像音声送信手段 2 0 は、 部分映像若し く は部分映像に関する情報の 送信が開始されたその時点に、 映像識別情報 2 2 を端末 3 0へ出力する。 なお、 端末 3 0 には入力された映像識別情報 2 2が記録され、 その記録 は新たな映像識別情報 2 2が入力される度に更新される。

次に、 表示手段 2 7 に出力された任意の映像に関する情報を検索する ために、 表示手段 2 7 に表示された所望の映像の任意の点を、 端末 3 0 に接続された位置指定手段 2 8 を用いて指定する。 なお、 位置指定手段 2 8 によ り指定される所望の映像の任意の点とは、 表示手段 2 7 の画面 に表示される対象物や文字や図形等のある一点のこ とを差し示す。

位置指定手段 2 8は、 表示手段 2 7 に表示された対象物等に対して、 指定した任意の点の X— Y座標を位置情報 2 9 と して端末 1へ出力する。 位置情報 2 9が入力された端末 3 0は、 この位置情報 2 9 と、 当該位 置情報 2 9が入力された時点で表示手段 2 7 に出力されている映像の種 類を識別する映像識別情報 2 2 とを互いに関連付け、 映像指定情報 3 1 と してデータ検索手段 3 2へ出力する。

なお、 実施例 2の情報検索システムの動作について、 端末 3 0 よ り映 像指定情報 3 1 が出力され、 当該データ画像情報が表示手段 2 7 に出力 されるまでの動作については、 実施例 1 と同様であ りその説明を省略し、 実施例 1の情報検索システムの動作と異なる部分について説明した。 このよ う に、 本実施例の画像による情報検索システムでは、 表示手段 2 7 に出力されている部分映像の種類、 例えば野球中継放送かコマ一シ ャル放送かを検出し、 その当該部分映像における位置情報 2 9 に基づき、 関連デ一夕 3 5若し く はデータ画像情報を検索するため、 当該部分映像 の継続時間が可変であっても、 情報検索システムは正確に関連データ 3 5 を検索し、 表示手段 2 7 に当該データ画像情報を正確に出力するこ と ができる。

実施例 3 .

本発明の画像による情報検索システムの他の実施例について、 第 7 図 を用いて説明する。 この第 7 図は、 実施例 3の情報検索システムの構成 を示す構成図である。

第 7図において、 4 0は指定エリ ア通知手段であ り、 映像音声送信手 段 2 0 に接続される。 この指定エリ ア通知手段 4 0 は映像音声送信手段

2 0 に連動し、 映像音声送信手段 2 0から映像識別情報 2 2が出力され る と共に、 その映像識別情報 2 2の変化に対応した指定エリ ア情報 4 1 を出力 し、 映像のエ リ アの切 り替わ り を端末 3 0 に通知する。

例えば、 野球放送からスポッ ト的に挿入されたコマーシャルに変化す る と指定エリ ア情報 4 1 が指定エリア通知手段 4 0から出力され、 端末

3 0は当該指定エリア情報 4 1 が入力されるこ とによ り、 野球放送から コマーシャルに切り替わつたこ とを検知する。

なお、 実施例 3 において、 送信システム 3 6 は、 映像音声送信手段 2 0、 及び指定エリ ア通知手段 4 0からなる。 また、 第 4図において、 第 1 図に示す実施例 1 と同一又は相当の部分には、 同一符号を付してその 説明を省略し、 第 1 図と相違する部分について説明した。

次に、 この実施例 3 の情報検索システムにおける映像音声情報 2 1 、 映像識別情報 2 2、 及び指定ェ リァ情報 4 1 との相関について、 第 8図 を用いて説明する。 第 8図は、 この実施例 3の情報検索システムにおけ る映像音声情報 2 1 、 映像識別情報 2 2、 及び指定ェリ ァ情報 4 1 との 相関について示した概念図である。

第 8図において、 映像 A、 映像 B、 及び映像 Cは部分映像であ り、 こ れら映像 A〜映像 Cは、 連続的に繋げられ映像音声情報 2 1 を構成する。 そ して、 これら映像 A〜映像 Cが映像音声送信手段 2 0からそれぞれ 出力開始される時、 映像 A〜映像 Cそれそれに対応する映像識別情報 2 2が映像音声送信手段 2 0 から出力される。 また、 任意の部分映像に挿 入された指定エ リ アが映像音声送信手段 2 0から出力される と、 映像音 声送信手段 2 0 に連動する指定エリア通知手段 4 0から当該指定エリ ア に関連付けられた指定エリ ア情報 4 1 が出力される。

なお、 指定エリ アは任意の部分映像に対して指定されても指定されな く てもよ く 、 また指定された場合でも 1 つの指定でも複数の指定でもよ い。 これに合わせて、 指定エリ ア情報 4 1 は、 任意の部分映像の間に出 力されるこ とも出力されないこ ともあ り、 また 1 つ出力される場合も複 数出力される場合もある。

なお、 第 8図中では、 指定エ リア A 1 の映像 Aが出力開始される と き に指定エリ ア情報 A 1 が指定エリ ア通知手段 4 0から出力され、 指定ェ リア A 2の映像 Aが出力開始される ときに指定エリ ア情報 A 2が指定ェ リア通知手段 4 0から出力され、 指定エリ ア A 3 の映像 Bが出力開始さ れる ときに指定エリ ア情報 A 3が指定エリ ア通知手段 4 0 から出力され る例を示している。 なお、 指定エリ ア A 1 の映像 A、 指定エリ ア A 2 の 映像 A、 及び指定エリ ア A 3 の映像 Bそれそれは、 その出力が終了する と、各指定エリア情報の出力が終了 した旨を通知する指定エリ ア情報「ェ リ ア無し」 が指定エ リ ア通知手段 4 0から出力される。

次に、 この実施例 3 の情報検索システムのデ一夕検索手段 3 2が有す るテーブルについて、 第 9 図を用いて説明する。 第 9 図は、 この実施例 3 の情報検索システムのデ一夕検索手段 3 2 が有するテーブルに関する 概念図である。

第 9図において、 デ一夕検索手段 3 2が有するテーブルには、 映像音 声情報 2 1 を構成する部分映像の種類と、 最も近時で確認された指定ェ リ ア情報の有無若し く はその種類と、 この部分映像若し く は指定エリ ア 情報が出力されているタイ ミ ングで現れるアイ コ ンの位置に関する位置 情報と、 この当該アイ コ ンが指定されるこ とによ り 出力される関連デ一 夕の種類とが、 互いに関連付けられ記録されている。

次に、 この実施例 3 の情報検索システムの動作について説明する。 まず、 映像音声情報 2 1 が映像音声送信手段 2 0から出力される。 そ して、 この映像音声送信手段 2 0は、 映像音声情報 2 1 を連続して表示 手段 2 7 に出力する。 この表示手段 2 7は、 入力された映像音声情報 2 1 に基づき映像を表示する。 また、 映像音声送信手段 2 0は、 映像音声 情報 2 1 を構成する部分映像に関する情報の区切れを識別するための映 像識別情報 2 2 を端末 3 0 に出力する。 なお、 端末 3 0 に入力された映 像識別情報 2 2は、 端末 3 0で保持される。 指定エリ ア通知手段 4 0は、 映像音声送信手段 2 0 と連動して動作し、 部分映像のある指定エリ アに 関する情報の送信が開始されたその時点に、 指定エリア情報 4 1 を端末 3 0へ出力する。 なお、 部分映像のある指定エリ アに関する情報の送信 が終了 したその時点にも、 指定エリ ア情報 4 1 が端末 3 0へ出力される。 また、 端末 3 0 に入力された指定エリ ア情報 4 1 は記録され、 その記録 は新たな指定ェリァ情報 4 1 が入力される と更新される。

次に、 表示手段 2 7 に出力された任意の映像に関する倩報を検索する ために、 表示手段 2 7 に表示された所望の映像の任意の点を、 端末 3 0 に接続された位置指定手段 2 8 を用いて指定する。 なお、 位置指定手段 2 8 によ り指定される所望の映像の任意の点とは、 表示手段 2 7 の画面 に表示される対象物や文字や図形等のある一点のこ とを差し示す。 位置 指定手段 2 8は、 表示手段 2 7 に表示された対象物等に対して、 指定し た任意の点の X— Y座標を位置情報 2 9 と して端末 1へ出力する。 位置 情報 2 9が入力された端末 3 0は、 この位置情報 2 9 と、 この位置情報 2 9が入力された時点の部分映像のある指定エリ アに関する指定エリ ア 情報 4 1 と、 当該位置情報 2 9が入力された時点で表示手段 2 7 に出力 されている映像の種類を識別する映像識別情報 2 2 とを互いに関連付け、 映像指定情報 3 1 と してデータ検索手段 3 2へ出力する。

なお、 実施例 2の情報検索システムの動作について、 端末 3 0 よ り映 像指定情報 3 1 が出力され、 当該データ画像情報が表示手段 2 7 に出力 されるまでの動作については、 実施例 1 と同様であ りその説明を省略し、 実施例 1の情報検索システムの動作と異なる部分について説明 した。 このよう に、 本実施例の画像による情報検索システムでは、 表示手段 2 7 に出力されている指定エリ ア、 例えば野球中継放送中のコマーシャ ルスポッ ト を検出し、 その当該指定エ リ アにおける位置情報 2 9 に基づ き、 関連データ 3 5若し く はデータ画像情報を検索するため、 当該指定 エリ アの継続時間が可変であっても、 情報検索システムは正確に関連デ —夕 3 5 を検索し、 表示手段 2 7 に当該データ画像情報を正確に出力す るこ とができる。

実施例 4 .

本発明の画像による情報検索システムの他の実施例について、 第 1 0 図を用いて説明する。 この第 1 0図は、 実施例 4 の情報検索システムの 構成を示す構成図である。

第 1 0図において、 4 2 はビデオテープや光ディ スク等の映像音声保 持手段である。 この映像音声保持手段 4 2 には、 映像情報や音声情報と いった映像音声情報 2 1 が記録されている。 4 3はビデオデッキゃ光デ イ スクデッキ等の映像音声再生手段である。 この映像音声再生手段 4 3 は、 映像音声保持手段 4 2 に記録された映像音声情報 2 1 を読み出 し、 この読み出 した映像音声情報 2 1 に基づき映像や音声を再生し表示手段 2 7 に出力する。 また、 この映像音声再生手段 4 3 は、 映像音声情報 2 1 を構成する各部分映像を識別するための映像識別情報 2 2 を端末 3 0 に出力する。 この映像音声再生手段 4 3から端末 3 0へ出力される映像 識別情報 2 2は、 映像音声情報 2 1 と共に映像音声保持手段 4 2から読 み出され、 再生される。 4 4は再生制御手段であ り 、 映像音声保持手段 4 2から映像音声再生手段 4 3 に読み出された映像音声情報 2 1 の再生、 早送り、 早戻し、 一時停止等の各状態が制御される。 なお、 再生制御手 段 4 4は、 映像音声情報 2 1 に関する再生、 早送り、 早戻し、 一時停止 等の制御をするために、 制御情報 4 5 を映像音声再生手段 4 3 に出力す る。 また、 再生制御手段 4 4は、 映像音声再生手段 4 3での映像音声情 報 2 1 の制御に関する時間情報 2 6 を制御するため、 時間計測手段 2 5 にも制御情報 4 5 を出力する。 この時間計測手段 2 5 は、 再生制御手段 4 4から出力された制御情報 4 5 によ り、 時間計測の リセ ッ ト、 一時停 止、 再開、 早送り、 早戻しができ、 その時間計測の早送り及び早戻しの 速度は、 映像音声再生手段 4 3の早送り及び早戻しの速度と相対的に一 致している。

なお、 実施例 4 において、 送信システム 3 6は、 映像音声保持手段 4 2、 映像音声再生手段 4 3、 再生制御手段 4 4、 及び時間計測手段 2 5 からなる。 また、 第 1 0図において、 第 1 図に示す実施例 1 と同一又は 相当の部分には、 同一符号を付してその説明を省略し、 第 1 図と相違す る部分について説明した。 さ らに、 この実施例 4の情報検索システムに おける映像音声情報 2 1 、 映像識別情報 2 2、 及び時間情報 2 6 との相 関については、 第 2 図に示す実施例 1 と同様であ り、 その説明を省略す る。 また、 この実施例 4の情報検索システムのデータ検索手段 3 2が有 するテーブルについては、 第 3図に示す実施例 1 と同様であ り、 その説 明を省略する。

次に、 この実施例 4の情報検索システムの動作について説明する。 まず、 再生制御手段 4 4から映像音声再生手段 4 3へ、 映像の再生開 始等に関する制御情報 4 5 が出力される。 制御情報 4 5が入力された映 像音声再生手段 4 3 は、 入力された制御情報 4 5 に基づき、 映像音声保 持手段 4 2から映像音声情報 2 1及び映像識別情報 2 2 を読み出す。 映像音声情報 2 1 及び映像識別情報 2 2が入力された映像音声再生手 段 4 3は、 入力された映像音声情報 2 1 を表示手段 2 7 での再生用に変 換して表示手段 2 7 に出力する と共に、 同じ く 入力された映像識別情報 2 2 を端末 3 0へ出力する。 なお、 端末 3 0 に出力された映像識別情報 2 2は、 端末 3 0 内で保持される。 映像音声情報 2 1 が入力された表示 手段 2 7 は、 入力された映像音声情報 2 1 に基づ く 映像及び音声を出力 する。 再生制御手段 4 4から映像音声再生手段 4 3へ制御情報 4 5 を出 力する と共に、 再生制御手段 4 4は時間計測手段 2 5へも制御情報 4 5 を出力する。

そ して、 制御情報 6が入力された時間計測手段 2 5 は、 入力された制 御情報 6 に基づ く 時間計測に関する処理を行う。 この時間計測手段 2 5 で得られた時間情報 2 6 は、 定期的に端末 3 0へ出力される。 なお、 再 生制御手段 4 4から映像音声再生手段 4 3へ、 映像音声情報 2 1 の出力 を一時停止させる旨の制御情報 4 5が出力された場合、 この制御情報 4 5が入力された映像音声再生手段 4 3は、 表示手段 2 7への映像音声情 報 2 1 の出力、 例えば再生、 を一時停止させる。 このような制御情報 6 は、 再生制御手段 4 4から映像音声再生手段 4 3へ出力される と共に、 再生制御手段 4 4から時間計測手段 2 5へも出力される。 このような制 御情報 6が入力された時間計測手段 2 5は、 入力された制御情報 6 に基 づき、 それまで実行していた時間の計測処理を一時停止させる。 また、 再生制御手段 4 4から映像音声再生手段 4 3 へ、 一時停止を解除して映 像音声情報 2 1 の出力を再開させる 旨の制御情報 4 5が出力された場合、 この制御情報 4 5が入力された映像音声再生手段 4 3は、 一時停止され ていた表示手段 2 7への映像音声情報 2 1 の出力を再開させる。 このよ うな制御情報 6は、 再生制御手段 4 4から映像音声再生手段 4 3へ出力 される と共に、 再生制御手段 4 4から時間計測手段 2 5へも出力される。 このような制御情報 6が入力された時間計測手段 2 5は、 入力された制 御情報 6 に基づき、 それまで一時停止していた時間の計測処理を再開さ せる。 さ らに、 再生制御手段 4 4から映像音声再生手段 4 3 へ、 映像音 声情報 2 1 の出力を早送り させる 旨の制御情報 4 5 が出力された場合、 この制御情報 4 5が入力された映像音声再生手段 4 3は、 表示手段 2 7 への映像音声情報 2 1 の出力を早送り させる。 このような制御情報 6 は、 再生制御手段 4 4から映像音声再生手段 4 3へ出力される と共に、 再生 制御手段 4 4から時間計測手段 2 5へも出力される。 このような制御情 報 6が入力された時間計測手段 2 5 は、 入力された制御情報 6 に基づき、 それまで実行していた時間の計測処理を映像音声情報 2 1 の早送りの速 度にあわせて早送り させる。 また、 再生制御手段 4 4から映像音声再生 手段 4 3 へ、 映像音声情報 2 1 の出力を早戻しさせる 旨の制御情報 4 5 が出力された場合、 この制御情報 4 5が入力された映像音声再生手段 4 3は、 表示手段 2 7への映像音声情報 2 1 の出力を早戻しさせる。 この ような制御情報 6は、 再生制御手段 4 4から映像音声再生手段 4 3へ出 力される と共に、 再生制御手段 4 4から時間計測手段 2 5へも出力され る。 このような制御情報 6が入力された時間計測手段 2 5 は、 入力され た制御情報 6 に基づき、 それまで実行していた時間の計測処理を映像音 声情報 2 1 の早戻しの速度にあわせて早戻しさせる。

なお、 映像識別情報 2 2 と映像音声情報 2 1 とは互いに関連付けられ ており、 映像音声情報 2 1 の再生、 一時停止、 停止解除、 早送り、 早戻 し等の制御に基づき、 映像識別情報 2 2 の出力が行われる。 また、 実施 例 4の情報検索システムの動作について、 表示手段 2 7 に出力された任 意の映像に関する情報を検索し、 そ して得られた情報を表示手段 2 7 に 出力するまでの動作については、 実施例 1 と同様であ り その説明を省略 し、 実施例 1の情報検索システムの動作と異なる部分について説明した。 このよ う に、 本実施例の画像による情報検索システムでは、 ビデオや 光ディ スク等の映像音声保時手段 4 2 に記録された映像音声情報 2 1 の 再生や早送りや早戻し等に関する処理速度と、 時間計測手段 2 5 による 時間の計測処理とが互いに関連付けられているため、 映像音声情報 2 1 と関連付けられた映像識別情報 2 2 と、 時間計測手段 2 5 による時間の 計測処理から得られる時間情報 2 6 と関連付けられた関連データ との相 関関係のズレを抑えるこ とができ、 信頼性の高いシステムが得られる。 また、 本システムでは、 送信手段から出力される映像情報に対して、 その出力方法を制御する制御手段を設けて、 送信手段から出力される情 報の処理を自在に制御するため、 リ アルタイ ム情報を送信するシステム だけでな く 、 V T Rや光ディ スク といった記録媒体に記録された情報を 送信するシステムにも適用できる汎用性の広いシステムが得られる。 実施例 5 .

本発明の画像による情報検索システムの他の実施例について、 第 1 1 図を用いて説明する。 この第 1 1 図は、 実施例 5の情報検索システムの 構成を示す構成図である。 なお、 実施例 5 において、 送信システム 3 6 は、 映像音声保持手段 4 2、 映像音声再生手段 4 3、 及び再生制御手段 4 4からなる。 また、 第 1 1 図において、 第 1 図に示す実施例 1 若し く は第 1 0図に示す実施例 4 と同一又は相当の部分には、 同一符号を付 し てその説明を省略し、 第 1 図又は第 1 0図と相違する部分について説明 した。

次に、 この実施例 5 の情報検索システムにおける映像音声情報 2 1 と 映像識別情報 2 2 との相関について、 第 1 2図を用いて説明する。 第 1 2図は、 この実施例 5 の情報検索システムにおける映像音声情報 2 1 と 映像識別情報 2 2 との相関について示した概念図である。 第 1 2図にお いて、 部分映像 A〜部分映像 Cを識別する映像識別情報 2 2 は、 その部 分映像の出力が開始される先頭位置と、 その部分映像の出力が終了する 終端位置とに、 映像音声再生手段 4 3から端末 3 0へ出力される。 なお、 第 1 2図において、 第 1 0図に示す実施例 4 と同一又は相当の 部分には、 同一符号を付 してその説明を省略し、 第 1 0 図と相違する部 分について説明した。 また、 この実施例 5 の情報検索システムのデ一夕 検索手段 3 2が有するテーブルについては、 第 6図に示す実施例 2 と同 様であ り、 その説明を省略する。

次に、 この実施例 5 の情報検索システムの動作について説明する。 まず、 再生制御手段 4 4から映像音声再生手段 4 3 へ、 映像の再生開 始等に関する制御情報 4 5 が出力される。 制御情報 4 5 が入力された映 像音声再生手段 4 3 は、 入力された制御情報 4 5 に基づき、 映像音声保 持手段 4 2から映像音声情報 2 1 、 及び映像識別情報 2 2 を読み出す。 映像音声情報 2 1 、 及び映像識別情報 2 2が入力された映像音声再生 手段 4 3 は、 入力された映像音声情報 2 1 を表示手段 2 7 での再生用に 変換して表示手段 2 7 に出力する と共に、 同じ く入力された映像識別情 報 2 2 を端末 3 0へ出力する。 なお、 端末 3 0 に出力された映像識別情 報 2 2は、 端末 3 0 内で保持される。 映像音声再生手段 4 3 において、 映像音声情報 2 1 の再生、 若し く は早送り の途中で、 ある部分映像の先 頭に関する映像識別情報 2 2 を検知した場合には、 その先頭が検知され た部分映像に関する映像識別情報 2 2 を端末 3 0 に通知し記録させる。 また、 映像音声再生手段 4 3 において、 映像音声情報 2 1 の早戻しの 途中で、 ある部分映像の終端に関する映像識別情報 2 2 を検知 した場合 には、 その終端が検知された部分映像に関する映像識別情報 2 2 を端末

3 0 に通知し記録させる。 映像音声情報 2 1 が入力された表示手段 2 7 は、 入力された映像音声情報 2 1 に基づ く 映像及び音声を出力する。 なお、 再生制御手段 4 4から映像音声再生手段 4 3 へ、 映像音声情報 2 1 の出力を一時停止させる 旨の制御情報 4 5が出力された場合、 この 制御情報 4 5が入力された映像音声再生手段 4 3 は、 映像音声保持手段

4 2からの映像音声情報 2 1 の読み込みを一時停止させる。 この映像音 声情報 2 1 の読み込みの一時停止に伴い、 映像識別情報 2 2 の読み込み も一時停止するため、 端末 3 0 に保持される映像識別情報 2 2 はそのま ま維持される。 一時停止の解除、 早送り、 早戻しに関する制御情報 4 5 についても、 この一時停止に関する制御情報 4 5 と同様であ り、 映像音 声情報 2 1 と映像識別情報 2 2 とが互いに相関を有 しながら処理される こ ととな り、 その説明を省略する。 また、 実施例 5の情報検索システム の動作について、 表示手段 2 7 に出力された任意の映像に関する情報を 検索し、 そ して得られた情報を表示手段 2 7 に出力するまでの動作につ いては、 実施例 4 と同様であ り その説明を省略し、 実施例 4の情報検索 システムの動作と異なる部分について説明 した。

このよう に、 本実施例の画像による情報検索システムでは、 映像音声 情報 2 1 を構成する各部分映像の先頭と終端とで部分映像に関する映像 識別情報 2 2が検出できるため、 映像音声情報 2 1 を早送り した り早戻 し した後に出力させても、 当該部分映像を確実に捕らえ、 映像識別情報 2 2 と関連データ との相関関係のズレが抑え られた信頼性の高いシステ ムが得られる。

実施例 6 .

本発明の画像による情報検索システムの他の実施例について、 第 1 3 図を用いて説明する。 この第 1 3図は、 実施例 6 の情報検索システムの 構成を示す構成図である。

第 1 3 図において、 映像音声エリ ア保持手段 4 6 には、 映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エ リ ア情報 4 1 が記録されている。 なお、 映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エリ ア情報 4 1 は互いに関連付けられ記録されている。 そ して、 映像音声エ リ ア再生手 段 4 7 は、 映像音声エリ ア保持手段 4 6 から読み込んだ映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エリ ア情報 4 1 を、 表示手段 2 7若 し く は端末 3 0へ出力する。 なお、 第 1 2 図において、 第 7 図に示す実施 例 3若し く は第 1 1 図に示す実施例 5 と同一又は相当の部分には、 同一 符号を付してその説明を省略し、 第 1 図又は第 1 0図と相違する部分に ついて説明 した。

次に、 この実施例 6 の情報検索システムにおける映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エリア情報 4 1 との相関について、 第 1 4 図を用いて説明する。 第 1 4図は、 この実施例 6 の情報検索システムに おける映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エリ ア情報 4 1 との相関について示した概念図である。

第 1 4図において、 部分映像 Aに挿入された指定エリ アを示す指定ェ リ ア情報は 4 1 は、 その指定エリ アに関する情報の出力が開始される先 頭位置と、 その部分映像の出力が終了する終端位置とに、 映像音声エ リ ァ再生手段 4 7から端末 3 0へ出力される。 例えば、 第 1 4図中では、 エ リ ア A 1 の映像 Aが出力開始される ときにエ リ ア情報 （エ リ ア無し終 端 + A 1 先頭） が映像音声エリ ア再生手段 4 7から出力され、 部分映像 Aの出力が終了される ときにエリ ア情報 （A 1 終端 +エリ ア無し先頭） が映像音声エリア再生手段 4 7から出力される。 エリ ア A 2他に関して も、 このエ リ ア A 1 の映像 Aの場合と同様である。

なお、 第 1 4図において、 第 8図に示す実施例 3 と同一又は相当の部 分には、 同一符号を付してその説明を省略し、 第 8図と相違する部分に ついて説明した。 また、 この実施例 6の情報検索システムのデータ検索 手段 3 2が有するテ一ブルについては、 第 7 図に示す実施例 3 と同様で あ り、 その説明を省略する。

次に、 この実施例 6の情報検索システムの動作について説明する。 まず、 再生制御手段 4 4から映像音声エリ ア再生手段 4 7 へ、 映像の 再生開始等に関する制御情報 4 5が出力される。 制御情報 4 5が入力さ れた映像音声エリ ア再生手段 4 7は、 入力された制御情報 4 5 に基づき、 映像音声ェリ ァ保持手段 4 6から映像音声情報 2 1 、 映像識別情報 2 2 、 及び指定エ リ ア情報 4 1 を読み出す。 映像音声情報 2 1 、 映像識別情報 2 2、 及び指定エリ ア情報 4 1 が入力された映像音声エリ ア再生手段 4 7 は、 入力された映像音声情報 2 1 を表示手段 2 7での再生用に変換し て表示手段 2 7 に出力する と共に、 同じ く入力された映像識別情報 2 2 及び指定エリア情報 4 1 を端末 3 0へ出力する。 なお、 端末 3 0 に出力 された映像識別情報 2 2及び指定エリア情報 4 1 は、 端末 3 0 内で保持 される。 映像音声エリ ア再生手段 4 7 において、 映像音声情報 2 1 の再 生、 若し く は早送り の途中で、 ある指定エ リ アの先頭に関するエ リ ア情 報を検知した場合には、 その先頭が検知された指定エリ アに関する指定 エリア情報 4 1 を端末 3 0 に通知し記録させる。 また、 映像音声エリ ア 再生手段 4 7 において、 映像音声情報 2 1 の早戻しの途中で、 ある指定 エリ アの終端に関するエリ ア情報を検知した場合には、 その終端が検知 された指定エリ アに関する指定エリ ア情報 4 1 を端末 3 0 に通知し記録 させる。 映像音声情報 2 1 が入力された表示手段 2 7 は、 入力された映 像音声情報 2 1 に基づ く 映像及び音声を出力する。

なお、 再生制御手段 4 4から映像音声エリ ア再生手段 4 7 へ、 映像音 声情報 2 1 の出力を一時停止させる 旨の制御情報 4 5が出力された場合、 この制御情報 4 5が入力された映像音声エリ ア再生手段 4 7 は、 映像音 声エリア保持手段 4 6 からの映像音声情報 2 1 の読み込みを一時停止さ せる。 この映像音声情報 2 1 の読み込みの一時停止に伴い、 映像識別情 報 2 2及び指定エリ ア情報 4 1 の読み込みも一時停止するため、 端末 3 0 に保持される映像識別情報 2 2及び指定エリ ア情報 4 1 はそのまま維 持される。 一時停止の解除、 早送り、 早戻しに関する制御情報 4 5 につ いても、 この一時停止に関する制御情報 4 5 と同様であ り、 映像音声情 報 2 1 と映像識別情報 2 2 と指定エ リ ア情報 4 1 とが互いに相関を有 し ながら処理されるこ と とな り、 その説明を省略する。 また、 実施例 6 の 情報検索システムの動作について、 表示手段 2 7 に出力された任意の映 像に関する情報を検索し、 そ して得られた情報を表示手段 2 7 に出力す るまでの動作については、 実施例 5 と同様であ りその説明を省略し、 実 施例 5の情報検索システムの動作と異なる部分について説明した。

このように、 本実施例の画像による情報検索システムでは、 映像音声 情報 2 1 を構成する各指定エリ アの先頭と終端とで指定エリ アに関する エリ ア情報が検出できるため、 映像音声情報 2 1 を早送り した り早戻し した後に出力させても、 当該指定エリ アを確実に捕らえ、 指定エリ ア情 報 4 1 と関連デ一夕 との相関関係のズレが抑えられた信頼性の高いシス テムが得られる。

実施例 Ί .

本発明の画像による情報処理システムの実施例について、 第 1 5図を 用いて説明する。 この第 1 5図は、 実施例 7 の情報処理システムの構成 を示す構成図である。

第 1 5図において、 4 8は処理検索手段であ り、 端末 3 0から出力さ れた映像指定情報 3 1 が入力される。 この処理検索手段 4 8 は、 映像の 種類、 位置指定手段 2 8 によ り指定された時間、 及び位置指定手段 2 8 によ り指定された位置に関する情報が互いに関連付けられ、 これらの情 報と処理内容とも関連付けられたテーブルを有する。 映像指定情報 3 1 が入力された処理検索手段 4 8は、 このテーブルに基づ く処理要求信号

4 9 を出力する。 5 0 は処理保持手段であ り、 処理検索手段 4 8から出 力された処理要求信号 4 9 が入力される。 この処理保持手段 5 0 は、 入 力された処理要求信号 4 9 に基づき、 処理保持手段 5 0 に保持されてい る処理内容に関する処理内容信号 5 1 を出力する。 なお、 処理保持手段

5 0 に保持されている処理内容は、 映像音声送信手段 2 0 から映像音声 情報 2 1 が送信される以前に、 その映像音声情報 2 1 を基に して作成さ れ保持される。

5 2 は処理実行手段であ り 、 処理保持手段 5 0から出力された処理内 容信号 5 1 が入力される。 この処理実行手段 5 2は、 入力された処理内 容信号 5 1 に基づき、 処理を実行する。 5 3 は処理システムであ り、 処 理検索手段 4 8、 処理保持手段 5 0、 及び処理実行手段 5 2からなる。 なお、 処理システム 5 3 は、 イ ンターネ ッ ト などのネ ッ ト ワーク上にあ り 、 複数の受信システム 3 7 から共有されても よい。 しか し、 必要であ るならぱネッ ト ワーク上ではな く受信システム 3 7 と同一の場所に設け ても良い。 なお、 第 1 5図において、 第 1 図に示す実施例 1 と同一又は 相当の部分には、 同一符号を付してその説明を省略し、 第 1 図と相違す る部分について説明した。 また、 この実施例 7 の情報処理システムにお ける映像音声情報 2 1 、 映像識別情報 2 2、 及び時間情報 2 6 との相関 については、 第 2図に示す実施例 1 と同様であ り、 その説明を省略する。 本実施例 7 の情報処理システムと しては、 テレ ビ放送や衛星放送の映 像のある位置を指定する とその指定位置に対応する処理が実行される も のであ り、 T Vショ ッ ビングの発注処理等が考えられる。

次に、 この実施例 7 の情報処理システムの処理検索手段 4 8が有する テーブルについて、 第 1 6 図を用いて説明する。 第 1 6 図は、 この実施 例 7 の情報処理システムの処理検索手段 4 8が有するテーブルに関する 概念図である。

第 1 6図において、 処理検索手段 4 8が有するテ一ブルには、 映像音 声情報 2 1 を構成する部分映像の種類と、 この部分映像が出力されてい るタイ ミ ングで現れるアイ コ ンの位置に関する位置情報と、 この当該ァ イ コ ンが指定されるこ とによ り処理される処理方法の種類とが、 互いに 関連付けられ記録されている。 なお、 アイ コ ンの操作に関 しては、 実施 例 1 の第 3 図の説明 したものと同一であ り、 その説明を省略する。 また、 同 じ映像識別情報で同 じ時間帯に異なる複数の位置情報と、 その位置情 報に対応する処理内容が存在しても良い。 さ らに、 全ての映像識別情報 と時間情報と位置情報とに対して、 対応する処理内容が存在している必 要は無い。

次に動作を説明する。 なお、 実施例 7の情報処理システムの動作につ いて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作について は、 実施例 1 と同様であ り その説明を省略し、 実施例 1 の情報検索シス テムの動作と異なる部分について以下に説明する。

位置指定手段 2 8 を使用 したユーザからある映像のある点が指定され る と、 端末 3 0から映像指定情報 3 1 が処理検索手段 4 8へ出力される。 映像指定情報 3 1 が入力された処理検索手段 4 8は、 入力された映像 指定情報 3 1 を基にテーブルを検索する。 この検索結果に基づき、 該当 する処理内容に対する処理要求信号 4 9 を処理保持手段 5 0 に出力する _c なお、 検索の結果、 該当する処理内容が無ければ、 処理要求信号 4 9 は 出力されず、 それ以後の処理は行われない。 処理検索手段 4 8から出力 された処理要求信号 4 9 は処理保持手段 5 0 に入力される。 この処理保 持手段 5 0 に入力された処理要求信号 4 9 は、 対応する処理内容信号 5 1 を検索し、 この処理内容信号 5 1 に関するコマン ドを処理実行手段 5 2へ出力する。 この処理実行手段 5 2 は、 入力された処理内容信号 5 1 に従い所定の処理内容信号 5 1 を実行する。

このように、 本実施例の画像による情報処理システムでは、 表示手段 2 7 に表示された任意の対象物の任意の点を位置指定手段 2 8で指定 し て、 当該関連処理を実行する。 そ して、 このシステムは、 この位置指定 手段 2 8 によ り指定された表示手段 2 7 の X— Y座標である位置情報 2 9 と、 この位置の指定が行われた時刻である時間情報 2 6 とに基づき、 当該関連処理を実行する。 つま り、 本システムでは、 任意の時間指定及 びこの時間指定に関する表示手段 2 7 の座標指定に基づき、 当該関連処 理が実行される。 '

このため、 本システムは、 映像に関する全てのフ レーム情報を持つと いったこ とをせずともよ く、 つま り 莫大な量の情報を保持する必要が無 く な り、 処理検索手段 4 8及びシステム全体を小型化させるこ とが可能 となる。 また、 本システムでは、 特定のフ レームを検出するための演算 処理装置を設ける必要がな く 、 システム全体の小型化を図るこ とが容易 となる。 さ らに、 本システムでは、 特定のフ レームを検出するための演 算処理を行う必要がな く、 当該関連処理の実行までに要する時間を短縮 させるこ とが容易となる。 また、 本システムでは、 任意の時間指定及び この時間指定に関する表示手段 2 7 の座標指定が所定の範囲をもって処 理検索手段 4 8のテ一ブルに設定されているため、 出力する映像に関す る全てのフ レームにそれぞれ設定された関連処理の実行の為の情報を持 つ必要がな く、 つま り膨大な量の情報を保持する必要が無く な り、 処理 検索手段 4 8のテーブル及び/若し く は処理検索手段 4 8 を簡素化させ るこ とが可能となる。 また、 本システムの送信システム 3 6からは、 映 像音声情報 2 1 と時間情報 2 6 とが互いに関連づけられ出力されるため、 一つの送信システム 3 6から出力された映像音声情報 2 1 及び時間情報 2 6 を、 設置場所の異なる複数の受信システム 3 7で受信したと しても、 全ての受信システム 3 7 で任意の映像に対する関連情報を同様に得る こ とができる。 仮に、 送信システム 3 6から映像音声情報 2 1 が出力され、 送信システム 3 6から出力された映像音声情報 2 1 が入力される複数の 受信システム 3 7各々で時間情報 2 6 を計算し、 送信システム 3 6から 映像音声情報 2 1 が出力され始める時刻と、 受信システム 3 7 で時間情 報 2 6 の計測を開始する時刻とを同時にする と、 各受信システム 3 7 は その設置位置によ り映像音声情報 2 1 の入力時間に遅延が生 じ、 同じ画 像に対して各受信システム 3 7で見られる当該画像に関する関連処理が 異なる可能性が出て く る。

実施例 8 .

本発明の情報処理システムの他の実施例について、 第 1 7 図を用いて 説明する。 この第 1 7 図は、 実施例 8 の情報処理システムの構成を示す 構成図である。 なお、 第 1 7 図における情報処理システムにおいて、 送 信システム 3 6 については、 実施例 2 と同一であ り、 その説明を省略す る。 また、 第 1 7 図において、 受信システム 3 7及び処理システム 5 3 については、 実施例 7 と同一であ り、 その説明を省略する。 また、 実施 例 8の情報処理システムにおける映像音声情報 2 1 と映像識別情報 2 2 との相関については、 第 5図に示す実施例 2 と同様であ り、 その説明を 省略する。 次に、 この実施例 8 の情報処理システムの処理検索手段 4 8が有する テーブルについて、 第 1 8図を用いて説明する。 第 1 8図は、 この実施 例 8の情報処理システムの処理検索手段 4 8が有するテーブルに関する 概念図である。

第 1 8図において、 処理検索手段 4 8が有するテーブルには、 映像音 声情報 2 1 を構成する部分映像の種類と、 この部分映像が出力されてい るタイ ミ ングで現れるアイ コ ンの位置に関する位置情報と、 この当該ァ イ コ ンが指定される こ とによ り処理される処理内容とが、 互いに関連付 けられ記録されている。 なお、 同 じ映像識別情報内で異なる複数の位置 情報に対応させてそれぞれ異なる処理内容が設定されていても良い。 ま た、 全ての映像識別情報や位置情報に対して、 何らかの処理内容が設定 されている必要は必ずしもない。

次に動作を説明する。 なお、 実施例 8の情報処理システムの動作につ いて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作について は、 実施例 2 と同様であ り その説明を省略する。 また、 この情報処理シ ステムにおいて、 端末 3 0から映像指定情報 3 1 が出力された後の動作 は、 実施例 7 と同様であ り その説明を省略する。 これら本実施例 8の情 報処理システムの構成及び動作よ り、 実施例 2若し く は実施例 7で得ら れるような効果が得られる。

実施例 9 .

本発明の情報処理システムの他の実施例について、 第 1 9 図を用いて 説明する。 この第 1 9図は、 実施例 9 の情報処理システムの構成を示す 構成図である。 なお、 第 1 9図における情報処理システムにおいて、 送 信システム 3 6 については、 実施例 3 と同一であ り、 その説明を省略す る。 また、 第 1 9図において、 受信システム 3 7及び処理システム 5 3 については、 実施例 7 と同一であ り、 その説明を省略する。 また、 実施 例 9 の情報処理システムにおける映像音声情報 2 1 、 映像識別情報 2 2 、 及び指定ェリァ情報 4 1 との相関については、 第 8図に示す実施例 3 と 同様であ り、 その説明を省略する。

次に、 この実施例 9 の情報処理システムの処理検索手段 4 8が有する テーブルについて、 第 2 0 図を用いて説明する。 第 2 0 図は、 この実施 例 9 の情報処理システムの処理検索手段 4 8が有するテーブルに関する 概念図である。 第 2 0図において、 処理検索手段 4 8が有するテーブル には、 映像音声情報 2 1 を構成する部分映像の種類と、 最も近時で確認 された指定エリ ア情報の有無若 し く はその種類と、 この部分映像若し く は指定エリ ア情報が出力されているタイ ミ ングで現れるアイ コ ンの位置 に関する位置情報と、 この当該アイ コ ンが指定されるこ とによ り処理さ れる処理内容とが、 互いに関連付けられ記録されている。 なお、 同じ映 像識別倩報内で異なる複数の位置情報に対応させてそれぞれ異なる処理 内容が設定されていても良い。 また、 全ての映像識別情報や位置情報に 対して、 何らかの処理内容が設定されている必要は必ずしもない。

次に動作を説明する。 なお、 実施例 9の情報処理システムの動作につ いて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作について は、 実施例 3 と同様であ り その説明を省略する。 また、 この情報処理シ ステムにおいて、 端末 3 0から映像指定情報 3 1 が出力された後の動作 は、 実施例 7 と同様であ り その説明を省略する。 これら本実施例 9の情 報処理システムの構成及び動作よ り、 実施例 3若し く は実施例 7 で得ら れるような効果が得られる。

実施例 1 0 .

本発明の情報処理システムの他の実施例について、 第 2 1 図を用いて 説明する。

この第 2 1 図は、 実施例 1 0 の情報処理システムの構成を示す構成図 である。 なお、 第 2 1 図における情報処理システムにおいて、 送信シス テム 3 6 については、 実施例 4 と同一であ り、 その説明を省略する。 ま た、 第 2 1 図において、 受信システム 3 7及び処理システム 5 3 につい ては、 実施例 7 と同一であ り、 その説明を省略する。 また、 実施例 1 0 の情報処理システムにおける映像音声情報 2 1 、 映像識別情報 2 2、 及 び映像開始信号 2 4 に基づ く 時間情報と 1 3 との相関については、 第 2 図に示す実施例 1 と同様であ り、 その説明を省略する。 さ らに、 この実 施例 1 0の情報処理システムの処理検索手段 4 8が有するテーブルにつ いては、 第 1 6図に示す実施例 7 と同様であ り、 その説明を省略する。 ， 次に動作を説明する。 なお、 実施例 1 0 の情報処理システムの動作に ついて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作につい ては、 実施例 4 と同様であ り その説明を省略する。 また、 この情報処理 システムにおいて、 端末 3 0から映像指定情報 3 1 が出力された後の動 作は、 実施例 7 と同様であ り その説明を省略する。 これら本実施例 1 0 の情報処理システムの構成及び動作よ り、 実施例 4若し く は実施例 7 で 得られるような効果が得られる。

実施例 1 1 .

本発明の情報処理システムの他の実施例について、 第 2 2 図を用いて 説明する。 この第 2 2図は、 実施例 1 1 の情報処理システムの構成を示 す構成図である。 なお、 第 2 2 図における情報処理システムにおいて、 送信システム 3 6 については、 実施例 5 と同一であ り、 その説明を省略 する。 また、 第 2 2 図において、 受信システム 3 7及び処理システム 5 3 については、 実施例 7 と同一であ り、 その説明を省略する。 また、 実 施例 1 1 の情報処理システムにおける映像音声情報 2 1 と映像識別情報 2 2 との相関については、 第 1 2図に示す実施例 5 と同様であ り、 その 説明を省略する。 さ らに、 この実施例 1 1 の情報処理システムの処理検 索手段 4 8が有するテーブルについては、 第 1 6図に示す実施例 7 と同 様であ り、 その説明を省略する。

次に動作を説明する。 なお、 実施例 1 1 の情報処理システムの動作に ついて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作につい ては、 実施例 5 と同様であ りその説明を省略する。 また、 この情報処理 システムにおいて、 端末 3 0から映像指定情報 3 1 が出力された後の動 作は、 実施例 7 と同様であ りその説明を省略する。 これら本実施例 1 1 の情報処理システムの構成及び動作よ り、 実施例 5若し く は実施例 7 で 得られるような効果が得られる。

実施例 1 2 .

本発明の情報処理システムの他の実施例について、 第 2 3 図を用いて 説明する。 この第 2 3図は、 実施例 1 2 の情報処理システムの構成を示 す構成図である。 なお、 第 2 3図における情報処理システムにおいて、 送信システム 3 6 については、 実施例 6 と同一であ り、 その説明を省略 する。 また、 第 2 3図において、 受信システム 3 7及び処理システム 5 3 については、 実施例 7 と同一であ り、 その説明を省略する。 また、 実 施例 1 2の情報処理システムにおける映像音声情報 2 1 、 映像識別情報 2 2 '、 及び指定エリア情報 4 1 との相関については、 第 1 4図に示す実 施例 6 と同様であ り、 その説明を省略する。 さ らに、 この実施例 1 2 の 情報処理システムの処理検索手段 4 8が有するテ一ブルについては、 第 1 6図に示す実施例 7 と同様であ り 、 その説明を省略する。

次に動作を説明する。 なお、 実施例 1 2 の情報処理システムの動作に ついて、 端末 3 0 よ り映像指定情報 3 1 が出力されるまでの動作につい ては、 実施例 6 と同様であ り その説明を省略する。 また、 この情報処理 システムにおいて、 端末 3 0から映像指定情報 3 1 が出力された後の動 作は、 実施例 7 と同様であ りその説明を省略する。 これら本実施例 1 2 の情報処理システムの構成及び動作よ り、 実施例 6若し く は実施例 7 で 得られるような効果が得られる。

以上のように、 この発明にかかる情報検索システムは、 映像情報と映 像情報の種類を通知する映像識別情報とを出力する送信手段と、 映像情 報に基づ く 映像を出力する表示手段と、 表示手段に出力された映像にお ける任意の位置を指定し、 この指定された位置に基づ く位置情報を出力 する位置指定手段と、 位置情報と映像識別情報とに基づ く、 位置指定手 段によ り指定された映像に関する関連データを保持するデータ保持手段 とを有 し、 位置指定手段によ り指定された映像の種類及びこの種類の映 像の表示手段での座標に基づき、 この映像に関する関連データが表示手 段に出力されるため、 データ保持手段が保持すべきデータ量を抑えるこ とができ、 システム全体を小型化させるこ とが可能となる。

また、 この発明にかかる情報検索システムは、 映像情報と映像情報の 種類の切り替わ り を通知する映像識別情報と映像識別情報が切り替わつ てからの経過時間に関する時間情報とを出力する送信手段と、 映像情報 に基づ く映像を出力する表示手段と、 表示手段に出力された映像におけ る任意の位置を指定し、 この指定された位置に基づ く位置情報を出力す る位置指定手段と、 位置情報と映像識別情報と時間情報とに基づ く、 位 置指定手段によ り指定された映像に関する関連デ一夕を保持するデ一夕 保持手段とを有 し、 位置指定手段によ り指定された映像が出力されてい た時間及びこの時間に位置指定手段によ り指定された映像の座標に基づ き、 この映像に関する関連データが表示手段に出力されるため、 デ一夕 保持手段が保持すべきデータ量を抑えるこ とができ、 システム全体を小 型化させるこ とが可能となる。

さ らに、 この発明にかかる情報検索システムは、 映像情報と、 映像情 報の種類を通知する映像識別情報と、 映像識別情報に関する映像情報が 出力されている間に割 り込み揷入された割込情報があるかないかを通知 する指定エリ ァ情報とを出力する送信手段と、 映像情報に基づ く 映像を 出力する表示手段と、 表示手段に出力された映像における任意の位置を 指定し、 この指定された位置に基づ く位置情報を出力する位置指定手段 と、 位置情報と映像識別情報と指定エリ ア情報とに基づ く、 位置指定手 段によ り指定された映像に関する関連デ一夕を保持するデ一夕保持手段 とを有 し、 位置指定手段によ り指定された映像が出力されていたタイ ミ ング及びこのタイ ミ ングに位置指定手段によ り指定された映像の座標に 基づき、 この映像に関する関連データが表示手段に出力されるため、 デ —夕保持手段が保持すべきデータ量を抑えるこ とができ、 システム全体 を小型化させるこ とが可能となる。

この発明にかかる情報処理システムは、 映像情報と映像情報の種類を 通知する映像識別情報とを出力する送信手段と、 映像情報に基づ く映像 を出力する表示手段と、 表示手段に出力された映像における任意の位置 を指定し、 この指定された位置に基づ く位置情報を出力する位置指定手 段と、 位置情報と映像識別情報とに基づ く 、 位置指定手段によ り指定さ れた映像に関する関連処理を実行する処理実行手段とを有 し、 位置指定 手段によ り指定された映像の種類及びこの種類の映像の表示手段での座 標に基づき、 この映像に関する処理が処理実行手段で実施されるため、 処理実行手段が参照すべきデータ量を抑えるこ とができ、 システム全体 を小型化させるこ とが可能となる。

また、 この発明にかかる情報処理システムは、 映像情報と映像情報の 種類の切り替わ り を通知する映像識別情報と映像識別情報が切 り替わつ てからの経過時間に関する時間情報とを出力する送信手段と、 映像情報 に基づ く 映像を出力する表示手段と、 表示手段に出力された映像におけ る任意の位置を指定し、 この指定された位置に基づ く位置情報を出力す る位置指定手段と、 位置情報と映像識別情報と時間情報とに基づ く、 位 置指定手段によ り指定された映像に関する関連処理を実行する処理実行 手段とを有 し、 位置指定手段によ り指定された映像が出力されていた時 間及びこの時間に位置指定手段によ り指定された映像の座標に基づき、 この映像に関する処理が処理実行手段で実施されるため、 処理実行手段 が参照すべきデータ量を抑えるこ とができ、 システム全体を小型化させ るこ とが可能となる。

さ らに、 この発明にかかる情報処理システムは、 映像情報と、 映像情 報の種類を通知する映像識別情報と、 映像識別情報に関する映像情報が 出力されている間に割 り込み揷入された割込情報があるかないかを通知 する指定ェリ ァ情報とを出力する送信手段と、 映像情報に基づ く映像を 出力する表示手段と、 表示手段に出力された映像における任意の位置を 指定し、 この指定された位置に基づ く位置情報を出力する位置指定手段 と、 位置情報と映像識別情報と指定エリ ア情報とに基づ く、 位置指定手 段によ り指定された映像に関する関連処理を実行する処理実行手段とを 有 し、 位置指定手段によ り指定された映像が出力されていたタイ ミ ング 及びこのタイ ミ ングに位置指定手段によ り指定された映像の座標に基づ き、 この映像に関する処理が処理実行手段で実施されるため、 処理実行 手段が参照すべきデータ量を抑えるこ とができ、 システム全体を小型化 させるこ とが可能となる。

この発明にかかる情報検索システム又は情報処理システムは、 送信手 段から出力される映像情報に対して、 その出力方法を制御する制御手段 を設け、 送信手段から出力される情報の処理を自在に制御するため、 リ アルタイ ム情報を送信するシステムだけでな く、 V T Rや光ディ スク と いった記録媒体に記録された情報を送信するシステムにも適用できる汎 用性の広いシステムが得られる。 産業上の利用可能性

本発明は、 動画像中の所定の映像を対象と して、 その所定の映像に関 連づけられた関連情報を、 入力部からの指示に基づき検索できるシステ ムであ り、 特にテレ ビ放送、 衛星放送やビデオなどの動画像から関連情 報を検索する情報検索システム、 及びその動画像から関連処理を実行す る情報処理システムに関するものである。

Claims

請 求 の 範 囲

1 . 映像情報と上記映像情報の種類を通知する映像識別情報とを出力す る送信手段と、

上記映像情報に基づ く 映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報とに基づ く 、 上記位置指定手段によ り指定された上記映像に関する関連データを保持するデータ保持手段と を有し、

上記位置指定手段によ り指定された上記映像に関する関連データが上 記表示手段に出力される

こ とを特徴とする情報検索システム。

2 . 映像情報と上記映像情報の種類の切り替わ り を通知する映像識別情 報と上記映像識別情報が切 り替わつてからの経過時間に関する時間情報 とを出力する送信手段と、

上記映像情報に基づ く映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報と上記時間情報とに基づ く 、 上記位 置指定手段によ り指定された上記映像に関する関連データを保持するデ —夕保持手段と

を有し、

上記位置指定手段によ り指定された上記映像に関する関連データが上 記表示手段に出力される こ とを特徴とする情報検索システム。

3 . 映像情報と、 上記映像情報の種類を通知する映像識別情報と、 上記 映像識別情報に関する上記映像情報が出力されている間に割 り込み挿入 された割込情報があるかないかを通知する指定エリ ア情報とを出力する 送信手段と、

上記映像情報に基づ く映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報と上記指定ェリ ァ情報とに基づ く、 上記位置指定手段によ り指定された上記映像に関する関連デ一夕を保持 するデータ保持手段と

を有 し、

上記位置指定手段によ り指定された上記映像に関する関連データが上 記表示手段に出力される

こ とを特徴とする情報検索システム。

4 . 映像情報と上記映像情報の種類を通知する映像識別情報とを出力す る送信手段と、

上記映像情報に基づ く映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報とに基づ く 、 上記位置指定手段によ り指定された上記映像に関する関連処理を実行する処理実行手段と を有するこ とを特徴とする情報処理システム。

5 . 映像情報と上記映像情報の種類の切 り替わ り を通知する映像識別情 報と上記映像識別情報が切り替わってからの経過時間に関する時間情報 とを出力する送信手段と、 上記映像情報に基づ く 映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報と上記時間情報とに基づ く 、 上記位 置指定手段によ り指定された上記映像に関する関連処理を実行する処理 実行手段と

を有するこ とを特徴とする情報処理システム。

6 . 映像情報と、 上記映像情報の種類を通知する映像識別情報と、 上記 映像識別情報に関する上記映像情報が出力されている間に割 り込み挿入 された割込情報があるかないかを通知する指定エリ ア情報とを出力する 送信手段と、

上記映像情報に基づ く映像を出力する表示手段と、

上記表示手段に出力された上記映像における任意の位置を指定し、 こ の指定された位置に基づ く位置情報を出力する位置指定手段と、 上記位置情報と上記映像識別情報と上記指定ェリ ァ情報とに基づ く 、 上記位置指定手段によ り指定された上記映像に関する関連処理を実行す る処理実行手段と

を有するこ とを特徴とする情報処理システム。

7 . 送信手段から出力される映像情報に対して、 その出力方法を制御す る制御手段

を設けたこ とを特徴とする請求項 1 〜 6のいずれかに記載の情報検索シ ステム又は情報処理システム。