JP3412748B2 - 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 - Google Patents
映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体Info
- Publication number
- JP3412748B2 JP3412748B2 JP34796997A JP34796997A JP3412748B2 JP 3412748 B2 JP3412748 B2 JP 3412748B2 JP 34796997 A JP34796997 A JP 34796997A JP 34796997 A JP34796997 A JP 34796997A JP 3412748 B2 JP3412748 B2 JP 3412748B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute value
- value
- video
- search
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、映像データベース
に蓄積されているデータを検索し、一覧や内容を表示す
る方法および装置に関する。
に蓄積されているデータを検索し、一覧や内容を表示す
る方法および装置に関する。
【０００２】
【従来の技術】計算機の高性能化と記憶装置の大容量化
に伴い、デジタル化された映像がデータベースに蓄えら
れるようになってきた。映像データベースを効率よく扱
うために、様々な検索法や表示法と、これらを実装した
装置が提案されている。例えば、映像をショットと呼ば
れる区間に分割して管理し、ショット毎に特徴量やキー
ワードなどの属性値を付けておき、質問として属性値の
並びを与えることによって、質問の条件に適合するショ
ットや、そのショットが含まれる映像を検索する方法が
ある。
に伴い、デジタル化された映像がデータベースに蓄えら
れるようになってきた。映像データベースを効率よく扱
うために、様々な検索法や表示法と、これらを実装した
装置が提案されている。例えば、映像をショットと呼ば
れる区間に分割して管理し、ショット毎に特徴量やキー
ワードなどの属性値を付けておき、質問として属性値の
並びを与えることによって、質問の条件に適合するショ
ットや、そのショットが含まれる映像を検索する方法が
ある。
【０００３】従来の映像データベース検索装置では、質
問の条件に適合するショットの候補が一覧表示される。
候補は、条件への適合度にしたがってランク付けされ並
べられることもある。また、映像に付けられている属性
値を表示するとき、主に１本の映像を対象にして、その
属性値を時間軸上に並べるものもある。
問の条件に適合するショットの候補が一覧表示される。
候補は、条件への適合度にしたがってランク付けされ並
べられることもある。また、映像に付けられている属性
値を表示するとき、主に１本の映像を対象にして、その
属性値を時間軸上に並べるものもある。
【０００４】こういった映像データベースの例として、
Informediaがある(A.G. Hauptmann他「News-on-Demand:
An Application of Informedia (TM) Technology」 D-L
IBMagazine Sep., 1995)， Infomediaについて、図１０
と図１１を用いて説明する。Informediaでは、属性値と
して映像のショット毎にキーワードが付与されている。
キーワードは、クローズドキャプション（字幕放送）
や、音声認識によって得られる。利用者は、入力欄６０
１に質問文を入力し、ボタン６０２を押すと、データベ
ースが検索される。すると、質問文に含まれるキーワー
ドに適合する映像が、適合度にしたがって順番に表示さ
れる。このとき、領域６０３に、ピラミッド状に代表画
面６０４が表示され、上の候補ほど適合度が高いことを
表す。代表画面６０４を選択すると、図１１のような詳
細画面が表示される。領域７０１には、主なショットの
代表画面７０２が時間の順番に表示される。また、代表
画面７０２と同期して、質問文とキーワードとが適合し
たかどうかを表すマーク７０３が表示される。ここでは
黒い部分が質問文に適合する部分を表している。利用者
が代表画面７０２を選択すると、領域７０４に対応する
映像が再生される。
Informediaがある(A.G. Hauptmann他「News-on-Demand:
An Application of Informedia (TM) Technology」 D-L
IBMagazine Sep., 1995)， Infomediaについて、図１０
と図１１を用いて説明する。Informediaでは、属性値と
して映像のショット毎にキーワードが付与されている。
キーワードは、クローズドキャプション（字幕放送）
や、音声認識によって得られる。利用者は、入力欄６０
１に質問文を入力し、ボタン６０２を押すと、データベ
ースが検索される。すると、質問文に含まれるキーワー
ドに適合する映像が、適合度にしたがって順番に表示さ
れる。このとき、領域６０３に、ピラミッド状に代表画
面６０４が表示され、上の候補ほど適合度が高いことを
表す。代表画面６０４を選択すると、図１１のような詳
細画面が表示される。領域７０１には、主なショットの
代表画面７０２が時間の順番に表示される。また、代表
画面７０２と同期して、質問文とキーワードとが適合し
たかどうかを表すマーク７０３が表示される。ここでは
黒い部分が質問文に適合する部分を表している。利用者
が代表画面７０２を選択すると、領域７０４に対応する
映像が再生される。
【０００５】
【発明が解決しようとする課題】大規模な映像データベ
ースを用いて意志決定や知識発見を行おうとすると、様
々な質問文によって検索を行い、大域的な観点と詳細な
観点から２つの観点から検索結果を観察できることが望
ましい。
ースを用いて意志決定や知識発見を行おうとすると、様
々な質問文によって検索を行い、大域的な観点と詳細な
観点から２つの観点から検索結果を観察できることが望
ましい。
【０００６】しかしながら、従来の映像データベース検
索では、検索結果を一つづつ選びながら観察する必要が
あり、大域的な観点からの観察が困難であった。
索では、検索結果を一つづつ選びながら観察する必要が
あり、大域的な観点からの観察が困難であった。
【０００７】そこで、発明の目的は、詳細な観点ばかり
でなく、大域的な見方も可能とする映像データベース検
索表示方法、装置、および映像検索・表示プログラムを
記録した、コンピュータ読取り可能な記録媒体を提供す
ることである。
でなく、大域的な見方も可能とする映像データベース検
索表示方法、装置、および映像検索・表示プログラムを
記録した、コンピュータ読取り可能な記録媒体を提供す
ることである。
【０００８】
【課題を解決するための手段】本発明の第１の映像デー
タベース検索・表示方法は、画像と音声の特徴量および
／またはキーワードを意味する属性値を映像と併せて蓄
積する映像データベースから映像と属性値を検索する検
索段階と、前記検索段階で得られた映像の識別番号と、
該映像の時間的な位置である時刻とに対応する属性値
を、前記識別番号と時刻から構成される座標値に対応す
る画素の値に変換する変換段階と、前記変換段階によっ
て変換された画素の値から構成される一覧画像を表示す
る表示段階を有する。
タベース検索・表示方法は、画像と音声の特徴量および
／またはキーワードを意味する属性値を映像と併せて蓄
積する映像データベースから映像と属性値を検索する検
索段階と、前記検索段階で得られた映像の識別番号と、
該映像の時間的な位置である時刻とに対応する属性値
を、前記識別番号と時刻から構成される座標値に対応す
る画素の値に変換する変換段階と、前記変換段階によっ
て変換された画素の値から構成される一覧画像を表示す
る表示段階を有する。
【０００９】本発明の第１の映像データベース検索・表
示装置は、画像と音声の特徴量および／またはキーワー
ドを意味する属性値を映像と併せて蓄積する映像データ
ベースから映像と属性値を検索する検索手段と、映像の
識別番号と、該映像の時間的な位置である時刻とに対応
する属性値を、前記識別番号と時刻から構成される座標
値に対応する画素の値に変換する変換手段と、前記変換
手段によって変換された画素から構成される一覧画像を
表示する表示手段を有する。
示装置は、画像と音声の特徴量および／またはキーワー
ドを意味する属性値を映像と併せて蓄積する映像データ
ベースから映像と属性値を検索する検索手段と、映像の
識別番号と、該映像の時間的な位置である時刻とに対応
する属性値を、前記識別番号と時刻から構成される座標
値に対応する画素の値に変換する変換手段と、前記変換
手段によって変換された画素から構成される一覧画像を
表示する表示手段を有する。
【００１０】本発明の第１の映像データベース検索・表
示プログラムを記録した、コンピュータ読取り可能な記
録媒体は画像と音声の特徴量および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースから映像と属性値を検索する検索処理と、映像の識
別番号と、該映像時間的な位置である時刻とに対応する
属性値を、前記識別番号と時刻から構成される座標値に
対応する画素の値に変換する変換処理と、前記変換処理
によって変換された画素の値から構成される一覧画像を
表示装置に表示する表示処理をコンピュータに実行させ
る映像検索・表示プログラムを記録している。
示プログラムを記録した、コンピュータ読取り可能な記
録媒体は画像と音声の特徴量および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースから映像と属性値を検索する検索処理と、映像の識
別番号と、該映像時間的な位置である時刻とに対応する
属性値を、前記識別番号と時刻から構成される座標値に
対応する画素の値に変換する変換処理と、前記変換処理
によって変換された画素の値から構成される一覧画像を
表示装置に表示する表示処理をコンピュータに実行させ
る映像検索・表示プログラムを記録している。
【００１１】映像データベースから検索された属性値を
一覧画像に変換して表示するので、大域的な観点からの
検索結果の観察が可能になり、大規模な映像データベー
スを用いた意志決定や知識発見を行うことが容易にな
る。
一覧画像に変換して表示するので、大域的な観点からの
検索結果の観察が可能になり、大規模な映像データベー
スを用いた意志決定や知識発見を行うことが容易にな
る。
【００１２】本発明の第２の映像データベース検索・表
示方法は、画像と音声の特徴および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースに蓄積された前記属性値を、属性値と画素値が１対
１に対応するように画素値に変換し、該画素値で構成さ
れる第１の一覧画像を作成する第１の変換段階と、第１
の一覧画像の画素値を逆変換し、元の属性値を得る逆変
換段階と、登録されている属性値を参照して、前記逆変
換された属性値を検索する検索段階と、登録されている
属性値と画素値の組を参照し、前記検索段階によって検
索された属性値を画素値に変換し、該画素値で構成され
る第２の一覧画像を作成する第２の変換段階と、第２の
一覧画像を表示する表示段階を有する。
示方法は、画像と音声の特徴および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースに蓄積された前記属性値を、属性値と画素値が１対
１に対応するように画素値に変換し、該画素値で構成さ
れる第１の一覧画像を作成する第１の変換段階と、第１
の一覧画像の画素値を逆変換し、元の属性値を得る逆変
換段階と、登録されている属性値を参照して、前記逆変
換された属性値を検索する検索段階と、登録されている
属性値と画素値の組を参照し、前記検索段階によって検
索された属性値を画素値に変換し、該画素値で構成され
る第２の一覧画像を作成する第２の変換段階と、第２の
一覧画像を表示する表示段階を有する。
【００１３】本発明の第２の映像データベース検索・表
示装置は、画像と音声の特徴および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースに蓄積された前記属性値を、属性値と画素値が１対
１に対応するように画素値に変換し、該画素値で構成さ
れる第１の一覧画像を作成する第１の変換手段と、第１
の一覧画像を画素値を逆変換し、元の属性値を得る逆変
換手段と、属性値と画素値の組が登録されている登録手
段と、前記登録手段に登録されている属性値を参照し
て、前記逆変換手段によって逆変換された属性値を検索
する検索手段と、前記登録手段に登録されている属性値
と画素値の組を参照し、前記検索段階によって検索され
た属性値を画素値に変換し、該画素値で構成される第２
の一覧画像を作成する第２の変換手段と、第２の一覧画
像を表示する表示手段を有する。
示装置は、画像と音声の特徴および／またはキーワード
を意味する属性値を映像と併せて蓄積する映像データベ
ースに蓄積された前記属性値を、属性値と画素値が１対
１に対応するように画素値に変換し、該画素値で構成さ
れる第１の一覧画像を作成する第１の変換手段と、第１
の一覧画像を画素値を逆変換し、元の属性値を得る逆変
換手段と、属性値と画素値の組が登録されている登録手
段と、前記登録手段に登録されている属性値を参照し
て、前記逆変換手段によって逆変換された属性値を検索
する検索手段と、前記登録手段に登録されている属性値
と画素値の組を参照し、前記検索段階によって検索され
た属性値を画素値に変換し、該画素値で構成される第２
の一覧画像を作成する第２の変換手段と、第２の一覧画
像を表示する表示手段を有する。
【００１４】本発明の第２の映像データベース検索表示
プログラムを記録した、コンピュータ読取り可能な記録
媒体は、画像と音声の特徴および／またはキーワードを
意味する属性値を映像と併せて蓄積する映像データベー
スに蓄積された前記属性値を、属性値と画素値が１対１
に対応するように画素値に変換し、該画素値で構成され
る第１の一覧画面を作成する第１の変換処理と、第１の
一覧画像を画素値を逆変換し、元の属性値を得る逆変換
段階と、登録されている属性値を参照して、前記逆変換
された属性値を検索する検索処理と、登録されている属
性値と画素値の組を参照し、前記検索処理によって検索
された属性値を画素値に変換し、該画素値で構成される
第２の一覧画像を作成する第２の変換処理と、第２の一
覧画像を表示装置に表示する表示処理をコンピュータに
実行させるための映像検索表示プログラムを記録してい
る。
プログラムを記録した、コンピュータ読取り可能な記録
媒体は、画像と音声の特徴および／またはキーワードを
意味する属性値を映像と併せて蓄積する映像データベー
スに蓄積された前記属性値を、属性値と画素値が１対１
に対応するように画素値に変換し、該画素値で構成され
る第１の一覧画面を作成する第１の変換処理と、第１の
一覧画像を画素値を逆変換し、元の属性値を得る逆変換
段階と、登録されている属性値を参照して、前記逆変換
された属性値を検索する検索処理と、登録されている属
性値と画素値の組を参照し、前記検索処理によって検索
された属性値を画素値に変換し、該画素値で構成される
第２の一覧画像を作成する第２の変換処理と、第２の一
覧画像を表示装置に表示する表示処理をコンピュータに
実行させるための映像検索表示プログラムを記録してい
る。
【００１５】属性値と画素値とが１対１に対応する第１
の一覧画像を作成する変換部と、第１の一覧画像を第２
の一覧画像に変換する第２の変換部と、第１の一覧画像
の画素値を属性値に変換する逆変換部を有し、座標入力
と属性表示の間に映像データベースの検索を介さないた
め、高速な表示が可能となる。
の一覧画像を作成する変換部と、第１の一覧画像を第２
の一覧画像に変換する第２の変換部と、第１の一覧画像
の画素値を属性値に変換する逆変換部を有し、座標入力
と属性表示の間に映像データベースの検索を介さないた
め、高速な表示が可能となる。
【００１６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１７】図１を参照すると、本発明の第１の実施形
態の映像データベース検索・表示装置は映像データベー
ス１０１と検索部１０２と変換部１０３と表示部１０４
と座標入力部１０６で構成されている。
態の映像データベース検索・表示装置は映像データベー
ス１０１と検索部１０２と変換部１０３と表示部１０４
と座標入力部１０６で構成されている。
【００１８】映像データベース１０１は、映像データベ
ースの他に、属性値を併せて蓄積する。属性値として
は、画像と音声に関する特徴量やキーワードを用いるこ
とができる。検索部１０２は、座標入力部１０６から質
問を入力すると、適合する映像データや属性値を映像デ
ータベース１０１から検索する（ステップ２０１）。質
問としては、映像の識別番号、映像の時間的位置である
時刻、属性値を単独で、あるいは組み合わせて用いるこ
とができる。変換部１０３は、映像データベース１０１
内の属性値を画素値に変換し、画素値から構成される一
覧画像を作成する（ステップ２０２）。ここで、識別番
号ｉの映像の、時刻ｔの時点での属性値をａ（ｔ，ｉ）
とすると、変換関数ｆによってｖ（ｔ，ｉ）＝ｆ（ａ
（ｔ，ｉ））、という変換を行い、画素値ｖ（ｔ，ｉ）
を得る。表示部１０４は、変換部１０３によって作成さ
れた一覧画像を表示する（ステップ２０３）。
ースの他に、属性値を併せて蓄積する。属性値として
は、画像と音声に関する特徴量やキーワードを用いるこ
とができる。検索部１０２は、座標入力部１０６から質
問を入力すると、適合する映像データや属性値を映像デ
ータベース１０１から検索する（ステップ２０１）。質
問としては、映像の識別番号、映像の時間的位置である
時刻、属性値を単独で、あるいは組み合わせて用いるこ
とができる。変換部１０３は、映像データベース１０１
内の属性値を画素値に変換し、画素値から構成される一
覧画像を作成する（ステップ２０２）。ここで、識別番
号ｉの映像の、時刻ｔの時点での属性値をａ（ｔ，ｉ）
とすると、変換関数ｆによってｖ（ｔ，ｉ）＝ｆ（ａ
（ｔ，ｉ））、という変換を行い、画素値ｖ（ｔ，ｉ）
を得る。表示部１０４は、変換部１０３によって作成さ
れた一覧画像を表示する（ステップ２０３）。
【００１９】図３は変換部１０３の第１の例を表す図で
ある。変換表に、属性値と画素値の組を登録しておく。
この例では、属性値Ａ，Ｂ，Ｃに対してそれぞれ、斜
線、白、黒で表される画素値が登録されている。映像デ
ータベース１０１から属性値が読み出され、変換表にし
たがって属性値を画素値に変換する。画素値は、映像の
識別番号（ＩＤ）と時刻（ｔ）によって構成される座標
値に格納される。時刻の単位としては、フレームの番号
やショットの番号を用いることができる。
ある。変換表に、属性値と画素値の組を登録しておく。
この例では、属性値Ａ，Ｂ，Ｃに対してそれぞれ、斜
線、白、黒で表される画素値が登録されている。映像デ
ータベース１０１から属性値が読み出され、変換表にし
たがって属性値を画素値に変換する。画素値は、映像の
識別番号（ＩＤ）と時刻（ｔ）によって構成される座標
値に格納される。時刻の単位としては、フレームの番号
やショットの番号を用いることができる。
【００２０】図４は変換部１０３の第２の例を表す図で
ある。ここでは、属性値はビット列Ａｎ（ｎ＝１〜Ｎ）
によって表される。例えば、Ａｌが１であればカメラが
右に動いているという情報を表す。属性値Ａｎを画素値
Ｖｍ（ｍ＝１〜ｍ）に変換するために、ｍ＝ｇ（ｎ），
Ｖｍ＝Ａｎという変換を行う。最も単純な場合として、
Ｎ≦Ｍ，ｍ＝ｇ（ｎ）＝ｎとし、属性値をそのまま画素
値とすることもある。ｇが多対１の関数の場合は、複数
のＡｎがひとつのＶｍに対応することがある。このとき
は、Ａｎの間で論理和をとり、いずれかのＡｎが１であ
れば、対応するＶｍを１とする。
ある。ここでは、属性値はビット列Ａｎ（ｎ＝１〜Ｎ）
によって表される。例えば、Ａｌが１であればカメラが
右に動いているという情報を表す。属性値Ａｎを画素値
Ｖｍ（ｍ＝１〜ｍ）に変換するために、ｍ＝ｇ（ｎ），
Ｖｍ＝Ａｎという変換を行う。最も単純な場合として、
Ｎ≦Ｍ，ｍ＝ｇ（ｎ）＝ｎとし、属性値をそのまま画素
値とすることもある。ｇが多対１の関数の場合は、複数
のＡｎがひとつのＶｍに対応することがある。このとき
は、Ａｎの間で論理和をとり、いずれかのＡｎが１であ
れば、対応するＶｍを１とする。
【００２１】なお、画素値Ｖｍは、単なるグレイスケー
ルの濃淡値を表してもよいし、赤、青、緑それぞれの濃
淡値を表して色を表してもよい。
ルの濃淡値を表してもよいし、赤、青、緑それぞれの濃
淡値を表して色を表してもよい。
【００２２】図５を参照すると、本発明の第２の実施形
態の映像データベース検索・蓄積装置は映像データベー
ス１０１と検索部１０２と変換部１０３と表示部１０４
と登録部１０５と座標部入力部１０６と属性表示部１０
７で構成され、第１の実施形態の映像データベース検索
・蓄積装置に登録部１０５と属性表示部１０７を付加し
たものである。
態の映像データベース検索・蓄積装置は映像データベー
ス１０１と検索部１０２と変換部１０３と表示部１０４
と登録部１０５と座標部入力部１０６と属性表示部１０
７で構成され、第１の実施形態の映像データベース検索
・蓄積装置に登録部１０５と属性表示部１０７を付加し
たものである。
【００２３】第１の実施形態と同様に、映像データベー
ス１０１に蓄積された属性値は検索部１０２、変換部１
０３を通じて、一覧画像に変換され、表示部１０４に表
示される。座標入力部１０６により、映像の識別番号と
時刻から構成される座標値が入力されると、識別番号と
時刻を質問とし、検索部１０２によって映像データベー
ス１０１から、適合する属性値を得る。得られた属性値
を属性表示部１０７に表示する。登録部１０５には属性
値と、変換部１０３において変換された画素値と、これ
らを識別する名前の３つが組で登録される。
ス１０１に蓄積された属性値は検索部１０２、変換部１
０３を通じて、一覧画像に変換され、表示部１０４に表
示される。座標入力部１０６により、映像の識別番号と
時刻から構成される座標値が入力されると、識別番号と
時刻を質問とし、検索部１０２によって映像データベー
ス１０１から、適合する属性値を得る。得られた属性値
を属性表示部１０７に表示する。登録部１０５には属性
値と、変換部１０３において変換された画素値と、これ
らを識別する名前の３つが組で登録される。
【００２４】図６に表示部１０４、登録部１０５、座標
入力部１０６、属性表示部１０７の具体例を表す。表示
デバイスとしては、ブラウン管、液晶ディスプレイなど
を用いることができる。３０１は、表示された一覧画像
を表す。一覧画像３０１は、横方向のストライプ状をな
しており、１本のストライプが一つの映像データを表し
ている。横軸は時刻を表す。ストライプには、変換部１
０３によって変換された画素値が表示されている。一覧
画像が大きくて、表示部１０４に収まらない場合は、左
端や下端のスクロールバーによって移動させることがで
きる。このように表示すれば、多数の映像データの属性
値を一望することができ、大域的な観点からの検索結果
を観察が可能になり、大規模な映像データベースを用い
た意志決定や知識発見を行うことが容易になる。
入力部１０６、属性表示部１０７の具体例を表す。表示
デバイスとしては、ブラウン管、液晶ディスプレイなど
を用いることができる。３０１は、表示された一覧画像
を表す。一覧画像３０１は、横方向のストライプ状をな
しており、１本のストライプが一つの映像データを表し
ている。横軸は時刻を表す。ストライプには、変換部１
０３によって変換された画素値が表示されている。一覧
画像が大きくて、表示部１０４に収まらない場合は、左
端や下端のスクロールバーによって移動させることがで
きる。このように表示すれば、多数の映像データの属性
値を一望することができ、大域的な観点からの検索結果
を観察が可能になり、大規模な映像データベースを用い
た意志決定や知識発見を行うことが容易になる。
【００２５】３０３の矢印は、座標入力部１０６の例で
あり、マウスなどのポインティングデバイスによって指
示されるポインタである。ポインタによって映像の識別
番号と時刻を指定することができる。指定した識別番号
の映像の、指定した時刻における属性値が属性表示部３
０４に表示される。ここでは、識別番号（ＩＤ）が２０
１９、時刻（Ｆｒａｍｅ）が２０７０であり、「Cut/NoM
otion/0/Full/Eye/NoAngle/NoTelop」 という属性が表示
されている。このように、ポインタで指定した映像と時
刻に対する属性値を表示すれば、知りたい箇所を検索す
るための質問文をいちいち作る必要がなく、手早く属性
値を知ることができる。
あり、マウスなどのポインティングデバイスによって指
示されるポインタである。ポインタによって映像の識別
番号と時刻を指定することができる。指定した識別番号
の映像の、指定した時刻における属性値が属性表示部３
０４に表示される。ここでは、識別番号（ＩＤ）が２０
１９、時刻（Ｆｒａｍｅ）が２０７０であり、「Cut/NoM
otion/0/Full/Eye/NoAngle/NoTelop」 という属性が表示
されている。このように、ポインタで指定した映像と時
刻に対する属性値を表示すれば、知りたい箇所を検索す
るための質問文をいちいち作る必要がなく、手早く属性
値を知ることができる。
【００２６】３０５はプルダウンメニューであり、検索
したい属性値をカテゴリ別に選択することができる。例
えば左から２番目のカテゴリ「ｃａｍｅｒａ（カメ
ラ）」を選択すると、「* （不特定）」「動きなし」
「ズームイン」「ズームアウト」「上」「下」「左」
「右」「回り込み」といった属性値の一覧が表示される
ので、そこから選択する。選択された属性値は領域３０
７にカテゴリ別に「／」で区切られて表示される。「Ｒ
ｅｓｅｔ( リセット）」ボタン３０８を押すと、すべて
のカテゴリが「* （不特定）」になる。また、入力欄３
０６には、属性値の組み合わせに対して名前を入力する
ことができる。３０９は画素値を選択するメニューで、
これを選択すると、赤や青、緑などの色の一覧が表示さ
れるので、そこから１色選ぶ。以上の操作によって、属
性値と、画素値、名前の３つ組が決定される。そこで登
録ボタン３１０を押すと、登録一覧３１１に３つ組が登
録される。このように名前をつけることによって、属性
値の組み合わせの意味がわかりやすく表示することがで
きる。「Ｓｅａｒｃｈ（検索）」ボタン３１２を押す
と、登録一覧３１１に登録されている属性値が検索さ
れ、対応する画素値に変換した一覧画像を作成し、一覧
画像３０１に表示し直す。「Ｒｅｓｔｏｒｅ（復帰）」
ボタン３１３を押すと、以前の一覧画像に戻される。
したい属性値をカテゴリ別に選択することができる。例
えば左から２番目のカテゴリ「ｃａｍｅｒａ（カメ
ラ）」を選択すると、「* （不特定）」「動きなし」
「ズームイン」「ズームアウト」「上」「下」「左」
「右」「回り込み」といった属性値の一覧が表示される
ので、そこから選択する。選択された属性値は領域３０
７にカテゴリ別に「／」で区切られて表示される。「Ｒ
ｅｓｅｔ( リセット）」ボタン３０８を押すと、すべて
のカテゴリが「* （不特定）」になる。また、入力欄３
０６には、属性値の組み合わせに対して名前を入力する
ことができる。３０９は画素値を選択するメニューで、
これを選択すると、赤や青、緑などの色の一覧が表示さ
れるので、そこから１色選ぶ。以上の操作によって、属
性値と、画素値、名前の３つ組が決定される。そこで登
録ボタン３１０を押すと、登録一覧３１１に３つ組が登
録される。このように名前をつけることによって、属性
値の組み合わせの意味がわかりやすく表示することがで
きる。「Ｓｅａｒｃｈ（検索）」ボタン３１２を押す
と、登録一覧３１１に登録されている属性値が検索さ
れ、対応する画素値に変換した一覧画像を作成し、一覧
画像３０１に表示し直す。「Ｒｅｓｔｏｒｅ（復帰）」
ボタン３１３を押すと、以前の一覧画像に戻される。
【００２７】ポインタ３０３で、一覧画像３０１を選択
すると、対応する映像データが映像表示部３１４に再生
される。３１６はスライドバーであり、これを操作する
ことによって、再生時刻を前後に動かすことができお
る。３１７は「Ｐｌａｙ（再生）」ボタンであり、中断
している再生を再開する。３１８は「Ｓｔｏｐ（停
止）」ボタンであり、再生を中断する。一覧画像３０１
の中においては、縦１本横２本の線分３０２によって再
生中の位置が表示される。縦線は時間とともに右へ移動
する。
すると、対応する映像データが映像表示部３１４に再生
される。３１６はスライドバーであり、これを操作する
ことによって、再生時刻を前後に動かすことができお
る。３１７は「Ｐｌａｙ（再生）」ボタンであり、中断
している再生を再開する。３１８は「Ｓｔｏｐ（停
止）」ボタンであり、再生を中断する。一覧画像３０１
の中においては、縦１本横２本の線分３０２によって再
生中の位置が表示される。縦線は時間とともに右へ移動
する。
【００２８】図７を参照すると、本発明の第３の実施形
態の映像データベース検索・蓄積装置は映像データベー
ス１０１と検索部１０２と変換部１０３Ａ、１０３Ｂと
表示部１０４と登録部１０５と座標入力部１０６と属性
表示部１０７と逆変換部１０８で構成されている。
態の映像データベース検索・蓄積装置は映像データベー
ス１０１と検索部１０２と変換部１０３Ａ、１０３Ｂと
表示部１０４と登録部１０５と座標入力部１０６と属性
表示部１０７と逆変換部１０８で構成されている。
【００２９】本実施形態では、一覧画像を２つ用いる。
前述のように、映像データベース１０１に蓄積された属
性値を、変換部１０３Ａによって、属性値と画素値が１
対１に対応するように画素値に変換し、画素値からなる
一覧画像Ａを作成する（ステップ４０１）。一覧画像Ａ
の画素値を逆変換部１０８によって逆変換し、元の属性
値を得る（ステップ４０２）。検索部１０２では、登録
部１０５に登録されている属性値を参照して、逆変換部
１０８によって逆変換された属性値を検索する（ステッ
プ４０３）。また、変換部１０３Ｂでは、登録部１０５
に登録されている属性値と画素値の組を参照して前記属
性値を画素値に変換し、画素値からなる一覧画像Ｂを作
成する（ステップ４０４）。表示部１０４は一覧画像Ｂ
を表示する（ステップ４０５）。座標入力部１０６に映
像の識別番号と時刻を入力すると、逆変換部１０８は一
覧画像Ａから対応する座標の画素値を取り出し、その画
素値を逆変換部１０７によって元の属性値に戻す（ステ
ップ４０６，４０７）。逆変換された属性値は属性表示
部１０６に表示される（ステップ４０８）。
前述のように、映像データベース１０１に蓄積された属
性値を、変換部１０３Ａによって、属性値と画素値が１
対１に対応するように画素値に変換し、画素値からなる
一覧画像Ａを作成する（ステップ４０１）。一覧画像Ａ
の画素値を逆変換部１０８によって逆変換し、元の属性
値を得る（ステップ４０２）。検索部１０２では、登録
部１０５に登録されている属性値を参照して、逆変換部
１０８によって逆変換された属性値を検索する（ステッ
プ４０３）。また、変換部１０３Ｂでは、登録部１０５
に登録されている属性値と画素値の組を参照して前記属
性値を画素値に変換し、画素値からなる一覧画像Ｂを作
成する（ステップ４０４）。表示部１０４は一覧画像Ｂ
を表示する（ステップ４０５）。座標入力部１０６に映
像の識別番号と時刻を入力すると、逆変換部１０８は一
覧画像Ａから対応する座標の画素値を取り出し、その画
素値を逆変換部１０７によって元の属性値に戻す（ステ
ップ４０６，４０７）。逆変換された属性値は属性表示
部１０６に表示される（ステップ４０８）。
【００３０】本実施形態は、第２の実施形態に比べて、
一覧画像Ａの分の記憶領域が必要になるが、座標入力と
属性表示の間に映像データベース１０１の検索を介さな
いため、高速な表示が可能になるという利点がある。
一覧画像Ａの分の記憶領域が必要になるが、座標入力と
属性表示の間に映像データベース１０１の検索を介さな
いため、高速な表示が可能になるという利点がある。
【００３１】図９を参照すると、本発明の第４の実施形
態の映像検索・表示装置は、映像データベース５０１と
入力装置５０２と登録装置５０３と表示装置５０４と記
録媒体５０５とデータ処理装置５０６で構成されてい
る。
態の映像検索・表示装置は、映像データベース５０１と
入力装置５０２と登録装置５０３と表示装置５０４と記
録媒体５０５とデータ処理装置５０６で構成されてい
る。
【００３２】映像データベース５０１は図１、図５、図
７中の映像データ１０１と同じく、画像と、音声の特徴
量やキーワードを意味する属性値を映像と併せて蓄積す
る。入力装置５０２は映像の識別信号、時刻、属性値、
映像の識別番号と時刻から構成される座標値を入力する
キーボード、マウスなどである。登録装置５０３は図
５、図７中の登録部１０５に相当する。表示装置５０４
はディスプレイなどの表示装置で一覧画面や属性値を表
示する。記録媒体５０４には、図１の実施の形態におけ
る映像データベース１０１の検索から、表示部１０４に
一覧画像を表示するまで処理からなる映像・検索表示プ
ログラム、または図５の実施形態における映像データベ
ース１０１の検索から一覧画像を属性表示部１０７に表
示するまでの処理からなる映像・検索表示プログラム、
または図７の一覧画面Ａの作成から一覧画面Ｂの表示部
１０４への表示および属性値の属性値表示部１０７への
表示までの処理からなる映像・検索表示プログラムが記
録されている。データ処理装置５０６は記録媒体５０５
に記録されている映像検索表示プログラムを読み込み、
実行する。
７中の映像データ１０１と同じく、画像と、音声の特徴
量やキーワードを意味する属性値を映像と併せて蓄積す
る。入力装置５０２は映像の識別信号、時刻、属性値、
映像の識別番号と時刻から構成される座標値を入力する
キーボード、マウスなどである。登録装置５０３は図
５、図７中の登録部１０５に相当する。表示装置５０４
はディスプレイなどの表示装置で一覧画面や属性値を表
示する。記録媒体５０４には、図１の実施の形態におけ
る映像データベース１０１の検索から、表示部１０４に
一覧画像を表示するまで処理からなる映像・検索表示プ
ログラム、または図５の実施形態における映像データベ
ース１０１の検索から一覧画像を属性表示部１０７に表
示するまでの処理からなる映像・検索表示プログラム、
または図７の一覧画面Ａの作成から一覧画面Ｂの表示部
１０４への表示および属性値の属性値表示部１０７への
表示までの処理からなる映像・検索表示プログラムが記
録されている。データ処理装置５０６は記録媒体５０５
に記録されている映像検索表示プログラムを読み込み、
実行する。
【００３３】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。
うな効果がある。
【００３４】請求項１，３，８の発明では、映像データ
ベースから検索された属性値を一覧画像に変換して表示
するので、大域的な観点からの検索結果の観察が可能に
なり、大規模な映像データベースを用いた意志決定や知
識発見を行うことが容易になる。
ベースから検索された属性値を一覧画像に変換して表示
するので、大域的な観点からの検索結果の観察が可能に
なり、大規模な映像データベースを用いた意志決定や知
識発見を行うことが容易になる。
【００３５】請求項４の発明は、属性値と、画素値と、
名前の３つ組を登録するので、属性値の組み合わせの意
味をわかりやすく表示することができる。
名前の３つ組を登録するので、属性値の組み合わせの意
味をわかりやすく表示することができる。
【００３６】請求項５と７の発明は、座標入力部と座標
値に対応する属性値を表示する属性表示部を有するの
で、映像と時刻に対する属性値を手早く知ることができ
る。
値に対応する属性値を表示する属性表示部を有するの
で、映像と時刻に対する属性値を手早く知ることができ
る。
【００３７】請求項２と６と１０の発明は、属性値と画
素値とが１対１に対応する第１の一覧画像を作成する変
換部と、第１の一覧画像を第２の一覧画像に変換する第
２の変換部と、第１の一覧画像の画素値を属性値に変換
する逆変換部を有し、座標入力と属性表示の間に映像デ
ータベースの検索を介さないため、高速な表示が可能な
る。
素値とが１対１に対応する第１の一覧画像を作成する変
換部と、第１の一覧画像を第２の一覧画像に変換する第
２の変換部と、第１の一覧画像の画素値を属性値に変換
する逆変換部を有し、座標入力と属性表示の間に映像デ
ータベースの検索を介さないため、高速な表示が可能な
る。
【図１】本発明の第１の実施形態の映像データベース検
索表示装置の構成図である。
索表示装置の構成図である。
【図２】第１の実施形態の動作を示すフローチャートで
ある。
ある。
【図３】図１中の変換部１０３の第１の例を示す図であ
る。
る。
【図４】図１中の変換部１０３の第２の例を示す図であ
る。
る。
【図５】本発明の第２の実施形態の映像データベース検
索表示装置の構成図である。
索表示装置の構成図である。
【図６】図５中の表示部１０４、登録部１０５、座標入
力部１０５、属性表示部１０７の具体例を示す図であ
る。
力部１０５、属性表示部１０７の具体例を示す図であ
る。
【図７】本発明の第３の実施形態の映像データベース検
索表示装置の構成図である。
索表示装置の構成図である。
【図８】第３の実施形態の映像データベース検索表示装
置の動作を示すフローチャート図である。
置の動作を示すフローチャート図である。
【図９】本発明の第４の実施形態の映像データベース検
索表示装置の構成図である。
索表示装置の構成図である。
【図１０】従来技術のInformediaを説明する図である。
【図１１】従来技術のInformediaを説明する図である。
１０１ 映像データベース
１０２ 検索部
１０３，１０３Ａ，１０３Ｂ 変換部
１０４ 表示部
１０５ 登録部
１０６ 座標入力部
１０７ 属性表示部
１０８ 逆変換部
２０１〜２０３ ステップ
３０１ 一覧画像
３０２ 線分
３０３ ポインタ
３０４ 属性表示部
３０５ プルダウンメニュー
３０６ 入力欄
３０７ 領域
３０８ リセットボタン
３０９ メニュー
３１０ 登録ボタン
３１１ 登録一覧
３１２ 検索ボタン
３１３ 復帰ボタン
３１４ 表示部
３１６ スライドバー
３１７ 再生ボタン
３１８ 停止ボタン
４０１〜４０８ ステップ
５０１ 映像データベース
５０２ 入力装置
５０３ 登録装置
５０４ 出力装置
５０５ 記録媒体
５０６ データ処理装置
フロントページの続き
(72)発明者 外村 佳伸
東京都新宿区西新宿三丁目19番２号 日
本電信電話株式会社内
(56)参考文献 特開 平７−192003（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/76 - 5/956
H04N 7/24 - 7/68
Claims (11)
- 【請求項１】 画像と音声の特徴量および／またはキー
ワードを意味する属性値を映像と併せて蓄積する映像デ
ータベースから映像と属性値を検索する検索段階と、 前記検索段階で得られた映像の識別番号と、該映像の時
間的な位置である時刻とに対応する属性値を、前記識別
番号と時刻から構成される座標値に対応する画素の値に
変換する変換段階と、 前記変換段階によって変換された画素の値から構成され
る一覧画像を表示する表示段階を有する映像データベー
ス検索表示方法。 - 【請求項２】 画像と音声の特徴および／またはキーワ
ードを意味する属性値を映像と併せて蓄積する映像デー
タベースに蓄積された前記属性値を、属性値と画素値が
１対１に対応するように画素値に変換し、該画素値で構
成される第１の一覧画像を作成する第１の変換段階と、 第１の一覧画像の画素値を逆変換し、元の属性値を得る
逆変換段階と、 登録されている属性値を参照して、前記逆変換された属
性値を検索する検索段階と、 登録されている属性値と画素値の組を参照し、前記検索
段階によって検索された属性値を画素値に変換し、該画
素値で構成される第２の一覧画像を作成する第２の変換
段階と、 第２の一覧画像を表示する表示段階を有する映像データ
ベース検索表示方法。 - 【請求項３】 画像と音声の特徴量および／またはキー
ワードを意味する属性値を映像と併せて蓄積する映像デ
ータベースから映像と属性値を検索する検索手段と、 映像の識別番号と時刻に対応する属性値を、前記識別番
号と、該映像の時間的な位置である時刻から構成される
座標値に対応する画素の値に変換する変換手段と、 前記変換手段によって変換された画素から構成される一
覧画像を表示する表示手段を有する映像データベース検
索・表示装置。 - 【請求項４】 属性値と、前記変換手段において変換さ
れた画素の値と、これらを識別する名前の３つが組で登
録される登録手段をさらに有する請求項３記載の映像デ
ータベース検索表示装置。 - 【請求項５】 前記検索手段に対して、映像の識別番号
と、該映像の時間的位置である時刻とから構成される座
標値を指定する座標入力手段と、属性値を表示する属性
値表示手段をさらに有し、前記検索手段は、該座標入力
手段から入力された座標値に対応する属性値を前記映像
データベースから検索し、前記属性値表示手段に表示す
る請求項３または４記載の映像データベース検索・表示
装置。 - 【請求項６】 画像と音声の特徴および／またはキーワ
ードを意味する属性値を映像と併せて蓄積する映像デー
タベースに蓄積された前記属性値を、属性値と画素値が
１対１に対応するように画素値に変換し、該画素値で構
成される第１の一覧画像を作成する第１の変換手段と、 第１の一覧画像の画素値を逆変換し、元の属性値を得る
逆変換手段と、 属性値と画素値の組が登録されている登録手段と、 前記登録手段に登録されている属性値を参照して、前記
逆変換手段によって逆変換された属性値を検索する検索
手段と、 前記登録手段に登録されている属性値と画素値の組を参
照し、前記検索手段によって検索された属性値を画素値
に変換し、該画素値で構成される第２の一覧画像を作成
する第２の変換手段と、 第２の一覧画像を表示する表示手段を有する映像データ
ベース検索表示装置。 - 【請求項７】 映像の識別番号と、該映像の時間的な位
置である時刻から構成される座標値を指定する座標入力
手段と、逆変換された属性値を表示する属性値表示手段
をさらに有し、前記逆変換手段は、前記座標入力手段か
ら座標値が入力されると、第１の一覧画像から該座標値
に対応する画素値を取り出し、該画素値を元の属性値に
戻し、前記属性値表示手段に表示する、請求項６記載の
映像データベース検索・表示装置。 - 【請求項８】 画像と音声の特徴量および／またはキー
ワードを意味する属性値を映像と併せて蓄積する映像デ
ータベースから映像と属性値を検索する検索処理と、 前記検索処理で得られた映像の識別番号と、該映像の時
間的な位置である時刻とに対応する属性値を、前記識別
番号と時刻から構成される座標値に対応する画素の値に
変換する変換処理と、 前記変換処理によって変換された画素の値から構成され
る一覧画像を表示装置に表示する表示処理をコンピュー
タに実行させる映像検索表示プログラムを記録した、コ
ンピュータ読取り可能な記録媒体。 - 【請求項９】 映像の識別番号と、該映像の時間的位置
である時刻とから構成される、入力された座標値に対応
する属性値を前記映像データベースから検索し、表示装
置に表示する処理をさらに有する、請求項８記載の記録
媒体。 - 【請求項１０】 画像と音声の特徴および／またはキー
ワードを意味する属性値を映像と併せて蓄積する映像デ
ータベースに蓄積された前記属性値を、属性値と画素値
が１対１に対応するように画素値に変換し、該画素値か
らなる第１の一覧画像を作成する第１の変換処理と、 第１の一覧画像の画素値を逆変換し、元の属性値を得る
逆変換処理と、 登録されている属性値を参照して、前記逆変換された属
性値を検索する検索処理と、 登録されている属性値と画素値の組を参照し、前記検索
処理によって検索された属性値を画素値に変換し、該画
素値からなる第２の一覧画像を作成する第２の変換処理
と、 第２の一覧画像を表示装置に表示する表示処理をコンピ
ュータに実行させるための映像検索表示プログラムを記
録した、コンピュータ読取り可能な記録媒体。 - 【請求項１１】 映像の識別番号と、該映像の時間的な
位置である時刻から構成される座標値を入力する座標入
力処理をさらに有し、前記逆変換処理は前記座標入力処
理から座標が入力されると、第１の一覧画像から対応す
る画素値を取り出し、該座標値を元の属性値に戻し、表
示装置に表示する請求項１０記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34796997A JP3412748B2 (ja) | 1997-12-17 | 1997-12-17 | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34796997A JP3412748B2 (ja) | 1997-12-17 | 1997-12-17 | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11175561A JPH11175561A (ja) | 1999-07-02 |
| JP3412748B2 true JP3412748B2 (ja) | 2003-06-03 |
Family
ID=18393848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34796997A Expired - Lifetime JP3412748B2 (ja) | 1997-12-17 | 1997-12-17 | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3412748B2 (ja) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3361587B2 (ja) * | 1993-12-27 | 2003-01-07 | 株式会社日立製作所 | 動画像検索装置及び方法 |
-
1997
- 1997-12-17 JP JP34796997A patent/JP3412748B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11175561A (ja) | 1999-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6766057B2 (en) | Video retrieval method and apparatus | |
| JP3780623B2 (ja) | 動画像の記述方法 | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| US11531457B2 (en) | Video display for displaying a series of representative images for video | |
| EP0555028A2 (en) | An apparatus and method for manipulating digital data relating to motion video images | |
| US20080235184A1 (en) | Image Search Method, Image Search Apparatus, and Recording Medium Having Image Search Program Code Thereon | |
| US20100057722A1 (en) | Image processing apparatus, method, and computer program product | |
| US6789088B1 (en) | Multimedia description scheme having weight information and method for displaying multimedia | |
| JP2000276484A (ja) | 画像検索装置、画像検索方法及び画像表示装置 | |
| CN107229741A (zh) | 信息搜索方法、装置、设备以及存储介质 | |
| JP4197014B2 (ja) | 映像の検索方法および装置 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JP3332166B2 (ja) | 動画像の検索装置 | |
| EP0899666B1 (en) | Image processing apparatus displaying a catalog of different types of data in different manner | |
| JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
| JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH06309381A (ja) | 動画像処理装置 | |
| JPH11212991A (ja) | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN112040304A (zh) | 一种支持无线投屏的硬盘录像机系统 | |
| JP3412748B2 (ja) | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 | |
| JP3931890B2 (ja) | 映像の検索方法および装置 | |
| JP3916802B2 (ja) | 映像検索方法、映像検索装置及び記憶媒体 | |
| JP3471389B2 (ja) | マルチメディアファイリングシステム | |
| JPH10340272A (ja) | 類似画像検索装置及び方法 | |
| US20110069074A1 (en) | Image Display Device And Image Display Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090328 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100328 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |