JP3298870B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法Info
- Publication number
- JP3298870B2 JP3298870B2 JP24806190A JP24806190A JP3298870B2 JP 3298870 B2 JP3298870 B2 JP 3298870B2 JP 24806190 A JP24806190 A JP 24806190A JP 24806190 A JP24806190 A JP 24806190A JP 3298870 B2 JP3298870 B2 JP 3298870B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- subject
- application information
- holding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
Description
【発明の詳細な説明】
【０００１】
本発明は撮像手段で撮像した操作者の画像をモニタ画
面上に合成する様にした画像処理装置及び画像処理方法
に関する。
面上に合成する様にした画像処理装置及び画像処理方法
に関する。
【０００２】
従来から画像処理装置及び画像処理方法として映像合
成画像を得るためのスーパーインポーズやクロマキー合
成は古くから放送等で利用されている。
成画像を得るためのスーパーインポーズやクロマキー合
成は古くから放送等で利用されている。
【０００３】 図９はこの様なスーパーインポーズの説明図で入力端
子T1にVTR等から動画像或は静止画像等のビデオ信号が
供給され、フレームメモリ１等に格納される。この画像
或は静止画像は例えば背景画像２と成る。
子T1にVTR等から動画像或は静止画像等のビデオ信号が
供給され、フレームメモリ１等に格納される。この画像
或は静止画像は例えば背景画像２と成る。
【０００４】 一方、ビデオカメラ13で前景画像となる人物３を背景
画像２に嵌め込むために撮像し、合成回路５で背景画像
２とビデオカメラ４の撮影出力を合成すれば合成画像６
が得られる様に成されている。
画像２に嵌め込むために撮像し、合成回路５で背景画像
２とビデオカメラ４の撮影出力を合成すれば合成画像６
が得られる様に成されている。
【０００５】
上述の様にスーパーインポーズ或はクロマキー合成さ
れた背景画像２と前景画像３とは切り離された内容であ
り、背景に前景を嵌め合わせるだけで、背景を自由に加
工することが出来ないものであった。
れた背景画像２と前景画像３とは切り離された内容であ
り、背景に前景を嵌め合わせるだけで、背景を自由に加
工することが出来ないものであった。
【０００６】 特に、この様なスーパーインポーズやクロマキー合成
でビデオカメラ13の前に立っている人物３の顔をズーム
インさせたり、歩かせたりすると、ビデオカメラ13のカ
メラワークに背景画像２が追随してこないために合成画
像は不自然なものとなっていた。
でビデオカメラ13の前に立っている人物３の顔をズーム
インさせたり、歩かせたりすると、ビデオカメラ13のカ
メラワークに背景画像２が追随してこないために合成画
像は不自然なものとなっていた。
【０００７】 本発明は叙上の如き課題を解消した画像処理装置及び
画像処理方法を得ることを目的とするもので、特に本発
明はビデオムービ等の撮影手段を用いて、操作者が画像
中にスーパーインポーズ或はクロマキー等の手法で登場
出来る様にした背景画像２を自由に選択すると共に指標
を画面中に表示させて操作者が画面等の切換制御可能な
画像処理装置及び画像処理方法を得ようとするものであ
る。
画像処理方法を得ることを目的とするもので、特に本発
明はビデオムービ等の撮影手段を用いて、操作者が画像
中にスーパーインポーズ或はクロマキー等の手法で登場
出来る様にした背景画像２を自由に選択すると共に指標
を画面中に表示させて操作者が画面等の切換制御可能な
画像処理装置及び画像処理方法を得ようとするものであ
る。
【０００８】
第１の発明は、その例が、図１に示されている様に合
成画面上に参加すると共に指標12を有する被写体11を撮
像する撮像手段13と、指標12の明るさの動きを検出して
被写体11位置を検出する検出手段15と、指標11の位置を
計数し、計数した位置座標を保持する保持手段17,19
と、画像を表示する表示手段22と、画像を記録・再生す
る記録・再生手段31,32と、アプリケーション情報を出
力すると共に各手段13,15,17,19,22,31,32を制御する制
御手段24〜27とを具備し、撮像手段13からの撮像出力中
の被写体11の位置及び指標12の位置を検出手段15及び保
持手段17,19で検出、保持して、前景画像とし、記録・
再生手段31,32及び制御手段24〜27からの画像或はアプ
リケーション情報を背景画像として制御合成して表示手
段22に表示し、表示手段22に表示される画像或はアプリ
ケーション情報に対し、被写体が11が有する指標12をカ
ーソル30とし、記録・再生手段31,32と制御手段24〜27
の制御指示入力と成したことを特徴とする画像処理装置
としたものである。
成画面上に参加すると共に指標12を有する被写体11を撮
像する撮像手段13と、指標12の明るさの動きを検出して
被写体11位置を検出する検出手段15と、指標11の位置を
計数し、計数した位置座標を保持する保持手段17,19
と、画像を表示する表示手段22と、画像を記録・再生す
る記録・再生手段31,32と、アプリケーション情報を出
力すると共に各手段13,15,17,19,22,31,32を制御する制
御手段24〜27とを具備し、撮像手段13からの撮像出力中
の被写体11の位置及び指標12の位置を検出手段15及び保
持手段17,19で検出、保持して、前景画像とし、記録・
再生手段31,32及び制御手段24〜27からの画像或はアプ
リケーション情報を背景画像として制御合成して表示手
段22に表示し、表示手段22に表示される画像或はアプリ
ケーション情報に対し、被写体が11が有する指標12をカ
ーソル30とし、記録・再生手段31,32と制御手段24〜27
の制御指示入力と成したことを特徴とする画像処理装置
としたものである。
【０００９】 第２の本発明は図７に示す様に第１の発明に於いて、
被写体11は少なくとも２個の指標12A,12Bを有し、記録
・再生手段31,32と制御手段２〜27で出力した画像とア
プリケーション情報の画像を表示手段22に表示させると
共に撮像手段13で撮像した被写体11をアプリケーション
情報のオブジェクトとし、一方の指標12Aは画面上のオ
ブジェクトの動きを制御する入力として使用し、他の指
標12Bは制御手段24〜27挙売は記録・再生手段31,32の各
種操作の選択及び制御の指示入力としてなることを特徴
とする画像処理装置としたものである。
被写体11は少なくとも２個の指標12A,12Bを有し、記録
・再生手段31,32と制御手段２〜27で出力した画像とア
プリケーション情報の画像を表示手段22に表示させると
共に撮像手段13で撮像した被写体11をアプリケーション
情報のオブジェクトとし、一方の指標12Aは画面上のオ
ブジェクトの動きを制御する入力として使用し、他の指
標12Bは制御手段24〜27挙売は記録・再生手段31,32の各
種操作の選択及び制御の指示入力としてなることを特徴
とする画像処理装置としたものである。
【００１０】 第３の本発明は図１に示される様に合成画面上に参加
すると共に指標12を有する被写体11を撮像する撮像手段
13と、指標12の明るさの動きを検出して被写体11位置を
検出する検出手段15と、指標12の位置を計数し、計数し
た位置座標を保持する保持手段17,19と、画像を表示す
る表示手段22と、画像を記録・再生する記録・再生手段
31,32と、アプリケーション情報を出力すると共に各手
段13,15,17,19,22,31,32を制御する制御手段24〜27とを
具備し、撮像手段13からの撮像出力中の被写体11の位置
及び指標12の位置を検出手段15及び保持手段17,19で検
出、保持して前景画像とし、記録・再生手段31,32及び
制御手段24〜27からの画像或はアプリケーション情報を
背景画像として制御合成して表示手段22に表示し、表示
手段22に表示される画像或はアプリケーション情報に対
し、被写体が11が有する指標12をカーソル30とし、アプ
リケーション情報の合成図形或は画像の制御指示入力と
成したことを特徴とする画像処理装置としたものであ
る。
すると共に指標12を有する被写体11を撮像する撮像手段
13と、指標12の明るさの動きを検出して被写体11位置を
検出する検出手段15と、指標12の位置を計数し、計数し
た位置座標を保持する保持手段17,19と、画像を表示す
る表示手段22と、画像を記録・再生する記録・再生手段
31,32と、アプリケーション情報を出力すると共に各手
段13,15,17,19,22,31,32を制御する制御手段24〜27とを
具備し、撮像手段13からの撮像出力中の被写体11の位置
及び指標12の位置を検出手段15及び保持手段17,19で検
出、保持して前景画像とし、記録・再生手段31,32及び
制御手段24〜27からの画像或はアプリケーション情報を
背景画像として制御合成して表示手段22に表示し、表示
手段22に表示される画像或はアプリケーション情報に対
し、被写体が11が有する指標12をカーソル30とし、アプ
リケーション情報の合成図形或は画像の制御指示入力と
成したことを特徴とする画像処理装置としたものであ
る。
【００１１】 第４の本発明は図１に示す様に、合成画面上に参加す
ると共に指標12を有する被写体11を撮像するステップ
と、指標12の明るさの動きを検出して被写体11位置を検
出するステップと、指標12の位置を計数するステップ
と、計数した位置座標を保持するステップと、撮像した
被写体11の位置及び指標12の位置を検出するステップ及
び保持ステップで検出、保持して前景画像とするステッ
プと、制御手段24〜27及び記録・再生手段31,32からの
アプリケーション情報或は画像を背景画像として制御合
成して表示画面22に表示するステップとから成り、被写
体11が有する指標12をカーソルとし、アプリケーション
情報の合成図形或は画像の制御指示入力と成したことを
特徴とする画像処理方法としたものである。
ると共に指標12を有する被写体11を撮像するステップ
と、指標12の明るさの動きを検出して被写体11位置を検
出するステップと、指標12の位置を計数するステップ
と、計数した位置座標を保持するステップと、撮像した
被写体11の位置及び指標12の位置を検出するステップ及
び保持ステップで検出、保持して前景画像とするステッ
プと、制御手段24〜27及び記録・再生手段31,32からの
アプリケーション情報或は画像を背景画像として制御合
成して表示画面22に表示するステップとから成り、被写
体11が有する指標12をカーソルとし、アプリケーション
情報の合成図形或は画像の制御指示入力と成したことを
特徴とする画像処理方法としたものである。
【００１２】 第５の本発明は図１及び図８に示す様に合成画面上に
参加すると共に指標12を有する被写体11を撮像するステ
ップと、指標12の明るさの動きを検出して被写体11位置
を検出するステップと、指標12の位置を計数するステッ
プと、計数した位置座標を保持するステップと、撮像し
た被写体11の位置及び指標の位置を検出ステップ及び保
持ステップで検出、保持して前景画像するステップと、
制御手段24〜27及び記録・再生手段31,32からのアプリ
ケーション情報或は画像を背景画像として制御合成し、
且つ制御手段24〜27からのアプリケーション情報の画像
を被写体11の部位の一部に前景画像として合成して表示
画面に表示するステップとから成り、被写体11が有する
指標12をカーソルとし、アプリケーション情報の合成図
形の部位の一部の選択制御指示入力と成したことを特徴
とする画像処理方法としたものである。
参加すると共に指標12を有する被写体11を撮像するステ
ップと、指標12の明るさの動きを検出して被写体11位置
を検出するステップと、指標12の位置を計数するステッ
プと、計数した位置座標を保持するステップと、撮像し
た被写体11の位置及び指標の位置を検出ステップ及び保
持ステップで検出、保持して前景画像するステップと、
制御手段24〜27及び記録・再生手段31,32からのアプリ
ケーション情報或は画像を背景画像として制御合成し、
且つ制御手段24〜27からのアプリケーション情報の画像
を被写体11の部位の一部に前景画像として合成して表示
画面に表示するステップとから成り、被写体11が有する
指標12をカーソルとし、アプリケーション情報の合成図
形の部位の一部の選択制御指示入力と成したことを特徴
とする画像処理方法としたものである。
【００１３】 本発明の画像処理装置及び画像処理方法によれば被写
体11である操作者が持ったり、装着している指標部材
（以下ポインテングデバイスと記す）、並びに操作者を
ビデオカメラ等の撮影手段を介して撮像し、このポイン
テングデバイスの動きを検出してカーソルとして画面に
映出し、VTR等の制御指示入力とし、操作者をコンピュ
ータ等で作った画像中にクロマキー或はスーパーインポ
ーズの手法で合成させ、或は操作者を更に加工した画像
をビデオ画像等に合成する様にしたので、操作者が背景
画面のコントロールを行うことが可能となり、表示手段
に映出される画面中に操作者が登場出来て、背景画面が
操作者と関連した画面として映出することの出来るもの
が得られる。
体11である操作者が持ったり、装着している指標部材
（以下ポインテングデバイスと記す）、並びに操作者を
ビデオカメラ等の撮影手段を介して撮像し、このポイン
テングデバイスの動きを検出してカーソルとして画面に
映出し、VTR等の制御指示入力とし、操作者をコンピュ
ータ等で作った画像中にクロマキー或はスーパーインポ
ーズの手法で合成させ、或は操作者を更に加工した画像
をビデオ画像等に合成する様にしたので、操作者が背景
画面のコントロールを行うことが可能となり、表示手段
に映出される画面中に操作者が登場出来て、背景画面が
操作者と関連した画面として映出することの出来るもの
が得られる。
【００１４】
以下、本発明の画像処理装置及び画像処理方法の一形
態例を図１乃至図８について詳記する。 図１乃至図３は本発明の画像処理装置の系統図である
が、この系統図を説明する前に図４乃至図６で本例で使
用する主要部材を説明する。
態例を図１乃至図８について詳記する。 図１乃至図３は本発明の画像処理装置の系統図である
が、この系統図を説明する前に図４乃至図６で本例で使
用する主要部材を説明する。
【００１５】 図４は本例の画像処理装置をコンピュータゲーム等に
利用した場合の全体的な説明図である。図で、13はビデ
オカメラ等の撮像手段で、例えば、撮像素子はCCD等で
構成され、ズーム、アイリス、フォーカスレンズ等を有
し、これらの各コントールが行なえる様なビデオカメラ
ムービ等を可とする。35は後述するも被写体11のポイン
テングデバイス12を検知する検知手段やコンピュータゲ
ームを行うためのゲーム機器を含む電子機器であり、ゲ
ームソフト36やVTR31、LD（レーザディスク）或はCDROM
（コンパクトディスクROM）32等の記録媒体からの各種
画像や文字・記号等のアプリケーション29は表示手段22
のCRT5の画面上に映出される。
利用した場合の全体的な説明図である。図で、13はビデ
オカメラ等の撮像手段で、例えば、撮像素子はCCD等で
構成され、ズーム、アイリス、フォーカスレンズ等を有
し、これらの各コントールが行なえる様なビデオカメラ
ムービ等を可とする。35は後述するも被写体11のポイン
テングデバイス12を検知する検知手段やコンピュータゲ
ームを行うためのゲーム機器を含む電子機器であり、ゲ
ームソフト36やVTR31、LD（レーザディスク）或はCDROM
（コンパクトディスクROM）32等の記録媒体からの各種
画像や文字・記号等のアプリケーション29は表示手段22
のCRT5の画面上に映出される。
【００１６】 撮像手段13は表示手段22の前面でCRT5の画面を視てい
る被写体11の例えば、人が手に持ったり、服に付けてい
るポインテングデバイス12を人の動きと共にとらえて、
撮像手段13を介して撮像し、上記VTR31、LD32等のアプ
リケーション29の画像の動きに連動させる。又、ポイン
テングデバイス12をカーソル30としてCRT5の画面に表示
する様に成されている。
る被写体11の例えば、人が手に持ったり、服に付けてい
るポインテングデバイス12を人の動きと共にとらえて、
撮像手段13を介して撮像し、上記VTR31、LD32等のアプ
リケーション29の画像の動きに連動させる。又、ポイン
テングデバイス12をカーソル30としてCRT5の画面に表示
する様に成されている。
【００１７】 この様に構成することで指標12を持っている操作者
は、アプリケーション29の画像内にスーパーインポーズ
やクロマキー等の手法で登場人物の様に表示され、被写
体11、即ち操作者のポインテングデバイス12をCRT5の画
面に表示したカーソル30をアプリケーション29の操作釦
位置に合わせてLD、VTR等の所定動作を行なわせる指示
制御に用いることが出来る。
は、アプリケーション29の画像内にスーパーインポーズ
やクロマキー等の手法で登場人物の様に表示され、被写
体11、即ち操作者のポインテングデバイス12をCRT5の画
面に表示したカーソル30をアプリケーション29の操作釦
位置に合わせてLD、VTR等の所定動作を行なわせる指示
制御に用いることが出来る。
【００１８】 上述のポインテングデバイス12は図5A,B,C,Dに示す様
に種々構成させることが出来る。図5A及び図5Bは反射部
材を利用したもので図5Aの指標12は人が持つことの出来
る棒12aの上部に球状部材12Bを固定し、この球状部材12
Bの表面に図６で示す様に直径10〜100ミクロン程度のガ
ラス球からなる再帰性光学部材12cを貼着させる。
に種々構成させることが出来る。図5A及び図5Bは反射部
材を利用したもので図5Aの指標12は人が持つことの出来
る棒12aの上部に球状部材12Bを固定し、この球状部材12
Bの表面に図６で示す様に直径10〜100ミクロン程度のガ
ラス球からなる再帰性光学部材12cを貼着させる。
【００１９】 好ましくは図６に示す様に球状部材12b或は後述する
バッジの基板12g上に反射銀膜12jを形成し、この反射銀
膜12j上に再帰性光学部材12cを接着材12k等を介して貼
着させる。
バッジの基板12g上に反射銀膜12jを形成し、この反射銀
膜12j上に再帰性光学部材12cを接着材12k等を介して貼
着させる。
【００２０】 この様に構成したポインテングデバイス12は45゜以下
の入射光37は、ほとんど入射方向に反射されて反射方向
輝度を向上させることが出来る。この再帰性部材12bと
してはガラス球の他にコーナーキューブ等でもよく、勿
論、ミラボールの様に複数の鏡の小片を貼付けたもので
もよい。
の入射光37は、ほとんど入射方向に反射されて反射方向
輝度を向上させることが出来る。この再帰性部材12bと
してはガラス球の他にコーナーキューブ等でもよく、勿
論、ミラボールの様に複数の鏡の小片を貼付けたもので
もよい。
【００２１】 図5Bに示すものは人の服や帽子に取付ける様にしたバ
ッジの基板12gに再帰性光学部材12cを貼着したものであ
る。図5C及び図5Dはポインテングデバイス12として発光
部材を用いたものである。発光部材としては可視光、赤
外線等を発光するランプやLED等を用いることが出来
る。或は蛍光体等でもよい。
ッジの基板12gに再帰性光学部材12cを貼着したものであ
る。図5C及び図5Dはポインテングデバイス12として発光
部材を用いたものである。発光部材としては可視光、赤
外線等を発光するランプやLED等を用いることが出来
る。或は蛍光体等でもよい。
【００２２】 図5Cは人が持つことの出来る筒状棒12a′内に電池12e
を収納し、筒状棒12a′の先端にガラス球12dを固定し、
ガラス球12d内にLED等の発光素子12fを配設し、電池12e
で発光素子12fを点灯させる様にしたものである。
を収納し、筒状棒12a′の先端にガラス球12dを固定し、
ガラス球12d内にLED等の発光素子12fを配設し、電池12e
で発光素子12fを点灯させる様にしたものである。
【００２３】 図5Dに示すものはヘアバンド12h或は帽子に発光素子1
2fを取り付け、電池12eで点灯させる様にしたもので、
人が頭に巻付けたり、かぶったりする。勿論、これらの
バンドは通常の腰のバンド、ハンドバンド等であっても
よい。
2fを取り付け、電池12eで点灯させる様にしたもので、
人が頭に巻付けたり、かぶったりする。勿論、これらの
バンドは通常の腰のバンド、ハンドバンド等であっても
よい。
【００２４】 上述の様な撮像手段13及びポインテングデバイス12に
よって画像処理装置及び画像処理方法を構成させるため
の系統図を図１によって説明する。図１で、動く被写体
である人11はポインテングデバイス12を持って表示手段
22のCRT5の画面に対向した位置に居る。
よって画像処理装置及び画像処理方法を構成させるため
の系統図を図１によって説明する。図１で、動く被写体
である人11はポインテングデバイス12を持って表示手段
22のCRT5の画面に対向した位置に居る。
【００２５】 撮像手段13で被写体11のポインテングデバイス12にフ
ォーカスを合わせて撮像する。撮像手段13の撮像出力は
画面合成回路21に供給され、例えば、コンピュータ（以
下CPUと記す）24で作られた画面とスーパーインポーズ
される。
ォーカスを合わせて撮像する。撮像手段13の撮像出力は
画面合成回路21に供給され、例えば、コンピュータ（以
下CPUと記す）24で作られた画面とスーパーインポーズ
される。
【００２６】 更に撮像手段13の撮像出力は外部同期制御回路14並び
にポインタ検出回路15に供給される。外部同期制御回路
14の出力はＸ軸用カウンタ16及びＹ軸用カウンタ18に供
給され、ポインテングデバイス12の明るさ（輝度）に対
応したＸ軸及びＹ軸信号がＸ軸及びＹ軸用カウンタ16及
び18でカウントされ、そのカウント出力は表示画面発生
回路20、Ｘ軸位置保持回路17並びにＹ軸位置保持回路19
に供給される。
にポインタ検出回路15に供給される。外部同期制御回路
14の出力はＸ軸用カウンタ16及びＹ軸用カウンタ18に供
給され、ポインテングデバイス12の明るさ（輝度）に対
応したＸ軸及びＹ軸信号がＸ軸及びＹ軸用カウンタ16及
び18でカウントされ、そのカウント出力は表示画面発生
回路20、Ｘ軸位置保持回路17並びにＹ軸位置保持回路19
に供給される。
【００２７】 ポインタ検出回路15からのポインテングデバイス12の
位置がカウント値としてＸ軸及びＹ軸位置保持回路17及
び19に保持される。Ｘ軸及びＹ軸位置保持回路17及び19
の保持カウント位置出力はCPU24のバス28を介してCPU24
に供給される。
位置がカウント値としてＸ軸及びＹ軸位置保持回路17及
び19に保持される。Ｘ軸及びＹ軸位置保持回路17及び19
の保持カウント位置出力はCPU24のバス28を介してCPU24
に供給される。
【００２８】 バス28にはCPU24が通常持っているROM25、RAM26並び
にキーボード27、図４で説明したアプリケーション用の
ソフト画像を記録したVTR31、LD或はCDROM32が接続さ
れ、更に表示画面メモリ23もバス28に接続され、ポイン
テングデバイス12の明るさに対応したＸ及びＹ軸位置に
応答してアプリケーションソフト画像の大きさを変化さ
せ、例えば拡大或は縮小等を行なう様にCPU24と表示画
面23間でやりとりが成され、CPU24はＸ及びＹ軸位置及
び所定の画像をVTR31等から取り出し表示画面メモリ23
に格納する。
にキーボード27、図４で説明したアプリケーション用の
ソフト画像を記録したVTR31、LD或はCDROM32が接続さ
れ、更に表示画面メモリ23もバス28に接続され、ポイン
テングデバイス12の明るさに対応したＸ及びＹ軸位置に
応答してアプリケーションソフト画像の大きさを変化さ
せ、例えば拡大或は縮小等を行なう様にCPU24と表示画
面23間でやりとりが成され、CPU24はＸ及びＹ軸位置及
び所定の画像をVTR31等から取り出し表示画面メモリ23
に格納する。
【００２９】 表示画面メモリ23の出力側は表示画面発生回路20にも
接続され、表示画面発生回路20は画面合成回路21に出力
され、撮像手段13の撮像出力と合成される。画面合成回
路21の出力は表示手段22のCRT5に供給されている。
接続され、表示画面発生回路20は画面合成回路21に出力
され、撮像手段13の撮像出力と合成される。画面合成回
路21の出力は表示手段22のCRT5に供給されている。
【００３０】 従って、被写体11の前景画像がVTR31からの背景画像
に合成され、或はゲームソフト36等を介して入力された
例えば、図４の様に押釦を表すアプリケーション29が背
景画像として、ポインテングデバイス12を示すカーソル
30が前景画像として表示手段22のCRTの画面上に表示さ
れる。
に合成され、或はゲームソフト36等を介して入力された
例えば、図４の様に押釦を表すアプリケーション29が背
景画像として、ポインテングデバイス12を示すカーソル
30が前景画像として表示手段22のCRTの画面上に表示さ
れる。
【００３１】 ポインタ検出回路15としては種々の方法が考えられる
が例えば、ポインテングデバイス12の輝点の移動奇跡を
検出するには、図２に示す様に成すことが出来る。
が例えば、ポインテングデバイス12の輝点の移動奇跡を
検出するには、図２に示す様に成すことが出来る。
【００３２】 図３はCPU24とRAM26等を含む機能ブロックを示すもの
で、入力端子T2に供給した撮像手段13の撮像出力を比較
部39及び合成部38に供給する。この比較部39はRAM26等
に格納した１フィールド或は１フレーム分の撮像出力信
号と次の１フィールド或は１フレームとの差を検出す
る。
で、入力端子T2に供給した撮像手段13の撮像出力を比較
部39及び合成部38に供給する。この比較部39はRAM26等
に格納した１フィールド或は１フレーム分の撮像出力信
号と次の１フィールド或は１フレームとの差を検出す
る。
【００３３】 例えば、フレームメモリ26では１フィールド遅延した
撮像出力信号を比較部39に戻し、現在の撮像出力信号と
比較し、その間の差信号を合成部38で合成しフレームメ
モリ26に書き換える様にすれば出力端子T3にポインテン
グデバイス12の軌跡を得ることができる。
撮像出力信号を比較部39に戻し、現在の撮像出力信号と
比較し、その間の差信号を合成部38で合成しフレームメ
モリ26に書き換える様にすれば出力端子T3にポインテン
グデバイス12の軌跡を得ることができる。
【００３４】 図は本発明の画像処理装置及び画像処理方法のクロマ
キー合成の機能ブロックの１例を示すものである。クロ
マキー合成する被写体11はビデオカメラ13で撮像され
る。ビデオカメラ13はポインテングデバイス12の動きと
共に被写体11を撮像する。
キー合成の機能ブロックの１例を示すものである。クロ
マキー合成する被写体11はビデオカメラ13で撮像され
る。ビデオカメラ13はポインテングデバイス12の動きと
共に被写体11を撮像する。
【００３５】 このビデオカメラ13からの撮像出力をR,G,Bデコーダ4
0に供給してR,G,B信号をデコーダし、A/D回路41でR,G,B
信号をデジタル化してCPU24内の比較部45に入力する。
0に供給してR,G,B信号をデコーダし、A/D回路41でR,G,B
信号をデジタル化してCPU24内の比較部45に入力する。
【００３６】 比較部45内にはフレームメモリ46（図１のRAM26等で
もよい）を有し、このフレームメモリ内にVTR31、LD、C
DROM32等からビデオセレクタ49を介して入力される動画
像や静止画像等の背景画像２として合成しようとする被
写体11のないものをフリーズして置く。
もよい）を有し、このフレームメモリ内にVTR31、LD、C
DROM32等からビデオセレクタ49を介して入力される動画
像や静止画像等の背景画像２として合成しようとする被
写体11のないものをフリーズして置く。
【００３７】 このフリーズ画FR,FG,FBとビデオカメラ13で撮像した
被写体11のビデオ信号をデジタル化したIR,IG,IBデータ
を比較部45で比較することで背景画像２から被写体11の
人物形状を切り出してキー信号52として合成回路50に供
給し、更にD/A回路47及びエンコーダ48を介して被写体1
1の人物のビデオ信号が合成回路50に供給される。
被写体11のビデオ信号をデジタル化したIR,IG,IBデータ
を比較部45で比較することで背景画像２から被写体11の
人物形状を切り出してキー信号52として合成回路50に供
給し、更にD/A回路47及びエンコーダ48を介して被写体1
1の人物のビデオ信号が合成回路50に供給される。
【００３８】 VTR30、LD或はCDROM32等から静止画像或は動画像の背
景画像２のビデオ信号が合成回路50に供給されているの
で、合成回路50内では背景画像２のうちで被写体11の人
物51が切り出されて表示手段22のCRT5の画面上には、背
景画像２に被写体11の人物がクロマキー合成された合成
画像６が得られることになる。
景画像２のビデオ信号が合成回路50に供給されているの
で、合成回路50内では背景画像２のうちで被写体11の人
物51が切り出されて表示手段22のCRT5の画面上には、背
景画像２に被写体11の人物がクロマキー合成された合成
画像６が得られることになる。
【００３９】 本発明は上述の様に構成させたので、撮像手段のビデ
オカメラ13で撮像される被写体11、即ち操作者の動きを
ポインテングデバイス12によってとらえ、コンピュータ
等のソフト、或はVTR31等の画像内にスーパーインポー
ズ或はクロマキー合成によって登場人物の様に表示され
る。
オカメラ13で撮像される被写体11、即ち操作者の動きを
ポインテングデバイス12によってとらえ、コンピュータ
等のソフト、或はVTR31等の画像内にスーパーインポー
ズ或はクロマキー合成によって登場人物の様に表示され
る。
【００４０】 又、被写体11である人はポインテングデバイス12の例
えば、カーソル30がCRT5に映出されている位置を画面上
で視ながら画面上に映出されたアプリケーション29の押
釦位置にカーソル30を持ち来せば、ゲームソフト36等を
任意に動作させることが出来る。
えば、カーソル30がCRT5に映出されている位置を画面上
で視ながら画面上に映出されたアプリケーション29の押
釦位置にカーソル30を持ち来せば、ゲームソフト36等を
任意に動作させることが出来る。
【００４１】 即ち、操作釦の動作指標としたり、或は音を放音させ
たりすることが出来る。又、ポインテングデバイス12を
移動させてマウスの様に絵を書くことも出来るので画像
入力者は三次元的な空間内でポインテングデバイス12を
動かすだけで画像入力を容易に行なうことができること
になり、ポインテングデバイス12の移動範囲を平面だけ
でなく三次元的に拡大することの出来るものが得られ
る。
たりすることが出来る。又、ポインテングデバイス12を
移動させてマウスの様に絵を書くことも出来るので画像
入力者は三次元的な空間内でポインテングデバイス12を
動かすだけで画像入力を容易に行なうことができること
になり、ポインテングデバイス12の移動範囲を平面だけ
でなく三次元的に拡大することの出来るものが得られ
る。
【００４２】 又、入力時に表示手段22上で操作が完結し、キーボー
ド27と表示画面を交互に視る必要がなく、表示手段22上
のカーソルの動きはポインテングデバイス12の操作の動
きと一対一に対応して解り易いものが得られる。
ド27と表示画面を交互に視る必要がなく、表示手段22上
のカーソルの動きはポインテングデバイス12の操作の動
きと一対一に対応して解り易いものが得られる。
【００４３】 更にビデオカメラのズーム等を使って1mmの移動を表
示手段の１ドットに対応させることも、1mの移動を１ド
ットに対応させることも自由に出来るので検出精度も自
由に設定可能となる。
示手段の１ドットに対応させることも、1mの移動を１ド
ットに対応させることも自由に出来るので検出精度も自
由に設定可能となる。
【００４４】 図７及び図８は本発明の画像処理装置及び画像処理方
法の他の形態例を示すものである。
法の他の形態例を示すものである。
【００４５】 図７に於いて、操作者（被写体）11は複数のポインテ
ングデバイス12A,12Bを持ったり、身につけている。撮
像手段13はこれら複数のポインテングデバイス12A,12B
の動きを撮像し、ポインタ検出回路15内で検知する。表
示手段22の画面上にVTR31等からビデオ画像５を映出さ
せ、更にゲームソフト36で作ったパソコン画像56に操作
者11はオブジェクト57として登場する。
ングデバイス12A,12Bを持ったり、身につけている。撮
像手段13はこれら複数のポインテングデバイス12A,12B
の動きを撮像し、ポインタ検出回路15内で検知する。表
示手段22の画面上にVTR31等からビデオ画像５を映出さ
せ、更にゲームソフト36で作ったパソコン画像56に操作
者11はオブジェクト57として登場する。
【００４６】 この場合、例えば操作者11のポインテングデバイス12
Aはゲームソフト36で作られたオブジェクト57の動きを
制御する入力に利用され、ポインテングデバイス12Bは
ゲームソフト36の各種操作の選択や制御に用いる様にす
る。
Aはゲームソフト36で作られたオブジェクト57の動きを
制御する入力に利用され、ポインテングデバイス12Bは
ゲームソフト36の各種操作の選択や制御に用いる様にす
る。
【００４７】 図８は撮像手段13で撮像した操作者11を表示手段22の
画面上に、合成された操作する人59を映出させるが、こ
の際にソフト36aによってパソコン画像56上で操作者11
の服装、服装の色、髪型、持ち物等をコンピュータを使
って作成した。操作者上に合成されるソフト画像58を操
作者11の画像上に重ねて合成することで表示手段22のCR
T55の画面上に、合成された操作する人59を映出させる
様にしたものである。勿論、この場合もポインテングデ
バイス12の操作により操作者11がソフト36aを自由に制
御可能である。
画面上に、合成された操作する人59を映出させるが、こ
の際にソフト36aによってパソコン画像56上で操作者11
の服装、服装の色、髪型、持ち物等をコンピュータを使
って作成した。操作者上に合成されるソフト画像58を操
作者11の画像上に重ねて合成することで表示手段22のCR
T55の画面上に、合成された操作する人59を映出させる
様にしたものである。勿論、この場合もポインテングデ
バイス12の操作により操作者11がソフト36aを自由に制
御可能である。
【００４８】 本発明は上述の各形態例に限定されることなく、例え
ば操作者11の姿や体の一部の輪郭等を表示手段22に抽出
し、この輪郭の変化に応じてアプリケーションソフトの
指令や命令を行なう様にしてもよく、本発明の要旨を逸
脱しない範囲で種々変更し得ることは明らかである。
ば操作者11の姿や体の一部の輪郭等を表示手段22に抽出
し、この輪郭の変化に応じてアプリケーションソフトの
指令や命令を行なう様にしてもよく、本発明の要旨を逸
脱しない範囲で種々変更し得ることは明らかである。
【００４９】
本発明によれば、操作者の姿を各種画像に合成するこ
とでその画像内の登場人物と成ることが出来、ゲームソ
フト等の面白さを倍加させる画像処理装置及び画像処理
方法が得られる。
とでその画像内の登場人物と成ることが出来、ゲームソ
フト等の面白さを倍加させる画像処理装置及び画像処理
方法が得られる。
【００５０】 本発明によればポインテングデバイスを限定された二
次元平面内だけでなく三次元的に拡大しても、その動き
が検知出来て、操作の自由度を拡げた画像処理装置及び
画像処理方法を得ることが出来る。
次元平面内だけでなく三次元的に拡大しても、その動き
が検知出来て、操作の自由度を拡げた画像処理装置及び
画像処理方法を得ることが出来る。
【００５１】 本発明によればポインテングデバイスはゲームソフト
の選択やVTRの操作の制御に用いることが出来ると共に
二つのポインテングデバイスを用いればソフトと合成さ
れた操作者の動き入力にも利用可能な画像処理装置及び
画像処理方法が得られる。
の選択やVTRの操作の制御に用いることが出来ると共に
二つのポインテングデバイスを用いればソフトと合成さ
れた操作者の動き入力にも利用可能な画像処理装置及び
画像処理方法が得られる。
【００５２】 本発明によれば、ビデオカメラで撮像したポインテン
グデバイスを有する操作者が表示画面上に参加出来ると
共に操作者の各部位をアプリケーション情報によって変
化させることが操作者側のポインテングデバイスによっ
て選択制御可能な画像処理装置及び画像処理方法が得ら
れる。
グデバイスを有する操作者が表示画面上に参加出来ると
共に操作者の各部位をアプリケーション情報によって変
化させることが操作者側のポインテングデバイスによっ
て選択制御可能な画像処理装置及び画像処理方法が得ら
れる。
【図１】 本発明の画像処理装置及びその方法の一形態例を示す系
統図である。
統図である。
【図２】 本発明の画像処理装置及びその方法に用いるポインタ検
出回路の系統図である。
出回路の系統図である。
【図３】 本発明の画像処理装置及びその方法のクロマキー合成の
一形態例を示す系統図である。
一形態例を示す系統図である。
【図４】 本発明の画像処理装置及びその方法の全体的説明図であ
る。
る。
【図５】 本発明の画像処理装置及びその方法に用いるポインテン
グデバイスを示す図である。
グデバイスを示す図である。
【図６】 本発明のポインテングデバイスに用いる再帰性光学部材
の説明図である。
の説明図である。
【図７】 本発明の画像処理装置及びその方法の他の形態例を示す
説明図である。
説明図である。
【図８】 本発明の画像処理装置及びその方法の更に他の形態例を
示す説明図である。
示す説明図である。
【図９】 従来のスーパーインポーズの説明図である。
11……被写体、12……ポインテングデバイス、13……撮
像手段、15……ポインタ検出回路、22……表示装置、24
……CPU、29……アプリケーション、30……カーソル
像手段、15……ポインタ検出回路、22……表示装置、24
……CPU、29……アプリケーション、30……カーソル
フロントページの続き (72)発明者 丸沢 みゆき 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平２−132510（ＪＰ，Ａ) 特開 平１−228387（ＪＰ，Ａ) 特開 昭63−167923（ＪＰ，Ａ) 特開 平２−179079（ＪＰ，Ａ) 特開 平３−224027（ＪＰ，Ａ)
Claims (5)
- 【請求項１】合成画面上に参加すると共に指標を有する
被写体を撮像する撮像手段と、 上記指標の明るさの動きを検出して上記被写体位置を検
出する検出手段と、 上記指標の位置を計数し、該計数した位置座標を保持す
る保持手段と、 画像を表示する表示手段と、 画像を記録・再生する記録・再生手段と、 アプリケーション情報を出力すると共に上記各手段を制
御する制御手段とを具備し、 上記撮像手段からの撮像出力中の上記被写体位置及び指
標位置を上記検出手段及び上記保持手段で検出、保持し
て前景画像とし、上記記録・再生手段及び上記制御手段
からの画像或はアプリケーション情報を背景画像として
制御合成して上記表示手段に表示し、該表示手段に表示
される画像或はアプリケーション情報に対し、上記被写
体が有する上記指標をカーソルとし、上記記録・再生手
段と上記制御手段の制御指示入力と成したことを特徴と
する画像処理装置。 - 【請求項２】前記被写体は少なくとも２個の前記指標を
有し、前記記録・再生手段と前記制御手段で出力した画
像とアプリケーション情報の画像を前記表示手段に表示
させると共に前記撮像手段で撮像した被写体をアプリケ
ーション情報のオブジェクトとし、上記一方の指標は画
面上のオブジェクトの動き入力として使用し、他の指標
は上記制御手段或は上記記録・再生手段の各種操作の選
択及び制御の指示入力として成ることを特徴とする請求
項１記載の画像処理装置。 - 【請求項３】合成画面上に参加すると共に指標を有する
被写体を撮像する撮像手段と、 上記指標の明るさの動きを検出して上記被写体位置を検
出する検出手段と、 上記指標の位置を計数し、該計数した位置座標を保持す
る保持手段と、 画像を表示する表示手段と、 画像を記録・再生する記録・再生手段と、 アプリケーション情報を出力すると共に上記各手段を制
御する制御手段とを具備し、 上記撮像手段からの撮像出力中の上記被写体位置及び指
標位置を上記検出手段及び上記保持手段で検出、保持し
て前景画像とし、上記記録・再生手段及び上記制御手段
からの画像或はアプリケーション情報を背景画像として
制御合成して上記表示手段に表示し、該表示手段に表示
される画像或はアプリケーション情報に対し、上記被写
体が有する上記指標をカーソルとし、該アプリケーショ
ン情報の合成図形或は画像の制御指示入力と成したこと
を特徴とする画像処理装置。 - 【請求項４】合成画面上に参加すると共に指標を有する
被写体を撮像するステップと、 上記指標の明るさの動きを検出して上記被写体位置を検
出するステップと、 上記指標の位置を計数するステップと、 上記計数した位置座標を保持するステップと、 上記撮像した上記被写体位置及び上記指標位置を上記検
出するステップ及び上記保持するステップで検出、保持
して前景画像とするステップと、 制御手段及び記録・再生手段からのアプリケーション情
報或は画像を背景画像として制御合成し、表示画面に表
示するステップとから成り、 上記被写体が有する上記指標をカーソルとし、上記アプ
リケーション情報の合成図形或は画像の制御指示入力と
成したことを特徴とする画像処理方法。 - 【請求項５】合成画面上に参加すると共に指標を有する
被写体を撮像するステップと、 上記指標の明るさの動きを検出して上記被写体位置を検
出するステップと、 上記指標の位置を計数するステップと、 上記計数した位置座標を保持するステップと、 上記撮像した上記被写体の位置及び上記指標位置を上記
検出するステップ及び上記保持するステップで検出、保
持して前景画像するステップと、制御手段及び記録・再
生手段からのアプリケーション情報或は画像を背景画像
として制御合成し、且つ該制御手段からの該アプリケー
ション情報の画像を上記被写体の部位の一部に前景画像
として合成して表示画面に表示するステップとから成り 上記被写体が有する上記指標をカーソルとし上記アプリ
ケーション情報の合成図形の部位の一部の選択する制御
指示入力と成したことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24806190A JP3298870B2 (ja) | 1990-09-18 | 1990-09-18 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24806190A JP3298870B2 (ja) | 1990-09-18 | 1990-09-18 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04127674A JPH04127674A (ja) | 1992-04-28 |
| JP3298870B2 true JP3298870B2 (ja) | 2002-07-08 |
Family
ID=17172623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24806190A Expired - Lifetime JP3298870B2 (ja) | 1990-09-18 | 1990-09-18 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3298870B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8570330B2 (en) | 2005-05-13 | 2013-10-29 | Sony Corporation | Image processing device, image processing method and information storage medium |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69939858D1 (de) * | 1998-08-31 | 2008-12-18 | Sony Corp | Bildverarbeitung |
| JP4352287B2 (ja) * | 1998-08-31 | 2009-10-28 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム媒体 |
| US6585622B1 (en) | 1999-12-03 | 2003-07-01 | Nike, Inc. | Interactive use an athletic performance monitoring and reward method, system, and computer program product |
| JP4078047B2 (ja) * | 2001-07-17 | 2008-04-23 | フジノン株式会社 | プレゼンテーションシステム |
| JP2003108305A (ja) * | 2001-09-28 | 2003-04-11 | Fuji Photo Optical Co Ltd | プレゼンテーションシステム |
| EP2039403B1 (en) * | 2002-10-30 | 2016-08-24 | NIKE Innovate C.V. | Clothes with concealable motion capture markers for computer games |
| US8206219B2 (en) | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
| JP2005301479A (ja) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | 投影された提示者の動作による命令入力装置 |
| TWI412392B (zh) * | 2005-08-12 | 2013-10-21 | Koninkl Philips Electronics Nv | 互動式娛樂系統及其操作方法 |
| JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
| US8549442B2 (en) * | 2005-12-12 | 2013-10-01 | Sony Computer Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
| JP4569613B2 (ja) | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
-
1990
- 1990-09-18 JP JP24806190A patent/JP3298870B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8570330B2 (en) | 2005-05-13 | 2013-10-29 | Sony Corporation | Image processing device, image processing method and information storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04127674A (ja) | 1992-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3363861B2 (ja) | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 | |
| JP3298870B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4928670B2 (ja) | ディジタルカメラのディスプレイ用ポインティング・デバイス | |
| CN107315512B (zh) | 图像处理设备、图像处理方法和程序 | |
| JP3728160B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
| US8670047B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JPH114398A (ja) | デジタルワイドカメラ | |
| JP5885395B2 (ja) | 撮影機器及び画像データの記録方法 | |
| JP2006115525A (ja) | 電子カメラ | |
| JP2004193962A (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
| WO2019187732A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Foote et al. | One-man-band: A touch screen interface for producing live multi-camera sports broadcasts | |
| JP2000134640A (ja) | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 | |
| JP3309421B2 (ja) | タイトル入力装置とその方法 | |
| JPH04123121A (ja) | 画像入力装置 | |
| JP2012244245A (ja) | 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム | |
| JPH03226198A (ja) | 立体表示装置 | |
| Vockeroth et al. | The combination of a mobile gaze-driven and a head-mounted camera in a hybrid perspective setup | |
| JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| TWI825982B (zh) | 用於提供視覺內容的方法、主機以及電腦可讀儲存媒體 | |
| JP3071910B2 (ja) | ビデオカメラ | |
| US20230308613A1 (en) | Display device and method for controlling display device | |
| US11385850B2 (en) | Content reproduction device, picture data output device, content creation device, content reproduction method, picture data output method, and content creation method | |
| JP2007074276A (ja) | 撮像装置 | |
| JPH06125522A (ja) | ビデオ再生方法及びビデオ記録／再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080419 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |