JPH07140527A - カメラ撮影制御装置 - Google Patents

カメラ撮影制御装置

Info

Publication number
JPH07140527A
JPH07140527A JP5286467A JP28646793A JPH07140527A JP H07140527 A JPH07140527 A JP H07140527A JP 5286467 A JP5286467 A JP 5286467A JP 28646793 A JP28646793 A JP 28646793A JP H07140527 A JPH07140527 A JP H07140527A
Authority
JP
Japan
Prior art keywords
camera
microphones
phase difference
speaker
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5286467A
Other languages
English (en)
Other versions
JP3555151B2 (ja
Inventor
Yasuaki Muranaka
保明 村仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP28646793A priority Critical patent/JP3555151B2/ja
Publication of JPH07140527A publication Critical patent/JPH07140527A/ja
Application granted granted Critical
Publication of JP3555151B2 publication Critical patent/JP3555151B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 電子テレビ会議などにおいて、話者にカメラ
を向ける方向制御及びカメラと話者間の距離に関係なく
常に話者を適切な画角で撮影するための撮影画角制御を
自動的に行える手段を提供する。 【構成】 話者の発音を感知する複数のマイク17A,
17Bと、マイク17A,17B間の音の位相差を検出
する位相差検出回路18と、位相差検出回路18により
マイク17A,17B間の位相差が零となるように制御
されカメラ20及び複数のマイク17A,17B全体の
方向を制御するカメラ方向制御装置19とを設け、さら
には撮影画角制御装置21を設けた。したがって音の位
相差を利用して話者に対するカメラの撮影方向や撮影画
角を自動制御できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、電子テレビ会議システ
ムなどにおいてカメラ撮影方向や撮影画角を制御できる
カメラ撮影制御装置に関するものである。
【0002】
【従来の技術】最近のデジタル公衆回線の普及や静止画
及び動画のデジタル圧縮方式の標準化を背景に、画像の
デジタル伝送を利用した分野が広がっており、電子テレ
ビ会議システムもその中の一つである。電子テレビ会議
システムにおいては画像の入力装置としてビデオカメラ
を使用しており、これを適時撮影したい方向に向けて撮
影し、通信相手に画像を送っている。この様に電子テレ
ビ会議システムなどにおいては、必要に応じてカメラの
撮影方向を制御する必要がある。またカメラと被写体で
ある話者との距離等で、適切な撮影画角が変化する。具
体的には、図8の従来のカメラと被写体である話者との
距離に対する撮影画角の説明図に示すように、距離に関
係なく話者1を適切な大きさで撮影するためには、距離
が近ければカメラ2の撮影画角を広くし、遠ければカメ
ラ2の撮影画角を狭くする必要がある。
【0003】つまり、カメラ2と被写体である話者1と
の距離が変化した場合にも話者1を適切な大きさで撮影
する為にはカメラ2の撮影画角を変化する必要があり、
カメラ2と被写体である話者1との距離に応じて、適切
な制御をする必要がある。
【0004】以下に従来のカメラ撮影方向及び、カメラ
撮影画角を決定するカメラのズーム値の制御方法につい
て説明する。図9は従来のカメラ撮影制御装置の全体構
成図である。図9において11は遠隔操作による撮影方
向制御及び撮影画角制御機構を持つカメラであり、12
はカメラ11と接続され、遠隔操作によるカメラ11の
撮影方向制御及び撮影画角制御を行う制御回路であり、
13は制御回路12に接続され、カメラ11の撮影方向
及び撮影画角を操作するための操作盤であり、人により
操作される。カメラ11の映像信号aは符号化装置14
に入力され、通信相手15へ入力されると共に、モニタ
ー16に入力され、カメラ11の映像及び通信相手15
から送られてきた映像を映し出す。ここで、電子テレビ
会議の議事進行上、発言者である話者が変化した場合、
殆どの場合その時の話者を適切な大きさで撮影すること
が好ましく、モニター16によりカメラ11の映像を見
ながら操作盤13を人が操作して、カメラ11の撮影方
向及び撮影画角が適切となる様にカメラ11の撮影方向
およびレンズのズーム値を調整していた。
【0005】
【発明が解決しようとする課題】しかしながらモニター
16に映し出されたカメラ11の撮影画像は当然ながら
かなり限られた視野の映像であり例えば8°〜44°程
度である。したがって人が自分の首を動かし自分の目で
見ている映像より非常に狭い視野しかなく、また使用者
の実際の視点とカメラ11の位置からのカメラ11の視
点とは違うものである。このため、自分が目で見て決定
した撮影したい方向にカメラ11の撮影方向を制御操作
するのは、この視野や視点の違い及びカメラ11の撮影
方向の制御動作速度と人の感性から来る適正速度との違
いにより操作しにくく、またカメラ11が目的の方向を
向く制御操作完了まで常に操作しなくてはならず操作そ
のものに時間がかかるという問題点を有していた。更
に、発言者である話者を被写体として撮影したい場合
で、話者が移動したり特定の位置や方向にいない場合
は、その都度、カメラ11の撮影方向及び撮影画角の操
作を必要とするなど、適切な操作がきわめて面倒である
という問題点があった。
【0006】そこで本発明は上記従来の問題点を解決す
るもので、カメラの撮影方向を話者の方向に向ける操作
を人によらず自動化することで、カメラ撮影方向の操作
性を改善できるカメラ撮影制御装置を提供することを第
1の目的とする。さらには、カメラの撮影方向を話者の
方向に合わせた後、撮影画角を話者に適切に合わせる場
合のカメラ撮影画角操作を人によらず自動化することで
カメラの撮影画角の操作性を改善できるカメラ撮影制御
装置を提供することを第2の目的とする。
【0007】
【課題を解決するための手段】このために本発明は、話
者の発音を感知する複数のマイクと、これらのマイク間
の音の位相差を検出する位相差検出回路と、この位相差
検出回路により各マイク間の位相差が零となるように制
御されカメラ及び複数のマイク全体の方向を制御するカ
メラ方向制御装置とからカメラ撮影制御装置を構成して
いる。
【0008】
【作用】上記構成において、発言者である話者の方向へ
カメラの撮影方向を自動制御できる。これにより電子テ
レビ会議の議事進行などにおけるカメラ操作の中でも頻
度が高く且つ操作に時間を要することが多い話者の方向
にカメラの撮影方向を向ける操作を人がする必要がなく
なり、電子会議システムのカメラ制御の操作時間及び操
作性が大幅に改善される。
【0009】
【実施例】以下本発明の一実施例について図面を参照し
ながら説明する。図1は本発明の第1実施例におけるカ
メラ撮影制御装置の全体構成図である。図1において1
7A,17Bはマイクであり、話者1A,1Bから発せ
られた音声を検知しその信号b,cは位相差検出回路1
8に入力される。位相差検出回路18は複数のマイク1
7A,17Bで検知された音の位相差を検出する回路で
ありカメラ方向制御装置19に接続されている。カメラ
方向制御装置19は複数のマイク17A,17B及びカ
メラ20の方向を共に上下方向や左右方向に変化させる
とともにそれぞれの制御をするものである。図1ではマ
イク17A,17Bに対する話者1A,1Bの相対位置
が異なる場合を示している。ここで話者1Aとマイク1
7A間の距離をL1、同様に話者1Aとマイク17B間
の距離をL2、話者1Bとマイク17A間の距離をL
3、話者1Bとマイク17B間の距離をL4として説明
する。
【0010】以上のように構成されたカメラ撮影制御装
置について図1を参照しながらその動作を説明する。ま
ず話者とマイクとの相対位置関係に対する音の位相差に
ついて説明する。話者1Aとマイク17A,17B間の
相対距離はL1,L2であって異なるため、話者1Aか
ら発せられた音がマイク17A,17Bに到達する時間
は異なってくる。これは音速がほぼ一定なのに対し、2
点間の距離が異なるためであり、距離が遠い方が到達時
間は遅くなる。この様子の一例を図2の本発明の第1実
施例におけるカメラ撮影制御装置の音の位相差の説明図
に示す。図2は話者1Aから発せられた音をマイク17
A,17Bで検出しマイク17Aの出力信号bとマイク
17Bの出力信号cの波形を比較した図であり、出力信
号bの時間t1からt3までと出力信号cの時間t2か
らt4までは相似波形であり、出力信号bに対し出力信
号cはt2−t1の時間だけ音の到達時間が遅れてい
る。つまり出力信号bと出力信号cの間には、距離L1
と距離L2の差に比例した位相差が生じることとなる。
そこで図1の位相差検出回路12では出力信号bと出力
信号c間で図2の出力信号bの時間t1からt3と時間
t2からt4の様に波形が相似形であることをまず確認
し、それらの位相差であるt2とt1の間の差を検出す
るようにCPUおよびソフトその他を用いて処理検出
し、求められた位相差情報を信号dとしてカメラ方向制
御装置19に出力している。
【0011】次に話者1Bの位置がマイク17A,17
Bとの距離が等しくL3=L4の場合は距離L3,L4
が等しいので、話者1Bから発せられた音はマイク17
A,17Bに同時に到達し、図3の本発明の第1実施例
におけるカメラ撮影制御装置の音の位相差の説明図のよ
うになる。よってこの場合は位相差検出回路18でマイ
ク17A,17B間の位相差は零と検出される。
【0012】このようにマイク17A,17B間の音の
位相差が零となるときの話者の位置はマイク17A,1
7Bに対して、どのような位置になるかというと、図1
において線Aで示す線上となる。この位相差零の線Aの
方向とカメラ20の撮影方向が一致するように構成し、
且つカメラ方向制御装置19ではマイク17A,17B
及びカメラ20が位相差零の線Aとカメラ20の撮影方
向が常に一致したまま方向を上下左右に制御できるよう
にする。そして、位相差検出回路18により得られた位
相差の信号dによりマイク17A,17B間の位相差が
零となるようにマイク17A,17B及びカメラ20の
方向を制御することで、話者の方向をカメラ20の撮影
方向が向く様に制御できることとなる。ただ、平面上で
考えると以上の内容となるが実際はカメラ20を上下左
右立体的に動かすので、マイクが2個では不可能であ
る。そこで、図4の本発明の第1実施例におけるカメラ
撮影制御装置の構成位置の説明図に示すように、3個の
マイク17A,17B,17Cを平面上に配置し且つ位
相差検出回路18に接続し、マイク17A,17Bによ
る位相差零の線A1を求めると共に、マイク17A,1
7Cによる位相差零の線A2を求めることにより線A1
と線A2の交点A3を求めることが可能となり、立体的
にも一本の線上が位相差零の線として求められる。よっ
て、上記説明のようにマイク17A,17B,17C間
の位相差が零となる交点A3の方向とカメラ20の撮影
方向が一致するように構成し、カメラ方向制御装置19
で位相差零の交点A3の方向をカメラ20及びマイク1
7A,17B,17Cが向くように自動制御すること
で、話者の方向にカメラ20の撮影方向が自動的に向く
ようにすることが出来る。
【0013】次に本発明の第2実施例を説明する。図5
は本発明の第2実施例におけるカメラ撮影制御装置の全
体構成図である。図5において17A,17B,17D
はマイクであり、話者1A,1Bから発せられた音声を
検知しその出力信号e,f,gは位相差検出回路18に
入力される。位相差検出回路18は複数のマイク17
A,17B,17Dで検知された音の位相差を検出する
回路であり、撮影画角制御装置21に入力される。撮影
画角制御装置21はカメラ20の撮影画角を制御する装
置であり、カメラ20に接続されている。またカメラ方
向制御装置19はマイク17A,17B,17D及びカ
メラ20を共に話者1A,1Bの方向に向ける装置であ
りマイク17A,17B,17D、位相差検出回路1
8、撮影画角制御装置21、カメラ20と共に構成され
る、なお、マイク17Dは話者1A,1Bとカメラ20
の撮影方向つまり話者1A,1Bとマイク17Dを直線
で結んだ線に対し直交する線上に位置するものとし、カ
メラ方向制御装置18によりカメラ20の撮影方向及び
マイク17A,17Bの方向を話者1A,1Bの方向に
向けた状態では、話者1A,1Bとマイク17A,17
B間の距離L6とL7は等しくなるように配置構成する
ものとする。
【0014】以上のように構成されたカメラ撮影制御装
置について図5を参照しながらその動作を説明する。ま
ずカメラ方向制御装置19にてカメラ20の撮影方向及
びカメラ20と同一方向に向くマイク17A,17B,
17Dが、話者1A,1Bの方向を向くように制御す
る。次に話者1A,1Bとマイク17A,17B,17
Dとの相対位置関係に対する音の位相差について説明す
る。話者1Aとマイク17A,17B,17D間の相対
距離がL6,L7,L5のように異なるため、話者1A
から発せられた音がマイク17A,17B,17Dに到
達する時間及び位相は異なる。そこで位相差検出回路1
8により位相差を処理検出し、求められた位相差情報を
信号hとして撮影画角制御装置21へ出力している。図
6(a)は本発明の第2実施例におけるカメラ撮影制御
装置のマイクと話者の配置関係図、図6(b)は本発明
の第2実施例におけるカメラ撮影制御装置のマイクと話
者の角度のグラフ、図6(c)は本発明の第2実施例に
おけるカメラ撮影制御装置のマイクと話者の距離と角度
の関係図、図6(d)は本発明の第2実施例におけるカ
メラ撮影制御装置の距離と距離の差の関係図である。こ
こで話者から発せられた音に対するマイク17A,17
B,17D間の位相差と、マイク17A,17B,17
Dと話者との距離の関係については、図6(a)におい
て距離L6とL7は同じとなる位置関係なので距離L5
と距離L6及びそれらの距離の差を(式1)で計算す
る。
【0015】
【数1】
【0016】また距離L6と距離L5の距離の差は(式
2)になる。
【0017】
【数2】
【0018】また(式2)の第2項をグラフで表すと図
6(b)となりマイク17A,17Bと話者1Aの角度
θ1で一義的に決まることが分る。そこで角度θ1につ
いてはマイク17Dと17Aとの間の距離をL0とし、
距離L0は固定の距離とすると角度θ1は(式3)にな
る。
【0019】
【数3】
【0020】そして角度θ1は図6(c)のように距離
L5で一義的に決定されることが分る。以上のことより
距離L6と距離L5の差は距離L5で一義的に決定さ
れ、図6(d)のようになることがわかる。また音の位
相差は第1実施例と同様に距離の違いで決定されるの
で、距離L5でマイク17Dと17A,17B間の音の
位相差は決定されることとなる。このことを利用して、
マイク17A,17B,17Dからの出力信号e,f,
gを位相差検出回路18に入力し、マイク17Dと17
A,17B間の音の位相差によりマイク17A,17
B,17Dから話者1Aまでの距離L5を知ることが出
来る。このようにして位相差検出回路18にて得られた
マイクと話者との距離情報である信号hを撮影画角制御
装置21へ入力し、距離に応じた適正な撮影画角となる
ように自動的に制御される。なおマイク17Dに対しマ
イク17A,17Bはどちらか片方でも良いが、カメラ
20の撮影方向及びマイクの方向を話者1Aの方向に制
御する制御精度が低いような時に距離L5,L6,L7
間の差の検出精度を向上するためのものであり、距離L
6と距離L7に応じ検出された距離情報を平均化して使
用している。マイク17A,17B,17C,17Dの
具体的な構成例を図7の本発明の第2実施例におけるカ
メラ撮影制御装置のマイクとカメラの配置図に示すが、
ここで第1実施例と共に同一システムに用いる場合、図
7に示すようにマイク17A,17Bは第1実施例のマ
イク17A,17Bと共用化することも可能である。
【0021】
【発明の効果】以上のように本発明のカメラ撮影制御装
置によれば、人の操作によらず自動的に話者の方向へカ
メラの撮影方向を制御できる。したがって電子テレビ会
議の議事進行などにおけるカメラ操作の中でも頻度が高
く且つ操作に時間を要することが多い話者の方向にカメ
ラの撮影方向を向ける操作を人がする必要がなくなり、
電子会議システムのカメラ制御の操作時間及び操作性が
大幅に改善される。さらには、カメラと話者との距離に
関係なく話者の撮影される大きさを適切な一定値とする
ためのカメラの撮影画角制御をする場合に話者が適切な
大きさで撮影される撮影画角が自動的に制御でき、電子
会議システムの操作性が更に向上する。
【図面の簡単な説明】
【図1】本発明の第1実施例におけるカメラ撮影制御装
置の全体構成図
【図2】本発明の第1実施例におけるカメラ撮影制御装
置の音の位相差の説明図
【図3】本発明の第1実施例におけるカメラ撮影制御装
置の音の位相差の説明図
【図4】(a)は本発明の第1実施例におけるカメラ撮
影制御装置の構成位置の説明図 (b)は本発明の第1実施例におけるカメラ撮影制御装
置の構成位置の説明図
【図5】本発明の第2実施例におけるカメラ撮影制御装
置の全体構成図
【図6】(a)は本発明の第2実施例におけるカメラ撮
影制御装置のマイクと話者の配置関係図 (b)は本発明の第2実施例におけるカメラ撮影制御装
置のマイクと話者の角度のグラフ (c)は本発明の第2実施例におけるカメラ撮影制御装
置のマイクと話者の距離と角度の関係図 (d)は本発明の第2実施例におけるカメラ撮影制御装
置の距離と距離の差の関係図
【図7】本発明の第2実施例におけるカメラ撮影制御装
置のマイクとカメラの配置図
【図8】従来のカメラと被写体である話者との距離に対
する撮影画角の説明図
【図9】従来のカメラ撮影制御装置の全体構成図
【符号の説明】
17A マイク 17B マイク 17C マイク 17D マイク 18 位相差検出回路 19 カメラ方向制御装置 20 カメラ 21 撮影画角制御装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/232 Z 7/15

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】話者の発音を感知する複数のマイクと、こ
    れらのマイク間の音の位相差を検出する位相差検出回路
    と、この位相差検出回路により各マイク間の位相差が零
    となるように制御されカメラ及び複数のマイク全体の方
    向を制御するカメラ方向制御装置とを備えたことを特徴
    とするカメラ撮影制御装置。
  2. 【請求項2】話者からの発音を感知する複数のマイク
    と、これらのマイク間の音の位相差を処理し、カメラ及
    びマイクから話者までの距離を算出する位相差処理回路
    と、この位相差処理回路により制御されこの位相差処理
    回路により得たカメラから話者までの距離情報によりカ
    メラの撮影画角が適切な値となる様に制御するカメラ撮
    影画角制御回路とを備えたことを特徴とするカメラ撮影
    制御装置。
JP28646793A 1993-11-16 1993-11-16 カメラ撮影制御装置 Expired - Fee Related JP3555151B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28646793A JP3555151B2 (ja) 1993-11-16 1993-11-16 カメラ撮影制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28646793A JP3555151B2 (ja) 1993-11-16 1993-11-16 カメラ撮影制御装置

Publications (2)

Publication Number Publication Date
JPH07140527A true JPH07140527A (ja) 1995-06-02
JP3555151B2 JP3555151B2 (ja) 2004-08-18

Family

ID=17704773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28646793A Expired - Fee Related JP3555151B2 (ja) 1993-11-16 1993-11-16 カメラ撮影制御装置

Country Status (1)

Country Link
JP (1) JP3555151B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516066B2 (en) 2000-04-11 2003-02-04 Nec Corporation Apparatus for detecting direction of sound source and turning microphone toward sound source
US6545699B2 (en) 2000-05-26 2003-04-08 Nec Corporation Teleconferencing system, camera controller for a teleconferencing system, and camera control method for a teleconferencing system
US6563528B2 (en) 2000-09-29 2003-05-13 Nec Corporation Video conference system
JP2015161659A (ja) * 2014-02-28 2015-09-07 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像の表示装置
JP2016102741A (ja) * 2014-11-28 2016-06-02 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像作成装置
US11776309B2 (en) 2020-04-28 2023-10-03 Roland Corporation Image processing method, image processing apparatus and non-transitory computer readable medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516066B2 (en) 2000-04-11 2003-02-04 Nec Corporation Apparatus for detecting direction of sound source and turning microphone toward sound source
US6545699B2 (en) 2000-05-26 2003-04-08 Nec Corporation Teleconferencing system, camera controller for a teleconferencing system, and camera control method for a teleconferencing system
US6563528B2 (en) 2000-09-29 2003-05-13 Nec Corporation Video conference system
JP2015161659A (ja) * 2014-02-28 2015-09-07 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像の表示装置
JP2016102741A (ja) * 2014-11-28 2016-06-02 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像作成装置
US11776309B2 (en) 2020-04-28 2023-10-03 Roland Corporation Image processing method, image processing apparatus and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP3555151B2 (ja) 2004-08-18

Similar Documents

Publication Publication Date Title
JP4770178B2 (ja) カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
US6545699B2 (en) Teleconferencing system, camera controller for a teleconferencing system, and camera control method for a teleconferencing system
US8044990B2 (en) Camera controller and teleconferencing system
US20220122279A1 (en) Imaging method and imaging control apparatus
US11258940B2 (en) Imaging apparatus
US6563528B2 (en) Video conference system
US5940128A (en) Object imaging apparatus with object slant correction facility
KR20100121086A (ko) 음원인식을 이용한 촬영영상 추적 ptz 카메라 운용시스템 및 그 방법
JP3555151B2 (ja) カメラ撮影制御装置
EP0989747A2 (en) Television lens apparatus adapted for a virtual studio
JP4244416B2 (ja) 情報処理装置および方法、並びに記録媒体
JP2003256987A (ja) 交差点信号案内補助システム
KR100264035B1 (ko) 화상회의 시스템의 카메라 방향 조정 장치와 제어 방법
JPH10290387A (ja) 撮像、表示、記録、再生、伝送装置及び記録媒体
JP2002101408A (ja) 監視カメラシステム
JP2003284050A (ja) テレビジョン監視システム
JPH06141317A (ja) テレビ会議システム
JP2017034645A (ja) 撮影装置、プログラム及び撮影方法
JPH055609A (ja) 画像立体認識方法
US11445106B2 (en) Imaging apparatus
JPH069391B2 (ja) テレビ会議システム
JP2023063765A (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
JPH08265624A (ja) カメラの遠隔制御装置
WO2020230322A1 (ja) 画像処理装置および画像処理方法
WO2019093016A1 (ja) 撮影システム、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040503

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees