JP3991060B2 - 撮像処理装置 - Google Patents

撮像処理装置 Download PDF

Info

Publication number
JP3991060B2
JP3991060B2 JP2006107945A JP2006107945A JP3991060B2 JP 3991060 B2 JP3991060 B2 JP 3991060B2 JP 2006107945 A JP2006107945 A JP 2006107945A JP 2006107945 A JP2006107945 A JP 2006107945A JP 3991060 B2 JP3991060 B2 JP 3991060B2
Authority
JP
Japan
Prior art keywords
digital image
image signal
digital
imaging
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006107945A
Other languages
English (en)
Other versions
JP2006230014A (ja
Inventor
崇史 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006107945A priority Critical patent/JP3991060B2/ja
Publication of JP2006230014A publication Critical patent/JP2006230014A/ja
Application granted granted Critical
Publication of JP3991060B2 publication Critical patent/JP3991060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は撮像した画像を処理しデジタルインターフェース手段を介して出力する撮像処理装置に関するものである。
まずデジタルインターフェースの一例として、IEEEP1394シリアルバスを用いた通信システムについて概要を説明する。
このシステムは、例えば図5に示すように、デジタル機器としてTV1、VTR1、VTR2及びデジタルカムコーダ(以下「DVCR1」という)を備えており、DVCR1とTV1との間、TV1とVTR1との間及びVTR1とVTR2との間は上記P1394シリアルバスで接続される。なお上述の各機器はP1394バス上のデジタルデータ及び制御データを中継する機能を有している。またP1394のためのケーブルは3組のシールド付き対線を備えており、各組の対線はプロトコル信号転送用、データ転送用に用いられるとともに電力供給用にも用いられるようになっており、システム中に電源オフされた機器があってもシステムを動作し得るようにしている。
ところでP1394においては、図6に示すように、所定の通信サイクル(125μsec)で通信が行われ、ビデオデータやオーディオデータのような時間軸を持ったデータは、一定のデータレートで転送帯域が保証されたアイソクロノス(同期)通信され、制御コマンドのような制御データは必要に応じて不定期にアシンクロナス(非同期)通信される。このような通信においては各通信サイクルのはじめにはサイクル・スタート・パケットがあり、それに続いてアイソクロノス通信のためのパケットを送信する期間が設定される。またアイソクロノス通信のためのパケットには各々チャンネル番号を付けることにより、複数チャンネルのアイソクロノス通信を同時に行うことができる。
すなわちDVCR1への通信にチャンネル1を割り付けると、DVCR1はサイクルスタートパケットの直後にチャンネル番号1のアイソクロノス通信パケットをバス上に送出し、VTR1はバス上のパケットを監視してチャンネル番号1が付されたパケットを取り込むことによってDVCR1とVTR1との間でアイソクロノス通信が実行される。同様にVTR2からTV1へのパケットにチャンネル番号2を割り付けることによってVTR2とTV1との間でアイソクロノス通信が実行され、チャンネル1とチャンネル2とのアイソクロノス通信が並行して行われる。そして各通信サイクル中ですべてのアイソクロノス通信パケットの送信が完了した後で、次のサイクルパケットまでの期間がアシンクロナス通信に使用される。
上述のような通信システムにおいては電源投入時新たなデジタル機器を接続した際及び機器を切り離した際に、その接続形態に応じて各機器(ノード)に対して自動的にノードID(物理アドレス)(図5における#0、#1、#2、#3)が上記マイコン内のメモリに記憶されたアドレスプログラム及びアドレステーブルに基づく以下のような手順によって割り付けてトポロジを自動設定する。以下このノードIDの割り付け手順を簡単に説明するが、この手順はシステムの階層構造の決定、各ノードに対する物理アドレスの付与から成る。
まず上記各機器に対してTV1をノードA、DVCR1をノードB、VTR1をノードC、VTR2をノードDとすると、各ノードは自己が接続された相手ノードに対して相手が自分の親であることを互いに伝達し合い、先に相手に伝達した方を優先して最終的にこのシステムにおける各ノード間の親子関係、即ちシステムの階層構造及び他のノードに対して子にならないノードであるルートノードが決定される。具体的にはノードDがノードCに対して親であることを伝達し、ノードBがノードAに対して親であることを伝達する。また、ノードAがノードCに対して親であることを伝達するとともにノードCがノードAに対して親であることを伝達した場合には、先に相手に伝達した方を優先し、ノードCによる伝達が早ければノードAをノードCの親とする。この結果、ノードAは他のいずれのノードに対しても子になることがなく、この場合にはルートノードとなる。このようにして親子の関係が決定された後に物理アドレスの付与が行われる。この物理アドレスの付与は、基本的には親ノードが子ノードに対してアドレス付与を許可し、更に各子ノードはポート番号の若い方に接続された子ノードから順に許可することによって行われる。
図5の場合には、ノードAがノードBに対してアドレス付与を許可し、この結果ノードBは自己に物理アドレス#0を付してこのことをバス上に送出することにより「ノード#0は割当済」であることを他のノードに通知する。次にノードAがノードCに対してアドレス付与を許可すると、同じくノードCの子ノードであるノードDにアドレス付与を許可し、この結果ノードDは自己に物理アドレスとして#0の次の物理アドレスである#1を付してこのことをバス上に送出する。その後ノードCは自己に物理アドレス#2を付してこのことをバス上に送出し、最後にノードAが自己に物理アドレス#3を付してこのことをバス上に送出する。尚、このノードIDの割り付け手順を含むP1394シリアルバスの詳細は「IEEE1394シリアルバス仕様書」として公開されている。
次にデータ転送の手順について説明する。上述のようなアドレスが付与されることによってデータ転送が可能となるが、P1394のシステムではデータ転送に先立って上記ルートノードによるバス使用権の調停が行われる。即ちP1394では図6に示したようにあるタイミングでは1チャンネルのデータのみの転送が行われるために先ず調停する必要があり、各ノードは転送を行いたい時には自己の親ノードに対してバス使用権を要求し、結果としてルートノードが各ノードからの使用権を調停する。この結果バス使用権を得たノードはデータ転送を始める前に伝送速度の指定を行い、100Mbpsか200Mbps又は400Mbpsか等を送信先ノードに通知する。
この後アイソクロナス転送の場合には、送信元ノードは上記ルートノードであるサイクル・マスタが上記通信サイクルに同期して送出するサイクル・スタート・パケットを受信した後、直ちに指定したチャンネルでデータ転送を開始する。尚、上記サイクル・マスタは上記サイクル・スタート・パケットをバス上に送出するとともに、各ノードの時刻合わせを行う。一方コマンドの制御データの転送を行うアシンクロナス転送の場合には、各通信サイクル内の同期転送が終了した後にアシンクロナス通信のための調停が行われ、送信元ノードから送信先ノードへデータ転送が開始される。
以上がP1394シリアルバスを用いた通信システムについての概要である。
図7に従来の画像撮影処理装置であるDVCR701が接続されたシステムの構成例を示す。DVCR701は撮影した画像を圧縮してテープ上に記録する。また撮影中もしくは再生中の圧縮された画像はP1394バスを通してVTR702に送られる。VTR702は送られてきた圧縮画像をテープ上にダビング記録する。またVTR702は送られてきた圧縮画像を伸張してD/A変換を施し、アナログインターフェースでつながれたTV703に送る。
一方デジタルカメラ704はいわゆるVGAと呼ばれる正方格子のデジタル画像データをP1394バスを通してコンピュータ705に送る。従って、コンピュータ705のモニタでこの画像を見ることができる。更にDVCR701からは例えばNTSCのアナログ画像信号がコンピュータ705のビデオ入力手段に送られている。送られてきたアナログNTSC信号はコンピュータ705でA/D変換が施され、VGA画像としてコンピュータ705のモニタで見ることができる。尚、DVCR701の画像をコンピュータ705で見る場合は、DVCR701とコンピュータ705とをアナログインターフェースで接続する。
しかしながら従来の構成では、TV703で画像を見るため及びコンピュータ705で画像を見るためにDVCR701とデジタルカメラ704との2つの撮像処理装置を用意しなければならないという問題があった。
あるいはコンピュータ705で画像を見るための撮像処理装置をDVCR701だけにした場合には、DVCR701とコンピュータ705を図7のようにアナログインターフェースでつないでいたので、画像の品質が劣化するという問題があった。
あるいはDVCR701とデジタルカメラ704とを1つのノード内に混在させた場合には、出力する画像データの形式が異なるので、それらを切り換えて使用しなければならないという問題があった。
そこで、本発明は、圧縮された第1の形式(例えば、NTSC形式)のデジタル映像信号をデジタルインターフェース手段から送出する機能と、第2の形式(例えば、VGA形式)のデジタル映像信号をデジタルインターフェース手段から出力する機能とを、外部からの制御情報に従って切り換えることができるようにし、1つの装置にDVCRとデジタルカメラとを混在させた場合に生ずる問題を解決することを目的とする。
発明に係る撮像処理装置は、例えば、被写体を撮像する撮像手段と、前記撮像手段の出力を処理して第1の方式のデジタル画像信号を出力する信号処理手段と、前記第1の方式のデジタル画像信号を圧縮する圧縮手段と、前記第1の方式のデジタル画像信号を第2の方式のデジタル画像信号に変換する変換手段と、前記圧縮手段により圧縮された前記第1の方式のデジタル画像信号、または、前記変換手段により得られた前記第2の方式のデジタル画像信号を選択する選択手段と、記選択手段により選択された前記第1の方式のデジタル画像信号または前記第2の方式のデジタル画像信号を送出するデジタルインターフェース手段とを有し記デジタルインターフェース手段を介して入力された制御情報に従って前記選択手段を制御することを特徴とする
発明に係る他の撮像処理装置は、例えば、被写体を撮像する撮像手段と、記撮像手段の出力を処理して第1の方式のデジタル画像信号を出力する信号処理手段と、記第1の方式のデジタル画像信号を圧縮する圧縮手段と、圧縮手段により圧縮された前記第1の方式のデジタル画像信号を記録媒体に記録する記録手段と、記記録媒体から前記第1の方式のデジタル画像信号を再生する再生手段と、前記記録媒体から再生された前記第1の方式のデジタル画像信号を伸張する伸張手段と、前記圧縮手段により圧縮される前の前記第1の方式のデジタル画像信号、または、前伸張手段により伸張された前記第1の方式のデジタル画像信号を第2の方式のデジタル画像信号に変換する変換手段と、圧縮手段により圧縮された前記第1の方式のデジタル画像信号、または、前記変換手段により得られた前記第2の方式のデジタル画像信号を選択する選択手段と、記選択手段により選択された前記第1の方式のデジタル画像信号または前記第2のデジタル画像信号を送出するデジタルインターフェース手段とを有しデジタルインターフェース手段を介して入力された制御情報に従って前記選択手段を制御することを特徴とする
発明によれば、圧縮された第1の形式(例えば、NTSC形式)のデジタル映像信号をデジタルインターフェース手段から送出する機能と、第2の形式(例えば、VGA形式)のデジタル映像信号をデジタルインターフェース手段から出力する機能とを、外部からの制御情報に従って切り換えることができ、1つの装置にDVCRとデジタルカメラとを混在させた場合に生ずる問題を解決することができる
図1は本発明によるDVCR等の撮影処理装置の実施の形態を示すブロック図である。レンズ101を通してCCD102で撮影された画像信号はカメラ信号処理部103に送られ、デジタルNTSC信号が生成される。このデジタルNTSC信号は圧縮処理部104、スイッチ105、スイッチ106に入力される。圧縮処理部104では所定のデータ圧縮(例えばSDフォーマットの圧縮)が施される。そして圧縮された画像信号は記録処理部107で変調処理等が施された後、スイッチ109がREC側になっているとき磁気テープ108にヘッド110によって記録される。同時に圧縮された画像信号はスイッチ115に入力される。
一方スイッチ105に入力されたデジタルNTSC信号はスイッチ105がREC側になっているときに、D/A変換器111でアナログ信号となった後、アナログインターフェース112を通して外部につながれたケーブル113に出力される。
またスイッチ106に入力されたデジタルNTSC信号はスイッチ106がREC側になっているときに、NTSC/VGA変換部114でデジタルVGA信号となった後、スイッチ115に入力される。
再生時は、磁気テープ108からヘッド110によって再生された信号は、スイッチ109を通して再生処理部116に入力される。再生処理部116で復調された圧縮画像信号は伸張処理部117でデジタルNTSC信号に戻され、スイッチ105及びスイッチ106に入力される。
スイッチ105に入力された再生デジタルNTSC信号はスイッチ105がPB側になっているときに、D/A変換器111でアナログ信号となった後、アナログインターフェース112を通して外部につながれたケーブル113に出力される。
またスイッチ106に入力された再生デジタルNTSC信号は、スイッチ106がPB側になっているときに、NTSC/VGA変換部114でデジタルVGA信号となった後、スイッチ115に入力される。
スイッチ115に入力された圧縮画像信号もしくはデジタルVGA信号はデジタルインターフェース118を通して、IEEEP1394シリアルバス規格のパケットとして外部につながれたケーブル119に出力される。一方外部につながれたケーブル119からデジタルインターフェース118に入力された制御情報のパケットは、判別部120に送られる。判別部120は入力された制御情報の内容によってスイッチ115を切り換える。
次に判別部120について説明する。図2に判別部120の構成を示す。
図2において、前記デジタルインターフェース118から送られてきた制御情報のパケットは、宛先アドレス抽出部201で宛先オフセットアドレスが取り出される。
制御情報のパケットの例を図3に示す。図3において、横1列は32ビット幅である。フィールド301は宛先IDで、従来例でIEEEP1394シリアルバス規格として述べたように、バスの各ノードに対する物理アドレスの付与で決まる宛先ノードのノードIDである。同様にフィールド302はパケットを送り出したソースノードのノードIDである。フィールド303は送り手ノードと受け手ノードとでやり取りされるトランザクションのラベルやコード等である。
そしてフィールド304は宛先ノードIDに対する48ビットの宛先オフセットアドレスである。宛先IDと宛先オフセットアドレスとで64ビットのアドレスを構成し、バス上の特定のノードの中の特定のレジスタやROMのアドレスを示すことができる。これらバス上のレジスタ規格の詳細はIEEE1212規格として公開されている。そしてフィールド305は上記64ビットのアドレスに対して向けられる制御情報やステータス情報等のデータフィールドである。
図4に本実施の形態の撮影処理装置のレジスタベースを示す。図4は48ビットのオフセットアドレスで示されるレジスタベースの"FFFFF0000000"から"FFFFFFFFFFFF"を表す。ROM領域401はこの装置(ノード)が実装しているバスのプロトコルやメーカーのID、そしてこの装置(ノード)が実装しているユニットに関する情報等が書かれている。ユニットはノード内に存在する機能を示し、本装置は、それぞれ異なる制御プロトコルを実装している2つのユニットを持っている。その1つは他のDVCRに圧縮された画像データをダビングしたり、伸張した後アナログに戻してTVで画像を見るための、圧縮されたデジタル画像信号を出力するDVCRの機能である。もう1つはコンピュータのモニタで画像を見るための、デジタルVGA画像を出力するデジタルカメラとしての機能である。
レジスタ領域402はそれぞれのユニットの制御情報やステータス、データ等を他の装置とやりとりするレジスタである。レジスタ領域402はDVCRの機能のユニットで使用されるレジスタの領域403とデジタルカメラの機能のユニットで使用されるレジスタの領域404とに分かれている。本装置とケーブルでつながれている他の装置は、上記ROM領域の内容を読み出すことによって、各ユニットが制御情報のやり取りに使用するレジスタのアドレスを知ることができる。
図2において、宛先アドレス抽出部201で得られたアドレスは、アドレス比較部202に入力され、アドレス範囲1・203と比較される。同時に比較部204にも入力され、アドレス範囲2・205と比較される。アドレス範囲1・203は図4で示したレジスタの領域403のアドレス範囲を示し、アドレス範囲2・205は図4で示したレジスタの領域404のアドレス範囲を示す。そしてこれら2つの比較結果に応じてスイッチ制御部206が図1に示したスイッチ115を切り換える。具体的には宛先アドレス抽出部201で得られたアドレスがアドレス範囲1・203の範囲に含まれていれば、DVCRの機能のユニットに向けられたパケットであると判断して、図1に示したスイッチ115を"DVCR"側に切り換える。また、宛先アドレス抽出部201で得られたアドレスがアドレス範囲2・205の範囲に含まれていれば、デジタルカメラの機能のユニットに向けられたパケットであると判断して、図1に示したスイッチ115を"DCAM"側に切り換える。
以上述べた構成及び動作によって、1つの装置(ノード)でDVCRの機能とデジタルカメラの機能との両方に対応でき、しかもそれらの機能をユーザからいちいち切り換えなくても、送られてきたパケットがどの機能のユニットに向けられたものであるかを判別して、外部に出力するデータの形式を切り換えることができる。
本発明の実施の形態による撮像処理装置を示すブロック図である。 判別部を示すブロック図である。 デジタルインターフェースのパケットを示す構成図である。 デジタルインターフェースのアドレスベースを示す構成図である。 デジタルインターフェースの概要を示す構成図である。 デジタルインターフェースの動作を示すタイミングチャートである。 従来のシステムを示すブロック図である。
符号の説明
102 CCD
103 カメラ信号処理部
104 圧縮処理部
107 記録処理部
108 磁気テープ
110 ヘッド
114 NTSC/VGA変換部
115 スイッチ
116 再生処理部
117 伸張処理部
118 デジタルインターフェース
119 ケーブル
120 判別部

Claims (5)

  1. 被写体を撮像する撮像手段と、
    前記撮像手段の出力を処理して第1の方式のデジタル画像信号を出力する信号処理手段と、
    前記第1の方式のデジタル画像信号を圧縮する圧縮手段と、
    前記第1の方式のデジタル画像信号を第2の方式のデジタル画像信号に変換する変換手段と、
    前記圧縮手段により圧縮された前記第1の方式のデジタル画像信号、または、前記変換手段により得られた前記第2の方式のデジタル画像信号を選択する選択手段と、
    記選択手段により選択された前記第1の方式のデジタル画像信号または前記第2の方式のデジタル画像信号を送出するデジタルインターフェース手段とを有し
    記デジタルインターフェース手段を介して入力された制御情報に従って前記選択手段を制御することを特徴とする撮像処理装置。
  2. 被写体を撮像する撮像手段と、
    記撮像手段の出力を処理して第1の方式のデジタル画像信号を出力する信号処理手段と、
    記第1の方式のデジタル画像信号を圧縮する圧縮手段と、
    圧縮手段により圧縮された前記第1の方式のデジタル画像信号を記録媒体に記録する記録手段と、
    記記録媒体から前記第1の方式のデジタル画像信号を再生する再生手段と、
    前記記録媒体から再生された前記第1の方式のデジタル画像信号を伸張する伸張手段と、
    前記圧縮手段により圧縮される前の前記第1の方式のデジタル画像信号、または、前伸張手段により伸張された前記第1の方式のデジタル画像信号を第2の方式のデジタル画像信号に変換する変換手段と、
    圧縮手段により圧縮された前記第1の方式のデジタル画像信号、または、前記変換手段により得られた前記第2の方式のデジタル画像信号を選択する選択手段と、
    記選択手段により選択された前記第1の方式のデジタル画像信号または前記第2のデジタル画像信号を送出するデジタルインターフェース手段とを有し
    デジタルインターフェース手段を介して入力された制御情報に従って前記選択手段を制御することを特徴とする撮像処理装置。
  3. 第2の方式のデジタル画像信号は、コンピュータのモニタに表示可能なデジタル画像信号であることを特徴とする請求項1又は2に記載の撮像処理装置。
  4. 前記第2の方式のデジタル画像信号は、VGA形式のデジタル画像信号であることを特徴とする請求項3に記載の撮像処理装置。
  5. 前記第1の方式のデジタル画像信号は、NTSC形式のデジタル画像信号であることを特徴とする請求項1〜4のいずれか1項に記載の撮像処理装置。
JP2006107945A 2006-04-10 2006-04-10 撮像処理装置 Expired - Fee Related JP3991060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006107945A JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006107945A JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP8086797A Division JPH09284619A (ja) 1996-04-09 1996-04-09 撮像処理装置

Publications (2)

Publication Number Publication Date
JP2006230014A JP2006230014A (ja) 2006-08-31
JP3991060B2 true JP3991060B2 (ja) 2007-10-17

Family

ID=36990865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006107945A Expired - Fee Related JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Country Status (1)

Country Link
JP (1) JP3991060B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660247B (zh) * 2015-03-10 2017-11-21 北京大恒图像视觉有限公司 一种双向接口电路

Also Published As

Publication number Publication date
JP2006230014A (ja) 2006-08-31

Similar Documents

Publication Publication Date Title
JP3787498B2 (ja) 撮像装置及び撮像システム
US6683999B2 (en) Image transmission apparatus and method utilizing different transmission modes for transmitting moving image data and still image data
US20010047443A1 (en) Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
US6144411A (en) Image processing apparatus with format conversion capabilities
KR19990072917A (ko) 데이타통신시스템,데이타통신방법,데이타통신장치및디지탈인터페이스
JP3862371B2 (ja) 電子機器及び制御方法
JPH10229410A (ja) データ処理装置、電子機器および通信システム
JP3912841B2 (ja) データ通信装置
JP3991060B2 (ja) 撮像処理装置
JP2002164898A (ja) データ送受信装置及びデータ送受信方法
JP4095427B2 (ja) データ通信装置
JP2000092086A (ja) 通信装置、通信情報記録方法、応答情報再生/通信情報記録方法及び記憶媒体
JPH11215143A (ja) データ通信装置及び方法
JP3996961B2 (ja) 撮像装置
JP3985000B2 (ja) 撮像記録再生装置
JPH09284619A (ja) 撮像処理装置
JP2001309459A (ja) 遠隔制御システム及び情報選択装置
EP1521259A1 (en) Information recording device and information recording method
JP2001169198A (ja) 信号伝送装置、信号伝送方法及び記憶媒体
JP3985010B2 (ja) データ通信装置
JP2001313875A (ja) 映像モニタ装置及びその制御方法
JP4420448B2 (ja) 通信装置及び制御方法
JP3676618B2 (ja) パケット転送装置、及びデータ記録媒体
JP2000196985A (ja) Avシステム
JP4336574B2 (ja) 制御装置及び制御プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees