JP3035855B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置

Info

Publication number
JP3035855B2
JP3035855B2 JP3002202A JP220291A JP3035855B2 JP 3035855 B2 JP3035855 B2 JP 3035855B2 JP 3002202 A JP3002202 A JP 3002202A JP 220291 A JP220291 A JP 220291A JP 3035855 B2 JP3035855 B2 JP 3035855B2
Authority
JP
Japan
Prior art keywords
image
motion
field
regions
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3002202A
Other languages
English (en)
Other versions
JPH04241832A (ja
Inventor
ステファン・デー・エドワード
レスリー・ジョン・ハヤデイ
Original Assignee
富士写真光機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士写真光機株式会社 filed Critical 富士写真光機株式会社
Priority to JP3002202A priority Critical patent/JP3035855B2/ja
Publication of JPH04241832A publication Critical patent/JPH04241832A/ja
Application granted granted Critical
Publication of JP3035855B2 publication Critical patent/JP3035855B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は電子内視鏡装置に係り、
特に面順次方式で撮像する医用又は産業用電子内視鏡装
置に関する。
【0002】
【従来の技術】1つのCCD2次元センサから順次各色
の照明光に対応した色画像を得る面順次方式は、CCD
2次元センサの個数を多くとれない場合に有効であり、
近年医用電子内視鏡装置に応用されつつある。かかる電
子内視鏡装置は、照明光に対応して順次撮像して得た各
色別の面順次映像信号を赤、緑、青のフィールドメモリ
を介して同時式に変換し、カラー映像としてカラーTV
に再生できるように構成されている。また、モニタ映像
を静止させるフリーズ・フレーム要求が加えられると、
前記赤、緑、青のフィールドメモリの記憶画像を固定
し、静止画をモニタできるようになっており、更にハー
ドコピー装置と接続され、記録指令が加えられると、そ
の静止画をハードコピーできるようになっている。
【0003】ところで、面順次方式では各色チャンネル
の色画像は1フレームづつ遅れて発生しており、これを
同時式に変換してカラー映像として再生しているため、
従来の電子内視鏡装置は、フリーズ・フレーム要求によ
ってモニタ映像を静止させると、観察対象部とスコープ
先端部間の動きにより静止したモニタ映像に色ずれが発
生する場合があった。
【0004】そこで、従来、静止したモニタ映像の色ず
れを防止するために、フリーズ・フレーム要求中の映像
が静止画か動画かを判別し、静止画と判別されたときの
み、赤、緑、青のフィールドメモリの記憶画像を固定
し、色ずれのない静止画を得るようにした電子内視鏡装
置が提案されている。また、一般に現在撮影中の映像が
静止画か動画かの判別は、入力画像の全領域にわたって
行われているが、画像の一部分(関心領域)のみ行うよ
うにしたものがある(特開平2─213319号公
報)。
【0005】
【発明が解決しようとする課題】しかしながら、入力画
像を関心領域と無関心領域に完全に区分できる場合に
は、上述のように関心領域のみの映像情報に基づいて静
止画か動画かを判別することは静止画を見たいという目
的に合致するが、関心領域と無関心領域とを一義的に区
別できない場合には問題がある。
【0006】本発明はこのような事情に鑑みてなされた
もので、入力する全画面における関心度の分布に対応し
て静止画か動画かの判別を行うことができる電子内視鏡
装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明は前記目的を達成
するために、スコープ先端から赤、緑、青の照明光を順
次観察対象部に向けて照射し、固体撮像素子により順次
各色別の画像を撮像し、この撮像により得た赤、緑、青
の面順次映像信号を各色毎のフィールドメモリに記憶さ
せるとともに同時に読み出すことによって同時式カラー
映像信号を得、カラー映像をモニタに表示し、またフリ
ーズ・フレーム制御信号を入力すると前記フィールドメ
モリの記憶内容を固定してモニタ映像を静止させるよう
にした電子内視鏡装置において、1フィールド又は1フ
レームの面順次映像信号を所定の周期で入力し、入力し
た前後の1フィールド又は1フレームの面順次映像信号
に基づいて、予め設定された画面全体を複数の領域に区
分したそれぞれの領域別に、各領域毎の画像の動きの度
合いを示す動きレベルを出力する動きレベル発生手段
と、前記画面の領域別にその領域の画像の許容できる動
きの度合いを示す閾値を出力する手段であって、前記各
領域別に設定される複数の閾値を出力する閾値発生手段
と、前記動きレベル発生手段から出力される各領域別の
動きレベルと前記閾値発生手段から出力される各領域毎
の閾値とをそれぞれ比較し、前記複数の領域の全ての比
較結果に基づいて動画か静止画かを判別する判別手段
と、フリーズ・フレーム要求を入力したのち前記判別手
段が静止画と判別すると、前記フリーズ・フレーム制御
信号を出力するフリーズ・フレーム制御信号発生手段
と、を備えたことを特徴としている。
【0008】また、1フィールド又は1フレームの面順
次映像信号を所定の周期で入力し、入力した前後の1フ
ィールド又は1フレームの面順次映像信号に基づいて、
予め設定された画面全体を複数の領域に区分したそれぞ
れの領域別に、各領域毎の画像の動きの度合いを示す動
きレベルを、それぞれ各領域の画像の関心度にかかわる
重み付けをして出力する動きレベル発生手段と、動画か
静止画かを判別するための所定の閾値を出力する閾値発
生手段と、前記動きレベル発生手段から出力される各領
域別に重み付けされた動きレベルと前記閾値発生手段か
ら出力される前記所定の閾値とを比較し、前記複数の領
域の全ての比較結果に基づいて動画か静止画かを判別す
る判別手段と、フリーズ・フレーム要求を入力したのち
前記判別手段が静止画と判別すると、前記フリーズ・フ
レーム制御信号を出力するフリーズ・フレーム制御信号
発生手段と、を備えたことを特徴としている。
【0009】
【作用】本発明によれば、1フィールド又は1フレーム
の面順次映像信号を所定の周期で入力し、入力した前後
の1フィールド又は1フレームの面順次映像信号に基づ
いて、予め設定された画面全体を複数領域に区分したそ
れぞれの領域別に、その領域毎の画像の動きの度合いを
示す複数の動きレベルを検出する。一方、前記画面の領
域別にその画像の許容できる動きの度合いを示す複数の
閾値を設定する。そして、前記検出した各領域別の動き
ベクトルと前記設定した各領域別の閾値とをそれぞれ比
較し、前記複数の領域の全ての比較結果に基づいて動画
か静止画かを判別するようにしている。
【0010】また、他の態様では各領域別に複数の閾値
を設定する代わりに、各領域別の動きレベルにそれぞれ
各領域の画像の関心度にかかわる重み付けをして動きレ
ベルを求め、この動きレベルと所定の閾値とを比較し、
その比較結果に基づいて動画か静止画かを判別するよう
にしている。このようにして静止画が判別され且つフリ
ーズ・フレーム要求があると、フリーズ・フレーム制御
信号を出力し、フィールドメモリの記憶内容を固定して
モニタ映像を静止させるようにしている。
【0011】
【実施例】以下添付図面に従って本発明に係る電子内視
鏡装置の好ましい実施例を詳述する。図1は本発明に係
る電子内視鏡装置の要部ブロック図である。この電子内
視鏡装置は、面順次方式で順次所望の色画像を撮像し、
この撮像により得た面順次映像信号を同時式に変換して
カラー画像として再生するものであり、スコープ先端部
に設けられた対物レンズ(図示せず)は、赤(R)、緑
(G)、青(B)の各照明光によって照明された観察対
象部を撮像し、これを固体撮像素子(例えばCCDセン
サ)の受光部に結像し、CCDセンサは入射光を光電変
換して各照明光に対応したRGB面順次映像信号をA/
D変換器を介してデジタルビデオ・エンハンサ回路10
及び動き検出回路20に出力する。
【0012】デジタルビデオ・エンハンサ回路10は入
力するデジタル映像信号の輪郭強調を行たのち、これを
フリーズ・フレーム回路12に出力する。フリーズ・フ
レーム回路12はR、G、Bのフィールドメモリ及びメ
モリ制御回路を有し、該メモリ制御回路によって各フィ
ールドメモリへの書き込み及び各フィールドメモリから
の読み出しが制御される。即ち、メモリ制御回路は、前
記R、G、Bの各照明光に同期した信号を入力してお
り、各照明光に対応したRGB映像信号をその色に対応
したフィールドメモリに記憶させるべく、各フィールド
メモリに書込み信号を順次出力し、フィードメモリの記
憶内容を更新させる。これらのフィールドメモリに記憶
されたRGB映像信号は同時に読み出され、デジタル映
像処理回路14に加えられ、ここで所定の映像処理が行
われたのち図示しないモニタに出力され、カラー映像と
して表示される。
【0013】また、フリーズ・フレーム回路12は動き
検出回路20によって制御される。動き検出回路20
は、前述したようにRGB映像信号が順次加えられると
ともにモニタ映像を静止させるためのフリーズ・フレー
ム要求を入力し得るようになっている。このフリーズ・
フレーム回路12は、フリーズ・フレーム要求を入力し
且つ現在の映像が動きのない映像(静止画)と判定する
と、フリーズ・フレーム制御信号をフリーズ・フレーム
回路12に出力し、フリーズ・フレーム回路12内の各
フィールドメモリの記憶内容の更新を禁止する。これに
より、各フィールドメモリの記憶内容を固定してモニタ
映像を静止させるようにしている。
【0014】次に、上記動き検出回路20について図2
を参照しながら詳説する。図2は上記動き検出回路20
の一実施例を示すブロック図である。この動き検出回路
20は、マルチプレクサ21、フィールドメモリ22
A,22B、減算器23、絶対値回路24、積算回路2
5、比較回路26、閾値発生回路及び制御回路27、タ
イマ28及びフリーズ・フレーム制御信号発生回路29
から構成されている。
【0015】マルチプレクサ21は面順次映像信号のう
ち同一色の映像信号のみを抽出し、これを交互にフィー
ルドメモリ22A,22Bに出力する。各フィールドメ
モリ22A,22Bからは同一位置の画素のデータが同
時に読み出され、減算器23に加えられる。減算器23
では同一位置の画素の差がとられ、絶対値回路24を介
して前記差の絶対値が積算回路25に加えられる。
【0016】積算回路25は、例えば図3(A)に示す
ように画面を9つの領域に区分し、この区分した領域別
に絶対値回路24から入力する絶対値を合計し、これら
の合計値を各領域の画像の動きの度合いを示す動きレベ
ルとして比較回路26に出力する。比較回路26の他の
入力には閾値発生回路及び制御回路27から前記各領域
別の閾値が加えられている。即ち、閾値発生回路及び制
御回路27は、画面の領域別にその領域の画像の許容で
きる動きの度合いを示す複数の閾値を出力する。尚、図
3(A)において、1は動きレベルの感度の高い領域を
示し、0.5は動きレベルの感度の低い領域を示してお
り、従って、画面の中央部に対応して設定される閾値は
その周囲の領域に比べて低く設定され、円形画像領域の
周囲の動き感度は、より大きく重み付けされることにな
る。
【0017】比較回路26はこれらの各領域別の2入力
をそれぞれ比較し、その比較結果をフリーズ・フレーム
制御信号発生回路29に出力する。さて、閾値発生回路
及び制御回路27はフリーズ・フレーム要求を入力する
と、フリーズ・フレーム要求をタイマ28及びフリーズ
・フレーム制御信号発生回路29に出力するとともに、
フレーム数Xを示すデータをフリーズ・フレーム制御信
号発生回路29に出力する。タイマ28は、例えばフリ
ーズ・フレーム要求を入力してから2〜3秒後に動き検
出を無効にする信号をフリーズ・フレーム制御信号発生
回路29に加える。
【0018】フリーズ・フレーム制御信号発生回路29
はフリーズ・フレーム要求を入力すると動作可能にな
り、前記比較回路26から入力する比較結果から全領域
における動きレベルがそれぞれ各領域別に設定された閾
値よりも低い場合は、画像全体が静止していると判別す
る。このようにして静止状態と判別された画像が、前記
閾値発生回路及び制御回路27から入力するフレーム数
X(例えばX=3)だけ連続すると、フリーズ・フレー
ム制御信号をフリーズ・フレーム回路12に出力する。
尚、フレーム数Xは、最適性能を得るために内視鏡(ボ
アスコープ)のタイプ、手順及び使用者の好みに従って
変更することができる。
【0019】フリーズ・フレーム制御信号発生回路29
はフリーズ・フレーム要求を入力したのちタイマ28か
ら動き検出を無効にする信号を入力すると、フリーズ・
フレーム制御信号をフリーズ・フレーム回路12に出力
する。これにより、使用者はフリーズ・フレーム要求を
すると、必ず静止画を得ることができるが、タイマ28
から動き検出を無効にする信号を入力してフリーズ・フ
レーム制御信号を発生した場合にはその静止画は色ずれ
があるものになる。別法として、フリーズ・フレーム要
求を入力してから2〜3秒しても静止画像が全く発見さ
れない場合には、画像が静止するまで、或いは使用者が
フリーズ・フレーム要求を使用禁止にするまで、使用者
へのメッセージをモニタ上に表示するようにしてもよ
い。
【0020】図3には異なるサイズ、形状、位置、及び
動き閾値に影響を有する領域を含む4つの画像例が示さ
れている。図3(A)には、前述したように円形画像領
域の周囲の動き感度がより大きく重み付けられた場合の
構成例が示されている。この構成例の場合、関心のある
観察対象部が画面の中心にない適応例において回路性能
を向上させることができる。
【0021】図3(B)には、動き感度が画像を横断す
る水平帯域に分散されている構成例が示されている。こ
の構成例の特徴は比較的コストが安いことで、しかも画
像の一領域に動きが集中し過ぎないようにして性能を向
上させている。図3(C)には、円形画像領域の中心部
の動き感度がより大きく重み付けされた構成例が示され
ている。この構成例の場合は、関心のある観察対象部が
画像の中心部にある適応例において回路性能を向上させ
ることができる。
【0022】図3(D)には、円形画像領域の周囲部の
動き感度がより大きく重み付けされた構成例が示されて
いる。この構成例では、(画像中心部周辺の)回転運動
を図3(C)の場合よりも少なくすることができる。こ
の構成を使用すると、関心のある観察対象部が画像の中
心部にない適用例において回路性能を向上させることが
できる。
【0023】図4は図1と同様なブロック図であるが、
レベル設定回路30及び語長削減回路32が付加されて
いる。レベル設定回路30は面順次映像信号のノイズを
減少させることにより動き検出回路20の検出性能を高
めることができる。即ち、レベル設定回路30は各入力
画素の振幅に影響を与え、図5に示すように比較的低い
閾値ThL 以下の振幅を有する画素は全て黒レベルに設定
され、比較的高い閾値ThU 以上の振幅を有する画素は全
て白レベルに設定さる。この工程では、明暗領域部のノ
イズに起因する誤った動き検出を排除することにより動
き検出回路20の実際の動きに対する感度を向上させ
る。
【0024】語長削減回路32は動き検出回路20のハ
ードウエアのコストを削減することができる。語長削減
回路32に入力する画素の語長は8ビットであるが、語
長削減回路32は画素振幅のダイナミックレンジが4ビ
ットになるように減少させる。尚、上記実施例では画面
の各領域別に複数の閾値を設定するようにしたが、これ
に限らず、各領域別の動きレベルにそれぞれ各領域の画
像の関心度にかかわる重み付けをして(適宜の係数を掛
けて)動きレベルを求め、この動きレベルと所定の閾値
とを比較し、その比較結果に基づいて動画か静止画かを
判別するようにしてもよい。順次入力する色画像のう
ち、同一色画像同士を比較するようにしたが、異なる色
画像同士を比較するようにしてもよい。
【0025】
【発明の効果】以上説明したように本発明に係る電子内
視鏡装置によれば、入力する全画面における関心度の分
布に対応して画面の領域別に重み付けをして静止画か動
画かの判別を行うようにしたため、フリーズ・フレーム
要求をすると、使用者の要求に応じた静止画を比較的速
く得ることができる。
【図面の簡単な説明】
【図1】本発明に係る電子内視鏡装置の一実施例を示す
要部ブロック図である。
【図2】図1の動き検出回路の詳細例を示すブロック図
である。
【図3】異なるサイズ、形状、位置、及び動き閾値に影
響を有する領域を含む4つの画像例を示す図である。
【図4】本発明に係る電子内視鏡装置の他の実施例を示
す要部ブロック図である。
【図5】図4のレベル設定回路を説明するために用いた
グラフである。
【符号の説明】 12…フリーズ・フレーム回路 20…動き検出回路 21…マルチプレクサ 22A,22B…フィールドメモリ 23…減算器 24…絶対値回路 25…積算回路 26…比較回路 27…閾値発生回路及び制御回路 29…フリーズ・フレーム制御信号発生回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) A61B 1/00 - 1/32

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 スコープ先端から赤、緑、青の照明光を
    順次観察対象部に向けて照射し、固体撮像素子により順
    次各色別の画像を撮像し、この撮像により得た赤、緑、
    青の面順次映像信号を各色毎のフィールドメモリに記憶
    させるとともに同時に読み出すことによって同時式カラ
    ー映像信号を得、カラー映像をモニタに表示し、またフ
    リーズ・フレーム制御信号を入力すると前記フィールド
    メモリの記憶内容を固定してモニタ映像を静止させるよ
    うにした電子内視鏡装置において、 1フィールド又は1フレームの面順次映像信号を所定の
    周期で入力し、入力した前後の1フィールド又は1フレ
    ームの面順次映像信号に基づいて予め設定された画面
    全体を複数の領域に区分したそれぞれの領域別に、各
    の画像の動きの度合いを示す動きレベルを出力する
    動きレベル発生手段と、 前記画面の領域別にその領域の画像の許容できる動きの
    度合いを示す閾値を出力する手段であって、前記各領域
    別に設定される複数の閾値を出力する閾値発生手段と、 前記動きレベル発生手段から出力される各領域別の動き
    レベルと前記閾値発生手段から出力される各領域毎の閾
    値とをそれぞれ比較し、前記複数の領域の全ての比較結
    果に基づいて動画か静止画かを判別する判別手段と、 フリーズ・フレーム要求を入力したのち前記判別手段が
    静止画と判別すると、前記フリーズ・フレーム制御信号
    を出力するフリーズ・フレーム制御信号発生手段と、 を備えたことを特徴とする電子内視鏡装置
  2. 【請求項2】 スコープ先端から赤、緑、青の照明光を
    順次観察対象部に向けて照射し、固体撮像素子により順
    次各色別の画像を撮像し、この撮像により得た赤、緑、
    青の面順次映像信号を各色毎のフィールドメモリに記憶
    させるとともに同時に読み出すことによって同時式カラ
    ー映像信号を得、カラー映像をモニタに表示し、またフ
    リーズ・フレーム制御信号を入力すると前記フィールド
    メモリの記憶内容を固定してモニタ映像を静止させるよ
    うにした電子内視鏡装置において、 1フィールド又は1フレームの面順次映像信号を所定の
    周期で入力し、入力した前後の1フィールド又は1フレ
    ームの面順次映像信号に基づいて予め設定された画面
    全体を複数の領域に区分したそれぞれの領域別に、各
    の画像の動きの度合いを示す動きレベルを、それぞ
    れ各領域の画像の関心度にかかわる重み付けをして出力
    する動きレベル発生手段と、 動画か静止画かを判別するための所定の閾値を出力する
    閾値発生手段と、 前記動きレベル発生手段から出力される各領域別に重み
    付けされた動きレベルと前記閾値発生手段から出力され
    前記所定の閾値とを比較し、前記複数の領域の全ての
    比較結果に基づいて動画か静止画かを判別する判別手段
    と、 フリーズ・フレーム要求を入力したのち前記判別手段が
    静止画と判別すると、前記フリーズ・フレーム制御信号
    を出力するフリーズ・フレーム制御信号発生手段と、 を備えたことを特徴とする電子内視鏡装置
JP3002202A 1991-01-11 1991-01-11 電子内視鏡装置 Expired - Lifetime JP3035855B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3002202A JP3035855B2 (ja) 1991-01-11 1991-01-11 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3002202A JP3035855B2 (ja) 1991-01-11 1991-01-11 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JPH04241832A JPH04241832A (ja) 1992-08-28
JP3035855B2 true JP3035855B2 (ja) 2000-04-24

Family

ID=11522773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3002202A Expired - Lifetime JP3035855B2 (ja) 1991-01-11 1991-01-11 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3035855B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP6150555B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6309489B2 (ja) * 2015-06-23 2018-04-11 Hoya株式会社 画像検出装置及び画像検出システム
CN110897595A (zh) * 2019-12-05 2020-03-24 重庆金山医疗技术研究院有限公司 运动检测方法、帧率调节方法、胶囊式内窥镜、记录仪及系统
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法

Also Published As

Publication number Publication date
JPH04241832A (ja) 1992-08-28

Similar Documents

Publication Publication Date Title
JPH04132390A (ja) 色ずれ補正装置
JP2007281555A (ja) 撮像装置
JP3035855B2 (ja) 電子内視鏡装置
JP2012084983A (ja) 撮像装置及び画像撮像方法
JP4789602B2 (ja) 撮像装置及び欠陥画素処理方法
JP2524394B2 (ja) 画像フリ―ズ装置
JP3078045B2 (ja) 画像フリーズ処理装置
JP3300086B2 (ja) 内視鏡装置用色ずれ防止装置
JP2519302B2 (ja) 画像フリ―ズ装置
JP2822836B2 (ja) 電子内視鏡装置
JPH0241131A (ja) 電子内視鏡装置
JPH11164195A (ja) 撮像装置
JP2693071B2 (ja) 電子内視鏡装置のフリーズ装置
JP3514557B2 (ja) 電子内視鏡用色ずれ低減装置
JPH07118810B2 (ja) 色ずれ防止装置
JP2671933B2 (ja) 電子内視鏡装置
JP2877523B2 (ja) 電子ビューファインダを有するビデオカメラ
JPH0734792B2 (ja) 電子内視鏡装置
JP2503372B2 (ja) 電子内視鏡装置
JP2924805B2 (ja) 雲台監視用高感度カメラ装置
JP3060556B2 (ja) 面順次式電子内視鏡装置
JP2022160891A (ja) 映像解析装置、脈波検出装置、および映像解析方法
JP2973411B2 (ja) 電子内視鏡装置
JPH0761310B2 (ja) 電子内視鏡装置
JPH0813302B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 11