JPH11206705A - 電子内視鏡及び電子内視鏡システム - Google Patents

電子内視鏡及び電子内視鏡システム

Info

Publication number
JPH11206705A
JPH11206705A JP10023732A JP2373298A JPH11206705A JP H11206705 A JPH11206705 A JP H11206705A JP 10023732 A JP10023732 A JP 10023732A JP 2373298 A JP2373298 A JP 2373298A JP H11206705 A JPH11206705 A JP H11206705A
Authority
JP
Japan
Prior art keywords
pixel signal
electronic endoscope
analog
digital
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10023732A
Other languages
English (en)
Other versions
JP4554730B2 (ja
Inventor
Kohei Iketani
浩平 池谷
Akihiro Takahashi
昭博 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP02373298A priority Critical patent/JP4554730B2/ja
Publication of JPH11206705A publication Critical patent/JPH11206705A/ja
Application granted granted Critical
Publication of JP4554730B2 publication Critical patent/JP4554730B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 スコープと、このスコープを着脱自在に接続
させるようになった画像信号処理装置とから成る電子内
視鏡であって、画像信号処理装置がデジタル画素信号を
外部に出力するように構成されている電子内視鏡を提供
する。 【解決手段】 電子内視鏡はスコープ10と、このスコ
ープを着脱自在に接続させる画像信号処理装置12とか
ら構成される。スコープは被写体像をアナログ画素信号
に変換するCCDイメージセンサ14を包含し、画素信
号処理装置はイメージセンサからアナログ画素信号を所
定の周波数のクロックパルスに従って読み出すCCDド
ライバ回路44と、アナログ画素信号をデジタル画素信
号に変換するアナログ/デジタル変換器52と、デジタ
ル画素信号を所定の周波数のクロックパルスに従って外
部に出力するデジタル画素信号出力手段(56、60、
34)とを包含する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、可撓性導管からな
るスコープと、このスコープを着脱自在に接続させるよ
うになった画像信号処理装置とから成る電子内視鏡に関
し、またそのような電子内視鏡と、そこに接続可能な画
像処理用コンピュータとを具備する電子内視鏡システム
に関する。
【0002】
【従来の技術】上述したようなタイプの電子内視鏡にあ
っては、スコープの先端部には固体撮像素子例えばCC
D(Charge Coupled Device)イメージセンサが設けら
れ、このCCDイメージセンサは対物レンズ系と組み合
わされる。また、かかるスコープ内には光ファイバー束
からなる照明用光ガイドが挿通させられ、その先端部の
端面に電子内視鏡のスコープの先端に位置して照明用レ
ンズと組み合わされる。一方、スコープを着脱自在に接
続させるようになった画像信号処理装置内にも照明用光
ガイドが設けられ、画像信号処理装置とスコープとの接
続時に、双方の照明用光ガイドは互いに接続されられ
る。
【0003】カラー映像を再現するために面順次方式を
採用する電子内視鏡にあっては、画像信号処理装置内の
照明用光ガイドは回転式三原色カラーフィルタを介して
白色光源例えばキセノンランプと接続させられる。例え
ば、回転式三原色カラーフィルタとして回転式RGBカ
ラーフィルタが用いられる場合には、画像信号処理装置
内の照明用光ガイドには赤色光、緑色光及び青色光が順
次導かれる。かくして、患者の体腔内へのスコープの挿
入時、その先端側の対物レンズ系の前方が該スコープの
照明用光ガイドの先端部端面から順次射出させられる三
原色光でもって照明され、これにより光学的被写体像は
CCDイメージセンサの受光面に結像させられてアナロ
グカラー画素信号として光電変換される。
【0004】画像信号処理装置には、CCDイメージセ
ンサからアナログカラー画素信号を所定の周波数のクロ
ックパルスで読み出すためのCCD駆動回路と、このC
CD駆動回路で読み出されたアナログカラー画素信号を
デジタルカラー画素信号に変換するアナログ/デジタル
変換機と、このアナログ/デジタル変換機から得られる
デジタルカラー画素信号をそれぞれの色毎に一時的に格
納する3つのバッファメモリとが設けられる。3つのバ
ッファメモリのそれぞれに各色の一フレーム分のデジタ
ルカラー画素信号が格納されると、該バッファメモリか
らは三原色のデジタルカラー画素信号が同時に一水平走
査分ずつ読み出され、このとき水平同期信号、垂直同期
信号等の同期信号が加えられる。即ち、かかるバッファ
メモリからは三原色のデジタルカラービデオ信号が三原
色のデジタルカラービデオ信号として読み出される。
【0005】画像信号処理装置には、更に、三原色のデ
ジタルカラービデオ信号をアナログカラービデオ信号に
変換するためのデジタル/アナログ変換器と、これらデ
ジタル/アナログ変換から得られるアナログカラービデ
オ信号から高周波ノイズを除去するローパスフィルタ
と、このローパスフィルタを経たアナログカラービデオ
信号を増幅する増幅器とが設けられる。その後、三原色
のアナログカラービデオ信号は画像信号処理装置からT
Vモニタ装置に対して出力され、そこで光学的被写体像
が三原色のアナログカラービデオ信号に基づいて所定の
映像再現方式(NTSC方式あるいはPAL方式)に従
ってカラー映像として再現される。
【0006】一方、カラー映像を再現するために微細な
三原色フィルタ要素をモザイク状に配列したカラーフィ
ルタアレイをCCDイメージセンサの受光面に適用した
カラー同時方式を採用する電子内視鏡にあっても、CC
Dイメージセンサからアナログカラー画素信号が所定の
周波数のクロックパルスで読み出された後、そのアナロ
グカラー画素信号はデジタルカラー画素信号に変換され
てバッファメモリに一時的に格納される。バッファメモ
リからは三原色のデジタルカラー画素信号が同時に一水
平走査分ずつ分離されて読み出され、このとき水平同期
信号、垂直同期信号等の同期信号が加えられる。即ち、
バッファメモリからは三原色のデジタルカラー画素信号
が三原色のデジタルカラービデオ信号として読み出され
る。その後、三原色のデジタルカラービデオ信号は上述
の面順次方式の場合と同様な態様で処理される。
【0007】以上で述べたように、従来の電子内視鏡で
は、CCDイメージセンサで得られたアナログ画素信号
を一旦デジタル画素信号に変換し、次いでそのデジタル
画素信号に基づいてデジタルビデオ信号を作成し、その
後デジタルビデオ信号をアナログビデオ信号に変換し、
そのアナログビデオ信号じ基づいて光学的被写体像を再
現するという複雑な画像信号処理が行われる。従って、
電子内視鏡の画像信号処理装置の回路構成の規模が大き
くなり、このため電子内視鏡の製造コストが高く付き、
またその消費電力も大きなものとなる。
【0008】ところで、電子内視鏡を用いる診療分野で
は、電子内視鏡による映像をその使用現場だけでTVモ
ニタ装置で再現するだけでなく、そこから遠く離れた別
室のTVモニタ装置での映像再現が望まれ、また再現映
像をビデオテープレコーダ、プリンタ、画像処理用コン
ピュータ等で処理することも望まれている。このような
要望に応えるためには、電子内視鏡の画像信号処理装置
から出力されるアナログビデオ信号を再びデジタルビデ
オ信号に変換することが必要となる。そこで、従来で
は、電信内視鏡の画像信号処理装置にビデオ信号処理装
置を接続し、そのビデオ信号処理装置で該画像信号処理
装置からのアナログビデオ信号をデジタルビデオ信号に
変換した後に外部に出力するという方法が提案されてい
る。
【0009】
【発明が解決しようとする課題】しかしながら、従来提
案されているような方法では、アナログビデオ信号を出
力する場合及びデジタルビデオ信号を出力する場合のい
ずれにおいても、そのビデオ信号を受信する個々の機器
側の規格に応じてビデオ信号生成回路及び出力端子が必
要となり、このため電子内視鏡の回路構成が複雑化して
大型化するということが問題とされている。
【0010】それ故、本発明の目的は、可撓性導管から
なるスコープと、このスコープを着脱自在に接続させる
ようになった画像信号処理装置とから成る電子内視鏡で
あって、その回路構成を大幅に簡略化すると共にその小
型化を図ることである。
【0011】
【課題を解決するための手段】本発明の第1の局面によ
れば、スコープと、このスコープを着脱自在に接続させ
るようになった画像信号処理装置とから構成される電子
内視鏡であって、スコープが光学的被写体像をアナログ
画素信号に変換する光電変換撮像手段を包含し、画像信
号処理装置が光電変換撮像手段からアナログが疎信号を
所定の周波数のクロックパルスに従って読み出すアナロ
グ画素信号読出し手段と、このアナログ画素信号読出し
手段によって読み出されたアナログ画素信号をデジタル
画素信号に変換するアナログ/デジタル変換手段と、こ
のアナログ/デジタル変換手段によって変換されたデジ
タル画素信号を所定の周波数のクロックパルスに従って
外部に出力するデジタル画素信号出力手段とを包含する
電子内視鏡が得られる。
【0012】本発明の第1の局面による電子内視鏡にあ
っては、デジタル画素信号出力手段の動作は画像処理用
コンピュータの所定の規格化インターフェース回路、例
えばRS−232Cインターフェース回路あるいはRS
−422インターフェース回路等により制御され得る。
【0013】本発明による第2の局面によれば、スコー
プと、このスコープを着脱自在に接続させるようになっ
た画像信号処理装置とから構成される電子内視鏡であっ
て、スコープが光学的被写体像をアナログ画素信号に変
換する光電変換撮像手段を包含し、画像信号処理装置が
光電変換撮像手段からアナログ画素信号を所定の周波数
のクロックパルスに従って読み出すアナログ画素信号読
出し手段と、このアナログ画素信号読出し手段によって
読み出されたアナログ画素信号をデジタル画素信号に変
換するアナログ/デジタル変換手段と、このアナログ/
デジタル変換手段によって変換されたデジタル画素信号
をシリアルデジタル画素信号に変換するパラレル/シリ
アル変換手段と、このパラレル変換手段からシリアルデ
ジタル画素信号を所定の周波数のクロックパルスに従っ
て外部に出力するデジタル画素信号出力手段とを包含す
る電子内視鏡が得られる。
【0014】本発明の第2の局面による電子内視鏡にあ
っては、デジタル画素信号出力手段の動作は画像処理用
コンピュータの所定の規格化インターフェース回路、例
えばIEEE1394シリアルインターフェース回路等
により制御され得る。
【0015】本発明の第3の局面によれば、スコープ
と、このスコープを着脱自在に接続させるようになった
画像信号処理装置とから構成される電子内視鏡と、この
電子内視鏡と接続可能な画像処理用コンピュータとを具
備する電子内視鏡システムであって、スコープが光学的
被写体像をアナログ画素信号に変換する光電変換撮像手
段を包含し、画像信号処理装置が光電変換撮像手段から
アナログ画素信号を所定の周波数のクロックパルスに従
って読み出すアナログ画素信号読出し手段と、このアナ
ログ画素信号読出し手段によって読み出されたアナログ
画素信号をデジタル画素信号に変換するアナログ/デジ
タル変換手段と、このアナログ/デジタル変換手段によ
って変換されたデジタル画素信号を所定の周波数のクロ
ックパルスに従って外部に出力するデジタル画素信号出
力手段とを包含し、画像処理用コンピュータがデジタル
画素信号出力手段と接続されるようになった所定の規格
化インターフェース回路を包含し、デジタル画素信号出
力手段の動作が規格化インターフェース、例えばRS−
232Cインターフェース回路あるいはRS−422イ
ンターフェース回路により制御されることを特徴とする
電子内視鏡システムが得られる。
【0016】本発明の第4の局面によれば、スコープ
と、このスコープを着脱自在に接続させるようになった
画像信号処理装置とから構成される電子内視鏡と、この
電子内視鏡と接続可能な画像処理用コンピュータとを具
備する電子内視鏡システムであって、スコープが光学的
被写体像をアナログ画素信号に変換する光電変換撮像手
段を包含し、画像信号処理装置が光電変換撮像手段から
アナログ画素信号を所定の周波数のクロックパルスに従
って読み出すアナログ画素信号読出し手段と、このアナ
ログ画素信号読出し手段によって読み出されたアナログ
画素信号をデジタル画素信号に変換するアナログ/デジ
タル変換手段と、このアナログ/デジタル変換手段によ
って変換されたデジタル画素信号をシリアルデジタル画
素信号に変換するパラレル/シリアル変換手段と、この
パラレル変換手段からシリアルデジタル画素信号を所定
の周波数のクロックパルスに従って外部に出力するデジ
タル画素信号出力手段とを包含し、画像処理用コンピュ
ータがデジタル画素信号出力手段と接続されるようにな
った所定の規格化インターフェース回路を包含し、デジ
タル画素信号出力手段の動作が規格化インターフェース
回路、例えばIEEE1394シリアルインターフェー
ス回路により制御されることを特徴とする電子内視鏡シ
ステムが得られる。
【0017】
【発明の実施の形態】次に、本発明による電子内視鏡の
幾つかの実施形態について添付図面を参照して説明す
る。
【0018】図1を参照すると、本発明による電子内視
鏡の第1の実施形態がブロック図として示される。電子
内視鏡は可撓性導管からなるスコープ10を具備し、こ
のスコープ10はプロセッサと呼ばれる画像信号処理装
置12に着脱自在に接続されるようになっている。スコ
ープ10の先端部即ち遠位端には固体撮像素子としてC
CDイメージセンサ14が設けられ、このCCDイメー
ジセンサ14は対物レンズ16と組み合わされ、この対
物レンズ系16によって撮られた光学的被写体像がCC
Dイメージセンサ14の受光面に結像させられる。
【0019】また、スコープ10内には光ファイバー束
からなる光ガイド18が挿通させられ、この光ガイド1
8の遠位端はスコープ10の遠位端まで延び、そこには
照明用レンズ20が組み込まれる。光ガイド18の近位
端は画像信号処理装置12へのスコープ10の接続時に
該画像信号処理装置12内の光ガイド22の外側端に接
続され、光ガイド22の内側端はキセノンランプあるい
はハロゲンランプ等の白色光源24に光学的に接続され
る。即ち、白色光源24から光ガイド22の内側端面に
到る経路は該白色光源24から射出される射出光のため
の光路とされ、この光路を介して光ガイド22の内側端
は白色光源24と接続される。かかる光路には絞り26
及び集光レンズ28が順次配置され、絞り26は白色光
源24からの光量を適宜調節するために用いられ、また
集光レンズ28は絞り26を経た光を光ガイド22の内
側端面に集光させるために用いられる。
【0020】図1に示す電子内視鏡では、カラー映像を
再現するために面順次方式が採用されるので、光ガイド
22の内側端面と集光レンズ28との間に回転式三原色
カラーフィルタとして回転式RGBカラーフィルタ30
が介在させられる。回転式RGBカラーフィルタ30は
円板要素から成り、この円板要素には赤色フィルタ、緑
色フィルタ及び青色フィルタが設けられ、これら色フィ
ルタはそれぞれセクタ形状とされる。赤色フィルタ、緑
色フィルタ及び青色フィルタはそれぞれの中心がほぼ12
0 ゜の角度間隔となるように円板要素の円集方向に沿っ
て配置され、互いに隣接する色フィルタ間の領域は遮光
領域とされる。
【0021】回転式三原色カラーフィルタ30はサーボ
モータあるいはステップモータのような駆動モータ32
によって回転駆動させられ、その回転周波数は適宜決め
られる。回転式RGBカラーフィルタの回転駆動中、光
ガイド18の遠位端の端面からは赤色光、緑色光及び青
色光が上述の回転周波数に応じた所定の時間間隔で順次
射出させられて、被写体は赤色光、緑色光及び青色光で
もって順次照明され、その各色の光学的被写体像が結像
レンズ16によってCCDイメージセンサ14の受光面
に順次結像される。CCDイメージセンサ14はその受
光面に結像された各色の光学的被写体像を一フレーム分
のアナログ画素信号に光電変換し、その各色の一フレー
ム分のアナログ画素信号は各色の照明時間に続く次の遮
光時間に亘ってCCDイメージセンサ14から順次読み
出される。
【0022】図1に示すように、画像信号処理装置12
にはシステムコントローラ34が設けられ、このシステ
ムコントローラはマイクロコンピュータから構成され
る。即ち、システムコントローラ34は中央演算処理ユ
ニット(CPU)、種々のルーチンを実行するためのプ
ログラム、常数等を格納する読出し専用メモリ(RO
M)、データ等を一時的に格納する書込み/読出し自在
なメモリ(RAM)から成り、電子内視鏡の作動全般を
制御する。
【0023】絞り26はアイリス駆動回路36によって
駆動され、これにより絞り26の開度が調節させられ
る。また、白色光源24は電源回路38によって給電さ
れ、回転式RGBカラーフィルタ30の駆動モータ32
は駆動回路40から出力される駆動パルスによって回転
駆動作せられる。アイリス駆動回路36、電源回路38
及び駆動回路40は出力ポートインターフェース回路4
2を介してシステムコントローラ34に接続され、それ
ら回路の動作はシステムコントローラ34によって制御
される。
【0024】スコープ10が画像信号処理装置12に接
続されると、図1に示すように、CCDイメージセンサ
14は画像信号処理装置12内のCCDドライバ回路4
4及び相関二重サンプリング回路46に接続される。C
CDドライバ回路44及び相関二重サンプリング回路4
6はタイミングジェネレータ48から出力される所定周
波数のクロックパルスによって作動させられ、タイミン
グジェネレータ48はコントローラ50によって制御さ
れる。なお、コントローラ50もシステムコントローラ
34と同様にマイクロコンピュータから構成される。
【0025】CCDドライバ回路44からはCCDイメ
ージセンサ14にCCD駆動信号が出力され、これによ
りCCDイメージセンサ14からアナログ画素信号が読
み出され、その読出しアナログ画素信号は相関二重サン
プリング回路46に対して出力され、そこでリセットノ
イズ等が低減される。次いで、アナログ画素信号はアナ
ログ/デジタル(A/D)変換器52に対して出力さ
れ、そこでデジタル画素信号に変換される。A/D変換
器52からのデジタル画素信号の出力はタイミングジェ
ネレータ48から出力される所定周波数のサンプリング
クロックパルスに従って行われる。A/D変換器52か
ら出力されたデジタル画素信号はフォトカプラ54を介
してバッファメモリ56に対して出力されてそこに一時
的に保持される。また、バッファメモリ56からのデジ
タル画素信号の出力を制御するために、タイミングジェ
ネレータ48から第1の制御信号がフォトカプラ58を
介してバッファメモリ60に対して出力され、そこで該
第1の制御信号はバッファメモリ60に一時的に保持さ
れる。
【0026】バッファメモリ56から出力されるデジタ
ル画素信号は例えば8ビット構成とされ、またバッファ
メモリ60から出力される第1の制御信号は例えば2ビ
ット構成とされる。図2のタイミングチャートに示すよ
うに、2ビット構成の第1の制御信号のうちの一方は所
定周波数のクロックパルス(CLK)であり、その他方
はディスネーブル/イネーブル(D/E)信号である。
クロックパルス(CLK)の出力はディスネーブル/イ
ネーブル(D/E)信号によって制御される。即ち、デ
ィスネーブル/イネーブル(D/E)信号がローレベル
(ディスネーブル)のとき、クロックパルス(CLK)
の出力は無効化され、ディスネーブル/イネーブル(D
/E)信号がハイレベル(イネーブル)のとき、クロッ
クパルス(CLK)の出力が有効化される。バッファメ
モリ56からの8ビット構成のデジタル画素信号はクロ
ックパルス(CLK)に従って出力される。なお、バッ
ファメモリ56及び60からのデジタル画素信号及び第
1の制御信号の出力タイミングはシステムコントローラ
34によって制御される。
【0027】図1に示すように、スコープ10には適当
な読出し専用メモリ例えば再書込み可能な読出し専用メ
モリ(EPROM)62が設けられ、このEPROM6
2にはスコープ10についての種々の情報データが書き
込まれている。特に、本発明に関連する情報として、ス
コープ10に用いられているCCDイメージセンサ14
のアナログ画素信号を読み出して処理する際のクロック
パルス周波数情報データ、CCDイメージセンサ14の
画素数情報データ、三原色の各色のデジタル画素信号の
ゲイン情報データ、ガンマ補正情報データ、輪郭強調情
報データ等が挙げられる。なお、画像信号処理装置12
に接続可能なスコープとしては、現在のところ最低でも
200 種類程知られており、これらスコープで用いられる
CCDイメージセンサには種々のタイプのものがあり、
それらタイプに応じて上述のクロックパルス周波数情報
データ及び画素数情報データ等が異なったものとなる。
【0028】スコープ10が画像信号処理装置12に接
続されると、EPROM62はコントローラ50に接続
され、コントローラ50はEPROM62から該スコー
プ10に関する情報データを読み出してそのRAM内に
格納する。そこで、コントローラ50では、かかる情報
データのうちクロックパルス周波数情報データに基づい
て、タイミングジェネレータ48から相関二重サンプリ
ング回路46に対して出力されるべきクロックパルスの
周波数及びタイミングジェネレータ48からA/D変換
器52に対して出力されるべきサンプリングクロックパ
ルスの周波数が決定され、またかかる情報データのうち
クロックパルス周波数情報データ及び画素数情報データ
に基づいて、タイミングジェネレータ48からバッファ
メモリ60に対して出力されるべき第1の制御信号が作
成される。
【0029】コントローラ50はフォトカプラ64を介
してシステムコントローラ34に接続され、コントロー
ラ50にはシステムコントローラ34から種々の指令信
号等が送られ、またコントローラ50からシステムコン
トローラ34には種々の情報データ等が送られる。コン
トローラ50からシステムコントローラ34に送られた
情報データは第2の制御信号としてインターフェース回
路66を介して外部に出力される。
【0030】本発明によれば、CCDイメージセンサ1
4で撮られた光学的被写体像を再現するために、図1に
示すように、電子内視鏡の画像信号処理装置12には画
像処理用コンピュータ68が接続され、かつ画像処理用
コンピュータ68にはTVモニタ装置70が接続され
る。画像処理用コンピュータ68には中央演算処理ユニ
ット(CPU)72が設けられ、また図1には図示され
ないが、種々のルーチンを実行するためのプログラム、
常数等を格納する読出し専用メモリ(ROM)、データ
等を一時的に格納する書込み/読出し自在なメモリ(R
AM)等も設けられる。画像処理用コンピュータ68に
は、更に、回路ボード74及びインターフェース(I/
F)コントローラ76が設けられる。
【0031】図1から明らかなように、回路ボード74
にはバッファメモリ56からのデジタル画素信号及びバ
ッファメモリ60からの第1の制御信号(CLK:D/
E)が入力される。また、I/Fコントローラ76とイ
ンターフェース回路66とは互いに接続され、インター
フェース回路66から第2の制御信号がI/Fコントロ
ーラ76に対して出力されるだけでなく、I/Fコント
ローラ76から種々の指令信号等がインターフェース回
路66に対して出力される。なお、第2の制御信号に
は、上述したようなCCDイメージセンサ14の画素数
情報データや三原色の各色のデジタル画素信号のゲイン
情報データ等が含まれる。なお、インターフェース回路
66には例えばRS−232Cインターフェースの回路
構成あるいはRS−422インターフェースの回路構成
を与えることができる。
【0032】なお、CCDドライバ回路44、相関二重
サンプリング回路46がタイミングジェネレータ48、
コントローラ50及びA/D変換器52を含む回路がス
コープ側回路として構成され、このスコープ側回路がフ
ォトカプラ54、58及び64によって画像信号処理装
置12の他の回路から電気的に絶縁される。即ち、各フ
ォトカプラ54、58、64では、そこを通る電気信号
が一旦光信号に変換された後に再び電気信号に戻される
ので、上述のスコープ側回路と画像信号処理装置12の
他の回路とは互いに電気的に絶縁された状態となるの
で、たとえ画像信号処理装置12のその他の回路あるい
はそこに接続された画像処理用コンピュータ68側で漏
れ電流等が発生したとしても、その漏れ電流がスコープ
10まで至ることはなく、患者の安全が常に確保され得
る。
【0033】なお、図1に示す実施形態では、スコープ
側回路と画像信号処理装置12の他の回路とを互いに電
気的に絶縁するための絶縁回路手段として、フォトカプ
ラが用いられているが、その他の絶縁回路手段として、
例えば一次側コイル及び二次側コイルから成る絶縁トラ
ンスを用いることもできる。
【0034】図3を参照すると、上述した回路ボード7
4の回路構成がが詳細に図示され、この回路ボード74
は画像処理用コンピュータ68の内蔵スロットに着脱自
在に装着されるようになっている。回路ボード68には
モニタコントローラ78が設けられ、このモニタコント
ローラ78はマイクロコンピュータとして構成される。
モニタコントローラ78はバスインターフェース回路8
0を介して画像処理用コンピュータ68の中央演算処理
ユニット(CPU)72に接続され、画像処理用コンピ
ュータ68に接続されるTVモニタ装置70の作動を制
御するためのものである。
【0035】図3に示すように、回路ボード68にはデ
ジタル信号処理回路82が設けられ、このデジタル信号
処理回路82には画像信号処理装置12のバッファメモ
リ56及び60のそれぞれから出力されるデジタル画素
信号及び第1の制御信号(CLK:D/E)が入力され
るようになっている。一方、インターフェース回路66
からI/Fコントローラ76に送られた第2の制御信号
は画像処理用コンピュータ68のメモリ(RAM)内に
取り込まれる。デジタル信号処理回路82では、そこに
順次入力されて来る三原色のデジタル画素信号に対し
て、ゲイン補正処理、ガンマ補正処理、輪郭強調処理等
の画像処理が適宜施され、そのような画像処理はインタ
ーフェース回路66からの第2の制御信号(情報デー
タ)に基づいてCPU72によってバスインターフェー
ス回路80を通して行われる。
【0036】デジタル信号処理回路82には、一フレー
ム分のデジタル画素信号を格納し得るようなメモリが3
つ設けられ、それらメモリには、上述したような画像処
理後のデジタル画素信号が三原色の各色毎に一フレーム
分ずつ書き込まれ、この書込みはデジタル信号処理回路
74に入力される第1の制御信号(CLK、D/E)に
従って行われる。上述した3つのメモリ三原色のデジタ
ル画素信号が書き込まれた後、それらメモリからは三原
色のデジタル画素信号がモニタコントローラ78から該
メモリに対して出力される所定周波数のクロックパル
ス、水平同期信号及び垂直同期信号に従ってデジタルカ
ラービデオ信号R、G及びBとして同時に読み出され
る。
【0037】デジタルカラービデオ信号R、G及びBは
デジタル/アナログ変換回路84に対して出力される。
デジタル/アナログ変換回路84には3つのデジタル/
アナログ(D/A)変換器84R、84G及び84Bが
設けられ、デジタルカラービデオ信号R、G及びBのそ
れぞれはD/A変換器84R、84G及び84Bによっ
てアナログカラービデオ信号R、G及びBに変換され
る。アナログカラービデオ信号R、G及びBのそれぞれ
は増幅器86R、86G及び86Bによって増幅され、
次いで画像処理用コンピュータ68に接続されたTVモ
ニタ装置70に送られ、そこでCCDイメージセンサ1
4によって撮られた光学的被写体像がカラー映像として
再現される。
【0038】図3に示すように、デジタル信号処理回路
82から延びる信号ラインのそれぞれにはデジタル加算
器88R、88G及び88Bが設けられ、各デジタル加
算器88R、88G、88Bにはモニタコントローラ7
8からデジタル文字信号が適宜出力される。即ち、デジ
タル信号処理回路82から出力されるデジタルカラービ
デオ信号R、G及びBのそれぞれにはデジタル加算器8
8R、88G及び88Bによってデジタル文字信号が付
加され、これによりTVモニタ装置70の表示画面には
再現映像と共に適当な文字情報が表示され得る。なお、
そのような文字情報としては、例えば患者についての情
報等が挙げられ、またデジタル文字信号の入力について
は画像処理用コンピュータ68のキーボード等で行うこ
とができる。
【0039】図4を参照すると、本発明による電子内視
鏡の第2の実施形態がブロック図として示される。第2
の実施形態では、カラー映像の再現のためにカラー同時
方式が採用され、この点を除けば、第2の実施形態は第
1の実施形態と実質的に同じ構成を持つ。なお、図4で
は、第1の実施形態で説明した構成要素と同じ構成要素
については同じ参照符号が用いられている。
【0040】図4から明らかなように、第2の実施形態
では、カラー同時方式が採用されているので、回転式R
GBカラーフィルタ及びそれに関連した構成要素は省か
れている。また、CCDイメージセンサ14の受光面に
は微細な三原色フィルタ要素例えば赤色フィルタ要素、
緑色フィルタ要素及び青色フィルタ要素をモザイク状に
配列したカラーフィルタアレイが適用される。この場
合、CCDイメージセンサ14から読み出される一水平
走査線分のアナログ画素信号にはアナログ赤色画素信
号、アナログ緑色画素信号及びアナログ青色画素信号が
周期的に含まれ、このためバッファメモリ56からはデ
ジタル赤色画素信号、デジタル緑色画素信号及びデジタ
ル青色画素信号が周期的に出力される。
【0041】従って、第1の実施形態では、回路ボード
68のデジタル信号処理回路74の3つのメモリのそれ
ぞれに三原色のデジタル画素信号が一フレーム毎に書き
分けられるのに対して、第2の実施形態では、デジタル
信号処理回路74の転送されて来る三原色のデジタル画
素信号は上述の3つのメモリのそれぞれに対して画素信
号毎に書き分けられなければならない。この点を除け
ば、第2の実施形態でも第1の実施形態の場合同様な態
様でデジタルカラービデオ信号を得ることができる。
【0042】図5を参照すると、本発明による電子内視
鏡の第3の実施形態がブロック図として示され、同図で
は、第1の実施形態で説明した構成要素と同様な構成要
素については同じ参照符号が用いられている。なお、第
3の実施形態では、第1の実施形態と同様に、カラー映
像の再現のために面順次方式が採用される。
【0043】図5に示すように、第3の実施形態では、
画像信号処理装置12のA/D変換器52からフォトカ
プラ54を介して出力されるデジタル画素信号並びにタ
イミングジェネレータ48からフォトカプラ58を介し
て出力される第1の制御信号(CLK、D/E)はシス
テムコントローラ34に入力され、そこでデジタル画素
信号及び制御信号(CLK、D/E)はコントローラ5
0からフォトカプラ64を介してシステムコントローラ
34に対して出力される情報データ即ち第2の制御信号
と共に纏めて処理される。その後、デジタル画素信号、
第1の制御信号(CLK、D/E)及び第2の制御信号
は適当なビット数のパラレルデジタルデータとしてシス
テムコントローラ34からパラレル/シリアル(P/
S)変換器90に対して出力され、そこでシリアルデジ
タルデータに順次変換される。次いで、シリアルデジタ
ルデータはP/S変換器90から外部に出力される。
【0044】第3の実施形態にあっては、電子内視鏡の
画像信号処理装置12は近年注目されているIEEE1
394シリアルインターフェース回路を搭載した画像処
理用コンピュータ92に接続され得るように構成され
る。IEEE1394シリアルインターフェース回路で
は、データ転送速度は100Mビット/秒以上であり、非圧
縮のデジタル動画データを転送するのに十分である。ま
た、デジタル動画データの転送時にデジタル画像信号だ
けでなく種々の制御信号や情報データ等も同時に転送す
ることが可能である。なお、IEEE1394シリアル
インターフェース回路では、デジタルデータをシリアル
デジタルデータとして転送することが要求される。
【0045】図5に示すように、画像処理用コンピュー
タ92にはTVモニタ装置94が接続され、CCDイメ
ージセンサ14で撮られた光学的被写体像はTVモニタ
装置94で再現される。画像処理用コンピュータ92に
は中央演算処理ユニット(CPU)96が設けられ、ま
た図5には図示されないが、種々のルーチンを実行する
ためのプログラム、常数等を格納する読出し専用メモリ
(ROM)、データ等を一時的に格納する書込み/読出
し自在なメモリ(RAM)等も設けられる。画像処理用
コンピュータ92には、更に、回路ボード98及びイン
ターフェース(I/F)コントローラ100が設けられ
る。
【0046】回路ボード98はバッファメモリ98A及
びカラーエンコーダ98Bを包含し、I/Fコントロー
ラ100には上述したIEEE1394シリアルインタ
ーフェース回路が含まれる。バッファメモリ98AはI
/Fコントローラ100を介してP/S変換キーボード
90に接続され、一方カラーエンコーダ98Bを介して
TVモニタ装置94に接続される。バッファメモリ98
B及びI/Fコントローラ100はそれぞれCPU96
に接続される。
【0047】上述したように、P/S変換器82からI
/Fコントローラに送信されてくるデジタルシリアルデ
ータにはデジタル画素信号だけでなく第1及び第2の制
御信号も含まれ、I/Fコントローラ100では、一フ
レーム分の各色のデジタル画素信号は第2の制御信号
(情報データ)に基づいて順次適宜処理された後に第1
の制御信号(CLK:D/E)に基づいてバッファメモ
リ98Bに格納されて展開される。次いで、バッファメ
モリ98Bから読み出されたデジタル画素信号はカラー
エンコーダ98Bに対して出力され、カラーエンコーダ
98Bでは、該デジタル画素信号に基づいてカラービデ
オ信号が生成される。続いて、カラービデオ信号はTV
モニタ装置94に送られ、該カラービデオ信号に基づく
映像再現が行われる。
【0048】図6を参照すると、本発明による電子内視
鏡の第4の実施形態がブロック図として示され、同図で
は、第1の実施形態で説明した構成要素と同様な構成要
素については同じ参照符号が用いられている。なお、第
4の実施形態では、第2の実施形態と同様に、カラー映
像の再現のためにカラー同時方式が採用される。
【0049】第3の実施形態と同様、第4の実施形態で
も、電子内視鏡の画像信号処理装置12は第3の実施形
態で説明したような画像処理コンピュータ(92)に接
続され、そのI/Fコントローラ(100)にはIEE
E1394シリアルインターフェース回路が含まれる。
第2の実施形態の説明で述べたように、カラー同時方式
では、CCDイメージセンサ14の受光面には微細な三
原色フィルタ要素例えば赤色フィルタ要素、緑色フィル
タ要素及び青色フィルタ要素をモザイク状に配列したカ
ラーフィルタアレイが適用される。従って、第2の実施
形態の場合と同様に、CCDイメージセンサ14から読
み出される一水平走査線分のアナログ画素信号にはアナ
ログ赤色画素信号、アナログ緑色画素信号及びアナログ
青色画素信号が周期的に含まれ、このためA/D変換器
52からはデジタル赤色画素信号、デジタル緑色画素信
号及びデジタル青色画素信号が周期的に出力され、これ
ら三原色のデジタル画素信号はシステムコントローラ3
4に入力される。
【0050】勿論、第4の実施形態でも、第3の実施形
態と同様に、デジタル画素信号、制御信号(CLK、D
/E)及び情報データは適当なビット数のパラレルデジ
タルデータとしてシステムコントローラ34からパラレ
ル/シリアル(P/S)変換器90に対して出力され、
そこでシリアルデジタルデータに順次変換される。次い
で、シリアルデジタルデータはP/S変換器90から画
像処理用コンピュータ(92)のI/Fコントローラ
(100)に含まれるIEEE1394シリアルインタ
ーフェース回路に対して転送される。
【0051】ところで、近年の画像処理用コンピュータ
の発展に伴い、TVモニタ装置での映像再現のために、
従来の再現方式例えばNTSC方式やPAL方式が必ず
しも必要とされない。この場合、画像処理用コンピュー
タでは、その画像処理用プログラムに応じたフォーマッ
トでビデオ信号が作成され、そのビデオ信号に基づいて
TVモニタ装置で映像再現が行われることになるので、
電子内視鏡の画像信号処理装置からのアナログビデオ信
号の出力を省いたとしても映像再現について特に問題と
なることはない。
【0052】
【発明の効果】以上の記載から明らかなように、本発明
による電子内視鏡では、固体撮像素子から得られたアナ
ログ画素信号をデジタル画素信号に変換したものを外部
に出力するようになっているので、電子内視鏡の画像信
号処理装置の回路構成を簡素化し得ると共にその全体構
成の小型化を図ることができる。また、アナログ画素信
号は最も早い段階でデジタル画素信号に変換された状態
で外部に出力されるので、ノイズの少ない状態でデータ
画素信号を処理し得るという利点も得られる。更に、本
発明によれば、画像処理コンピュータの回路ボードは着
脱自在に装着されるようになっているので、映像再現に
ついてはどのような規格のインターフェース回路を用い
ても対処し得る。
【図面の簡単な説明】
【図1】本発明による電子内視鏡の第1の実施形態を示
す概略ブロック図である。
【図2】図1の電子内視鏡の画像信号処理装置から転送
されるデジタル画素信号とその転送を制御する制御信号
との関係を示すタイミングチャートである。
【図3】図1の電子内視鏡の画像信号処理装置に接続さ
れるようになった画像処理用コンピュータに搭載される
回路ボードの回路構成を示す概略ブロック図である。
【図4】本発明による電子内視鏡の第2の実施形態を示
す概略ブロック図である。
【図5】本発明による電子内視鏡の題3の実施形態を示
す概略ブロック図である。
【図6】本発明による電子内視鏡の第4の実施形態を示
す概略ブロック図である。
【符号の説明】
10 スコープ 12 画像信号処理装置 14 CCDイメージセンサ 30 回転式RGBカラーフィルタ 34 システムコントローラ 44 CCDドライバ回路 46 相関二重サンプリング回路 48 タイミングジェネレータ 50 コントローラ 52 アナログ/デジタル変換器 54 フォトカプラ 56 バッファメモリ 58 フォトカプラ 60 バッファメモリ 62 再書込み可能な読出し専用メモリ(EEPRO
M) 64 フォトカプラ 66 インターフェース回路 68 画像処理用コンピュータ 70 TVモニタ装置 72 中央演算処理ユニット 74 回路ボード 76 I/Fコントローラ 78 モニタコントローラ 80 バスインターフェース回路 82 デジタル信号処理回路 84 デジタル/アナログ変換回路 84R・84G・84B デジタル/アナログ変換器 86R・86G・86B 増幅器 88R・88G・88B デジタル加算器 90 パラレル/シリアル変換器 92 画像処理用コンピュータ 94 TVモニタ装置 96 CPU 98 回路ボード 98A バッファメモリ 98B カラーエンコーダ 100 I/Fコントローラ

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 スコープと、このスコープを着脱自在に
    接続させるようになった画像信号処理装置とから構成さ
    れる電子内視鏡において、 前記スコープが光学的被写体像をアナログ画素信号に変
    換する光電変換撮像手段を包含し、前記画像信号処理装
    置が前記光電変換撮像手段からアナログ画素信号を所定
    の周波数のクロックパルスに従って読み出すアナログ画
    素信号読出し手段と、このアナログ画素信号読出し手段
    によって読み出されたアナログ画素信号をデジタル画素
    信号に変換するアナログ/デジタル変換手段と、このア
    ナログ/デジタル変換手段によって変換されたデジタル
    画素信号を所定の周波数のクロックパルスに従って外部
    に出力するデジタル画素信号出力手段とを包含すること
    を特徴とする電子内視鏡。
  2. 【請求項2】 請求項1に記載の電子内視鏡において、
    前記デジタル画素信号出力手段の動作が画像処理用コン
    ピュータの所定の規格化インターフェース回路により制
    御されることを特徴とする電子内視鏡。
  3. 【請求項3】 請求項2に記載の電子内視鏡において、
    前記規格化インターフェース回路がRS−232Cイン
    ターフェース回路であることを特徴とする電子内視鏡。
  4. 【請求項4】 請求項2に記載の電子内視鏡において、
    前記規格化インターフェース回路がRS−422インタ
    ーフェース回路であることを特徴とする電子内視鏡。
  5. 【請求項5】 スコープと、このスコープを着脱自在に
    接続させるようになった画像信号処理装置とから構成さ
    れる電子内視鏡において、 前記スコープが光学的被写体像をアナログ画素信号に変
    換する光電変換撮像手段を包含し、前記画像信号処理装
    置が前記光電変換撮像手段からアナログ画素信号を所定
    の周波数のクロックパルスに従って読み出すアナログ画
    素信号読出し手段と、このアナログ画素信号読出し手段
    によって読み出されたアナログ画素信号をデジタル画素
    信号に変換するアナログ/デジタル変換手段と、このア
    ナログ/デジタル変換手段によって変換されたデジタル
    画素信号をシリアルデジタル画素信号に変換するパラレ
    ル/シリアル変換手段と、このパラレル変換手段からシ
    リアルデジタル画素信号を所定の周波数のクロックパル
    スに従って外部に出力するデジタル画素信号出力手段と
    を包含することを特徴とする電子内視鏡。
  6. 【請求項6】 請求項5に記載の電子内視鏡において、
    前記デジタル画素信号出力手段の動作が画像処理用コン
    ピュータの所定の規格化インターフェース回路により制
    御されることを特徴とする電子内視鏡。
  7. 【請求項7】 請求項6に記載の電子内視鏡において、
    前記規格化インターフェース回路がIEEE1394シ
    リアルインターフェース回路であることを特徴とする電
    子内視鏡。
  8. 【請求項8】 スコープと、このスコープを着脱自在に
    接続させるようになった画像信号処理装置とから構成さ
    れる電子内視鏡と、この電子内視鏡と接続可能な画像処
    理用コンピュータとを具備する電子内視鏡システムであ
    って、 前記スコープが光学的被写体像をアナログ画素信号に変
    換する光電変換撮像手段を包含し、 前記画像信号処理装置が前記光電変換撮像手段からアナ
    ログ画素信号を所定の周波数のクロックパルスに従って
    読み出すアナログ画素信号読出し手段と、このアナログ
    画素信号読出し手段によって読み出されたアナログ画素
    信号をデジタル画素信号に変換するアナログ/デジタル
    変換手段と、このアナログ/デジタル変換手段によって
    変換されたデジタル画素信号を所定の周波数のクロック
    パルスに従って外部に出力するデジタル画素信号出力手
    段とを包含し、 前記画像処理用コンピュータが前記デジタル画素信号出
    力手段と接続されるようになった所定の規格化インター
    フェース回路を包含し、 前記デジタル画素信号出力手段の動作が前記規格化イン
    ターフェース回路により制御されることを特徴とする電
    子内視鏡システム。
  9. 【請求項9】 請求項8に記載の電子内視鏡システムに
    おいて、前記規格化インターフェース回路がRS−23
    2Cインターフェース回路であることを特徴とする電子
    内視鏡システム。
  10. 【請求項10】 請求項8に記載の電子内視鏡システム
    において、前記規格化インターフェース回路がRS−4
    22インターフェース回路であることを特徴とする電子
    内視鏡システム。
  11. 【請求項11】 請求項8から10までのいずれか1項
    に記載の電子内視鏡システムにおいて、前記規格化イン
    ターフェース回路が前記画像処理用コンピュータに対し
    て着脱自在となった回路基板として構成されることを特
    徴とする電子内視鏡システム。
  12. 【請求項12】 スコープと、このスコープを着脱自在
    に接続させるようになった画像信号処理装置とから構成
    される電子内視鏡と、この電子内視鏡と接続可能な画像
    処理用コンピュータとを具備する電子内視鏡システムで
    あって、 前記スコープが光学的被写体像をアナログ画素信号に変
    換する光電変換撮像手段を包含し、 前記画像信号処理装置が前記光電変換撮像手段からアナ
    ログ画素信号を所定の周波数のクロックパルスに従って
    読み出すアナログ画素信号読出し手段と、このアナログ
    画素信号読出し手段によって読み出されたアナログ画素
    信号をデジタル画素信号に変換するアナログ/デジタル
    変換手段と、このアナログ/デジタル変換手段によって
    変換されたデジタル画素信号をシリアルデジタル画素信
    号に変換するパラレル/シリアル変換手段と、このパラ
    レル変換手段からシリアルデジタル画素信号を所定の周
    波数のクロックパルスに従って外部に出力するデジタル
    画素信号出力手段とを包含し、 前記画像処理用コンピュータが前記デジタル画素信号出
    力手段と接続されるようになった所定の規格化インター
    フェース回路を包含し、 前記デジタル画素信号出力手段の動作が前記規格化イン
    ターフェース回路により制御されることを特徴とする電
    子内視鏡システム。
  13. 【請求項13】 請求項12に記載の電子内視鏡システ
    ムにおいて、前記規格化インターフェース回路がIEE
    E1394シリアルインターフェース回路であることを
    特徴とする電子内視鏡システム。
JP02373298A 1998-01-21 1998-01-21 電子内視鏡及び電子内視鏡システム Expired - Lifetime JP4554730B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02373298A JP4554730B2 (ja) 1998-01-21 1998-01-21 電子内視鏡及び電子内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02373298A JP4554730B2 (ja) 1998-01-21 1998-01-21 電子内視鏡及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
JPH11206705A true JPH11206705A (ja) 1999-08-03
JP4554730B2 JP4554730B2 (ja) 2010-09-29

Family

ID=12118496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02373298A Expired - Lifetime JP4554730B2 (ja) 1998-01-21 1998-01-21 電子内視鏡及び電子内視鏡システム

Country Status (1)

Country Link
JP (1) JP4554730B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003534674A (ja) * 1999-11-12 2003-11-18 シーメンス ヒアリング インストルメンツ インコーポレイテッド 補聴器をプログラムするための患者分離プログラムインターフェース

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003534674A (ja) * 1999-11-12 2003-11-18 シーメンス ヒアリング インストルメンツ インコーポレイテッド 補聴器をプログラムするための患者分離プログラムインターフェース
JP4800536B2 (ja) * 1999-11-12 2011-10-26 シーメンス ヒアリング インストルメンツ インコーポレイテッド 補聴器をプログラムするための患者分離プログラムインターフェース

Also Published As

Publication number Publication date
JP4554730B2 (ja) 2010-09-29

Similar Documents

Publication Publication Date Title
US6879339B2 (en) Electronic endoscope system with color-balance alteration process
JP3884226B2 (ja) 撮像システム
JP2848574B2 (ja) 色ずれ補正装置
JPH0785130B2 (ja) カラービデオ内視鏡装置
JPH06327624A (ja) 電子内視鏡装置
JPH04176435A (ja) 内視鏡装置
JPH04104685A (ja) 内視鏡の映像信号処理方式
JP3510733B2 (ja) 電子内視鏡に接続可能な映像信号処理装置
JP4554730B2 (ja) 電子内視鏡及び電子内視鏡システム
JPH05228109A (ja) 狭所挿入型観察装置
JP2641525B2 (ja) 電子内視鏡装置
JP2715383B2 (ja) 内視鏡装置
JP3490865B2 (ja) 電子内視鏡
JPH06335449A (ja) 電子内視鏡装置
JP2897920B2 (ja) 内視鏡システム
JP2547226B2 (ja) 電子内視鏡装置
JPH0818839A (ja) 撮像装置
JP3110896B2 (ja) 面順次内視鏡撮像装置
JP2004033451A (ja) 電子内視鏡装置
JP3235818B2 (ja) 内視鏡撮像装置
JP3771663B2 (ja) 電子内視鏡
JP3406000B2 (ja) 電子内視鏡装置
JP2003190089A (ja) 電子内視鏡装置および電子内視鏡システムおよびシャッタ部材
JPH05236480A (ja) 電子内視鏡装置
JP2000354240A (ja) 内視鏡撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080324

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term