JP5164310B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP5164310B2 JP5164310B2 JP2005075793A JP2005075793A JP5164310B2 JP 5164310 B2 JP5164310 B2 JP 5164310B2 JP 2005075793 A JP2005075793 A JP 2005075793A JP 2005075793 A JP2005075793 A JP 2005075793A JP 5164310 B2 JP5164310 B2 JP 5164310B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- data
- memory
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
・正方画素周波数に対応したサイズの画像しか出力できない。(正方画素周波数=12.2727(MHz)の場合は、VGAサイズ(640×480)の画像しか出力できない。
・複数サイズの画像は出力できず、複数の画像サイズを選択可能な場合に、画像サイズに最適な強調処理や拡大処理を選択できない。
・コーディック(符号化・圧縮・伸長)を行わない原画像も記録できるよう選択する手段がなかった。使用者は詳細の診断や検査、画像解析を行うために、原画像の記録を必要としていた。
・使用者が、操作デバイスに、記録したい周辺機器の記録指示キーを選択して割り当てることにより、複数の周辺機器から記録する周辺機器を選択可能である。
・・項目”Encode Type”にて符号化の種類を選択することにより、使用者が設定したい符号化処理を選択できる。また、画像圧縮部、画像伸長部の全部(又は一部)がプログラマブルICで構成される場合には、項目”Encode Type”で選択後に、自動的に対応するコンフィグレーションデータやプログラム(ファームウエア)をダウンロード(リコンフィグレーション)し直して、符号化処理を変更できる。よって同一のハードウェアにて複数の符号化処理を行なうことが可能となる。
・・項目”Encode Type”をOFFにすることにより、符号化しない(非圧縮)の画像を記録/再生表示可能である。
・周辺機器に転送する順番として、最初に画像のバックアップとしてある周辺機器(例えばPCカード、メモリカード)に格納し、その後、別の周辺機器に記録するようにしてもよい。これより、周辺機器に記録途中や通信エラー時に、プロセッサの電源をOFFにした場合にも、再度電源をON時にバックアップした周辺機器(PCカード、又はメモリカード)に格納した画像及びサムネイルを再度自動的に転送可能である。これより、画像の記録を安全、確実に行なうことが可能となる。
図1において、内視鏡101は、患者の体腔内に挿入する挿入部先端に設けられた固体撮像素子としてのCCD(Carge Coupled Device)102と、挿入部先端へ観察照明光を導くライトガイド107と、内視鏡の操作を行う操作部に設けられた操作スイッチ部103と、プロセッサ113と接続する為のコネクタ115と、プログラムや内視鏡固有情報データ(CCDの種類、スコープ種類、スコープのシリアルナンバー、複数のホワイトバランスデータ、鉗子チャネルの数やチャネル径、CPU109への通電回数、操作スイッチ部103の押下回数、挿入部の屈曲特性など)を記憶する不揮発性のメモリ108(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM,等である。CPU109とのインターフェースは、パラレルインターフェース、シリアルインターフェースどちらでもよい)と、メモリ108へのデータ読み出しや書き込み制御、またメモリ108に格納されたデータをプロセッサ113と信号線111a,コネクタ115,ケーブル132,コネクタ131,信号線111bを経由して送受信したり、演算処理(スコープの接続回数の演算、操作スイッチ部の押下回数の演算、CPU109への通電回数の演算等)を行うCPU109(シリアルインターフェースやパラレルインターフェース,ウォッチドッグタイマ,タイマ,SRAM,プログラム用FLASH ROMなどを内蔵する)と、プロセッサ113からの供給される電源の変動時やCPU9のウォッチドッグタイマによりリセット処理を行うリセット回路(以下、RESET回路)1(110)を備えて構成される。
CPU109からデータを送受信する信号は信号線111a,コネクタ115,ケーブル132,コネクタ131,信号線111bを経由し、プロセッサ113内のセレクタ135に入力される。(なお、インターフェースは、本実施例のようなシリアルインターフェースの他、パラレルインターフェースでも良い)。
なお、プロセッサ113は、内視鏡101と同様の機能を有する内視鏡101’(101’〜115’,131’,132’は101〜115,131,132と同様の機能を有する)も接続可能であり、セレクタ135でどちらの内視鏡の信号を入力するか選択可能とする。
・105b 又は 105b’を切り替えて105cに出力する。
・111b 又は 111b’を切り替えて111cに出力する。
・112b 又は112b’を切り替えて112cに出力する。
なお、内視鏡101,101’は双方もしくは一方のみ軟性鏡であってもよく、硬性鏡であってもよい。
光源117は、観察光を生成する白色光を発光するランプ118と、ランプ118の観察光をRGBの面順次光に変換する為のRGBフィルタ119と、ランプ118から観察光の特定波長をカットして特殊光を生成する複数、例えば3つの特殊光フィルタ120a,120b,120cと、ランプ118からの観察光の光量を制御するしぼり116と、RGBフィルタ119及び特殊光フィルタ120a,120b,120cの切替を行うと共にしぼり116を制御するフィルタ切替+しぼり制御121と、光量調整や電源ON/OFF、ランプ点灯/消灯、透過照明、フィルタ切替など各種設定を行う操作パネル125と、プログラムや光量調整データやランプ寿命,光源のシリアルナンバー,フィルタ119,120a,120b,120cの種類、メンテナンス情報などを記憶する不揮発性のメモリ123(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM等。パラレルインターフェース、シリアルインターフェースどちらでもよい)と、メモリ123へのデータ読み出し/書き込み制御及び、メモリ123に格納されたデータを信号線128a,128bを経由してプロセッサ113と送受信したり、フィルタ切替+しぼり制御121や操作パネル125を制御するCPU124と、プロセッサ113からの調光信号をアナログ信号に変更しフィルタ切替+しぼり制御121に出力することでしぼり125を制御させるD/A変換器122からなる。
内視鏡101又は内視鏡101’によって撮像された内視鏡画像は、セレクタ(SEL)135によって、内視鏡101又は内視鏡101’のどちらの内視鏡画像を入力するか選択される。
メモリ214は、同時化処理の際に、R,G,Bのフレームが3色同時に出力できるようR,G,Bのフレーム画像を格納する。
合成・マスク処理部216では、同時化処理後の内視鏡画像にマスク処理を行い、インデックス回路215で作成されたインデックス画像、グラフィック回路218で作成された文字やグラフィック情報、又は後述するグラフィック回路501出力、画像伸長部141出力、同期回路221,725出力、オプション回路502出力を合成して出力する(以下、合成された画像を内視鏡合成画像という)。マスク処理を行うためのマスクデータは、グラフィック回路218で作成してもよく、合成・マスク処理部216の内部で作成してもよい。
内視鏡合成画像は、D/A変換器222でデジタル→アナログ変換され、調整回路223にてレベル調整された後、複数の周辺機器に出力される。
まず、(図示しない)周波数変換部にて周波数変換を行い(例えば、74MHz)、
内視鏡画像の拡大・縮小処理、輪郭強調・構造強調などの強調処理(224)、内視鏡画像の上下左右反転や90度回転を行う画像回転処理(225)、マルチプレクサによりRGB画像をR,G,Bフレームごとに順次書き込むことによる同時化処理(228)を行う。
内視鏡合成画像は、D/A変換器235でデジタル→アナログ変換され、調整回路236にてレベル調整された後、複数の周辺機器に出力される。
符号239では、合成・マスク処理部216,231で作成された出力用画像のSDTV及びHDTVの静止画が、操作デバイスに割り当てられた記録指示キー(レリーズキー,プリンタへのキャプチャーキー)による記録指示毎に作成され、メモリ240に格納されるとともに、メモリ240に格納されたSDTV及びHDTVの静止画が、画像圧縮部140に、画像圧縮部140で処理可能なタイミングに同期化して転送される。
CPU1(401)は、システムバス402を経由して、以下の回路を制御する。
・プログラム関連データ、内視鏡情報データ、内視鏡画像データなどを格納したりキャッシュとして使用できるRAM(403、409)(SRAM,SDRAM,DRAM,RDRAMなどWORK処理用の揮発性メモリ。パラレルインターフェース、シリアルインターフェースどちらでも良い)
・時計などの管理するリアルタイムクロックRTC(412)
・プログラムデータ、プログラムのバージョン等を格納するプログラムROM(404、410)
・プログラム動作のログやメンテナンス情報、フロントパネル69やキーボード14の設定情報、各種設定画面情報、ホワイトバランスデータなど、電源OFF時もデータを保持すべき内視鏡関連情報を格納するBACKUP RAM(411)(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM等)
・プロセッサ内の各回路(ブロック・処理部)にチップセレクト信号を送信するアドレスデコーダー(405)
・プロセッサ内の各回路(ブロック・処理部)にシステムバスを供給するためのバスドライババッファ(以下、BUF)(413)
・ウォッチドッグタイマなどを内蔵し、電源ON時や、プログラムのハングアップ時にリセット処理を行うRESET回路(414)
・時間管理を行うタイマ(406)
・プロセッサ113内の各回路(ブロック・処理部)や周辺機器、SIO(511)、オプション回路(502)、フロントパネル(142)、キーボード(114)、絶縁回路247→111Cを経由して接続されるCPU109、128bを経由して接続されるCPU124内のSIO、などとシリアルインターフェース(調歩同期式、クロック同期式、USB、CAN、I2Cなど)にて通信するためのSIO(407)。
符号401〜408、414は、専用のICを使用するほか、プログラマブルIC(FPGA,DSP,リコンフィギュラブルプロセッサなど)内部に構成(実装)されるようにし、各処理を容易にカスタマイズできるようにしてもよい。なお、FPGAはField Programmable Gate Arrayの略で、プログラマブルなゲート・アレイであって、専用書き込みツールによって設計したロジックを書き込むことができる。(符号136,137,140,141,135内のブロックに関しても同様とする)
ROM(404)は後述するプログラムのフロー(図9)において、VersrionUP処理動作のプログラムを格納し、ROM(410)は通常動作のプログラムを格納するようにしてもよい。
CPU3(801)は、以下の回路を制御する。
・プログラムデータ、プログラムのバージョン等を格納するプログラムROM(804)
・ウォッチドッグタイマなどを内蔵し、電源ON時や、プログラムのハングアップ時にリセット処理を行うRESET回路(814)
・時間管理を行うタイマ(806)
・例えばオプション回路(502)や周辺機器などとシリアルインターフェース(調歩同期式、クロック同期式、USB、CAN、I2Cなど)にて通信するためのSIO(807)。
・乗除算などを行える演算処理ブロック809
・CPU1とCPU3の間のデータのやり取りを行うべく、バス制御を行うバスブリッジ810(SIO807−SIO407、PIO808−PIO408間でデータの送受信を行ってもよい)。
・例えばオプション回路502の制御を強化(将来拡張されるオプション回路502の機能拡張に対応)
・演算処理ブロック809により、乗除算機能の向上(ソフトウェアでの画像処理や画像エンコード・デコード可能)
・SIO/PIO機能の強化(通信処理速度の向上、CPU3側のSIO807やPIO808で一部の制御を行うことにより、CPU1(401)の負荷を軽減することによりプロセッサ全体のパフォーマンス向上)。
CPU2(503)は、システムバス507を経由して、以下の回路を制御する。
・時計などの管理するリアルタイムクロックRTC(510)
・プログラムデータ、プログラムのバージョン、ETHERNET(登録商標)のMACアドレス、IPアドレス等を格納するプログラムROM(509)
・プログラム動作のログやメンテナンス情報、フロントパネル69やキーボード14の設定情報、各種設定画面情報、ホワイトバランスデータなど、電源OFF時もデータを保持すべき内視鏡関連情報、IPアドレスを格納するBACKUP RAM(515)(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM等)
・プロセッサ内の各回路(ブロック・処理部)にチップセレクト信号を送信するアドレスデコーダー(514)
・ウォッチドッグタイマなどを内蔵し、電源ON時や、プログラムのハングアップ時にリセット処理を行うRESET回路(531)
・時間管理を行うタイマ(513)
・プロセッサ113内の各回路(ブロック・処理部)や周辺機器、SIO(407)、オプション回路(502)、などとシリアルインターフェース(調歩同期式、クロック同期式、USB、CAN、I2Cなど)にて通信するSIO(511)。
・ETHERNET(登録商標)による送受信を行うための、ETHERNET(登録商標)のMAC層、物理層などの回路やミドルウェアを有するETHERNET(登録商標)コントローラ516及びハブ(以下、HUB)517
・PCI、PCI-X、PCI EXPRESS、COMPACT PCI、ISAなどのバスを介してCPU2(503)と接続され、別のバスに変換したり、相互にバスサイクルをやり取りしたり、バスを延長して接続デバイス数を増やすためのバスブリッジ506
・USBインターフェース(ホスト、デバイス双方可能)を行うためのUSBコントローラ518
・(図示しない)着脱可能な挿入口(スロット)を経由してメモリカード521(コンパクトフラッシュ(登録商標)、スマートメディア、SDカード、miniSDカード、PCカード形式のメモリカード、フラッシュドライブ、HDD、マルチメディアカード、 xDPictureカード、メモリースティック)やPCカード520の制御を行うカードコントローラ(以下、CARD Controller)519
・グラフィック処理(動画像、静止画像、WEB表示)を行うグラフィック回路2(501)
図6は周辺機器の一例を示す。
・図6(a)のSDTVのアナログ信号の入出力、記録、表示が可能なモニタ1(301)、プリンタ1(302)、VTR1(303)、ファイリング装置1(304)、写真撮影装置1(305)
・図6(b)のHDTVのアナログ信号の入出力、記録、表示が可能なモニタ2(306)、プリンタ2(307)、VTR2(308)、ファイリング装置2(309)、写真撮影装置2(310)
・図6(c)のSDTV/HDTVのデジタル(又はアナログ)の入出力、記録、表示が可能なモニタ3(311)、プリンタ3(312)、VTR3(316)、ファイリング装置3(313)、写真撮影装置3(317)、画像形状記憶装置(314)、超音波装置(315)
・図6(d)のUSBインターフェースによる入出力、記録、表示が可能なプリンタ4(322)、光学記録装置(MO、DVD、CD±R/Wなど(325))、ファイリング装置4(323)、写真撮影装置4(324)、HID(キーボード、マウス、ホイールなど、326)
・図6(e)のETHERNET(登録商標)インターフェースによる入出力、記録、表示が可能なプリンタ5(327)、光学記録装置2(MO、DVD、CD±R/Wなど(330))、ファイリング装置5(328)、写真撮影装置5(329)
などがあり、これらのすべてもしくは一部が接続可能である。
・サムネイル画像作成部604では、入力された画像を縮小処理する。圧縮される画像ごとに、CPU1やCPU2により、例えば1/2〜1/16の縮小設定が可能となる。セレクタ601/606にて、サムネイル画像作成を行うか行わないかを選択可能。
・圧縮部614では、画像の圧縮(エンコード)処理(JPEG, JPEG2000,TIFF, BMPなど)を行う。 セレクタ621/616にて、圧縮を行うか行わないか(非圧縮)を選択可能
(圧縮処理を行なわずに非圧縮でバスブリッジへの転送を行なっても良い)
・コントローラ618では、画像をメモリP(619)に格納後、バスブリッジ506に出力できるインターフェースに変換して出力する。
・コントローラ718では、バスブリッジ506から画像を受信し、画像をメモリ719に格納後、セレクタ716に出力する。
プロセッサ113の電源ON後(AFLW1)、以下の初期設定が行われる(AFLW2)。
・プロセッサ113内の各ブロックで使用されているFPGA(コンフィグレーション)データ、DSPデータ(ファームウェア)のコンフィグレーション完了/未完了の確認及び,コンフィグレーション完了後にFPGA ,DSPの初期化(内部のレジスタの初期設定など)。
・バスブリッジに直接接続される無線制御部1(1501)。
・PCカード520やメモリカード521のスロットに挿入可能な無線制御部2(1502)。
・USBメモリの代わりにUSBコントローラ518に接続可能な無線制御部3(1503)。
・特定の周波数(Ex.125KHz,13.56MHz)の誘導電波で非接触カード内の記録媒体の情報を読出し/書込み(READ/WRITE)する。(赤外線を使用しても良い)
・規格(ISO14443、15693、18092)に準拠しても良い。
図31の内視鏡合成画像における符号1110〜1122の説明は、図27〜図30に示されている。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドが患者データ要求コマンドと判断した場合は(DFLW25)、患者データを、プロセッサ113側の公開鍵データを使用して暗号化して送信する(DFLW26)。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドがユーザー設定データ要求コマンドと判断した場合は(DFLW28)、ユーザー設定データを、プロセッサ113側の公開鍵データを使用して暗号化して送信する(DFLW29)。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドがシステム設定データ要求コマンドと判断した場合は(DFLW31)、システム設定データを、プロセッサ113側の公開鍵データを使用して暗号化して送信する(DFLW32)。
・非接触カード1504でDFLW24の後、一定期間内にデータが受信できない場合は、タイムアウトとなり処理を終了する(DFLW34)。
・前記秘密鍵、暗号鍵は、各コマンドごとに作成しなおしてもよい。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドが患者データWRITEコマンドと判断した場合は(EFLW25)、非接触カード1504内のメモリに患者データをWRITEし(EFLW26)、WRITEが正常に終了したことを示すOKコマンドをプロセッサ113側の公開鍵データを使用して暗号化して送信する(EFLW28)。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドがユーザー設定データWRITEコマンドと判断した場合は(EFLW29)、非接触カード1504内のメモリにユーザー設定データをWRITEし(EFLW31)、WRITEが正常に終了したことを示すOKコマンドをプロセッサ113側の公開鍵データを使用して暗号化して送信する(EFLW32)。
・非接触カード1504は非接触カード1504側の秘密鍵データを使用してコマンドを復号する。復号化したコマンドがシステム設定データWRITEコマンドと判断した場合は(EFLW33)、非接触カード1504内のメモリにシステム設定データをWRITEし(EFLW35)、WRITEが正常に終了したことを示すOKコマンドをプロセッサ113側の公開鍵データを使用して暗号化して送信する(EFLW36)。プロセッサ113の無線制御部は、プロセッサ113側の秘密鍵データを使用してデータを復号する。復号化したデータがOKコマンドと判断した場合は(EFLW15)、処理を正常終了する(EFLW17)。
・なお、EFLW25、EFLW29、EFLW33において、患者データWRITEコマンド、ユーザー設定データWRITEコマンド、システム設定データWRITEコマンド以外の、想定外のコマンドを受信した場合は、コマンドエラーを送信する(EFLW27、EFLW30、EFLW34)。プロセッサ113はコマンドエラーを受信した場合は、再度、WRITEコマンドを出力するようにしてもよい。
メモリ内はファイルシステム(FAT16,FAT32)で構成されてもよい。
・ディレクトリ名を各設定画面やVersionUP(バージョンアップ)としてもよく、 ファイル名を各設定画面のそれぞれのデータとしてもよい。(例えば、複数の患者データがある場合は、図34のように各患者データごとにファイル名を用意してもよい。)
・Root、各ディレクトリ、各ファイルには、ガードキー(又はパスワード)が付属されてもよく(ガードキー(又はパスワード)が非接触カード1504内のメモリに記憶される)、パスワード入力(パスワード入力画面は図10と同様)、又は(図示しない)認証装置(セキュリティカード、バイオメトリクス(指紋、虹彩、認証、網膜の血管パターン、筆跡、声紋、顔の形状、署名、手の甲の静脈パターン)などによるアクセス制限(表示、消去、修正含む)を行ってもよい(例えば、コマンド送信時(DFLW8、DFLW11、DFLW14、EFLW8、EFLW11、EFLW14)に、事前に入力したパスワードや認証装置による認証情報(ガードキー)のデータを付属して送信し、非接触カード1504側の復号化時に、アクセスチェックを行う)。また、各ディレクトリ、各ファイルの属性をREAD Onlyに設定してもよい。
・無線でのコマンドの送受信時にコマンドを傍受されても、暗号化されているため、解読が困難である。
・特定の使用者のみ、非接触カード1504側のメモリのアクセスが可能となる。
となり、セキュリティが強化され、高い安全性を確保できる。また、無線である為、ケーブルの接続やUSBメモリやPCカード520やメモリカード521の装着などを行わなずに、容易かつ高速に設定が可能となる。
まず、操作デバイス上に割り当てられた記録指示キーが入力されているかを検出する(BFLW2)(使用者が、操作デバイスに割り当てる際、システム設定画面’図19の項目Foot Switch、ユーザー設定画面図25の項目Scope Remote Switchにて記録指示キーの種類を選択することで、容易、確実に割り当て変更可能である。設定画面上の割り当ての動作に関しては特願2004−202763号、特願2004−176201号を参照のこと。以下すべての記録指示キーの割り当てについて同様とする)。
・操作デバイスからSIO407、PIO408を経由してCPU1(401)が検出する。
・HID(326)(キーボードやマウス、ホイール)から532、518、506を経由してCPU2(503)が検出。又はCPU2(503)からSIO(511)→SIO(407)、 PIO(512)→PIO(408)、を経由してCPU1(401)が検出。
・キャプチャーキー:プリンタ1(302)、プリンタ2(307)、プリンタ3(312)、プリンタ4(322)、プリンタ5(327)
(周辺機器の各々について独立して記録指示キーを設けてもよい。また、レリーズキー入力時に前記周辺機器の一部のみ記録可能にしてもよい(キャプチャーキーに関しても同様とする)。
CPU1(401)又はCPU2(503)により、(SIO(511)、SIO(407)、 PIO(512)、PIO(408)、又はBUF413を経由して)メモリコントロール1201が制御される。
(1)セレクタ1203を、入力1205−出力1206になるようにする。
(2)メモリコントロール部1201は、合成・マスク処理部216,FIFO(1フレームメモリ)1208を制御して、SDTV内視鏡合成静止画像を1フレーム分FIFO(1フレームメモリ)1208に格納し、かつ周波数変換して(13.5MHz→37MHz)してメモリ☆(240)にSDTVの内視鏡合成静止画像を格納する。
その後、SDTV内視鏡合成静止画像をメモリ※(217)に格納した後(BFLW5)、メモリ※(217)から読み出してD/A変換器(235)やセレクタ(238)、デジタル出力部(237)を経由して周辺機器に出力する(BFLW6)。
・プリンタ1(302)、プリンタ2(307)、プリンタ3(312)
なお、記録指示は、CPU1によりSIO407→□1、PIO408→□2を経由してシリアルインターフェース又はパラレルインターフェースのコマンドにより行われる。
図39,図40にメモリ212に格納された拡大係数、強調係数のアドレス構成例を示す。内視鏡画像の画像サイズや内視鏡101,101’(CCD102,102’)に対応付けて、通常時/正方画素時の拡大係数、強調係数を効率よく格納している。フローAFLW2の初期設定では、図39,図40内の通常の拡大係数・強調係数・画像回転パラメータが設定され、フローBFLW8にて図39,図40内の正方画素処理時の拡大係数・強調係数・画像回転パラメータが設定される(例えば、CPU1(401)が設定する )。
・正方画素に対応するように、グラフィック回路218、233、グラフィック回路2(501)にて、グラフィックや文字を作成してもよく、
・BFLW4で作成したSDTV内視鏡合成静止画像の内、グラフィック情報のみを正方画素に対応するように補完してもよい。(例えば、720×480の画像から640×480(VGAサイズ)に変更する際には、横方向に720→640のドット幅になるように、合成・マスク処理部216内で処理を行う。)
コントローラ211はCPU1(401)又はCPU2(503)により、(SIO(511)、SIO(407)、PIO(512)、PIO(408)、又はBUF413を経由して)制御される。
(5)セレクタ1203を、入力1205−出力1206になるようにする。
図41は画像圧縮部の設定画面の一例を示す。画面の説明は、図42、図43、図44参照。(図41〜図44の設定項目は、周辺機器側から通信にて設定も可能である。その際には、図41の設定画面の表示も周辺機器からの設定内容を表示するようにする。)
図41の設定においてthumbnail=ON,Encode Type= JPEG,Signal=YCrCb、Encode Num=SDTV1+SDTV2+HDTV、Format1=4:2:2とした場合について説明する。
・サムネイルのサイズを固定とし(例えば通常のSDTV内視鏡合成静止画像のサムネイル画像=180×120、正方画素のSDTV内視鏡合成静止画像のサムネイル画像=160×120、HDTV内視鏡合成静止画像のサムネイル画像=240×135)、その固定サイズになるように本画像を縮小するようにしてもよい。
図47にファイリング装置、光学記録装置、PCカード520、メモリカード521、USBメモリなどの周辺機器内の画像を記録する記録媒体内の構成例を示す(図47ではファイルの圧縮形式はJPEGファイルとする。そのため拡張子は自動的に”.jpg”となる。)。記録媒体内はファイルシステム(FAT16,FAT32)で構成されてもよい。
・・内視鏡101,101’内のメモリ108,108’に格納されている情報(内視鏡101,101’の製品名、シリアルナンバー、CCD102の種類、鉗子チャネルの数及び各チャネルの径、先端部径の値、挿入部径の値、拡大スケール、内視鏡合成画像上での鉗子位置情報、点検指示情報、内視鏡101,101’の初回使用日、通電回数、点検回数、サービス情報、メーカーコメント、サービスコメント、修理記録、点検記録、コメント情報、CPU109,109’のプログラムのバージョン、レンタル情報、直視/側視情報、ホワイトバランスデータ)など
・・プロセッサ113のシリアルナンバー、電源ON回数、記録処理時の日付時刻、内視鏡101,101’(CCD102,102’)の種類、調光(Iris)の設定状態、Ethernet(登録商標)のMacアドレス、IPアドレス
・・転送された画像、サムネイルのサイズ情報、縮小率、容量、図41の情報、色空間(sRGB など)
・・画像が、本画像かサムネイル画像かの識別情報
・・画像が、通常のSDTV内視鏡合成静止画像又は正方画素のSDTV内視鏡合成静止画像又はHDTV内視鏡合成静止画像かの識別情報
・・各設定画面の情報
(各情報の詳細は、特願2004−202763号、特願2004−176201号も参照のこと。)
・・各フォーマットのヘッダファイルやマーカー(例えばDCF,EXIF,JFIFフォーマット用のパラメータやヘッダや量子化テーブルやハフマンテーブルやフォーマットのバージョンなど)
・・記録している周辺機器やPCカードやメモリカードやUSBメモリのシリアルナンバーや製品名
・・図41〜44、図17〜図31の情報
図48に本画像とサムネイル画像のファイルの構造例を示す。
その後、図41のレリーズタイム(以下、ReleaseTime)で設定された時間が経過した場合は(BFLW12)、
・ReleaseTimeのHDTVの設定時間が経過後→フリーズ回路206にて内視鏡画像のフリーズを解除する。合成・マスク処理部231からは動画像が出力される(グラフィック回路233にてIHbの平均値の表示及び時刻情報のフリーズの解除も行う。)
・ReleaseTimeのSDTVの設定時間が経過後→メモリ※(217)からのREAD処理を中止し、同時化回路213の出力とグラフィック回路218などからなる動画像の内視鏡合成画像を出力する(グラフィック回路218にてIHbの平均値の表示及び時刻情報のフリーズの解除も行う。)。
・なお、図41のReleaseTimeで設定された時間は一部の周辺機器への記録指示(例えばレリーズキーの入力時のみ)のみ動作するようにしてもよい。(キャプチャーキー入力時には、固定の時間(例えば0.3s)後にBFLW13の動作を行ってもよい。)
・操作デバイスに割り当てられたフリーズキーにより、内視鏡合成画像がフリーズされている状態でBFLW1以降の動作が行われる場合は、全部又は一部の記録指示(例えばキャプチャーキー入力時のみ)においては、BFLW13の時に内視鏡画像をフリーズ解除せずにフリーズ状態のままでよい。(なお、フリーズキーによるフリーズ時では日付時刻のグラフィック表示はフリーズしない。)
なお、BFLW12の処理中又は処理後に、BFLW10・BFLW11の処理を行われていてもよい。その場合には、メモリ☆(240)は次の記録指示による画像が格納されてもよく、画像に番号をつけて識別できるようにしてもよい。またメモリ☆(240)はリングバッファとしてもよい。
操作デバイス上に割り当てられた以下の記録指示キーが入力された場合に、それぞれの周辺機器が動画記録を行う。(再度指示キーが入力された場合は、一時停止又は停止動作を行う。)
・VTRキー:VTR1(303)、VTR2(308)、VTR3(316)、ファイリング装置3(313)へ動画像の記録を行う。(なお、記録指示は、CPU1によりSIO407→□1、PIO408→□2を経由してシリアルインターフェース又はパラレルインターフェースのコマンドにより行われる。)
・M-RECキー:光学記録装置(MO、DVD、CD±R/Wなど(325))、ファイリング装置4(323)、HID(USBマウス)、光学記録装置2(MO、DVD、CD±R/Wなど(330))、ファイリング装置5(328)へ動画像の記録を行う。
M-RECキーによる動画記録の詳細は以下の通り。
・図41のムービーエンコード(以下、MovieEncode)にて設定された設定情報に基づき、セレクタ238、セレクタ629、サイズ変更部622、YUV変換部623、動画エンコード部624の設定を行う。
・・内視鏡101,101’内のメモリ108,108’に格納されている情報(内視鏡101,101’の製品名、シリアルナンバー、CCD102の種類、鉗子チャネルの数及び各チャネルの径、先端部径の値、挿入部径の値、拡大スケール、内視鏡合成画像上での鉗子位置情報、点検指示情報、内視鏡101,101’の初回使用日、通電回数、点検回数、サービス情報、メーカーコメント、サービスコメント、修理記録、点検記録、コメント情報、CPU109,109’のプログラムのバージョン、レンタル情報、直視/側視情報、ホワイトバランスデータ)など
・・プロセッサ113のシリアルナンバー、電源ON回数、記録処理時の日付時刻、内視鏡101,101’(CCD102,102’)の種類、調光(Iris)の設定状態、Ethernet(登録商標)のMacアドレス、IPアドレス
・・転送された画像のサイズ情報、縮小率、容量、図41の情報、色空間(sRGBなど)
・・画像の識別情報
・・各設定画面の情報
(各情報の詳細は、特願2004−202763号、特願2004−176201号も参照のこと。)
・・各フォーマットのヘッダファイルやマーカー
・・記録している周辺機器やPCカードやメモリカードやUSBメモリのシリアルナンバーや製品名
・・図41〜図44、図17〜図31の情報
なお、画像圧縮部140や(後述する)画像伸長部141の各ブロックは、(図示しない)作業処理用のメモリを使用してもよい。
・操作デバイスからSIO407、PIO408を経由してCPU1(401)が検出する。
その後、グラフィック回路218、233、又はグラフィック回路2(501)にて、表示準備中であることを示すWaitメッセージ(例えば“Please Wait”の文字)を表示する(CFLW3)。内視鏡合成画像を特定の色(例えば黒やカラーバー)に塗りつぶしてもよい。(CFLW6、CFLW9、CFLW13、CFLW16の処理も同様とする)
その後、周辺機器の記録媒体に格納されているディレクトリ名やファイル名が表示される(CFLW4)。
なお、図53に記載のディレクトリ名やファイル名、及びディレクトリ−ファイル間の構成は図47と同様とする。また図53の表示は、ディレクトリ名だけでもよく、ディレクトリ名を選択して特定キーを入力時(例えばマウスの右クリック)のみ、ディレクトリに格納されているファイル名を表示するようにしてもよい。また選択したディレクトリ名やファイル名は、操作デバイス上の特定キー(例えばキーボード114の文字キーやHID326(キーボードやマウスやホイール)の文字キー)により名前の変更が可能とする。また、ディレクトリ名やファイル名が多く複数ページにわたる場合は、CFLW8〜10と同様のページ切り替えを行ってもよい。
・CPU2(503)はディレクトリに格納されたファイルを、設定画面(項目”Device”)で選択した周辺機器から、バスブリッジ506、コントローラ718を経由してメモリ719に格納する(CPU2(503)を経由せずに格納してもよい)。ディレクトリに格納されたファイルすべてをあらかじめメモリ719に格納してもよく、サムネイル画像のみをあらかじめメモリ719に格納してもよい。
・設定画面(図51)のDecode→thumbnailがNOに設定されている場合は、設定画面(図51)のDecode→Mult Num.で設定されたサムネイルの数に応じて、本画像のファイルからサムネイルを作成して表示する。(例えば、本画像が通常のSDTV合成静止画像の種類で、Mult Num.=16の場合、720×480の本画像から1/4に縮小して180×120のサムネイル画像を作成して表示する。)
・サムネイル/マルチ画像作成部704にてマルチ画像作成後、同期回路725にてマルチ画像1フレーム分格納し、74MHzのクロックに同期したマルチ画像と、SDTV内視鏡合成静止画像として13.5MHzのクロックに同期したマルチ画像が、合成・マスク処理部216、231に出力される。同期回路725の一例を図56に示す。メモリコントロール回路1301によって、同期回路725のFIFO1302,1308及び216、231が制御され、同期した画像が出力できる。(Decode→DecodeTypeで設定された種類に対応する同期処理のみ行ってもよい(例えば、SDTV1(通常のSDTV内視鏡合成静止画像)又はSDTV2(正方画素のSDTV内視鏡合成静止画像)が選択された場合は、216に入力される13.5MHzのクロックに同期したマルチ画像の同期処理のみ行い、HDTV(HDTV内視鏡合成静止画像)が選択された場合は、231に入力される74MHzのクロックに同期したマルチ画像のみ同期処理を行ってもよい))。
・CPU2(503)は、選択枠で選択したサムネイルファイルの本画像にあたるファイルを、設定画面(項目”Device”)で選択した周辺機器から、バスブリッジ506、コントローラ718を経由してメモリ719に格納する(CPU2(503)を経由せずに格納してもよい)。本画像を含めてファイルすべてをあらかじめメモリ719に格納している場合は、再度周辺機器から転送する必要はない。
・本画像の表示例を図59に示す。本画像表示時は、操作デバイス上の専用LEDを点灯するか、メッセージを表示することにより、記録画像が表示されていることを明示するようにしてもよい。(使用者は記録画像が表示されていることを容易に把握できる。)。
操作デバイスの特定キー(例えばキーボード114のBSキーやESCキー、HID326(キーボードやマウスやホイール)のBSキーやESCキー)により前画面戻りの指示があった場合は(CFLW18)、CFLW6のフローに移動し、マルチ画像を表示する。
・・VTR再生キー:VTR1(303)、VTR2(308)、VTR3(316)、ファイリング装置3(313)から動画像の再生を行う。(なお再生指示は、CPU1によりSIO407→□1、PIO408→□2を経由してシリアルインターフェース又はパラレルインターフェースのコマンドにより行われる。)
・・M-PLYキー:光学記録装置(MO、DVD、CD±R/Wなど(325))、ファイリング装置4(323)、HID(USBマウス)、光学記録装置2(MO、DVD、CD±R/Wなど(330))、ファイリング装置5(328)へ動画像の記録を行う。
・M-PLYキーが入力された場合は、以下の動作を行う。
・・表示準備中であることを示すWaitメッセージ(例えば“Please Wait”の文字)を表示する。
・・周辺機器の記録媒体に格納されているディレクトリ名やファイル名が表示される(CFLW4と同様)。
・・CPU2(503)はディレクトリに格納されたファイルを設定画面で選択した周辺機器からバスブリッジ506、726を経由して、動画デコード部724、RGB変換部723の処理を行う(図55と同様に付属情報に基づき、対応したデコード処理やRGB変換を自動的に行う)。
図62は、図2,図7及び図8における、239−627間、238−622間、725−701間、722−231(216)間、その他プロセッサ113内の任意のブロック間での画像転送例を示した図である。R,G,BはそれぞれRed,Green,Blue画像のデータを示し、Y,Cr,Cbはそれぞれ輝度信号、色差信号のデータを示す。ブロック間をクロックに同期して転送される。画像上のドットとの関係を図63,図64に示す。図63は画像上のドットととR,G,Bの関係を示し、図64は画像上のドットとY,Cr,Cbの関係を示している。なお、各データは、任意のビット数(例えば、8bit 又は10bit)であってもよい。
図62(1):画像の1ドットに対応するR,G,Bデータをパラレルで1クロックごとに順に転送する。
図62(2):画像の1ドットに対応するY,Cr,Cbデータをパラレルで1クロックごとに順に転送する(各ブロックに(図示しない)YcrCb→RGB変換回路をブロック内に設けてもよい。)。
図62(7):Y,Cr,Cbデータは1クロックごとに転送するが、Cb0→Y0→Cr0→Y1と転送される為、Y:Cr:Cb=4:2:2の比でデータが転送されることになる。(データを交互に転送するためのマルチプレクサ回路をブロック内に設けてもよい。またこのように交互に転送する場合は、クロックを倍にて転送してもよい(例えばブロック内で13.5MHzで処理している場合は、27.5MHzで出力するようにしてもよい。))
なお、画像転送は、 デジタル伝送規格ITU-R BT.656/BT.601/ BT.709/ BT.799/BT.1120/BT1364/ BTA S-001/ BTA S-002/BTA S-004/BTA S-005に準ずるものでであってもよい。
・使用者が、操作デバイスに、記録したい周辺機器の記録指示キーを選択して割り当てることにより、複数の周辺機器から記録する周辺機器を選択可能である。(図25など参照)
・符号化(圧縮)したデジタル画像は、通常のSDTV内視鏡合成静止画像、正方画素のSDTV内視鏡合成静止画像の複数のサイズを生成可能であり、かつメモリ212から通常又は正方画素に対応した拡大(縮小)係数、強調係数、画像回転パラメータなどを読み出しコントローラ111が制御を行い内視鏡画像の処理を行うことで、それぞれのサイズに最適な内視鏡画像の処理が可能となる。また、サイズごとに記録周辺機器を設定可能である。
・・項目”Encode Type”にて符号化の種類を選択することにより、使用者が設定したい符号化処理を選択できる。また、画像圧縮部140、画像伸長部141の全部(又は一部)がプログラマブルICで構成される場合には、項目”Encode Type”で選択後に、自動的に対応するコンフィグレーションデータやプログラム(ファームウエア)をダウンロード(リコンフィグレーション)し直して、符号化処理を変更できる。よって同一のハードウェアにて複数の符号化処理を行なうことが可能となる。
・・項目”Encode Type”をOFFにすることにより、符号化しない(非圧縮)の画像を記録/再生表示可能である。
・周辺機器に転送する順番として、最初に画像のバックアップとしてある周辺機器(例えばPCカード520、メモリカード521)に格納し、その後、別の周辺機器に記録するようにしてもよい。これより、周辺機器に記録途中や通信エラー時に、プロセッサ113の電源をOFFにした場合にも、再度電源をON時にバックアップした周辺機器(PCカード520、又はメモリカード521)に格納した画像及びサムネイルを再度自動的に転送可能である。これより、画像の記録を安全、確実に行なうことが可能となる。
図4に示すように、プログラマブルICの機能拡張を行うことにより、
・ 更なる省電力化が可能となる。
・ セキュリティコードを検出したり、パスワード入力を行うことにより、セキュリティを強化することで、特定の人(サービス担当など)のみがバージョンアップが可能となるため、VersionUP用のプログラムやFPGA(DSP)データ(ファームウェア)の改ざんを行うことが困難となり、高い安全性を確保できる。
・・無線でのコマンドの送受信時にコマンドを傍受されても、暗号化されているため、解読が困難である。
102,102’…CCD(取得手段)
114…キーボード(記録指示手段)
136…映像処理部(デジタル画像処理手段)
137,138…制御処理部
203…A/D変換器
222,235…D/A変換器(アナログ出力手段)
237…デジタル出力部(符号化手段及びデジタル出力手段)
代理人 弁理士 伊 藤 進
Claims (5)
- 内視鏡により撮影した画像を取得する取得手段と、
前記取得手段により取得した前記画像をデジタル画像処理するデジタル画像処理手段と、
前記デジタル画像処理したデジタル画像をアナログに変換して出力するアナログ出力手段と、
前記アナログ出力手段に接続されるアナログ用周辺機器と、
前記デジタル画像を、複数種類の符号化処理方法のうちの選択された符号化処理方法により符号化する符号化手段と、
前記符号化したデジタル画像を出力するデジタル出力手段と、
前記デジタル出力手段に接続されるデジタル用周辺機器と、
前記アナログ用周辺機器と前記デジタル用周辺機器へ記録指示を行う記録指示手段であって、該記録指示手段は接続される前記アナログ用周辺機器と前記デジタル用周辺機器から選択して記録指示可能である記録指示手段と、を具備し、
前記符号化手段は、複数種類の符号化処理方法のうち選択された符号化処理方法に対応するファームウェアを自動的にダウンロードして取得することにより当該選択された符号化処理を行う機能を備えるプログラマブルICにより実現される
ことを特徴とする内視鏡装置。 - 前記選択される前記符号化処理方法は、動画処理方法又は静止画処理方法を含むことを特徴とする請求項1の内視鏡装置。
- 前記符号化手段による処理を行わないデジタル画像も出力可能であることを特徴とする請求項1の内視鏡装置。
- 前記デジタル用周辺機器に記録されたデジタル画像を表示可能であることを特徴とする請求項1の内視鏡装置。
- 前記デジタル用周辺機器の一部は、前記デジタル画像のバックアップを行うことを特徴とする請求項1の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005075793A JP5164310B2 (ja) | 2005-03-16 | 2005-03-16 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005075793A JP5164310B2 (ja) | 2005-03-16 | 2005-03-16 | 内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006255109A JP2006255109A (ja) | 2006-09-28 |
JP5164310B2 true JP5164310B2 (ja) | 2013-03-21 |
Family
ID=37094946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005075793A Expired - Fee Related JP5164310B2 (ja) | 2005-03-16 | 2005-03-16 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5164310B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008086667A (ja) * | 2006-10-04 | 2008-04-17 | Olympus Medical Systems Corp | 医療用画像処理装置 |
JP5144915B2 (ja) * | 2006-10-19 | 2013-02-13 | Hoya株式会社 | 電子内視鏡システム |
JP2008099881A (ja) * | 2006-10-19 | 2008-05-01 | Pentax Corp | 電子内視鏡システム |
JP5097565B2 (ja) * | 2008-01-24 | 2012-12-12 | 株式会社トプコン | 眼科撮影装置 |
EP3200450A4 (en) | 2014-09-26 | 2018-05-30 | Olympus Corporation | Transmission system and processing device |
JP5974069B2 (ja) * | 2014-12-19 | 2016-08-23 | Hoya株式会社 | 内視鏡装置 |
CN113990457B (zh) * | 2021-12-24 | 2022-03-04 | 极限人工智能有限公司 | 一种视频图像截取方法、装置、芯片、手术机器人与系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2837888B2 (ja) * | 1989-10-05 | 1998-12-16 | オリンパス光学工業株式会社 | 内視鏡画像記録再生装置 |
JPH08123595A (ja) * | 1994-10-20 | 1996-05-17 | Olympus Optical Co Ltd | 医療用キーボード装置 |
JP4315489B2 (ja) * | 1998-07-31 | 2009-08-19 | オリンパス株式会社 | 内視鏡装置 |
JP2002034907A (ja) * | 2000-07-25 | 2002-02-05 | Olympus Optical Co Ltd | 内視鏡画像記録装置及び内視鏡画像管理システム |
JP2003032529A (ja) * | 2001-07-17 | 2003-01-31 | Olympus Optical Co Ltd | 信号処理装置 |
JP2003325443A (ja) * | 2002-05-08 | 2003-11-18 | Olympus Optical Co Ltd | 電子内視鏡装置 |
JP2004024340A (ja) * | 2002-06-21 | 2004-01-29 | Olympus Corp | 内視鏡装置 |
JP2004080565A (ja) * | 2002-08-21 | 2004-03-11 | Pentax Corp | デジタル映像信号出力可能な電子内視鏡装置 |
JP2005013409A (ja) * | 2003-06-25 | 2005-01-20 | Olympus Corp | 内視鏡装置または内視鏡システム |
JP3854292B2 (ja) * | 2004-07-29 | 2006-12-06 | オリンパス株式会社 | 内視鏡装置 |
-
2005
- 2005-03-16 JP JP2005075793A patent/JP5164310B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006255109A (ja) | 2006-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5164310B2 (ja) | 内視鏡装置 | |
WO2012005108A1 (ja) | 画像記録再生システム | |
US20080091065A1 (en) | Medical image processing apparatus, endoscope system and medical image processing system | |
EP1434417B1 (en) | Digital camera and printing system | |
JP2006255108A (ja) | 内視鏡装置 | |
JPH0898124A (ja) | デジタル電子スチル・カメラ | |
EP0840506A2 (en) | Picture data reading and writing method and apparatus | |
JP4812190B2 (ja) | 画像ファイル装置 | |
JP4272714B2 (ja) | 画像記録装置及び画像記録方法 | |
US7616839B2 (en) | Image data transfer system, method of generating image data file, and computer program | |
JP2008086666A (ja) | 内視鏡システム | |
JP4981397B2 (ja) | 医療用画像処理システム | |
JP2007148802A (ja) | 通信装置、制御方法、及びプログラム | |
JP2008086667A (ja) | 医療用画像処理装置 | |
JP2012049870A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
JP3927874B2 (ja) | 画像処理装置およびその制御方法およびプログラムおよび記憶媒体 | |
JP4837024B2 (ja) | 撮影装置およびその制御方法、並びにプログラム | |
JP2005013409A (ja) | 内視鏡装置または内視鏡システム | |
JP4805532B2 (ja) | デバイス機器 | |
JP4750634B2 (ja) | 画像処理システム、画像処理装置、情報処理装置並びにプログラム | |
JP2006303676A (ja) | 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
JP3848151B2 (ja) | 撮像装置及び撮像方法及びプログラム及び記憶媒体 | |
JP2007304200A (ja) | 画像処理装置及びその情報配信方法、並びに制御プログラム | |
JP2000231400A (ja) | 画像処理装置 | |
JPH06253189A (ja) | 画像通信アダプター装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110808 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110921 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20111202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |