以下、図面を参照しながら本発明の実施の形態について述べる。
図1Aは、内視鏡システムの全体構成の一実施例を示す。図2(図2−1〜図2−4)は、プロセッサ13の詳細図を示す。図1Aにおいて、内視鏡1は、患者の体腔内に挿入する挿入部先端に設けられたCCD2と、挿入部先端へ観察照明光を導くライトガイド7と、内視鏡の操作を行う操作部に設けられた操作スイッチ部3と、プロセッサ13と接続する為のコネクタ15と、プログラムや内視鏡固有情報データ(CCDの種類、スコープ種類、スコープのシリアルナンバー、複数のホワイトバランスデータ、鉗子チャネルの数やチャネル径、CPU9への通電回数、操作スイッチ部3の押下回数、挿入部の屈曲特性など)を記憶する不揮発性のメモリ8(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM,等である。CPU9とのインターフェースは、パラレルインターフェース、シリアルインターフェースどちらでもよい)と、メモリ8へのデータ読み出しや書き込み制御、またメモリ8に格納されたデータをプロセッサ13と信号線11a,コネクタ15,ケーブル32,コネクタ31,信号線11bを経由して送受信したり、演算処理(スコープの接続回数の演算、操作スイッチ部の押下回数の演算、CPU9への通電回数の演算等)を行うCPU9(シリアルインターフェースやパラレルインターフェース,ウォッチドッグタイマ,タイマ,SRAM,プログラム用FLASH ROMなどを内蔵する)と、プロセッサ13からの供給される電源の変動時やCPU9のウォッチドッグタイマによりリセット処理を行うRESET回路10を備えて構成される。
なおプロセッサ13からCPU9、メモリ8、RESET回路10に電源を供給する方法は、駆動回路63(図2参照)から6a,6bを経由して送られるCCD2の駆動電源を用いても良いし、(図示しない)専用の電源線を使用しても良い。操作スイッチ部3のスイッチON/OFF信号(駆動回路63から供給される電源レベルやGNDレベルに相当する)は、信号線4a,コネクタ15,ケーブル32,コネクタ31,信号線4bを経由してパラシリ回路64(図2参照)に入力される。
CCD2で撮像された内視鏡画像は、信号線5a,コネクタ15,ケーブル32,コネクタ31,信号線5bを経由し、プロセッサ13内のCDS回路51(図2参照)に入力される。
CPU9からデータを送受信する信号は信号線11a,コネクタ15,ケーブル32,コネクタ31,信号線11bを経由し、プロセッサ13内の絶縁回路54に入力される(なお、インターフェースは、本実施例のようなシリアルインターフェースの他、パラレルインターフェースでも良い。)。
CCD2を駆動する駆動信号は、プロセッサ13内の駆動回路64から信号線6b,コネクタ31,ケーブル32,コネクタ14,信号線6aを経由してCCD2に入力される。コネクタ15に実装されている内視鏡1(もしくはCCD2)検知信号はケーブル32,コネクタ31,信号線12bを経由してプロセッサ13内の絶縁回路54に入力される。
光源17は、観察光を生成する白色光を発光するランプ18と、ランプ18の観察光をRGBの面順次光に変換する為のRGBフィルタ19と、ランプ18から観察光の特定波長をカットして特殊光を生成する複数、例えば3つの特殊光フィルタ20a,20b,20cと、ランプ18からの観察光の光量を制御するしぼり16と、RGBフィルタ19及び特殊光フィルタ20a,20b,20cの切替を行うと共にしぼり16を制御するフィルタ切替+しぼり制御21と、光量調整や電源ON/OFF、ランプ点灯/消灯、透過照明、フィルタ切替など各種設定を行う操作パネル25と、プログラムや光量調整データやランプ寿命,光源のシリアルナンバー,フィルタ19,20a,20b,20cの種類、メンテナンス情報などを記憶する不揮発性のメモリ23(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM等。パラレルインターフェース、シリアルインターフェースどちらでもよい)と、メモリ23へのデータ読み出し/書き込み制御及び、メモリ23に格納されたデータを信号線28a,28bを経由してプロセッサ13と送受信したり、フィルタ切替+しぼり制御21や操作パネル25を制御するCPU24と、プロセッサ13からの調光信号をアナログ信号に変更しフィルタ切替+しぼり制御21に出力することでしぼり25を制御させるD/A変換器22からなる。
CPU24内のSIOからデータを送受信する信号は、信号線28a,コネクタ26,ケーブル34,コネクタ33,信号線28bを経由し、プロセッサ13内の制御回路67内のSIO250(図7参照)に入力される。
D/A変換器22に入力される信号は、CCD2で撮像された内視鏡画像の光量情報(測光信号、調光信号など)を示し、プロセッサ13の絶縁回路66から信号線27b,コネクタ33,ケーブル34,コネクタ26,信号線27aを経由して入力される(データ形式はパラレル又は同期式シリアル、もしくは調歩同期式であってもよい)。
29bは光源の種類の検知する信号であり、光源17の場合は、GNDに接続された信号29aがコネクタ26,ケーブル34,コネクタ33を経由してプロセッサ13内の制御回路67内のPIO251に入力される。プロセッサ13ではPIO251を経由してCPU74がLOWの信号レベルを検出することにより、光源の種類(光源17)を判別できる。なお、CPU24内のシリアルインターフェース回路SIOがなく、プロセッサ13との通信機能を有さない光源17aもある(図1B参照)。
D/A変換器37の出力を有し、プロセッサ13は、CPU24a,D/A変換器37,信号線38a,コネクタ26,ケーブル34a,信号線38b,A/D変換器68,PIO251を経由して、光源17aの操作パネル25にて調整された調光信号を得る(なお、光源17接続時では、前記操作パネル25にて調整された調光信号は、CPU24内のSIOを経由したデータの送受信にて行う。)。
29bは、光源17aの場合はOPENになっている。プロセッサ13側でプルアップとなるため、信号レベルが“Hi”となりその結果、プロセッサ13ではPIO251を経由してCPU74がHIの信号レベルを検出することにより、光源の種類(光源17a)を判別できる。
プロセッサ13は、制御動作を行うキーボード14、後述する複数の周辺機器と接続される(キーボード14、複数の周辺機器とプロセッサ13間のケーブル、コネクタの詳細は省略する。)。なお、プロセッサ13と接続される全ての機器間のケーブルは取り外しが自由なように着脱可能であっても良いし、容易に外れないようにケーブル間が一体になっていても良い。電源ケーブルやアース線も同様である。
図2において、内視鏡1内のCCD2で撮像された内視鏡画像は、信号線5a,コネクタ15,ケーブル32,コネクタ31,信号線5bを経由しCDS回路51に入力されてCDS処理をされた後、A/D変換器52によりアナログ→デジタル変換され、周波数変換器53により所定の周波数(例えば、13.5MHz)に変換し、フォトカプラなどの絶縁回路54を通し、映像処理回路1(55),映像処理回路2(57),合成処理回路(102)で画像処理やマスク処理、内視鏡関連情報などの文字重畳処理された後、その内視鏡合成画像をD/A変換器59でデジタル→アナログ変換され、調整回路60にてレベル調整された後、合成処理回路1(61)を経由して、複数の周辺機器に出力される(詳細は後述)。
また、デジタルエンコーダー62では、Y/C信号やコンポジット信号などに変換後、複数の周辺機器に出力される(内視鏡関連情報とは、患者ID,名前,生年月日,性別,年齢,現在時刻,診察しているドクター名,コメント,内視鏡1,CCD2の種類,内視鏡1に関する情報(例えば、シリアルナンバー、鉗子チャネルの数、各チャネル径、操作スイッチ3に割り当てられた機能、メモリ8に格納された内視鏡毎の固有情報など)、インデックス画像などのことを言う。)。
一方、脱着可能なオプション基板116がプロセッサ13に装着された場合は、オプション基板検知信号117がGNDに接続される。CPU74は制御回路(67)を経由して、検知信号117がLOWレベルであることを検出し、映像処理回路1(55)、映像処理回路2(57)にて内視鏡画像の切替を行う(詳細は後述)。
オプション基板116では、HDTV,SXGA,UXGA,QXGA,QSXGAなど高画質なアナログもしくはデジタル内視鏡画像、内視鏡合成信号を出力する。オプション基板116接続時は、映像処理回路1(55)の出力が映像処理回路3(89)に入力され、IHbや色ずれ防止などの映像処理が行われた後、周波数変換3(115)及び映像処理回路1(55)に出力される。
周波数変換3(115)で周波数変換を行い(例えば、74MHz)、映像処理回路4(94)、映像+合成処理回路(93)で画像処理やマスク処理、内視鏡関連情報、インデックス画像などの文字・画像重畳処理された後、その内視鏡合成画像をD/A変換器97でデジタル→アナログ変換され、調整回路98にてレベル調整された後、合成処理回路2(99)を経由して、周辺機器に出力される(詳細は後述)。
またSerial DRV(96)で、内視鏡合成画像をLVDS,PanelLink,GVIF,HD−SDI,DVI,DV,MPEG,JPEGなどのシリアルデジタルデータに変換して、記録装置(100)などに出力することで、画質劣化のないデジタル信号が記録、表示可能となる。
内視鏡1(もしくはCCD2)検知信号は、信号線12bを経由して絶縁回路54を通過後、映像処理回路1(55)に入力され、内視鏡1(もしくはCCD2)ごとの画像処理(ホワイトバランス、色調など)が行われる。
またCPU74は、映像処理回路1(55)のCPUI/F158、バッファドライバBUF1(78)を経由して内視鏡1(もしくはCCD2)検知データをREADし、その検知データを、バッファドライバBUF1(78)、バッファドライバBUF2(79)を経由して、映像処理回路1(55)、映像処理回路2(57)、合成処理回路(102)、映像処理回路3(89)、映像処理回路4(94)、映像+合成処理回路(93)に出力する。
各回路は、内視鏡1(もしくはCCD2)検知信号ごとの画像処理、マスク処理、文字重畳処理を行う(詳細は、図17参照)。操作スイッチ部3のスイッチON/OFF信号は、信号線4bを経由してパラシリ回路64に入力され、同期式または調歩同期式シリアルデータに変換された後、絶縁回路54を通り、制御回路67内のシリパラ回路253でシリパラ変換される。
CPU74はCPUI/F252、バッファドライバBUF1(78)を経由してREADすることで、スイッチ部3にある複数のスイッチのどれがONになっているかを判別し、各スイッチごとに割り当てられた処理動作を行う(詳細は表5参照)。内視鏡1内のCPU9からのデータ信号は、絶縁回路54を通過後、制御回路67のシリアルインターフェース部SIO(250)に入力される。
調光回路(65)は、CDS51から出力される内視鏡画像から光量情報(測光信号、調光信号など)を算出し、パラシリ回路(64)にてシリアルデータに変換した後、絶縁回路66を通過して信号線27bにて送信される。制御回路67は、前記処理の他、各周辺機器とシリアルインターフェース、またはパラレルインターフェースによるデータの送受信、キーボード14とのシリアルインターフェース、信号線28bを経由した光源17とのインターフェース、A/D変換器68でアナログ→デジタル変換された光源17aの調光信号デジタル信号の入力、フロントパネル69とのインターフェース、ブザー71制御、内視鏡合成画像の信号レベルの微調整を行う(電子ボリューム、VCAなどの)調整回路60,98の制御、などを行う。
CPU74は、システムバス118を経由して、以下の回路を制御する(READ,WRITEするレジスタは図17参照)。
・プログラム関連データ、内視鏡情報データ、内視鏡画像データなどを格納するRAM76(SRAM,SDRAM,DRAM,RDRAMなどWORK処理用の揮発性メモリ。パラレルインターフェース、シリアルインターフェースどちらでも良い)
・時計などの管理するリアルタイムクロックRTC81
・プログラムデータ、プログラムのバージョン、ETHERNETのMACアドレス等を格納するプログラムROM83
・プログラム動作のログやメンテナンス情報などを格納するログデータ格納ROM82
・フロントパネル69やキーボード14の設定情報、各種設定画面情報、ホワイトバランスデータなど、電源OFF時もデータを保持すべき内視鏡関連情報を格納するBACKUP RAM77(EEPROM,FLASH ROM,FRAM,FeRAM,MRAM,OUM,バッテリー付きSRAM等)
・内視鏡関連情報、内視鏡合成画像、リモート信号等をUSB1.0,1.1,2.0などのインターフェースで記録装置(86)に送受信するUSB回路85
・内視鏡関連情報、内視鏡合成画像、リモート信号等を、10Base−T,100Base−TX,1000Base−Tや1000Base−X(GIGAETHERNET),無線LANなどEthernet規格に準ずるインターフェースで記録装置(87)に送受信するETHERNET回路部84
・各回路にチップセレクト信号を送信するアドレスデコーダー80
・バスドライバBUF1(78)を経由して接続されるコンフィグレーションIC1(109)、コンフィグレーションIC2(105)、コンフィグレーションIC4(72)、映像処理回路1(55)、映像処理回路2(57)、合成処理回路(102)、制御回路(67)、グラフィック処理回路1(103)
・バスドライバBUF2(79)を経由して接続される、映像処理回路3(89)、映像処理回路4(94),映像+合成処理回路(93)、コンフィグレーションIC3(91)。
RESET回路(75)はウォッチドッグタイマなどを内蔵し、電源ON時や、プログラムのハングアップ時にRESET処理を行う。
なお、映像処理回路1(55)、映像処理回路2(57),合成処理回路(102),映像処理回路3(89),映像処理回路4(94),映像+合成処理回路(93),制御回路(67)は、FPGA(Field Programmable Gate Array)で構成されており,それぞれ、コンフィグレーションIC1(109)+コンフィグレーションメモリ1(110)+コンフィグレーション回路157,159,コンフィグレーションIC2(105)+コンフィグレーションメモリ2(106)+コンフィグレーション回路172,コンフィグレーションIC3(91)+コンフィグレーションメモリ3(92)+コンフィグレーション回路200,207,210、コンフィグレーションIC4(72)+コンフィグレーションメモリ4(73)+コンフィグレーション回路(254)により、コンフィグレーション処理が行われる(詳細の動作は、特許文献3を参照。)。
前記コンフィグレーションメモリは、パラレルインターフェース、シリアルインターフェースどちらでも良い。
SSG50,90は、複数の垂直同期信号、水平同期信号、ODD/EVEN判別信号を出力する。
垂直同期信号VD1(例えば60Hz),水平同期信号HD1(例えば15.75kHz)は、映像処理回路2(57)内の拡大・強調・同時化処理回路163内の同時化処理回路、又は映像+合成処理(93)内の同時化処理回路208より前の処理回路で使用され、パルスの出力タイミングが異なる別の垂直同期信号VD2(例えば50Hz or 60Hz),VD3(例えば50Hz or 60Hz),ODD/EVEN判別信号ODD2,ODD3,水平同期信号HD2(例えば15.75kHz or 15.625kHz),HD3(例えば33.75kHz or 28.125kHz)は拡大・強調・同時化処理回路163内の同時化処理回路、又は同時化処理回路208より後の処理回路で使用される。
また、SSG50では、画像処理用に13.5MHz,27MHzのCLKを出力し、CPU74,アドレスデコーダーなど制御用に60MHz,30MHzのCLKを出力する。SSG90では、画像処理用に13.5MHz,27MHz,74MHzのCLKを出力する。なお、オプション基板116は、PCI,CompuctPCIやVMEなどのインターフェースを用いてもよく、使用者が、オプション基板116を交換可能であってもよい。その際には、オプション基板上116の一部の機能(例えば、「映像+合成処理(93)」+SerialDRV.96)だけ実装された基板を複数用意し、ユーザーの希望に応じて選択可能であっても良い。その場合には、オプション基板検知信号117を複数線用意し、複数のビットを用いることで検知しても良く、シリアルインターフェース化しても良い。
図3については、後述する。
図4,図5は、プロセッサ13に接続される周辺機器の詳細を示すブロック図である。接続される周辺機器は、磁界を利用した内視鏡挿入形状観測装置などの画像形状記憶装置303,352、表示装置であるモニタ304,353,画像記録装置であるVTR305,354,プリンタ306,355,写真撮影装置307,356、ファイリング装置308,357、磁気カードへの患者情報や内視鏡情報、内視鏡画像などの読み取り、書き込みを行う磁気装置309、内視鏡1の光学ズーム処理を行う拡大コントローラ310、リモートコントロールを行うフットスイッチ311、内視鏡1の送水処理を行うPUMP312、超音波処理を行う超音波装置358、集中制御を行う集中制御装置315などからなる。
(画像形状記憶装置352,モニタ353,VTR354,プリンタ355、写真撮影装置356、ファイリング装置357はHDTV,SXGA,UXGA,QXGA,QSXGAなど高画質なアナログもしくはデジタル内視鏡画像、内視鏡合成画像に対応している。)
合成処理1(61)内のセレクタ302は、調整回路60やデジタルエンコーダ62からの内視鏡合成画像出力と、VTR305、プリンタ306、写真撮影装置307、ファイリング装置308からの映像信号出力を切り替えて出力する。セレクタ302で出力された映像信号の一方(例えばRGB信号)は、画像合成回路301にて画像形状記憶装置303から出力された画像形状を示す画像信号及び画像信号をマスクするマスク信号により画像合成され、信号線313を経由してモニタ304で表示される。
またセレクタ302で出力された映像信号の他方(例えば、Y/C信号 or コンポジット信号)は、信号線314を経由してモニタ304に表示される。なお、モニタ304側に入力された複数の映像信号の切替は、制御回路67内のPIO251やSIO250を経由したパラレルインターフェース or シリアルインターフェースにて制御することで実現できる。
切り替え操作は、キーボード14やフットスイッチ311,フロントパネル69,内視鏡1の操作スイッチ部3などの操作デバイス(以下操作デバイスという)に割り当てられた切替スイッチで行われ、制御回路67内のパラレルインターフェース回路PIO251やシリアルインターフェースSIO250又はシリパラ回路1(253)を経由してCPU74が検出する。
一方、調整回路60やデジタルエンコーダ62からの内視鏡合成信号出力は、VTR305、プリンタ306、写真撮影装置307、ファイリング装置308等の記録機器に出力され、動画像もしくは静止画像が記録される。上記周辺機器の制御スイッチが操作デバイスに割り当てられ、PIO251やSIO250、シリパラ回路1(253)を経由して検出したCPU74は、PIO251やSIO250を経由して、制御信号を出力する。
制御内容の一例は、以下の通りである。なお、これらの詳細は後述する。
・記録もしくは出力する映像信号、内視鏡合成画像の選択
・記録・再生・早送り・巻き戻し・コマ送り・一時停止・印刷・画像消去の指示
・表示分割数や記録枚数の設定
・内視鏡関連情報の記録、読み出し
・記録装置への日時、時刻設定、もしくは記録装置からプロセッサ13への日時、時刻設定
拡大コントローラ310、PUMP312、磁気装置309、集中制御装置315、画像形状記憶装置303の制御も同様に、操作デバイスに割り当てられた設定キーによって行われる。具体的な制御内容は、
・拡大コントローラ310のテレ/ワイドなどの光学ズーム処理
・PUMP312の送水ON/OFF処理
・磁気カードへの患者情報や内視鏡情報、内視鏡画像などの読み取り、書き込み
画像形状記憶装置303への患者情報や内視鏡情報、内視鏡画像などの読み取り、書き込み
・集中制御装置315への患者情報や内視鏡情報、内視鏡画像などの読み取り、書き込み、装置制御
・画像合成回路301への画像合成ON/OFFなどを行う。
図5において、合成処理2(99)内のセレクタ350は、調整回路98の内視鏡合成画像信号出力と、VTR354,プリンタ355,写真撮影装置356,ファイリング装置357,超音波装置358からの映像信号出力を切り替えて出力する。切り替えて出力された映像信号(例えばRGB信号もしくはYprPb信号)は、画像合成回路351にて、画像形状記憶装置352から出力された画像形状画像信号及びマスク信号により画像合成され、信号線359を経由して、モニタ353で表示される。
モニタ353に入力される複数の映像信号(359、図4の313,314、超音波装置358の映像出力)の切替も、モニタ304と同様に、操作デバイスに割り当てられた切替スイッチの操作により、PIO251やSIO250を経由してパラレルインターフェース or シリアルインターフェースにて制御することで実現できる。
また、調整回路98やSerialDRV.96からの内視鏡合成画像信号出力は、VTR354、プリンタ355、写真撮影装置356、ファイリング装置357、超音波装置358などの記録機器に出力され、動画像もしくは静止画像が記録される。また操作デバイスに割り当てられた設定キーの操作により、PIO251やSIO250を経由してパラレルインターフェース or シリアルインターフェースにて、以下の制御を行う。
・記録もしくは出力する映像信号、内視鏡合成画像の選択
・記録・再生・早送り・巻き戻し・コマ送り・一時停止・印刷・画像消去の指示
・表示分割数や記録枚数の設定
・内視鏡関連情報の記録、読み出し
・記録装置への日時、時刻設定、もしくは記録装置からプロセッサ13への日時、時刻設定
・超音波装置358の映像出力との切替
・画像合成回路352への画像合成ON/OFF
などを行う。
プロセッサ13と周辺機器との接続は、図4、図5のように全ての周辺機器を接続する他に、使用者の使用状況に応じて一部の機器のみ接続を行うようにしても良い。また、プロセッサ13側に用意する、周辺機器を制御するシリアルインターフェース又はパラレルインターフェース用ケーブルを接続するコネクタは、全ての周辺機器分用意してもよく、一部の周辺機器について共用化する事で、省スペース・低コスト化をはかっても良い。
図3,図6,図7は、プロセッサ13の内、映像処理回路1(55)、映像処理回路2(57),合成処理回路(102),映像処理回路3(89),映像処理回路4(94),映像+合成処理回路(93),制御回路(67)及び周辺回路の詳細を示す図である。CPUI/F158,162,169,203,205,209,252は、CPU74とBUF1(78)又はBUF2(79)を経由してバス接続され、CPU74により制御可能である。
また、映像処理回路1(55),映像処理回路2(57),合成処理回路(102),映像処理回路3(89),映像処理回路4(94),映像+合成処理回路(93),制御回路(67)それぞれ内部にある全ての回路と接続されている為、その結果CPU74により上記回路が全て制御可能となる。
(バス接続とは、アドレスバス、データバス、ライトイネーブル/リードイネーブル/チェックセレクト/Wait信号/INT信号などのコントロールバスからなるバス信号によって接続されることを言う。)
映像処理回路1(55)内では、絶縁回路54からの内視鏡画像が、OBクランプ部151にてOBクランプ処理され、周波数変換部152で周波数変換(例えば27MHz)を行い、ホワイトバランス処理部153でホワイトバランス処理がなされ、AGC154でAGC処理後、フリーズ動作を行うフリーズ部155に入力される。フリーズ動作を行うための操作キー(以下フリーズキーという)も、操作デバイスに割り当て可能である。一例を以下に示す。
・キーボード14上のフリーズキー入力時は、同期式または調歩同期式シリアルデータにて制御回路67内のシリアルインターフェース回路SIO1(250)に入力され、CPUI/F回路252を経由してCPU74に送られる。CPU74は受信したデータより、スイッチ部3に割り当てられたフリーズスイッチのONを判別する。
・フットスイッチ311上のフリーズキー入力時は、制御回路67内のパラレルインターフェース回路PIO251に入力され、CPUI/F回路252を経由してCPU74に送られる。CPU74は受信したデータより、スイッチ部3に割り当てられたフリーズスイッチのONを判別する。
・フロントパネル69上のフリーズキー入力時は、パラシリ回路2(70)に入力され、同期式または調歩同期式シリアルデータに変換された後、制御回路67内のシリパラ変換回路253にてパラレルデータに変換され、CPUI/F回路252を経由してCPU74に送られる。CPU74は受信したデータより、スイッチ部3に割り当てられたフリーズスイッチのONを判別する。
・操作スイッチ部3上のフリーズキー入力時は、信号線4bを経由してパラシリ回路64に入力され、同期式または調歩同期式シリアルデータに変換された後、絶縁回路54を通り、制御回路67内のシリパラ変換回路253にてパラレルデータに変換後、CPUI/F回路252を経由してCPU74に送られる。CPU74は受信したデータより、スイッチ部3に割り当てられたフリーズスイッチのONを判別する。
CPU74はフリーズスイッチのONを検出後、バス接続されているCPUI/F(158)を経由してフリーズ部155を制御し、メモリ1(56)にフリーズ画像又はプリフリーズ画像を格納する。
フリーズ部155から出力された内視鏡画像は、セレクタ1(156)を経由して、映像処理回路2(57)に入力される。映像処理回路2(57)内では、色調回路160にてR又はBの色調を調整し、γ補正部161でγ補正後、拡大・強調・同時化回路163及びメモリ2(58)にて、内視鏡画像の拡大・縮小処理、輪郭強調・構造強調などの強調処理、(図示しない)マルチプレクサによりRGB画像をR,G,Bフレームごとに順次書き込むことによる同時化処理を行う。同時化処理後の内視鏡画像は、合成処理回路(102)内の文字・マスク・画像合成回路171にて、
・グラフィック処理回路1(103)で作製されたマスク信号による、内視鏡画像の8角形マスク処理、
・グラフィック処理回路1(103)とメモリ3(104)とテーブル1(170)により作成された内視鏡関連情報の合成、
・内視鏡合成画像を格納する画像キャプチャー部(168)とメモリ5(108)、
・画像キャプチャー部から出力された画像の合成を行う。
内視鏡合成画像は、再び映像処理回路2(57)にてセレクタ2(166)を経由してD/A(59)及びデジタルエンコーダー(62)に出力される。カラーバー回路164はカラーバーもしくは、50%白信号を生成する回路であり、セレクタ2(166)で選択された場合に出力される。
セレクタ2(166)はBUF1(78),CPUI/F(209)を経由してCPU74により制御可能であり、操作デバイスに割り当てられた切替スイッチにより選択される(操作デバイスによる操作入力の詳細は前記フリーズキー入力時の動作と同じ)。
パラメータメモリ1(114)には、AGC154用テーブル、γ161用テーブル、色調160の色調テーブル、拡大・強調・同時化163用拡大係数、強調係数、レベル調整などのパラメータデータが格納されており、パラメータメモリ制御1,2(150,165)によりパラメータデータが書き込み・読み出しされると共に、AGC154、γ161、拡大・強調・同時化回路163、色調160に設定される。
なお、パラメータメモリ制御1,2(150,165)がパラメータメモリ1(114)からパラメータデータを読み出すタイミングは、同期信号VD1,HD1により作成され、読み出し処理が150,165で衝突しないようになっている。
セレクタ1(156)は、オプション基板検知117の信号レベルにより選択される。オプション基板116装着時は、基板検知117はグラウンドに接続される為、信号レベルは“L”レベルとなる。オプション基板検知回路の信号は、セレクタ1(156)にSECECT信号として入力され、セレクタ1(156)が、オプション基板116上の映像処理回路3出力になるように選択する。
一方、オプション基板116未装着時は、基板検知117はプルアップされた信号レベル“H”になり、信号レベル“H”を検出したセレクタ1(156)は、フリーズ回路155の出力になるように選択する。なお、セレクタ1(156)の制御は、オプション基板検知117で直接制御する他、制御回路67内のパラレルインターフェース回路PIO251、CPUI/F回路252を経由してCPU74が検出後、BUF1,CPUI/F(158)を経由して制御しても良い。
オプション基板116装着時には、フリーズ回路155の出力は、映像処理回路3(89)内の画像処理回路202及びパラメータメモリ2(88)にてIHb色彩強調などの強調処理が行われる(詳細は特許文献4の参照の事)。その後、映像処理回路1(55)のセレクタ1(156)に入力される。
また、映像処理回路2(57)のγ回路161の出力は、周波数変換回路3(115)にて周波数変換(例えば74MHz)した後、拡大縮小回路204にて内視鏡画像の拡大、縮小処理後、強調回路206にて輪郭強調、構造強調、動画色ずれ補正などの強調処理を行い、同時化回路208+メモリ6(101)にて、(図示しない)マルチプレクサによりRGB画像をR,G,Bフレームごとに順次書き込むことによる同時化処理を行う。
パラメータメモリ3(95)には、拡大縮小回路204用拡大係数、強調回路206用強調係数、レベル調整などのパラメータデータが格納されており、パラメータメモリ制御4(218)によりパラメータデータが書き込み・読み出しされると共に、拡大・拡大縮小回路204、強調回路206などに設定される。
その後、文字・マスク・画像合成回路211にて、
・内視鏡画像のマスク処理、
・CPU74から、BUF2(79),CPUI/F209を経由して入力された内視鏡関連情報は、グラフィック処理回路2(212)とメモリ7(111)とテーブル2(214)により文字化又はグラフィック化されるが、その作成された文字又はグラフィックを合成する。
・内視鏡合成画像を格納する画像キャプチャー部215とメモリ9(113)から出力された画像の合成、
・内視鏡画像からインデックス画像の作成及びインデックス画像の格納を行うインデックス画像作成部(213)とメモリ8(112)より出力された画像の合成を行う。
文字・マスク・画像合成回路211出力後、セレクタ3(217)を経由して、SerialDRV.96及びD/A変換器97に入力される。カラーバー回路216はカラーバーもしくは、50%白信号を生成する回路であり、セレクタ3(217)で選択された場合に出力される。
セレクタ3(217)はBUF2,CPUI/Fを経由してCPU74により制御可能であり、操作デバイスに割り当てられた切替スイッチにより選択される(制御の詳細は前記フリーズキー入力時の動作と同じ)。なお、セレクト3(217)とセレクタ2(166)の切り替えスイッチは、操作デバイス上の同一のスイッチでもよい。
メモリ1(56)、メモリ2(58)、メモリ3(104)、メモリ4(107)、メモリ5(108)、メモリ6(101)、メモリ7(111)、メモリ8(112)、メモリ9(113)、パラメータメモリ1(114)、パラメータメモリ2(88)、パラメータメモリ3(95)、RAM76,BACKUPRAM77プログラムROM82、ログデータ格納ROM82のインターフェースはノイズの影響を受けないようシリアルインターフェースにしても良く、高速化を図るためパラレルインターフェースにしても良い。
制御回路67では以下の処理を行う。
・操作スイッチ部3から信号線4bを経由してパラシリ回路64に入力され、同期式または調歩同期式シリアルデータに変換された後、絶縁回路54を通り、制御回路67内のシリパラ変換回路253にてパラレルデータに変換後、CPUI/F回路252を経由してバス接続されているCPU74に送られる。CPU74は受信したデータより、スイッチ部3に割り当てられた機能のON/OFFを判別する。
・フロントパネル69に割り当てられた設定キーの操作を、パラシリ回路2(70)、制御回路67内のシリパラ変換回路253にてパラレルデータに変換後、CPUI/F回路252を経由してバス接続されているCPU74に送られる。CPU74は受信したデータより、フロントパネル69に割り当てられた機能のON/OFFを判別する。
・CPU9からのデータ信号を、信号線11a,コネクタ15,ケーブル32,コネクタ31,信号線11B,絶縁回路54を経由し、SIO1(250)に接続され、CPUI/F7(252)を経由してCPU74に送受信される。
・キーボード14やフットスイッチ311に割り当てられた設定キーの操作をPIO251やSIO250を経由してバス接続されているCPU74に送られる。CPU74は受信したデータより、キーボード14やフットスイッチ311に割り当てられた機能のONを判別する。
・CPU74,BUF1,PIO251やSIO250を経由して、周辺機器の制御を行う。
・オプション基板検知回路117の信号レベルをPIO251,CPUI/F7(252),BUF1を経由してCPU74が検知する。
・光源の種類の検知する信号29bが、コネクタ26,ケーブル34,コネクタ33を経由して、PIO251に接続され、CPUI/F7(252)を経由してCPU74に送受信される。
・CPU74,BUF1,PIO251を経由して調整回路60,98に接続され、内視鏡合成画像、映像信号の信号レベルの調整を行う。
・CPU74,BUF1,PIO251を経由して画像合成回路301,351に接続さて、画像合成処理のON/OFF処理を行う。
・CPU74,BUF1,PIO251を経由してブザー71の制御を行う。
図8は、映像+合成処理回路(93)の詳細動作を示すブロック図である。CPU74はCPUI/F6(209)を経由して、文字,グラフィック,アローカーソル,カーソルなどのグラフィックデータを作成するようにグラフィック処理回路212及びメモリ7(111)を制御する。
図9は、テーブル2(214)の概要を示す。垂直同期信号VD3,水平同期信号HD3,ODD/EVEN判別信号ODD3に同期して出力されるグラフィックデータは、テーブル2(214)により、図9に示すようにRGB信号に変換される。テーブル出力の色なし補正とは、合成回路268,273での合成処理に使用し、ONの場合は内視鏡画像を選択・出力し、OFFの場合はグラフィックデータを選択・出力するように制御する為のデータである。
テーブル2(214)出力は合成回路268に入力され、テーブル2(214)出力であるグラフィックデータの内、アローカーソルのみを内視鏡画像と合成する。グラフィックデータからアローカーソルのみを選択する方法は、選択するためのマスクデータをグラフィック処理回路212側で作成し、グラフィックデータと同様に出力しても良く、又はアローカーソルに特定の表示色を使用し、その表示色のみ選択するようにしても良い。
カウンタ生成回路271は、垂直同期信号VD3,水平同期信号HD3,ODD/EVEN判別信号ODD3,及び(図示しない)同期クロック(例えば74MHz)により、水平方向カウンタ及び垂直方向カウンタを作成し、マスク処理263,266、メモリ制御272、マスク信号生成267、メモリ制御262、画像移動用メモリ265などに供給する。
水平方向カウンタは、同期クロックの立ち上がりごとにカウントアップし、HD3の開始時(例えば立下り時)にリセットされる。垂直方向カウンタは、HD3の開始(例えば立下り)毎にカウントアップし、VD3の開始時(例えば立下り時)にリセットされ、ODD/EVEN信号より奇数フィールドか偶数フィールドかを判別し、垂直方向カウンタを設定する(ODD/EVEN信号を最下位BITにしてもよく、又はODD時+VD3の開始時にのみリセットを行うなどしてもよい。)。
合成後の画像は、縮小処理回路269によって縮小され、メモリ制御回路272が双方向バッファ270、メモリ8(112)を制御することにより、縮小画像を格納する。縮小処理回路269の縮小率は、内視鏡1(もしくはCCD2)の種類、又は操作デバイスに割り当てられた画像サイズ、又はモニタ353などへの画面アスペクト比によって変更する(詳細は、図20,図21参照)。
メモリ8(112)は、EEPROM、又はFLASH ROM、FRAM,FeRAM,MRAM,OUM,SRAM,SDRAM,EDORAM,DRAM,RDRAMなどで構成され、メモリ制御272はメモリに合わせた制御を行う。例えば、SDRAMの場合は、AUTO REFRESH,MODE REGISTER SET,ROW ACTIVE,WRITE,READ,WRITEA,READA,PRECHARGEなどの制御を行う。
縮小画像を格納後、メモリ制御回路272が双方向バッファ270、メモリ8(112)を制御することにより、メモリ8(112)に格納された縮小画像を読み出し、マスク処理回路(266)で縮小画像のマスク処理後、合成処理回路273に入力される。
一方、内視鏡画像はマスク信号生成回路267,マスク処理回路264にてマスク処理を行った後、画像移動用メモリ265(FIFO,ラインメモリ,フィールドメモリ,フレームメモリなど)にて水平方向や垂直方向への画像位置移動を行い、合成処理回路273に入力する。
位置移動は、画面アスペクト比によって異なる(詳細は表2の項目HDTV参照)。合成処理回路273では、内視鏡画像、グラフィックデータを合成すると共に、合成した内視鏡合成画像を画像キャプチャー部215に出力する。画像キャプチャー部215内のメモリ制御262及びメモリ9(113)にて内視鏡合成画像の書き込み、読み出し処理を行う。
図10は、プロセッサ13の各回路に割り当てられたアドレスマップを示す。CPU74は、図10に基づき各回路を制御する。
図11〜図14は、プロセッサ13の各設定を行う為に、モニタ304,353や周辺機器に出力されるシステム設定画面を示す。システム設定画面は、CPU74の制御によりグラフィック処理回路1(103),メモリ3(104),グラフィック処理回路2(212),メモリ7(111)にて生成されるものである。
操作デバイスに割り当てられたシステム設定画面表示キーにより設定画面が表示され、カーソル移動キー(例えば、キーボード14の↑↓キー(544))により項目が選択されると、選択された項目及び文字の表示色が変化し、選択変更キー(例えば、キーボード14の←→キー(544))、選択確定キー(例えばキーボード14のENTERキー(542))や文字・数字入力キー(例えばキーボード14の文字「Y」キー(532))により選択項目の変更や確定を行い、ページ切替キー(例えばキーボード14のFN(536)+↑↓キー(544))により設定画面のページ切替えを行う。
システム設定画面下部には、選択された各項目に関するHELP情報が表示される。各項目の詳細は以下表1〜表5の通りである。
なお、システム設定画面の一部の項目は、保守管理用のみに使用するために、容易に見ることができないように「周辺機器と接続するプロセッサ13側のコネクタに、保守管理用キーを接続時のみ表示可能とする。」としても良い。
図15,図16は、プロセッサ13を使用するユーザーごとに設定可能な項目をまとめたユーザー設定画面を示す。ユーザー設定画面も、CPU74の制御によりグラフィック処理回路1(103),メモリ3(104),グラフィック処理回路2(212),メモリ7(111)にて生成されるものである。操作デバイスに割り当てられたユーザー設定画面表示キーによりまずユーザーリスト画面が表示される(図15)。
図15のユーザーリスト画面にて、操作デバイスに割り当てられたカーソル移動キー(例えば、キーボード14の↑↓キー)により項目が選択され、選択された項目及び文字の表示色が変化する(例えば、文字が緑色になる。)。
また、ページ切替キー(例えばキーボード14のFn+↑↓キー)によりリストのスクロールが行われる。
○リストからユーザー名が入力済みのユーザー項目を選択時
・選択確定キー(例えばキーボード14のENTERキー)を入力すると、“Call/Edit”選択ボタンが表示される。選択変更キー(例えば、キーボード14の←→キー)にて、
・Callを確定:該当ユーザー設定をLOAD/設定後、観察画面(内視鏡合成画像表示画面)へ移行
・Editを確定:該当ユーザー設定をLOAD後、ユーザー設定画面へ移行
・DELキー入力
・該当ユーザー設定を削除し、no dataと表示する
○ユーザー名未入力(no data)のユーザー項目を選択時
・選択確定キー(例えばキーボード14のENTERキー)を入力すると、ユーザー設定画面へ移行
図16のユーザー設定画面では、図11〜14の設定画面と同じ動作にて設定を行う。詳細は表6の通り。
なお、設定画面及びユーザーリスト画面、ユーザー設定画面で設定された設定情報は、BACKUP RAM77又はプログラムROM83に格納され、プロセッサ13が電源OFFになった場合でも保存されるようにしている。
これより電源ONする度に、再設定を行う必要はない。また、システム設定画面、ユーザー設定画面の設定項目は、周辺機器側からSIO250,PIO251を経由して、設定読み出し、設定変更可能とする。
図17(図17A,図17B,図17C,図17D,図17E,図17F−1,図17F−2,図17G,図17H,図17I,図17J,図17K,図17L,図17M,図17N,図17O,図17P,図17R)は、図10のアドレスマップ内の各レジスタの詳細を示す。
図18は、MONITの設定の一例を示す図である。
図19は、HMONITの設定の一例を示す図である。
図20は、インデックス関連レジスタredの設定例(画面アスペクト比4:3,16:9設定時)を示す。
図21は、インデックス関連レジスタredの設定例(画面アスペクト比5:4設定時)を示す。図21、図22において、スコープ(CCD)とは、内視鏡1のことを指し、ここではSCOPE1,SCOPE2,SCOPE3の3種類の内視鏡がある。また、画像サイズにはMEDIUM、SEMI−FULL,FULLの3形態があり、画像サイズの関係は、MEDIUM<SEMI−FULL<FULLとなっている。同図のように、内視鏡の種類に応じて各インデックス画像のサイズが設定されている。
図22は、インデックス関連レジスタ(表示モード4:3設定、インデックス画像4駒時)を示す。
図23は、インデックス関連レジスタ(表示モード16:9設定、インデックス画像4駒時)を示す。
図24は、インデックス関連レジスタ(表示モード4:3設定、インデックス画像1駒時)を示す図である。
図25は、インデックス関連レジスタ、インデックス一覧表示時、表示モード4:3設定(表示モード5:4、16:9時には、値が異なる)を示す。
さて、ここで、本実施形態におけるインデックス画像について説明する。本実施形態におけるインデックス画像とは、内視鏡にて撮影されている画像を、ユーザの操作によって所定のタイミングの画像を記録し、それを縮小させた画像のことをいう。それでは、以下に本実施形態におけるインデックス画像の制御について述べる。
図26(図26−1〜図26−3)は、本実施形態における画面(アスペクト比4:3)に表示されるインデックス画像(4駒表示)を示す。同図において、例えば図26−3(e)をみてみると、表示画面中の領域1001に内視鏡で撮影した画像が映し出される。その領域1001の下部に4つの領域1002があるが、ここにインデックス画像が表示される。また、画面の左端には被験者である患者の氏名や性別、生年月日等の患者情報や、担当医名、内視鏡の製造番号等、その他の情報が表示されている。これらについては、後述する。それでは、同図について説明する。
まず、インデックス画像取得前は、インデックス画像はないので未表示である(図26−1(a))。そして、インデックス画像を取得すると、領域1001の下部に取得したインデックス画像が表示され(図26−1(b))、取得のたびにインデックス画像は追加されていく(図26−2(c),図26−2(d),図26−3(e))。なお、これらのインデックス画像の取得については後述する。
そして、さらにインデックス画像を取得すると、画面にはインデックス画像が4つまでしか表示できないので、左端のインデックス画像(1)は画面上から消え、それ以外のインデックス画像は1つ左へ移動し、左端に最新のインデックス画像(5)が表示される(図26−3(f))。
図27(図27−1,図27−2)は、本実施形態における画面(アスペクト比4:3)に表示されるインデックス画像(1駒表示)を示す。同図において、図26と異なるのは、インデックス画像が1画面しか表示できないことである。この場合、表示画面の左下の領域1002にインデックス画像が1画像表示され、領域1001の下部には、図26の左端に表示されていた様々な情報のうちの一部、例えば内視鏡の製造番号等の内視鏡に関する情報等が表示される。これらについては、後述する。それでは、同図について説明する。
まず、インデックス画像取得前は、インデックス画像はないので未表示である(図27−1(a))。そして、インデックス画像を取得すると、領域1002に取得したインデックス画像が表示され(図27−1(b))、さらにインデックス画像を取得すると前回のインデックス画像は表示されず、今回取得したインデックス画像が領域1002に表示される(図27−2(c))。
図28(図28A−1,図28A−2,図28B−1,図28B−2)は、本実施形態における画面(アスペクト比16:9)に表示されるインデックス画像(4駒表示)を示す。同図において、例えば図28B−2(f)をみてみると、表示画面中の領域1001に内視鏡で撮影した画像が映し出される。画面の右端に4つの領域1002があるが、ここにインデックス画像が表示される。また、画面の左端には被験者である患者の氏名や性別、生年月日等の患者情報や、担当医名、内視鏡の製造番号等、その他の情報が表示されている。それでは、同図について説明する。
まず、インデックス画像取得前は、インデックス画像はないので未表示である(図28A−1(a))。そして、インデックス画像を取得すると、画面の右端に取得したインデックス画像が表示され(図28A−1(b))、取得のたびにインデックス画像は画面の右端に追加されていく(図28A−2(c),図28B−1(d),図28B−2(e))。なお、これらのインデックス画像の取得については後述する。
そして、さらにインデックス画像を取得すると、画面にはインデックス画像が4つまでしか表示できないので、上方のインデックス画像(1)は画面上から消え、それ以外のインデックス画像は1つ上へ移動し、最下方に最新のインデックス画像(5)が表示される(図26(f))。
図29(図29−1,図29−2)は、本実施形態における画面(アスペクト比16:9)に表示されるインデックス画像(1駒表示)を示す。同図において、図28と異なるのは、インデックス画像が1画面しか表示できないことである。この場合、表示画面の右下の領域1002にインデックス画像が1画像表示される。それでは、同図について説明する。
まず、インデックス画像取得前は、インデックス画像はないので未表示である(図29−1(a))。そして、インデックス画像を取得すると、領域1002に取得したインデックス画像が表示され(図29−1(b))、さらにインデックス画像を取得すると前回のインデックス画像は表示されず、今回取得したインデックス画像が領域1002に表示される(図29−2(c))。
それでは、図26〜図29の動作についてさらに詳述することにする。
図30は、画面アスペクト比4:3,5:4 インデックス4駒時のodisp,sdisp,tdisp,fdispの位置を示す。odisp,sdisp,tdisp,fdispは、図17Oに示すインデックス画像の位置に対応するIndex0レジスタの設定値を表す。
同図では、インデックス画像1002a,1002b,1002c,1002dはそれぞれ、odisp,sdisp,tdisp,fdispに対応する。odisp,sdisp,tdisp,fdispに「1」または「0」を設定することで、インデックス画像の表示または非表示を設定している。
図31は、画面アスペクト比4:3,5:4 インデックス1駒時の位置(odispのみ使用)を示す。同図では、インデックス画像は1つしか表示されない(インデックス画像1002a)ので、odispしか使用しない。
図32は、画面アスペクト比16:9 インデックス4駒時のodisp,sdisp,tdisp,fdispの位置を示す。同図において、odisp,sdisp,tdisp,fdispはそれぞれ、インデックス画像1002a,1002b,1002c,1002dに対応している。
図33は、画面アスペクト比16:9インデックス1駒時の位置(fdispのみ使用)を示す。同図では、インデックス画像は1つしか表示されない(インデックス画像1002d)ので、odispしか使用しない。
図34は、インデックス一覧画面での位置(adispのみ使用)を示す。本実施形態において、インデックス画像のみを一覧表示させることもでき、そのときに用いるIndex0レジスタの設定値を表す。同図では、adispに「1」または「0」を設定することで、インデックス画像一覧の表示または非表示を設定している。
図35は、画面アスペクト比4:3,5:4 インデックス4駒時(odisp,sdisp,tdisp,fdispOFF時)の表示状態を示す。図30では、odisp,sdisp,tdisp,fdispそれぞれに「1」を設定して4つのインデックス画像(1002a,1002b,1002c,1002d)を表示させているのに対して、図35では、odisp,sdisp,tdisp,fdispそれぞれに「0」を設定して4つのインデックス画像(1002a,1002b,1002c,1002d)を非表示にしている。
図36は、画面アスペクト比4:3,5:4 インデックス1駒時(odisp OFF時)の表示状態を示す。図31では、odispに「1」を設定してインデックス画像1002aを表示させているのに対して、図36では、odispに「0」を設定してインデックス画像1002aを非表示にしている。
図37は、画面アスペクト比16:9 インデックス4駒時(odisp,sdisp,tdisp,fdispOFF時)の表示状態を示す。図32では、odisp,sdisp,tdisp,fdispそれぞれに「1」を設定して4つのインデックス画像(1002a,1002b,1002c,1002d)を表示させているのに対して、図37では、odisp,sdisp,tdisp,fdispそれぞれに「0」を設定して4つのインデックス画像(1002a,1002b,1002c,1002d)を非表示にしている。
図38は、画面アスペクト比16:9インデックス1駒時(fdisp OFF時)の表示状態を示す。図33では、fdispに「1」を設定してインデックス画像1002dを表示させているのに対して、図38では、fdispに「0」を設定してインデックス画像1002dを非表示にしている。
それでは、次に内視鏡合成画像の記録時のフローを示す。
図39は、内視鏡合成画像のフリーズ動作のフローを示す。フリーズ動作とは、内視鏡で撮影された映像を静止させる動作のことをいい、記録はされない。前に記載したように、CPU74が操作デバイスに割り当てられたフリーズ(FREEZE)機能を有するスイッチのONを検知した場合は(S1)、映像処理回路55のCPUI/F158のレジスタFREEZE,OPFREZEにある、FREEZ,OPFRZビットをONする(S2)。
FREEZ,OPFRZビットは垂直同期信号VD1に同期してラッチされた後、フリーズ回路155、メモリ1(56)を制御すると共にフリーズ信号173,174として映像処理回路57や映像+合成処理93に出力され、拡大・強調・同時化回路163、メモリ2(58)、同時化回路208、メモリ6(101)を制御することにより、フリーズ処理が行われる。
システム設定画面の項目Freeze ModeにてPre−Freezeのレベルが1以上の時は、フリーズ機能はプリフリーズ処理となり(S3)、一定時間(例えばVD1間の時間を1Vとした場合に8V分)Wait処理を行って上記回路のプリフリーズ処理が完了するまでWaitする(S4)。
(プリフリーズ処理:FREEZ,OPFRZビットのONを前記各回路が受信したタイミングの直前の一定の検索期間の画像の中から、最も色ずれに少ない画像を自動的に選択してフリーズする。設定画面のPre−Freezeのレベルを大きくすると前記検索期間の範囲が長くなるため、選択できる画像の数が多くなる。詳細は、特許文献5参照)。
ユーザー設定画面の項目IHBのIHB_aveがONの場合は(S6)、画像処理回路202が演算した、ユーザー設定画面の項目IHBのIHBAreaで設定した領域のIHB値の平均値をCPUI/F4(203)のレジスタIHB_VALU(図17J参照)経由でREADし、グラフィック回路1(103)、グラフィック処理回路2(212)により、表示情報の制御を行い(S7)、表示が確定するまでWaitした後(例えばVD1間の時間を1Vとした場合に2V分)(S8)、フリーズフローを終了する(S9)。
設定画面の項目Freeze ModeにてPre−Freezeのレベルが0の時は、項目Freezeで設定したフリーズ時間内にフリーズ処理が完了するようにポストフリーズ処理を行う(S5)。
(ポストフリーズ処理:FREEZ,OPFRZビットのONを前記各回路が受信したタイミングの直後から、設定画面の項目Freezeで設定した検索期間の中で最も少ない画像を自動的に選択してフリーズする。)
なお、本フローには図示しないが、CPU74が操作デバイスに割り当てられたフリーズ(FREEZE)機能を有するスイッチのOFFを検知した場合は、映像処理回路55のCPUI/F158のレジスタFREEZE,OPFREZEにある、FREEZ,OPFRZビットをOFFし、垂直同期信号VD1に同期してラッチされた後、フリーズ回路155、メモリ1(56)を制御すると共にフリーズ信号173,174として映像処理回路57や映像+合成処理93に出力され、拡大・強調・同時化回路163、メモリ2(58)、同時化回路208、メモリ6(101)を制御することにより、フリーズ解除処理が行われる。
なお、フリーズのON,OFFは、操作デバイス上にそれぞれ専用のスイッチを設けてもよく、または同一スイッチのトグル(押す毎にON→OFF→ON→・・・のように切り替える)動作であってもよい。
図40(図40A,図40B)は、周辺機器の内、写真撮影装置307,356、ファイリング装置308,357への記録動作(レリーズ)を示すフローである。レリーズ動作は、フリーズ動作と異なり、画像記録動作を伴う。(システム設定画面の項目「Index record」でReleaseを選択した場合の動作を示す。)
前に記載したように、CPU74が操作デバイスに割り当てられた、レリーズ(RELEASE)機能などの記録指示を行うスイッチのONを検知した場合は(S11)、まず内視鏡画像がフリーズされていない場合は(S12)、映像処理回路55のCPUI/F158のレジスタFREEZE,OPFREZEにある、FREEZ,OPFRZ,RELSE,OPRLEビットをONする(S13)。
FREEZ,OPFRZ,RELSE,OPRLEビットは垂直同期信号VD1に同期してラッチされた後、フリーズ回路155、メモリ1(56)を制御すると共にフリーズ信号173,174として映像処理回路57や映像+合成処理93に出力され、拡大・強調・同時化回路163、メモリ2(58)、同時化回路208、メモリ6(101)を制御することにより、フリーズ処理が行われる。
設定画面の項目FreezeModeにてPre−Freezeのレベルが1以上の時は、フリーズ機能はプリフリーズ処理となり(S14)、一定時間(例えばVD1間の時間を1Vとした場合に8V分)Wait処理を行って上記回路のプリフリーズ処理が完了するまでWaitする(S15)。
ユーザー設定画面の項目IHBのIHB_aveがONの場合は(S17)、画像処理回路202が演算した、ユーザー設定画面の項目IHBのIHBAreaで設定した領域のIHB値の平均値をCPUI/F4(203)のレジスタIHB_VALU経由でREADし、グラフィック回路1(103)、グラフィック処理回路2(212)により、表示情報の制御を行う(S18)。
設定画面の項目Freeze ModeにてPre−Freezeのレベルが0の時は、項目Freezeで設定したフリーズ時間内にフリーズ処理が完了するようにポストフリーズ処理を行う(S16)。
(なお、S15,S16のWaitには、プリフリーズ処理の他、IHB値平均値演算時間、Waitで使用するタイマの誤差も含まれている。)
一方、内視鏡画像がフリーズされている場合は(S12)、もともとFREEZ,OPFRZビットはON状態の為、RELSE,OPRLEビットのみをONし、垂直同期信号VD1に同期してラッチされた後、フリーズ回路155、メモリ1(56)、拡大・強調・同時化回路163、メモリ2(58)、同時化回路208、メモリ6(101)に記録指示信号のみを送信する(S83)。その後、インデックス処理を行う(S19)。
図41は、インデックス処理(S19)の詳細フローを示す。映像+合成処理93のCPUI/F209のレジスタIndex0のビットcpmod=“00”にして、メモリ8(112)のREAD,WRITE処理を行わないようにメモリ制御回路312、双方向バッファ310を制御する(メモリ112がSDRAMの場合は、WRITE,READ,WRITEA,READAコマンドを実行しない。他のコマンドは実行する。)
また、adisp,odisp,sdisp,tdisp,fdisp,=‘0’にして、インデックス画像の表示をOFFにする(図35〜図38参照)(S32)。S32の設定が確実に行われるまで、一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitして(S33)、インデックス画像をメモリ8(112)にWRITE(格納)する処理を行う(S34)。
図42に、インデックス画像WRITE処理(S34)の詳細フローを示す。レジスタIndex0のビットcpmod=“10”にして、メモリ8(112)のWRITE処理を行うようにメモリ制御回路312、双方向バッファ310を制御し(メモリ112がSDRAMの場合は、例えばWRITE,WRITEAコマンドを実行する。)、縮小処理回路309で縮小された内視鏡画像がメモリ8(112)にWRITEされる(S51)。
CPUI/F209のレジスタwstartv,wstarth,wendv,wendh(以下インデックスWRITE用レジスタという)は、縮小処理回路309にて縮小処理される内視鏡画像の範囲を示し、前記指定された範囲において、縮小処理及びメモリ8(112)へのWRITE処理が行われる(図43,図44参照)。
インデックスWRITE用レジスタは、内視鏡1の種類、画像サイズ、画面アスペクト比、インデックス画像の駒数によって設定値が異なる。一例を図22〜図24に示す。
縮小処理の縮小率は、CPUI/F209のレジスタIndex0のビットred2−0で設定され縮小処理回路309を制御するが、内視鏡1の種類、画像サイズ、画面アスペクト比によって設定値が異なる。一例を図20,図21に示す。
図45は、メモリ8(112)のメモリ構成の一例を示す。一例では2Mword×16bit×4BANK構成のSDRAMを2つ使用して1ドット当り最大32bitの映像データを格納できるようにしている。映像データは、R,G,Bそれぞれ10bitずつ格納するようにしても良く。残っているbitにはインデックス画像をマスクするマスク信号を格納しても良い。
横方向、縦方向のアドレスは、それぞれメモリのCOLUMN ADRESS,ROW ADRESSを示し、BANKごとにインデックス画像を格納することで制御を容易に行えるようにしている。POSITION[0〜63]は、格納されているインデックス画像の位置を示し、本実施例では、最大64枚のインデックス画像を格納できる。
また、CPUI/F209のレジスタIndex1のビットWPOSI(図17O参照)を設定することで、メモリ8(112)内のWRITEするPOSITIONを決定する。設定画面やユーザー設定画面など、内視鏡画像以外が表示されている場合は(S52)、CPUI/F209のレジスタIndex0のビットdwmsk=‘1’(図17N参照)に設定し(S54)、合成回路308にて内視鏡画像のマスク処理をONして、縮小処理回路309に固定値(例えばALL“0”)を出力して、システム設定画面やユーザー設定画面などの縮小画像がメモリ8(112)にWRITEされないようにする。
内視鏡画像が表示された場合は(S52)、dwmsk=‘0’のとして(S53)、内視鏡画像のマスク処理をOFFする。メモリ8(112)に確実に1フレーム分の縮小画像をWRITEするよう、一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に3V分)Waitする(S55)。
CPUI/F209のレジスタIndex0のビットcpmod=“00”、adisp,odisp,sdisp,tdisp,fdisp,=‘0’にして、インデックス画像の表示をOFFにし(図41のS35)、S35の設定が確実に行われるまで一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitした後(S36)、インデックス画像READ処理を行う(S37)。
図46は、インデックス画像READ処理(図41のS37)の詳細フローを示す。設定画面のIndex Delete設定がOFFの場合は(S58)、CPUI/F209のレジスタIndex0のビットcpmod=“01”,adisp=‘0’,odisp,sdisp,tdisp,fdispを設定、レジスタIndex3,Index4のビットioposi5−0,isposi5−0,itposi5−0,ifposi5−0を設定して、メモリ8(112)のREAD処理を行うようにメモリ制御回路312、双方向バッファ310を制御し(メモリ112がSDRAMの場合は、例えばREAD、READAコマンドを実行する。)、メモリ8(112)に格納された内視鏡画像をREADし、双方向バッファ310を経由してマスク処理回路306にてインデックスのマスク処理を行った後、合成処理回路313にてインデックス画像が合成される(S59)。
設定画面のIndex Delete設定がONの場合は、このタイミングではcpmodの設定を行わない。
CPUI/F209のレジスタrstarth,rstarth2,rstarth3,rstarth4,rstartv,rstartv2,rstartv3,rstartv4はメモリ8(112)からREADした縮小画像を表示する位置(図43,図44参照)、rareav,rareahはメモリ112の各ポジションの左上部を基点((x,y)=(0,0))とした場合の各ポジションからデータをREADする範囲(図47参照)を示し(以下インデックスREAD用レジスタという)、その設定に基づいてメモリ制御回路312,双方向バッファ310,メモリ112を制御する。
これらのレジスタは内視鏡1の種類,画像サイズ,画面アスペクト比,インデックス画像の駒数によって設定値が異なる。一例を図22〜図24に示す。また、CPUI/F209のレジスタwmskx0,wmsky0,wmskx1,wmsky1,wmsktはメモリ112の各ポジションの左上部を基点((x,y)=(0,0))とした場合のマスク処理回路306のマスク範囲(図47参照)を示す(以下、インデックスマスクレジスタという)。
レジスタは、内視鏡1の種類、画面アスペクト比によって設定値(すなわちマスク範囲)が異なる(一例を図22〜図24に示す)。ただし、同じ内視鏡1の場合には、画像サイズが変わってもマスク範囲は変わらないように制御しなければならない。よって、同じ内視鏡1の場合には、インデックスマスクレジスタの値は固定とし、インデックスREAD用レジスタ、インデックスWRITEレジスタ、ビットredの値を変更することで対応する(本実施例では、画像サイズごとにインデックスWRITEレジスタ及びビットredを変更することで対応している)。
図41において、CPUI/F209のレジスタIndex1のビットWPOSIを設定し、次の記録指示時にメモリ112にWRITEするポジションを決定する。WPOSI=63のときは(S38),WPOSI=0を設定し(S39)、それ以外はWPOSIの値をインクリメント(+1)する(S40)。
その後、記録を開始してから記録終了指示(電源OFF、操作デバイス上の検査終了キーなど)が行われるまでの記録指示回数Zを確認し(S41)、40回以上のときは(S42)、CPUI/F209のレジスタIndex2のCaps=Z−40,Capn=Z−1(S43)、40回未満の時はCaps=0,Capn=Z−1を設定し(S44)、インデックス一覧表示を行った場合のインデックス画像の表示駒数を設定する。
その後、周辺機器へ記録指示信号ONを送る(図40BのS20)(例えば、レジスタREMOTOUTPのRMOSCV0,RMODF0,RMOSCV1,RMODF1ビットのON,VTR_232C,VTR2_232C,DF_232C,DF2_232C,SCV_232C,SCV2_232Cへ記録指示コマンドの設定など)(なお、S20の動作は、S19の処理途中で出力するよう制御しても良い。)。
その後、設定画面のRelease Timeで設定された時間Waitし、Release TimeのHDTVの設定時間が終了した場合は(S22),S18で設定したIHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路212を制御し(S23)、ビットOPFRZ,OPRLEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV1,RMODF1ビットのOFFして周辺機器の記録信号をOFFする(S24)。
その後SDTVの設定時間が終了した場合は(S25)、IHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路103を制御し(S26)、ビットFREEZ,RELSEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV0,RMODF0ビットのOFFして周辺機器の記録信号をOFFする(S27)。
Release TimeのHDTVの設定時間が未終了の場合は(S22)、SDTVの設定時間が終了した場合は(S80)、IHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路103を制御し(S81)、ビットFREEZ,RELSEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV0,RMODF0ビットのOFFして周辺機器の記録信号をOFFし(S82)、再度HDTVの設定時間の確認を行う。その後、インデックス処理2を行う(S28)。
図48は、インデックス処理2(S28)の詳細フローを示す。まず、CPUI/F209のレジスタIndex3,Index4のビットioposi5−0,isposi5−0,itposi5−0,ifposi5−0を+1する(S201)。また、ioposi5−0,isposi5−0,itposi5−0,ifposi5−0のうちいずれか=63の場合は(S205)、+1せず0を設定する(S206)。
設定画面のIndex Delete設定がONの場合は(S202)、CPUI/F209のレジスタIndex0のビットcpmod=“01”,adisp=‘0’,odisp,sdisp,tdisp,fdispを設定、レジスタIndex3,Index4のビットioposi5−0,isposi5−0,itposi5−0,ifposi5−0を設定して、メモリ8(112)のREAD処理を行うようにメモリ制御回路312、双方向バッファ310を制御し(メモリ112がSDRAMの場合は、例えばREAD,READAコマンドを実行する。)、メモリ8(112)に格納された内視鏡画像をREADし、双方向バッファ310を経由してマスク処理回路306にてインデックスのマスク処理を行った後、合成処理回路313にてインデックス画像が合成される(S203)。
S59,S203の設定より、Index Delete設定がONの場合は、周辺機器へ記録中はインデックス画像が表示されず、その結果記録画像にインデックス画像が表示されない。ユーザーは、Index Delete設定のON/OFF設定を行うことにより容易に記録画像へのインデックス画像の追加/削除を行うことができる。
図49は、画像サイズの変更のフローを示す。同図では、まず、マスク変更の指示がされたか否かを判断する(S61)。変更指示が無ければ、本フローは終了する。変更指示が合った場合、拡大方向へのマスクサイズを変更か否かが判断される(S62)。拡大方向へのマスクサイズの変更の場合SIZSEL,HSIZSELを変更して画像サイズを切り替える(S63)。一定時間(3V分)Waitした後(S65)、HDマスク設定を行う(S66)。その後、SDマスク設定(SMSKSEL)を行い(S68)、本フローは終了する。
また、縮小方向へのマスクサイズの変更の場合、HDマスク設定を行い(S64)、SDマスク設定(SMSKSEL)を行い(S67)、一定時間(3V分)Waitした後(S69)、SIZSEL,HSIZSELを変更して画像サイズを切り替える(S70)。拡大縮小でマスク処理のタイミングが異なるのは、画像の端に生じるノイズの影響を少なくするためである。
図50は、図49のHDマスクサイズ設定処理のフローを示す。まず、HMKON=‘1’(図17O参照)とし(S71)、HMSKX0,HMSKX1,HMSKY0,HMSKY1,HMSKT0,HMSKT1を設定する(S72)(HMSKX0,HMSKX1,HMSKY0,HMSKY1,HMSKT0,HMSKT1については、図17参照)。次に、HMKON=‘0’とし(S73)、本フローが終了する(S74)。
図51(図51A,図51B)は、周辺機器の内、プリンタ306,355への記録動作を示すフローである(システム設定画面の項目「Index record」でCaptureを選択した場合の動作を示す。)。CPU74が操作デバイスに割り当てられた、CAPTURE機能(例えばフロントパネル69の「Print」キー、又はキーボード14のCAPキーなど)などの記録指示を行うスイッチのONを検知した場合に記録動作を行う(S111)。
S112〜S119は、図40のS12〜S19と同様に行う。その後、周辺機器へ記録指示信号ONを送る(S120)(例えば、レジスタREMOTOUTPのRMOCVP0,RMOCVP1,CVP_232C,CVP2_232Cへ記録指示コマンドの設定など)。
その後、プリンタ355からキャプチャ終了の指示が受信された場合は(S122)、S118で設定したIHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路212を制御し(S123)、ビットOPFRZ,OPRLEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV1,RMODF1ビットのOFFして周辺機器の記録信号をOFFする(S124)。
プリンタ306からキャプチャ終了の指示が受信された場合は(S125)、IHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路103を制御し(S126)、ビットFREEZ,RELSEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV0,RMODF0ビットのOFFして周辺機器の記録信号をOFFする(S127)。
プリンタ355からキャプチャ終了の指示が受信されない場合(S122)、プリンタ306からキャプチャ終了の指示が受信された場合は(S180)、IHB_VALUの値を消去して空欄もしくはハイフン(−)を表示するようにグラフィック回路103を制御し(S181)、ビットFREEZ,RELSEをOFFしてフリーズ,レリーズを解除し、レジスタREMOTOUTPのRMOSCV0,RMODF0ビットのOFFして周辺機器の記録信号をOFFし(S182)、再度プリンタ355からキャプチャ終了の指示の確認を行う。
S122,S125,S180のキャプチャ終了確認は、一定期間のみ行うようにし、一定期間内に処理が完了しない場合は、タイムアウトしてエラー処理を行い(周辺機器へのエラー表示、エラーコマンド送信など)、記録動作を終了する。
(なお、キャプチャー終了の指示は、例えばレジスタREMOTINPのRMICVP1,RMICVP0ビットが動作OK又はCVP_232C,CVP2_232Cでキャプチャー完了コマンドの受信など。)
なお、図51のように、プリンタ306,355への記録動作において、フリーズ時(S112でYes)に記録動作があった場合は、S124,S182のFREEZ,OPFRZはONのままにし、フリーズを解除しないようにしてもよく、又、システム設定画面の項目Languageで設定される言語(仕向け地)によってフリーズの解除/解除しない動作を自動的に変更可能であってもよい(例えば、「JP」選択時はフリーズを解除しないようにし、「US」,「GB」,「FR」,「D」選択時はフリーズの解除を行う)。
S128は、S28と同様の処理を行う。なお記録指示回数Zは、写真撮影装置307,356、ファイリング装置308,357への記録動作の場合(S19)と、プリンタ306,355への記録動作(S119)の場合で独立して計数しても良く、S19とS119の係数を合計したものでも良い。
図52は、メモリ8(112)とレジスタIndex0と内視鏡合成画像との関係を示す。なお、図40,図51において、S20やS120,S122,S125,S180の処理時に記録機器から記録エラーコマンド(キャプチャーエラー、プリンタ印刷中も含む)を受信した場合は、その記録動作によるインデックス処理を無効にし、インデックス画像の更新を行わないようにしても良い。
また、システム設定画面の項目「Index record」でRelease+Captureを選択した場合は、図40,図51の記録処理の内共通の処理は、共通して行えるようにし、プログラムの省力化を図っても良い。
図53(図53A,図53B)は、インデックス一覧表示動作のフローチャート図を示す。操作デバイスから画像一覧表示SWの入力があった場合(例えば、図69Cの「SHIFT+SEACH」)(S210)、内視鏡画面が表示されている状態の時は(S211)、CPUI/F209のレジスタHCNTLのビットHCHRONを‘0’に設定し、グラフィック回路103,212を制御して内視鏡関連情報などの文字やグラフィックを消去し、CPUI/F209のレジスタHCNTLのビットHMUTEを‘0’に設定して内視鏡画像の表示をOFFにし、CPUI/F209のレジスタIndex0のビットcpmod=“00”,adisp,odisp,sdisp,tdisp,fdisp=‘0’にして、インデックス画像の表示をOFFにし(S212)、S212の設定が確実に行われるまで一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitする(S213)。
その後、CPUI/F209のレジスタrstarth,rstarth2,rstarth3,rstarth4,rstarth5,rstartv,rstartv2,rstartv3,rstartv4,rareav,rareah,wmskx0,wmsky0,wmskx1,wmsky1,wmsktを設定する(図54参照)。
(内視鏡1の種類、画像サイズ、画面アスペクト比によって設定値が異なる。)(一例を図25に示す)。
また、CPUI/F209のレジスタIndex2のビットcappを“00”を設定し、インデックス一覧表示の1ページ目が表示されるよう設定する(S218)。S218の設定が確実に行われるまで一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitし(S219)、CPUI/F209のレジスタIndex0のビットcpmod=“01”,adisp=‘1’を設定して(S220)、インデックスの一覧表示を行う(S221)。
なお、画像一覧表示SWの入力があった場合にインデックス一覧表示画面が表示されている状態の時は(S211),CPUI/F209のレジスタIndex0のビットcpmod=“00”,adisp,odisp,sdisp,tdisp,fdisp=‘0’にして、インデックス画像の表示をOFFにし(S214)、S214の設定が確実に行われるまで一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitし(S215)、CPUI/F209のレジスタHCNTLのビットHCHRONを‘1’に設定しグラフィック回路103,212を制御して内視鏡関連情報などの文字やグラフィックを表示し、CPUI/F209のレジスタHCNTLのビットHMUTEを‘1’に設定して内視鏡画像の表示をONにし、CPUI/F209のレジスタIndex0のビットcpmod,adisp,odisp,sdisp,tdisp,fdisp,caps,capnをインデックス一覧表示前の内視鏡画像表示時の状態に戻す(S216)。
図52においてレジスタIndex0と内視鏡合成画像との関係を示す。なお、インデックス一覧表示時に、前述したレリーズやキャプチャー動作など記録動作を行うことも可能である。その場合には、レリーズ又はキャプチャーどちらか一方のみ有効にしても良い。
図55(図55A,図55B)は、インデックス一覧表示のページ切り替え動作のフローチャート図を示す。操作デバイスからPAGE切り替えSWの入力があった場合(S225)、CPUI/F209のレジスタIndex0のビットcpmod=“00”,adisp,odisp,sdisp,tdisp,fdisp=‘0’にして、インデックス画像の表示をOFFにし(S226)、S226の設定が確実に行われるまで一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitする(S227)。
CPUI/F209のレジスタIndex2のビットcapp=を“00”ならば(S228)、capp=“01”を設定し、インデックス一覧表示の2ページ目が表示されるよう設定する(S229)。なお、例えば1ページで表示されるインデックス画像の枚数が20枚の場合、記録指示回数Z≦20のときは2ページ目に移行しないように制御する(エラー処理(エラー音 or エラー表示)を行ってもよい)。
なお、2ページ目では、Z<40のときは、Z−20の枚数が表示される。またZ≧40の場合は、S43にてCaps=Z−40,Capn=Z−1の設定がおこなれる為、メモリ112にWriteされた最新の20枚が表示される。CPUI/F209のレジスタIndex2のビットcapp=を“01”ならば(S228)、capp=“00”を設定し、インデックス一覧表示の1ページ目が表示されるよう設定する(S230)。
またZ≧40の場合は、S43にてCaps=Z−40,Capn=Z−1の設定が行われるため、2ページ目に表示された最新の20枚の次の20枚が1ページ目で表示される(S230)。S229又はS230の設定が確実に行われるまで、一定時間(例えば垂直同期信号VD3間の時間を1Vとした場合に1V分)Waitし(S231)、CPUI/F209のレジスタIndex0のビットcpmod=“01”,adisp=‘1’にして、再度インデックス画像を表示する(S232)。
図56,図57は、インデックス一覧の一例を示す(インデックス画像内の数字はZの値を示す。)。図56はZ=15の場合で、1ページのみ表示される。図57はZ=42の場合で、図57(a)が1ページ、図57(b)が2ページ目を示す。Z=42≧40のため、最新の40枚が表示される。
図58は、インデックス画像連続作成の一連の動作を示すフローチャート図を示す。プロセッサ13の電源がON(S240)、プログラムモードが判別され(S400)(詳細は図85のフローチャート参照)、プロセッサ内の各回路の初期化が行われる(S241)。(プロセッサ13の電源がONのまま、内視鏡1が交換された場合は、S400は省略される、S401)
S241で映像+合成処理回路93のCPUI/F(209)の一部は以下のように初期化される。
その後、映像処理回路1(55)のCPUI/F15のレジスタCCDに格納された内視鏡1又はCCD2の種類の情報をCPU74がREADし、内視鏡1又はCCD2の種別を行う(S242)。BACKUP RAM77には、操作デバイス(フロントパネル69、キーボード14他)の設定や、プロセッサ13のプログラムのバージョン、設定画面、ユーザー設定画面で設定された各設定項目が全て格納されており、プロセッサ3の電源OFF時にも保存されている。
ユーザー設定画面のImage Sizeの情報も保存されており、プロセッサ3の電源がON又は内視鏡1の交換時には、そのImage Sizeの一方(例えば左側に固定)をS241で設定する(ImageSizeがMedium←→Fullの設定が保存されていた場合は、左側のMediumを設定する)。
S243ではS241で設定したImageSizeの片側を判別する。その後、内視鏡1又はCCD2の種別、ImageSize、及び設定画面の項目「HDTV:Mon Size」の設定から、レジスタIndex0のビットred、インデックスWRITEレジスタ、インデックスREADレジスタ、インデックスマスクレジスタの設定を行う(S244)。(設定例は図20〜図24参照)。その後、通常処理に入る(S245)。
なお、上記Image Sizeは以下の場合にも、一方(例えば左側に固定)に設定する。
・フロントパネル(69)のRESETスイッチ400を押したRESET処理が行われた場合、
・ユーザー設定画面にて、ImageSizeの変更決定時
図59は、S245の通常処理の一部の処理を示すフローチャート図である。操作デバイスから記録SWが入力され、CPU74が記録SW ONを検知した場合は(S246)、ONの検知毎に、図40,図51の記録動作+インデックス作成を繰り返す(S247)。図26〜図29に、S246,S247動作時の内視鏡画面の表示状態の変化を示す。その際のレジスタの設定の変更状態を以下のとおりである。
なお、システム設定画面の項目HDTVのMon Sizeで異なるアスペクト比が選択、設定完了した直後(例えば、4:3→5:4や5:4→16:9に変更された場合)は、レジスタは以下のように設定し、内視鏡合成画像下のインデックス4駒、1駒及びインデックス一覧のインデックスの表示は消去する。
また、操作デバイス(例えばキーボードの500)にある検査終了キーを押した場合には、レジスタは以下のように設定され、インデックス4駒、1駒は消去されるが、インデックス表示は表示されるようにし、
その後の最初のレリーズ処理時に、インデックス表示レジスタを設定し直すようにする。これより、検査終了キーが押された後でも、インデックス画像の確認を行うことができる。
また、操作デバイスに割り当てられた画像サイズキーにより、画像サイズ変更操作が入力された場合は(S248)、設定画面で設定された画像サイズに変更する(S249)。その際、内視鏡画像がインデックス画像と重なる場合には(S250)、設定されているレジスタ値の内adisp,odisp,sdisp,tdisp,fdispを退避し(S251)、adisp,odisp,sdisp,tdisp,fdisp=‘0’に設定することでインデックス画像を消去する(S252)。
その後、Red,インデックスWRITEレジスタ、インデックスReadレジスタ、インデックスマスクレジスタの設定を行う(S253)。(なお、下記の図60〜図62はS253に限らず、全てのインデックスレジスタ設定時に行うフローである。)
図60は、WRITE用レジスタ設定の処理フローを示す。まず、WPON=‘1’とし(S261)、wstartv,wstarth,wendv,wendhを設定する(S262)(wstartv,wstarth,wendv,wendhについては、図17を参照)。次に、WPON=‘0’とし(S263)、本フローが終了する(S264)。
図61は、READ用レジスタ設定の処理フローを示す。まず、RPON=‘1’とし(S271)、rstarth,rstarth2,rstarth3,rstarth4,rstartv,rstartv2,rstartv3,rstartv4,rareav,rareahを設定する(S272)(rstarth,rstarth2,rstarth3,rstarth4,rstartv,rstartv2,rstartv3,rstartv4,rareav,rareahについては、図17を参照)。次に、RPON=‘0’とし(S273)、本フローが終了する(S274)。
図62は、インデックスマスクレジスタ設定の処理フローを示す。まず、WMSKON=‘1’とし(S281)、wmskx0,wmsky0,wmskx1,wmsky1,wmsktを設定する(S282)(wstartv,wstarth,wendv,wendhについては、図17を参照)。次に、WMSKON=‘0’とし(S283)、本フローが終了する(S284)。
図63は、画面アスペクト比4:3,5:4 インデックス4駒時に内視鏡画像が重なる場合のインデックス画像消去の一例を示す。
一方、画像サイズ変更時に、内視鏡画像がインデックスと重ならない場合は、設定値が退避されている場合には(S254)設定されているadisp,odisp,sdisp,tdisp,fdispを戻す(S255)。
また、内視鏡画像が一部の内視鏡関連情報と重なる場合には(S256)、その情報の表示を消去する(S257)。
図64は、画面アスペクト比4:3,5:4 インデックス1駒時に内視鏡画像が重なる場合の一部の内視鏡関連情報消去の一例を示す。
一方重ならない場合は表示状態とする(S258)
(なお、一部の内視鏡関連情報とは、内視鏡1内のメモリ8から読み出された情報を含む。)。
これより、内視鏡画像の画像サイズを変更した場合に、内視鏡画像がインデックス画像や内視鏡関連情報と重なる場合には、インデックス画像や内視鏡関連情報を消去するようにした為、重なることによる検査や手術への悪影響を防止することが可能となる。
なお、S247のインデックス作成時に設定されるadisp,odisp,sdisp,tdisp,fdispの値は、S251にて退避されている場合には、退避されている値について、更新する。
S250,S256において、インデックス画像や内視鏡関連情報と重なるかの判断は、
・内視鏡画像の座標と、インデックス画像や内視鏡関連情報の座標から演算で求める。
・内視鏡1(又はCCD2)の種類と、画像サイズと、画面アスペクト比から以下のテーブルを用意しても良い。
前記の内視鏡合成画像の記録時のフロー及びインデックス処理により、
・内視鏡1(又はCCD2)の種類によって、内視鏡画像に合わせて、インデックス画像が最適なサイズ、位置になるように制御でき、使用者が観察しやすい画像を提供できる。
・内視鏡画像の画像サイズに合わせて、インデックス画像が最適なサイズ、位置になるように制御ができ、使用者が観察しやすい画像を提供できる。
・同一の内視鏡1(CCD2)においては、画像サイズを変更してもインデックス画像が同一になるように制御も可能であり、画像サイズを変更しても使用者に違和感なく内視鏡画像やインデックス画像を観察できる。
・内視鏡画像がインデックス画像と重なる時は、インデックス画像を消去するようにし、画像が重なることによって使用者が内視鏡画像を観察しにくくなることがなく、検査、診察、手術の効率化が図れる。
・内視鏡画像が内視鏡関連情報と重なる時は、内視鏡関連情報を消去するようにし、画像と重なることによって使用者が内視鏡画像を観察しにくくなることがなく、検査、診察、手術の効率化が図れる。なお、内視鏡関連情報は、内視鏡1内のメモリ8から読み出された情報を含む。
・システム設定画面項目「Index Delete」の設定項目を変更することにより、レリーズやキャプチャーなどの記録動作の際、記録中にインデックス画像の表示、非表示などの制御が可能となる。これより、記録画像には、インデックスが必要である使用者や、インデックス画像が必要でない使用者への対応が可能となり、使用しやすい内視鏡装置や内視鏡システムを提供できる。
・表4Aの設定項目Remote ControlのD.Fで、例えばTYPEBを選択時に自動的に「Index Delete」の設定項目をONに切り替わるように設定してもよい。これより、接続される周辺機器に応じてインデックス画像の表示制御が可能である。
・「Index Delete」の設定は、ファイリング装置308,357、写真撮影装置307,356、記録装置86,87とSIO250やPIO251を経由したシリアルインターフェースやパラレルインターフェースにて設定変更可能であっても良い。これより、インデックス画像の表示制御が周辺機器から制御可能となる(なお、インデックスに限らず、全ての内視鏡関連情報や、各種設定画面の設定、操作デバイスの設定状態の読み出しや変更は(操作キーの無効化含む)、周辺機器によって可能である。)。
・図8で示すように、インデックス画像は特定のグラフィックデータ(例えばアローカーソル)のみ合成可能である為、インデックス画像を生成する際に、アローカーソル(例えば624,624’)以外の内視鏡関連情報(例えば600〜623,600’〜623’やエラーメッセージや図75、図76〜図80のメッセージなど)が内視鏡画像に重なっていてもインデックス画像内には含めない(合成されない)為、使用者に観察しやすいインデックス画像を提供できる。
・インデックス画像は映像+合成処理93のみで作成することにより、合成処理2(99)で出力される内視鏡合成画像にのみ表示してもよく、合成処理回路102でもインデックス画像を生成することにより、合成処理1(61)やデジタルエンコーダ62の内視鏡合成画像にも出力しても良い。
図65は、プロセッサ13とキーボード2(45)と超音波装置358を組み合わせた場合の周辺機器の接続例を示す。キーボード2(45)は、超音波装置358及びプロセッサ13各々とシリアルインターフェースにて接続され、各々の操作制御が可能となっている。
キーボード2(45)の超音波装置358の映像出力とプロセッサ13の出力を切り替えるスイッチを押すごとに、プロセッサ13はSIO250又はPIO251を経由してモニタ353を制御することで、プロセッサ13の出力359と、超音波装置358の映像出力360の映像切り替えを行う(トグル動作となっている)。
図66は、操作デバイスの内、フロントパネル69の一例を示す。
図67(図67A,図67B,図67C−1,図67C−2,図67D,図67E,図67F−1,図67F−2)は、図66のフロントパネル69の各スイッチの機能を示す。
フロントパネル69(図66参照)のIMAGE SOURCE(408〜411)のキー入力と、キーボード2(45)の超音波装置358の映像出力とプロセッサ13の出力の切り替えるスイッチが行われた場合の、映像出力とフロントパネルのLED表示の例を以下に示す(番号は、動作手順を示す。1→2→3→4→5の順に動作を行っている)。
図68は、操作デバイスの内、キーボード14,キーボード2(45)の一例を示す。
図69(図69A,図69B,図69C,図69D,図69E,図69F,図69G)は、図68のキーボード14,キーボード2(45)の各キーの機能を示す。
図70(図70−1,図70−2,図70−3)は、HDTVにおける映像+合成処理(93)出力によって制御された内視鏡画像でのストップウォッチを示す。図70−1(a)の状態でストップウォッチキーを押下すると、画面左の空いている領域にストップウォッチの表示が行われ、ストップウォッチがスタートする(図70−1(b))。さらに、ストップウォッチキーを押下すると、ストップウォッチは一時停止する(図70−2(c))。
図70−2(c)の状態でシフトキーを押下しながら、ストップウォッチキーを押下すると、ストップウォッチが再開し(図70−3(e))、ストップウォッチキーを押下すると、再度一時停止する(図70−3(c))。また、図70−2(c)の状態でストップウォッチキーを押下すると、ストップウォッチが終了し、画面上からストップウォッチの表示が消える(図70−2(d))。
図71は、SDTVにおける映像処理2(57)出力によって制御された内視鏡画像でのストップウォッチを示す。図71(a)の状態でストップウォッチキーを押下すると、画面左の時刻表示がストップウォッチ表示に切り替わり、ストップウォッチがスタートする(図71b)。さらに、ストップウォッチキーを押下すると、ストップウォッチは一時停止する(図71(c))。
図71(c)の状態でシフトキーを押下しながら、ストップウォッチキーを押下すると、ストップウォッチが再開し(図71(e))、ストップウォッチキーを押下すると、再度一時停止する(図71(c))。また、図71(c)の状態でストップウォッチキーを押下すると、ストップウォッチが終了し、ストップウォッチ表示が時刻表示に切り替わる(図71(d))。なお、図70,図71の動作は、同一のストップウォッチキーにより動作してもよい。
図72(図72−1,図72−2)は、HDTVにおける映像+合成処理(93)出力によって制御された内視鏡画像でのREMOVE DATAを示す。同図は、REMOVE DATAキーを押下するごとに画面上に表される内視鏡関連情報を段階的に消去する様子を示す。内視鏡関連情報については、図74で説明する。
図72−1(a)は、内視鏡関連情報が全表示されている状態であり、REMOVE DATAキーを押下すると、内視鏡関連情報の一部が消去される(図72−1(b)省略表示1)。さらにREMOVE DATAキーを押下すると、さらに内視鏡関連情報の一部が消去される(図72−2(c)省略表示2)。さらにREMOVE DATAキーを押下すると、画面上に表示されている全ての内視鏡関連情報が消去される(図72−2(d)全消去)。
図73は、SDTVにおける映像処理2(57)出力によって制御された内視鏡画像でのREMOVE DATAを示す。図73(a)は、内視鏡関連情報が全表示されている状態(ストップウォッチ動作時)であり、REMOVE DATAキーを押下すると、内視鏡関連情報の一部が消去される(図73(b)省略表示1(ストップウォッチ動作時))。
さらにREMOVE DATAキーを押下すると、さらに内視鏡関連情報の一部が消去される(図73(c)省略表示2(ストップウォッチ動作時))。なお、図73(c−1)は、ストップウォッチ動作時の省略表示2である。さらにREMOVE DATAキーを押下すると、画面上に表示されている全ての内視鏡関連情報が消去される(図73(d)全消去)。
図74(図74A,図74B,図74C)は、本実施形態における内視鏡合成画像表示画面に表示される内視鏡関連情報(一部)の一例を示す。
図75は、内視鏡関連情報の一部を一定期間表示する例を示す。同図は、例えば、通常表示されない内視鏡関連情報の一部を操作デバイス(例えば、図69FのSCOPE INFO(504))のキー操作により、インデックス画像表示領域にオーバーレイ表示させている。このようにすることにより、表示頻度の少ない所定の内視鏡関連情報を容易に参照することができる。
また、上述したように、図72,図73では、内視鏡関連情報を、専用の表示制御スイッチ(例えばキーボード14のREMOVE DATAキー528)により表示制御可能である(内視鏡関連情報は内視鏡1内のメモリ8に格納されている情報も含む)。
また、映像+合成処理93で合成する内視鏡関連情報と、合成処理回路102で合成する内視鏡関連情報を別々に表示できる(例えば619〜621は映像+合成処理93のみ常時表示している。)。複数の画像出力の、画質や表示範囲に応じて、各々内視鏡関連情報の表示内容を制御(表示、非表示の選択)を行うことが可能であり、使用者は用途に応じて最適な出力を選択可能である。
さて、次は、所定の処理中である旨や、所定の設定がされているか否かの旨のメッセージを画面上に表示させることについて説明する。特に、ホワイトバランス処理設定がされているか否かを検知し、その旨をメッセージとして画面に表示させる。以下にその一例を示す。なお、以下で記載されている「WB」とは、ホワイトバランスの略である。
図76は、インデックス一覧表示中であることを示すメッセージ表示の一例を示す。同図において、インデックス一覧表示中である旨を示すメッセージ「Index Display」が表示されている(この表示は、インデックスが合成されない合成処理回路102のみを表示することにより、ユーザーにインデックス一覧表示中であることを知らせるものである)。
図77は、ホワイトバランス処理が未設定であることを通知するメッセージ表示を示す。同図において、ホワイトバランス処理が未設定であるので、ホワイトバランス処理の設定をユーザに促すメッセージ「Please Ajust WB」が表示されている。
図78は、ホワイトバランス処理設定が完了であることを通知するメッセージの一例を示す。同図において、ホワイトバランス処理設定が完了であることを示すメッセージ「WB Ajustment is completed」が表示されている。
図79は、ホワイトバランス処理設定が失敗であることを通知するメッセージの一例を示す。同図において、ホワイトバランス処理設定が失敗である旨を示す「WB Ajustment error」が表示されている。
図80は、内視鏡1、光源17のプログラムのバージョン及び通信結果を表示するメッセージの一例を示す。
それでは、これらを処理について以下に詳述する。
図81(図81A,図81B)及び図82は、ホワイトバランス処理の動作フローチャート図を示す。図81は、図58のフローの初期化処理(図58のS241)の内、ホワイトバランス処理に関するの部分を示すフローチャートである。CPU74は、制御回路67のPIO251を経由して29bの信号レベルを検知し、プロセッサ13に接続される光源の種類を識別する。
信号レベルが“Hi”の場合は、通信機能を有さない光源17a(図1B参照)と判別し(S301)、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S315)。フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S316)。
なお、「Please Ajust WB」を表示は、フロントパネル69のホワイトバランススイッチ(404)が入力され、ホワイトバランス処理が完了し、ホワイトバランス完了メッセージ(「WB Ajustment is completed!」)が表示されるまで表示しつづける。信号レベルが“Low”の場合は、通信機能を有する光源17と判別し(S301)、SIO250を経由してシリアルインターフェースの信号線のうちDSRを検知する。
光源17の電源がONである場合は、光源側で前記DSRをONにする為、DSRがONであると判別した場合は、光源17との通信処理を開始する(S302)。最初に光源17のメモリ23に格納されている光源17のシリアルナンバーをREADし(S303)、内視鏡1内のメモリ8にそのシリアルナンバーと対応しているホワイトバランスデータがあるか検索し、対応するホワイトバランスデータがあった場合は、そのホワイトバランスデータをREADする。
なかった場合は、ホワイトバランスデータがないこと示すコマンドがREADされる(S306)。対応するホワイトバランスデータがあった場合は(S321)、READしたホワイトバランスデータから、G/R,G/Bなどの係数値を求め、映像処理1内のW/B回路153にて、自動的にホワイトバランス処理を行い(S308)、フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「COMP.」を灯し、ホワイトバランス処理が設定完了であることを表示し(S309)、(内視鏡合成画像表示画面へのメッセージ「WB Ajustment is completed!」は表示しない)かつ、BACKUP RAM77にホワイトバランスデータを格納する(S310)。
その後、光源17のメモリ23に格納されたその他の光源情報(ソフトウェア及びハードウェアのバージョン、故障状態など)もREADする(S311)。なお、READするホワイトバランスデータは、CCD2から読み出した複数の水平(又は垂直)ライン信号ごとのR,G,Bの平均値、又は複数の水平(又は垂直)ライン信号ごとのG/R,B/Rの係数値であってもよい。
CCD2から読み出した複数の水平(又は垂直)ライン信号ごとのR,G,Bの平均値の場合は、メモリ8に格納するデータ量削減の為、複数の内1つの水平ライン信号のR,G,B平均値及び他の水平ラインのG平均値のみを格納し、S308で演算を行うことで全てのG/R,B/Rの係数値を求めるように処理を行っても良い。(後述するW/B回路153のホワイトバランス処理の(8)の処理で、表21の太枠のデータ)
対応するホワイトバランスデータがなかった場合は(S321)、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S319)。フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S320)。
DSRがoffの場合は、光源の電源がOFFであるため、光源17との通信処理を行わず(S302)、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S319)。
フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S320)。
S311の後、内視鏡1内のメモリ8にある、その他の内視鏡関連情報をREADする。なお、光源17,内視鏡1への通信処理を行う際、通信が正常に受信できたか判断し(S305,S307,S322)、正常に受信できなかった場合はリトライ処理を行う(S304,S313,S323)。
リトライ回数は、通信する装置、通信タイミングによって変更する(1回以上)。設定したリトライ回数を行っても正常に受信できなかった場合は、通信エラーとして異常終了する。S304,S313で異常終了した場合は、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S315,S319)。
フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S316,S320)。
図82は、プロセッサが電源ONして通常処理中(図58のS245)、光源の電源がONになり、通信線のDSRがONの割り込み処理が入った場合のホワイトバランス処理のフローチャート図を示す。同図は、WBキーを押下した場合の動作を示す。DSR ON割り込みはレベル割り込みでもトリガ割り込みであっても良い。
割り込み時(S330)、光源17との通信処理を開始する(S331)。最初に光源17のメモリ23に格納されている光源17のシリアルナンバーをREADし(S331)、内視鏡1内のメモリ8にそのシリアルナンバーと対応しているホワイトバランスデータがあるか検索し、対応するホワイトバランスデータがあった場合は、そのホワイトバランスデータをREADする。
対応するホワイトバランスデータがなかった場合は、ホワイトバランスデータがないこと示すコマンドがREADされる(S334)。対応するホワイトバランスデータがあった場合は(S348)、READしたホワイトバランスデータから、G/R,G/Bの係数値を求め、映像処理1内のW/B回路153にて、自動的にホワイトバランス処理を行い(S336)、フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「COMP.」を点灯し、ホワイトバランス処理が設定完了であることを表示する(S337)。(内視鏡合成画像表示画面へのメッセージ「WB Ajustment is completed!」は表示しない。)
その際、内視鏡観察画像(内視鏡合成画像表示画面)に「Please Ajust WB」を表示されている場合は、自動的に表示を消去する。また、BACKUP RAM77にホワイトバランスデータを格納する(S338)。その後、光源17のメモリ23に格納されたその他の光源情報(ソフトウェア及びハードウェアのバージョン、故障状態など)もREADする(S339)。
対応するホワイトバランスデータがなかった場合は(S348)、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S344)。
フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S345)。なお、光源17、内視鏡1への通信処理を行う際、通信が正常に受信できたか判断し(S333,S335,S346)、正常に受信できなかった場合はリトライ処理を行う(S332,S341,S347)。
リトライ回数は、通信する装置、通信タイミングによって変更する(1回以上)。設定したリトライ回数を行っても正常に受信できなかった場合は、通信エラーとして異常終了する。S332,S341で異常終了した場合は、BACKUP RAM77に格納されているホワイトバランスデータを使用して、映像処理1内のW/B回路153にてホワイトバランス処理を行う(S342,S344)。
フロントパネル69のホワイトバランススイッチ(404)の上部にあるLED「INC.」を点灯し、システム設定画面のWB Message項目「ON」のときは、内視鏡合成画像表示画面に「Please Ajust WB」を表示し、ホワイトバランス処理が未設定であることを表示する(S343,S345)。
なお、内視鏡1がプロセッサ13に接続されていない場合は、内視鏡合成画像表示画面に「Please Ajust WB」を表示しない。また、プロセッサ13と通信機能を有さない内視鏡も存在する。その場合は、S307,S313,S315・・・のフローになる。信号線29bの信号レベルがLOWでかつDSR=OFFの場合に、フロントパネル69のホワイトバランススイッチ(404)を押した場合は、光源17の電源がOFFであると判断し、ブザー71によるエラーブザー音(例えば中音の短い連続音)を鳴らすか、内視鏡合成画像表示画面にエラーメッセージを表示することにより、光源17の電源をONするよう指示する。
信号線29bの信号レベルがHIの場合は、ブザー71によるエラーブザー音(例えば中音の短い連続音、)、内視鏡合成画像表示画面にエラーメッセージは行わないようにする。
次に、操作デバイスのWBスイッチ(例えばフロントパネル69のWHITE BAL.(404))が押された場合の、映像処理1(55)内のW/B回路153のホワイトバランス処理の詳細を説明する。手順は以下の通りである(内視鏡1のCCD2に白の指標を撮像し、RGB入力信号が同じ信号レベルである条件時で行う)。
(1)WBスイッチ押された後、一定時間1 WAITする(Ext. 0.5秒)。
(2)レジスタWHT_ONのWH_ONに‘1’をセットする。
(3)複数の水平(垂直)ラインごとのR,G,B信号の平均値(レジスタAVE_RAL,AVE_RAH,AVE_RBL,AVE_RBH,AVE_RCL,AVE_RCH,AVE_RDL、AVE_RDH,AVE_GAL,AVE_GAH,AVE_GBL,AVE_GBH,AVE_GCL,AVE_GCH,AVE_GDL,AVE_GDH,AVE_BAL,AVE_BAH,AVE_BBL,AVE_BBH,AVE_BCL,AVE_BCH,AVE_BDL,AVE_BDH,図17参照)をREAD
(4) WHT_ONのWH_ONに‘0’をセット
(5) 一定期間 WAIT(Ex、垂直同期信号VD1で3V WAIT(面順次式の為、R,G,Bの平均値の更新まで待つ))
(6) 上記(2)〜(4)を繰り返す。
(7) 上記(5)(6)を繰り返す(例えば、4回繰り返す)。
(8) (1)〜(7)で取得した各ラインごとの複数のR,G,B平均値データについて、平均値を取る(下表参照)。
(9)太枠で囲まれたデータより補正係数(レジスタWB_ARH,WB_ARL,WB_AGH,WB_AGL,WB_ABH,WB_ABL,WB_BRH,WB_BRL,WB_BGH,WB_BGL,WB_BBH,WB_BBL,WB_CRH,WB_CRL,WB_CGH,WB_CGL,WB_CBH,WB_CBL,WB_DRH,WB_DRL,WB_DGH,WB_DGL,WB_DBH,WB_DBL,図17参照)を求める。これより、補正後の出力がAVE_GAH&AVE_GALと同じになるように補正する。
(10)上記(9)の補正係数データをWB回路153に設定する。
(i)レジスタWB_BUFのBUFONを1にセット。
(ii)(9)の係数をレジスタ((WB_ARH,WB_ARL,WB_AGH,
WB_AGL,WB_ABH,WB_ABL,WB_BRH,WB_BRL,WB_BGH,WB_BGL,WB_BBH,WB_BBL,WB_CRH,WB_CRL,WB_CGH,WB_CGL,WB_CBH,WB_CBL,WB_DRH,WB_DRL,WB_DGH,WB_DGL,WB_DBH,WB_DBL)にWRITE。
(iii)レジスタWB_BUFのBUFONを0にセット。
(11)R,G,B信号の平均値、補正係数データをBACKUP RAM77に格納する。
(12)上記(8)の太枠のデータを内視鏡1のメモリ8を記憶する。その際、プロセッサ13に接続されている光源17のシリアルナンバーに対応付けて記憶する。
なお、図81,図82のホワイトバランス設定時において、S306,S334の内視鏡1内のメモリ8からREADするホワイトバランスデータは、格納するデータを少なくする為に前記(8)の太枠のデータをREADし、演算して得られた補正係数をWB回路153に設定する。
また、演算した補正係数データがオーバーフローしたら、ホワイトバランススイッチ上部の「INC」LEDを5秒間点滅後、「INC」LED点灯。このとき、エラー音(ブザー71の音(例えば短い高音を一定期間繰り返す))を鳴らす。また、内視鏡合成画像表示画面に「WB Ajustment error!」を一定期間表示(Ex.5秒)する。
なお、ホワイトバランスの平均値、ホワイトバランス係数は、図14の項目「WB」のように表示する(図14:ホワイトバランスの平均値は前記(8)の太枠の値を表示している。)
前記ホワイトバランス処理により、
・ホワイトバランスの設定状態を操作デバイス(例えばフロントパネル69のWHITE BAL.(404)の上部にあるINC,COMPのLED)や内視鏡合成画像上に表示可能となり(図77〜図79)、またはブザー71による音にて知らせることも可能である為、使用者がホワイトバランスの取り忘れがあっても、容易かつ瞬時に気づくことができ、検査や手術に支障が生じない。
・また、複数の光源(17,17a)に対応して、ホワイトバランスの制御が行える為、光源の種類に関係なくプロセッサを組み合わせることができ、使用者の機器の選択範囲も広がり、かつ使用しやすい内視鏡装置や内視鏡システムを提供できる。
・光源17が電源OFFである場合には、ホワイトバランス処理の際に、エラーを内視鏡合成画像上に表示、またはブザー71で音にて知らせることで、光源17の電源ONできるよう使用者に指示でき、かつ正しくホワイトバランス処理が行えるようにできるため、使用者に最適な内視鏡画像を提供できる。
図83は、画面アスペクト比16:9表示時の,画面表示方法の別の実施例を示す。
・観察画像(内視鏡合成画像表示画面)の左右(もしくは、どちらか一方に)に操作デバイスの機能を表示し、操作デバイス上のカーソルキーや決定キーを使用することにより、観察画面(内視鏡合成画像表示画面)上からでも機能を行うことができる。
・システム設定画面、ユーザー設定画面で設定した項目の表示
・プロセッサ13、光源17、内視鏡1のプログラムのバージョン表示を行うことができる。表示内容は、ユーザーが任意に選択できるようにしても良い。なお、インデックス画像と内視鏡関連情報が重なる箇所(399)においては、インデックス画像が優先されて内視鏡関連情報は隠れるよう表示しても良く、操作デバイス上にどちらを優先するか選択するキーを設けても良く、ユーザー設定画面などに選択項目を用意しても良い。
図84は、プロセッサ13のプログラム、FPGAデータ、パラメータのバージョンアップ例を示す。プロセッサ13を接続される周辺機器(例えば、ファイリング装置)のケーブルやコネクタを利用し、パソコンなどのVerUP機器450を接続し、SIO250を経由してシリアルインターフェースを使用してバージョンアップを行う。
操作デバイスの特定キーの同時押し(例えばフロントパネル69上の特定の1つ以上のキーの同時押し)をしながらプロセッサ13の電源をONすることによって、プロセッサのソフトウェアがVerUPモードで起動する(図85参照)。
VerUP機器450上のソフトウェアより以下のデータのVerUP,READ,WRITE,Verify、更新を行うことが可能である。
・プログラムROM83に格納されるプロセッサ13のプログラム
・各コンフィグレーションメモリに格納されるコンフィグレーションデータ
・パラメータメモリに格納されるパラメータ
・BACKUPRAMに格納される設定データ
・ETHERNETの物理アドレスなお、コンフィグレーションデータ、パラメータデータのバージョンアップの際は、
(1)アドレスデコーダー80内のレジスタBANKSLのビットBNK3−0でコンフィグレーションICを選択を行い、コンフィグレーションデータは、その後
(2)選択したコンフィグレーションICのレジスタMEMOKのビットCMON=‘1’を設定
(3)選択したコンフィグレーションICに接続しているコンフィグレーションメモリへ書き込み処理の手順で行う(レジスタについては、図17R参照)。
なお、プログラムROM83、各コンフィグレーションメモリ、各パラメータメモリはEEPROM、FLASH ROM,FRAM,FeRAM,MRAM,OUM、バッテリー付きSRAMであってもよく、パラレルインターフェース、シリアルインターフェースどちらでもよい。
なお、プロセッサ13のプログラムのバージョンアップ後、再度プロセッサの電源をONすると、プログラムROM83に格納された新しいプログラムのバージョン情報と、BACKUPRAM77に格納されたバージョンアップ前のプログラムのバージョンを比較し、バージョンが異なる場合は、操作デバイス(フロントパネル69、キーボード14他)の設定や、設定画面、ユーザー設定画面で設定された各設定項目を工場出荷値に自動的に設定するようにし、VerUPによるプログラムの誤動作を回避するようにしても良い。
図85は、プログラムモード判別(S400)の詳細を示すフローチャート図である。プロセッサ13の電源オン時には、各コンフィグレーションICのCPU I/FのレジスタMEMOKのビットCMSL、CONは‘0’にプリセットされる為、各ブロックのFPGAは各コンフィグレーションメモリ内のVerUP用コンフィグレーションメモリ領域(アドレス領域H‘09C00000〜H’09FFFFFF)を使用して、コンフィグレーションが自動的に行われる(S402)。(図17RのレジスタBANKSLを設定することで各コンフィグレーションICのレジスタ(MEMOK)にRead/Writeの設定が可能となる。)
コンフィグレーションが正常に完了後(S403)、操作デバイスの特定キーの同時押し(例えばフロントパネル69上の特定の1つ以上のキーの同時押し)を検知された場合は、プロセッサ13のプログラムをVerUPモードで動作するようにする(S404,S403)。S403のコンフィグレーションが正常に完了したかの確認方法は、全てのFPGAのコンフィグレーションの完了を確認する為に、
(1)アドレスデコーダー80内のレジスタBANKSLのビットBNK3−0でコンフィグレーションICを選択
(2)選択したコンフィグレーションICのレジスタMEMOKのビットCOK=‘1’を確認
(3)全てのコンフィグレーションICで確認の手順で行う。S403でコンフィグレーションが正常に完了しているかを確認することで、例えば制御回路67上で動作するSIO250,PIO251が動作可能かを確認でき、よって操作デバイスの検知が可能となる。S402より、プロセッサ13のプログラムがVerUPモードで動作するときは、VerUP用コンフィグレーションメモリでコンフィグレーションを行われる。
そのため、VerUPモードでコンフィグレーションデータのバージョンアップに失敗し、誤ったデータが通常用コンフィグレーションメモリに格納された場合でも、VerUPモードではVerUP用コンフィグレーションメモリに格納された正しいデータでコンフィグレーションされる為、VerUPモード時には、各FPGAの正常動作を確認できる。
(例えば、コンフィグレーションメモリ4の通常使用時のコンフィグレーションデータのVerUPの失敗すると、次回のコンフィグレーション時には、通常使用時のコンフィグレーションデータを使ったコンフィグレーションは正常に完了せず、制御回路67内のSIO250が動作しない。そのため、SIO250を経由したバージョンアップを行うことができない。しかし、Verupモード時には、Verup用コンフィグレーションデータが使用されるため、再度、制御回路67内のSIO250を経由してバージョンアップを行うことが可能となる。)
一方、操作デバイスからの特定キーの入力がない場合は、通常使用であると判断され(S404)、各コンフィグレーションICのレジスタMEMOKのCONを‘1’にセットして、コンフィグレーション処理をOFFし(S406)、CMSL=‘1’にすることで、各コンフィグレーションメモリ内の通常コンフィグレーションメモリ領域(アドレス領域H‘09800000〜H’09BFFFFF)を使用して、コンフィグレーションを行えるよう設定した後(S407)、CON=‘0’にして再コンフィグレーションを行う。
コンフィグレーションが正常に完了後、初期化処理(S241)へ移行する。なお、S402〜S403の処理は、一部のコンフィグレーションメモリのみ(例えばコンフィグレーションメモリ4のみ)VerUP用コンフィグレーションメモリを用意することにより、起動時間の短縮化、メモリ容量の削減を行っても良い。
なお、本システムは、面順次式、同時式にかかわらず適応できる。また、図80に示すように、操作デバイス上の1つ以上のキーを同時に押すことにより、
・内視鏡1のプログラムのバージョン
・光源17のプログラムのバージョン
・内視鏡1とプロセッサ13の通信結果
・光源17とプロセッサ17の通信結果
・光源17の状態エラーの表示(例えば、ターレットエラー、RGBユニットエラー、RGBフィルタ(19,20)エラー、オンドスイッチエラー、イグニッションエラー、ランプテントウセズ、スペアランプヘンコウ)を一定期間、表示するメッセージを用意しても良い。
以上述べたように本発明によれば、
・内視鏡1(又はCCD2)の種類によって、内視鏡画像に合わせて、インデックス画像が最適なサイズ、位置になるように制御でき、使用者が観察しやすい画像を提供できる。
・内視鏡画像の画像サイズに合わせて、インデックス画像が最適なサイズ、位置になるように制御ができ、使用者が観察しやすい画像を提供できる。
・同一の内視鏡1(CCD2)においては、画像サイズを変更しても、インデックス画像が同一になるように制御も可能であり、画像サイズを変更しても使用者に違和感なく内視鏡画像やインデックス画像を観察できる。
・内視鏡画像がインデックス画像と重なる時は、インデックス画像を消去するようにし、画像が重なることによって使用者が内視鏡画像を観察しにくくなることがなく、検査、診察、手術の効率化が図れる。
・内視鏡画像が内視鏡関連情報と重なる時は、内視鏡関連情報を消去するようにし、画像と重なることによって使用者が内視鏡画像を観察しにくくなることがなく、検査、診察、手術の効率化が図れる。なお、内視鏡関連情報は、内視鏡1内のメモリ8から読み出された情報を含む。
・システム設定画面項目「Index Delete」の設定項目を変更することにより、レリーズやキャプチャーなどの記録動作の際、記録中にインデックス画像の表示、非表示などの制御が可能となる。これより、記録画像には、インデックスが必要である使用者や、インデックス画像が必要でない使用者への対応が可能となり、使用しやすい内視鏡装置や内視鏡システムを提供できる。
・表4Aの、設定項目Remote ControlのD.Fで例えばTYPEBを選択時に、自動的に「Index Delete」の設定項目をONに切り替わるように設定してもよい。これより、接続される周辺機器に応じて、インデックス画像の表示制御が可能である。
・「Index Delete」の設定は、ファイリング装置308,357,写真撮影装置307,356、記録装置86,87とSIO250やPIO251を経由したシリアルインターフェースやパラレルインターフェースにて設定変更可能であっても良い。これより、インデックス画像の表示制御が周辺機器から制御可能となる(なお、インデックスに限らず、全ての内視鏡関連情報や、各種設定画面の設定、操作デバイスの設定状態の読み出しや変更は(操作キーの無効化含む)、周辺機器によって可能である。)
・図8で示すように、インデックス画像は、特定のグラフィックデータ(例えばアローカーソル)のみ合成可能である為、インデックス画像を生成する際に、アローカーソル(例えば624,624’)以外の内視鏡関連情報(例えば600〜623,600’〜623’やエラーメッセージや図75,図76〜図80のメッセージなど)が内視鏡画像に重なっていてもインデックス画像内には含めない(合成されない)為、使用者に観察しやすいインデックス画像を提供できる。
インデックス画像は映像+合成処理93のみで作成することにより、合成処理2(99)で出力される内視鏡合成画像にのみ表示してもよく、合成処理回路102でもインデックス画像を生成することにより、合成処理1(61)やデジタルエンコーダ62の内視鏡合成画像にも出力しても良い。
ホワイトバランスの設定状態を操作デバイス(例えばフロントパネル69のWHITE BAL.(404)の上部にあるINC、COMPのLED)や内視鏡合成画像上に表示可能となり(図77〜図79)、またはブザー71による音にて知らせることも可能である為、使用者がホワイトバランスの取り忘れがあっても、容易かつ瞬時に気づくことができ、検査や手術に支障が生じない。
・また、複数の光源(17,17a)に対応して、ホワイトバランスの制御が行える為、光源の種類に関係なくプロセッサを組み合わせることができ、使用者の機器の選択範囲も広がり、かつ使用しやすい内視鏡装置や内視鏡システムを提供できる。
・光源17が電源OFFである場合には、ホワイトバランス処理の際に、エラーを内視鏡合成画像上に表示、またはブザー71で音にて知らせることで、光源17の電源ONできるよう使用者に指示でき、かつ正しくホワイトバランス処理が行えるようにできるため、使用者に最適な内視鏡画像を提供できる
・図72,図73に示すように内視鏡関連情報を、専用の表示制御スイッチ(例えばキーボード14のREMOVE DATAキー528)により表示制御可能である。内視鏡関連情報は内視鏡1内のメモリ8に格納されている情報も含む)
・映像+合成処理93で合成する内視鏡関連情報と、合成処理回路102で合成する内視鏡関連情報を別々に表示できる(例えば619〜621は映像+合成処理93のみ常時表示している)。複数の画像出力の、画質や表示範囲に応じて、各々内視鏡関連情報の表示内容を制御(表示、非表示の選択)を行うことが可能であり、使用者は用途に応じて最適な出力を選択可能である。などの特徴を有する内視鏡装置又は内視鏡システムを提供できる。
次に、プログラム動作のログやメンテナンス情報(履歴情報)、設定情報などを利用したシステムについて説明する。プログラム動作のログやメンテナンス情報は、BACKUPRAM77またはログデータ格納ROM82に格納される。図58において、格納するタイミング及び格納するデータは以下の通りである。
(1)プロセッサ13の電源ON後又は内視鏡1の交換後の初期化処理(図58のS241)時には、以下の情報が格納される。
・各設定画面の設定情報が格納される。この設定情報としては、システム設定画面(図11〜図14、図95)の設定情報、ユーザー設定画面(図16)の設定情報、ユーザーリスト画面(図15)の設定情報、患者データ画面(図98)の設定情報、患者データリスト画面(図97)の設定情報、スコープ情報画面(図107)の設定情報、タイトルスクリーン1〜3(TITLE SCREENキー505入力時に表示される画面)の設定情報、内視鏡合成画像表示画面の設定情報(鉗子情報650,スケール情報651,図75の一定期間表示される情報含む)がある。
・処理時現在の日付、時刻(西暦または和暦)が格納される。
・コンフィグレーションIC内のレジスタ(MEMOK)のコンフィグレーション情報が格納される(図17R参照)。
・周辺機器の(シリアルインターフェース、パラレルインターフェースによる)通信情報(通信の正常/異常終了、通信内容など)が格納される。
・周辺機器から設定された機能の実行情報(シリアルインターフェース、パラレルインターフェース、USB、ETHERNET等を介して制御され、設定される)が格納される。
・図74の内視鏡関連情報が格納される。
・プロセッサ13に設定されている情報(フロントパネル69の設定されているモードやLEDの点灯/消灯、キーボード14、キーボード2(45)にて設定されているモード(CAPSLOCK,INS,(図示しない)カナ入力、ローマ字入力、Shiftキーによる設定を含む)、LEDの点灯/消灯 他)が格納される。
・内視鏡1のメモリ8に格納された情報が格納される。
・光源17内の情報が格納される。
・プロセッサ13の電源ON回数が格納される。
・内視鏡1の接続した(または着脱)回数が格納される。
・プロセッサ13の電源ON通知が格納される。
・プロセッサ13のメッセージ情報が格納される。
・プロセッサ13の構成が格納される(オプション基板116の接続状態)。
(2)画面サイズ(画像サイズ)判別処理後(図58のS243)には、以下の情報が格納される。
・S242に判別された内視鏡1(CCD2)種類が格納される。
・判別された画像サイズが格納される。
・処理時現在の日付、時刻が格納される。
(3)通常処理時(図58のS245)には、以下の(i)〜(vi)のタイミングがあるので、それぞれについて説明する。
(i)内視鏡1のスイッチ部3、又はフロントパネル69、キーボード14、キーボード2(45)、フットスイッチ311など操作デバイスのキー入力時
・キーに割り当てられた機能の実行情報が格納される。
・処理時現在の日付、時刻が格納される。
・RESETスイッチ400キー入力時はRESETされた設定情報が格納される。
・図74の内視鏡関連情報(キーボード14/キーボード2(45)にある、アルファベット、記号、数字、スペース(532,545)で文字情報を入力後、ENTER(542,546)又は矢印キー(544)により情報が確定した場合。)が格納される。
・操作デバイス上の各キーが押された回数が格納される。
・プロセッサ13のメッセージ情報が格納される。
(ii)一定期間ごと(例えば1分間ごと)
・処理時現在の日付、時刻が格納される。
・周辺機器の通信情報(通信の正常/異常終了、通信内容など)が格納される。
・図74の内視鏡関連情報が格納される。
・プロセッサ13に設定されている情報(フロントパネル69の設定されているモードやLEDの点灯/消灯、キーボード14、キーボード2(45)にて設定されているモード(CAPSLOCK、INS、(図示しない)カナ入力、ローマ字入力、Shiftキーによる設定を含む)、LEDの点灯/消灯 他。設定されている時間を計測して格納してもよい。)が格納される。
・内視鏡1のメモリ8に格納された情報が格納される。
・光源17内の情報が格納される。
・プロセッサ13の電源ONされている時間を計測して格納される。
・周辺機器の接続状況が格納される。
・プロセッサ13の構成が格納される(オプション基板116の接続状態)。
・プロセッサ13のメッセージ情報が格納される。
・各設定画面の設定情報が格納される。
(iii)上記(i)のキー入力に連動して通信が行われた場合、もしくは周辺機器から通信コマンドを受信した場合、周辺機器の通信情報(通信の正常/異常終了、通信内容など。)が格納される。
(iv)上記(i)のキー入力に連動して通信が行われた場合、もしくは光源17から光源情報に関して通信データを受信した場合、光源17内の情報が格納される。
(v)エラー情報や異常画像が表示された場合に、操作デバイスの(図示しない)専用キーもしくは複数のキーの同時押しを行なうことにより、内視鏡合成画像表示画面内の情報が記録される(記憶エラー情報や異常画像などの表示画像を格納する。)
(vi)周辺機器から通信コマンドを受信した場合に、周辺機器から設定された機能の実行情報が格納される。
なお、BACKUPRAM77またはログデータ格納ROM82の容量は限られている為、上記データの内、必要な一部の情報のみ格納するようにしても良く、ユーザーが任意に選択できるように、例えばシステム設定画面やユーザー設定画面にて設定できるようにしても良い。また、データの格納タイミングに関しても上記(1)〜(3)の記載に限定するものでなく、またユーザーが任意に選択できるように、例えばシステム設定画面やユーザー設定画面にて設定できるようにしても良い。
図86(図86−01〜図86−41)は、BACKUPRAM77またはログデータ格納ROM82に格納するデータの一部に関し、その格納するときの形式の一例を示す(本形式はASCIIコードを使用した文字列となっているが、最小のデータ量となるように専用のコードや文字列、数字を使用しても良い)。
図87(図87A、図87B)は、本実施形態で格納されるデータ及びタイミングの一例を示す(本実施形態のように、一部のデータのみを格納する他、前記説明した全てのデータについて格納しても良い。また、BACKUPRAM77に格納しても良い)。
図88は、図87のデータ及びタイミングでログデータ格納ROM82へ格納した時の詳細を示す。図88中のH’08800000、H’0880000F、H’08800010、H’08800090、H’0880009F、H’088000A0はメモリのアドレスを示している。図88は、図87のデータを順に格納したものである。このように時系列にデータを格納する事で効率的にデータを格納する事が可能となる。
なお、各データ間に専用のコード(SOI,EOI,STX,ETXなど)を挿入することで、各データ間の区切りを判断できるようにしてもよく、各データについて固定長とすることで、各データ間の区切りを行ってもよい。
図89(図89−01〜図89−08)は、ログデータ格納ROM82への別の格納方法の例を示す。図89では、メモリのアドレスとそのアドレスによって示される領域に格納されるデータを示す。図89のように、操作デバイスなどの設定回数や設定時間、入力回数、電源ON回数、電源ON時間などを格納するようにしても良い(また、この図89の一部のデータのみ格納するようにしても良い。)。
図90(図90A,図90B)は、BACKUPRAM77のログ情報、メンテナンス情報、各設定情報(設定データ)に関するアドレス構成の一例を示す。図90では、メモリのアドレスとそのアドレスによって示される領域に格納される設定データを示す。
なお、BACKUPRAM77またはログデータ格納ROM82への格納方法は、内視鏡1のシリアルナンバー毎、内視鏡1の製品名毎、または内視鏡1の種類(もしくはCCD2の種類)毎に管理してもよい。
BACKUPRAM77またはログデータ格納ROM82に格納されたプログラム動作のログやメンテナンス情報は、CPU74によりREADされ、シリアルインターフェース(ETHERNET、USB等を含む)やパラレルインターフェースにより、周辺機器(特に記録装置86,87,100、ファイリング装置308,357)に出力、表示可能である。
出力時には、周辺機器側もしくはプロセッサ13側にパスワードを設ける事でセキュリティを強化しても良い。また操作デバイスの専用キーを入力した場合のみ出力するようにしても良く、プロセッサ13側の周辺機器接続用コネクタに保守管理用キーを接続した時のみ出力するようにしても良い。
また、BACKUPRAM77またはログデータ格納ROM82に格納されたプログラム動作のログやメンテナンス情報の全て又は一部は、システム設定画面又はユーザー設定画面上にて表示しても良い。なお、プログラム動作のログやメンテナンス情報が、BACKUPRAM77またはログデータ格納ROM82の領域全てに格納された場合は、その旨を知らせる為に、内視鏡合成画像表示画面に表示(例えば「DATA LOG FULL!!」を画面上に表示)してもよく、操作デバイス上のLEDの点滅・点灯を行なっても良い。
また、操作デバイス、又はシステム設定画面、又はユーザー設定画面上にBACKUPRAM77またはログデータ格納ROM82内のプログラム動作のログやメンテナンス情報を消去する手段を設けても良い。
BACKUPRAM77またはログデータ格納ROM82の領域全てに格納された後に、新たにプログラム動作のログやメンテナンス情報が発生した場合は、
・BACKUPRAM77またはログデータ格納ROM82への格納禁止 又は、
・先頭番地(例えばH“08800000)から上書 又は、
・処理時現在の日付、時刻の古いデータの順に上書、又は、
・BACKUPRAM77またはログデータ格納ROM82に格納せず、周辺機器にログやメンテナンス情報を出力し、周辺機器側の格納メモリに格納する
ことを行なっても良い。
また、プログラム動作のログやメンテナンス情報は、前記のようにBACKUPRAM77またはログデータ格納ROM82に格納後に周辺機器に出力する他、BACKUPRAM77またはログデータ格納ROM82に格納せずに出力して周辺機器側の格納用のメモリに格納することにより、プロセッサ13内の処理の高速化を図っても良い。
その際に、周辺機器側は、ログやメンテナンス情報を、内視鏡1のシリアルナンバー毎、内視鏡1の製品名毎、内視鏡1の種類(もしくはCCD2の種類)毎、プロセッサ13のシリアルナンバー毎、又は光源17のシリアルナンバー毎に管理しても良い。
以上のように、プログラム動作のログやメンテナンス情報を格納、出力することで以下の事が可能となる。
・エラー発生時に、早期かつ容易に原因究明及び解析を行なう事ができる。
・ユーザーごとに機能の使用頻度が確認でき、カスタマイズが容易になる。
・周辺機器からの制御状態もわかり、システム全体の動作を早期かつ容易に解析、確認する事ができ、ユーザーに最適なシステムのカスタマイズが可能になる。
図91(図91A,図91B)は、BACKUPRAM77の設定データ(図90)をWRITEするタイミングの一例を示す。図91の番号5のバックアップは、番号3(フロントパネル69、キーボード14、キーボード2(45)の設定情報)のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号5には番号3と同じデータをWRITEする。同様に、
・番号9のバックアップは、番号7のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号9には番号7と同じデータをWRITEする。
・番号13のバックアップは、番号11のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号13には番号11と同じデータをWRITEする。
・番号17のバックアップは、番号15のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号17には番号15と同じデータをWRITEする。
・番号21のバックアップは、番号19のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号21には番号19と同じデータをWRITEする。
・番号25のバックアップは、番号23のデータが正しくないと判定された場合に使用するバックアップ用のデータであり、番号25には番号23と同じデータをWRITEする。(なお、TITLE SCREENキーを押下すると、TITLE SCREEN画面が表示され、その画面上に文字を入力することができる。このキーの目的は、プロセッサ13に接続されている周辺機器がフィルムに画像を撮影している場合、そのフィルムのネガの1枚目にそのフィルムの内容を入力するためである。)
次にBACKUPRAM77内の設定情報(図90)をREAD/設定する方法について図92,図93のフローチャートを用いて説明する。図92は、初期化処理内のBACKUPRAM77のデータ設定のフローチャートを示す。図93は、設定情報の確認の詳細(代表例としてフロントパネル69、キーボード14,キーボード2(45)の設定情報の確認)を示す。なお、図92、図93のフローチャートの処理は、初期化処理(図58のS241)内で行なわれる(プロセッサ13の電源ON時のみ行っても良い。)。
始めにフロントパネル69、キーボード14、キーボード2(45)の設定情報(図91の番号3〜6)の設定を行なう(S2001)。まず、フロントパネル69、キーボード14、キーボード2(45)の設定情報(番号3)をCPU74がREADし(S2101)、READした設定情報からチェックサム(又はCRC(Cyclic Redundancy Check))を作成する(S2102)。
そして、BACKUPRAM77に格納されたチェックサム(又はCRC)(番号4)と一致するか確認し(S2103)、一致した場合は、CPU74はREADした設定情報(番号3)を使って、フロントパネル69、キーボード14、キーボード2(45)の設定を行なう(S2104)。
一致しなかった場合は、フロントパネル69、キーボード14、キーボード2(45)の設定情報(バックアップ)(番号5)をREADし(S2105)、READした設定情報からチェックサム(又はCRC)を作成する(S2106)。そして、BACKUPRAM77に格納されたチェックサム又はCRC(番号6)と一致するか確認し(S2107)、一致した場合は、READした設定情報(番号5)を使って、フロントパネル69、キーボード14、キーボード2(45)の設定を行う(S2108)。
一方、再度一致しなかった場合は、BACKUPRAM77に格納した設定情報が、不正であると判断し、プログラムROM83に格納された工場出荷値を使って、フロントパネル69、キーボード14、キーボード2(45)の設定を行なう(S2109)。
フロントパネル69、キーボード14、キーボード2(45)の設定の後は、つづいて、図74の内視鏡関連情報の設定(S2002)、システム設定画面の設定情報の設定(S2003)、ユーザー設定画面の設定情報の設定(S2004)、患者データ画面の設定情報の設定(S2005)、キーボード14、キーボード2(45)のキー505 TITLE SCREENキーを入力時に表示されるタイトルスクリーン画面内の情報の設定(S2006)を行なうが、その処理に関しても図93と同様の処理を行なう。
これより、BACKUPRAM77にデータをWRITE中にプロセッサ13の電源OFFされたことにより、BACKUPRAM17内の一部のデータが不正にWRITEされた場合でも、その後の電源ON時では、正常に設定可能となる。
なお、設定情報の確認方法は、図92、図93に示す方法の他、データとバックアップを直接比較してもよく(例えば、フロントパネル69、キーボード14、キーボード2(45)の設定情報に関しては、番号4,6は使用せず、番号3と番号5を直接比較する)、また、CPU74の処理負荷や処理時間を短縮する為に、データのチェックサム(又はCRC)か、バックアップのチェックサム(又はCRC)のいずれかの確認のみ行うようにしても良い(例えば、図93において、「S2101〜S2104,S2109」又は「S2105〜S2109」のいずれかのみ行なう)。
また、バックアップ(番号5,9,13,17、21,25の全て、又は一部)のWRITEするタイミングは、図91の他、所定時間ごと(例えば1秒ごと)にしても良い。また、図94(図94A、図94B)に示すように1秒ごとに(*1)→(*2)→(*1)→(*2)・・・とBACKUPデータの半分ずつWRITEすることで、CPU74の処理の負荷を軽減するようにしても良い。
一方、前述したVerUP機器450とプロセッサ13を接続し、VerUP機器450上のソフトウェアより、BACKUPRAM77、ログデータ格納ROM82に格納されるデータのREAD,WRITE,Verify(更新)を行う場合、
・ログデータ格納ROM82、BACKUPRAM77内の全てのログ情報、メンテナンス情報、設定データ(例えば図90の番号1〜26全て)のREAD、WRITE,Verify(更新)、又は
・ログデータ格納ROM82、BACKUPRAM77内の一部のログ情報、メンテナンス情報、設定データ(例えば図90の番号1〜26の一部)のデータのみREAD、WRITE,Verify(更新)をしてもよく、VerUP機器450上からログデータ格納ROM82、BACKUPRAM77内の一部のログ情報、メンテナンス情報、設定データを選択(例えば図90の番号1〜26から番号選択)できるようにしても良い。
また、VerUP機器450上のソフトウェアにてREADしたログデータ格納ROM82、BACKUPRAM77内のログ情報、メンテナンス情報、設定データを、プロセッサ13のシリアルナンバー、または内視鏡1のシリアルナンバー、または光源17のシリアルナンバー毎に保存・管理・表示するようにしても良い(例えば、プロセッサ13のシリアルナンバー、または内視鏡1のシリアルナンバー、または光源17のシリアルナンバーをファイル名にしたファイルやフォルダを作成して保存、管理を行なう。)。
また、VerUP機器450とのインターフェースは、SIO250を経由してシリアルインターフェースの他、PIO251、ETHERNET(登録商標)回路部84、USB回路85、Serial DRV96を介して出力しても良い。また、インターフェースのプロトコルは、XMODEM,YMODEM,ZMODEM,BPLUS,v.90,TCP/IP,FTP,HTTP,USB,IEEE−1394,SCSI,KERMIT,ATAPI,I2C,GPIBなどを使用しても良い。また、ケーブルを介した有線の他、無線による通信を行なっても良い。
これより、内視鏡1やプロセッサ13、光源17、周辺機器やシステム全体のログ情報、メンテナンス情報、設定データの保存、管理やデータベース作成が容易に行なえると共に、データベースからユーザーに最適なカスタマイズを統計的に行なう事ができる。
また、図84で説明したVerUP機器450にて、プロセッサ13のプログラムのバージョンアップ前に、プロセッサ13の設定データ(例えば図90)をREAD/保存しておけば、プロセッサ13のプログラムのバージョンアップ後にプロセッサ13の設定が工場出荷値に設定されても、保存しておいた設定データを再度プロセッサ13にWRITEする事で、バージョンアップ前のプロセッサ13の設定に容易かつ確実に設定し直す事が可能となる。なお、本実施形態において、設定データをBACKUPRAM77、ログデータをログデータ格納ROM82に格納しているが、これに限らず、任意に設定データ及びログデータをBACKUPRAM77、ログデータ格納ROM82に振り分けて格納してもよい。
図95は、システム設定画面の他の表示例を示す。この画面上の項目の詳細を図96(図96A、図96B)に示す。
図97、図98は、患者データリスト画面、患者データ画面の表示例を示す。これらの画面はCPU74の制御によりグラフィック処理回路1(103),メモリ3(104),グラフィック処理回路2(212),メモリ7(111)にて生成されるものである。操作デバイスに割り当てられた患者データ画面表示キー(例えばPATIENT DATAキー503)によりまず患者データリスト画面が表示される(例えば40人分入力可能)(図97)。
図97の患者データリスト画面にて、操作デバイスに割り当てられたカーソル移動キー(例えば、キーボード14の↑↓キー)により項目が選択され、選択された項目及び文字の表示色が変化する(例えば、文字が緑色になる。)。また、ページ切替キー(例えばキーボード14のFn+↑↓キー)によりリストのスクロールが行われる(例えば、図97の表示状態で、Fn+↓キーを入力すると、スクロールされ、番号11〜20の患者データが表示される。)。
<リストから患者名が入力済みの項目を選択時>
・選択確定キー(例えばキーボード14のENTERキー)を入力すると、”Call/Edit”選択ボタン表示が表示される。選択変更キー(例えば、キーボード14の←→キー)にて、「Call」を確定する(キーボード14の←→キーにて「Call」を選択後にENTERキーを入力する)と、該当患者データ設定を(例えば、BACKUPRAM77から)LOAD(READ)/内視鏡合成画像表示画面上の内視鏡関連情報(図72,図73の601,601’,602,602’,603,603’,604,604’,605,605’,617,617’)に設定後、内視鏡合成画像表示画面へ移行する(文字キー”c”を入力しても「Call」が確定される。)。また、選択変更キー(例えば、キーボード14の←→キー)にて、「Entry」を確定する(キーボード14の←→キーにて「Entry」を選択後にENTERキーを入力する)と、該当患者データ設定をLOAD(READ)後、患者データ設定画面へ移行する(文字キー”e”を入力しても「Entry」が確定される。)。
・DELキー入力を入力すると、・該当患者データ設定を削除し、no dataと表示する。
<ALL CLEAR を選択して確定した時>
・画面下部に「Are you sure」が表示される。再度選択確定キー(例えば、キーボード14のENTERキー or 文字「y」キー)を入力すると、全患者データを消去する。
<患者名未入力(no data)の患者名の項目を選択時>
・選択確定キー(例えばキーボード14のENTERキー)入力すると、患者データ設定画面へ移行する。
<解除キー(ESCキーや再度患者データ画面表示キーを入力時)>
・内視鏡合成画像表示画面へ移行する。なお、解除キーの動作は、システム設定画面、ユーザーリスト画面、スコープ情報画面でも同様とする。
図98の患者データ設定画面では、図11〜図14の設定画面と同じ動作にて設定を行う。その詳細は図99に示す。
なお、患者データ設定画面にて解除キーの動作が行なわれた場合は、患者データリスト画面に移行する(ユーザー設定画面上で解除キーの動作が行なわれた場合は、ユーザーリスト画面に移行する。)。
また、選択確定キー(例えばキーボード14のENTERキー(542))を押すと、画面下部に「Are you sure」が表示される。再度、選択確定キー(例えばキーボード14のENTERキー or 文字「y」キー)を入力すると、選択項目の変更や確定が行なわれると共に内視鏡合成画像表示画面へ移行し、図72,図73の601,601’,602,602’,603,603’,604,604’,605,605’,617,617’に確定した患者データが設定される。(ENTERキー(542)や文字・数字入力キーの選択確定キー動作はシステム設定画面やユーザー設定画面、スコープ情報画面の選択確定時でも同様とする。)
なお、図98の患者データ設定画面にて選択確定キーにより、患者データが確定し、図74の601,601’,602,602’,603,603’,604,604’,605,605’,617,617’に確定した患者データが設定された後、検査が終了して検査終了キー(EXAM ENDキー500)を入力した場合は、確定していた患者データに関して、患者データリスト画面にて文字の表示色を変化するようにし(例えば、文字が灰色になる。)、ユーザーに検査終了した事を示すようにしても良い(例えば、図97の確定していた患者データ「2:tanaka ichiro」の文字表示を灰色にする)。
但し、前記文字の表示色を変化した患者データ項目について、再度患者データ設定画面にて修正した場合は、患者データリスト画面の変化した文字の表示色が元に戻る事も可能である(例えば、灰色の文字色が緑色になる)。患者データリスト画面、患者データ画面で設定された設定情報は、前述したように、BACKUP RAM77又はプログラムROM83、ログデータ格納ROM82に格納され、プロセッサ13が電源OFFになった場合でも保存されるようにしている。これより電源ONする度に、再設定を行う必要はない。
また、前述したように、患者データリスト画面、患者データ画面の設定項目は、周辺機器側からSIO250,PIO251を経由して、設定読み出し、設定変更可能とする。
また、ユーザーリスト画面又は患者データリスト画面でCALLしたユーザー項目や患者名項目については、CALLしていることを示すように、ユーザーリスト画面又は患者データリスト画面上のCALLした項目の文字色や背景色を変えるようにしても良い(例えば、選択した項目の文字色を緑色にする。)。
また、システム設定画面・内視鏡合成画像表示画面・患者データ画面、又はスコープ情報画面上で、現在日付時刻や生年月日・保障年月日を入力する場合に、ユーザーの誤入力を防止する為、以下の全てのデータ(又は一部のデータ)が入力時に、警告(エラーメッセージを一定期間表示、エラー音鳴らす、操作デバイス上のLEDの点灯/点滅など)を行なうようにしてもよく、正しいデータが入力/確定するまでは、↑↓のキーによるカーソル移動を禁止するようにしても良い。
・想定外の日付入力時(例えば1800年1月1日以前の生年月日を入力時)
・ 存在しない日付を入力時(例えば、2月29日〜31日(うるう年除く)、4月31日、6月31日、9月31日、11月31日)
・和暦入力設定時に、元号の改元の年において存在しない日付を入力時(例えば、明治45年7月30日〜12月31日、大正元年1月1日〜7月29日、大正15年12月25日〜12月31日、昭和元年1月1日〜12月24日、昭和64年1月8日〜12月31日、平成元年1月1日〜1月7日)
・その他誤入力時
(例えば、・西暦入力で4桁以外の数字を入力時。
・和暦入力でM,T,S,H以外の元号文字入力時
・和暦入力で3桁以外の数字を入力時
・日付入力で1〜12以外の月の数字を入力時
・日付入力で1〜31以外の日の数字を入力時
・日付入力で0〜60以外の 時、秒を入力時
・年/月/日/時/秒の入力順を間違えた時)
また、システム設定画面の項目「Clock」→「Type」にて生年月日の表示形式を西暦→和暦に変更した場合、システム設定画面・内視鏡合成画像表示画面・患者データ画面、又はスコープ情報画面上の、西暦で入力又は表示されている、現在日付時刻・生年月日・保障期限・初回使用日などを和暦表示するように自動的に変更しても良い。
また表示形式を逆(和暦→西暦)に変更した場合も同様とする。また、内視鏡合成画像表示画面又は患者データ画面上で生年月日を入力時に、現在日付時刻から年齢(Age)をCPU74が計算して自動的に内視鏡合成画像表示画面又は患者データ画面上のAGEの項目に表示するようにしても良い。
図100(図100A〜図100G)は、画面上に表示され、記録機器(VTR305,354、プリンタ306,355、写真撮影装置307,356、ファイリング装置308,357、記録装置86,87,100)を含む周辺機器に表示記録されるメッセージ情報及び条件の詳細を示す(表示方法は、図75〜図80と同様であってもよく、各設定画面下部のHELP情報の欄に表示しても良い。)。なお、図100の※1についてであるが、周辺機器に記録中のみメッセージを自動的に消去して、記録が終了した後、再度自動的にメッセージを表示するようにしても良く、一旦メッセージを消去した後は、記録が終了しても消去したままであっても良い。各設定画面に移行時もしくは各設定画面から内視鏡合成画像表示画面に移行時に一度消去したメッセージを再度自動的に表示するようにしても良い。また、図100の記載は一例であり、記録中の自動消去/表示はユーザーに応じて変更可能であってよく、任意に変更可能できるように設定画面上に設定項目を設けても良い。
次に、図101〜図104を参照しながら、フロントパネル69のIMAGE SOURCE(408〜411)と周辺機器との関係の一例を説明する。なお、以下に記載する「ファイリング装置357から出力された画像」とは、ファイリング装置357内で作成した画像の他、プロセッサ13の出力(調整部98からの出力)をファイリング装置357内で作成した画像と合成して出力する画像も示す。
(1)プロセッサ13の電源ON状態で、内視鏡1を外した場合、すなわち、信号線12bを経由してプロセッサ13に入力される内視鏡1(もしくはCCD2)検知信号により、内視鏡1が外れて未接続になった事を検知する場合、図101を行なう。図101の動作を行なう事で、
(i)ファイリング装置357との通信が正常な時は(又はファイリング装置357が正常に動作しているとき)、内視鏡1を外した場合でも、IMAGE SOURCEをD.FILE(409)のままで維持することで、ファイリング装置357から出力された画像がモニタ353に表示されつづけるように制御できる(システム設定画面のRemote Controlのoptionにて9600を選択時は除く)。
(ii)上記(i)以外のときは、内視鏡1を外したときは、無選択(SCOPE(411)の文字LEDを点灯)に切り替わるようにする。
(2)プロセッサ13側が、ファイリング装置357との通信で通信信号(DSR)のOFF→ONを検知時(又はファイリング装置357との通信エラーから正常状態に復帰時。又はファイリング装置357の電源ON→通信が正常状態に確立されたとき。)に、図102を行う。図102の動作を行なう事で、通信信号(DSR)のOFF→ONを検知時(又はファイリング装置357との通信エラーから正常状態に復帰時、又はファイリング装置357の電源ON→通信が正常状態に確立されたとき)は、IMAGE SOURCEが自動的に無選択→D.FILE(409)に切り替わる事で、ファイリング装置357から出力された画像を自動的にかつ容易にモニタ353に表示する事ができる(システム設定画面のRemote Controlのoptionにて9600を選択時は除く)。なお、図102の※についてであるが、図65のように、プロセッサ13とキーボード2(45)と超音波装置358を組み合わせた場合において、キーボード2(45)が(SIO250又はPIO251を経由してモニタ353を制御することで)制御して、超音波装置358の映像出力360をモニタ353に表示している場合は、通信信号(DSR)のOFF→ONを検知してもIMAGE SOURCEを「D.FILE」に切り替えずに超音波装置358の映像出力360を表示しているままでも良い(その際には、IMAGE SOURCEは無選択を示す。)。(超音波装置358の映像出力360はモニタ353に直接入力されているため、映像出力360をモニタ353に表示させる場合は、SIO250又はPIO251を経由したモニタ353への通信制御にて、モニタ353内で映像を切り替える。)
(3)プロセッサ13側が、ファイリング装置357との通信で通信信号(DSR)のON→OFFを検知時(又はファイリング装置357との正常状態から通信エラー発生時。又はファイリング装置357の通信が正常状態→電源OFF時)に、図103を行う。図103の動作を行なう事で、通信信号(DSR)のON→OFFを検知時(又はファイリング装置357との正常状態から通信エラー発生時。又はファイリング装置357の通信が正常状態→電源OFF時)は、IMAGE SOURCEが自動的にD.FILE(409)→無選択に切り替わる事で、ファイリング装置357側の電源OFFやWDTリセットなどにより、ファイリング装置357から画像が出力されない場合も、自動的にかつ容易に調整98出力をモニタ353に表示する事ができる(システム設定画面のRemote Controlのoptionにて9600を選択時は除く)。
(4)図65のように、プロセッサ13とキーボード2(45)と超音波装置358を組み合わせた場合において、キーボード2(45)により(SIO250又はPIO251を経由してモニタ353を制御することで)制御を行い、モニタ353の表示を、超音波装置358の映像出力360の表示状態からプロセッサ13の出力359の表示状態に切り替えた時に、図104(図104A,図104B)を行う。なお、超音波装置358の映像出力360の表示状態/プロセッサ13の出力359の表示状態共に、図104のIMAGE SOURCEの選択は、無選択とする。図104の動作を行なう事で、ファイリング装置357との通信が正常な時は(又はファイリング装置357が正常に動作しているとき)、超音波装置358の映像出力360の表示状態からプロセッサ13の出力359の表示状態に切り替えた時、自動的にIMAGE SOURCEをD.FILE(409)に切り替えることで、超音波装置358の映像出力360の表示状態から切り替えた時もファイリング装置357から出力された画像を自動的にかつ容易にモニタ353に表示する事ができる(システム設定画面のRemote Controlのoptionにて9600を選択時は除く)。
一方、プロセッサ13及び周辺機器の動作に関して、以下のようにしても良い。
(1)画像形状記憶装置303/352の通信プロトコルは、ファイリング装置308/357と共通のものを使用してもよく、プロセッサ13側の(図示しない)ファイリング装置308,357用の通信コネクタを使用するようにしても良い。
(2)図75における内視鏡関連情報の一部の一定期間表示処理について、操作デバイス上のキーにより各設定画面表示状態から内視鏡合成画像表示画面に移行した際にも、一定期間表示処理を行なうようにしても良い。
(3)プロセッサ13の電源ON時に、周辺機器とSIO又はPIOにて通信する際、処理負荷を軽減する為に時系列にて処理するようにしても良い(例えば、プロセッサ13の電源ON→(2秒経過)→内視鏡1との通信開始→(2秒経過)→光源17との通信開始→(2秒経過)→プリンタ355との通信開始→(2秒経過)→ファイリング装置357との通信開始→(2秒経過)→VTR354との通信開始→(2秒経過)→画像形状記憶装置352のように動作しても良い。)。
(4)周辺機器との通信で発生しうるリトライ処理の回数は(例えば、内視鏡1との通信では、図81のS304,S313,S323)、通信する装置毎、通信タイミング毎に異なっていてもよい(1回以上)。
(5)周辺機器である集中制御装置315は、接続された周辺機器全てを含めたシステム全体を制御するタッチパネル、バーコードリーダー、無線機能を備えたICカード、バイオメトリクス(指紋、顔、手形、音声、虹彩、網膜、血管、筆跡、DNA)によるセキュリティ機能を有した入力装置、音声認識装置、(有線/無線/赤外線)リモコン、マウス、タブレット、トラックボール、もしくはそれらの複合ユニットであっても良い。
(6)内視鏡1のメモリ8に格納された情報として、前述したデータの他、ズームスケール(近点、遠点情報含む、651の情報)、使用開始日、通電回数、点検時期日、点検開始を行なう通電回数、高周波(処置)対応/非対応情報、CCDの2眼/3眼対応情報、(光学,電子)ズーム対応情報、内視鏡1が画像形状記憶装置303/352に対応しているかの情報、特殊光観察対応情報(赤外/蛍光など)、ユーザーが任意に入力できるコメント情報、所有者、サービス情報、病院ごとの管理ナンバー、保証期限、保証最終日、メーカー情報、リペアや点検情報、内視鏡固有の情報、鉗子チャネル情報(650の情報)などを格納してもよい。また、内視鏡合成画像表示画面やスコープ情報画面への表示、プロセッサ13からメモリ8の格納情報の修正、メモリ8の格納情報の各周辺機器への出力、各周辺機器からメモリ8の格納情報の修正を行なえるようにしても良い。
(7)図17に示したレジスタに設定するデータ(パラメータ)や、前述したプログラム動作のログやメンテナンス情報、設定情報は、CPU74が容易に検索/設定できるようにする為に、
(i)周辺機器(又は周辺機器のシリアルナンバー)ごとに区分したテーブル
(ii)内視鏡1(又はCCD2)ごとに区分したテーブル
(iii)画像サイズごとに区分したテーブル
(iv)表示モード(4:3,5:4,16:9)ごとに区分したテーブル
(v)インデックス駒数ごとに区分したテーブル
(vi)上記(i)〜(v)のパラメータを組み合わせて最適に区分したテーブル(例えば図18〜図25、表8〜表20、図101〜図104)の形式でプログラムROM83又はBACKUPRAM77又はログデータ格納ROM82に格納してもよい。すなわち、管理しやすいように、格納対象のデータを体系付けて、意味のある情報の並びとして格納するようにする。また、上記テーブルの形式で格納すれば、格納する容量も削減され、かつCPU74の処理負荷も軽減できる。
図105は、SCALEキー526又はSHIFT+SCALEキー526入力時に周辺機器に表示記録される、鉗子情報(鉗子チャネル情報:SHIFT+SCALE時に表示)、スケール情報の表示例を示す。スケール情報651は、光学ズーム機能を有する内視鏡1(CCD2)にて撮像した被写体像の最大光学ズーム時のスケール幅を示し、ある所定の幅(最小幅651aと最大幅651b)がある。例えば、651cのように「1.0」と表示されている場合は、最大光学ズーム時に、画像マスク内の被写体像がピントの合った状態において、最小幅651aと最大幅651bの間が1mmであることを示している(詳細は、特許文献3参照)。
・鉗子情報650、スケール情報651は、重なっている情報が確認できるように半透明であっても良い。
・鉗子情報650の表示については、周辺機器に記録中のみ自動的に鉗子情報650の表示を消去して、重なっている内視鏡関連情報を表示できる状態で記録できるようにし、記録が終了した後に再度自動的に鉗子情報650を表示するようにしても良い。または鉗子情報650の表示を消去した後は、記録が終了しても消去したままであっても良い。また、記録中の自動消去/表示はユーザーに応じて変更可能であってよく、任意に変更可能できるように設定画面上に設定項目を設けても良い。
・スケール情報651の表示については、周辺機器に記録中でも表示されたままでもよく、また記録中の自動消去/表示はユーザーに応じて変更可能であってよく、任意に変更可能できるように設定画面上に設定項目を設けても良い。
・鉗子情報650、スケール情報651の表示は、REMOVE DATAキー528による省略表示1/2/全省略の全部又はいずれかにおいて、消去可能であっても良い(図72,図73参照)。
・鉗子情報650、スケール情報651の表示の両方又はいずれか一方については、図75の一定時間表示の際に一緒に一定時間表示するようにしても良い。
鉗子情報650には、内視鏡画像上での鉗子の位置を示すポインタ652,652’や、652の位置にある鉗子のチャンネル径を示す表示653,652’の位置にある鉗子のチャンネル径を示す表示653’が表示される(鉗子の数は、図105では2つの鉗子の表示だが、鉗子の数は限定されるものでなく、1以上の複数であっても良い。)。
(図示しない)鉗子のハンドル部や内視鏡1の(図示しない)鉗子挿入口近傍には、鉗子チャンネルを識別する為の識別色が付随している。その識別色をポインタ652,652’や表示653,653’の色と一致させる事で、ユーザーに使用する鉗子が容易に判断できるようになっている(例えば652のポインタ、653の文字(又は背景)の表示を鉗子の識別色と同じ黄色。652’のポインタ、653’の文字(又は背景)の表示を同様にオレンジ色にする。)
652,652’,653,653’の情報(各鉗子の位置/チャンネル径/識別色/鉗子チャンネルの数)は内視鏡1内のメモリ8に格納されており、CPU74は652,652’,653,653’の情報をREADして650のように表示する。メモリ8に格納された識別色の情報は、図106に示すようにプロセッサ13内のテーブル1(170)やテーブル2(214)に設定される。図106の※1についてであるが、メモリ8には、テーブル1(170)やテーブル2(214)に設定する全てのデータが格納されていても良く、容量削減の為一部のデータ(例えばR,G,Bの上位3ビット分のみ)が格納されていても良い。
そのため、あらかじめ鉗子情報に相当する入力パラメータ値を決めておけば(例えば鉗子チャンネルの数が2の場合は、鉗子チャンネル1の色に関する入力パラメータを“101”、鉗子チャンネル2の色に関する入力パラメータを“102”としておく)、メモリ8に識別色を格納する事により、652,652’,653,653’の識別色を任意に設定可能となる。これより、新規の鉗子が設計され、新規の識別色が決定した場合でも、内視鏡1内のメモリ8の識別色を変更するだけで対応が可能となり、プロセッサ13のプログラムROM83に格納されたプログラムをバージョンアップする事もなく、容易に対応可能となる。
図107は、スコープ情報画面の表示例を示す(詳細は、特許文献3参照)。また、図108は、図107の各項目を示す。スコープ情報画面は以下の条件で表示される。
・内視鏡合成画像表示画面表示時にScopeInfoキー504を入力すると、図75のように内視鏡関連情報の一定時間表示となる。(鉗子情報650、スケール情報651も同様)
・図75のように内視鏡関連情報の一定時間表示中に、再度ScopeInfoキー504を入力すると図107のスコープ情報画面が表示される(内視鏡1のメモリ8のデータを受信できなかった場合もしくはCPU9やメモリ8を持たない内視鏡1と接続時は、図107に表示される内視鏡関連情報を有さない為、図107のスコープ情報画面に移行せず、図75の一定表示を消去する動作をしても良い。)。
・スコープ情報画面の情報の一部は、保守管理用のみに使用するために、容易に見ることができないように、周辺機器と接続するプロセッサ13側のコネクタに保守管理用キーを接続時のみ表示可能としてもよく、操作デバイス上に専用のキーを設けても良い。
・スコープ情報画面上の動作は、システム設定画面、ユーザー設定画面、患者データ画面と同様とする。
・スコープ情報画面上の項目の内、Check Period,Service Contract,Warranty Date,Mfg.Commentsのみ操作デバイス上で修正可能であってもよく、カーソル移動キー(例えば、キーボード14の↑↓キー)による項目選択時には、修正可能な項目のみカーソルが移動できるようにしても良い(選択された項目及び文字の表示色が変化する)。
・選択確定キー(例えばキーボード14のENTERキー or 文字「y」キー)を入力して選択した項目の修正が確定した時には、内視鏡合成画像表示画面に移行し、かつCPU74は信号線11bを経由して、内視鏡1内のメモリ8に、スコープ情報画面で修正した項目のデータ(又は修正可能な項目Check Period,Service Contract,Warranty Date,Mfg.Comments全てのデータ)を上書き(WRITE)する。メモリ8に上書き(WRITE)中の時は、内視鏡合成画像表示画面下部にWRITE中であることを示す表示「Please Wait」を表示しても良く、操作デバイス上のLEDの点滅/点灯を行なっても良い。
・図75,図107に表示される、内視鏡1のメモリ8から受信される情報を、内視鏡1内のメモリ8からREADするタイミングは、
(i)電源ON時にメモリ8の情報を全てREADして(図81,図82参照)、BACKUPRAM77又はRAM76、又はログデータ格納ROM82に格納しておき、図75や図107での表示時にはBACKUPRAM77又はRAM76、又はログデータ格納ROM82からREADして表示するようにしても良く、
(ii)図107の表示ごとに、内視鏡1内のメモリ8からREADするようにしてもよい。
ところで、図81,図82のホワイトバランス処理において、CPU9やメモリ8を持たず通信機能を有さない内視鏡1とプロセッサ13が接続された場合は、S315又はS344のフローを通ることになる。その時、ホワイトバランス処理は、前回に(例えば、WhiteBalanceSW404の入力で)BACKUPRAM77に格納されたホワイトバランスデータが設定される事になる。
これより、CPU9やメモリ8を持たず通信機能を有さない内視鏡1のみを使用するユーザーは、その内視鏡1について初回使用時にWhiteBalanceSW404の入力を行なえば、次回以降からの使用時には、BACKUPRAM77に格納されたホワイトバランスデータを使用してホワイトバランス処理が行なわれる為、WhiteBalanceSW404を使用ごとに入力する必要がなくなる(その場合には、システム設定画面の項目「WB Message」の設定をOFFし、メッセージが表示されないようにするとよい。)。
一方、操作デバイス上の専用キーを入力する事により、設定画面で設定されている全ての情報又は重要度の高い一部の情報を一括で表示できるようにしても良い(図109参照)。表示画面が複数ページにわたる場合は、矢印キー544によりページが切り替わるようにしても良い。これより、ユーザーやサービス担当が設定状況を容易に確認する事ができる。
また、図75に表示される情報として、図15のユーザーリスト画面でCallして設定したユーザー項目(“Dr.Tanaka”)を表示し、設定されているユーザー設定を容易に確認できるようにしても良い。また、内視鏡1のメモリ8のデータを受信できなかった場合もしくはCPU9やメモリ8を持たない内視鏡と接続時は、図75に表示される情報の内、内視鏡1のメモリ8に関する情報のみ表示しないようにしても良い(図75の一定期間表示メッセージの右側(GIF−H260,SerialNo.,DistalEnd,Insertion Tube,Cannelが表示されているメッセージ)のみ表示しないようにしても良い)。
また、ResetSW400を入力した場合には、図15のユーザーリスト画面のユーザー項目については、選択されているユーザー項目がそのまま維持されて良く、また、ある特定のユーザー項目(“Reset Default”)が自動的にCallされて設定されるようにしても良い(図110参照)。
また、操作デバイスの特定キーの同時押しをしながらプロセッサ13の電源をONすることによって、プロセッサ13の設定が工場出荷値に設定されるようにしても良い。
また、アローポインタ624,624’が内視鏡合成画像表示画面に表示されている状態で
・shift+矢印キー(544)入力時、
・プロセッサ13の電源OFF→電源ON、
・ResetSW400を入力した場合、
・工場出荷値が設定された場合、
・EXAM ENDキー500を入力した場合、
・各設定画面に移行して再び内視鏡合成画像表示画面に移行した場合、
・Zoomキー41を入力時、
・又はIMAGESIZEキー529を入力時にはアローポインタを消去するようにしても良く、その後、再度アローポインタ624,624’を表示するようにした場合は、
(i)特定の場所(内視鏡合成画像表示画面にある内視鏡画像の中央)に位置するように表示、又は
(ii)前回の表示位置をBACKUPRAM77またはログデータ格納ROM82、RAM76に格納しておき、前回の表示位置から表示、又は、
(iii)内視鏡1(又はCCD2)や画像サイズ、表示モードごとに特定の場所を位置するように表示してもよい。また、内視鏡1(又はCCD2)がプロセッサ13に未接続時は、アローポインタ624,624’を表示しないようにしても良い。
図110(図110−01〜図110−30)は、電源OFF→電源ONした時、ResetSW400を入力した場合、工場出荷値が設定された場合、EXAMENDキー500入力時、各設定画面に移行して再び内視鏡合成画像表示画面に移行した場合、それぞれについて(以下プロセッサ13の状態変更という)の設定状態の変更例を示す(変更例に記載されている設定状態「保持」とは、BACKUPRAM77またはログデータ格納ROM82、RAM76に格納され、設定状態が保存されている状態を示す。)なお、設定状態や設定のタイミングはこの図110の変更例の記載に限定するものでない。
なお、図110の※1についてであるが、初期表示とは、ID NO.601,601’,NAME602,602’,SEX 603,603’,AGE 604,604’,D.O.BIRTH605,605’,PHYSICIAN 617,617’,COMMENT 618,618’の各項目の箇所に、“ID No.”“Name”“Sex”“Age”“D.o.Birth”“Physician:”“Comment:”という文字を表示する事をいう。これらの表示状態で、キー532,545,544,542,546,533などのいずれかの入力があった場合は、カーソル623,623’が位置している項目の初期表示を自動的に消去するようにしても良い。
また、図110の※2についてであるが、システム設定画面、ユーザー設定画面(ユーザーリスト画面のNo.1“Reset Default”)の工場出荷値が反映される。
また、図110の※3についてであるが、ResetSW400を入力した場合にCALLされるユーザー設定画面は以下の通りである。
・システム設定画面のLanguageでGB(イギリス英語)/FR(仏語)/D(独語)選択時:CALLされているユーザー設定画面の該当項目の設定を反映する。
・システム設定画面のLanguageでJP(日本語)/US(アメリカ英語)選択時:ユーザーリスト画面のNo.1(“Reset Default”)のユーザー設定画面の該当項目が自動的にCallされる。よって“Reset Default”の該当項目の設定を反映する。
また、図110の※4についてであるが、図101、図102、図104の表内の“D.FILE”(太字かつ下線で示されている)の状態時の場合は、“D.FILE”を保持(または“D.FILE”に切り替わるように)しても良い。
また、図110の※5についてであるが、図65のように、キーボード2(45)が制御することで、超音波装置358の映像出力360もしくはプロセッサ13の出力359を表示切り替え可能なシステムにおいては、電源ON又はResetSW400を入力した場合又は工場出荷値が設定された場合には、
・プロセッサ13の出力359の表示状態にするようにしてもよく、
・プロセッサ13の出力359の表示状態/超音波装置358の映像出力360の表示状態のいずれかをユーザーが任意に選択できるようにしてもよく(例えばシステム設定画面やユーザー設定画面上に項目を設ける)、
・設定直前の表示状態がそのまま保持されるようにしても良い。
また、図110の※6についてであるが、システム設定画面のLanguageでの設定によっては(例えばUS選択時)、ONであってもよい。
また、図110の※7についてであるが、一部のUser(ユーザー名)(例えば、ユーザーリスト画面のNo.1のみ)のみ保持するようにしてもよく、固定名を自動的に入力するようにしても良い(例えば、ユーザーリスト画面のNO.1のみ“Reset Default”を入力)。
また、図110の※8についてであるが、プログラムROM83、BACKUPRAM77またはログデータ格納ROM82上に、JP,US,GB,R,Dのいずれかを示すフラグデータを設けてもよい。その場合、工場出荷値の設定時に、まずCPU74がフラグデータをREADし、フラグデータから、JP,US,GB,FR,Dに相当する工場出荷値を設定することになる(例えば、プロセッサ13を日本に出荷する場合には、“JP”を示すフラグデータをVerUP機器450などでプログラムROM83、BACKUPRAM77またはログデータ格納ROM82に設定した後、電源OFFし、操作デバイスの特定キーの同時押しをしながらプロセッサ13の電源をONすることによって、JPに相当する工場出荷値(YYYY/MM/DDなど)が設定される。)。なお、仕向け地別に設定変更するタイミングは、本例のように工場出荷値が設定される場合の他、項目「Language」の設定状態に変更後すぐに設定変更しても良く、また変更される設定項目は各設定画面の全ての(又は一部の)設定項目であってもよい。
また、図110の※9についてであるが、項目「Printer」Timeは、項目「Printer」Type(プリンター機種)の設定に応じて自動的に変更されても良いし(Ex「OEP3」選択時は、自動的に40sに設定される。)、その後、操作デバイスからの操作によって、任意に変更可能であっても良い。
また、図110の※10についてであるが、項目「Release Time」は、上記例のように複数の周辺機器についてまとめて設定する他、各周辺機器ごとに設定項目を設ける事で、各周辺機器ごとに設定できるようにしても良い。
また、図110の※11についてであるが、システム設定画面の項目「Remote Control」D.F.の設定状態がTYPECを選択時は、保持しても良い。
また、図110の※12についてであるが、設定項目Remote ControlのD.FでTYPEBを選択時には、自動的にONに切り替わるように設定しても良い。
また、図110の※13についてであるが、各Serial No.,Parameter,FPGAの情報は、プログラムROM83、BACKUPRAM77またはログデータ格納ROM82上に格納するようにしても良い。
また、図110の※14についてであるが、項目内に、通信速度(例えば1200bps〜9600bps)を設定するような項目を設けても良い。
また、図110の※15についてであるが、写真撮影装置307,356から記録枚数コマンドを受信した場合は、その記録枚数を反映する。
また、図110の※16についてであるが、ファイリング装置308,357から記録枚数コマンドを受信した場合は、その記録枚数を反映する。
また、図110の※17についてであるが、操作デバイス上の専用キーもしくは、複数キーの同時押しで0にリセットできるようにしてもよく、VerUP機器450からリセット処理を行なえるようにしても良い。
さて、タイトルスクリーン1,2,3の表示方法は以下であってもよい。
(i)内視鏡合成画像表示画面表示時にTITLESCREENキー505を入力すると、タイトルスクリーン1が表示される。タイトルスクリーン1で表示される内容は、日付時刻606,606’、ID NO.601,601’、NAME602,602’である。
(ii)タイトルスクリーン1の表示状態で、TITLESCREENキー505を入力すると、タイトルスクリーン2が表示される。タイトルスクリーン2で表示される内容は、日付時刻606,606’、ID NO.601,601’、NAME602,602’、SEX 603,603’、AGE 604,604’、D.O.BIRTH605,605’、PHYSICIAN 617,617’である。
(iii)タイトルスクリーン2の表示状態で、TITLESCREENキー505を入力すると、タイトルスクリーン3が表示される。タイトルスクリーン3では、操作デバイス上から任意の文字列(例えば18文字×10行)が入力可能である(入力された文字列は、BACKUPRAM77またはログデータ格納ROM82上に格納される。再度タイトルスクリーン3を表示した時は、入力されていた文字列が表示される。)。
(iv)タイトルスクリーン3の表示状態で、TITLESCREENキー505を入力すると、内視鏡合成画像表示画面表示に移行する。
(v)上記(i),(ii),(iii)の表示状態でSHIFT+TITLESCREENキー505を入力した場合は、カラーバー画面を表示する。
(vi)カラーバー画面の表示状態でSHIFT+TITLESCREENキー505を入力した場合は、50%白画面を表示する。
(vii)50%白画面の表示状態で、SHIFT+TITLESCREENキー505を入力した場合は、内視鏡合成画像表示画面表示に移行する。
(viii)上記(v),(vi)の表示状態で、TITLESCREENキー505を入力した場合は、タイトルスクリーン1が表示される。
(ix)上記(i),(ii),(iii),(v),(vi),(viii)の表示状態で、解除キー(ESC531)を入力時、電源OFF→電源ONした時、ResetSW400を入力した場合、工場出荷値が設定された場合、またはEXAMENDキー500入力時は、内視鏡合成画像表示画面表示に移行する。
以上述べたように本発明によれば、
・周辺機器が、内視鏡1又は光源17又はプロセッサ13に関する設定情報(プログラム動作のログやメンテナンス情報(履歴情報)や設定情報)を取得可能であり、周辺機器側からも前記設定情報を変更可能である。これより周辺機器側で適切な制御を行なう事ができる。
・前記設定情報はモニタ304,353より表示可能である(例えば、図11〜16,図70〜73,図75〜80、図96〜図100、図105,図107,図109)。これよりユーザーは,設定情報を容易かつ確実に得る事が可能となる。
・記憶装置(記録装置、記録機器)(例えば、VTR305,354、プリンタ306,355、写真撮影装置307,356、ファイリング装置308,357、記録装置86,87,100)を含む周辺機器に表示記録される前記設定情報(メッセージ、鉗子情報、スケール情報含む)のそれぞれについて、周辺機器への記録期間中に、表示/非表示(=記録させるか否か)を独立に設定可能となる(図100)。これよりユーザーは、適切な設定情報のみを記録可能となる。
・前記設定情報は、メッセージ表示であり、また内視鏡1や光源17や周辺機器に関連するメッセージ表示である為(図100)、ユーザーは内視鏡1や光源17や周辺機器に関する設定情報を容易かつ確実に得る事が可能となる。
・鉗子情報650の表示色が、(図示しない)鉗子や内視鏡1に付随する識別色(鉗子のハンドル部や内視鏡1の(図示しない)鉗子挿入口近傍に付随している、鉗子識別の為の識別色)と一致させる事で、ユーザーに使用する鉗子が容易に判断できるようになっている。
・前記設定情報は、周辺機器(例えばVerUP機器450)とプロセッサ13を接続し、周辺機器側にて(例えばVerUP機器450上のソフトウェアにて)又はプロセッサ13側にて、内視鏡1のシリアルナンバー、光源17のシリアルナンバー、プロセッサ13のシリアルナンバーごとに保存、管理、表示可能である為、内視鏡1・光源17・プロセッサ13や周辺機器を含めたシステム全体のログ情報、メンテナンス情報、設定データの保存、管理やデータベース作成が容易に行なえると共に、データベースからユーザーに最適なカスタマイズを統計的に行なう事ができる。
・前記設定情報は、バックアップデータやチェックデータも含み、前記設定情報が不正である場合は、復帰処理(再設定処理)を行なう(図92,図93)。これより、設定情報データをWRITE中にプロセッサ13の電源OFFされたことにより、一部の設定情報データが不正にWRITEされた場合でも、その後のプロセッサ13の電源ON時では、正常に設定可能となる。
・周辺機器がプロセッサ13の設定状態(例えばIMAGE SOURCE(408〜411))を変更可能である(図101〜104)。これより、ユーザーに操作性の良いシステムを提供できる。
・前記設定情報は、例えば図18〜図25、表8〜表20、図101〜104の形式で体系付けられたデータ構造でプログラムROM83又はBACKUPRAM77又はログデータ格納ROM82に格納する。これより、CPU74が容易に検索/設定でき、格納する容量も削減され、かつCPU74の処理負荷も軽減できる。
・前記設定情報のそれぞれについて、プロセッサ13の状態変更ごとに(=プロセッサ13の状態に応じて)独立して保持/特定値(所定値)に変更可能である(図110)。これより、ユーザーに操作性の良いシステムを提供できる。
・前記設定情報の一部は時系列に格納可能であり、処理時の日時と共に格納可能である(図88)。これより設定データを効率的にデータを格納する事が可能となる。