JP4880398B2 - 内視鏡診断システム - Google Patents

内視鏡診断システム Download PDF

Info

Publication number
JP4880398B2
JP4880398B2 JP2006217875A JP2006217875A JP4880398B2 JP 4880398 B2 JP4880398 B2 JP 4880398B2 JP 2006217875 A JP2006217875 A JP 2006217875A JP 2006217875 A JP2006217875 A JP 2006217875A JP 4880398 B2 JP4880398 B2 JP 4880398B2
Authority
JP
Japan
Prior art keywords
instructor
signal
radio wave
unit
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006217875A
Other languages
English (en)
Other versions
JP2008036318A (ja
Inventor
一則 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006217875A priority Critical patent/JP4880398B2/ja
Priority to EP07014110A priority patent/EP1929933A3/en
Priority to US11/882,042 priority patent/US20080183040A1/en
Publication of JP2008036318A publication Critical patent/JP2008036318A/ja
Application granted granted Critical
Publication of JP4880398B2 publication Critical patent/JP4880398B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Pulmonology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、指導室にいる指導者の指示を受けて、検査室にいる術者が内視鏡診断を行う内視鏡診断システムに関する。
従来から、医療分野において、電子内視鏡を利用した医療診断が盛んに行われている。電子内視鏡の被検体内に挿入される挿入部先端には、CCDなどの撮像素子が内蔵されており、このCCDにより取得した撮像信号に対して、プロセッサ装置で信号処理を施すことで、モニタで被検体内の画像(以下、内視鏡画像と表記する。)を観察することができる。電子内視鏡やプロセッサ装置は、同時に複数の被検者の内視鏡診断が可能なように、例えば病院内の一室をパーテーションなどで仕切った複数の検査室にそれぞれ設置されている。
上記のような電子内視鏡システムには、研修医などの経験の浅い医師が術者として担当した場合などに、内視鏡診断が的確に行われているか否かを判断するため、術者よりも経験豊富な医師が指導者として在室する指導室を用意し、指導者が術者に的確な指示を与えることができるようにした手術支援システムが提案されている(特許文献1〜3参照)。
特開2005−118232号公報 特開2000−271147号公報 特開2005−111080号公報
特許文献1に記載の技術では、複数台の電子内視鏡を対象としているものの、指導室のモニタに1台の電子内視鏡からの内視鏡画像のみを表示しているため、システム全体を俯瞰的に監視することができない。また、指導者が内視鏡画像の特定部位に注目して観察したいときに、術者にズーム操作を行う旨をその都度報知しなければならず、煩わしいという問題があった。
一方、特許文献2、および3に記載の技術では、指導室のモニタに全ての電子内視鏡からの内視鏡画像を分割表示しており、特に、特許文献2では、指導者の手元操作により内視鏡画像を所望の状態に変更する旨が開示されているが、検査室と指導室とをISDNなどの通信回線で接続し、この通信回線を介して内視鏡画像や指導者の指示を遣り取りしているため、各室間の配線に手間が掛かるという問題があった。また、ISDNなどの通信回線では、内視鏡画像のフレームレートを落とす、内視鏡画像に圧縮処理を施すなどの何らかの対策を講じなければ、内視鏡画像を劣化することなく送信することができない。特に、高画質の内視鏡画像を圧縮処理することなく送信した場合、ISDNなどの通信回線では転送レートが足りず、実現性に乏しい。
本発明は、上記課題を鑑みてなされたものであり、全体を俯瞰的に監視することができ、より的確な指導を術者に行うことができる内視鏡診断システムを提供することを目的とする。
上記目的を達成するために、本発明は、指導室にいる指導者の指示を受けて、検査室にいる術者が内視鏡診断を行う内視鏡診断システムにおいて、被検体内の被観察部位を撮像して映像信号を出力し、映像信号を電波に変調して送信する電子内視鏡、前記電波を受信して元の映像信号に復調し、映像信号から内視鏡画像を生成する術者用プロセッサ装置、および前記術者用プロセッサ装置で生成された内視鏡画像を表示する術者用モニタからなり、前記検査室に複数台設置される術者用内視鏡診断ユニットと、前記電波を受信して元の映像信号に復調し、映像信号から内視鏡画像を生成する指導者用プロセッサ装置、前記指導者用プロセッサ装置で生成された内視鏡画像を表示する指導者用モニタ、および前記指導者により操作される操作入力装置からなり、前記指導室に設置される指導者用内視鏡診断ユニットとを備え、前記指導者用プロセッサ装置は、前記操作入力装置より入力された操作入力信号を電波に変調して送信する送信部、および前記内視鏡画像を複数台の電子内視鏡毎に分割して前記指導者用モニタに表示させる分割画面表示と、一つの内視鏡画像を前記指導者用モニタ全体に表示させる全画面表示とに切り替える表示制御部を有することを特徴とする。
前記術者用内視鏡診断ユニットは、前記術者から前記指導者への問い合わせ情報を入力するための術者用情報入力装置と、前記指導者から前記術者への指示情報を出力する術者用情報出力装置とを有し、前記指導者用内視鏡診断ユニットは、前記指示情報を入力するための指導者用情報入力装置と、前記問い合わせ情報を出力する指導者用情報出力装置とを有し、前記電子内視鏡は、前記問い合わせ情報を表す信号を、前記映像信号を変調した電波に重畳して送信し、前記送信部は、前記指示情報を表す信号を電波に変調して送信し、前記電子内視鏡、および前記指導者用プロセッサ装置は、前記問い合わせ情報を表す信号が重畳された電波、および前記指示情報を表す信号を変調した電波の送受信を、半二重通信により行うことが好ましい。
前記指導者用プロセッサ装置は、前記分割画面表示がされている際には、複数台の電子内視鏡からの電波を一定時間間隔で切り替えて受信し、前記全画面表示がされている際には、全画面表示されている内視鏡画像の元となる電子内視鏡からの電波を選択的に受信する受信部を有することが好ましい。
前記操作入力装置は、前記分割画面表示がされている内視鏡画像の中から、前記全画面表示をする内視鏡画像を選択させるための表示選択手段と、前記分割画面表示と前記全画面表示とを切り替える表示切り替え手段とを有することが好ましい。
前記操作入力装置は、前記内視鏡画像のズーム倍率を変更するためのズーム操作手段を有し、前記送信部は、前記ズーム操作手段の操作入力信号を前記電波に変調して送信することが好ましい。
本発明の内視鏡診断システムによれば、指導者用プロセッサ装置に、操作入力装置より入力された操作入力信号を電波に変調して送信する送信部、および内視鏡画像を複数台の電子内視鏡毎に分割して指導者用モニタに表示させる分割画面表示と、一つの内視鏡画像を指導者用モニタ全体に表示させる全画面表示とに切り替える表示制御部を設けるので、全体を俯瞰的に監視することができ、より的確な指導を術者に行うことができる。また、電波の送受信を半二重通信で行うことにより、同一の周波数帯域で全ての信号の送受信を賄うことができる。
内視鏡診断システム2は、例えば図1に示すように、術者が被検者に内視鏡診断を施す四部屋の検査室10にそれぞれ設置された四台の術者用内視鏡診断ユニット11と、術者の内視鏡診断を指導する指導者が在室する指導室12に設置された指導者用内視鏡診断ユニット13とからなる。
図2において、術者用内視鏡診断ユニット11は、電子内視鏡14と、内視鏡画像を生成する術者用プロセッサ装置15と、内視鏡画像を表示する術者用モニタ16と、術者の音声を取り込む術者用マイクロホン17、および指導者の音声を出力する術者用スピーカー18を備えた術者用ヘッドセット19とから構成される。電子内視鏡14と術者用プロセッサ装置15とは、信号の遣り取りを電波20にて行う。電波20の送受信周波数帯域は、検査室10の各部屋で異なり、四つのチャネル(Ch1〜4、図1参照)がそれぞれ割り当てられている。
電子内視鏡14は、被検体内に挿入される挿入部21と、挿入部21の基端部分に連設された操作部22とを備えている。挿入部21の先端に連設された先端部21aには、被検体内の被観察部位の像光を取り込むための対物レンズ23と像光を撮像するCCD24、および照射レンズ25と被検体内照明用のLED26(ともに図3参照)が内蔵されている。
先端部21aの後方には、複数の湾曲駒を連結した湾曲部21bが設けられている。湾曲部21bは、操作部22に設けられたアングルノブ22aが操作されて、挿入部21内に挿設されたワイヤが押し引きされることにより、上下左右方向に湾曲動作する。これにより、先端部21aが被検体内の所望の方向に向けられる。湾曲部21bの後方には、被検体内の挿入経路に沿って任意の方向に曲がる、可撓性を有する軟性部21cが設けられている。
操作部22の下方には、水が貯留される貯水タンク27と、エアーが貯留されるエアーボンベ28とが内蔵されたカートリッジ29が着脱自在に取り付けられている。これら貯水タンク27、エアーボンベ28に貯留された水、エアーは、操作部22の送水/送気ボタン21bの操作に連動して、電子内視鏡14内部に配設された送水パイプ、送気パイプを通って、先端部21aに形成された洗浄ノズル(図示せず)から対物レンズ23に向けて噴射される。これにより、対物レンズ23の表面に付着した汚物などの除去や、被検体内への送気を行うことが可能となっている。ここで、カートリッジ29は、電子内視鏡14を使用する際に操作者の手の付け根が当接する位置に取り付けられており、電子内視鏡14の操作性を安定化させる役割も果たしている。なお、符号30は、処置具が挿通される鉗子口である。
図3において、CPU40は、電子内視鏡14全体の動作を統括的に制御する。CPU40には、電子内視鏡14の動作を制御するための各種プログラムやデータが記憶されたROM41が接続されている。CPU40は、ROM41から必要なプログラムやデータを読み出し、電子内視鏡14の動作制御を行う。
対物レンズ23には、ズームレンズ(図示せず)が含まれており、このズームレンズを光軸に沿って移動させるレンズモータ42が接続されている。レンズモータ42は、CPU40に接続された駆動部43により動作制御される。駆動部43は、操作部22に設けられたズーム操作ボタン(図示せず)からの操作入力信号、または指導者用プロセッサ装置70(図6参照)から電波76で送信される操作入力信号に応じて、レンズモータ42を動作させる。
LED26には、駆動部44が接続されている。駆動部44は、CPU40の制御の下に、LED26をオン/オフ駆動させる。LED26から発せられた光は、照射レンズ25を介して被検体内の被観察体に照射される。なお、先端部21aではなく操作部22の内部にLED26を配し、ライトガイドで先端部21aに導光する構成としてもよい。
CCD24は、対物レンズ23から入射した被検体内の被観察部位の像光を撮像面に結像させ、各画素からこれに応じた撮像信号を出力する。AFE45は、CPU40の制御の下に、CCD24から入力された撮像信号に対して、相関二重サンプリング、増幅、およびA/D変換を施して、撮像信号をデジタルの映像信号に変換する。
変調部46は、AFE45から出力されたデジタルの映像信号に対して、例えばデジタル直交変調を施して、映像信号と水平同期信号、垂直同期信号を含む高周波信号であるRF信号を生成する。変調部46は、生成したRF信号をデータ重畳部47に出力する。
音声信号処理部48は、術者用マイクロホン17から入力される術者の音声に対して、A/D変換、ノイズ除去などの各種処理を施し、デジタルの音声信号を生成する。音声信号処理部48は、生成した音声信号をデータ重畳部47に出力する。また、音声信号処理部48は、詳しくは後述するように、復調部52で復調された音声信号に対して、ノイズ除去、D/A変換などの各種処理を施し、術者用スピーカー18に出力する。
図4に示すように、データ重畳部47は、音声信号処理部48から出力された音声信号を、変調部46で生成されたRF信号の水平同期期間Thに重畳する。また、データ重畳部47は、RF信号の垂直同期期間Tvに、音声信号が重畳されていることを表す識別信号を重畳する。データ重畳部47は、術者用マイクロホン17に音声が入力されていないときには作動せず、したがってこのときのRF信号には、音声信号および識別信号は重畳されない。
図3に戻って、送信部49は、アンテナ50を介して、データ重畳部47から出力されたRF信号を、電波20に変換して術者用プロセッサ装置15および指導者用プロセッサ装置70(図6参照)に送信する。
受信部51は、アンテナ50で受信された、指導者用プロセッサ装置70からの電波76(図6も参照)をRF信号に変換して、これを増幅する。復調部52は、電波76を変換したRF信号に対して、例えばデジタル直交検波を施して、電波76に重畳された音声信号、およびズーム操作ボタン100(図8参照)の操作入力信号を復調する。復調部52は、復調した音声信号および操作入力信号を、音声信号処理部48およびCPU40にそれぞれ出力する。
コネクタ53には、バッテリ54が接続されている。バッテリ54の電力は、CPU40により制御される電力供給部55から、電子内視鏡14の各部に供給される。なお、図2には示していないが、操作部22の後部には、バッテリ54を収納するバッテリ収納室が設けられており、コネクタ53はその内部に配されている。また、術者用ヘッドセット19が接続されるコネクタも設けられている。
図5において、CPU60は、術者用プロセッサ装置15全体の動作を統括的に制御する。CPU60には、術者用プロセッサ装置15の動作を制御するための各種プログラムやデータが記憶されたROM61が接続されている。CPU60は、このROM61から必要なプログラムやデータを読み出し、術者用プロセッサ装置15の動作制御を行う。
アンテナ62は、電子内視鏡14からの電波20を受信する。受信部63は、アンテナ62で受信された電波20をRF信号に変換して、これを増幅する。復調部64は、電波20を変換したRF信号に対して、例えばデジタル直交検波を施して、RF信号を電子内視鏡14で変調される前の映像信号に復調する。
同期分離部65は、CPU60の制御の下に、復調部64で復調された映像信号から、振幅分離によって同期信号を分離し、続いて周波数分離により水平同期信号と垂直同期信号とを分離する。ビデオ信号処理部66は、映像信号からデジタルのビデオ信号を生成する。映像信号処理部67は、ビデオ信号処理部66で生成されたビデオ信号に対して、マスク生成やキャラクタ情報付加などの各種画像処理を施す。バッファ68は、映像信号処理部67で各種画像処理が施され、術者用モニタ16に内視鏡画像として表示されるビデオ信号を一旦格納する。
図6において、指導者用内視鏡診断ユニット13は、内視鏡画像を生成する指導者用プロセッサ装置70と、内視鏡画像を表示する指導者用モニタ71と、指導者の音声を取り込む指導者用マイクロホン72を備えた指導者用ヘッドセット73と、術者の音声を出力する指導者用スピーカー74と、操作入力装置75とから構成される。指導者用プロセッサ装置70は、電子内視鏡14との信号の遣り取りを電波20、76にて行う。電波76は、電波20と同様の送受信周波数帯域を有し、Ch1〜4の四つのチャネルで切り替え可能となっている。
図7において、CPU80は、指導者用プロセッサ装置70全体の動作を統括的に制御する。CPU80には、指導者用プロセッサ装置70の動作を制御するための各種プログラムやデータが記憶されたROM81が接続されている。CPU80は、ROM81から必要なプログラムやデータを読み出し、指導者用プロセッサ装置70の動作制御を行う。
アンテナ82は、電子内視鏡14からの電波20を受信するとともに、電子内視鏡14に電波76を送信する。受信部83は、アンテナ82で受信された電波20をRF信号に変換し、これを増幅する。復調部84は、RF信号に対して、例えばデジタル直交検波を施して、RF信号を電子内視鏡14で変調される前の映像信号に復調する。また、復調部84は、電波20に重畳された音声信号を復調する。
音声信号処理部85は、指導者用マイクロホン72から入力される指導者の音声に対して、A/D変換、ノイズ除去などの各種処理を施し、デジタルの音声信号を出力する。また、音声信号処理部85は、復調部84で復調された音声信号に対して、ノイズ除去、D/A変換などの各種処理を施し、指導者用スピーカー74に出力する。
変調部86は、図4の映像信号の部分にダミーの信号をあてたRF信号を生成する。データ重畳部87は、音声信号処理部85から出力された音声信号、およびズーム操作ボタン100の操作入力信号を、変調部86で生成されたRF信号の水平同期期間Thに重畳する。また、データ重畳部87は、RF信号の垂直同期期間Tvに、音声信号、および操作入力信号が重畳されていることを表す識別信号を重畳する。データ重畳部87は、指導者用マイクロホン72に音声が入力されていないとき、およびズーム操作ボタン100が操作されていないときには作動しない。なお、データ重畳部47、87で重畳される識別信号は、互いを区別するためにそれぞれ異なる値となっている。
送信部88は、アンテナ82を介して、データ重畳部87から出力されたRF信号を、電波76に変換して術者用プロセッサ装置15に送信する。なお、同期分離部89〜バッファ92は、術者用プロセッサ装置15の同期分離部65〜バッファ68と同様の機能を有するため、説明を省略する。
図8において、操作入力装置75には、ズーム操作ボタン100、チャネル切り替えダイヤル101、および表示切り替えボタン102が設けられている。ズーム操作ボタン100は、全画面表示されている内視鏡画像のズーム倍率を変更する際に操作される。チャネル切り替えダイヤル101は、分割画面表示(図9参照)で音声を有効にする電子内視鏡14のチャネル、および全画面表示(図9参照)をする内視鏡画像の元となる電波20を発する電子内視鏡14のチャネルを選択する際に操作される。表示切り替えボタン102は、分割画面表示と全画面表示を切り替える際に操作される。
図9に示すように、映像信号処理部91は、表示切り替えボタン102の操作に連動して、内視鏡画像を四台の電子内視鏡14毎に指導者用モニタ71に分割して表示させる、(A)に示す分割画面表示と、チャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14による内視鏡画像のみを指導者用モニタ71全体に表示させる、(B)に示す全画面表示とに切り替える。なお、使用していない内視鏡診断ユニット11がある場合には、分割画面表示の該当箇所には何も表示されないか、使用していない旨を表すメッセージなどが表示される。
受信部83は、表示切り替えボタン102で分割画面表示が選択された場合、四台の電子内視鏡14からの電波20を一定時間間隔で切り替えて受信する。一方、全画面表示が選択された場合は、チャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14からの電波20を選択的に受信する。すなわち、分割画面表示で表示される内視鏡画像は、受信部83の切り替え間隔に応じたフレームレートの間欠的な動画像となり、全画面表示で表示される内視鏡画像は、術者用モニタ16に表示されるものと同じフレームレートの動画像となる。
分割画面表示が選択されていたときには、チャネル切り替えダイヤル101で選択されたチャネルの内視鏡画像が太枠のカーソル103で囲われる。そして、チャネル切り替えダイヤル101で選択されたチャネルからの音声のみが有効となり、術者用マイクロホン17に入力された音声が指導者用スピーカー74から出力される。一方、選択されていない他のチャネルは、術者用マイクロホン17に音声を入力しても、指導者用スピーカー74からは出力されず無効となる。また、この音声の入出力状態は、全画面表示が選択されたときにも引き継がれ、チャネル切り替えダイヤル101で選択されたチャネルからの術者の音声のみが有効となり、その他のチャネルは無効となる。
また、送信部88は、チャネル切り替えダイヤル101で選択されたチャネルの術者用プロセッサ装置15に電波76を送信する。つまり、分割画面表示が選択されているときには、チャネル切り替えダイヤル101で選択されたチャネルへの音声のみが有効となり、指導者用マイクロホン72に入力された音声が術者用スピーカー19から出力され、選択されていない他のチャネルは、指導者用マイクロホン72に音声が入力されても、術者用スピーカー19からは出力されず無効となる。また、この音声の入出力状態は、全画面表示が選択されたときにも引き継がれ、チャネル切り替えダイヤル101で選択されたチャネルへの指導者の音声のみが有効となり、その他のチャネルは無効となる。さらに、分割画面表示が選択されているときには、ズーム操作ボタン100が操作されても、レンズモータ42は駆動されず無効となり、全画面表示が選択されてチャネル切り替えダイヤル101で選択されたチャネルへのズーム操作のみが有効となる。換言すれば、術者と指導者との間の連絡は、チャネル切り替えダイヤル101で選択されたチャネルのみで可能となる。
電子内視鏡14、および指導者用プロセッサ装置70は、音声信号が重畳された電波20、および音声信号、操作入力信号が重畳された電波76の送受信を、半二重通信により行う。具体的には、電子内視鏡14のCPU40は、受信部51で変換されたRF信号に識別信号が重畳されているか否かを検出する。そして、識別信号がデータ重畳部87で重畳されたものであった場合(指導者用マイクロホン72に音声が入力されて電波76に音声信号が重畳されていた場合、あるいは、ズーム操作ボタン100が操作されて電波76に操作入力信号が重畳されていた場合)、術者用マイクロホン17に音声が入力されても、RF信号に音声信号を重畳しないようにデータ重畳部47の動作を制御する。
また、指導者用プロセッサ装置70のCPU80は、指導者用マイクロホン72に音声が入力されて電波76に音声信号を重畳した場合、あるいは、ズーム操作ボタン100が操作されて電波76に操作入力信号を重畳した場合、音声信号が重畳された電波20を受信しても、術者の音声を指導者用スピーカー74から出力しないように、音声信号処理部85の動作を制御する。若しくは、受信部83で変換されたRF信号に識別信号が重畳されているか否かを検出し、識別信号がデータ重畳部47で重畳されたものであった場合、指導者用マイクロホン72に音声が入力されても、あるいは、ズーム操作ボタン100が操作されても、電波76を送信しないように、送信部88を制御する。なお、術者用プロセッサ装置15においても電波76が受信されるが、術者用プロセッサ装置15では、識別信号が検出されたRF信号を処理することなく消去するようにし、電波20を変換したRF信号のみに処理を施すようにしている。
上記のように構成された内視鏡診断システム2で被検体内を観察する際には、LED26をオンして、挿入部21を体腔内に挿入し、体腔内を照明しながら、CCD24による内視鏡画像を術者用モニタ16で観察する。
このとき、対物レンズ23から入射した被検体内の被観察部位の像光は、CCD24の撮像面に結像され、CCD24から撮像信号が出力される。CCD24から出力された撮像信号は、AFE45で相関二重サンプリング、増幅、およびA/D変換が施され、デジタルの映像信号に変換される。
AFE45から出力されたデジタルの映像信号は、変調部46でデジタル直交変調が施され、RF信号が生成される。生成されたRF信号は、送信部49で増幅され、アンテナ50から電波20として送信される。
術者用プロセッサ装置15では、電波20がアンテナ62で受信されると、受信部63で電波20がRF信号に変換され、変換されたRF信号が増幅される。復調部64では、受信部63で増幅されたRF信号にデジタル直交検波が施され、電子内視鏡14で変調される前の映像信号に復調される。
復調部64で復調された映像信号は、CPU60の制御の下に、同期分離部65で同期分離が施され、ビデオ信号処理部66でデジタルのビデオ信号として出力される。ビデオ信号処理部66で出力されたビデオ信号は、映像信号処理部67で各種画像処理が施され、バッファ68に一旦格納されて、術者用モニタ16に内視鏡画像として表示される。
指導者用プロセッサ装置70では、術者用プロセッサ装置15と同様に、電波20から内視鏡画像が生成され、生成された内視鏡画像が指導者用モニタ71に表示される。このとき、表示切り替えボタン102が操作されて分割画面表示が選択されていた場合には、四台の電子内視鏡14からの電波20が、一定時間間隔で順次受信部83で受信される。そして、指導者用モニタ71には、四台の電子内視鏡14毎に内視鏡画像が分割して表示され、チャネル切り替えダイヤル101で選択された内視鏡画像がカーソル103で囲われる。これにより、各検査室10における内視鏡診断の様子を、指導者が確実に把握することができる。
一方、表示切り替えボタン102が操作されて全画面表示が選択されていた場合には、チャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14からの電波20のみが受信部83で受信され、指導者用モニタ71には、チャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14の内視鏡画像のみが表示される。これにより、各検査室10における内視鏡診断の様子を、指導者がより詳細に把握することができる。
続いて、指導者の指示を仰ぐための問い合わせを、チャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14の術者が術者用マイクロホン17に音声入力した場合の処理について説明する。術者用マイクロホン17に入力された術者の音声は、音声信号処理部48で各種処理が施され、デジタルの音声信号に変換される。音声信号処理部48でデジタル化された音声信号は、データ重畳部47で変調部46からのRF信号の水平同期期間Thに重畳される。また、このとき、データ重畳部47により、RF信号の垂直同期期間Tvに識別信号が重畳される。音声信号および識別信号が重畳されたRF信号は、送信部49、アンテナ50を介して、電波20に変換されて術者用プロセッサ装置15および指導者用プロセッサ装置70に送信される。
術者用プロセッサ装置15では、前述の処理により電波20から内視鏡画像が生成される。一方、指導者用プロセッサ装置70では、電波20がアンテナ82で受信されると、受信部83を経由して電波20で表されるRF信号が復調部84に入力され、復調部84で元の映像信号および音声信号に復調される。
復調された映像信号は、術者用プロセッサ装置15の場合と同様の処理を経て、内視鏡画像となり、指導者用モニタ71に全画面表示される。また、復調された音声信号は、音声信号処理部85で各種処理が施され、指導者用スピーカー74に出力される。これにより、術者は、術者用マイクロホン17を用いて指導者に問い合わせをすることができ、指導者は、指導者用スピーカー74を介して術者による問い合わせを聴取することができる。
次に、内視鏡診断への指示を、指導者が指導者用マイクロホン72に音声入力した場合の処理について説明する。指導者用マイクロホン72に入力された指導者の音声は、音声信号処理部85で各種処理が施され、デジタルの音声信号に変換される。音声信号処理部85でデジタル化された音声信号は、変調部86で生成されたダミーの映像信号の水平同期期間Thにデータ重畳部87で重畳され、送信部88、アンテナ82を介して、電波76としてチャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14に送信される。
電子内視鏡14では、電波76がアンテナ62で受信されると、受信部51を経由して電波76で表されるRF信号が復調部52に入力され、復調部52で元のダミーの映像信号および音声信号に復調される。
復調された音声信号は、音声信号処理部48で各種処理が施され、術者用スピーカー18に出力される。ダミーの映像信号は、処理されることなく消去される。これにより、指導者は、指導者用マイクロホン72を用いて術者に指示を与えることができ、術者は、術者用スピーカー18を介して指導者による指示を聴取することができる。
次いで、全画面表示が選択されていて、指導者がズーム操作ボタン100を操作した場合の処理について説明する。ズーム操作ボタン100の操作入力信号は、データ重畳部87に出力され、変調部86で生成されたダミーの映像信号の水平同期期間Thに重畳され、送信部88、アンテナ82を介して、電波76としてチャネル切り替えダイヤル101で選択されたチャネルの電子内視鏡14に送信される。
電子内視鏡14では、電波76がアンテナ62で受信されると、受信部51を経由して電波76で表されるRF信号が復調部52に入力され、復調部52で元のダミーの映像信号および操作入力信号に復調される。
復調部52で復調された操作入力信号は、CPU40に入力される。そして、CPU40の制御の下に、操作入力信号に応じて、駆動部43によってレンズモータ42が動作される。これにより、指導者は、検査室10から離れた指導室12にいながらにして、内視鏡画像のズーム倍率を変更することができる。なお、分割画面表示が選択されていた場合は、指導者がズーム操作ボタン100を操作しても、電波76は送信されない。
ここで、受信部51で変換されたRF信号に重畳された識別信号がデータ重畳部87で重畳されたものであった場合、電子内視鏡14では、術者用マイクロホン17に音声が入力されても、RF信号に音声信号を重畳しないようにデータ重畳部47の動作が制御される。
また、送信部88から電波76を送信する場合、指導者用プロセッサ装置70では、指導者用マイクロホン72に音声が入力されて電波76に音声信号を重畳した場合、あるいは、ズーム操作ボタン100が操作されて電波76に操作入力信号を重畳した場合、音声信号が重畳された電波20を受信しても、術者の音声を指導者用スピーカー74から出力しないように、音声信号処理部85の動作が制御される。若しくは、受信部83で変換されたRF信号に識別信号が重畳されているか否かが検出され、識別信号がデータ重畳部47で重畳されたものであった場合、指導者用マイクロホン72に音声が入力されても、あるいは、ズーム操作ボタン100が操作されても、電波76を送信しないように、送信部88が制御される。これにより、音声信号が重畳された電波20、および音声信号、操作入力信号が重畳された電波76の送受信が半二重通信により行われる。したがって、音声信号や操作入力信号を送受信するために、電波20、76とは別の周波数帯域を用意する必要がなく、同一の周波数帯域で全ての信号の送受信を賄うことができる。よって、割り当てられたチャネルでより多くの術者用内視鏡診断ユニット11を使用可能な内視鏡診断システム2を構築することができる。
上記実施形態では、音声により術者と指導者との間の連絡を行っているが、キーボードなどの文字入力装置を各ユニット11、13に設け、文字入力装置で入力された文字を各モニタ16、71に表示するように構成してもよい。また、ズーム操作ボタン100の操作入力信号を電波76で送受信する例を挙げて説明したが、本発明はこれに限定されず、各装置の動作を制御するための設定情報、例えば、術者用プロセッサ装置15に電波76の受信部を設け、映像信号処理部67の各種処理パラメータ(ホワイトバランス、輪郭強調など)を送受信してもよい。
なお、指導者用モニタ71をタッチパネルで構成し、上記実施形態で操作入力装置75が担っていた機能を、指導者用モニタ71で代用するようにしてもよい。この場合、例えば、分割画面表示がされている際に、指導者が全画面表示をさせたい内視鏡画像の部分に触れることで、全画面表示に切り替わるようにする。
本発明の内視鏡診断システムの構成を示す概略図である。 術者用内視鏡診断ユニットの構成を示す概略図である。 電子内視鏡の構成を示すブロック図である。 音声信号および識別信号が重畳されたRF信号を示す説明図である。 術者用プロセッサ装置の構成を示すブロック図である。 指導者用内視鏡診断ユニットの構成を示す概略図である。 指導者用プロセッサ装置の構成を示すブロック図である。 操作入力装置の構成を示す概略図である。 指導者用モニタの表示形式を示す説明図であり、(A)は内視鏡画像を分割画面表示している状態、(B)は全画面表示している状態をそれぞれ示す。
符号の説明
2 内視鏡診断システム
10 検査室
11 術者用内視鏡診断ユニット
12 指導室
13 指導者用内視鏡診断ユニット
14 電子内視鏡
15 術者用プロセッサ装置
16 術者用モニタ
17 術者用マイクロホン
18 術者用スピーカー
20 電波
24 CCD
40 CPU
47 データ重畳部
49 送信部
51 受信部
60 CPU
63 受信部
70 指導者用プロセッサ装置
71 指導者用モニタ
72 指導者用マイクロホン
74 指導者用スピーカー
75 操作入力装置
76 電波
80 CPU
83 受信部
87 データ重畳部
88 送信部
91 映像信号処理部
100 ズーム操作ボタン
101 チャネル切り替えダイヤル
102 表示切り替えボタン

Claims (4)

  1. 指導室にいる指導者の指示を受けて、検査室にいる術者が内視鏡診断を行う内視鏡診断システムにおいて、
    被検体内の被観察部位を撮像して映像信号を出力し、映像信号を電波に変調して送信する電子内視鏡、
    前記電波を受信して元の映像信号に復調し、映像信号から内視鏡画像を生成する術者用プロセッサ装置、
    および前記術者用プロセッサ装置で生成された内視鏡画像を表示する術者用モニタからなり、前記検査室に複数台設置される術者用内視鏡診断ユニットと、
    前記電波を受信して元の映像信号に復調し、映像信号から内視鏡画像を生成する指導者用プロセッサ装置、
    前記指導者用プロセッサ装置で生成された内視鏡画像を表示する指導者用モニタ、
    および前記指導者により操作され、前記内視鏡画像のズーム倍率を変更するためのズーム操作手段からなり、前記指導室に設置される指導者用内視鏡診断ユニットとを備え、
    前記指導者用プロセッサ装置は、前記内視鏡画像を複数台の電子内視鏡毎に分割して前記指導者用モニタに表示させる分割画面表示と、一つの内視鏡画像を前記指導者用モニタ全体に表示させる全画面表示とに切り替える表示制御部
    および前記分割画面表示がされている際には前記ズーム操作手段の操作入力信号を前記電波に変調して前記電子内視鏡に送信せず、前記全画面表示がされている際のみ前記ズーム操作手段の操作入力信号を前記電波に変調して前記電子内視鏡に送信する送信部を有することを特徴とする内視鏡診断システム。
  2. 前記術者用内視鏡診断ユニットは、前記術者から前記指導者への問い合わせ情報を入力するための術者用情報入力装置と、
    前記指導者から前記術者への指示情報を出力する術者用情報出力装置とを有し、
    前記指導者用内視鏡診断ユニットは、前記指示情報を入力するための指導者用情報入力装置と、
    前記問い合わせ情報を出力する指導者用情報出力装置とを有し、
    前記電子内視鏡は、前記問い合わせ情報を表す信号を、前記映像信号を変調した電波に重畳して送信し、
    前記送信部は、前記指示情報を表す信号を電波に変調して送信し、
    前記電子内視鏡、および前記指導者用プロセッサ装置は、前記問い合わせ情報を表す信号が重畳された電波、および前記指示情報を表す信号を変調した電波の送受信を、半二重通信により行うことを特徴とする請求項1に記載の内視鏡診断システム。
  3. 前記指導者用プロセッサ装置は、前記分割画面表示がされている際には、複数台の電子内視鏡からの電波を一定時間間隔で切り替えて受信し、
    前記全画面表示がされている際には、全画面表示されている内視鏡画像の元となる電子内視鏡からの電波を選択的に受信する受信部を有することを特徴とする請求項1または2に記載の内視鏡診断システム。
  4. 記分割画面表示がされている内視鏡画像の中から、前記全画面表示をする内視鏡画像を選択させるための表示選択手段と、
    前記分割画面表示と前記全画面表示とを切り替える表示切り替え手段とを有することを特徴とする請求項1ないし3のいずれかに記載の内視鏡診断システム。
JP2006217875A 2006-08-10 2006-08-10 内視鏡診断システム Expired - Fee Related JP4880398B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006217875A JP4880398B2 (ja) 2006-08-10 2006-08-10 内視鏡診断システム
EP07014110A EP1929933A3 (en) 2006-08-10 2007-07-18 Endoscopic diagnosing system
US11/882,042 US20080183040A1 (en) 2006-08-10 2007-07-30 Endoscopic diagnosing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006217875A JP4880398B2 (ja) 2006-08-10 2006-08-10 内視鏡診断システム

Publications (2)

Publication Number Publication Date
JP2008036318A JP2008036318A (ja) 2008-02-21
JP4880398B2 true JP4880398B2 (ja) 2012-02-22

Family

ID=39172002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006217875A Expired - Fee Related JP4880398B2 (ja) 2006-08-10 2006-08-10 内視鏡診断システム

Country Status (3)

Country Link
US (1) US20080183040A1 (ja)
EP (1) EP1929933A3 (ja)
JP (1) JP4880398B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219859B2 (en) 2008-02-19 2012-07-10 Olympus Medical Systems Corp. Medical support control system
JP5307524B2 (ja) * 2008-02-05 2013-10-02 オリンパスメディカルシステムズ株式会社 医療支援制御システム
JP5155037B2 (ja) * 2008-06-30 2013-02-27 オリンパス株式会社 受像機及び画像送信機からなる無線通信システム及び、その無線通信方法
JP5558033B2 (ja) * 2009-06-10 2014-07-23 オリンパス株式会社 無線内視鏡装置およびその受信装置、受信方法、受信プログラム
DE102009060500B4 (de) * 2009-12-22 2015-12-17 Xion Gmbh Verfahren zur stroboskopischen Untersuchung sich wiederholender Vorgänge und Anordnung zum Betreiben dieses Verfahrens
US9060674B2 (en) * 2012-10-11 2015-06-23 Karl Storz Imaging, Inc. Auto zoom for video camera
CN107708598A (zh) * 2015-06-18 2018-02-16 奥林巴斯株式会社 医疗系统
US10565977B1 (en) 2018-08-20 2020-02-18 Verb Surgical Inc. Surgical tool having integrated microphones
JP2021191320A (ja) 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5645629A (en) * 1979-09-20 1981-04-25 Olympus Optical Co System for transmitting data of endoscope
US5751341A (en) * 1993-01-05 1998-05-12 Vista Medical Technologies, Inc. Stereoscopic endoscope system
US6384868B1 (en) * 1997-07-09 2002-05-07 Kabushiki Kaisha Toshiba Multi-screen display apparatus and video switching processing apparatus
JP2000271147A (ja) * 1999-03-19 2000-10-03 Olympus Optical Co Ltd 遠隔手術支援システム
US6490490B1 (en) * 1998-11-09 2002-12-03 Olympus Optical Co., Ltd. Remote operation support system and method
JP2001008190A (ja) * 1999-06-18 2001-01-12 Canon Inc 映像伝送システム並びに無線通信装置及び方法
JP2001353124A (ja) * 2000-04-10 2001-12-25 Olympus Optical Co Ltd 内視鏡装置
JP2002017666A (ja) * 2000-06-30 2002-01-22 Olympus Optical Co Ltd 簡易型内視鏡画像音声送受信装置
WO2002043569A2 (en) * 2000-11-28 2002-06-06 Intuitive Surgical, Inc. Endoscopic beating-heart stabilizer and vessel occlusion fastener
JP2003010112A (ja) * 2001-06-28 2003-01-14 Olympus Optical Co Ltd 内視鏡システム
US20030046109A1 (en) * 2001-08-30 2003-03-06 Olympus Optical Co., Ltd. Medical information system for improving efficiency of clinical record creating operations
US20040073455A1 (en) * 2002-05-08 2004-04-15 University Of Rochester Medical Center Child care telehealth access network
JP4187508B2 (ja) * 2002-11-12 2008-11-26 フジノン株式会社 電子内視鏡装置
JP2004181229A (ja) * 2002-11-20 2004-07-02 Olympus Corp 遠隔手術支援システム及び支援方法
US7706859B2 (en) * 2003-08-22 2010-04-27 Olympus Corporation Device for detecting shape of endoscope
JP2005111080A (ja) 2003-10-09 2005-04-28 Olympus Corp 手術支援システム
JP2005118232A (ja) * 2003-10-15 2005-05-12 Olympus Corp 手術支援システム
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
JP2007097653A (ja) * 2005-09-30 2007-04-19 Fujinon Corp 内視鏡診断システム

Also Published As

Publication number Publication date
EP1929933A2 (en) 2008-06-11
EP1929933A3 (en) 2008-07-16
JP2008036318A (ja) 2008-02-21
US20080183040A1 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
JP4880398B2 (ja) 内視鏡診断システム
US7485115B2 (en) Remote operation support system and method
US20050149001A1 (en) Operation support system and support method of operation support system
JP4914574B2 (ja) 内視鏡形状検出装置
JP2006271697A (ja) 電子内視鏡
JP2006218129A (ja) 手術支援システム
JP2008307226A (ja) 内視鏡システム
JP2010035637A (ja) 画像表示装置およびこれを用いた内視鏡システム
JP2005169009A (ja) 内視鏡システム、及び内視鏡
JP2007097653A (ja) 内視鏡診断システム
JPWO2019017208A1 (ja) 手術システム、制御方法、手術機器、並びにプログラム
WO2017002417A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2005118232A (ja) 手術支援システム
JP5080164B2 (ja) 内視鏡観察装置
JP4276747B2 (ja) 内視鏡装置
JP2006280541A (ja) 電子内視鏡システム
WO2016104093A1 (ja) 医療診断装置、超音波観察システム、医療診断装置の作動方法および医療診断装置の作動プログラム
US9782060B2 (en) Medical system
JP2011167332A (ja) 遠隔医療用電子内視鏡システム
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
JP2009039249A (ja) 内視鏡システム
JP2007330405A (ja) 内視鏡システム
JP2000245738A (ja) 遠隔手術支援システム
JP2005143918A (ja) 遠隔手術支援システム
KR102251432B1 (ko) 원격 진료를 위한 진단 장치 및 이를 포함하는 진단 시스템

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees