JP5810247B2 - 立体視内視鏡システム - Google Patents

立体視内視鏡システム Download PDF

Info

Publication number
JP5810247B2
JP5810247B2 JP2015509226A JP2015509226A JP5810247B2 JP 5810247 B2 JP5810247 B2 JP 5810247B2 JP 2015509226 A JP2015509226 A JP 2015509226A JP 2015509226 A JP2015509226 A JP 2015509226A JP 5810247 B2 JP5810247 B2 JP 5810247B2
Authority
JP
Japan
Prior art keywords
image
unit
observation
monitor
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509226A
Other languages
English (en)
Other versions
JPWO2015053043A1 (ja
Inventor
孝則 牛島
孝則 牛島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015509226A priority Critical patent/JP5810247B2/ja
Application granted granted Critical
Publication of JP5810247B2 publication Critical patent/JP5810247B2/ja
Publication of JPWO2015053043A1 publication Critical patent/JPWO2015053043A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/158Switching image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は、右撮像部および左撮像部を有する立体視内視鏡を含む立体視内視鏡システムに関する。
通常の内視鏡装置は被検部位を平面画像として観察するいわゆる2D内視鏡装置であるが、平面画像は遠近感がないために、被検部位の具体的な一例としての体腔壁表面の微細な凹凸等を観察した場合に、立体感が得られない。
そこで、被写体を立体的に観察可能な立体視内視鏡装置が提案されている。従来の立体視内視鏡装置は、例えば、先端部に設けた視差のある2つの対物光学系で被写体像を結像し、これらの被写体像を一対のリレー光学系および一対の接眼光学系によって後端部の接眼部まで伝達して、肉眼観察あるいは一対のTVカメラによって撮像を行うものとなっている。
こうした従来の立体視内視鏡装置の一例として、日本国特開2004−222937号公報の例えば第2の実施の形態には、右結像光学系および右CCDと、右識別信号を出力するIDメモリと、左結像光学系および左CCDと、左識別信号を出力するIDメモリと、左右の映像信号と識別信号とが入力される並べ替え装置と、を備え、並べ替え装置は、識別信号に基づき、右の映像信号を表示装置の奇数ラインに、左の映像信号を表示装置の偶数ラインに、それぞれ出力する立体視内視鏡装置が記載されている。ここに表示装置は、奇数ラインと偶数ラインとで偏光方向が90度異なる偏光板が貼り付けられたものとなっている。従って、奇数ラインを透過した映像を透過できる偏光方向の右レンズと、偶数ラインを透過した映像を透過できる偏光方向の左レンズと、を有する偏光眼鏡を介して表示装置を観察することにより、画像を立体的に観察することが可能となっている。また、該公報の第1の実施の形態には、右の映像信号と左の映像信号とをシーケンシャルに表示して、液晶シャッタ眼鏡を介して立体視観察する技術が記載されている。
また、日本国特開平10−126814号公報には、各フィールドが右眼用なのか左眼用なのかを判別するフィールド判別回路と、判別された右眼用フィールドと左眼用フィールドの少なくともどちらか一方のフィールド中の記録部分に所定の表示信号を付加する付加回路と、を設ける技術が記載されている。
さらに、日本国特開2005−223495号公報には、左目用画素と右目用画素とを交互に配列した表示面と、左/右目用画素の配列に応じて透光領域と遮光領域とを交互に配列して視差を発生させる視差バリアとを備えた立体映像表示手段と、表示面の左半面内に左目用の視聴位置確認情報を、表示面の右半面内に右目用の視聴位置確認情報を、それぞれ表示する視聴位置確認情報表示手段と、を備え、映像視聴時に観察者が適正な視聴位置を視聴位置確認情報に基づいて決定することができるようにする技術が記載されている。
上述した各公報に記載された技術は、製造後の立体視内視鏡を使用する際に利用する技術であるが、立体視内視鏡を製造する際に生じる課題について、図32〜図35を参照して説明する。
まず図32は、左右の撮像部と左右のメモリとを取り違えて接続した立体視内視鏡を3Dモニタで観察する構成を示すブロック図である。
立体視内視鏡101は、内視鏡本体111の右側に配設されたR撮像部112rおよびR出力部115rと、内視鏡本体111の左側に配設されたL撮像部112lおよびL出力部115lと、R撮像部112rから延出されるR信号線113rと、L撮像部112lから延出されるL信号線113lと、右目画像を補正するためのR補正情報を記憶するRメモリ114rと、左目画像を補正するためのL補正情報を記憶するLメモリ114lと、を備えている。
R撮像部112rとL撮像部112lとは、立体視画像を構成するための右目画像と左目画像とをそれぞれ取得することができるように高精度に位置決めして組み立てられるが、画素ピッチレベルでの位置合わせは困難である。従って、R撮像部112rから取得された右目画像とL撮像部112lから取得された左目画像とを、正確に立体視画像を構成することができるように切り出して位置合わせするための補正情報が、Rメモリ114rおよびLメモリ114lにそれぞれ記録されている。
3Dモニタ105は、立体視内視鏡のR出力部115rから出力される画像を右目画像、立体視内視鏡のL出力部115lから出力される画像を左目画像としてそれぞれ入力し、立体視画像として表示するようになっている。
このような構成において、組立ミスにより、R撮像部112rから延出されるR信号線113rがLメモリ114lに結線され、L撮像部112lから延出されるL信号線113lがRメモリ114rに結線されたものとする。
この場合にはL補正情報で補正された右目画像がL出力部115lから出力されて3Dモニタ105において左目画像として表示され、R補正情報で補正された左目画像がR出力部115rから出力されて3Dモニタ105において右目画像として表示されてしまうことになる。
そこで組立時に、2Dモニタ103を用いた図33に示すような検査を行うようになっている。ここに図33は、2Dモニタを使用して図32に示した立体視内視鏡の製造検査を行う構成を示すブロック図である。
2Dモニタ103は、立体視内視鏡101の一方の出力部に接続して用いられるようになっており、この図33に示す例においてはL出力部115lに接続されている。
そして、L撮像部112lのみの撮像範囲内に例えば指などを差し入れて、2Dモニタ103に指が表示されるかどうかを確認する。この図33に示すような誤接続状態では、L出力部115lから出力されるのはR撮像部112rで撮像される右目画像であるために、2Dモニタ103では指が観察されず、L撮像部112lがL出力部115lに接続されていないことを検出することができる。従って、R信号線113rおよびL信号線113lの結線状態を再度確認して正しい接続状態に戻すことができる。
次に、このような検査法だけでは検出できない例を図34および図35を参照して説明する。図34はメモリに記憶させるべき補正情報を左右取り違えて記憶させた立体視内視鏡を3Dモニタで観察する構成を示すブロック図、図35は2Dモニタを使用して図34に示した立体視内視鏡の製造検査を行う構成を示すブロック図である。
右目画像はR補正情報で補正され、左目画像はL補正情報で補正されるべきであるにも関わらず、図34および図35に示す例では、R補正情報とL補正情報とを取り違えてメモリに記憶させてしまい、R撮像部112rがLメモリ114lおよびR出力部115rと結線され、L撮像部112lがRメモリ114rおよびL出力部115lと結線されている。
このときには、L出力部115lに2Dモニタ103を接続して、L撮像部112lのみの撮像範囲内に指を差し入れると、2Dモニタ103に指が表示されるために、撮像部の結線状態は一見正しいように見えてしまう。そして表示されている左目画像が、L補正情報により正しく補正されたものであるか、あるいはR補正情報により誤補正されたものであるかは、2Dモニタ103のみを観察するだけでは確認が困難である。
そこでさらに3Dモニタを用いて、図34に示すように、実際に立体視画像を観察して確認することも考えられる。しかし、立体視画像の認識能力には個人差があることが知られており、文献によっては10%程度の人が立体視画像を3Dとして認識することができないと記載されているものもある。従って、3Dモニタを用いて立体視画像を表示し、目視により補正情報の正誤を確認する検査を実施したとしても、正しい検査結果を得ることができるとは限らなくなってしまう。
こうして、このような場合にも正しく検査することができる検査法の確立が望まれている。
本発明は上記事情に鑑みてなされたものであり、立体視内視鏡の製造に左右の過誤があるか否かを容易に確認することができる立体視内視鏡システムを提供することを目的としている。
本発明のある態様による立体視内視鏡システムは、立体視内視鏡を含む立体視内視鏡システムにおいて、内視鏡本体と、前記内視鏡本体の右側に設けられ、右目画像を取得する右撮像部と、前記内視鏡本体の左側に設けられ、左目画像を取得する左撮像部と、前記右撮像部と前記左撮像部との何れか一方に関連付けられており、前記右目画像を立体視用に補正するための右用補正情報と、格納しているのが前記右用補正情報であることを識別するための右識別情報と、を格納する右メモリと、前記右撮像部と前記左撮像部との何れか他方に関連付けられており、前記左目画像を立体視用に補正するための左用補正情報と、格納しているのが前記左用補正情報であることを識別するための左識別情報と、を格納する左メモリと、前記内視鏡本体の右側に設けられ、製造検査時に、前記右目画像および前記右撮像部に関連付けられた前記右識別情報と前記左識別情報との何れか一方でなる第1の識別情報画像組と、前記左目画像および前記左撮像部に関連付けられた前記右識別情報と前記左識別情報との何れか他方でなる第2の識別情報画像組と、の一方を出力する右出力部と、前記内視鏡本体の左側に設けられ、製造検査時に、前記第1の識別情報画像組と、前記第2の識別情報画像組と、の他方を出力する左出力部と、を有する前記立体視内視鏡と、前記右出力部から入力した識別情報画像組における画像および識別情報を画像合成して右出力画像として、前記左出力部から入力した識別情報画像組における画像および識別情報を画像合成して左出力画像として、出力可能な識別情報合成部と、を具備している。
本発明の実施形態1において、製造時に左右の接続を誤った立体視内視鏡システムの構成を示すブロック図。 上記実施形態1における左右の接続を誤った立体視内視鏡のより具体的な構成を示す図。 上記実施形態1において、R補正情報およびL補正情報について説明するための図。 上記実施形態1において、製造検査時における2Dモニタの第1の表示例を示す図。 上記実施形態1において、製造検査時における2Dモニタの第2の表示例を示す図。 上記実施形態1において、製造検査時における2Dモニタの第3の表示例を示す図。 上記実施形態1において、左右の接続が正しく行われた立体視内視鏡の製造検査時の構成を示すブロック図。 上記実施形態1において、撮像部および出力部に対するメモリの左右の関連付けが誤っている立体視内視鏡の製造検査時の構成を示すブロック図。 上記実施形態1において、撮像部およびメモリに対する出力部の左右の関連付けが誤っている立体視内視鏡の製造検査時の構成を示すブロック図。 上記実施形態1において、撮像部に対するメモリおよび出力部の左右の関連付けが誤っている立体視内視鏡の製造検査時の構成を示すブロック図。 上記実施形態1において、出力部と画像と補正情報の左右の関連における正誤の分類を示す図表。 上記実施形態1における製造検査の流れを示すフローチャート。 上記実施形態1において、製造検査を経て正しく調整された立体視内視鏡を使用するときの立体視内視鏡システムの構成を示すブロック図。 上記実施形態1において、3Dモニタと観察者とがある距離にあるときの輻輳角を示す図。 上記実施形態1において、3Dモニタと観察者とが他の距離にあるときの輻輳角を示す図。 上記実施形態1の立体視内視鏡を用いた内視鏡検査において観察者が3人いる様子を示す平面図。 上記実施形態1において、3Dモニタの視域と図16に示した内の2人の観察者との位置関係を示す側面図。 上記実施形態1において、3Dモニタの視域と3人の観察者との位置関係を示す平面図。 上記実施形態1における表示位置調整機構の構成例を示す斜視図。 上記実施形態1における輻輳角の調整処理の流れを示すフローチャート。 上記実施形態1における3Dモニタの画面の位置調整処理の流れを示すフローチャート。 上記実施形態1において、立体視内視鏡で観察しながら腹腔内で縫合を行う様子を示す図。 上記実施形態1において、腹腔内から針を出して手元で針に付いた糸を切る様子を示す図。 上記実施形態1における立体視内視鏡の操作部の側面に手元照明部を設けた構成を示す図。 上記実施形態1における立体視内視鏡の操作部と挿入部の接続面に手元照明部を設けた構成を示す図。 上記実施形態1において、手元照明部の光源を立体視内視鏡の挿入部の先端部への照明光の光源と兼用する構成例を示す図。 上記実施形態1において、手元照明部に発光源を設けて3Dビデオプロセッサを介して制御するようにした構成例を示す図。 上記実施形態1において、手元照明部に発光源を設けて立体視内視鏡の操作部内で制御するようにした構成例を示す図。 上記実施形態1において、処置具の手元側に手元照明部を設ける構成例を示す図。 上記実施形態1において、2D観察と3D観察とを選択可能な3D観察用メガネにツマミキャップを取り付ける構成を示す図。 上記実施形態1において、3D観察用メガネのツマミキャップを操作して2D観察と3D観察とを切り替える様子を示す図。 従来において、左右の撮像部と左右のメモリとを取り違えて接続した立体視内視鏡を3Dモニタで観察する構成を示すブロック図。 従来において、2Dモニタを使用して図32に示した立体視内視鏡の製造検査を行う構成を示すブロック図。 従来において、メモリに記憶させるべき補正情報を左右取り違えて記憶させた立体視内視鏡を3Dモニタで観察する構成を示すブロック図。 従来において、2Dモニタを使用して図34に示した立体視内視鏡の製造検査を行う構成を示すブロック図。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図31は本発明の実施形態1を示したものであり、図1は製造時に左右の接続を誤った立体視内視鏡システムの構成を示すブロック図である。
本実施形態の立体視内視鏡システムは、立体視内視鏡1と、識別情報合成部2と、2Dモニタ3と、を備えている。
立体視内視鏡1は、内視鏡本体11と、右撮像部であるR撮像部12rと、左撮像部であるL撮像部12lと、R撮像部12rから延出される右信号線であるR信号線13rと、L撮像部12lから延出される左信号線であるL信号線13lと、右メモリであるRメモリ14rと、左メモリであるLメモリ14lと、右出力部であるR出力部15rと、左出力部であるL出力部15lと、を有している。なお、以下においては適宜、右もしくは右目をR、左もしくは左目をLと記載することにする。
R撮像部12rは、内視鏡本体11の先端の右側に設けられ、右目画像を取得する。
L撮像部12lは、内視鏡本体11の先端の左側に設けられ、左目画像を取得する。
ここで左右同じ撮像部を使用する場合は、内視鏡本体11の、右側に組み込まれた撮像部がR撮像部12rとなり、左側に組み込まれた撮像部がL撮像部12lとなり、左右違う撮像部を使用する場合は、組み付けた外観上判断できるため、内視鏡本体11に対して、撮像部の左右が逆になることはない(つまり、内視鏡本体11の右側にL撮像部12lが組み込まれることはなく、内視鏡本体11の左側にR撮像部12rが組み込まれることはない)と考えて良い。
Rメモリ14rは、R撮像部12rとL撮像部12lとの何れか一方に関連付けられており、右目画像を立体視用に補正するための右用補正情報であるR補正情報と、格納しているのがR補正情報であることを識別するための右識別情報であるR補正識別情報と、を格納する。ここにR補正情報は、立体視画像を正確に構成することができるように、R撮像部12rから取得された右目画像を切り出して位置合わせするための補正情報である。
Lメモリ14lは、R撮像部12rとL撮像部12lとの何れか他方に関連付けられており、左目画像を立体視用に補正するための左用補正情報であるL補正情報と、格納しているのがL補正情報であることを識別するための左識別情報であるL補正識別情報と、を格納する。ここに、L補正情報は、立体視画像を正確に構成することができるように、L撮像部12lから取得された左目画像を切り出して位置合わせするための補正情報である。
なお、補正情報と識別情報は一括してメモリに記憶されるために、補正情報と識別情報とのR/Lの不一致が生じることはない(すなわち、R補正情報とL補正識別情報とが同一のメモリに記憶されることはなく、L補正情報とR補正識別情報とが同一のメモリに記憶されることもない)と考えて良い。
また、本実施形態においては、R撮像部12rまたはL撮像部12lと、Rメモリ14rまたはLメモリ14lとが直接接続されて関連付けが行われている例を示しているが、直接接続されている必要はなく、より一般には、R出力部15rとL出力部15lとの内の一方から出力される画像を撮像した撮像部(12rまたは12l)と、同一方から出力される補正情報を記憶するメモリ(14rまたは14l)と、が互いに関連付けられた関係となり、同様に、R出力部15rとL出力部15lとの内の他方から出力される画像を撮像した撮像部(12lまたは12r)と、同他方から出力される補正情報を記憶するメモリ(14lまたは14r)と、が互いに関連付けられた関係となる。
R出力部15rは、内視鏡本体11の右側に設けられ、製造検査時に、右目画像およびR撮像部12rに関連付けられた右識別情報と左識別情報との何れか一方でなる第1の識別情報画像組と、左目画像およびL撮像部12lに関連付けられた右識別情報と左識別情報との何れか他方でなる第2の識別情報画像組と、の一方を出力する。
L出力部15lは、内視鏡本体11の左側に設けられ、製造検査時に、第1の識別情報画像組と、第2の識別情報画像組と、の他方を出力する。
ここに、内視鏡本体11の、右側に配置された出力部がR出力部15rとなり、左側に配置された出力部がL出力部15lとなるために、出力部の左右が逆になることはない(つまり、内視鏡本体11の右側にL出力部15lが配置されることはなく、内視鏡本体11の左側にR出力部15rが配置されることはない)と考えて良い。
また、識別情報合成部2は、R出力部15rから入力した識別情報画像組における画像および識別情報を画像合成して右出力画像として、L出力部15lから入力した識別情報画像組における画像および識別情報を画像合成して左出力画像として、出力可能である。
2Dモニタ3は、2次元画像を表示する表示装置であり、右出力画像と左出力画像との少なくとも一方を入力可能に識別情報合成部2と接続され、入力された右出力画像、左出力画像、または右出力画像および左出力画像を表示する。
なお、図1には、R撮像部12rがLメモリ14lと関連付けられてR出力部15rへ接続され、L撮像部12lがRメモリ14rと関連付けられてL出力部15lへ接続されている例(つまり、正しい組立とはなっていない例)を図示している。
すなわち図1に示す例においては、R撮像部12rから延出されるR信号線13rは、Lメモリ14lへ接続され、さらにR出力部15rへ接続されている。また、L撮像部12lから延出されるL信号線13lは、Rメモリ14rへ接続され、さらにL出力部15lへ接続されている。
そして、図1に示す例においては、識別情報合成部2および2Dモニタ3は、L出力部15lに接続されている。
このような構成により、2Dモニタ3には、画像と、画像に合成された識別情報と、が表示されるようになっている。
次に、図2は、左右の接続を誤った立体視内視鏡1のより具体的な構成を示す図である。
R撮像部12rおよびL撮像部12lは、対物光学系12aと、対物光学系12aにより結像される光学像を光電変換して画像を出力する撮像素子12bと、を備えている。
R信号線13rとL信号線13lとは、基板19の先端側の例えば一面と他面とへそれぞれ接続されていて、基板19の一面と他面とにはメモリが実装されている。基板19の一面に実装されたメモリにL補正情報およびL補正識別情報が記憶されることにより、このメモリはLメモリ14lとなっている。同様に、基板19の他面に実装されたメモリにR補正情報およびR補正識別情報が記憶されることにより、このメモリはRメモリ14rとなっている。さらに、基板19の基端側の、一面にはR出力部15rが、他面にはL出力部15lが、それぞれ実装されている。
続いて、図3は、R補正情報およびL補正情報について説明するための図である。
R撮像部12rとL撮像部12lとを精度良く内視鏡本体11に組み付けたとしても、R撮像部12rにより撮像された右目画像Irをそのまま右目で観察したときの観察イメージVrの中心Crと、L撮像部12lにより撮像された左目画像Ilをそのまま左目で観察したときの観察イメージVlの中心Clから形成されるクロスポイントをある特定の位置に完全に一致させるのは、組み付け時には一般的に困難である。
そこで、組み付け後、ある特定の固定点C0に対して、観察イメージVrの中心と観察イメージVlの中心からなるクロスポイントを一致させるように、電気的に、右目取得画像から表示する右目画像Irを切り出すための補正情報がR補正情報、左目取得画像から表示する左目画像Ilを切り出すための補正情報がL補正情報である。
図4〜図6を参照して、2Dモニタ3の表示例を幾つか説明する。図4は製造検査時における2Dモニタ3の第1の表示例を示す図、図5は製造検査時における2Dモニタ3の第2の表示例を示す図、図6は製造検査時における2Dモニタ3の第3の表示例を示す図である。
図1に示す構成例の場合には、L撮像部12lで撮像された左目画像と、Rメモリ14rに記憶されたR補正識別情報とが識別情報合成部2により画像合成されて、2Dモニタ3の画面3aに表示される。
表示される画像31は図4および図5で同一であるが、識別情報の表示の仕方として、図4に示す第1の表示例の識別情報32AはR補正情報により補正されることを表す「R」の文字を画面3aの中央部に比較的大きく半透過表示し、図5に示す第2の表示例の識別情報32Bは同様に「R」の文字を画像31の観察の妨げになり難い例えば画面3aの右上角部に非透過表示している。
また、2Dモニタ3が複数系統の画像を同時に入力可能であってかつこれらの画像を画面3a上において分割表示することができるタイプのモニタである場合には、L出力部15lからの出力を識別情報合成部2を介して2Dモニタ3に出力すると同時に、さらに、R出力部15rからの出力を識別情報合成部2を介して2Dモニタ3に出力して、例えば図6に示すような表示を行うと良い。
この図6に示す第3の表示例は、画面3aの右側半分にR出力部15rからの出力を表示し、画面3aの左側半分にL出力部15lからの出力を表示している。このときに例えば図5と類似した態様で、画面3aの右側半分の右上角部にR出力部15rから出力されたことを示す識別情報32B(ここでは文字「R」)を、画面3aの左側半分の左上角部にL出力部15lから出力されたことを示す識別情報32B(ここでは文字「L」)を、それぞれ非透過表示している。
なお、この図6に示す例においては、画面3aの右側半分に右目画像31rおよびR補正識別情報である文字「R」が表示され、画面3aの左側半分に左目画像31lおよびL補正識別情報である文字「L」が表示されているために、立体視内視鏡1におけるR,L撮像部12r,12l、R,Lメモリ14r,14l、R,L出力部15r,15lの接続が正しく行われている例となっている。
続いて、図7〜図11を参照しながら、図12に沿って製造検査の流れを説明する。図7は左右の接続が正しく行われた立体視内視鏡1の製造検査時の構成を示すブロック図、図8は撮像部および出力部に対するメモリの左右の関連付けが誤っている立体視内視鏡1の製造検査時の構成を示すブロック図、図9は撮像部およびメモリに対する出力部の左右の関連付けが誤っている立体視内視鏡1の製造検査時の構成を示すブロック図、図10は撮像部に対するメモリおよび出力部の左右の関連付けが誤っている立体視内視鏡1の製造検査時の構成を示すブロック図、図11は出力部と画像と補正情報の左右の関連における正誤の分類を示す図表、図12は製造検査の流れを示すフローチャートである。
図12に示す処理を開始すると、例えば、L出力部15lに識別情報合成部2および2Dモニタ3を接続して、画面3aに表示されているはずの左目画像の確認を、例えばL撮像部12lのレンズ直前に指を差し入れるなどして行う(ステップS1)。この場合には、画面3aに表示されている画像は、指が表示されれば(それまで写っていた画像が指でふさがれて見えなくなれば)左目画像であり、指が表示されなければ(それまで写っていた画像がそのまま見えていれば)右目画像であるということになる。
そして、表示されている画像が左目画像であるか否かを判定する(ステップS2)。
ここで左目画像であると判定された場合には、画面3aに表示されている識別情報(例えば文字「R]または文字「L」など)を見ることで、補正情報の確認を行う(ステップS3)。
確認した補正情報が、L補正情報であるか否かを判定する(ステップS4)。
ここでL補正情報であると判定された場合には、画面3aに、左目画像およびL補正識別情報が表示されている状態であるから、L撮像部12lとLメモリ14lとが関連付けられてL出力部15lに接続されている図7に示す状態、図11におけるケース1に示す状態となっていることが分かり、つまり正しい接続がなされた状態であると識別される(ステップS5)。
また、ステップS4において、L補正情報ではなくR補正情報であると判定された場合には、画面3aに、左目画像およびR補正識別情報が表示されている状態であるから、L撮像部12lとRメモリ14rとが関連付けられてL出力部15lに接続されている図8に示す状態、図11におけるケース2に示す状態となっていることが分かり、L出力部15lから出力される画像の左右は正しいが、画像を補正するための補正情報が逆となった逆補正の状態であると識別される(ステップS6)。
さらに、ステップS2において、表示されている画像が左目画像ではなく右目画像であると判定された場合には、ステップS3と同様に補正情報の確認を行う(ステップS7)。
そして、補正情報がL補正情報であるか否かを判定する(ステップS8)。
ここでL補正情報ではなくR補正情報であると判定された場合には、画面3aに、右目画像およびR補正識別情報が表示されている状態であるから、R撮像部12rとRメモリ14rとが関連付けられてL出力部15lに接続されている図9に示す状態、図11におけるケース3に示す状態となっていることが分かり、L出力部15lから出力される画像の左右は誤っているが、画像を補正するための補正情報の左右は画像の左右と一致している逆画像の状態であると識別される(ステップS9)。
また、ステップS8において、L補正情報であると判定された場合には、画面3aに、右目画像およびL補正識別情報が表示されている状態であるから、R撮像部12rとLメモリ14lとが関連付けられてL出力部15lに接続されている図10に示す状態、図11におけるケース4に示す状態となっていることが分かり、L出力部15lから出力される画像の左右が誤っているだけでなく、画像を補正するための補正情報の左右も画像の左右とは逆となった逆画像かつ逆補正の状態であると識別される(ステップS10)。
こうして、ステップS6、ステップS9、またはステップS10において何らかの誤りがあると確認された場合には、誤りの内容に応じた再調整の処理を行って(ステップS11)、再調整後にこの製造検査の処理を再度行い、一方、ステップS5において正しい接続がなされていると確認された場合には、この製造検査の処理を終了する。
なお、この図12に示す処理においてはL出力部15lからの出力のみを確認しているが、これに代えて、R出力部15rからの出力を確認するようにしても構わない。また、上述では立体視内視鏡1に設けられた2つのメモリの一方がRメモリ14r、他方がLメモリ14lである場合を説明したが、立体視内視鏡1に設けられた2つのメモリの両方にR補正情報が記憶される誤り、あるいは2つのメモリの両方にL補正情報が記憶される誤りが発生する場合もある。このような場合においても、L出力部15lからの出力に対して図12に示すような処理を行うと共に、さらに、R出力部15rからの出力に対して図12に示したのと同様の処理を行うようにすれば良いし、識別情報合成部2において、LとRの組み合わせでなければ、3D映像として表示しないようなアルゴリズムを組めば、3D映像に表示されないことで検知可能である。
次に図13は、上述したような製造検査を経て正しく調整された立体視内視鏡1を使用するときの立体視内視鏡システムの構成を示すブロック図である。
製造検査の後の使用時における立体視内視鏡システムは、立体視内視鏡1と、3Dビデオプロセッサ4と、3Dモニタ5と、表示位置調整機構6と、1つ以上の3D観察用メガネ7と、を備えている。
立体視内視鏡1は、正しく調整されたものであるために、R撮像部12rはR信号線13rを介してRメモリ14rに接続されて関連付けられさらにR出力部15rに接続されると共に、L撮像部12lはL信号線13lを介してLメモリ14lに接続されて関連付けられさらにL出力部15lに接続されている。従って、R出力部15rは右目画像およびR補正情報(あるいは必要に応じてさらにR補正識別情報)を出力し、L出力部15lは左目画像およびL補正情報(あるいは必要に応じてさらにL補正識別情報)を出力する。
3Dビデオプロセッサ4は、R出力部15rが接続されるR画像補正部41rと、L出力部15lが接続されるL画像補正部41lと、3D画像生成部42と、を備え、右目画像をR補正情報により補正した3D右目画像と、左目画像をL補正情報により補正した3D左目画像とを生成するビデオプロセッサである。
R画像補正部41rは、入力される右目画像を入力されるR補正情報に基づき切り出す補正を行い、L画像補正部41lは、入力される左目画像を入力されるL補正情報に基づき切り出す補正を行う。
3D画像生成部42は、R画像補正部41rにより補正された右目画像に基づき立体視観察用の右目画像である3D右目画像を生成すると共に、L画像補正部41lにより補正された左目画像に基づき立体視観察用の左目画像である3D左目画像を生成する。
この3D画像生成部42は、画像シフト補正部43を備えており、R画像補正部41rにより補正された右目画像の画像シフト、およびL画像補正部41lにより補正された左目画像の画像シフトを行うことにより、立体視画像を観察する際の輻輳角を増減させて、3D画像の立体感を強調したり軽減したりするコントロールも行うようになっている。
なお、3Dビデオプロセッサ4を、上述した識別情報合成部2の機能を含みかつ2Dモニタ3を接続可能となるように構成しても構わない。この場合には、通常モードと検査モードとを設けて、通常モードにおいて3Dモニタ5を接続して立体視観察を行い、検査モードにおいて2Dモニタ3を接続して上述したような製造検査等を行うようにすれば良い。
3Dモニタ5は、3Dビデオプロセッサ4からの3D右目画像および3D左目画像に基づき立体視画像を表示するものである。この3Dモニタ5は、3Dモニタ5に対する観察者の位置を検出し、検出した観察者の位置に基づき観察中心位置を取得する観察位置検出部51を備えている。ここに、観察位置検出部51により検出される観察者の位置の情報は、3Dモニタ5を規準としたときの観察者までの距離情報や方位情報を含んでいる。従って、取得される観察中心位置の情報も、3Dモニタ5を規準としたときの観察中心位置までの距離情報や方位情報を含むものとなっている。
そして観察位置検出部51は、観察者が単数である場合には検出した観察者の位置を観察中心位置とし、観察者が複数である場合には検出した複数の観察者の位置の例えば平均値(単純平均、重み付け加算平均など)を観察中心位置とする(あるいは平均演算に代えて、外れ値を演算対象から除外するなどの統計的手法を用いて観察中心位置を取得しても構わない)。
なお、ここでは観察位置検出部51を3Dモニタ5に設けたが、必要な情報を取得することができれば、3Dモニタ5以外の位置に配設しても構わない。
上述した画像シフト補正部43は、観察中心位置から3Dモニタ5を見たときに輻輳角が適切となるように、3D右目画像および3D左目画像を画像シフトする処理を行う。なお、上述では画像シフト補正部43を3Dビデオプロセッサ4内に設けたが、これに限るものではなく、その他の位置に設けても構わない。例えば、画像シフト補正部43を、3Dモニタ5内に設けるようにしても良い。
なお、3Dモニタ5と製造検査時にも用いる2Dモニタ3とは、1つのモニタのモードを切り替えることにより実現するようにしても構わない。この場合には、1つのモニタが2Dモニタ3として機能する際に、上述した右/左識別情報を表示するようにプログラムすると良い。また、1つのモニタが3Dモニタ5として機能する際にも、右/左識別情報を表示することは可能である。もしこのような動作を行う場合には、左識別情報は、3D右目画像と合成されない画面5a(図19参照)の左端の領域がある場合には該領域に、右識別情報は、3D左目画像と合成されない画面5aの右端の領域がある場合には該領域に、それぞれ表示するようにすると良い(ここに、3D右目画像と3D左目画像とは、表示する被写体の領域が一致するとは限らず、相違する場合もあるため)。また、右/左識別情報の表示/非表示は、立体視内視鏡1の手元の操作部側に設けられているスイッチ類や、3Dビデオプロセッサ4に設けられたスイッチ類等により、所望に切り替えることができるようにすると良い。
表示位置調整機構6は、3Dモニタ5の画面5aの位置を変更するものであり、表示位置制御部61と、後述するようなモータ等の駆動機構と、を含んでいる。
また、表示位置制御部61は、観察中心位置が、3Dモニタ5を立体視するのに適した範囲である視域Ω(図17および図18参照)の中央に近接するように(つまり、観察中心位置は視域Ωの中央であることが好ましいが、中央にすることができないときでもなるべく中央に近付くように)、表示位置調整機構6に3Dモニタ5の画面の位置を変更させるものである。なお、ここでは表示位置制御部61を表示位置調整機構6内に設けているが、表示位置調整機構6外に設ける構成であっても構わない。
3D観察用メガネ7は、この立体視内視鏡システムに1つまたは複数設けられていて、観察者が装着した際に、3Dモニタ5の表示方式に応じて立体視観察を可能とするメガネである。具体的に3D観察用メガネ7は、3Dモニタ5が偏光方式である場合には偏光メガネ、アクティブシャッタ方式である場合には液晶シャッタメガネなどとなる。
本実施形態においては、3D観察用メガネ7は、観察位置検出部51が受信可能な信号を発信する信号発信部71を備える構成を採用している。そして、上述した観察位置検出部51は、信号発信部71から受信した信号に基づき観察者の位置を検出するものとなっている。特に、本実施形態の信号発信部71が発信する信号は、3D観察用メガネ7の個体を識別可能な信号を含み、観察位置検出部51は、観察者が複数である場合には、どの3D観察用メガネ7から受信した信号に基づき観察者の位置を検出したかに応じて観察者の位置に重み付けした上で算出した複数の観察者の位置の平均値を観察中心位置とするものとする。
ただし、3D観察用メガネ7が信号発信部71を備えることは必須ではなく、信号発信部71を備えていない場合には、観察位置検出部51は、例えば3Dモニタ5側から観察者側を撮像して得られた画像の解析(例えば、顔検出を行って、検出した顔に対するコントラストAF等に基づく距離検出、画像中の顔の位置および撮像画角に基づく方位検出など)を行うことにより、観察者の位置を検出するものなどであっても構わない。
次に、図14は3Dモニタ5と観察者とがある距離にあるときの輻輳角を示す図、図15は3Dモニタ5と観察者とが他の距離にあるときの輻輳角を示す図である。
図14に示すような3Dモニタ5と観察者との距離がlであるときの輻輳角をθとすると、3Dモニタ5と観察者との距離がl’となったときの輻輳角は図15に示すようにθ’となり、立体視内視鏡システムにおいて3Dモニタ5と観察者との距離が変化すると、輻輳角が変化することになる。輻輳角の変化は、観察者にとっては、例えば立体視における奥行き感の変化として感受される。
そこで、立体視内視鏡システムにおいては、ある程度の距離範囲にある観察者が立体視の奥行き感を適切に感受することができるように画像シフト補正部43により画像シフトを行っている。こうした立体視観察を行うのに適した領域を、視域Ωとする。
観察者が、3Dモニタ5の視域Ωから外れると、例えばクロストーク(3D左目画像だけでなく3D右目画像の一部を左目で観察し、3D右目画像だけでなく3D左目画像の一部を右目で観察する等)が発生して、立体視を行い難くなることがある。観察者が1人の場合には自分が観察し易いように3Dモニタ5の位置を予め調整しておくことは比較的容易であるが、観察者が複数であって1つの3Dモニタ5を同時に観察する場合には、観察者と3Dモニタ5との位置関係によっては最適な状態で立体視を行うことができない場合がある。さらに、観察者がモニタの視域Ω内に入っているかどうかは客観的な判別が難しく、実際に立体視画像を見て確認する以外に適切な方法がなかった。また、特に観察者が複数である場合には、何人かの観察者が移動して視域Ωから外れたり、視域Ω内に再び戻ったりすることも考えられる。また、手術環境では清潔者である観察者は、清潔でないモニタに直接触れることができない。従って、不潔者である第3者がモニタの位置を調整することになるため、調整が煩雑になりやすい課題もあった。
このようなケースの一例について図16〜図18を参照して説明する。
図16は立体視内視鏡を用いた内視鏡検査において観察者が3人いる様子を示す平面図、図17は3Dモニタの視域Ωと図16に示した内の2人の観察者との位置関係を示す側面図、図18は3Dモニタの視域Ωと3人の観察者との位置関係を示す平面図である。
図16に示すように、被検者の周囲に、3Dモニタ5を観察する観察者A〜Cがいるものとする。これを側方から見ると例えば図17に示すようになり、立っている観察者Bの目は視域Ωの境界を外れる位置にある。一方、座っている観察者Aは図17においては視域Ω内に入っているかのように見えるが、上から見ると、図18に示すように視域Ωから外れた位置となっている。
このような場合に本実施形態の立体視内視鏡システムでは、画像シフトを行うことによる輻輳角の調整と、3Dモニタ5の画面5aの高さや方向等に係る位置調整と、の2種類の調整を自動的に行うようになっている。
まず、第1の調整である輻輳角の調整は、観察位置検出部51により取得された観察中心位置に基づいて、画像シフト補正部43により行われる。図20は、輻輳角の調整処理の流れを示すフローチャートである。
この処理を開始すると、観察位置検出部51は、3D観察用メガネ7の信号発信部71が発信した信号を受信して、観察者の位置を取得する(ステップS21)。
そして観察位置検出部51は、取得した観察者の位置が複数であるか否かを判定する(ステップS22)。
ここで観察者の位置が単数である場合には、観察位置検出部51は、検出した観察者の位置を観察中心位置に設定する(ステップS23)。
また、ステップS22において観察者の位置が複数であると判定された場合には、観察位置検出部51は、検出した複数の観察者の位置の例えば重み付け加算平均位置を算出して観察中心位置に設定する(ステップS24)。ここに重み付け加算平均を算出する際の重みは、3D観察用メガネ7の個体毎に予め設定されているかもしくは使用時毎に手動で設定されていて、3D観察用メガネ7からの個体識別可能信号に基づき各観察者の重み付けがなされる。
続いて、画像シフト補正部43は、ステップS23またはステップS24の処理により設定された観察中心位置において最適な輻輳角が得られるように、主として3Dモニタ5から観察中心位置までの距離情報に基づいて(あるいはさらに3Dモニタ5から見た観察中心位置の方位情報にも基づいて)シフト量を演算する(ステップS25)。
そして、画像シフト補正部43は、演算したシフト量に基づき3D右目画像および3D左目画像の画像シフトを行う(ステップS26)。
3Dビデオプロセッサ4は、シフト補正された3D画像を3Dモニタ5に出力し、3Dモニタ5は画像の立体視表示を行って(ステップS27)、この処理を終了する。
次に、第2の調整である3Dモニタ5の画面5aの位置調整は、観察位置検出部51により取得された観察中心位置に基づいて、表示位置調整機構6により行われる。ここに図19は、表示位置調整機構6の構成例を示す斜視図である。
表示位置調整機構6は、例えば、机上等に載置するためのベース部6aと、このベース部6aの一端縁部に水平方向に設けられていて第1のモータ等によって回動可能な第1のヒンジ62と、この第1のヒンジ62を介してベース部6aに対して回動可能に構成された支持部6bと、この支持部6bの上端部に水平方向に設けられていて第2のモータ等によって回動可能な第2のヒンジ63と、この第2のヒンジ63の中央部に設けられていて第3のモータ等によって第2のヒンジ63とは直交する方向に回動可能な第3のヒンジ64と、を備えている。
第1のヒンジ62は、表示位置制御部61(図13参照)の制御によって回動し、3Dモニタ5を(ひいては画面5aを)垂直方向に(重力方向に沿って上下に)移動するものである。
第2のヒンジ63は、表示位置制御部61の制御によって回動し、3Dモニタ5の(ひいては画面5aの)仰角/俯角(すなわち、いわゆるピッチ)を調整するものである。
第3のヒンジ64は、表示位置制御部61の制御によって回動し、3Dモニタ5の(ひいては画面5aの)左右の角度(すなわち、いわゆるヨー)を調整するものである。そして、この第3のヒンジ64を介して3Dモニタ5が取り付けられている。
なお、3Dモニタ5のいわゆるロールは調整の必要度が低いためにここでは調整していないが、何らかの理由により必要であれば調整可能に構成しても勿論構わない。
そして、図21は、3Dモニタ5の画面5aの位置調整処理の流れを示すフローチャートである。
この処理を開始すると、図20を参照して説明したようなステップS21〜S24の処理を行うことにより、観察中心位置を設定する。
次に、表示位置制御部61は、ステップS23またはステップS24の処理により設定された観察中心位置が、3Dモニタ5を立体視するのに適した範囲である視域Ω(図17および図18参照)の中央に近接するように、つまり、観察中心位置が可動範囲内である場合には視域Ωの中央に一致するように、観察中心位置が可動範囲外である場合には視域Ωの中央に最も近接した位置になるように、例えば画面5aの中心位置と法線方向とを演算する(ステップS31)。
そして、表示位置制御部61は、画面5aの中心位置と法線方向とが、ステップS31の演算により得られた中心位置と法線方向とに一致するように、第1〜第3のモータ等を駆動して第1〜第3ヒンジ62〜64を回動させ、3Dモニタ5を位置調整して(ステップS32)、この処理を終了する。
なお、ステップS31において、可動範囲外であるために観察中心位置を視域Ωの中央に一致させることができない場合には、3Dモニタ5の向きや高さを手動で調整するようにメッセージ等を表示するようにしても良い。
また、全ての観察者に対して視域Ω内であるか視域Ω外であるかを判定して、何れかの観察者が視域Ωの外にいる場合には、その旨を知らせるメッセージ等を表示するようにしても構わない。
また、本実施形態では、単一の3Dモニタとしているが、複数の3Dモニタを使用しても良い。その場合、ある特定の観察者に、それぞれのモニタの位置を調整するような重み付けを行ったり、あるいは、特定の観察者ができるだけ視域の中央値で観察できるようにモニタの位置を調整する機構やプログラム等を設けても良い。なお、複数の3Dモニタで観察する場合に、アクティブシャッタ方式では3Dモニタ間における左右信号の同期をとることが難しいため、偏光方式を採用する方が好ましい。
ところで、3D観察用メガネ7が、例えば、偏光メガネである場合には左右のレンズ部に嵌め込まれた偏光フィルタを通過する光は特定方向の偏光に制限されるために通過光量が低減し、液晶シャッタメガネである場合には左右のレンズ部を通過する光は通過時間が制限されるために通過光量が低減する。従って、3D観察用メガネ7を用いて観察を行う場合には、視野が暗くなることになる。観察するのが3Dモニタ5である場合には画面5aの輝度を上げれば良いが、画面5a以外の環境光で照明された部分を観察する場合には必然的に視野が暗くなってしまう。
具体例として、立体視内視鏡1が立体視腹腔鏡である場合を挙げて、図22および図23を参照して説明する。ここに図22は立体視内視鏡1で観察しながら腹腔内で縫合を行う様子を示す図、図23は腹腔内から針を出して手元で針に付いた糸を切る様子を示す図である。
被検者の腹部には、トロッカー81を介して立体視内視鏡1が、また他のトロッカー81を介して鉗子等の処置具8が、それぞれ腹腔内に挿入されている。
立体視内視鏡1は、手元側の操作部1bがトロッカー81の外部にあり、先端側の挿入部1aがトロッカー81を通過して腹腔内へ挿入されている。
また、処置具8は、挿入部8bの先端側に処置部8aが設けられた構成となっており、挿入部8bがトロッカー81を通過して、先端側の処置部8aが腹腔内に挿入されている。
そして図22は、上述したように、立体視内視鏡1により立体視観察を行いながら、処置具8の処置部8aで把持した針82(糸83が付いている)を用いて、腹腔内で縫合を行っている様子を示している。
次に、腹腔内における縫合を行った後に針82に付いた糸83を切ろうとするときには、図23に示すように、トロッカー81から処置具8により把持した針82を取り出して、手元で作業することになる。
ところが、他の処置具8を用いて針82に付いた糸83を切る際に、3D観察用メガネ7を装着したままであると、上述したように観察者の目に届く光量が少なくなるために、手元が暗くなって作業をし難くなる。
明るく観察するために3D観察用メガネ7を外したいところではあるが、3D観察用メガネ7は例えば未滅菌状態となっており、術者等の清潔者は触れることができない。
また、他の方法として、別途の外部照明を用いることも考えられるが、外部照明も3D観察用メガネ7と同様に未滅菌状態であるために、必要となったときに外部照明をあててもらい、不要になったら外部照明を消してもらうといった作業を他者に頼むことが必要となり、作業が非常に煩雑になって手技の遅延につながってしまう。
また、立体視内視鏡1をトロッカー81から取り出して、立体視内視鏡1の先端から照射されている照明光を手元の照明に利用することも可能ではあるが、他の処置具が腹腔内に入っていて縫合状態であるときに、縫合部分から視野を外すのは好ましくない。
このような観点に鑑みてなされた構成について、図24〜図29を参照して説明する。ここに、図24は立体視内視鏡1の操作部1bの側面に手元照明部16を設けた構成を示す図、図25は立体視内視鏡1の操作部1bと挿入部1aの接続面に手元照明部16を設けた構成を示す図、図26は手元照明部16の光源を立体視内視鏡1の挿入部1aの先端部への照明光の光源と兼用する構成例を示す図、図27は手元照明部16に発光源を設けて3Dビデオプロセッサ4Aを介して制御するようにした構成例を示す図、図28は手元照明部16に発光源を設けて立体視内視鏡1の操作部1b内で制御するようにした構成例を示す図、図29は処置具8の手元側に手元照明部86を設ける構成例を示す図である。
まず、図24は、立体視内視鏡1の操作部1bの側面に手元照明部16を設け、さらに操作部1bに手元照明部16のオン/オフを切り替えるための手元照明スイッチ17を設けた構成例となっている。
また、図25は、手元照明スイッチ17の配置は図24と同様であるが、手元照明部16を、立体視内視鏡1の操作部1bにおける先端側の面(挿入部1aとの接続面)に設けた構成例となっている。
次に、図26に示すように、立体視内視鏡1は、手元側からユニバーサルケーブルや照明ケーブル等のケーブル1cを延設し、コネクタ1dを介して光源装置9や光源装置を含むビデオプロセッサ等に接続するようになっている。この図26に示す手元照明部16は、光源装置9から挿入部1aの先端側へ照明光を伝送する例えば光ファイババンドルで構成されたライトガイド18の一部を分岐させて分岐ライトガイド18aとし、照明窓を介して光を照射することにより手元の照明光として利用する構成例となっている。従って、手元照明部16は例えば照明窓に対して開閉可能な照明蓋等を備えており、この照明蓋を操作することで照明のオン/オフを切り替えるようになっている。
一方、図27に示す構成例においては、手元照明スイッチ17からの操作入力はケーブル1c内に配設されている信号線17aを介して3Dビデオプロセッサ4Aに入力される。3Dビデオプロセッサ4Aは、手元照明スイッチ17から照明オンの信号が入力されると、ケーブル1c内に配設されている電力線16aを介して電力を手元照明部16へ供給する。手元照明部16は、LED等のランプを発光源として含んで構成されており、電力が供給されると発光する。一方、手元照明スイッチ17から照明オフの信号が入力されると、3Dビデオプロセッサ4Aは手元照明部16への電力供給を遮断し、発光が停止する。
図28は、手元照明スイッチ17の操作に応じた手元照明部16の発光制御を、操作部1b内で行うようにした構成例である。すなわち、操作部1b内には、制御基板17bおよび電源16bがさらに設けられており、手元照明スイッチ17からの信号線17aは制御基板17bに、電源16bからの電力線16aは手元照明部16に、それぞれ接続されている。なお、手元照明部16がLED等のランプを含んで構成されているのは図27の構成例と同様である。このような構成により、手元照明スイッチ17からの照明オン/オフの信号が制御基板17bに入力されて、制御基板17bが電源16bを制御し、手元照明部16への電力供給のオン/オフ、つまり手元の照明光の発光/停止が制御されるようになっている。
上述した幾つかの例は、より一般な言い方をすれば、手元照明部16を、立体視内視鏡1における挿入部1a以外の部分に設ける構成例となっている。
なお、図24〜図28に示したような手元照明部16や手元照明スイッチ17の構成は、立体視内視鏡1のみに適用するに限るものではなく、2D内視鏡を含むその他の内視鏡にも広く適用することが可能である。
続いて、図29は処置具8の手元側に手元照明部86を設ける構成例を示す図である。処置具8は、先端側の処置部8aと、この処置部8aから手元側へ延設された挿入部8bと、この挿入部8bの手元側に連設された操作部8cと、を備えている。そして、操作部8cに、手元照明部86および手元照明スイッチ87が設けられている。
ところで、立体視による3D観察と通常の2D観察とを切り替える場合には、従来は、3Dモニタ5に設けられている切替用の操作ボタンを操作したり、内視鏡本体のスイッチに機能を割り当てて、内視鏡本体のスイッチによって切り替えるなどの手段があった。しかしながら、切り替えの状態は全ての観察者に反映されてしまうために、観察者毎にそれぞれ3D観察または2D観察を行うことはできなかった。
特に、術者あるいは助手は、深い立体感をもった3D画像を観察しながら手術等の作業を行うことが好ましいが、手術室内を移動することが多い外回りの看護師等の場合には、3Dモニタ5を観察するだけでなく、手元を見ながら処置具やガーゼ等を準備するなどの様々な作業を行うことになるために、立体視観察における視域Ωの外で3Dモニタ5を観察したり、3Dモニタ5の観察と手元の実視野の観察とを頻繁に切り替えたりすることで、眼精疲労や映像酔いを生じるおそれがあった。
このような事情から、観察者の各々が、2D観察と3D観察とを所望に選択可能であることが好ましい。そこで、3Dモニタ5が偏光方式であり3D観察用メガネ7が偏光メガネである場合において、このような所望の選択を可能とする構成例について図30および図31を参照して説明する。
図30は2D観察と3D観察とを選択可能な3D観察用メガネにツマミキャップを取り付ける構成を示す図、図31は3D観察用メガネのツマミキャップを操作して2D観察と3D観察とを切り替える様子を示す図である。
偏光メガネとして構成された3D観察用メガネ7は、立体視観察時においては、レンズ部に嵌め込まれた右目用偏光フィルタ7Rと左目用偏光フィルタ7Lとの偏光方向が90°異なっている。
そこで、右目用偏光フィルタ7Rと左目用偏光フィルタ7Lとの少なくとも一方に、観察する視線の周りにフィルタ偏光方向を少なくとも90°回転可能な回転機構と、回転機構の回転操作を手動で行うためのツマミ72と、を設けている。
さらに、このツマミ72には、滅菌されたツマミキャップ73が着脱可能に装着されるようになっている。これにより、ツマミキャップ73を介して2D観察と3D観察とを切り替える操作を行ったとしても、観察者の滅菌状態が損なわれることはない。
なお、回転機構を左目用偏光フィルタ7L側のみに取り付ける場合には回転操作により右目用画像のみを両眼で観察可能となり、回転機構を右目用偏光フィルタ7R側のみに取り付ける場合には回転操作により左目用画像のみを両眼で観察可能となる。
また、回転機構を左目用偏光フィルタ7L側と右目用偏光フィルタ7R側との両方に取り付ける場合には、右目用画像と左目用画像との何れも所望に両眼で観察可能となるが、両方の回転機構を同時に操作すると右目用画像が左目で観察され、左目用画像が右目で観察されてしまう(逆画像になってしまう)ために、何れか一方の偏光フィルタの回転操作が行われる場合には他方の偏光フィルタの回転操作を禁止する機構(同時操作を禁止する機構)をさらに設けるようにすることが好ましい。
また、右目用偏光フィルタ7Rまたは左目用偏光フィルタ7Lの回転は、ツマミ72を介して手動により行うに限るものではなく、モータ等の駆動系を用いて電動で行うようにしても構わない。このときには、操作スイッチを3D観察用メガネ7に設けて、この操作スイッチからの入力操作に応じて駆動系の動作が行われるように構成することになる。このときさらに、操作スイッチに滅菌されたツマミキャップ73等を装着すると良いのは上述した通りである。
なお、3Dモニタ5がアクティブシャッタ方式や液晶シャッタ方式であっても、上述するようにスイッチ操作により2D観察と3D観察とを切り替える構成を採用することで、観察者毎に観察者自身による2D観察、3D観察の切り替えが可能である。
こうして、図30および図31に示したような構成によれば、手技を中断することなく観察者のそれぞれが2D観察と3D観察とを所望に切り替えることができるために、各観察者が、3Dモニタ5に対する位置に応じて、あるいは必要に応じて、最適な2D/3D観察モードを選択することが可能となる。
また、駆動系を用いて電動で2D観察と3D観察とを切り替える場合には、切替動作がスムーズになると共に、切り替え操作がスイッチの1回押し等となってツマミ72を90度回転させる場合よりも簡便となり、手術を中断する時間をより一層短縮することが可能となる。
このような実施形態1によれば、左右のメモリのそれぞれに、補正情報と、補正情報の左右を示す識別情報とを格納し、左右の出力部から出力される画像に識別情報をそれぞれ画像合成するようにしたために、右または左の撮像部の前面に例えば指などを差し入れることにより画像の左右を確認することができ、さらに画像に合成されている識別情報を見ることにより補正情報の左右を確認することが可能となる。こうして、左目画像を右目で観察する逆画像、あるいは右目画像を左目で観察する逆画像を防ぐことができ、かつ、左目画像を右用補正情報で補正する逆補正、あるいは右目画像を左用補正情報で補正する逆補正を防ぐことができる。
また、2Dモニタ3を用いることにより、識別情報が合成された画像の確認を、R,L出力部15r,15lのそれぞれに対して個別に確認することが可能となる。また、2系統入力可能な2Dモニタ3を用いる場合には、左右の確認を同時に行うことも可能となる。
そして、このような製造検査を経て正しく製造された立体視内視鏡を用いることにより、左右の入れ違いのない、左右の補正間違いのない、正しい立体視画像を3Dモニタ5により観察することが可能となる。
3Dモニタ5に対する観察者の位置を検出してさらに観察中心位置を取得し、3D右目画像および3D左目画像の画像シフトを観察中心位置に基づいて行うようにしたために、観察中心位置から3Dモニタ5を見たときの輻輳角を自動的に適切に調整することが可能となる。従って、より多くの観察者が、適切な奥行き感で立体視観察を行うことが可能となる。
また、観察中心位置に基づき3Dモニタ5の画面の位置を変更するようにしたために、観察中心位置を視域Ωの中央に近接する調整を自動的に行うことができ、より多くの観察者に対して適切な立体視観察を可能とすることができる。
3D観察用メガネ7に信号発信部71を設けて、信号発信部71からの信号に基づき観察者の位置を検出する場合には、より確実な位置検出が可能となる。
観察者が複数である場合に、複数の観察者の位置の平均値を観察中心位置とすることにより、演算を過度に複雑にすることなく、妥当な観察中心位置を得ることができる。
加えて、3D観察用メガネ7の信号発信部71が個体を識別可能な信号を発信するようにする場合には、特定の観察者の重みを重くして観察中心位置を得ることができる。これにより、主たる観察者(例えば主任執刀医)が常に最適な位置で観察することができるようにすることが可能となる。
こうして本実施形態の立体視内視鏡システムによれば、立体視内視鏡1の製造に左右の過誤があるか否かを容易に確認することが可能となる。
なお、上述では主として立体視内視鏡システムについて説明したが、立体視内視鏡システムを上述したように作動させる作動方法であっても良いし、コンピュータに立体視内視鏡システムを上述したように作動させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本出願は、2013年10月8日に日本国に出願された特願2013−211349号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

  1. 立体視内視鏡を含む立体視内視鏡システムにおいて、
    内視鏡本体と、
    前記内視鏡本体の右側に設けられ、右目画像を取得する右撮像部と、
    前記内視鏡本体の左側に設けられ、左目画像を取得する左撮像部と、
    前記右撮像部と前記左撮像部との何れか一方に関連付けられており、前記右目画像を立体視用に補正するための右用補正情報と、格納しているのが前記右用補正情報であることを識別するための右識別情報と、を格納する右メモリと、
    前記右撮像部と前記左撮像部との何れか他方に関連付けられており、前記左目画像を立体視用に補正するための左用補正情報と、格納しているのが前記左用補正情報であることを識別するための左識別情報と、を格納する左メモリと、
    前記内視鏡本体の右側に設けられ、製造検査時に、前記右目画像および前記右撮像部に関連付けられた前記右識別情報と前記左識別情報との何れか一方でなる第1の識別情報画像組と、前記左目画像および前記左撮像部に関連付けられた前記右識別情報と前記左識別情報との何れか他方でなる第2の識別情報画像組と、の一方を出力する右出力部と、
    前記内視鏡本体の左側に設けられ、製造検査時に、前記第1の識別情報画像組と、前記第2の識別情報画像組と、の他方を出力する左出力部と、
    を有する前記立体視内視鏡と、
    前記右出力部から入力した識別情報画像組における画像および識別情報を画像合成して右出力画像として、前記左出力部から入力した識別情報画像組における画像および識別情報を画像合成して左出力画像として、出力可能な識別情報合成部と、
    を具備したことを特徴とする立体視内視鏡システム。
  2. 2次元画像を表示するための2Dモニタをさらに具備し、
    前記2Dモニタは、前記右出力画像と前記左出力画像との少なくとも一方を入力可能に前記識別情報合成部と接続され、入力された前記右出力画像、前記左出力画像、または前記右出力画像および前記左出力画像を表示することを特徴とする請求項1に記載の立体視内視鏡システム。
  3. 前記製造検査の後の使用時には、前記右メモリは前記右撮像部に、前記左メモリは前記左撮像部に、それぞれ関連付けられていて、前記右出力部は前記右目画像および前記右用補正情報を出力し、前記左出力部は前記左目画像および前記左用補正情報を出力し、
    前記右出力部および前記左出力部が接続され、前記右目画像を前記右用補正情報により補正した3D右目画像と、前記左目画像を前記左用補正情報により補正した3D左目画像とを生成する3Dビデオプロセッサと、
    前記3Dビデオプロセッサからの前記3D右目画像および前記3D左目画像に基づき立体視画像を表示する3Dモニタと、
    をさらに具備したことを特徴とする請求項1に記載の立体視内視鏡システム。
  4. 前記3Dモニタに対する観察者の位置を検出し、検出した観察者の位置に基づき観察中心位置を取得する観察位置検出部をさらに具備し、
    前記3Dビデオプロセッサは、前記観察中心位置から前記3Dモニタを見たときに輻輳角が適切となるように、前記3D右目画像および前記3D左目画像を画像シフトする画像シフト補正部を有することを特徴とする請求項3に記載の立体視内視鏡システム。
  5. 前記3Dモニタの画面の位置を変更する表示位置調整機構と、
    前記観察中心位置が、前記3Dモニタを立体視するのに適した範囲である視域の中央に近接するように、前記表示位置調整機構に前記3Dモニタの画面の位置を変更させる表示位置制御部と、
    をさらに具備することを特徴とする請求項4に記載の立体視内視鏡システム。
  6. 前記観察者が装着した際に、前記3Dモニタの表示方式に応じて立体視観察を可能とする3D観察用メガネをさらに具備し、
    前記3D観察用メガネは、前記観察位置検出部が受信可能な信号を発信する信号発信部を有し、
    前記観察位置検出部は、前記信号発信部から受信した信号に基づき前記観察者の位置を検出することを特徴とする請求項5に記載の立体視内視鏡システム。
  7. 前記観察位置検出部は、前記観察者が単数である場合には検出した観察者の位置を前記観察中心位置とし、前記観察者が複数である場合には検出した複数の観察者の位置の平均値を前記観察中心位置とすることを特徴とする請求項6に記載の立体視内視鏡システム。
  8. 前記信号発信部が発信する信号は、前記3D観察用メガネの個体を識別可能な信号を含み、
    前記観察位置検出部は、前記観察者が複数である場合には、どの3D観察用メガネから受信した信号に基づき前記観察者の位置を検出したかに応じて前記観察者の位置に重み付けした上で算出した前記複数の観察者の位置の平均値を前記観察中心位置とすることを特徴とする請求項7に記載の立体視内視鏡システム。
JP2015509226A 2013-10-08 2014-09-12 立体視内視鏡システム Active JP5810247B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015509226A JP5810247B2 (ja) 2013-10-08 2014-09-12 立体視内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013211349 2013-10-08
JP2013211349 2013-10-08
JP2015509226A JP5810247B2 (ja) 2013-10-08 2014-09-12 立体視内視鏡システム
PCT/JP2014/074225 WO2015053043A1 (ja) 2013-10-08 2014-09-12 立体視内視鏡システム

Publications (2)

Publication Number Publication Date
JP5810247B2 true JP5810247B2 (ja) 2015-11-11
JPWO2015053043A1 JPWO2015053043A1 (ja) 2017-03-09

Family

ID=52812863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509226A Active JP5810247B2 (ja) 2013-10-08 2014-09-12 立体視内視鏡システム

Country Status (5)

Country Link
US (1) US9848758B2 (ja)
EP (1) EP2989963A4 (ja)
JP (1) JP5810247B2 (ja)
CN (1) CN105377110B (ja)
WO (1) WO2015053043A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114817B4 (de) 2019-06-03 2021-12-02 Karl Storz Se & Co. Kg Bildgebungssystem und Verfahren zur Beobachtung
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220538B2 (ja) * 1992-12-24 2001-10-22 オリンパス光学工業株式会社 立体視内視鏡及び立体視内視鏡装置
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ
JPH10126814A (ja) 1996-10-21 1998-05-15 Concepts:Kk 立体視用ビデオテープの加工方法とその装置
JP2004222937A (ja) 2003-01-22 2004-08-12 Olympus Corp 立体視内視鏡装置
JP2005223495A (ja) 2004-02-04 2005-08-18 Sharp Corp 立体映像表示装置及び方法
US20120004508A1 (en) * 2010-07-02 2012-01-05 Mcdowall Ian Surgical illuminator with dual spectrum fluorescence
KR101292513B1 (ko) * 2010-11-22 2013-08-01 가부시끼가이샤 도시바 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치
EP2674099B1 (en) 2011-08-26 2016-12-14 Olympus Corporation Medical equipment system
JP5947595B2 (ja) 2012-03-30 2016-07-06 株式会社フジクラ 回路基板及び多層回路基板並びにそれらの製造方法
JP5949592B2 (ja) * 2013-02-14 2016-07-06 ソニー株式会社 内視鏡及び内視鏡装置

Also Published As

Publication number Publication date
CN105377110A (zh) 2016-03-02
EP2989963A4 (en) 2016-11-23
CN105377110B (zh) 2017-07-14
EP2989963A1 (en) 2016-03-02
US20160095504A1 (en) 2016-04-07
WO2015053043A1 (ja) 2015-04-16
US9848758B2 (en) 2017-12-26
JPWO2015053043A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JP5730339B2 (ja) 立体内視鏡装置
US9307894B2 (en) Endoscope comprising a system with multiple cameras for use in minimal-invasive surgery
US9756315B2 (en) Endoscopic system to display three-dimensional picture
US20160255324A1 (en) Stereoscopic visualization system
JP4398352B2 (ja) 医療用立体撮像装置
JP4721981B2 (ja) 立体顕微鏡
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP4098535B2 (ja) 医療用立体表示装置
US9782057B2 (en) Three-dimensional image system for multiple 3D display
JP2006158452A5 (ja)
US20140187857A1 (en) Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
JP2001104331A (ja) 医療用顔面装着型映像表示装置
JP2015126288A (ja) 立体観察装置の調整治具及び立体観察システム
JP5810247B2 (ja) 立体視内視鏡システム
JP3816599B2 (ja) 体腔内処置観察システム
JP5802869B1 (ja) 外科用デバイス
US20190394454A1 (en) Medical-image display control device, medical-image display device, medical-information processing system, and medical-image display control method
JPH09248276A (ja) 視野方向可変硬性鏡装置
JP2023103499A (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
JP4573667B2 (ja) 内視鏡装置
JP2004233480A (ja) 立体内視鏡システム
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP2001109445A (ja) 顔面装着型映像表示装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5810247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250