JP4610799B2 - 立体観察システム、及び内視鏡装置 - Google Patents

立体観察システム、及び内視鏡装置 Download PDF

Info

Publication number
JP4610799B2
JP4610799B2 JP2001191556A JP2001191556A JP4610799B2 JP 4610799 B2 JP4610799 B2 JP 4610799B2 JP 2001191556 A JP2001191556 A JP 2001191556A JP 2001191556 A JP2001191556 A JP 2001191556A JP 4610799 B2 JP4610799 B2 JP 4610799B2
Authority
JP
Japan
Prior art keywords
signal
mode
image
stereoscopic
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001191556A
Other languages
English (en)
Other versions
JP2003009185A5 (ja
JP2003009185A (ja
Inventor
雅尚 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001191556A priority Critical patent/JP4610799B2/ja
Priority to US10/177,525 priority patent/US7046270B2/en
Publication of JP2003009185A publication Critical patent/JP2003009185A/ja
Publication of JP2003009185A5 publication Critical patent/JP2003009185A5/ja
Application granted granted Critical
Publication of JP4610799B2 publication Critical patent/JP4610799B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • G09G2340/0471Vertical positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • G09G2340/0478Horizontal positioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Description

【0001】
【発明の属する技術分野】
本発明は立体観察する立体視モードを備えた立体観察システム、及び内視鏡装置に関する。
【0002】
【従来の技術】
近年、観察対象としての被写体2次元的に観察するシステムの他に、立体的に観察できるようにした立体観察システムが普及する傾向にある。
図13は従来の立体観察システム130を示す。
【0003】
従来の立体観察システム130は、被写体131を左観察用のLカメラ132a及び右観察用のRカメラ132bで撮像し、Lカメラ132a及びRカメラ132bで撮像した信号をフィールド切り替えSW134を用いてフィールド毎に切り替えることにより、L/Rフィールド順次信号135を作成し、これを立体ソース信号としていた。
【0004】
L/Rフィールド順次信号135は、Lカメラ132aで撮像した信号とRカメラ132bで撮像した信号がフィールド(=1V)毎に順次に構成されたものであり、通常のTV信号フオーマットと同期信号を同じにして整合性を持たせるようにしてある。
【0005】
記録保存したい時などは、記録信号としてVTR136などの記録装置に入力して保存が可能となる。当然VTR136等のリモコン137を用いて、記録編集作業も可能であり、VTR136の機能をリモコンのメニューボタン138で操作ができる。
【0006】
VTR136から再生された再生信号としての(或いはVTR136を介挿しない状態での)L/Rフィールド順次信号135は、フィールド遅延メモリ139に入力されると共に、SWL140a、SWR140bに入力される。また、フィールド遅延メモリ139でフィールド遅延されるた信号もSWL140a、SWR140bに入力される。SWL140a、SWR140bは、垂直同期信号の1/2周期の1/2Fv信号によりスイッチングされる。
【0007】
ここスイッチング(切替)により、L信号142a及びR信号142bが分離生成される。L信号142a、R信号142bは、L/Rフィールド順次信号135から左右の信号を分離したものであり、それぞれ、立体観察用FMDゴーグル(3DFMDゴーグルと略記)144のL−LCD145aおよびR−LCD145bに入力される。
【0008】
3DFMDゴーグル144では、観察者の左眼147aでL−LCD145aを、さらに観察者の右眼145bにてR−LCD145bを観察するという具合に、対応する左右の画像を観察することにより、立体感のある画像を体験することができる。
尚、3DFMDゴーグル144にはH移動手段148及びV移動手段149が設けてある。H移動手段148及びV移動手段149は、人による瞳視差を補正するものであり、観察者の視差に応じ、L信号142aに対するR信号142bの位置関係を水平方向と垂直方向に平行移動して視差を合わせ込むためのものである。
【0009】
従来例の画像の見え方を詳しく説明するための図が、図14および図15である。図14では、図14(A)によりL信号142aに対してのR信号142bの画像の見え方を相対的に示している。
【0010】
瞳視差を補正するために、H移動手段148およびV移動手段149にてL信号142aに対してR信号142bを移動するが、この移動量がΔH151、ΔV152に相当する。
【0011】
尚、このΔH151、ΔV152の移動量の補正を受けたときのL−LCD145aとR−LCD145bの見え方は、図14(B)と図14(C)に示すようになる。
【0012】
L−LCD145a上には像L153aが表示され、かつR−LCD145b上には像R153bが表示される。左眼147aで見る像L153aと、右眼147bで見る像R153bは、観察者の瞳視差に合わせてΔH151、ΔV152にて補正がかかり最適化してあるので、立体的に見える。
【0013】
ここで、オンスクリーンディスプレイ像155a、155bは、リモコン137のメニューボタン138の操作により表示されたものであり、VTR136のオンスクリーン表示が出てくる。
【0014】
【発明が解決しようとする課題】
たとえば入力切替の状態で「A」入力端子接続の場合は「A」と表示される。R−LCD145b上でオンスクリーンディスプレイ像155bの見え方は、被写体像を立体的に観察し易いように、観察者の瞳視差に合わせてΔH151、ΔV152にて補正がかかり最適化してあるので、L−LCD145a上とで見える位置が異なったものとなる。
【0015】
図15は、観察者の観察している時のイメージ図を示す。像L153aと像R153bとで立体的に見えるのに対して、オンスクリーンディスプレイ像は、ΔH151、ΔV152にて補正がかかったことにより、観察者にとっては、異なる位置でオンスクリーン像155a、155bがダブって観察される。
【0016】
このため、被写体像は立体的に見えるが、オンスクリーンディスプレイ像155a、155bはダブって観察される状態となるため、見づらい状態となってしまう。
【0017】
上述の説明では瞳視差による影響の場合で説明したが、この他に例えば通常モード(2Dモード)で左右の画像の一方の画像側にメニュー等のオンスクリーンディスプレイ像をオーバレイ表示した場合において、3Dモードに変更した場合には一方の眼の観察画面のみにオンスクリーンディスプレイ像が表示され、他方の観察画面側にはオンスクリーンディスプレイ像が表示されない状態となってしまうので、見づらい画面となってしまう。
【0018】
(発明の目的)
本発明は上述した点に鑑みてなされたもので、オンスクリーンディスプレイ像のようなキャラクタ情報を見易い状態で表示できるようにした立体観察システムを提供することを目的とする。
【0019】
【課題を解決するための手段】
一対の表示部と、左眼及び右眼用の画像を前記一対の表示部にそれぞれ表示させる立体視モードと、前記左眼及び右眼用の画像のうち何れか一方を前記一対の表示部に表示させる通常モードとに表示状態を切り替える制御部と、前記左眼及び右眼用の画像に重畳情報を重畳する演算処理部と、を備え、前記制御部は、前記立体視モードにおいて、前記演算処理部が前記重畳情報を前記画像に重畳するとき、自動的に前記立体視モードを解除して前記通常モードに前記表示状態を設定することにより、重畳情報の表示がダブったり、表示欠けが生じたりすることなく、両目で見易い状態で観察できるようにしている。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図9は本発明の第1の実施の形態に係り、図1は第1の実施の形態のビデオ内視鏡システムを使用形態で示し、図2はFMDアダプタの構造を示し、図3は内視鏡リモコンの構造を示し、図4はFMDアダプタの電気系の構成を示し、図5は各種の表示モードでの表示例を示し、図6は3Dモードでの動作を示し、図7は3Dタイマ回路による動作を示し、図8は2Dモードから3Dモードに変更する操作を行った場合における代表的な動作例を示し、図9は3Dモード時の視差を補正する手段の構成等を示す。
【0021】
図1に示すように本発明の立体観察システムの第1の実施の形態のビデオ内視鏡システム1は箱型のビデオ内視鏡本体2を有する。このビデオ内視鏡本体2は箱型のケース3の内部に図示しない円筒状のドラムが収納され、そのドラムに内視鏡挿入部4が巻き付けてあり、ドラムを回転させることにより、内視鏡挿入部4を、ケース上面の口部3aから引き出したり、側面に設けたハンドルカバー5のハンドル5aを回動してドラムに巻き付けて内視鏡挿入部4をケース3内に収納したりすることができるようにしている。
【0022】
この内視鏡挿入部4は可撓性を有し、その先端部には、ステレオ撮像を行うためのステレオ光学アダプタ(立体光学アダプタ)6を装着できるようになっている。
また、ケース3上面にはLCDモニタ7が伸縮式ポール8により伸縮自在に設けられており、立体観察を行う立体観察モード(3Dモードと略記)ではなく、通常の2次元画像で観察する通常観察モード(2Dモードと略記)の場合にはこのLCDモニタ7で表示することができるようにしている。
【0023】
また、このケース3上面には、リモコンコネクタ9が設けてあり、内視鏡リモコン11のリモコンケーブル12を着脱自在に接続することができる。このケース3上面は蓋13により、上面部分を開閉できるようにしている。
【0024】
内視鏡リモコン11にはアダプタコネクタ14が設けてあり、アダプターケーブル15の一端が着脱自在に接続され、このアダプタケーブル15の他端はフェイスマウントディスプレイアダプタ(FMDアダプタと略記)16のアダプタコネクタ17に着脱自在に接続される。
【0025】
FMDアダプタ16にはベルトフツク18が取付可能であり、観察者19のベルト20に装着できる。FMDアダプタ16からはゴーグルケーブル21が出ており、立体FMDゴーグル(3DFMDゴーグルと略記)22に接続される。この3DFMDゴーグル22には、観察者19の左右の眼に対向する位置にL−LCD23a、R−LCD23bが設けてあり、また左右の耳に装着可能なゴーグルイヤホン24a、24bが設けてある(図4参照)。
【0026】
次に図2を参照して、FMDアダプタ16の構成を説明する。
このFMDアダプタ16は、上カバー26と、下カバー27と、フロントパネル28と、さらにこれらの内部に収納される複数の基板29とから構成されている。下カバー27にはベルトフック18がこの下カバー27の裏面にネジ等で取付けることができるようにしてある。
【0027】
フロントパネル28には、水平位置を調整するH1,H2位置摘み31、垂直位置を調整するV1,V2位置摘み32、反転表示させるINVスイッチ33、拡大表示させるZoomスイッチ34、3Dモードに設定する3Dスイッチ35、ピクチャインピクチャ表示させるPinPスイッチ36が配置されている。
3Dモードに入るときは、Zoomスイッチ34と3Dスイッチ35を同時押したときのみ3Dモードに入る。観察者19の意図しないスイッチ操作により3Dモードに入るのを防ぐ工夫にしている。
【0028】
尚、上カバー26上面には、画質調整ノブ37が出ており、コントラスト等の画質モードを変更できるようになっている。FMDアダプタ16には、3DFMDゴーグル22がゴーグルケーブル21を介して接続されている。さらに、アダプタコネクタ17が接続され、アダプタケーブル15が接続される。
【0029】
尚、視差アジャスタ38がFMDアダプタ16のフロントパネル28に取り付けられており、3Dモード利用時に観察者個人の瞳視差を補正するキャリブレーションマーク102A、102B(図9参照)を内蔵している。
【0030】
図3を参照して、内視鏡リモコン11の説明する。内視鏡リモコン11の構造を図3(A)に、リモコン内部回路を図3(B)に、さらに3Dリセット信号発生モードの表を図3(C)に示す。
内視鏡リモコン11には、リモコンケーブル12とアダプタケーブル15が接続されている。内視鏡リモコン11には、多くのボタンとジョイステック等が設けてあり、内視鏡本体2の操作を集中的に実行できる。
【0031】
この内視鏡リモコン11には、Powerボタン40があり、これを操作することによりビデオ内視鏡本体2の電源をON/OFFできる。またインデックスボタン41はビデオ内視鏡本体2に蓄積された複数枚の画像をサムネイル表示する機能を持っている。
メニューボタン42は、このメニューボタン42をONすると、画面上にメニュー画面が表示される。細かな機能設定をメニューボタン42を押すことにより呼び出すことができる。
【0032】
画像処理(計測等)&メニューセレクト・ボタン43は、5Wayのジョイステックであり、センタプッシュで計測画像処理が実行される。また、表示されたメニュー項目の選択も実施でき、機能の選択操作も行える。
さらに、画像上には図示しないが、計測用のオンスクリーンメニューが表示され計測操作の補助をする。
【0033】
センタボタン44は、湾曲をかけないニュートラル位置に戻す働きをしている。このセンタボタン44を押したときは、湾曲がかかっていても湾曲のかかっていないニュートラル位置に戻る動作をする。
LIVEボタン45は、メニュー操作をしていてもこのLIVEボタン45を押すことにより、すぐにメニュー無しの観察画面に戻ることができるボタンである。アングルジョイステック46は、内視鏡挿入部4の先端部付近の湾曲部4aを湾曲させるジョイステックである。観察するときには、常にこのアングルジョイステック46を操作し、目的の観察部位に視点を移動する操作をする。
【0034】
Zoomボタン47は、ボタンUP(Tの位置)することにより画面をリニアに拡大し、ボタンDOWN(Wの位置)することによりリニアに縮小する。
ブライトボタン48は、画面の明るさ調整のために機能する。ボタンを押すごとに、画像の明るさが、「暗=>標準=>明=>標準=>暗=>標準」と働くトグル動作をする。
【0035】
ストアボタン49は画像を、ビデオ内視鏡本体2に保存する機能を実行する。
フリーズボタン50はこのボタン50を押すことにより、画像を静止画にする機能を持つ。
【0036】
次に図3(B)を参照して、リモコン11内部の回路について説明する。
リモコン11の内部には、図3(A)で説明した各種ボタン類の状態を確認するリモコンCPU52がある。
このリモコンCPU52は、図3(B)に示すようにCPU52のI/Oポートに各ボタンの信号が接続されており、ボタン類が押された場合は、ビデオ内視鏡本体2へ、RS232C(A)回路53によりRS232C(A)信号54が情報として送出される。
【0037】
また、FMDアダプタ16へは、RS232C(B)回路55により、RS232C(B)信号56が情報として送出される。さらに、FMDアダプタ16に対して、3Dモードを強制的に解除して2Dモードに設定する3Dリセット信号57を送出できるようにしている。3Dリセット信号57の送出される条件を、図3(C)の表に示す。
【0038】
3Dリセット信号57の送出条件は、▲1▼メニューボタン42が押された時、▲2▼インデックスボタン41が押された時、▲3▼画像処理(計測等)&メニューセレクト・ボタン(図3(C)では画像処理計測ボタンと略記)43が操作された時、▲4▼Powerボタン40が押された時の4つの条件の時のみ、3Dリセット信号57がFMDアダプタ16へ送出される。その他のボタン操作の時には、3Dリセット信号57は発生しない。
【0039】
次に図4を参照して、FMDアダプタ16の内部詳細を説明する。
図4において、アダプタコネクタ17は、内視鏡リモコン11から電源12Vと、RS232C(B)信号56と、さらに3Dリセット信号57とが入力されるように接続されている。
【0040】
また、ビデオ内視鏡本体2からの映像信号の輝度信号(単に映像信号Yと略記)58と、映像信号の色信号(映像信号Cと略記)59も入力されるように接続されている。映像信号Y58と映像信号C59はL/Rフィールド順次信号では無く、通常の映像信号である。さらに、ビデオ内視鏡本体2からのAudio信号60も入力されるようにアダプタコネクタ17に接続されている。
【0041】
映像信号Y58と映像信号C59は、デコーダー回路61にて色分離処理がされ輝度成分のY信号と色成分(色差信号)R−Y信号、B−Y信号に変換される。Y信号とR−Y信号、B−Y信号は、A/D変換回路62にてデジタル映像データに変換される。デジタル化された映像データは、データDataIN63として、ODDメモリ64とEVENメモリ65に入力される。
【0042】
ODDメモリ64とEVENメモリ65のデータの書き込み(write)と読み出し(Read)の制御は、メモリコントローラ66にて作成している。ODDメモリ64の書き込み制御信号はOW信号67a、ODDメモリ64の読み出し制御信号はOR信号67b、EVENメモリ65の書き込み制御信号はEW信号68a、EVENメモリ65の読み出し制御信号はER信号68bとしてメモリコントローラ66から発生する。
【0043】
ODDメモリ64から読み出されたO/DataOUT信号69と、EVENメモリ65から読み出されたE/Data信号70は、FSW71で、メモリコントローラ66から送出されるFSW信号72より切り替え制御される。FSW信号72を用いてFSW71を制御することで、L/Rフィールド順次信号73を生成している。
【0044】
FSW71のスイッチで切り替え制御されたDataOUT信号69、70は、D/A変換回路74に入力され、Y信号とR−Y信号、B−Y信号に変換される。さらにこれらの信号をエンコーダー回路75に入力し、L/Rフィールド順次信号73になる。
【0045】
L/Rフィールド順次信号73は、ゴーグルケーブル21を介して、3DFMDゴーグル22に伝送される。また、アダプタコネクタ17に接続されているAudio信号60も、ミュートスイッチ76を通り、イヤホンAudio信号77としてゴーグルケーブル21を介して、3DFMDゴーグル22に伝送される。
【0046】
ミュートスイッチ76は、メモリコントローラ66から送出されるAudioミュート信号78によりスイッチ制御される。このAudioミュート信号78は、3D立体観察の時に有効になり、イヤホンAudio信号77はミュート処理される。
【0047】
また、時間計測を行う3Dタイマ回路79が設けてあり、この3Dタイマ回路79は3D立体観察の時に、3D ON信号80が有効になり、3Dモードに入った時間をカウントする。所定時間(たとえば5分間)が経過した時には、3DOFF信号81がメモリコントローラ66に送出され、3D立体観察をキャンセルし、2Dの通常モードに強制移行させる。3D LED82は、3D立体観察の時に点滅するLEDである。
【0048】
画質調整ノブ37は、メモリコントローラ66に対して、PicCont信号83を送出して、画像のコントラストや色合い調整などの機能を実行する。
また、メモリコントローラ66に接続されたINVスイッチ33、Zoomスイッチ34、3Dスイッチ35、PinPスイッチ36、H1,H2位置摘み31、V1,V2位置摘み32は、図2で説明したものと同一のものである。
【0049】
これらのスイッチと摘みの情報をメモリコントローラ66が受け取り、ODDメモリ64とEVENメモリ65の書き込みと読み出し制御を行い、▲1▼2Dモード、▲2▼Zoomモード、▲3▼3Dモード、▲4▼INVモード、▲5▼PinP(ピクチャーinピクチャー)モード、更に、画像の水平垂直平行移動処理を実行する。
【0050】
尚、H1,H2位置摘み31、V1,V2位置摘み32のうち平行移動の調整用として摘みが複数あり、マニュアルモードでは、H1摘みは水平方向の粗調整用、H2摘みは水平方向の微調整用、V1摘みは垂直方向の粗調整用、V2摘みは垂直方向の微調整用の摘みである。
【0051】
さらに自動のモードでは、RS232C(A)(B)(C)信号を利用して内視鏡本体2で保持ししているステレオ画像計測時の視差キャリブレーションデータをもとに自動的に水平と垂直の位置合わせをする
3Dリセット信号57がメモリコントローラ66に入力されるように接続されており、3Dリセット信号57が入力された時には3D立体観察モードを解除し2D通常観察モードに強制移行する。
【0052】
RS232C(B)信号56はRS232C(C)回路84に入力され、RS232C(C)回路84を通してRS232C(C)信号85となり、メモリコントローラ66に入力される。RS232C(C)信号85は、内視鏡リモコン11との間で情報のやりとりを行い、リモコン11のキー操作等の情報やFMDアダプタ16でのモード状態を相互に送信し合い、リモコン11とFMDアダプタ16間で情報のやり取りをシリアル通信制御で行つている。
【0053】
以下、図5、図6、図7を参照して、図4で説明したFMDアダプタ16の詳細動作を説明する。
図5はFMDの表示モードを示す図である。図5(A)に示すオリジナル画像86は、ビデオ内視鏡本体2から送出される映像信号Y58、映像信号C59である。
【0054】
FMDアダプタ16に設けたINVスイッチ33、Zoomスイッチ34、PinPスイッチ36、3Dスイッチ35を操作することにより、図5(B)〜図5(F)に示すモードを実現している。
FMDアダプタ16の電源がONされた時には、図5(B)に示す2Dモードになる。この2Dモードでは、3DFMDゴーグル22のL−LCD23aとR−LCD23bにオリジナル画像86が、同時に表示される。通常の画像をそのまま両眼で観察するモードである。
【0055】
INVモードの画像を図5(C)に示す。INVスイッチ34を押すことにより、INVモードになる。INVモードでは、オリジナル画像86の上下反転(または左右反転)画像を表示するモードである。3DFMDゴーグル22のL−LCD23aとR−LCD23bに同時に表示する。
【0056】
Zoomモードの画像を図5(D)に示す。Zoomスイッチ35を押すことにより、Zoomモードになる。Zoomモードでは、オリジナル画像86の左側の像のみ切り取り拡大して、3DFMDゴーグル22のL−LCD23aとRRR−LCD23bに同時に表示する。
PinPモードの画像を図5(E)に示す。PinPスイッチ36を押すことにより、PinPモードになる。PinPモードでは、リアルタイム動画87と静止画88が同時に表示される。
【0057】
PinPモードでは、静止画88の上に、リアルタイム動画87が子画面として表示される。尚、3DFMDゴーグル22のL−LCD23aとR−LCD23bに同時に同一のPinPの画像を表示する。
2Dモード、Zoomモード、INVモード、PinPモードを実現する手段としては、図4に示すODDメモリ64とEVENメモリ65へのメモリの書き込みと読み出しを制御することにより、これらのモードを実現している。
【0058】
2Dモードでは、ODDメモリ64とEVENメモリ65ともに、書き込むアドレスと読み出すアドレスを同一にすることにより通常の2Dモードになる。この制御は、ODDメモリ64ではOW信号67aが書込み制御をOR信号67bが読み出し制御を行う。同様にEVENメモリ65では、EW信号68aが書き込み制御を、ER信号68bが読み出し制御を行う。
【0059】
Zoomモードでは、ODDメモリ64とEVENメモリ65ともに、読み出すアドレスを水平方向垂直方法に隣接する方向に2度重複して読み取るようにアドレス設定することにより画像の一部をZoomした制御になる。このメモリの書き込み読み出しの制御は、OW信号67a、OR信号67bと、EW信号68a、ER信号68bにより行う。
【0060】
INVモードでは、ODDメモリ64とEVENメモリ65ともに、書き込むアドレスと読み出すアドレスを上下逆(または左右逆)アドレスに設定することによりINVモードになる。このメモリの書き込み読み出しの制御は、OW信号67a、OR信号67bと、EW信号68a、ER信号68bにより行う。
PinPモードでは、ODDメモリ64とEVENメモリ65の書き込み処理を禁止することで、静止画88を表示できる。
この制御は、OW信号67a、EW信号68aを無効にすることで、書き込み処理を禁止できる。
【0061】
PinPモードでは、リアルタイム画像87を表示するには、リアルタイム画像を表示するエリアのみ書き込み動作を行う。書き込みアドレスを制御することにより、画面の一部にリアルタイム画像を書き込むことができる。
尚、読み出しは通常の読み出し動作をOR信号67b、ER信号68bに行わせることで良い。
【0062】
次に図5(F)に3Dモードの画像を示す。この3Dモードでは、オリジナル画像をL−LCD23aへは左側画像を拡大して表示し、R−LCD23bへは右側画像を拡大して表示する。
【0063】
3DモードはZoomモードの応用であり、ODDメモリ64とEVENメモリ65の読み出すアドレスを水平方向垂直方向ともに、ODDメモリ64とEVENメモリ65で切り替えることにより読み出す部分のアドレス位置を変更することで実現する。
【0064】
尚、3Dモードでは観察者の個人毎に異なる瞳視差の値のバラツキを補正するために、左画像に対して右画像の水平と垂直位置を補正する機能がある。OW信号67a、OR信号67bの読み出しアドレス設定を補正することにより、右画像を水平移動と垂直移動させる。
【0065】
3Dモードの動作の詳細を説明したのが図6である。図6において被写体89はステレオアダプタ6に設けた左右の対物レンズ90a、90bにより、1つのCCD91の左右の位置に(左右の対物レンズ90a,90bの)視差を有する左右の画像(ステレオ画像)を結像し、このCCD91により光電変換されて撮像される。
CCD91からのCCD撮像信号(CCD信号と略記)92をビデオ内視鏡本体2の信号処理系で構成されるプロセッサ93にて信号処理される。そして、ビデオ内視鏡本体2からは、ビデオ信号である映像信号Y58、映像信号C59が出力され、オリジナル画像86となる。
【0066】
オリジナル画像86は通常のTV信号フォーマットである。オリジナル画像86上では、ステレオアダプタ6により左右二つの像が生成されており、左視野から撮像したL画像94aと右視野から撮像したR画像94bが一つのオリジナル画像86上に構成される。
【0067】
オリジナル画像86は、図4のFMDアダプタ16詳細図中の動作に記載したように、映像信号Y58と映像信号C59は、デコーダ回路61にて色分離処理がされ、輝度成分のY信号と色成分(色差信号)R−Y信号、B−Y信号に変換される。Y信号とR−Y信号、B−Y信号は、A/D変換回路62にてデジタル映像データに変換される。
【0068】
デジタル化された映像データは、DataIN63として、ODDメモリ64とEVENメモリ65に入力される。ODDメモリ64のデータの書き込み(write)と読み出し(Read)を行い、O/DataOUT69はR画像94bのみを切り出したデータとなっている。
【0069】
ODDメモリ64は、毎フィールド(=1V)にR画像のみを連続した信号としてR1、R2、R3、R4を出力する。同様に、EVENメモリ65のデータの書き込み(write)と読み出し(Read)を行い、E/DataOUT70はL画像94aのみを切り出したデータとなっている。
EVENメモリ65は、毎フィールド(=1V)にL画像のみを連続した信号としてL1、L2、L3、L4を出力する。
【0070】
ODDメモリ64から読み出されたO/DataOUT信号69と、EVENメモリ65から読み出されたE/DataOUT信号70は、FSW71のスイッチで、メモリコントローラ66から送出されるFSW信号72により切り替え制御される。FSW信号72を用いてFSW71を制御することで、(さらにD/A変換回路74、エンコーダ75を経て)L/Rフィールド順次信号73を生成している。
【0071】
図4で動作を説明したように、L/Rフィールド順次信号73を3DFMDゴーグル22が受けてフィールド順次毎にR画像94bをR−LCD23bへ表示し、L画像94aはL−LCD23aへ表示する。
【0072】
視差をもったL画像・R画像対を3DFMDゴーグル22の左右LCD対(L−LCD23aとR−LCD23b)で観察するので、3DFMDゴーグル22を用いている観察者19は立体的な観察像を確認できる。
【0073】
さらに、図7を用いて3Dタイマ回路79の動作について説明する。
図4に示した3Dタイマ回路79は、3D立体観察の時に、3D ON信号80が有効になり、3Dモードに入った時間をカウントする。図7においては、2Dモードから3Dモードに入った3D ON)の時からカウントがスタトする。3DFMDゴーグル22の画面上では、インジケータ96が表示される。
【0074】
このインジケータ96は、3Dモード開始からの経過時間に応じて、1分毎に表示位置が上下方向に変化する。図7では、5分の3Dタイマ表示の例を示しており、5分目になった時にインジケータ96が点滅を始める。点滅が終了するとともに、3Dモードが5分を越えるために解除される。
【0075】
尚、点線で囲んで示した3Dモード時には、観察者が立体観察に集中できるように、イヤホンAudio信号77にミュートをかけて消音している。尚、3Dタイマ回路79による表示としては図7に示すインジケータ96の表示に限定されることが必要とされるものでは無く、たとえば時間経過を数字にて表示したり、色にて変化を与えたりまたはインジケータの明るさを変えたり等の表示でも良い。
【0076】
図6に示すようなシステムにより、3DFMDゴーグル22を利用してビデオ内視鏡本体2の画像を観察している時の操作の詳細について図8を用いて説明する。
図8(A)はオリジナル画像86を示している。ただし2Dモードでの表示であり、メニューボタン44を押した時の状態である。オリジナル画像86上には、メニューディスプレイ97が表示される。
【0077】
メニューディスプレイ97上では、「タイトル/イメージ/画像表示/レコード/SETUP/初期設定」等のメニューが表示される。このときにステレオアダプタ6を使っている時はL画像94aは図8(A)に示すように被写体の左撮像画像上にメニューディスプレイ97がオーバーレイ表示される。
【0078】
この状態で3Dモードスイッチ35をONした時は、3DFMDゴーグル22上では、図8(C)に示すようにR−LCD23bに対応する右眼98bでは、適切に右側の画像が表示される。一方、図8(B)に示すように、L−LCD23aに対応する左眼98aでは、メニューがオーバーレイされた画像がそのまま見えてしまう。
【0079】
上記図8(B)(C)の状態で、メニュー操作を行う画像処理(計測等)&メニューセレクト・ボタン43を操作し、タイトル==>イメージにメニューを移った時には、メニューの選択動作と同時に、3Dリセット信号57が発生する。3Dリセット信号57が発生した時の状態を図8(D)(E)に示す。
【0080】
3Dリセット信号57が発生したことによって、3Dモードは解除され、強制的に2Dモードに移行する。この時には、左眼98a、右眼98bともに2Dの同じ画像を見ることができるのでメニュー操作が容易に行える。
【0081】
尚、図8を用いて説明した3Dモード時における、メニューディスプレイ表示と操作に関する制御で、画像処理&メニューセレクトボタン43の操作により、3Dリセット信号57が発生する仕様としたが、3Dモードに人っている時に、メニュー操作が行われた直後に3Dリセット信号57が発生するようにしても良い。
【0082】
このように本実施の形態では、立体的に観察できるようにする3Dモードに対して、立体的に表示する必要のないオンスクリーングラフィック情報(キャラクタ情報)がオーバレイされるような場合には、リセット信号を発生させて3Dモードを解除し、2Dモードで表示する手段を設けているので、左右の画面の一方でオンスクリーングラフィックの抜けが発生したり、(観察者の瞳視差の補正に依存して)オンスクリーングラフィック文字情報がダブル等して見にくく表示されるのを簡単に解消できるようにしている。
【0083】
また、インデックスボタン41が操作されてサムネイル画像表示を行う場合にも、3Dリセット信号57を発生して2Dモードに変更するようにっしている。
また、図3(C)に示したようにPowerボタン40が操作された場合にも、3Dリセット信号を発生して2Dモードで起動するようにしている。
【0084】
次に図9を参照して、3Dモード時の個人の視差を補正する手段について説明する。
個人による視差の補正時には、図9(A)に示すような視差アジャスタ38を利用する。この視差アジャスタ38の使い方は図9(B)に示す様に、アジャスタホール101へステレオアダプタ6を装着した内視鏡挿入部4を挿入し、このステレオアダプタ6が直視用か側視用かに応じて、キャリブレーションマーク102A或いは102Bを3Dモードで観察する。
【0085】
つまり、アジャスタホール101には、直視用のキャリブレーションマーク102Aと、側視用のキャリブレーションマーク102Bが内部に配置されている。
キャリブレーションマーク102(102で102A、102Bを代表して示す)の例を図9(C)〜(E)に示す。図9(C)で示すマークは線状パターンを示す、図9(D)は図形パターンを示す。図9(E)はキャラクタパターンの例を示している。
【0086】
個人視差の補正方法として、3Dモードに入り、上記キャリブレーションマーク102を3DFMDゴーグル22で観察した時に、左右両目で見てキャリブレーションマーク102がズレる事無く認識できるように個人に合わせて調整する。
調整方法として、フロントパネル28に配置してあるH1,H2位置摘み31とV1,V2位置摘み32を調整することで実現できる。尚、一度設定されたH1,H2位置摘み31とV1,V2位置摘み32の設定は電源を落としても保持している。
【0087】
尚、キャリブレーションマーク102の配置は、ステレオアダプタ6に対して垂直または平行でなく、図9(B)に示すように所定角103の角度を持たせて配置している。これは、ステレオアダプタ6からの視差を最大にした状態で調整でき、容易にキャリブレーション調整できる配置にしてある。
【0088】
このように本実施の形態によれば、3Dモードでの観察状態において、メニュー等のオンスクリーングラフィックが重畳して表示されるような場合には、3Dモードをリセットして解除することにより、強制的に2Dモードにするようにしているので、オンスクリーン表示がダブッたり、表示抜けが発生することなく、両眼で同じ表示状態の画面を見易い状態で観察できる。
従って、メニュー画面等の場合にも、両眼で同じ表示内容の画面を確認して所望とする選択等の操作を行い易い環境を実現できる。
【0089】
(第2の実施の形態)
次に図10を用いて第2実施の形態を説明する。本実施の形態の立体観察システム111では、VTRまたはDVD112と、アダプタ一体型3DFMDゴーグル113と、ワイヤレスリモコン114との組み合わせを用いて構成され、この組み合わせ例について説明する。
【0090】
アダプタ一体型3DFMDゴーグル113は、3DFMDゴーグル接続ケーブル115にてVTRまたはDVD112の出力端子110に接続されている。3DFMDゴーグル接続ケーブル115では、立体映像信号(図10ではSVideoと略記)であるフィールド順次3Dソース信号116がVTRまたはDVD112からアダプタ体型3DFMDゴーグル113へ伝送される。また、音声信号もアダプタ体型3DFMDゴーグル113へ伝送される。
【0091】
VTRまたはDVD112は、ワイヤレスリモコン114から制御される。このワイヤレスリモコン114には、リモコン発光部117A、117Bが設けてあり、リモコン発光部117Aから赤外線によるコントロール信号118がVTRまたはDVD112のリモコン受光部119へ送信される。また、ワイヤレスリモコン114には、チャンネルボタン120があり、チャンネルボタン120を操作することにより番組の切り替えが可能である。
【0092】
また、ワイヤレスリモコン114には、VTR/DVDコントロールボタン121が設けてあり、VTR/DVDコントロールボタン121を操作することにより赤外線のコントロール信号118を用いてVTRまたはDVD112を制御することができる。
【0093】
VTRまたはDVD112には、3Dリセット発光部122が設けてあり、この3Dリセット発光部122から赤外線の3Dリセット信号123をアダプタ一体型3DFMDゴーグル113へ送信することができる。
【0094】
3Dリセット信号123はワイヤレスリモコン114のリモコン発光部117Bからも発せられる。
VTRまたはDVD112、ワイヤレスリモコン114の発光部122、117Bから発せられた3Dリセット信号123は、アダプタ一体型3DFMDゴーグル113に設けられた3DFMDリセット受光部124で受信される。
【0095】
図11(A)、(B)は、ワイヤレスリモコン114のリモコン操作により、VTRまたはDVD112から出力されるメニュー表示例125とメニュー表示例126を示している。
【0096】
メニュー表示例125は、ワイヤレスリモコン114のメニューボタン42の操作により表示される信号である。表示例125では画像の画質設定メニューの画面となっている。また、図11(B)に示すメニュー表示例126は、番組録画予約の画面であり、メニューボタン42とチャンネルボタン120の組み合わせで設定ができる。
【0097】
図12を用いて、第2の実施の形態の動作の詳細を説明する。
図12(A)は、フィールド順次3Dソース信号116であり、VTRまたはDVD112で再生されるソフトが立体視用ソフトである。
【0098】
この立体視用のソフトウエアは、図12(A)に示すように、フィールド(=1V)毎にR1、L1、R2、L2、…と言うように、右左信号がフィールド順次で送出されている。
【0099】
アダプタ一体型3DFMDゴーグル113では、フィールド順次3Dソース信号116を受け、図12(B)に示すように、右目で見るR−LCD23bではR1、R1、R2,R2、R3、…信号を連続して見る。
【0100】
また、左眼で見るL−LCD23aでは、L0、L1、L1、L2、L2、…信号を連続してみる。右眼98bと左眼98aが独立してそれぞれ右目用と左眼用に用意された信号を見ることができるので、観察者は、フィールド順次3Dソース信号116を立体映像として観察できる。
【0101】
次に図12(C)を用いて、メニュー表示がされた場合のアダプタ一体型3DFMDゴーグル113の動作について説明する。
【0102】
ワイヤレスリモコン114のメニューボタン42が操作された時には、3Dリセット信号123がリモコン発光部117A及び3Dリセット発光部122より、アダプタ一体型3DFMDゴーグル113に発せられ、アダプタ一体型3DFMDゴーグル113では3Dモードが解除される。
【0103】
このときのR−LCD23bとL−LCD23aの画像の見え方を図12(C)に示す。3Dモードが解除された時には、右目で見るR−LCD23bではR1、R1、R2,R2、R3、…信号を連続して見るのと同じく、左眼で見るL−LCD23aでも、R1、R1、R2、R2,R3、…信号を連続して見ることになる。
【0104】
つまり、メニュー画像が表示された場合、3D解除されるので、右眼98bと左眼98aは、まったく同一の画像を見ることになる。メニュー操作が必要な場合に、3Dリセット信号123を発生させている。
VTR/DVDコントロールボタン121が操作され、「巻き戻し/早送り/一時停止/再生/記録等」の一般の記録再生操作の時には、3Dリセット信号123が発生することなく通常の立体観察ができる状態になっている。
【0105】
尚、3Dリセット信号123は3Dリセット発光部122の独立した部分よりアダプタ一体型3DFMDゴーグル113に発せられているが、コントロール信号118を利用して通信の中で3Dモードリセットのコマンドを設けて機能させても良い。
【0106】
[付記]
1.観察者の左右の眼に対応して左右に設けた表示手段に、左右の光学系で撮像した左右の被写体像をそれぞれ表示する立体視モードと、前記左右の表示手段に左右で同じ被写体像を表示する通常モードとを備え、さらにキャラクタ情報を表示可能とする立体観察システムにおいて、
前記立体視モードを強制的に解除する解除手段を設けたことを特徴とする立体観察システム。
【0107】
2.前記解除手段は、立体視モードにおいて、キャラクタ情報を表示する場合に、通常モードに強制的に設定するリセット信号を発生するようにしたことを特徴とする付記1記載の立体観察システム。
3.前記立体視モードでは観察者による瞳視差のバラツキを調整する調整手段を有することを特徴とする付記1記載の立体観察システム。
【0108】
4.さらに、通常モードから立体視モードへのモード変更設定の場合にも、通常モードにおいてキャラクタ情報が表示されたいる場合には、前記解除手段により立体視モードへの変更を解除することを特徴とする付記1記載の立体観察システム。
【0109】
5.前記立体観察システムは立体視用内視鏡を有し、前記立体視用内視鏡は挿入部の先端部に立体視用アダプタを装着することにより、1つの撮像素子に前記立体視用アダプタに設けた左右の対物光学系による視差を有する被写体像を左右に分離して結像することを特徴とする付記1記載の立体観察システム。
6.前記立体観察システムは立体撮像装置により撮像された画像を記録したVTR或いはDVDを有することを特徴とする付記1記載の立体観察システム。
【0110】
【発明の効果】
以上説明したように本発明によれば、立体視観察状態の時に、メニュー等のオンスクリーングラフィックが重畳される操作がされる場合は3Dリセット信号を発生し立体視モードを解除するので、オンスクリーン表示がダブったり表示欠けが生じたりすることなく、オンスクリーン上でのメニュー操作を両目で確実に確認して操作できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のビデオ内視鏡システムを使用形態で示す図。
【図2】FMDアダプタの構造を分解等して示す斜視図。
【図3】内視鏡リモコンの構造等を示す図。
【図4】FMDアダプタの電気系の構成を示すブロック図。
【図5】各種の表示モードでの表示例を示す図。
【図6】3Dモードでの動作を示す図。
【図7】3Dタイマ回路による動作を示す図。
【図8】2Dモードから3Dモードに変更する操作を行った場合における代表的な動作例を示す図。
【図9】3Dモード時の視差を補正する手段の構成等を示す図。
【図10】本発明の第2の実施の形態の立体観察システムの全体構成図。
【図11】メニュー操作により表示されるメニュー表示例を示す図。
【図12】第2の実施の形態の動作説明図。
【図13】従来例の立体観察システムの構成を示す図。
【図14】視差の補正により左右の画像が調整される様子を示す図。
【図15】視差の補正によってオンスクリーングラフィックがダブってしまう様子を示す図。
【符号の説明】
1…ビデオ内視鏡システム
2…ビデオ内視鏡本体
3…ケース
4…内視鏡挿入部
6…ステレオ光学アダプタ
7…LCDモニタ
11…内視鏡リモコン
12…リモコンケーブル
14…アダプタコネクタ
15、17…アダプタケーブル
16…FMDアダプタ
19…観察者
21…ゴーグルケーブル
22…3FMDゴーグル
23a…L−LCD
23b…R−LCD
24a、24b…ゴーグルイヤホン
28…フロントパネル
31…H1、H2位置摘み
32…V1、V2位置摘み
33…INVスイッチ
34…Zoomスイッチ
35…3Dスイッチ
36…PinPスイッチ
40…Powerボタン
42…メニュースイッチ
43…画像処理&メニューセレクトボタン
52…リモコンCPU
57…3Dリセット信号
66…メモリコントローラ
代理人 弁理士 伊藤 進

Claims (2)

  1. 一対の表示部と、
    左眼及び右眼用の画像を前記一対の表示部にそれぞれ表示させる立体視モードと、前記左眼及び右眼用の画像のうち何れか一方を前記一対の表示部に表示させる通常モードとに表示状態を切り替える制御部と、
    前記左眼及び右眼用の画像に重畳情報を重畳する演算処理部と、を備え、
    前記制御部は、前記立体視モードにおいて、前記演算処理部が前記重畳情報を前記画像に重畳するとき、自動的に前記立体視モードを解除して前記通常モードに前記表示状態を設定することを特徴とする立体観察システム。
  2. 挿入部と、
    前記挿入部に設けられ、前記左眼及び右眼用の画像を撮像するステレオ撮像系と、を備え、
    前記制御部が、前記画像による被写体のステレオ計測に用いられる前記ステレオ撮像系のキャリブレーションデータに基づいて、前記画像の前記一対の表示部における表示位置を調整することを特徴とする請求項1に記載の立体観察システムからなる内視鏡装置。
JP2001191556A 2001-06-25 2001-06-25 立体観察システム、及び内視鏡装置 Expired - Fee Related JP4610799B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001191556A JP4610799B2 (ja) 2001-06-25 2001-06-25 立体観察システム、及び内視鏡装置
US10/177,525 US7046270B2 (en) 2001-06-25 2002-06-21 Stereoscopic observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001191556A JP4610799B2 (ja) 2001-06-25 2001-06-25 立体観察システム、及び内視鏡装置

Publications (3)

Publication Number Publication Date
JP2003009185A JP2003009185A (ja) 2003-01-10
JP2003009185A5 JP2003009185A5 (ja) 2008-08-07
JP4610799B2 true JP4610799B2 (ja) 2011-01-12

Family

ID=19030161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001191556A Expired - Fee Related JP4610799B2 (ja) 2001-06-25 2001-06-25 立体観察システム、及び内視鏡装置

Country Status (2)

Country Link
US (1) US7046270B2 (ja)
JP (1) JP4610799B2 (ja)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US7011171B1 (en) 2002-10-08 2006-03-14 Poulter Andrew R Rugged terrain robot
KR100768837B1 (ko) 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
JP4179946B2 (ja) * 2003-08-08 2008-11-12 オリンパス株式会社 立体内視鏡装置
EP1691547A4 (en) * 2003-12-03 2008-01-16 Nikon Corp INFORMATION DISPLAY AND WIRELESS REMOTE CONTROL
EP1542053B1 (fr) * 2003-12-11 2007-11-14 Tokendo Dispositif de métrologie pour sonde vidéoendoscopique
US20060077545A1 (en) * 2004-10-08 2006-04-13 Eastman Kodak Company Apparatus to align stereoscopic display
US9124877B1 (en) 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
JP2006195571A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、及び撮像装置
US7471892B2 (en) * 2005-09-13 2008-12-30 Gm Global Technology Operations, Inc. Vision-assisted hand tools
US8274448B1 (en) 2006-03-29 2012-09-25 Nvidia Corporation Stereoscopic display system, method and computer program product
FR2900475B1 (fr) * 2006-04-26 2008-10-31 Essilor Int Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image
JP5227312B2 (ja) * 2006-05-17 2013-07-03 ムーア,ケント 患者の上気道の測定値を得るためのシステム及び立体ビデオ内視鏡の作動方法
US8372002B2 (en) 2006-07-27 2013-02-12 Olympus Corporation Endoscope apparatus
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
US8556807B2 (en) 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
JP5384808B2 (ja) * 2007-07-02 2014-01-08 オリンパス株式会社 内視鏡
JP2009077845A (ja) * 2007-09-26 2009-04-16 Fujinon Corp 電子内視鏡装置
ATE546755T1 (de) * 2007-10-30 2012-03-15 Olympus Corp Endoskopvorrichtung
FR2923026B1 (fr) * 2007-10-31 2011-02-18 Tokendo Dispositif d'eclairage pour videoendoscope
GB2470327B (en) 2008-03-07 2012-03-21 Milwaukee Electric Tool Corp Visual inspection device
JP5368463B2 (ja) * 2008-09-18 2013-12-18 パナソニック株式会社 立体視映像再生装置、及び立体視映像表示装置
KR20100040563A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 방송 표시장치 및 그의 2차원 영상 표시 방법
WO2010058362A1 (en) * 2008-11-24 2010-05-27 Koninklijke Philips Electronics N.V. Extending 2d graphics in a 3d gui
JP5253109B2 (ja) * 2008-11-25 2013-07-31 オリンパス株式会社 内視鏡装置および内視鏡画像用プログラム
EP2400767A4 (en) 2009-02-17 2012-09-05 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR GRAPHICAL IMAGE PROCESSING
KR101659576B1 (ko) * 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
JP5267334B2 (ja) * 2009-05-28 2013-08-21 株式会社Jvcケンウッド 立体映像表示装置および立体映像表示方法
EP3811847A1 (en) 2009-06-18 2021-04-28 EndoChoice, Inc. Multi-camera endoscope
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
EP2446636A1 (en) 2009-06-24 2012-05-02 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
CN102474634B (zh) 2009-07-10 2016-09-21 杜比实验室特许公司 对于3维显示模式修正图像
US20110012993A1 (en) * 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
TWI578949B (zh) * 2009-07-15 2017-04-21 Medical Intubation Tech Corp Endoscopic device and its image processing method
JP5276536B2 (ja) * 2009-07-16 2013-08-28 富士フイルム株式会社 3次元画像表示装置及び3次元画像表示方法
JP2011035592A (ja) * 2009-07-31 2011-02-17 Nintendo Co Ltd 表示制御プログラムおよび情報処理システム
JP5604827B2 (ja) * 2009-08-21 2014-10-15 ソニー株式会社 送信装置、受信装置、プログラム、及び通信システム
JP5405264B2 (ja) * 2009-10-20 2014-02-05 任天堂株式会社 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法
WO2011052918A2 (en) * 2009-10-30 2011-05-05 Samsung Electronics Co., Ltd. Two-dimensional/three-dimensional image display apparatus and method of driving the same
JP4754031B2 (ja) * 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
CN102469930B (zh) * 2009-11-06 2014-09-10 奥林巴斯医疗株式会社 内窥镜系统
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP2011166666A (ja) * 2010-02-15 2011-08-25 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8917929B2 (en) * 2010-03-19 2014-12-23 Lapis Semiconductor Co., Ltd. Image processing apparatus, method, program, and recording medium
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
US20110292038A1 (en) * 2010-05-27 2011-12-01 Sony Computer Entertainment America, LLC 3d video conversion
US20140066704A1 (en) * 2010-06-18 2014-03-06 Vantage Surgical Systems Inc. Stereoscopic method for minimally invasive surgery visualization
US8737811B2 (en) 2010-08-06 2014-05-27 Panasonic Corporation Playback device, integrated circuit, playback method, and program
JP5058316B2 (ja) * 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US10080486B2 (en) 2010-09-20 2018-09-25 Endochoice Innovation Center Ltd. Multi-camera endoscope having fluid channels
EP2635932B1 (en) 2010-10-28 2019-06-05 EndoChoice Innovation Center Ltd. Optical systems for multi-sensor endoscopes
DE102010051882B4 (de) * 2010-11-22 2022-12-22 Blazejewski Medi-Tech Gmbh 3D-Video-Endoskop
US9814374B2 (en) 2010-12-09 2017-11-14 Endochoice Innovation Center Ltd. Flexible electronic circuit board for a multi-camera endoscope
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
JP2012129845A (ja) * 2010-12-16 2012-07-05 Jvc Kenwood Corp 画像処理装置
JP5909849B2 (ja) * 2011-02-04 2016-04-27 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
EP3228236A1 (en) 2011-02-07 2017-10-11 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
US20120330129A1 (en) * 2011-06-23 2012-12-27 Richard Awdeh Medical visualization systems and related methods of use
JP5865719B2 (ja) * 2011-06-24 2016-02-17 シャープ株式会社 立体映像出力装置
EP2674099B1 (en) * 2011-08-26 2016-12-14 Olympus Corporation Medical equipment system
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
CA2798716A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Removable tip endoscope
JP2013244362A (ja) * 2012-05-29 2013-12-09 Olympus Corp 立体視内視鏡システム
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
JP5362082B2 (ja) * 2012-07-24 2013-12-11 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
JP2014146962A (ja) * 2013-01-29 2014-08-14 Canon Inc 撮像装置およびその制御方法
US9889568B2 (en) 2013-03-14 2018-02-13 Sri International Compact robotic wrist
CN105188592B (zh) 2013-03-15 2018-07-27 Sri国际公司 超灵巧型手术系统
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
WO2015083459A1 (ja) * 2013-12-05 2015-06-11 オリンパス株式会社 立体内視鏡システム
CN105830441B (zh) * 2014-07-28 2017-08-22 奥林巴斯株式会社 立体观察装置用的控制装置、立体观察系统和立体观察装置的控制方法
JP6429541B2 (ja) * 2014-09-08 2018-11-28 オリンパス株式会社 内視鏡画像表示装置、内視鏡画像表示装置の作動方法、内視鏡画像表示プログラム
DE102015002536B4 (de) * 2015-02-28 2021-10-28 Schölly Fiberoptic GmbH Optikanordnung, Endoskop und korrespondierendes Verfahren zur Fertigung
CN104935915B (zh) * 2015-07-17 2018-05-11 珠海康弘发展有限公司 成像装置、三维成像系统及三维成像方法
EP3325233A1 (en) 2015-07-23 2018-05-30 SRI International Inc. Robotic arm and robotic surgical system
DE102016111960A1 (de) * 2016-06-30 2018-01-04 Karl Storz Gmbh & Co. Kg Vorrichtung für die Videoendoskopie
EP3389266B1 (en) * 2017-04-10 2022-12-21 Vestel Elektronik Sanayi ve Ticaret A.S. Viewing apparatus and method
EP3389267B1 (en) * 2017-04-10 2022-12-21 Vestel Elektronik Sanayi ve Ticaret A.S. Display apparatus and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH0923450A (ja) * 1995-07-07 1997-01-21 Sanyo Electric Co Ltd 立体映像表示装置
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
JPH09102052A (ja) * 1995-10-06 1997-04-15 Olympus Optical Co Ltd 立体画像表示装置
JPH10221637A (ja) * 1997-02-10 1998-08-21 Olympus Optical Co Ltd 頭部装着型画像表示装置
JP2000241752A (ja) * 1999-02-18 2000-09-08 Canon Inc ヘッドマウント型表示装置およびその警告表示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709263A (en) * 1986-01-28 1987-11-24 John Brumage Stereoscopic imaging apparatus and methods
US4873572A (en) 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPS63244011A (ja) 1987-03-31 1988-10-11 Olympus Optical Co Ltd 電子内視鏡
JPH05300544A (ja) 1992-04-23 1993-11-12 Sony Corp 映像表示装置
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
US6139490A (en) * 1996-02-22 2000-10-31 Precision Optics Corporation Stereoscopic endoscope with virtual reality viewing
JPH09252478A (ja) * 1996-03-14 1997-09-22 Nippon Steel Corp 立体映像表示における使用時間測定装置および方法
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
JP3771988B2 (ja) 1997-03-12 2006-05-10 オリンパス株式会社 計測内視鏡装置
US6181304B1 (en) * 1998-08-12 2001-01-30 Virtual Vision Convertible right eye/left eye monocular head mounted display system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH0923450A (ja) * 1995-07-07 1997-01-21 Sanyo Electric Co Ltd 立体映像表示装置
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
JPH09102052A (ja) * 1995-10-06 1997-04-15 Olympus Optical Co Ltd 立体画像表示装置
JPH10221637A (ja) * 1997-02-10 1998-08-21 Olympus Optical Co Ltd 頭部装着型画像表示装置
JP2000241752A (ja) * 1999-02-18 2000-09-08 Canon Inc ヘッドマウント型表示装置およびその警告表示方法

Also Published As

Publication number Publication date
JP2003009185A (ja) 2003-01-10
US20030060679A1 (en) 2003-03-27
US7046270B2 (en) 2006-05-16

Similar Documents

Publication Publication Date Title
JP4610799B2 (ja) 立体観察システム、及び内視鏡装置
US5751341A (en) Stereoscopic endoscope system
US9507141B2 (en) Stereoscopic endoscope device
EP2982292B1 (en) Endoscopic system to display three-dimensional picture
US8390675B1 (en) Stereoscopic camera and system
US9509975B2 (en) Methods for acquiring, storing, transmitting and displaying stereoscopic images
JPH09508765A (ja) 合成立体画像処理システムおよび方法
JP2002125246A (ja) ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置
JP6912313B2 (ja) 画像処理装置、カメラ装置及び画像処理方法
JP3595634B2 (ja) 複眼カメラ及び画像処理方法
JPWO2018211854A1 (ja) 3d内視鏡装置、及び、3d映像処理装置
JP2019029876A (ja) 画像処理装置、カメラ装置及び出力制御方法
JP2001104331A (ja) 医療用顔面装着型映像表示装置
JP3262849B2 (ja) 立体像観察システムおよび内視鏡画像観察システム
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
JPH09215012A (ja) 立体映像撮影装置及び該装置を用いる立体映像撮影記録再生装置
JPH09501332A (ja) 医療用ビデオ内視鏡システム
JPH06254046A (ja) 映像表示装置
JP4170042B2 (ja) 立体電子内視鏡装置
JP2011112808A (ja) 撮像装置
JPS63244011A (ja) 電子内視鏡
JPH11187425A (ja) 立体映像装置及び方法
JP2013090180A (ja) 立体映像撮影表示装置
JPH10142552A (ja) ヘッドマウントディスプレイ
JPH11187426A (ja) 立体映像装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees