JPWO2014155815A1 - 立体内視鏡システム - Google Patents

立体内視鏡システム Download PDF

Info

Publication number
JPWO2014155815A1
JPWO2014155815A1 JP2014544286A JP2014544286A JPWO2014155815A1 JP WO2014155815 A1 JPWO2014155815 A1 JP WO2014155815A1 JP 2014544286 A JP2014544286 A JP 2014544286A JP 2014544286 A JP2014544286 A JP 2014544286A JP WO2014155815 A1 JPWO2014155815 A1 JP WO2014155815A1
Authority
JP
Japan
Prior art keywords
stereoscopic
unit
eye
horizontal position
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014544286A
Other languages
English (en)
Other versions
JP5771754B2 (ja
Inventor
工藤 正宏
正宏 工藤
博紀 櫻井
博紀 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014544286A priority Critical patent/JP5771754B2/ja
Application granted granted Critical
Publication of JP5771754B2 publication Critical patent/JP5771754B2/ja
Publication of JPWO2014155815A1 publication Critical patent/JPWO2014155815A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

立体内視鏡システム1は、左右の撮像信号を取得する立体内視鏡2と、立体内視鏡2で取得された左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタ4と、入力された左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部31と、左右の映像信号の水平位置を視差量だけ、奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部32と、水平位置移動部で水平位置を移動された左右の映像信号の上下左右を反転させる上下左右反転部33と、上下左右反転部で上下左右を反転された左右の映像信号を合成して立体映像信号を生成する立体信号合成部24と、を有する。

Description

本発明は、立体内視鏡システムに関し、特に、立体映像を表示する立体内視鏡システムに関する。
従来、内視鏡は医療分野等において広く用いられるようになっている。また、患者の体腔内の患部等を処置するために内視鏡を挿入するための小さな孔を形成し、内視鏡の観察下で内視鏡手術が行われる場合がある。このような内視鏡手術のうち、例えば胸部の内視鏡手術等では、術者と助手とが対向して手術を行う。術者と助手とが対向して内視鏡手術を行うような場合、以下の図12で説明するように、上下左右を反転した映像が必要となる場合がある。
図12は、胸部の内視鏡手術のレイアウトの例を説明するための図である。図12に示すように、術者100と助手101とは、胸部の内視鏡手術を行う場合、患者102を挟んで対向して手術を行う。患者102の体腔内には、内視鏡103が挿入されており、内視鏡103で撮像された内視鏡像が術者用モニタ104及び助手用モニタ105に表示される。
内視鏡103は、術者100の視野方向と合致する方向で患者102の体腔内に挿入されている。そのため、術者100が術者用モニタ104で観察する内視鏡像の上下左右方向は、実際に術者100が操作する鉗子106及び107の上下左右方向と一致している。この結果、術者100が右手で操作する鉗子106は、術者用モニタ104の画面104a内の右下側に位置し、術者100が左手で操作する鉗子107は、術者用モニタ104の画面104a内の左下側に位置する。これにより、術者用モニタ104の画面104a内の鉗子106及び107は、術者100が右手及び左手で操作する方向と同じ方向に動くことになる。
一方、助手101は、術者100と対向しているため、体腔内の空間において助手101から見た鉗子の上下左右方向は、術者100から見た鉗子の上下左右方向とは反対になる。しかしながら、助手用モニタ105に表示される内視鏡像は、術者用モニタ104に表示される内視鏡像と同じため、術者100から見た上下左右方向と同じである。この結果、助手101が右手で操作する鉗子108は、助手用モニタ105の画面105a内の左上側に位置し、助手101が左手で操作する鉗子109は、助手用モニタ105の画面105a内の右上側に位置する。これにより、助手用モニタ105の画面105a内の鉗子108及び109は、助手101が右手及び左手で操作するのと上下左右反対方向に動くことになる。
助手101は、助手用モニタ105の画面105a内の鉗子108及び109の位置が適切になるように、実際の操作感覚とは上下左右反対方向に鉗子108及び109を操作することが必要となる。このような操作をすることは、助手101にとっては極めて操作性の悪いことであるため、図12に示す手術レイアウトにおいては、助手101の操作性を向上させるために、上下左右の反転した映像を助手用モニタ105に表示することが必要となる。
そのため、例えば、特開2001−272760号公報には、術者用のモニタに表示される画像を、上下左右を反転して助手用のモニタに表示する手術用顕微鏡システムが開示されている。
ところで、近年、奥行き情報を有する立体映像を観察者(術者や助手)に提示することができる立体内視鏡システムが開発されている。この立体内視鏡システムは、立体内視鏡と立体モニタとを有して構成されている。立体内視鏡は、右目用及び左目用に視差を有する2つの内視鏡像を撮像し、立体モニタは、立体内視鏡で撮像した右目用及び左目用の映像信号を、対応する観察者の右目及び左目のみで観察可能にする。これにより、観察者は、奥行き情報を把握することができるため、立体内視鏡で撮像された体腔内の組織や処置具等の前後関係を視認することができ、処置具等の操作性が向上する。
このような立体内視鏡システムを図12に示す胸部の内視鏡手術のレイアウトに適用する場合も、助手用モニタに上下左右を反転した立体映像を表示することで、助手の操作性を向上させることができるはずである。
しかしながら、立体内視鏡システムを図12に示す胸部の内視鏡手術のレイアウトに適用する場合、単純に立体映像の上下左右を反転すると、左右反転を行った際に奥行き情報が逆転してしまい、助手用モニタには正確な立体映像が表示できなくなるという問題がある。
そこで、本発明は、立体映像を上下左右反転した場合でも、正確な立体映像を観察することができる立体内視鏡システムを提供することを目的とする。
本発明の一態様の立体内視鏡システムは、左右の撮像信号を取得する立体内視鏡と、前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、前記立体モニタに設けられ、入力された前記左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部と、前記立体モニタに設けられ、前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、前記立体モニタに設けられ、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、前記立体モニタに設けられ、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、を有する。
本発明の第1の形態に係る立体内視鏡システムの構成を示す構成図である。 立体モニタ4の外観構成を説明するための図である。 立体モニタ4の詳細な構成を説明するための図である。 立体信号合成部24による合成処理を説明するための図である。 立体信号上下左右反転部22の詳細な構成について説明するための図である。 水平位置移動部32の構成について説明するための図である。 水平位置移動部32の構成について説明するための図である。 上下左右反転部33の構成について説明するための図である。 上下左右反転部33の構成について説明するための図である。 移動量検出部31の詳細な構成について説明するための図である。 移動量検出部31での移動量の算出処理について説明するための図である。 移動量検出部31での移動量の算出処理について説明するための図である。 立体モニタ4のおける上下左右の反転処理の例を示すフローチャートである。 立体モニタ4aの詳細な構成を説明するための図である。 胸部の内視鏡手術のレイアウトの例を説明するための図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
まず、図1に基づき、本発明の第1の実施の形態に係る立体内視鏡システムの構成について説明する。
図1は、本発明の第1の形態に係る立体内視鏡システムの構成を示す構成図である。
図1に示すように、立体内視鏡システム1は、生体の内部の被写体を撮像して左目用及び右目用の撮像信号を出力する立体内視鏡2と、右目用の撮像信号を右目用の映像信号に変換して出力する右目用内視鏡プロセッサ3aと、左目用の撮像信号を左目用の映像信号に変換して出力する左目用内視鏡プロセッサ3bと、右目用及び左目用の映像信号から立体映像を生成して表示する立体モニタ4とを有して構成されている。なお、右目用内視鏡プロセッサ3a及び左目用内視鏡プロセッサ3bは、一体の内視鏡プロセッサであってもよい。
立体内視鏡2は、生体の内部に挿入可能な挿入部5を有する。この挿入部5の先端には、例えばCCD等の2つの撮像素子、本実施の形態では、右目用の撮像素子6a及び左目用の撮像素子6bが備えられている。立体内視鏡2は、右目用の撮像素子6a及び左目用の撮像素子6bにより右目用の撮像信号及び左目用の撮像信号(左右の撮像信号)を取得する。右目用の撮像素子6aで撮像された右目用の撮像信号は、右目用内視鏡プロセッサ3aに入力され、左目用の撮像素子6bで撮像された左目用の撮像信号は、左目用内視鏡プロセッサ3bに入力される。
右目用内視鏡プロセッサ3aは、A/D回路11aと、ホワイトバランス(以下、W/Bと略記)回路12aと、エンハンス回路13aと、ポストプロセス回路14aとを有して構成されている。
A/D回路11aは、右目用の撮像素子6aから出力された右目用の撮像信号をアナログ信号からデジタル信号に変換し、W/B回路12aに出力する。W/B回路12aは、A/D回路11aから出力された出力信号に白色補正処理を施し、エンハンス回路13aに出力する。エンハンス回路13aは、W/B回路12aから出力された出力信号に被写体の輪郭を強調する輪郭強調処理を施し、ポストプロセス回路14aに出力する。ポストプロセス回路14aは、エンハンス回路13aから出力された出力信号をSDI(Serial Digital Interface)やDVI(Digital Visual Interface)等の映像信号に変換し、右目用の映像信号を生成する。
左目用内視鏡プロセッサ3bは、右目用内視鏡プロセッサ3aと同様の構成であり、A/D回路11bと、W/B回路12bと、エンハンス回路13bと、ポストプロセス回路14bとを有して構成されている。
左目用の撮像素子6bから出力された左目用の撮像信号は、これらのA/D回路11b、W/B回路12b、エンハンス回路13b及びポストプロセス回路14bの処理を経ることで、左目用の映像信号が生成される。このように生成された右目用及び左目用の映像信号は、立体モニタ4に入力される。立体モニタ4は、このように所定の映像信号処理が施された右目用及び左目用の映像信号に応じた立体映像を表示する。
図2は、立体モニタ4の外観構成を説明するための図である。図2に示すように、立体モニタ4は、立体表示パネル25(後述する図3参照)を備える。この立体表示パネル25には、1ライン毎に偏光方向の異なる偏光板15及び16が貼られており、1ライン毎に左目用画像及び右目用画像が割り当てられて表示される。
観察者は、立体モニタ4の立体表示パネル25に貼られた偏光板15及び16の偏光方向に合致した偏光メガネ17を装着することで、立体内視鏡2により得られた映像を立体映像として観察することができる。
次に、立体モニタ4の詳細な構成について説明する。図3は、立体モニタ4の詳細な構成を説明するための図である。
図3に示すように、立体モニタ4は、フロントスイッチ20と、セレクタ21と、立体信号上下左右反転部22と、セレクタ23と、立体信号合成部24と、立体表示パネル25とを有して構成されている。
フロントスイッチ20には、右目用及び左目用の映像信号の上下左右を反転処理するか否かを切り替えるための上下左右反転スイッチ20aが設けられている。観察者が上下左右反転スイッチ20aをONまたはOFFすることで、セレクタ21及び23は、上下左右の反転処理をするか否かの処理経路を切り替える。
具体的には、上下左右反転スイッチ20aがOFFの場合、上下左右の反転処理を行わない通常の処理経路となる。セレクタ21は、右目用及び左目用の映像信号をセレクタ23に出力するように切り替える。そして、セレクタ23は、セレクタ21から出力された右目用及び左目用の映像信号を立体信号合成部24に出力するように切り替える。
一方、上下左右反転スイッチ20aがONの場合、上下左右の反転処理を行う処理経路となる。セレクタ21は、右目用及び左目用の映像信号を立体信号上下左右反転部22に出力するように切り替える。そして、セレクタ23は、立体信号上下左右反転部22により上下左右が反転処理された右目用及び左目用の映像信号を立体信号合成部24に出力するように切り替える。なお、立体信号上下左右反転部22の構成については後述する。
このように、立体信号合成部24には、上下左右の反転処理が行われていない、あるいは、上下左右の反転処理が行われた右目用及び左目用の映像信号が入力される。立体信号合成部24は、入力された右目用及び左目用の映像信号を合成して立体映像信号を生成し、立体表示パネル25に出力する。ここで、立体信号合成部24での合成処理について図4を用いて説明する。
図4は、立体信号合成部24による合成処理を説明するための図である。図4に示すように、立体信号合成部24は、ラインバイライン方式の立体映像フォーマットの信号、すなわち、入力された右目用の映像信号26及び左目用の映像信号27を、1ライン毎に左目用、右目用に順次替わる信号に合成し、合成信号28を生成する。
具体的には、立体信号合成部24は、左目用の映像信号27のラインL1、右目用の映像信号26のラインR2、左目用の映像信号27のラインL3、・・・、右目用の映像信号26のラインR1080となる合成信号28を生成する。この合成された合成信号28は、1ライン毎に偏光方向の異なる偏光板15及び16が貼られた立体表示パネル25に出力され、立体表示パネル25に表示される。なお、図4では右目用映像信号、左目用映像信号ともにプログレッシブ信号の場合を図示しているが、インタレース信号の場合は右目用映像信号、左目用映像信号ともに垂直ライン数がそれぞれ半分の信号を合成する。
次に、立体信号上下左右反転部22の詳細な構成について説明する。図5は、立体信号上下左右反転部22の詳細な構成について説明するための図である。
図5に示すように、立体信号上下左右反転部22は、移動量検出部31と、水平位置移動部32と、上下左右反転部33とを有して構成されている。水平位置移動部32は、右画像移動部32a及び左画像移動部32bにより構成されている。また、上下左右反転部33は、右画像上下左右反転部33a及び左画像上下左右反転部33bにより構成されている。
移動量検出部31には、右目用及び左目用の映像信号が入力される。移動量検出部31は、入力された右目用の映像信号と左目用の映像信号との解析によって左右の映像信号の視差量を及び奥行き情報を検出する。移動量検出部31は、検出した視差量を及び奥行き情報に応じて、右目用の映像信号及び左目用の映像信号それぞれの移動量と移動方向を検出し、水平位置移動部32の右画像移動部32a及び左画像移動部32bに出力する。なお、移動量検出部31の詳細な構成については、後述する。
水平位置移動部32の右画像移動部32aには、移動量検出部31からの右目用の映像信号の移動量及び移動方向と、右目用の映像信号とが入力される。右画像移動部32aは、移動量検出部31で検出された右目用の映像信号の移動量だけ、検出された移動方向に入力される右目用の映像信号を水平方向に移動させる。水平位置が移動された右目用の映像信号は、上下左右反転部33の右画像上下左右反転部33aに入力される。
同様に、水平位置移動部32の左画像移動部32bには、移動量検出部31からの左目用の映像信号の移動量及び移動方向と、左目用の映像信号とが入力される。左画像移動部32bは、移動量検出部31で検出された左目用の映像信号の移動量だけ、検出された移動方向に入力される左目用の映像信号を水平方向に移動させる。水平位置が移動された左目用の映像信号は、上下左右反転部33の左画像上下左右反転部33bに入力される。
右画像上下左右反転部33a及び左画像上下左右反転部33bは、それぞれ水平位置が移動された右目用の映像信号及び左目用の映像信号を上下左右反転させて、セレクタ23を介して立体信号合成部24に出力する。
ここで、水平位置移動部32及び上下左右反転部33の構成について説明する。図6A及び図6Bは、水平位置移動部32の構成について説明するための図であり、図7A及び図7Bは、上下左右反転部33の構成について説明するための図である。
図6Aに示すように、水平位置移動部32は、1ライン分のデータ、ここでは、1920画素分のデータを格納することができるメモリ回路である。水平位置移動部32は、このように格納されたデータの読み出し位置を変更することで、水平位置を移動させる。具体的には、水平位置移動部32は、図6Bに示すように、4画素目から読み出すように読み出し位置を変更することで、水平位置を左方向に3画素分だけ移動させる。
また、図7Aに示すように、上下左右反転部33は、1フレーム分のデータ、ここでは、1920画素×1080ライン分のデータを格納することができるメモリ回路である。上下左右反転部33は、このように格納されたデータの読み出し順番を変更することで、上下左右反転を行っている。具体的には、上下左右反転部33は、図7Bに示すように、1080ラインの1920画素、1080ラインの1919画素、・・・、1ラインの1画素というように、格納されたデータの読み出す順番を変更することで、上下左右反転を行う。
なお、水平位置移動部32及び上下左右反転部33は、一旦格納されたデータの読み出し位置及び読み出し順番を変更することで、水平位置の移動及び上下左右の反転を行っているが、これに限定されるものではない。水平位置移動部32及び上下左右反転部33は、例えば、データを格納する際に、格納する位置を変更することで、水平位置の移動及び上下左右の反転を行うようにする。具体的には、図7Aの1ラインの1画素に格納するデータが入力された際に、このデータを1080ラインの1920画素に格納するようにする。次に、図7Aの1ラインの2画素に格納するデータが入力された際に、このデータを1080ラインの1919画素に格納するようにする。このような処理を行うことで、一旦格納したデータの読み出し位置及び読み出し順番を変更する処理が必要なくなり、一旦格納したデータをそのまま使用することができるため、水平位置の移動及び上下左右の反転する処理時間を短縮することができる。
次に、移動量検出部31の詳細な構成について説明する。図8は、移動量検出部31の詳細な構成について説明するための図である。
図8に示すように、移動量検出部31は、対応点検出部34と、水平位置移動量算出部35とを有して構成されている。
対応点検出部34は、入力された右目用の映像信号と左目用の映像信号とから、それぞれに含まれる同じ被写体を、色や形状による画像認識により同定し、右目用画像及び左目用画像中の被写体の位置を検出する。対応点検出部34は、このように検出した被写体の位置情報を水平位置移動量算出部35に出力する。
水平位置移動量算出部35は、対応点検出部34から出力された被写体の位置情報を用いて、右目用画像及び左目用画像の水平位置の移動量を算出する。具体的には、水平位置移動量算出部35は、対応点検出部34から出力された右目用画像及び左目用画像中の被写体の位置から、右目用画像と左目用画像との視差(ズレ)と、奥行き情報(画面の前か奥か)とを検出し、その検出結果に基づいて、右目用画像及び左目用画像それぞれの水平位置移動量を算出する。
左目用画像の被写体位置が右目用画像の被写体位置に対して左側に存在する場合、奥行き情報は画面の奥となり、左目用画像の被写体位置が右目用画像の被写体位置に対して右側に存在する場合、奥行き情報は画面の手前となる。
ここで、移動量検出部31での移動量の算出処理について、図9A及び図9Bを用いて説明する。図9A及び図9Bは、移動量検出部31での移動量の算出処理について説明するための図である。
図9Aの点線は、右目用画像の鉗子36であり、図9Aの実線は、左目用画像の鉗子37である。対応点検出部34では、このような右目用画像の鉗子36及び左目用画像の鉗子37の色や形状から被写体の位置情報が検出される。そして、水平位置移動量算出部35により、右目用画像の鉗子36及び左目用画像の鉗子37の位置情報から視差dが検出される。また、奥行き情報は、左目用画像の鉗子37の位置が右目用画像の鉗子36の左側に存在することから、画面の奥である。
立体映像の上下左右反転を行う前には、奥行き状態を反転させることが必要となるため、図9Bに示すように、右目用画像の鉗子36と左目用画像の鉗子37との位置が入れ替わるように、右目用画像及び左目用画像の水平位置を移動させる。具体的には、水平位置の移動量は、左目用画像に対しては右方向に視差dだけ、右目用画像に対しては左方向に視差dだけ、となる。一方、奥行き情報が画面の前の場合、水平位置の移動量は、左目用画像に対しては左方向に視差dだけ、右目用画像に対しては右方向に視差dだけ、となる。
水平位置移動量算出部35は、このように右目用画像及び左目用画像に対する水平方向の移動量と移動方向を算出し、水平位置移動部32に出力する。水平位置移動部32では、移動量検出部31で検出された水平方向の移動量と移動方向に基づいて、右目用画像及び左目用画像の水平位置が移動される。その後、水平位置が移動された右目用画像及び左目用画像の上下左右が上下左右反転部33で反転されることにより、奥行き情報が変更されていない右目用画像及び左目用画像が得られることになる。
次に、立体モニタ4のおける上下左右の反転処理について、図10を用いて説明する。図10は、立体モニタ4のおける上下左右の反転処理の例を示すフローチャートである。
まず、上下左右反転スイッチ20aがONかOFFかが判定される(ステップS2)。上下左右反転スイッチ20aがOFFと判定された場合、映像信号が立体信号合成部24に入力されるように、セレクタ21及び23が動作する(ステップS2)。一方、上下左右反転スイッチ20aがONと判定された場合、映像信号が立体信号上下左右反転部22に入力されるように、セレクタ21が動作する(ステップS3)。なお、セレクタ23は、立体信号上下左右反転部22からの出力が立体信号合成部24に入力されるように動作する。
次に、対応点検出部34で左右画像の対応点を検出することにより、左右画像の視差(ズレ)と奥行き情報(画面の前か奥か)とを検出し(ステップS4)、奥行き情報は画面の前か否かが判定される(ステップS5)。奥行き情報が画面の前と判定された場合、YESとなり、左画像を左方向へ、右画像を右方向へ、検出した視差量だけ水平方向を移動させる制御信号を水平位置移動量算出部35が出力する(ステップS6)。一方、奥行き情報が画面の前でない、すなわち、画面の奥と判定された場合、NOとなり、左画像を右方向へ、右画像を左方向へ、検出した視差量だけ水平方向を移動させる制御信号を水平位置移動量算出部35が出力する(ステップS7)。
次に、右画像移動部32a及び左画像移動部32bは、制御信号を受け、水平方向へ右画像及び左画像をシフトさせ(ステップS8)、右画像上下左右反転部33a及び左画像上下左右反転部33bは、右画像及び左画像の上下左右反転処理を行う(ステップS9)。最後に、立体信号合成部24で、左右画像を立体表示用のデータに合成し(ステップS10)、処理を終了する。
以上のように、立体内視鏡システム1は、右目用の映像信号と左目用の映像信号との視差及び奥行き情報を検出し、検出した視差及び奥行き情報に基づいて、右目用の映像信号及び左目用の映像信号の水平位置を移動する。その後、立体内視鏡システム1は、水平位置を移動した右目用の映像信号及び左目用の映像信号の上下左右を反転するようにした。この結果、立体内視鏡システム1は、右目用の映像信号及び左目用の映像信号を単純に上下左右を反転したときのように、奥行き情報が反転することがなくなり、正確な立体映像を表示することができる。
よって、本実施の形態の立体内視鏡システムよれば、立体映像を上下左右反転した場合でも、正確な立体映像を観察することができる。
(第2の実施の形態)
次に、第2の実施の形態について説明する。
第2の実施の形態は、第1の実施の形態の立体内視鏡システム1の立体モニタ4に代わり、立体モニタ4aを用いて構成されている。
図11は、立体モニタ4aの詳細な構成を説明するための図である。なお、図11において、図3と同様の構成については、同一の符号を付して説明を省略する。
図11に示すように、立体モニタ4aは、図3の立体モニタ4に対して分配器41と、立体映像信号生成部42と、信号出力部43とが追加されて構成されている。信号出力部43には、立体モニタや記録機器等の外部機器が接続される。分配器41、立体映像信号生成部42及び信号出力部43は、立体モニタ4aに表示される立体映像を、表示された立体映像と同じ状態で、かつ接続される外部機器が対応している立体映像フォーマットに合わせて出力するための信号処理系統である。
分配器41は、立体表示パネル25の前段に設けられており、立体信号合成部24から出力された同じ出力信号を2系統、すなわち、立体表示パネル25及び立体映像信号生成部42に分配して出力する。このように、立体表示パネル25の直前で表示される信号を分配器41にて分配することで、分配する以前の信号処理で加えられた画質調整や位置調整が加えられた状態の立体画像を取り出すことができる。
変換部としての立体映像信号生成部42は、このように分配された立体画像を、外部機器の立体映像フォーマットに合わせるように変換し、信号出力部43に出力する。具体的には、立体映像信号生成部42は、外部機器の立体映像フォーマットに合わせて、例えば、立体映像フォーマットであるサイドバイサイド方式、または、フィールドシーケンシャル方式等の信号に変換し、信号出力部43に出力する。
信号出力部43は、この変換された信号を、SDIやDVI等の映像出力信号に変換し、外部機器に出力する。
以上により、本実施の形態の立体内視鏡システム1は、立体モニタ4aの立体映像フォーマットとは異なる立体映像フォーマットの外部ききに、立体モニタ4aに表示される立体映像と同様の立体映像を表示または記録させることができる。
なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本発明は、上述した実施の形態及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本出願は、2013年3月29日に日本国に出願された特願2013−73600号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
本発明の一態様の立体内視鏡システムは、左右の撮像信号を取得する立体内視鏡と、前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、入力された前記左右の映像信号の右目用画像及び左目用画像中の被写体の位置を検出する対応点検出部と、前記対応点検出部から出力された前記右目用画像及び前記左目用画像の位置から得られる前記右目用画像と前記左目用画像との視差と、前記立体映像の奥行情報とに基づき、前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、を有する。
本発明の一態様の立体内視鏡システムは、左右の撮像信号を取得する立体内視鏡と、前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、入力された前記左右の映像信号の右目用画像及び左目用画像中の被写体の位置を検出することにより左右画像の視差と奥行情報とを検出する対応点検出部と、前記対応点検出部から出力された前記右目用画像及び前記左目用画像の位置から得られる前記右目用画像と前記左目用画像との視差と、前記立体映像の奥行情報とに基づき、前記左目用画像が前記立体画像の奥であるとき、前記左目用画像を右方向に視差量だけ、前記右目用画像に対しては左方向に視差量だけ水平移動させ、前記左目用画像が前記立体画像の手前であるとき、前記左目用画像を左方向に視差量だけ、前記右目用画像に対しては右方向に視差量だけ水平移動させる制御信号を出力する水平位置移動量算出部と、前記水平位置移動量算出部により得られる制御信号を受けて前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、を有する。
本発明の一態様の立体内視鏡システムは、左右の撮像信号を取得する立体内視鏡と、前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、入力された前記左右の映像信号の右目用画像及び左目用画像中の被写体の位置を検出することにより左右画像の視差と奥行情報とを検出する対応点検出部と、前記対応点検出部から出力された前記右目用画像及び前記左目用画像の位置から得られる前記右目用画像と前記左目用画像との視差と、前記立体映像の奥行情報とに基づき、前記左目用画像が前記立体モニタの画面の奥であるとき、前記左目用画像を右方向に視差量だけ、前記右目用画像に対しては左方向に視差量だけ水平移動させ、前記左目用画像が前記立体モニタの画面の手前であるとき、前記左目用画像を左方向に視差量だけ、前記右目用画像に対しては右方向に視差量だけ水平移動させる制御信号を出力する水平位置移動量算出部と、前記水平位置移動量算出部により得られる制御信号を受けて前記左右の映像信号の水平位置を前記視差量だけ、前記奥行情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、を有する。

Claims (3)

  1. 左右の撮像信号を取得する立体内視鏡と、
    前記立体内視鏡で取得された前記左右の撮像信号に所定の映像信号処理が施された左右の映像信号に応じた立体映像を表示する立体モニタと、
    前記立体モニタに設けられ、入力された前記左右の映像信号の左右の視差量を及び奥行き情報を検出する移動量検出部と、
    前記立体モニタに設けられ、前記左右の映像信号の水平位置を前記視差量だけ、前記奥行き情報に応じて決定された方向にそれぞれ移動させる水平位置移動部と、
    前記立体モニタに設けられ、前記水平位置移動部で水平位置を移動された前記左右の映像信号の上下左右を反転させる上下左右反転部と、
    前記立体モニタに設けられ、前記上下左右反転部で上下左右を反転された前記左右の映像信号を合成して立体映像信号を生成する立体信号合成部と、
    を有することを特徴とする立体内視鏡システム。
  2. 前記立体モニタは、前記立体信号合成部で生成された前記立体映像信号を出力する出力部を有することを特徴とする請求項1に記載の立体内視鏡システム。
  3. 前記立体モニタは、前記立体信号合成部で生成された前記立体映像信号を、前記出力部に接続される外部機器が対応している立体映像信号に変換して前記出力部に出力する変換部を有する特徴とする請求項2に記載の立体内視鏡システム。
JP2014544286A 2013-03-29 2013-11-12 立体内視鏡システム Active JP5771754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014544286A JP5771754B2 (ja) 2013-03-29 2013-11-12 立体内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013073600 2013-03-29
JP2013073600 2013-03-29
JP2014544286A JP5771754B2 (ja) 2013-03-29 2013-11-12 立体内視鏡システム
PCT/JP2013/080504 WO2014155815A1 (ja) 2013-03-29 2013-11-12 立体内視鏡システム

Publications (2)

Publication Number Publication Date
JP5771754B2 JP5771754B2 (ja) 2015-09-02
JPWO2014155815A1 true JPWO2014155815A1 (ja) 2017-02-16

Family

ID=51622852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014544286A Active JP5771754B2 (ja) 2013-03-29 2013-11-12 立体内視鏡システム

Country Status (5)

Country Link
US (1) US9408528B2 (ja)
EP (1) EP2945375A4 (ja)
JP (1) JP5771754B2 (ja)
CN (1) CN105009581B (ja)
WO (1) WO2014155815A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP6802165B2 (ja) * 2015-08-06 2020-12-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、医療用表示装置、及び医療用観察システム
CN105361842A (zh) * 2015-10-28 2016-03-02 李京 3d内窥镜隆乳技术
US10609354B2 (en) * 2016-02-12 2020-03-31 Sony Corporation Medical image processing device, system, method, and program
US20200175656A1 (en) * 2017-07-12 2020-06-04 Sony Corporation Image processing apparatus, ophthalmic observation apparatus, and ophthalmic observation system
WO2023038127A1 (ja) * 2021-09-10 2023-03-16 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07265264A (ja) * 1994-04-01 1995-10-17 Olympus Optical Co Ltd 画像処理装置
JP2001078174A (ja) * 1999-09-03 2001-03-23 Olympus Optical Co Ltd 画像処理装置
WO2004084599A1 (ja) * 1997-11-12 2004-09-30 Takashi Kitahara 薄型電子装置の放熱装置
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2007306130A (ja) * 2006-05-09 2007-11-22 Olympus Medical Systems Corp 観察システム及び観察映像信号の伝送方法
JP2010206495A (ja) * 2009-03-03 2010-09-16 Olympus Medical Systems Corp 電子画像観察装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272760A (ja) 2000-03-24 2001-10-05 Konica Corp ハロゲン化銀写真感光材料用自動現像装置
JPWO2004084559A1 (ja) 2003-03-20 2006-06-29 富田 誠次郎 車両用映像表示装置
JP5430565B2 (ja) * 2008-06-18 2014-03-05 パナソニック株式会社 電子ミラー装置
JP2012053165A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置、プログラムおよび情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07265264A (ja) * 1994-04-01 1995-10-17 Olympus Optical Co Ltd 画像処理装置
WO2004084599A1 (ja) * 1997-11-12 2004-09-30 Takashi Kitahara 薄型電子装置の放熱装置
JP2001078174A (ja) * 1999-09-03 2001-03-23 Olympus Optical Co Ltd 画像処理装置
JP2006284877A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 医療用立体画像表示制御装置
JP2007306130A (ja) * 2006-05-09 2007-11-22 Olympus Medical Systems Corp 観察システム及び観察映像信号の伝送方法
JP2010206495A (ja) * 2009-03-03 2010-09-16 Olympus Medical Systems Corp 電子画像観察装置

Also Published As

Publication number Publication date
EP2945375A1 (en) 2015-11-18
JP5771754B2 (ja) 2015-09-02
CN105009581A (zh) 2015-10-28
WO2014155815A1 (ja) 2014-10-02
US20150085074A1 (en) 2015-03-26
US9408528B2 (en) 2016-08-09
EP2945375A4 (en) 2016-06-15
CN105009581B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
JP5771754B2 (ja) 立体内視鏡システム
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP6655756B2 (ja) 3d内視鏡装置、及び、3d映像処理装置
JP5893808B2 (ja) 立体内視鏡画像処理装置
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
WO2013179855A1 (ja) 立体視内視鏡システム
JP2019025082A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
JP2015220643A (ja) 立体観察装置
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
JP5629023B2 (ja) 医療用3次元観察装置
JP7086929B2 (ja) 医療情報処理システム
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
JP6462979B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP4594673B2 (ja) 立体内視鏡用表示制御装置
JP2011234788A (ja) 超音波診断装置、超音波画像処理方法及び超音波画像処理プログラム
JP7393842B1 (ja) 支援システム、支援装置、被支援装置
JP7401157B1 (ja) 支援システム、支援装置、被支援装置
JP2014068796A (ja) 立体内視鏡装置
JP6021215B2 (ja) 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム
JP2004233480A (ja) 立体内視鏡システム
JP2012189689A (ja) 撮影画像合成表示装置および画像合成提示システム
JP2014094124A (ja) データ担体と、それを用いた手術立体映像再生装置と、手術立体映像表示装置と、それらを用いた手術立体映像表示方法、手術立体映像表示プログラム、手術立体映像表示システム。

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150603

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R151 Written notification of patent or utility model registration

Ref document number: 5771754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250