JPWO2015111263A1 - 立体内視鏡画像処理装置 - Google Patents

立体内視鏡画像処理装置 Download PDF

Info

Publication number
JPWO2015111263A1
JPWO2015111263A1 JP2015538792A JP2015538792A JPWO2015111263A1 JP WO2015111263 A1 JPWO2015111263 A1 JP WO2015111263A1 JP 2015538792 A JP2015538792 A JP 2015538792A JP 2015538792 A JP2015538792 A JP 2015538792A JP WO2015111263 A1 JPWO2015111263 A1 JP WO2015111263A1
Authority
JP
Japan
Prior art keywords
image
blur
region
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015538792A
Other languages
English (en)
Other versions
JP5893808B2 (ja
Inventor
誠 春見
誠 春見
昌史 梅村
昌史 梅村
秋介 土谷
秋介 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015538792A priority Critical patent/JP5893808B2/ja
Application granted granted Critical
Publication of JP5893808B2 publication Critical patent/JP5893808B2/ja
Publication of JPWO2015111263A1 publication Critical patent/JPWO2015111263A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

立体内視鏡画像処理装置は、左目用画像信号と右目用画像信号との同期調整を行う同期調整部と、一方の画像信号の画像における中央領域の周囲の周辺領域上において、処置具の画像が占める領域を解析する画像解析部と、を備え、画像解析部は、周辺領域を細分化し、所定数の領域に分割する画像分割部と、各領域内の色成分を分析する色成分分析部と、各領域内のエッジ成分を抽出する画像エッジ成分抽出部と、周辺領域上における処置具の画像が占める領域の大きさを評価する処置具領域評価部と、画像解析部の解析結果に応じて周辺領域における画像にぼかし処理を施す領域としてのぼかし領域と、周辺領域における画像にぼかし処理を施す際のぼかし強度との情報を生成するぼかし情報生成部と、ぼかし情報生成部の生成結果に応じて左目用の画像と右目用の画像に対してそれぞれぼかし処理を施した3D画像を合成して出力する画像合成部と、を備える。

Description

本発明は、立体内視鏡による左右の画像信号に対して画像処理を行う立体内視鏡画像処理装置に関する。
近年、医療分野等において内視鏡が広く用いられるようになっている。また、精度を要する手術等を行うような場合においては、1つの撮像素子を用いた通常の内視鏡においては知覚し難い、奥行き方向に対しての立体感(奥行き感)を知覚できる立体内視鏡が用いられる場合がある。
立体内視鏡を用いた場合には、左右の撮像素子により得られる左右の画像信号に対する画像処理を行い、生成した立体画像信号を表示部又は表示装置に出力する画像処理装置が用いられる。
また、画像処理装置の従来例として、日本国特開2011−82829号公報においては、右目用画像又は左目用画像における中央領域よりも、周辺領域に対してより大きいぼかし処理を行う内容を開示している。また、右目用画像及び左目用画像のずれ量が大きい程、より大きいぼかし強度に設定する内容を開示している。このようなぼかし処理を施すことにより、観察者が右目用画像及び左目用画像を融合して立体画像として認識し易いようにしている。
しかしながら上記の従来例は、体腔内において立体内視鏡により撮像した左右の画像信号を表示画面に立体観察用画像として表示し、観察者としての術者が立体画像を観察して、高い精度を要する手術等を行うような場合においては、術者の要望を満たすことが困難である。
術者は、体腔内における病変部を表示画面の中央領域に設定して手術等を行っている状況においては、術者は表示画面の中央領域部分の画像に没入(集中)している状態となり、その状態において、周辺領域側から処置具が病変部に向かって中央領域側に入ってくると、術者は観察している内視鏡画像(立体画像)の端側から突然、大きな処置具が飛び出してくるイメージを受け、手術に集中している状態を途切れさせるような要因となる。
また、例えば左右方向から処置具を中央領域に挿入して吻合する処置を行う場合においても、術者は、表示画面の中央領域において吻合を行っている様子を観察し、吻合している箇所を立体的に知覚して吻合するための運針の作業を行っている状況であり、左右からの処置具のロッド部分が表示画面の左右方向から手前側に飛び出すような錯覚を受け、処置具のロッド部分に対して、違和感を感じ易い(知覚特性になる)。このため術者が立体観察しながら手術等を行うような場合、正常な体観察の知覚特性が処置具に起因して低下してしまう要因を抑制又は軽減することが望まれる。
このように処置具が原因で立体観察の知覚特性が低下してしまうため、従来例における右目用画像及び左目用画像のずれ量に応じてぼかし量を調整しても、上記のような立体観察の知覚特性の低下を適切に改善できない。
本発明は上述した点に鑑みてなされたもので、立体観察の知覚特性を維持しつつ、処置具による立体観察の知覚特性の低下を抑制または軽減する画像処理を行う立体内視鏡画像処理装置を提供することを目的とする。
本発明の一態様に係る立体内視鏡画像処理装置は、立体内視鏡に設けられた左右の撮像素子の出力信号に基づく、左目用画像を表す左目用画像信号と右目用画像を表す右目用画像信号との同期調整を行うよう構成された同期調整部と、前記左目用画像信号及び前記右目用画像信号の少なくとも一方の画像信号の画像における中央領域の周囲の周辺領域上において、処置具の画像が占める領域を解析するよう構成された画像解析部と、を備え、前記画像解析部は、入力された前記画像信号により得られる前記画像における前記中央領域の周囲の前記周辺領域を細分化し、所定数の領域に分割するよう構成された画像分割部と、前記所定数の各領域内の色成分を分析するよう構成された色成分分析部と、前記各領域内の直進性成分のエッジ成分を抽出するよう構成された画像エッジ成分抽出部と、前記色成分分析部の分析結果と前記画像エッジ成分抽出部の抽出結果とから前記周辺領域上における前記処置具の画像が占める領域の大きさを評価するよう構成された処置具領域評価部と、前記処置具領域評価部の評価結果から前記処置具が前記周辺領域上において最も内側の領域としての最内領域に存在する領域のブロックを最内ブロック領域として検知するよう、前記最内ブロック領域を検知するための演算を行うよう構成された最内ブロック領域演算部と、前記処置具領域評価部の評価結果から前記処置具の画像が前記周辺領域上において最も外側の領域としての最外領域に存在する領域のブロックを最外ブロック領域として検知するよう、前記最外ブロック領域を検知するための演算を行うよう構成された最外ブロック領域演算部と、を有し、前記画像解析部の解析結果に応じて前記周辺領域における前記画像にぼかし処理を施す領域としてのぼかし領域と、前記周辺領域における前記画像にぼかし処理を施す際のぼかし強度との情報を生成するよう構成されたぼかし情報生成部と、前記同期調整部の同期調整結果と、前記ぼかし情報生成部の生成結果に応じて前記左目用画像と前記右目用画像に対してそれぞれぼかし処理を施した3D画像を合成して出力するよう構成された画像合成部と、を備える。
図1は本発明の第1の実施形態を備えた立体内視鏡装置の全体構成を示す図。 図2は第1の実施形態の画像処理部を備えた3Dモニタを含む立体内視鏡装置の内部構成を示す図。 図3は第1の実施形態の画像処理部の構成を示すブロック図。 図4はより詳細な画像処理部の構成を示すブロック図。 図5は画像解析処理回路の構成を示すブロック図。 図6Aは左の画像における中央領域の周囲の周辺領域を複数の小さな領域に分割した様子を示す図。 図6Bは周辺領域において色分析とエッジ検出を行った様子を示す図。 図6Cは周辺領域における最内領域において処置具が存在する領域としての最内ブロック領域を示す図。 図6Dは周辺領域における最外領域において処置具が存在する領域としての最外ブロック領域を示す図。 図7は第1の実施形態の代表的な動作に対応した処理内容を示すフローチャート。 図8Aはぼかし領域を生成又は設定する処理手順を示すフローチャート。 図8Bは図8Aの処理により最内ブロック領域の割合に応じて設定されるぼかし領域の範囲を示す図。 図9Aはぼかし強度を生成又は設定する処理手順を示すフローチャート。 図9Bは図9Aの処理により最外ブロック領域の割合に応じて設定されるぼかし強度を示す図。 図10はぼかし前の画像と、ぼかし処理された画像とを示す図。 図11Aはぼかし領域に対してぼかし処理を行う場合の説明図。 図11Bは図11Aにおける数値例を用いてぼかし処理を行う場合の説明図。 図12は第1の実施形態の動作のタイミングチャート。 図13は第1の実施形態の変形例を備えた立体内視鏡装置の内部構成を示す図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の立体内視鏡画像処理装置を備えた立体内視鏡装置1は、手術室内の手術台2に横たわる患者3に対して、立体観察のために使用される立体内視鏡(3D内視鏡と略記)4と、トロリー5に搭載された複数の医療機器とを備える。
トロリー5には、複数の医療機器として、照明光を発生する光源装置6と、左目用の画像信号を生成する第1のプロセッサ7Aと、右目用の画像信号を生成する第2のプロセッサ7Bと、両プロセッサ7A、7Bからの第1及び第2の画像信号から立体(3D)観察用の3次元(3D)の画像信号を生成する画像生成装置としての3次元ミキサ(3Dミキサと略記)8と、3Dミキサ8により生成された3Dの画像信号を表示する3Dモニタ9と、3Dモニタ9に表示される立体観察用(3D用)画像を立体視するために例えば術者Dがかける3Dメガネ10を備える。
また、本実施形態においては、本発明の立体内視鏡画像処理装置を構成する画像処理部(又は画像処理回路)11を3Dモニタ9内に設けている(図2参照)。第1のプロセッサ7A、第2のプロセッサ7Aを、左目用プロセッサ、右目用プロセッサとも言う。図2においては、プロセッサ(左目用)、プロセッサ(右目用)として示している。なお、立体内視鏡画像処理装置を画像処理部11(又は後述する11B)の場合に限定されるものでなく、立体内視鏡装置1(又は後述する1B)により形成しても良い。
患者3の例えば腹部3aに図示しないトラカールを介して刺入される3D内視鏡4は、ライトガイドケーブル12を介して光源装置6と接続される。また、3D内視鏡4は、信号ケーブル13(なお、図2に示すように2本の信号ケーブル13a,13bにしても良い)を介して、プロセッサ7A,7Bに接続される。
また、トロリー5には、電気メス電源装置又は電気メス装置14が搭載され、処置具として、例えば電気メス16を用いる場合には、電気メスケーブル15を介して電気メス16に高周波信号を供給する。
また、患者3の腹部3aには、図示しない助手により操作される処置具17が刺入され、術者Dが行う手術を円滑に行えるように助手は処置具17を操作する。なお、図1においては処置具として電気メス16と符号17で示す処置具とを区別して示しているが、図6B等において示すように複数の処置具17a,17b,17cであっても良い。図2は、図1における主要な医療機器の内部構成を示す。
3D内視鏡4は、体内に挿入される挿入部21と、挿入部21の後端(基端)に設けられ、術者D又は助手により把持される把持部22と、把持部22から延出されたライトガイドケーブル12と信号ケーブル13a,13bとを有し、ライトガイドケーブル12の端部は光源装置6に着脱自在に接続される。
光源装置6は、白色の照明光を発生するランプ23と、照明光を集光してライトガイドケーブル12の端部に入射(供給)する集光レンズ24とを有する。ライトガイドケーブル12に入射された照明光は、挿入部21内を挿通されたライトガイド25の基端側端部に入射される。このライトガイド25は、基端側端部に入射された照明光をこのライトガイド25の先端側の端部に伝送し、ライトガイド25の先端面が配置された照明窓から照明光を出射し、体内の病変部等の被写体を照明する。
挿入部21の先端部には、左右方向に距離dだけ離間して、被写体の光学像を結ぶための左目用対物レンズ26aと右目用対物レンズ26bとが配置され、それぞれの結像位置には左目用撮像素子としての左目用電荷結合素子(CCDと略記)27aの撮像面と、右目用撮像素子としての右目用CCD27bの撮像面とが配置されている。
なお、本明細書においては、左の撮像素子は左目用撮像素子と同じ意味であり、同様に右の撮像素子は右目用撮像素子と同じ意味であり、撮像素子以外においても同様の意味で用いる。例えば左目用画像信号と右目用画像信号は、左右の画像信号と同じ意味となる。
左右のCCD27a、27bは、結像された光学像を光電変換した出力信号としての撮像信号を出力する。左目用対物レンズ26aと左目用CCD27aとにより左目用撮像部又は左撮像部(左撮像デバイス)28aが形成され、右目用対物レンズ26bと右目用CCD27bとにより右目用撮像部又は右撮像部(右撮像デバイス)28bが形成される。上記距離dを有し同じ被写体を、視線方向が異なる両撮像部28a,28bにより撮像して、表示装置としての3Dモニタ9に3D観察用画像を表示することにより、3D観察用画像を観察する(観察者としての)術者Dは、被写体における各部を立体感又は奥行き感を知覚して観察することができる。
CCD27aは、3D内視鏡4内を挿通され、外部に延出された信号ケーブル13aを介して、その後端の信号コネクタ29aが第1のプロセッサ7Aの信号コネクタ受け31aに着脱自在に接続され、CCD27bは、3D内視鏡4内を挿通され、外部に延出された信号ケーブル13bを介して、その後端の信号コネクタ29bが第2のプロセッサ7Bの信号コネクタ受け31bに着脱自在に接続される。
第1のプロセッサ7Aは、CCD27aにより生成された左目用の撮像信号から左目用の2次元(2D)の画像信号を生成する画像生成部(又は画像生成回路)32aと、画像生成部32aにより生成した2Dの画像信号を出力する画像出力インタフェース(図2では出力IFと略記)33aと、2Dの画像信号を生成する際の同期信号の通信を行う同期信号通信部(又は同期信号通信回路)34aとを有する。画像生成部32aにより生成された左目用の2Dの画像信号は、画像出力インタフェース33aを介して3Dミキサ8に出力される。
同様に、第2のプロセッサ7Bは、CCD27bにより生成された右目用の撮像信号から右目用の2次元(2D)の画像信号を生成する画像生成部(又は画像生成回路)32bと、画像生成部32bにより生成した右目用の2Dの画像信号を出力する画像出力インタフェース(出力IF)33bと、2Dの画像信号を生成する際の同期信号の通信を行う同期信号通信部(又は同期信号通信回路)34bと、を有する。画像生成部32bにより生成された右目用の2Dの画像信号は、画像出力インタフェース33bを介して3Dミキサ8に出力される。
同期信号通信部34a,34bは、一方から他方に同期信号を送信し、送信された他方の同期信号通信部は、送信された同期信号と同期した同期信号を生成する。換言すると、両同期信号通信部34a,34bは、通信を行った後、同じ同期信号を生成する状態となり、両画像生成部32a,32bは同じ同期信号に同期してそれぞれ左目用と右目用の2Dの画像信号をそれぞれ生成する状態となる。
なお、画像生成部32a,32bは、それぞれ画像出力インタフェース33a,33bを含む構成にしても良い。
3Dミキサ8は、両画像生成部32a,32bによりそれぞれ生成された左目用の2Dの画像信号と右目用の2Dの画像信号とが入力される画像入力インタフェース(図2では入力I/Fと略記)36a,36bと、両画像入力インタフェース36a,36bから入力された左目用の2Dの画像信号と右目用の2Dの画像信号とから3Dの画像信号(又は映像信号)を生成する3D画像生成部(又は3D画像生成回路)37と、生成した3Dの画像信号を外部の3Dモニタ9に出力する画像出力インタフェース(図2では出力I/F)38と、を有する。
3D画像生成部37は、例えば入力された両2Dの画像信号の周期を1/2倍に圧縮して表示レートを倍速にする。そして、2Dの画像信号における1フレーム期間の半分の第1フィールド(奇数フィールド)には、左目用の2Dの画像信号、第2フィールド(偶数フィールド)には、右目用の2Dの画像信号を有する3Dの画像信号を生成する。換言すると、3D画像生成部37は、左右の2Dの画像信号を3Dの画像信号に変換する2D/3D変換部((又は2D/3D変換回路))と言うこともできる。
3Dモニタ9は、3Dの画像信号が入力される画像入力インタフェース(入力I/F)41aと、左右の撮像素子により撮像された左右の撮像画像(単に画像とも言う)に基づいて生成された3Dの画像信号(映像信号)から、左右の画像における周辺領域上における処置具(図1の構成の説明においては、処置具17と、電気メス16による処置具では異なる番号で示しているが、画像処理する場合の処置具としては異なる種類として検出しないので、以下では処置具17は複数であることを明示する場合には17a,17b,17cで表す)が存在する領域を解析し、当該領域の処置具17の画像に対してぼかし処理を施した3Dの合成画像信号を生成する画像処理を行う画像処理部11と、生成された3Dの合成画像信号を表示する表示部(又は表示パネル)43と、画像処理部11の画像処理パラメータの設定操作等を行う操作部(又は操作回路)44と、画像処理部11及び表示部43の制御を行う制御部(又は制御回路)45とを有する。
また、3Dモニタ9の表示部43の表示画面に表示される3Dの画像を観察する術者Dは、左右の目の直前に互いに直交する方向の光を通す左右の偏光板47a,47bを有する3Dメガネ10を用いる。
図3は、画像処理部11の構成を示す。画像処理部11は、3Dの画像信号から左右の画像信号に分離する分離部(又は分離回路)を構成する切替スイッチ51と、切替スイッチ51により分離された一方の画像信号(ここでは左の画像信号)の画像における処置具17が占める領域を解析する画像解析部(又は画像解析回路)52と、一方の画像信号と他方の画像信号(ここでは右の画像信号)との同期調整を行う同期調整部(又は同期調整回路)53と、画像解析部52による解析結果に応じてぼかし処理を施す情報としてのぼかし情報を格納したデータベースデバイス(DBと略記)を形成するリファレンスDB(ぼかし情報参照用DB)54と、同期調整された一方の画像信号と他方の画像信号に対して、画像解析部52による解析結果に対応したぼかし情報を施した3Dの画像信号としての3Dの合成画像信号を出力する画像合成部(又は画像合成回路)55と、同期調整部53のタイミング信号に基づいて、画像解析部52、同期調整部53、リファレンスDB54、及び画像合成部55を制御する制御部(又は制御回路)56と、を有する。
なお、上記同期調整部53は、一方の画像信号と他方の画像信号とをそれぞれぼかし処理して同期した3Dの合成画像信号を出力させるようにタイミング調整を行うタイミング調整部(又はタイミング調整回路)と言うこともできる。
図4は、図3の画像処理部11のより具体的な構成を示す。
3Dミキサ8から入力される3D画像信号は、切替スイッチ51に入力されると共に、同期調整部53の同期分離回路53aに入力される。同期分離回路53aは、3D画像信号から同期信号を抽出し、この同期信号が入力される切替信号生成回路53bは同期信号に同期した1フレームの半分の1フィールド毎にH,Lとなる切替信号を生成し、この切替信号により、3D画像信号が入力される切替スイッチ51を切り替える。
切替スイッチ51の接点aから例えば奇数フィールド毎に出力される左の画像信号は、画像解析部52に入力され、画像解析部52を構成するキャプチャー回路52a内のメモリコントローラ52bは、メモリ52cに1フレーム分の左の画像信号を格納する。
また、切替スイッチ51の接点bから例えば偶数フィールド毎に出力される右の画像信号は、同期調整部53に入力され、同期調整部53内のメモリコントローラ53cは、メモリ53dに1フレーム分の右の画像信号を格納する。
また、同期調整部53は、同期信号に同期したタイミング信号を生成するタイミング信号生成回路53eを有し、タイミング信号生成回路53eが出力するタイミング信号によりメモリコントローラ53cは、メモリ53dのリード/ライトを制御する。また、タイミング信号生成回路53eが生成するタイミング信号は、同期調整部53の外部の画像解析部52、画像合成部55,制御部56に出力して、タイミング信号に同期した動作を行うことができるようにしている(図4では同期調整部53の外部に出力されるタイミング信号の出力ラインは制御部56に出力される以外は省略)。
画像解析部52は、上記メモリ52cに格納された左の画像信号の画像に対して、当該画像上における中央領域の周囲の周辺領域上において、処置具17が占める領域を解析する画像解析処理を行う画像解析処理部を形成する画像解析処理回路52dを有する。
この画像解析処理回路52dのより詳細な構成及び動作は、図5を参照して後述する。また、上記中央領域及び周辺領域は、図6Aを用いて後述する。
画像解析処理回路52dは、画像解析処理により生成した解析結果データをリファレンスDB54に出力する。リファレンスDB54は、解析結果データを入力データとして、入力データに対応したぼかしデータを出力するように、例えばルックアップテーブル(LUTと略記)54aを備える。従って、リファレンスDB54は、解析結果データに対応したぼかしデータを生成又は出力する。リファレンスDB54は、ぼかしデータを画像合成部55内のぼかしフィルタ回路55aに出力する。
画像合成部55は、ぼかしデータによりぼかしフィルタ処理を行うぼかし処理部を形成するぼかしフィルタ回路55aと、メモリ52c、53dから読み出されて入力された画像信号に対してぼかしフィルタ回路55aによりぼかし処理された2つの画像信号を奇数フィールドと偶数フィールドに分けて重畳(加算)して合成する重畳回路(又は合成回路)55bとを有する。また、重畳回路55bは、ぼかしフィルタ回路55aによりぼかしフィルタ処理がされた画像信号を一時的に記憶するメモリ55cを有する。なお、メモリ55cをぼかしフィルタ回路55aに設けるようにしても良い。
画像解析部52(のメモリコントローラ52b)は、ぼかしフィルタ回路55aがぼかしデータの入力によって、ぼかしフィルタ処理が可能な状態に設定されると、メモリ52cから左の画像信号を読み出して画像合成部55のぼかしフィルタ回路55aに入力させる。また、画像解析部52(のメモリコントローラ52b)は、メモリ52cから左の画像信号を読み出しが終了すると、読み出し終了を同期調整部53(のメモリコントローラ53c)に送り、同期調整部53(のメモリコントローラ53c)は、メモリ53dから右の画像信号を読み出して画像合成部55のぼかしフィルタ回路55aに入力させる。
なお、同期調整部53(のメモリコントローラ53c)は、左の画像信号を読み出しが終了後(換言すると画像解析を開始した時)から画像解析に要する時間と、ぼかし処理に要する時間を考慮してメモリ53dから右の画像信号を読み出して画像合成部55に出力する。
そして、上記のようにぼかしフィルタ回路55aは、メモリ52c、53dから読み出されて入力された左右の画像信号に対して、順次ぼかし処理を行い、重畳回路55bに出力する。なお、画像解析部52の画像解析処理回路52dが画像解析を終了したタイミングにおいて、画像解析処理回路52dが同期調整部53(のメモリコントローラ53c)に画像解析を終了した信号を送り、同期調整部53(のメモリコントローラ53c)は、左の画像信号の画像に対するぼかし処理に要する時間を考慮してメモリ53dから右の画像信号を読み出して画像合成部55に出力するように同期調整(又はタイミング調整)しても良い。
又は、ぼかしフィルタ回路55aが左の画像信号の画像に対するぼかし処理が終了したタイミングにおいて、同期調整部53(のメモリコントローラ53c)に対してぼかし処理が終了した信号を送り、この信号を受けて同期調整部53(のメモリコントローラ53c)がメモリ53dから右の画像信号を読み出して画像合成部55に出力する同期調整(又はタイミング調整)を行うようにしても良い。
重畳回路55bは、1フィールド以内のタイミングで順次入力される左右の画像信号に対して順次ぼかし処理を行い、ぼかし処理した左右の画像信号を、重畳回路55b内のメモリ55cに一時的に格納した後、1フィールド毎に左右の画像信号を出力するようにタイミング調整して読み出すことにより、合成した3D合成画像信号を表示部43に出力する。このため、画像処理部11を構成する、左右の画像信号の同期調整を行う同期調整部を図4における同期調整部11と、このメモリ55cとから構成されると見なすこともできる。
なお、後述するようにぼかしフィルタ回路55aが2つのぼかしフィルタ回路から構成される場合には、メモリ52c、53dから同時に左右の画像信号を出力させるようにしても良い。
図5に示す画像解析処理回路52dは、左の画像信号の画像を画像解析するために所定数となる複数の領域に分割(又は細分化)する画像分割部を形成する画像分割回路61と、分割された各領域内の色成分を分析する色成分分析部を形成する色成分分析回路62と、分割された各領域内の直進性成分のエッジ成分を抽出する画像エッジ成分抽出部を形成する画像エッジ成分抽出回路63と、色成分分析回路62の分析結果と画像エッジ成分抽出回路63の抽出結果とから周辺領域上における処置具17の画像が占める領域の大きさ(ブロック又は領域数)を評価する処置具領域評価部を形成する処置具領域評価回路64と、を有する。
上記画像分割回路61は、図6Aに示すように左の画像信号の画像の全領域を、中央領域Rcと、該中央領域Rcの周囲の周囲領域又は周辺領域Rnとに分割すると共に、周辺領域Rnを複数の領域Rbとして例えば分割数Nの領域Rbに分割する。なお、図6Aは、中央領域Rc、周辺領域Rn、複数の領域Rbを明示するために画像を示さない状態で、中央領域Rc、周辺領域Rn、複数の領域Rbを明示し、図6B〜図6Dにおいては複数の処置具17a,17b,17cが存在する場合の画像を示している。上述したように、明細書中においては複数の処置具17a,17b,17cの存在を強調(明示)する必要性が高くない場合には処置具17で表す。
中央領域Rcのサイズは、ユーザがキーボードやマウスなどを用いて、例えば画像解析処理回路52dに設けた領域設定部(又は領域設定デバイス)65から設定することができる。つまり、領域設定部65は、キーボードやマウス等による構成される。なお、領域設定部65を画像解析処理回路52dの外部に設けるようにしても良い。
中央領域Rcが設定されるとその外側の領域が周辺領域Rnとなる。また、術者D等のユーザは、領域設定部65から周辺領域Rnを複数の領域Rbを設定する場合、その個数又はサイズを自由に設定することができる。
なお、中央領域Rcは、術者Dが鮮明な画像の状態で立体観察の視覚特性が望まれる画像領域となる。これに対して、その外側を囲むように形成される周辺領域Rnは、中央領域Rcに比較すると、鮮明な画像の状態での立体観察の視覚特性の要望は低い。
このため、本実施形態においては、周辺領域Rnにおいて、処置具17の画像の存在を画像解析し、画像解析の結果に基づいて周辺領域Rnに存在する、少なくとも処置具17の画像部分をぼかすことにより、中央領域Rcでの立体観察の視覚特性を維持しつつ、周辺領域Rnに処置具17(の画像)が存在した場合における処置具17(の画像)に起因して立体観察の視覚特性を低下させる要因を抑制又は軽減する。
周辺領域Rnに存在する処置具17の画像の大きさを評価するために、図6Bに示すように色成分分析回路62は色分析を行い、画像エッジ成分抽出回路63は、エッジ成分Ea,Eb,Ecの抽出を行う(後述)。
また、例えば処置具領域評価回路64は、処置具領域評価回路64の評価結果から処置具17が周辺領域Rn上において最も内側の領域となる最内領域Rniに存在する領域のブロックを最内ブロック領域Rnit(図6C参照)として検知し、最内ブロック領域Rnit(の最内領域Rniにおける割合)を(算出するための)演算をする最内ブロック領域演算回路64aと、処置具領域評価回路64の評価結果から処置具17が周辺領域Rn上において最も外側の領域となる最外領域Rnoに存在する領域のブロックを最外ブロック領域Rnot(図6D参照)として検知し、最外ブロック領域Rnot(の最外領域Rnoにおける割合)を(算出するための)演算する最外ブロック領域演算回路64bと、を有する。
なお、最内領域Rniは、図6Cにおいて太い枠で示すように(周辺領域Rnにおいて)正方形又は長方形の中央領域Rcの上下、左右に外側から隣接する正方形又は長方形状に繋がった領域(閉じたベルト状の領域)を示す。同様に最外領域Rnoは、図6Dに示すように(周辺領域Rnにおいて)太い枠で示すように中央領域Rcから最も離間した正方形又は長方形状に繋がった領域(閉じたベルト状の領域)を示す。
そして、上記のように最内ブロック領域演算回路64aは、最内領域Rniを形成する全領域数Niにおいて処置具17の画像が存在する領域数Miを最内ブロック領域Rnitとして検知し、更に、全領域数Niにおける領域数Miの割合Mi/Niを算出する。
また、最外ブロック領域演算回路64bは、最外領域Rnoを形成する全領域数Noにおいて処置具17の画像が存在する領域数Moを最外ブロック領域Rnotとして検知し、更に、全領域数Noにおける領域数Moの割合Mo/Noを算出する。
なお、本実施形態においては、左右の画像を正方形又は長方形の形状で表示する場合で説明するが、左右の画像を円形に表示する場合にも、ほぼ同様に適用できる。この場合には、中央領域Rcは画像の中央部分の円形の領域となり、周辺領域Rnは円形の中央領域Rcの外側の円環形状の領域となる。また、最内領域Rni等も(正方形又は長方形の場合と形状が異なるが)ほぼ同様に定義できる。
なお、図5においては、最内ブロック領域演算回路64aと、最外ブロック領域演算回路64bと、を処置具領域評価回路64の内部に設けた構成例で示しているが、処置具領域評価回路64の外部に設ける構成にしても良い。
本実施形態においては、制御部56は、画像解析処理回路52dと画像合成部55の動作を制御する。制御部56の制御により、画像解析処理回路52d内の処置具領域評価回路64は、周辺領域Rnにおける処置具17の画像の占める割合に応じた解析結果データにより、該解析結果データに対応したぼかしデータをリファレンスDB54から出力させることにより、周辺領域Rnの画像におけるぼかし領域とぼかし強度とを設定する。そして、制御部56の制御により、設定したぼかし領域とぼかし強度を用いて画像合成部55は、左右の画像に対してぼかし処理を施し、ぼかし処理がされた左右の画像から3D画像を合成して、3D合成信号を生成する。
より具体的には、制御部56は、最内ブロック領域演算回路64aの演算結果により最内領域Rni(その領域数Ni)内におけるに処置具17の画像が存在する最内ブロック領域Rnitを形成する領域数Miの占める割合Mi/Niに応じてぼかし領域を設定するように制御し、最外ブロック領域演算回路64bの演算結果により最外領域Rno(その領域数No)内におけるにまた処置具17の画像が存在する最外ブロック領域Rnotを形成する領域数Moの占める割合Mo/Niに応じてぼかし強度を設定して、画像合成部55が3D画像を合成した3D合成信号を生成するように制御する。
また、後述するように制御部56は、最内ブロック領域演算回路64aの演算結果により最内領域Rni内における処置具17の画像の占める割合Mi/Niが大きくなるに従って、ぼかし領域を最外領域Rnoから最内領域Rni側に広げるように設定する制御を行い、最外ブロック領域演算回路64bの演算結果により最外領域Rno内における処置具17の画像の占める割合Mo/Noが大きくなるに従って、ぼかし領域におけるぼかし強度を段階的に大きく設定するように制御する。
なお、制御部56が上述したように画像解析処理回路52d内の処置具領域評価回路64の動作を外部から制御する代わりに、例えば処置具領域評価回路64内に制御部56による制御機能を含め、処置具領域評価回路64の外部の制御部56を介することなく、ぼかし領域の設定と、ぼかし強度の設定を行う構成にしても良い。また、リファレンスDB54も、外部の制御部56を介することなく、画像解析部52による解析結果データから、解析結果データに対応するぼかしデータを画像合成部55に出力するようにしても良い。換言すると、図3又は図4に示すように制御部56を画像解析部52、リファレンスDB54、画像合成部55の外部に設ける構成に限らず、その制御機能の一部を画像解析部52内、リファレンスDB54内、画像合成部55内に設けるようにしても良い。以下の動作説明においては、主に後者に近い構成の場合で説明する。
立体内視鏡画像処理装置を構成する本実施形態の画像処理部11は、立体内視鏡としての3D内視鏡4に設けられた左右の撮像素子としてのCCD27a,27bの出力信号に基づく、左目用画像を表す左目用画像信号と右目用画像を表す右目用画像信号との同期調整を行うよう構成された同期調整部53と、前記左目用画像信号及び前記右目用画像信号の少なくとも一方の画像信号の画像における中央領域Rcの周囲の周辺領域Rn上において、処置具17の画像が占める領域を解析するよう構成された画像解析部52と、を備え、前記画像解析部52は、入力された前記画像信号により得られる前記画像における前記中央領域Rcの周囲の前記周辺領域Rnを細分化し、所定数の領域に分割する画像分割部を形成する画像分割回路61と、前記所定数の各領域内の色成分を分析する色成分分析部を形成する色成分分析回路62と、前記各領域内の直進性成分のエッジ成分を抽出する画像エッジ成分抽出部を形成する画像エッジ成分抽出回路63と、前記色成分分析部の分析結果と前記画像エッジ成分抽出部の抽出結果とから前記周辺領域Rn上における前記処置具17の画像が占める領域の大きさを評価する処置具領域評価部を形成する処置具領域評価回路64と、前記処置具領域評価部の評価結果から前記処置具17の画像が前記周辺領域Rn上において最も内側の領域としての最内領域Rniに存在する領域数Miのブロックを最内ブロック領域Rnitとして検知し、前記最内ブロック領域Rnitを演算する最内ブロック領域演算部を形成する最内ブロック領域演算回路64aと、前記処置具領域評価部の評価結果から前記処置具17の画像が前記周辺領域Rn上において最も外側の領域としての最外領域Rnoに存在する領域数Moのブロックを最外ブロック領域Rnotとして検知し、前記最外ブロック領域Rnotを演算する最外ブロック領域演算部を形成する最外ブロック領域演算回路64bと、を有し、前記画像解析部52の解析結果に応じて前記周辺領域Rnにおける前記画像にぼかし処理を施す領域としてのぼかし領域と、前記周辺領域Rnにおける前記画像にぼかし処理を施す際のぼかし強度との情報を生成するぼかし情報生成部を形成するリファレンスDB54と、前記同期調整部53の同期調整結果と、前記ぼかし情報生成部の生成結果に応じて前記左目用画像と前記右目用画像に対してそれぞれぼかし処理を施した3D画像を合成して出力するよう構成された画像合成部55と、を備えることを特徴とする。
次に本実施形態の動作を説明する。図7は本実施形態の動作を行う場合の代表的な処理手順を示す。
本実施形態を用いた立体内視鏡装置1の電源が投入されて動作開始となった場合、最初のステップS1において術者等のユーザは、初期設定として、一方の画像としての例えば左の画像を中央領域Rcと周辺領域Rnの設定を行うと共に、周辺領域Rnを小さな領域Rb(図6A参照)に分割する場合の分割数(又は所定数)Nの設定を行う。なお、前回等の以前の使用の際において、すでに中央領域Rc、周辺領域Rn、分割数Nが設定されている場合には、それらの設定データを採用しても良い。また、右の画像に対しては、中央領域Rc、周辺領域Rn、領域Rb等を設定する必要はないが、ぼかし処理する場合、左の画像に対して設定した中央領域Rc、周辺領域Rn、領域Rbが適用される。
次のステップS2において術者は、3D内視鏡4を用いて立体観察を行う。3D内視鏡4の左右の撮像素子により撮像された左右の撮像画像の信号は、プロセッサ7A,7Bによって左右の2D画像信号に変換され、3Dミキサ8において左右の2D画像信号は3D画像信号に変換されて、3Dモニタ9の画像処理部11に入力される。画像処理部11に入力された3D画像信号は、切替信号生成回路53bの切替信号により切替スイッチ51が1フィールド期間毎に切り替えられる。
そして、例えば奇数フィールド期間の左の画像信号が画像解析部52に入力される。画像解析部52に入力された左の画像信号は、メモリ52cに一時、格納される。そして、メモリ52cに格納された左の画像信号に対して、画像解析処理回路52dが以下のように解析する。なお、本実施形態においては、左の画像信号が画像解析部52に入力される場合において説明するが、左の画像信号の代わりに、右の画像信号を画像解析部52に入力するようにしても良い。この場合には、左の画像信号をメモリ53dに格納するようにすれば良い。
ステップS3に示すように画像解析処理回路52dの画像分割回路61は、左の画像信号の画像に対して、図6Aに示すように中央領域Rcの周囲の周辺領域Rnを上記分割数Nで分割する。以下の処理は、周辺領域Rnが分割された各領域Rbに対して行われる。
次のステップS4において画像解析処理回路52dの色成分分析回路62は、周辺領域Rnにおける各領域Rbの画像信号の画像に対して、色成分に色分析する処理を行う。図6Bでは斜線で示す1つの領域Rbに対して色分析を行っている様子を示す。
処置具17等の処置具の色は、通常、生体の色調から区別し易いように、シルバー、又はグレーに設定されているために、色成分分析回路62は、シルバー、又はグレーの色成分、つまり処置具17が有する特定の色成分を抽出するように色分析の処理を行う。なお、図6Bでは、例えば処置具17として3つの処置具17a、17b、17cが用いられて、手術が行われる画像を示す。
次のステップS5において画像解析処理回路52dの画像エッジ成分抽出回路63は、周辺領域Rnにおける各領域Rbの画像信号の画像に対して、直進性(又は直線状)のエッジ成分を抽出する処理を行う。処置具17等の処置具は、直線形状のロッド部分が占める割合が大きいために、画像エッジ成分抽出回路63は、直線的に延びるエッジ成分を抽出する。図6Bにおいて、直線的に延びるロッド部分のエッジ成分Ea,Eb,Ecが抽出された様子を示す。画像エッジ成分抽出回路63は、直線的に延びるエッジ成分を重点的に抽出するが、曲線的なエッジ成分も抽出するようにしても良い。
次のステップS5において画像解析処理回路52dの処置具領域評価回路64は、色成分分析回路62の分析結果(特定の色成分抽出結果)と、画像エッジ成分抽出回路63による直進性のエッジ成分(又は直進性成分におけるエッジ成分)の抽出結果から、周辺領域Rnにおける処置具17の画像が占める大きさを評価(又は同定)する。具体的には、処置具領域評価回路64は、図6Bにおいて周辺領域Rnにおけるエッジ成分Ea,Eb,Ecで囲まれた領域Rbから周辺領域Rnにおける処置具17の画像が占める大きさを評価(又は同定)する。
次のステップS6において最内ブロック領域演算回路64aは、図6Cに示すように最内領域Rniにおいて処置具17(の画像)が存在する処置具領域のブロックを最内ブロック領域Rnitとして検知する。また、最内ブロック領域演算回路64aは、最内領域Rniにおいて最内ブロック領域Rnit(を形成する領域数)が占める割合Mi/Niを算出する。図6Cの例では、最内領域Rniは、領域Rbの総数が20であり、最内ブロック領域Rnitの総数が7であるため、最内ブロック領域Rnitが占める割合は7/20となる。
また、次のステップS7において最外ブロック領域演算回路64bは、図6Dに示すように最外領域Rnoにおいて処置具17(の画像)が存在する処置具領域のブロックを最外ブロック領域Rnotとして検知する。図6Dの例では、最外領域Rnoは、領域Rbの総数が36であり、最外ブロック領域Rnot(を形成する領域数)の総数が12であるため、最内ブロック領域Rnitが占める割合Mo/Noは12/36(=1/3)となる。
そして、処置具領域評価回路64は、最内ブロック領域演算回路64aの演算結果としての最内ブロック領域Rnitが占める割合Mi/Niの結果と、最外ブロック領域演算回路64bの演算結果としての最外ブロック領域Rnotが占める割合Mo/Noの結果との解析結果データをリファレンスDB54に送る。
次のステップS8においてリファレンスDB54は、最内ブロック領域Rnitが占める割合の結果のデータに応じてぼかし領域の情報を生成し、画像合成部55に出力する。ぼかし領域を設定する処理は、図8A,図8Bを参照して後述する。
また、次のステップS9においてリファレンスDB54は、最外ブロック領域Rnotが占める割合Mo/Noの結果のデータに応じてぼかし強度の情報を生成し、画像合成部55に出力する。ぼかし強度を設定する処理は、図9A,図9Bを参照して後述する。
次のステップS10において画像合成部55は、リファレンスDB54からのぼかし領域とぼかし強度の情報とのぼかしデータを、ぼかし処理を行うパラメータとして、ぼかしフィルタ回路55aはメモリ52cとメモリ53dから読み出された同じフレームを構成する奇数、偶数フィールドの左右の画像に対してそれぞれぼかし処理を行い、重畳回路55bにおいて合成して3D合成画像を生成する。
生成された3D合成画像の画像信号としての3D合成画像信号は、表示部43に出力され、表示部43の表示画面に偏光方向が直交する状態で左右の画像が表示され、術者Dは3Dメガネ10をかけて観察することにより、立体視することができる。なお、ステップS10の処理の後、ステップS4の処理に戻り、動画における各フレームに対して、同様の処理が繰り返される。
図10は、このようにして、ぼかし処理を行う前と後の画像例を示す。図10における左側の画像は、ぼかし処理を行う前の例えば左の画像を示し、ぼかし処理後の左の画像は、図10の右側に示すようになる。図10の左側においては、中央領域Rcと周辺領域Rnとの境界となる4隅を小さく明示している。そして、周辺領域Rnにおける処置具の画像のエッジ部分がぼかされるような画像処理が施される。実際には、エッジ部分以外もぼかす処理が施されることになる。なお、左の画像と同じフレームの右の画像も、左の画像と同様にぼかし処理が行われる(図12参照)。
図10における右側に示すように中央領域Rcにおいては、ぼかし処理が施されない状態で鮮明に表示され、中央領域Rcの外側においては、処置具17の画像が占める割合に応じて、ぼかし処理が施された画像となる。ぼかし処理により周辺領域Rn内の処置具17のロッド部分が不鮮明となるため、周辺領域Rnにおける処置具17の画像が立体観察において、立体観察の視覚特性を低下させる要因、具体的には、処置具が手前側に飛び出すような違和感を与える視覚特性を抑制ないしは軽減できる。従って、術者は違和感を感じる要因が抑制又は軽減された状態で、立体視しながら処置を行うことが可能となる。
図8Aは、最内ブロック領域演算回路64aの演算結果としての最内ブロック領域Rnitが占める割合に応じてリフアレンスDB54がぼかし領域を生成(設定)する処理を示す。
ステップS11に示すようにリフアレンスDB54は、最内領域Rniにおける処置具17の画像の最内ブロック領域Rnit、より具体的には処置具17の画像におけるロッド部分のロッドブロック領域、が占める割合を参照する。そして、ステップS12に示すようにリフアレンスDB54は、制御部56の制御の下で、参照した結果に応じて以下のケース分けの処理を行う。なお、制御部56が以下の処理を行うようにしても良い。
例えば割合がA以下の場合には、ステップS13aに示すように周辺領域Rnの内、外側からV%の範囲をぼかし領域に設定し、
割合がA〜Bの場合には、ステップS13bに示すように全周辺領域Rnの内、外側からW%の範囲をぼかし領域に設定し、
割合がB〜Cの場合には、ステップS13cに示すように全周辺領域Rnの内、外側からX%の範囲をぼかし領域に設定し、
割合がC〜Dの場合には、ステップS13dに示すように全周辺領域Rnの内、外側からY%の範囲をぼかし領域に設定し、
割合がD以上の場合には、ステップS13eに示すように全周辺領域Rnの内、外側からZ%の範囲をぼかし領域に設定する。
図8Bは、図8Aに対応した最内ブロック領域Rnitの割合と、ぼかし領域の範囲の例を示す。最内ブロック領域Rnitの割合が増加するに従って、ぼかし領域の範囲が最外領域Rno側から最内領域Rni側にステップ状に増大する。なお、最内ブロック領域Rnitの割合が0の場合には、ぼかし領域の範囲も0となる。
図9Aは、最外ブロック領域演算回路64bの演算結果としての最外ブロック領域Rnotが占める割合に応じてリフアレンスDB54がぼかし強度を生成(設定)する処理を示す。
ステップS21に示すようにリフアレンスDB54は、最外領域Rnoにおける処置具17の画像の最外ブロック領域Rnot、より具体的には処置具17の画像のロッド部分のロッドブロック領域、が占める割合を参照する。そして、ステップS22に示すようにリフアレンスDB54は、制御部56の制御下で、参照した結果に応じて以下のケース分けの処理を行う。なお、制御部56が以下の処理を行うようにしても良い。
例えば割合がH以下の場合には、ステップS23aに示すように全周辺領域Rnの内、設定されたぼかし領域をOの強度でぼかす。
割合がH〜Iの場合には、ステップS13bに示すように全周辺領域Rnの内、設定されたぼかし領域をPの強度でぼかす。
割合がI〜Jの場合には、ステップS13cに示すように全周辺領域Rnの内、設定されたぼかし領域をQの強度でぼかす。
割合がJ〜Kの場合には、ステップS13dに示すように全周辺領域Rnの内、設定されたぼかし領域をRの強度でぼかす。
割合がK以上の場合には、ステップS13eに示すように全周辺領域Rnの内、設定されたぼかし領域をSの強度でぼかす。
図9Bは、図9Aに対応した最外ブロック領域Rnotの割合と、ぼかし強度の例を示す。最外ブロック領域Rnotの割合が増加するに従って、ぼかし強度がステップ状に増大する。なお、最外ブロック領域Rnotの割合が0の場合には、ぼかし強度も0となる。
図11Aは、最内ブロック領域Rnitの割合に応じて設定されるぼかし領域に対してぼかし処理を行う場合の説明図を示す。図11Aの左側に示すぼかし領域Rgに含まれる例えば黒で示すぼかし対象画素Rgiの色情報を、図11Aの右側に示すようにぼかし対象画素Rgiの周囲の画素にも段階的に波及させることで、ぼかし対象画素Rgiの色情報を周囲の画素に滲ませるようなぼかし処理を行う。
具体例で説明すると、図11Bに示すようにぼかし処理を行う前のぼかし対象画素Rgiの色情報の重み(画素値)が100、その周囲の画素の重み(画素値)が0とした場合、ブラー処理によりぼかし対象画素Rgiの色情報の重み(重み係数)を36、ぼかし対象画素Rgiの周囲の最近接の第1周囲画素としての8画素の色情報の重みを4、さらにその周囲の第2周囲画素としての16画素の色情報の重みを2に設定する。このようにしてぼかし対象画素Rgiの色情報の重み(100)を、ぼかし処理後において、ぼかし処理前と同じ値を維持して、周囲の画素に色情報の重みを滲ませるようなぼかし処理を行う。
このようにして、ぼかし領域Rg内の全ての画素をぼかし対象画素Rgiに設定してぼかし処理を行う。
なお、ぼかし強度を変更する場合には、重み36,4,2の組み合わせ値を変更したり、ぼかし処理前とぼかし処理後の画像を加算してぼかし処理を行うようにして、両者を加算する場合の割合を変えることによりぼかし強度を変更するようにしても良い。例えば、前者の重み付けの組み合わせ値を変更する場合、重み36,4,2の組み合わせ値から、例えば重み20,4,3の組み合わせ値、重み12,4,3.5の組み合わせ値、重み4,4,4に変更すると、ぼかし強度(又はぼけの強度、又はぼけの程度)が順次大きくなる。このように重みの組み合わせ値によりぼかし強度を変更する場合には、リファレンスDB54は、解析結果の入力データとして最外ブロック領域Rnot(処置具17の画像)の占める割合が大きくなる程、上記のように重みの組み合わせ値を変更したデータをぼかしデータとしてぼかしフィルタ回路55aに出力する。
また、ぼかし処理を、ローパスフィルタを用いて構成し、その際ぼかし強度を大きくするにつれてローパスフィルタのカットオフ周波数を低くし、ぼかし強度(又はぼけの程度)を大きくするようにしても良い。この場合には、リファレンスDB54は、解析結果の入力データとして最外ブロック領域Rnot(処置具17の画像)の占める割合が大きくなる程、上記のローパスフィルタのカットオフ周波数を低くしたデータをぼかしデータとしてぼかしフィルタ回路55aに出力する。
図12は、本実施形態における3D合成画像を生成する場合の概略のタイミングチャートを示す。
画像処理部11に入力される3D画像信号の3D画像は、(1フレーム分の3D画像を表示する場合における)1フィールド期間毎に切り替えられる切替スイッチ51を経て、メモリ52cとメモリ53dとに、それぞれ最初(1番目)の1フレーム画像を構成する左の画像Il1と右の画像Ir1が書き込まれる。ここで、Il1又はIr1における1は、1番目のフレームの画像であることを表す。メモリ53dに右の画像Ir1が書き込まれる1フィールド期間内において、画像解析処理回路52dは、メモリ52cに書き込まれた左の画像Il1に対して、画像解析を行い、解析結果データを生成し、解析結果データをリファレンスDB54に出力する。リファレンスDB54は、解析結果データに対応するぼかしデータを画像合成部55のぼかしフィルタ回路55aに出力する。
画像合成部55のぼかしフィルタ回路55aは、ぼかしデータを用いて、メモリ52cの左の画像Il1に対して、ぼかし処理を行い、左の画像Il1に対するぼかし処理が終了した左の画像Il1を重畳回路55b内のメモリ55cに格納する。なお、メモリ55cは、ぼかし処理がされた左右の画像Il1,Ir1をそれぞれ1フレーム分格納するメモリ容量を有する。
また、左の画像Il1に対するぼかし処理が終了に要する時間(にマージンを含めた)後のタイミングにおいて、同期調整部53のメモリコントローラ53cは、メモリ53dから右の画像Ir1を読み出し、ぼかしフィルタ回路55aに出力するように同期調整(又はタイミング調整)を行う。ぼかしフィルタ回路55aは、メモリ53dから出力された右の画像Ir1に対しても、同様にぼかし処理を行い、重畳回路55b内のメモリ55cに格納する。
図12に示すようにぼかしフィルタ回路55aが左の画像Il1に対するぼかし処理終了後の時間t1に、直ちに右の画像Ir1に対するぼかし処理を開始しても、そのぼかし処理終了のタイミングは、1フレーム分の右の画像Ir1の入力終了のタイミングの時間t2以後となる。このため、例えば、時間t1から時間t2における途中の時間に、ぼかしフィルタ回路55aが右の画像Ir1に対してぼかし処理を行うようにしても良い。なお、図12において時間t2に、右の画像Ir1に対するぼかし処理を行った場合を点線で示している。
重畳回路55bは、ぼかし処理がされた左の画像(つまりぼかし処理済左の画像)Il1と右の画像(つまりぼかし処理済右の画像)Ir1とを、次の1フレーム期間(その開始の時間はt2)において、1フィールド期間毎に順次読み出して、ぼかし処理がされた3Dの画像信号として出力する。
図12において、重畳回路55bがぼかし処理がされた左の画像I1lの出力を開始する時間t2においては、右の画像Ir1のぼかし処理が終了していなくても、左の画像I1lの出力が終了する1フィールド期間後の時間t3までに、右の画像Ir1に対するぼかし処理が終了している(従って3Dの画像信号の出力に支障ない)。このため、同期調整部は、重畳回路55bがぼかし処理がされた左の画像Il1を1フレーム分出力し終える時間(図12では時間t3)までに、右の画像Ir1に対するぼかし処理が終了することができるように(右の画像Ir1をぼかしフィルタ回路55aに入力させるように)同期調整又はタイミング調整を行うようにしても良い。
なお、図12の例では次の1フレーム期間になると、メモリ52cには次のフレームにおける最初の1フィールド期間に左の画像Il2が書き込まれ、次のフィールド期間にメモリ53dに右の画像Ir2が書き込まれ、同様の処理が繰り返される。図12のような画像処理により、1フレーム期間の遅延のみで、ぼかし処理済みの3Dの画像信号を生成して出力することができる。
このため、本実施形態における同期調整部は、画像解析部52により処置具17の画像が占める領域の解析が行われる一方の画像信号の画像と同じフレームに属する他方の画像信号の画像を一時的に記憶するメモリ(図4の53d)を有し、前記一方の画像信号が入力されるフレームから前記一方の画像信号の画像及び前記他方の画像信号の画像に対してぼかし処理部を形成するぼかしフィルタ回路55aによりぼかし処理された3Dの画像信号を1フレーム期間後に出力するように同期調整するフレーム同期調整回路(の機能)を形成する。
また、同期調整部53は、画像解析部52により処置具17の画像が占める領域の解析が行われる一方の画像信号の画像と同じフレームに属する他方の画像を一時的に記憶するメモリ(例えば53d)を有し、画像解析部53による一方の画像信号の画像に対する解析開始、又は解析結果後の信号を受けて、一方の画像信号に対するぼかし処理された後、次のフレーム期間においてぼかし処理された3Dの画像における一方の画像として出力される時間に、前記他方の画像信号の画像に対するぼかし処理を開始させるように前記他方の画像を画像合成部55に出力するよう同期調整するようにしても良い。
画像合成部55は、ぼかしフィルタ回路53aによりぼかし処理された左右の画像信号を、メモリ53cを用いて同期調整(又はタイミング調整)し、ぼかし処理された左右の画像信号は、隣接するフィールド毎に順次出力する。この場合、同期調整部53及びメモリ53cは、画像処理部11に入力された左右の画像信号の各フレームから、1フレーム期間後にぼかし処理された左右の画像信号を出力するように同期調整する。
このように動作する本実施形態によれば、3Dモニタ9の表示画面に表示される3D画像における中央領域Rcにおいては、鮮明な画像の状態で立体視ができる状態を維持しつつ、周辺領域Rnにおける少なくとも処置具の画像をぼかすことにより、処置具のために違和感等が発生する要因を低減することができる。従って、本実施形態によれば、立体観察の知覚特性を維持しつつ、処置具による立体観察の知覚特性を低下させることを抑制又は軽減することができる。
また、周辺領域Rn内において処置具の画像が存在するか否かの検知を行う検知領域において処置具が検知される領域の割合に応じて、ぼかす処理を行うぼかし領域と、ぼかし強度とを設定するようにしているので、周辺領域Rnにおける処置具の画像の占有割合を考慮した妥当な周辺領域Rnの画像を提供できる。
なお、第1の実施形態においては、立体内視鏡画像処理装置を構成する画像処理部11を3Dモニタ9内に設けた例を説明したが、図13に示す変形例のように例えば3Dミキサ8内に立体内視鏡画像処理装置を構成する画像処理部11Bを設けるようにしても良い。
図13に示す立体内視鏡装置1Bは、図1に示す立体内視鏡装置1において、3Dミキサ8を8Bに、3Dモニタ9を9Bに変更した構成である。
3Dモニタ9Bは、図1の画像処理部11の代わりに、入力された3D画像信号を表示部43に表示する画像処理を行う画像処理部42を有する。この場合の3Dモニタ8Bは公知の3Dモニタと同様の構成となる。
図13の3Dミキサ8Bは、図1の3Dミキサ8において、画像入力インタフェース36a,36bと3D画像合成部37との間に、ぼかし処理を行う画像処理部11Bを設けた構成となる。
この画像処理部11Bは、基本的には、上述した画像処理部11とほぼ同様の機能を有するが、上述した例では画像処理部11に3D画像信号が入力されるのに対して、図13の場合には左右の2Dの画像信号が同時に並列的に入力される。
このため、図13に示す画像処理部11Bは、画像処理部11の構成で必要であった切替スイッチ51及びその切替を行う回路が不要となる。従って、画像処理部11Bは、画像解析部52,同期調整部53,リファレンスDB54,画像合成部55及び制御部56を有する。
なお、左右の画像信号が同時に入力されるために両画像のタイミングが上述したタイミングと若干異なるが、ぼかし処理する動作は、上述した場合と同様である。同時に入力される左右の画像は、それぞれメモリ52cと53dとに書き込まれる。そして、一方の画像としての例えば左の画像に対して上述した場合と同様の画像解析が行われて、解析結果データが生成され、リファレンスDB54は解析結果データに対応したぼかしデータを画像合成部55に出力し、画像合成部55は、左右の画像に対してぼかし処理を行い、ぼかし処理がされた左右の画像信号を同時に3D画像合成部37に出力する。
3D画像合成部37は、ぼかし処理がされた左右の画像信号を合成してぼかし処理がされた3Dの画像信号を生成し、3Dモニタ9Bに出力する。3Dモニタ9Bは、入力されたぼかし処理がされた3Dの画像信号を表示部43に表示し、術者Dは、3Dメガネ10をかけて立体視することができる。本変形例は、上述した第1の実施形態と、画像処理のタイミングが若干異なるが、第1の実施形態と殆ど同じ効果を有する。
なお、上述した第1の実施形態又は変形例においては、最内ブロック領域Rnitの割合(領域Rbの領域数の割合で表すとMi/Ni)に応じて、ぼかし領域を設定し、最外ブロック領域Rnotの割合(領域数の割合で表すとMo/No)に応じて、ぼかし領域におけるぼかし強度を設定するように説明したが、最外ブロック領域Rnotの割合Mo/Noに応じて、ぼかし領域を設定し、最内ブロック領域Rnitの割合Mi/Niに応じて、ぼかし領域におけるぼかし強度を設定するようにしても良い。
また、上述した説明においては画像解析部52は、解析結果データによってリファレンスDB54がぼかしデータを画像合成部55(のぼかしフィルタ回路55a)に出力し、ぼかし処理が可能な状態になると、メモリ52cから読み出した左の画像信号を画像合成部55(のぼかしフィルタ回路55a)に出力し、読み出し終了と同じタイミングとなるぼかし処理が終了した時、同期調整部53(のメモリコントローラ53c)に対して左の画像信号に対するぼかし処理の終了を知らせる。そして、引き続いて、ぼかしフィルタ回路55aは、同じフレームに属するに右の画像信号に対してぼかし処理を行うが、このような手順に限定されるものでない。
例えば、画像解析部52は、解析結果データを生成したタイミングにおいて同期調整部53(のメモリコントローラ53c)に、解析結果データを生成したタイミングを知らせる信号を送り、同期調整部53(のメモリコントローラ53c)は、メモリ52cから左の画像信号が読み出されて、画像合成部55(のぼかしフィルタ回路55a)によりぼかし処理が終了する時間を待った後、同じフレームに属する右の画像信号を画像合成部55(のぼかしフィルタ回路55a)に出力するように同期調整するようにしても良い。この場合には、同期調整部53は、上述した場合と殆ど同様に一方の画像信号となる一方の画像と、他方の画像信号となる他方の画像とが前後するタイミングで画像合成部55に出力するように調整する。
又、図4に示すぼかしフィルタ回路55aとして、2つのぼかしフィルタ回路を備えた構成にして、左右の画像を同じタイミングでぼかし処理を行うようにしても良い。この場合には、メモリコントローラ52bと53cとが同期してそれぞれメモリ52cと53dから左右の画像信号を読み出し、2つのぼかしフィルタ回路によりぼかし処理を並行して行うようにしても良い。この場合には、同期調整部53は、一方の画像信号となる一方の画像と、他方の画像信号となる他方の画像とが同期したタイミングで画像合成部55に出力するように調整する。
なお、上述したようなぼかし領域の設定とは異なるようにぼかし領域を設定したり、ぼかし強度を設定するようにしても良い。
例えば、図6Bに示すように周辺領域Rnにおいて、色成分の分析結果とエッジ成分の抽出結果とにより、周辺領域Rnにおける処置具17a,17b,17cの画像が存在する領域をぼかし処理を行う候補領域とし、最内領域Rniにおける最内ブロック領域Rnit(図6C参照)の割合に応じて候補領域における最外周側からぼかし領域を設定し、最外領域Rnoにおける最外ブロック領域Rnot(図6D参照)の割合に応じてぼかし領域におけるぼかし強度を設定するようにしても良い。
また、上述した画像解析部52,同期調整部53、画像合成部55を電子回路素子を用いて構成しても良いし、中央演算装置(CPU)を用いてソフトウェア的に構成しても良い。
本出願は、2014年1月24日に日本国に出願された特願2014−11746号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
本発明の一態様に係る立体内視鏡画像処理装置は、立体内視鏡に設けられた左右の撮像素子の出力信号に基づく、左目用画像を表す左目用画像信号と右目用画像を表す右目用画像信号との同期調整を行うよう構成された同期調整部と、前記左目用画像信号及び前記右目用画像信号の少なくとも一方の画像信号の画像における中央領域の周囲の周辺領域上において、処置具の画像が占める領域を解析するよう構成された画像解析部と、ぼかし処理が施されない前記中央領域の画像の周囲に配置される前記周辺領域における前記画像に対して、前記画像解析部の解析結果に応じぼかし処理を施す領域としてのぼかし領域を設定するぼかし領域設定部と、前記同期調整部の同期調整結果と、前記ぼかし領域設定部の設定結果に応じて前記左目用画像と前記右目用画像に対してそれぞれぼかし処理を施した3D画像を合成して出力するよう構成された画像合成部と、を備える。

Claims (14)

  1. 立体内視鏡に設けられた左右の撮像素子の出力信号に基づく、左目用の画像を表す左目用画像信号と右目用の画像を表す右目用画像信号との同期調整を行うよう構成された同期調整部と、
    前記左目用画像信号及び前記右目用画像信号の少なくとも一方の画像信号の画像における中央領域の周囲の周辺領域上において、処置具の画像が占める領域を解析するよう構成された画像解析部と、を備え、
    前記画像解析部は、
    入力された前記画像信号により得られる前記画像における前記中央領域の周囲の前記周辺領域を細分化し、所定数の領域に分割するよう構成された画像分割部と、
    前記所定数の各領域内の色成分を分析するよう構成された色成分分析部と、
    前記各領域内の直進性成分のエッジ成分を抽出するよう構成された画像エッジ成分抽出部と、
    前記色成分分析部の分析結果と前記画像エッジ成分抽出部の抽出結果とから前記周辺領域上における前記処置具の画像が占める領域の大きさを評価するよう構成された処置具領域評価部と、
    前記処置具領域評価部の評価結果から前記処置具の画像が前記周辺領域上において最も内側の領域としての最内領域に存在する領域のブロックを最内ブロック領域として検知するよう、前記最内ブロック領域を検知するための演算を行うよう構成された最内ブロック領域演算部と、
    前記処置具領域評価部の評価結果から前記処置具の画像が前記周辺領域上において最も外側の領域としての最外領域に存在する領域のブロックを最外ブロック領域として検知するよう、前記最外ブロック領域を検知するための演算を行うよう構成された最外ブロック領域演算部と、
    を有し、
    前記画像解析部の解析結果に応じて前記周辺領域における前記画像にぼかし処理を施す領域としてのぼかし領域と、前記周辺領域における前記画像にぼかし処理を施す際のぼかし強度との情報を生成するよう構成されたぼかし情報生成部と、
    前記同期調整部の同期調整結果と、前記ぼかし情報生成部の生成結果に応じて前記左目用の画像と前記右目用の画像に対してそれぞれぼかし処理を施した3D画像を合成して出力するよう構成された画像合成部と、
    を備えることを特徴とする立体内視鏡画像処理装置。
  2. 更に、前記画像合成部に設けられ、前記左目用の画像と前記右目用の画像に対して、前記ぼかし情報生成部により生成されたぼかし領域において、前記ぼかし強度でそれぞれぼかし処理を施すよう構成されたぼかし処理部と、
    前記画像合成部に設けられ、前記ぼかし処理部によりそれぞれぼかし処理された前記左目用の画像と前記右目用の画像を合成するよう構成された合成部と、
    を備えることを特徴とする請求項1に記載の立体内視鏡画像処理装置。
  3. 更に、前記最内ブロック領域演算部の演算結果により前記最内領域の全領域数に対する前記最内ブロック領域を形成する領域数が占める割合に応じて前記ぼかし情報生成部が前記ぼかし領域を設定するよう制御し、前記最外ブロック領域演算部の演算結果により前記最外領域の全領域数に対する前記最外ブロック領域を形成する領域数が占める割合に応じて前記ぼかし情報生成部が前記ぼかし強度を設定するよう制御し、前記ぼかし処理部が前記左目用の画像と前記右目用の画像に対して、前記ぼかし情報生成部により設定された前記ぼかし領域において、前記ぼかし強度でぼかし処理をそれぞれ行うよう制御するよう構成された制御部と、
    を有することを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  4. 前記制御部は、前記最内ブロック領域演算部の演算結果により前記最内ブロック領域を形成する領域数が大きくなるに従って、前記ぼかし領域を前記最外領域から前記最内領域側に広げるように設定する制御を行い、
    更に、前記最外ブロック領域演算部の演算結果により前記最外ブロック領域を形成する領域数が大きくなるに従って、前記ぼかし領域における前記ぼかし強度を段階的に大きく設定するように制御することを特徴とする請求項3に記載の立体内視鏡画像処理装置。
  5. 前記制御部は、前記前記左目用画像信号及び前記右目用画像信号における一方の画像信号の画像における第1の周辺領域のみを前記周辺領域として、前記第1の周辺領域における前記ぼかし領域と前記ぼかし強度を設定するよう制御し、
    前記制御部は、更に前記前記左目用画像信号及び前記右目用画像信号における他方の画像信号の画像における第2の周辺領域に対しては、前記第1の周辺領域に対して設定した前記ぼかし領域及び前記ぼかし強度を適用するように制御することを特徴とする請求項3に記載の立体内視鏡画像処理装置。
  6. 前記制御部は、前記前記左目用画像信号及び前記右目用画像信号における一方の画像信号の画像における第1の周辺領域のみを前記周辺領域として、前記第1の周辺領域における前記ぼかし領域と前記ぼかし強度を設定するよう制御し、
    前記制御部は、更に前記前記左目用画像信号及び前記右目用画像信号における他方の画像信号の画像における第2の周辺領域に対しては、前記第1の周辺領域に対して設定した前記ぼかし領域及び前記ぼかし強度を適用するように制御することを特徴とする請求項4に記載の立体内視鏡画像処理装置。
  7. 前記同期調整部は、前記画像解析部により処置具の画像が占める領域の解析が行われる一方の画像信号の画像と同じフレームに属する他方の画像信号の画像を一時的に記憶するメモリを有し、前記一方の画像信号が入力されるフレームから前記一方の画像信号の画像及び前記他方の画像信号の画像に対して前記ぼかし処理部によりぼかし処理された3Dの画像信号を1フレーム期間後に出力するように同期調整することを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  8. 前記立体内視鏡画像処理装置を、立体視用の3Dメガネを用いて観察者が観察する3D画像を表示する表示画面を備えた3Dモニタに設けることを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  9. 前記立体内視鏡画像処理装置を、前記立体内視鏡に設けられた左右の撮像素子の出力信号からそれぞれ生成された前記左目用画像信号と前記右目用画像信号とが入力され、3D画像を表示する3Dモニタに対して3D画像信号を出力する3Dミキサに設けることを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  10. 前記ぼかし情報生成部は、前記最内ブロック領域演算部により演算される前記最内ブロック領域の割合の情報と、前記最外ブロック領域演算部により演算される前記最外ブロック領域の割合の情報とに応じて、それぞれ前記ぼかし処理部がぼかし処理を施す前記ぼかし領域と前記ぼかし強度、又は前記ぼかし強度と前記ぼかし領域の情報に対応付けたルックアップテーブルとして格納する情報格納部を有することを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  11. 更に、前記最外ブロック領域演算部の演算結果により前記最外領域の全領域数に対する前記最外ブロック領域を形成する領域数が占める割合に応じて前記ぼかし情報生成部が前記ぼかし領域を設定するよう制御し、前記最内ブロック領域演算部の演算結果により前記最内領域の全領域数に対する前記最外ブロック領域を形成する領域数が占める割合に応じて前記ぼかし情報生成部が前記ぼかし強度を設定するよう制御し、前記ぼかし処理部が前記左目用の画像と前記右目用の画像に対して、前記ぼかし情報生成部により設定される前記ぼかし領域において、前記ぼかし強度でぼかし処理をそれぞれ行うよう制御するよう構成された制御部を有することを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  12. 前記制御部は、前記最外ブロック領域演算部の演算結果により前記最外ブロック領域を形成する領域数が大きくなるに従って、前記ぼかし領域を前記最外領域から前記最内領域側に広げるように設定する制御を行い、
    更に、前記最内ブロック領域演算部の演算結果により前記最内ブロック領域を形成する領域数が大きくなるに従って、前記ぼかし領域における前記ぼかし強度を段階的に大きく設定するように制御することを特徴とする請求項11に記載の立体内視鏡画像処理装置。
  13. 前記画像分割部は、前記周辺領域を、前記中央領域の外側に隣接して囲むように設けられた前記最内領域に属する複数の領域と、前記最内領域の外側に囲むようにして前記画像における最も外側に設けられた前記最外領域に属する複数の領域と、を含むように分割することを特徴とする請求項2に記載の立体内視鏡画像処理装置。
  14. 更に、前記左右の撮像素子を備えた前記立体内視鏡と、
    前記左右の撮像素子に対する画像処理を行い、前記左目用画像信号と前記右目用画像信号を生成する画像処理装置と、
    前記画像処理装置により生成される前記左目用画像信号と前記右目用画像信号から3Dの画像信号を生成する3Dミキサと、
    前記3Dミキサから出力される前記3Dの画像信号が入力されることにより3Dの画像を表示する3Dモニタと、を備え、
    前記3Dミキサ又は前記3Dモニタが前記同期調整部と、前記画像解析部とを備えることを特徴とする請求項2に記載の立体内視鏡画像処理装置。
JP2015538792A 2014-01-24 2014-10-21 立体内視鏡画像処理装置 Expired - Fee Related JP5893808B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015538792A JP5893808B2 (ja) 2014-01-24 2014-10-21 立体内視鏡画像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014011746 2014-01-24
JP2014011746 2014-01-24
JP2015538792A JP5893808B2 (ja) 2014-01-24 2014-10-21 立体内視鏡画像処理装置
PCT/JP2014/077917 WO2015111263A1 (ja) 2014-01-24 2014-10-21 立体内視鏡画像処理装置

Publications (2)

Publication Number Publication Date
JP5893808B2 JP5893808B2 (ja) 2016-03-23
JPWO2015111263A1 true JPWO2015111263A1 (ja) 2017-03-23

Family

ID=53681086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015538792A Expired - Fee Related JP5893808B2 (ja) 2014-01-24 2014-10-21 立体内視鏡画像処理装置

Country Status (5)

Country Link
US (1) US9635343B2 (ja)
EP (1) EP3070941A4 (ja)
JP (1) JP5893808B2 (ja)
CN (1) CN105850120B (ja)
WO (1) WO2015111263A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088215A1 (ja) 2016-11-08 2018-05-17 オリンパス株式会社 内視鏡システムおよび処理装置
JPWO2018168261A1 (ja) 2017-03-16 2020-01-16 ソニー株式会社 制御装置、制御方法、及びプログラム
JP6729798B2 (ja) * 2017-04-13 2020-07-22 株式会社島津製作所 X線撮影装置
WO2018211854A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 3d内視鏡装置、及び、3d映像処理装置
JP2019162371A (ja) * 2018-03-20 2019-09-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び内視鏡装置
JP7094742B2 (ja) * 2018-03-20 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 三次元内視鏡システム
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4170042B2 (ja) * 2002-08-09 2008-10-22 フジノン株式会社 立体電子内視鏡装置
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP5476910B2 (ja) * 2009-10-07 2014-04-23 株式会社ニコン 画像生成装置、画像生成方法、および、プログラム
WO2011118287A1 (ja) * 2010-03-24 2011-09-29 オリンパス株式会社 内視鏡装置
JP4875762B2 (ja) 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
JP5701140B2 (ja) * 2011-04-21 2015-04-15 キヤノン株式会社 立体内視鏡装置
JP2013042301A (ja) * 2011-08-12 2013-02-28 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
KR20130033125A (ko) * 2011-09-26 2013-04-03 삼성전자주식회사 컨텐츠변환장치 및 컨텐츠변환방법
JP6069854B2 (ja) * 2012-03-02 2017-02-01 セイコーエプソン株式会社 映像表示装置および映像表示方法
JP6103827B2 (ja) 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
KR20140058744A (ko) * 2012-11-05 2014-05-15 한국전자통신연구원 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법
JP5730339B2 (ja) * 2013-01-25 2015-06-10 富士フイルム株式会社 立体内視鏡装置
JP6402366B2 (ja) * 2013-08-26 2018-10-10 パナソニックIpマネジメント株式会社 3次元表示装置および3次元表示方法

Also Published As

Publication number Publication date
WO2015111263A1 (ja) 2015-07-30
JP5893808B2 (ja) 2016-03-23
EP3070941A4 (en) 2017-03-08
CN105850120B (zh) 2017-11-10
CN105850120A (zh) 2016-08-10
US9635343B2 (en) 2017-04-25
EP3070941A1 (en) 2016-09-21
US20160269713A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
JP5893808B2 (ja) 立体内視鏡画像処理装置
US20150215614A1 (en) Imaging system and method
JP6655756B2 (ja) 3d内視鏡装置、及び、3d映像処理装置
JP6908039B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP6912313B2 (ja) 画像処理装置、カメラ装置及び画像処理方法
JP2011206425A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置
WO2013179855A1 (ja) 立体視内視鏡システム
US10993603B2 (en) Image processing device, image processing method, and endoscope system
US10609354B2 (en) Medical image processing device, system, method, and program
WO2018211590A1 (ja) 内視鏡のための画像処理装置及び内視鏡システム
JP2019029876A (ja) 画像処理装置、カメラ装置及び出力制御方法
WO2014155815A1 (ja) 立体内視鏡システム
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
CN116172493A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
CN116158718A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
JP2003334160A (ja) 立体視内視鏡システム
JP2019029875A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20220182538A1 (en) Image-processing method, control device, and endoscope system
JP2004233480A (ja) 立体内視鏡システム
JP2018529404A (ja) 陰影からの形状復元法を使用する内視鏡立体視システムおよびその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160224

R151 Written notification of patent or utility model registration

Ref document number: 5893808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees