JP6828695B2 - 医療用画像処理装置、システム、方法及びプログラム - Google Patents

医療用画像処理装置、システム、方法及びプログラム Download PDF

Info

Publication number
JP6828695B2
JP6828695B2 JP2017566520A JP2017566520A JP6828695B2 JP 6828695 B2 JP6828695 B2 JP 6828695B2 JP 2017566520 A JP2017566520 A JP 2017566520A JP 2017566520 A JP2017566520 A JP 2017566520A JP 6828695 B2 JP6828695 B2 JP 6828695B2
Authority
JP
Japan
Prior art keywords
depth
parallax
work
determination unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017566520A
Other languages
English (en)
Other versions
JPWO2017138209A1 (ja
Inventor
丈士 上森
丈士 上森
恒生 林
恒生 林
高橋　健治
健治 高橋
雄生 杉江
雄生 杉江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017138209A1 publication Critical patent/JPWO2017138209A1/ja
Application granted granted Critical
Publication of JP6828695B2 publication Critical patent/JP6828695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Description

本開示は、医療用画像処理装置、システム、方法及びプログラムに関する。
従来、実空間を映した画像を立体的に表示するために、ステレオカメラからの２つの撮像画像の間の視差を判定し、判定した視差を用いて立体視画像を生成する手法が利用されている。例えば、下記特許文献１は、撮像画像を用いて判定される視差を、主要被写体の立体感が強調されるように変換した上で立体的な表示を行う技術を開示している。
特開２０１１−２５００５９号公報
しかしながら、視差の補正に基づく立体視画像の立体感の修正は、画像内での被写体のシフトに起因する画素の欠損を引き起こす。仮に欠損した画素の画素値が近傍の画素から補間されるとしても、そのようにして表示される画像は実世界の状況を正確に反映していることにはならない。特に、手術又は診断といった医療のシーンでは、不正確な画像を表示することは可能な限り回避されることが望ましい。
本開示によれば、撮像される医療上の作業の作業深度を判定する深度判定部と、前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、を備える医療用画像処理装置が提供される。
また、本開示によれば、上述した医療用画像処理装置と、前記視野を撮像して、前記撮像画像を生成する撮像装置と、を含む医療用画像処理システムが提供される。
また、本開示によれば、医療用画像処理装置において実行される画像処理方法であって、撮像される医療上の作業の作業深度を判定することと、前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、判定される前記作業深度に依存して、前記視差情報を補正することと、を含む医療用画像処理方法が提供される。
また、本開示によれば、医療用画像処理装置を制御するプロセッサを、撮像される医療上の作業の作業深度を判定する深度判定部と、前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、として機能させるためのプログラムが提供される。
本開示に係る技術によれば、立体視のための視差の補正が画像の正確性に与える影響を抑制しながら、医療上の作業の作業深度を対象として、良好な視差を実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
一実施形態に係る医療用画像処理システムの概略的な構成について説明するための説明図である。 複眼式の立体視カメラにおける基線長、被写体の深度及び視差の間の関係について説明するための説明図である。 単眼式の立体視カメラにおける基線長、被写体の深度及び視差の間の関係について説明するための説明図である。 被写体の深度と視差との間の関係の一例を描いたグラフを示している。 視差の補正による立体感の強調について説明するための説明図である。 画一的な補正率での視差の補正について説明するための説明図である。 視差の補正に起因する画素の欠損について説明するための説明図である。 医療上の作業の作業深度の一例について説明するための説明図である。 第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 作業深度に依存して立体感の強調のための補正率を抑制する一例について説明するための説明図である。 第１の実施形態に係る立体視画像生成処理の流れの一例を示すフローチャートである。 図１０に示した作業深度判定処理の詳細な流れの第１の例を示すフローチャートである。 図１０に示した作業深度判定処理の詳細な流れの第２の例を示すフローチャートである。 図１０に示した作業深度判定処理の詳細な流れの第３の例を示すフローチャートである。 図１０に示したグラフ導出処理の詳細な流れの第１の例を示すフローチャートである。 図１０に示したグラフ導出処理の詳細な流れの第２の例を示すフローチャートである。 図１０に示したグラフ導出処理の詳細な流れの第３の例を示すフローチャートである。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第２の実施形態に係る立体視画像生成処理の流れの一例を示すフローチャートである。 第２の実施形態に係る作業深度判定処理の詳細な流れの第１の例を示すフローチャートである。 第２の実施形態に係る作業深度判定処理の詳細な流れの第２の例を示すフローチャートである。 第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第３の実施形態に係る立体視画像生成処理の流れの一例を示すフローチャートである。 第３の実施形態に係る作業深度判定処理の詳細な流れの一例を示すフローチャートである。 作業深度に依存して立体感の軽減のための補正率を抑制する一例について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．序論
１−１．システムの概要
１−２．課題の説明
２．第１の実施形態
２−１．画像処理装置の構成例
２−２．処理の流れ
３．第２の実施形態
３−１．画像処理装置の構成例
３−２．処理の流れ
４．第３の実施形態
４−１．画像処理装置の構成例
４−２．処理の流れ
５．立体感の軽減
６．まとめ
＜１．序論＞
［１−１．システムの概要］
本項では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図１は、一実施形態に係る医療用画像処理システム１の概略的な構成の一例を示している。医療用画像処理システム１は、内視鏡下手術システムである。図１の例では、術者（医師）３が、医療用画像処理システム１を用いて、患者ベッド５上の患者７に内視鏡下手術を行っている。医療用画像処理システム１は、内視鏡１０と、その他の手術器具（術具）３０と、内視鏡１０を支持する支持アーム装置４０と、内視鏡下手術のための様々な装置が搭載されたカート５０と、から構成される。
内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具３７ａ〜３７ｄが腹壁に複数穿刺される。そして、トロッカ３７ａ〜３７ｄから、内視鏡１０の鏡筒１１、及びその他の術具３０が、患者７の体腔内に挿入される。図１の例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が示されている。エネルギー処置具３３は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具３０は一例に過ぎず、他の種類の術具（例えば、攝子又はレトラクタなど）が利用されてもよい。
内視鏡１０によって撮像される患者７の体腔内の画像は、表示装置５３により表示される。術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具３３及び鉗子３５を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者３又は助手などのユーザによって支持される。
支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図１の例では、アーム部４３は、関節部４５ａ、４５ｂ及び４５ｃ、並びにリンク４７ａ及び４７ｂから構成され、内視鏡１０を支持している。アーム部４３がアーム制御装置５７からの制御に従って駆動される結果として、内視鏡１０の位置及び姿勢が制御され、内視鏡１０の安定的な位置の固定もまた実現され得る。
内視鏡１０は、鏡筒１１と、鏡筒１１の基端に接続されるカメラヘッド１３と、から構成される。鏡筒１１の先端からある長さまで一部分は、患者７の体腔内に挿入される。図１の例では、硬性の鏡筒１１を有するいわゆる硬性鏡として内視鏡１０が構成されているが、内視鏡１０は、いわゆる軟性鏡として構成されてもよい。
鏡筒１１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５５が接続されており、光源装置５５によって生成された光が、鏡筒１１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７の体腔内の観察対象に向かって照射される。なお、内視鏡１０は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
カメラヘッド１３は、光学系と、駆動系と、イメージセンサとを内蔵する撮像装置である。光学系は、典型的にはレンズユニットを含み、鏡筒１１の先端から取り込まれる被写体からの観察光（照射光の反射光）を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド１３のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、３つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する３板式センサであってもよく、又は単板式若しくは２板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge-Coupled Device）などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１へ送信される。一実施形態において、カメラヘッド１３により生成される画像信号により表現される撮像画像は、立体視のための右眼画像及び左眼画像を含む。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより（例えばシャッタ切り替え方式で）生成されてもよい。
ＣＣＵ５１は、信号線及び通信インタフェースを介してカメラヘッド１３と接続される。カメラヘッド１３とＣＣＵ５１との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。ＣＣＵ５１は、ＣＰＵ（Central Processing Unit）などのプロセッサとＲＡＭ（Random Access Memory）などのメモリとを有し、内視鏡１０及び表示装置５３の動作を統括的に制御する。ＣＣＵ５１は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する１つ以上のＧＰＵ（Graphics Processing Unit）とをさらに有してもよい。例えば、ＣＣＵ５１は、カメラヘッド１３から入力される撮像画像に基づいて立体視画像を生成し、生成した立体視画像を表示装置５３に表示させる。一実施形態において、ＣＣＵ５１は、立体視画像により表現される立体感を強調するように右眼画像及び左眼画像を処理して、右眼用表示画像及び左眼用表示画像を生成してもよい。他の実施形態において、ＣＣＵ５１は、立体視画像により表現される立体感を軽減するように右眼画像及び左眼画像を処理して、右眼用表示画像及び左眼用表示画像を生成してもよい。そして、ＣＣＵ５１は、右眼用表示画像及び左眼用表示画像を表現する表示画像信号を表示装置５３へ出力する。一連の表示画像は、動画（映像）を構成し得る。ＣＣＵ５１において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、ＣＣＵ５１は、カメラヘッド１３へ制御信号を送信し、カメラヘッド１３の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
表示装置５３は、ＣＣＵ５１からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置５３は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。
光源装置５５は、例えばＬＥＤ、キセノンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１０へ供給する。
アーム制御装置５７は、例えばＣＰＵなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置４０のアーム部４３の駆動を制御する。
入力装置５９は、医療用画像処理システム１へのユーザ入力を受け付ける１つ以上の入力インタフェースを含む。ユーザは、入力装置５９を介して、医療用画像処理システム１へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置５９を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示、内視鏡１０における撮像条件（照射光の種類、倍率及び焦点距離など）を変更する旨の指示、又はエネルギー処置具３３を駆動させる旨の指示などを入力する。
入力装置５９は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置５９は、マウス、キーボード、スイッチ（例えば、フットスイッチ６９）又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置５９は、タッチパネルを介してタッチ入力を検出してもよい。入力装置５９は、メガネ型デバイス又はＨＭＤ（Head Mounted Display）といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
処置具制御装置６１は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡１０により観察される視野を確保し及び術者の作業空間を確保する目的で、患者７の体腔を膨らませるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、医療上の作業に関する様々な情報（例えば、設定情報、画像情報及びバイタルセンサ（図示せず）からの測定情報のうちの１つ以上）を記録媒体へ記録する。プリンタ６７は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
［１−２．課題の説明］
こうした医療用画像処理システムでは、右眼画像と左眼画像との間の基線長は、患者の体腔内に挿入されるカメラヘッドの径の制約に起因して、非医療用途のステレオカメラの基線長よりも短い。そして、被写体の深度が同じであれば基線長が短いほど視差は小さくなり、結果的に右眼画像と左眼画像とに基づいて表示される立体視画像は十分な立体感をユーザに与えられない可能性がある。
図２Ａは、複眼式の立体視カメラにおける基線長、被写体の深度及び視差の間の関係について説明するための説明図である。図２Ａを参照すると、右眼用イメージセンサ１０１ａ及び左眼用イメージセンサ１０１ｂがそれぞれ逆三角形で示されている。逆三角形の上辺はイメージセンサの撮像面に相当し、下の頂点は焦点に相当する。図中で、Ｆは焦点距離を表し、Ｌｂａｓｅはイメージセンサ間の基線長（例えば、２つの光学中心１０３の間の距離）を表す。図２Ａの例では、被写体Ｂ０は、右眼用イメージセンサ１０１ａ及び左眼用イメージセンサ１０１ｂの間の基線から距離Ｚの位置にある。本明細書では、この距離Ｚを深度という。被写体Ｂ０は、右眼用イメージセンサ１０１ａにおいては撮像面上の水平位置ｕＲに映っている。また、被写体Ｂ０は、左眼用イメージセンサ１０１ｂにおいては撮像面上の水平位置ｕＬに映っている。説明の簡明さのためにピンホールカメラモデルを前提とすると、右眼用イメージセンサ１０１ａを基準とする視差ｄは、次式で与えられる：
Figure 0006828695
さらに、深度Ｚが可変的な値であるとすると、深度Ｚの関数としての視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、次式のように表現され得る：
Figure 0006828695
例えば、右眼画像及び左眼画像に基づきステレオマッチング法によって視差ｄ（Ｚ）を導出し、導出した視差ｄ（Ｚ）と既知の基線長Ｌｂａｓｅ及び焦点距離Ｆとを用いて、被写体の深度Ｚを算出することができる。
図２Ｂは、単眼式の立体視カメラにおける基線長、被写体の深度及び視差の間の関係について説明するための説明図である。図２Ｂを参照すると、単一のイメージセンサ１０２が逆三角形で示されている。また、イメージセンサ１０２の前方には、一組のレンズ１０４に加えて、レンズの右半分及び左半分を選択的に遮蔽可能なシャッタ１０５が配置されている。右眼撮像時には、シャッタ１０５がレンズの左半分を遮蔽し、レンズの右半分を通じて集光される観察光がイメージセンサ１０２により撮像される。左眼撮像時には、シャッタ１０５がレンズの右半分を遮蔽し、レンズの左半分を通じて集光される観察光がイメージセンサ１０２により撮像される。このようなシャッタの切り替えを時間的に反復しながら撮像を実行することにより、右眼画像及び左眼画像のシーケンスがイメージセンサ１０２において生成される。右眼画像と左眼画像との間の基線長Ｌｂａｓｅは、例えばシャッタ１０５の位置における瞳（光学系の絞りの像に相当）の右半分の重心と左半分の重心との間の距離として定義され得る。単眼式の立体視カメラにおいても、視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、被写体の深度Ｚの関数として上記式（２）により表現され得る。
ここで、ある非ゼロの基準深度Ｚｒｅｆにおける視差（基準視差）をｄｒｅｆとし、式（２）の左辺を基準視差ｄｒｅｆとその残差ｄ（Ｚ）との和に置き換える。すると、基準視差ｄｒｅｆの項を移動することにより次式が導かれる：
Figure 0006828695
以下の説明では、式（３）における残差ｄ（Ｚ）をも単に「視差」という。図３は、基準深度Ｚｒｅｆ＝４０ｍｍのケースでの、被写体の深度Ｚと視差ｄ（Ｚ）との間の関係の一例を描いたグラフＧ１を示している。グラフＧ１によれば、深度Ｚが基準深度Ｚｒｅｆに等しい場合に、視差ｄ（Ｚ）もまたゼロに等しい。深度Ｚがゼロに近付くに従って視差ｄは無限へと増加し、一方で深度Ｚが基準深度Ｚｒｅｆを超えて増加すると視差ｄは−ｄｒｅｆに向けて漸近する。
上述したように、医療用画像処理システムでは、右眼画像と左眼画像との間の基線長がカメラヘッドの径により制約を受けるために、表示される立体視画像において十分な立体感をユーザに与えられない可能性がある。そこで、立体感を強調する目的で、撮像された右眼画像及び左眼画像に現れている視差を人工的に拡大した上で、立体視画像を生成する手法が考えられる。
図４は、視差の補正による立体感の強調について説明するための説明図である。図４を参照すると、図２Ａに示した右眼用イメージセンサ１０１ａ、左眼用イメージセンサ１０１ｂ及び被写体Ｂ０が再び示されている。右眼用イメージセンサ１０１ａ及び左眼用イメージセンサ１０１ｂの実際の基線長（以下、実基線長という）はＬｂａｓｅに等しい。ここで、右眼用イメージセンサ１０１ａの撮像面上の被写体Ｂ０の水平位置ｕＲを左方へ値Δｕだけシフトし（ｕＲ→ｕＲ−Δｕ）、かつ左眼用イメージセンサ１０１ｂの撮像面上の被写体Ｂ０の水平位置ｕＬを右方へ値Δｕだけシフトする（ｕＬ→ｕＬ＋Δｕ）ことにより、より大きな基線長Ｌｅｘｔで撮像された立体視画像と同様の立体感を疑似的に実現することができる。こうしたシフトは、式（３）における視差ｄ（Ｚ）を上方へ又は下方へ変化させることを意味する。なお、図４の例に限定されず、被写体のシフトは、右眼画像又は左眼画像の一方のみにおいて行われてもよい。この場合、シフト量は、双方の画像において被写体をシフトするケースの２倍に相当し得る。
一例として、基線長Ｌｂａｓｅを疑似的に拡大するための割合をｋとする。ここで、腹部の手術のための内視鏡の基線長を、例えば０．７ｍｍとする。補正率ｋ＝３の場合、視差のシフトによって基線長を疑似的に２．１ｍｍへと拡大し、それに応じて立体視画像の立体感を強調することができる。図５は、画一的な補正率での視差の補正について説明するための説明図である。図５に示したグラフＧ２は、図３に示したグラフＧ１のプロット条件における基線長を３倍の値へと拡大することにより生成される。グラフＧ２においても、深度Ｚが基準深度Ｚｒｅｆ（＝４０ｍｍ）に等しい場合には、視差ｄ（Ｚ）はゼロに等しい。但し、グラフＧ２では、深度Ｚがゼロに近付くに従って、視差ｄはグラフＧ１よりも速いペースで増加する。また、深度Ｚが基準深度Ｚｒｅｆを超えて増加すると、視差ｄはグラフＧ１よりも低い値へと漸近する。
図５から理解されることとして、基線長＝０．７ｍｍのカメラで撮像された右眼画像及び左眼画像の立体感を、疑似的に基線長＝２．１ｍｍのカメラで撮像されたかのように強調する（即ち、補正率ｋ＝３）ために要するシフト量は、例えば、図中に矢印で示したように、深度Ｚ＝２０ｍｍにおいてｄｓｈｉｆｔ（２０）＝約９５画素、深度Ｚ＝７０ｍｍにおいてシフト量ｄｓｈｉｆｔ（７０）＝約マイナス４０画素である。これらシフト量は、基準深度の近傍において要するシフト量よりも格段に大きい。即ち、グラフＧ１からグラフＧ２への画一的な補正率を用いた立体感の強調は、特に基準深度から遠い深度レンジにおいて、所要シフト量を過剰に大きくする。
立体感の強調（又は軽減）を目的とした視差の補正のための被写体のシフトは、画素の欠損を引き起こす。図６は、視差の補正に起因する画素の欠損について説明するための説明図である。図６の左には、イメージセンサにより生成される一例としての（補正前の）右眼画像ＩＭＲ１が示されている。右眼画像ＩＭＲ１には、第１の被写体Ｂ１、第２の被写体Ｂ２及び第３の被写体Ｂ３が映っている。これら３つの被写体について（例えば図示しない左眼画像とのマッチングの結果として）判定された深度は、互いに異なるものとする。一例として、第１の被写体Ｂ１は基準深度よりも手前に存在し（即ち、基準深度よりも小さい深度を有し）、立体感の強調のために左方へΔｕ１だけシフトされる。第２の被写体Ｂ２は基準深度よりも奥に存在し、立体感の強調のために右方へΔｕ２だけシフトされる。このような視差の補正の結果として、図６の右に示した右眼用表示画像ＩＭＲ２が生成される。右眼用表示画像ＩＭＲ２において、第１の被写体Ｂ１及び第２の被写体Ｂ２の間にはシフトに起因して画素情報が欠損した欠損領域が生じている。こうした欠損領域の画素情報は、例えば隣接画素から補間されることもできるが、補間される画素情報は現実の視野の状況を正確には反映しないアーティファクトとなり得る。例えば、図６において斜線のハッチングで示した第１の被写体Ｂ１と第２の被写体Ｂ２との間の間隙には、他の被写体が存在した可能性もあるが、補間によってそうした撮像画像に映らなかった被写体の画像を復元することは不可能である。この間隙の画像情報を人工的に補間したとしても、そうした画像情報は不正確な情報に過ぎない。手術又は診断といった医療のシーンでは、このような不正確な画像を表示することは、可能な限り回避されることが望ましい。
そこで、本開示に係る技術の後述する実施形態では、特に表示深度の階調が重視される作業深度レンジにおいて所望の補正率で視差を補正する一方、作業深度レンジの外側においては補正率を抑制する仕組みが提供される。本明細書において、作業深度とは、医療上の作業においてユーザ（例えば、術者）が主に注視する深度をいう。図７は、医療上の作業の作業深度の一例について説明するための説明図である。図７を参照すると、内視鏡下手術のシーンにおいて、患者７の体腔に内視鏡１０の鏡筒、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が挿入されている。体腔内には作業空間が確保され、例えば鉗子３５が患部３９に接触しようとしており、内視鏡１０はそうした作業の視野を撮像している。作業深度Ｚｗｏｒｋは、例えば内視鏡１０から鉗子３５の先端までの距離に相当し得る。実際には、作業深度Ｚｗｏｒｋは様々な手法で決定されてよく、それら手法のいくつかの例を後に具体的に説明する。作業深度レンジは、こうした作業深度Ｚｗｏｒｋとの深度差の相対的に小さい深度レンジであってよい。本開示に係る技術に従い、作業深度レンジ内では立体感を十分に強調し、一方で作業深度レンジの外部においては視差の補正を抑制することにより、画像情報の欠損を効果的に低減しながら所望の立体感をユーザへ与えることができる。
＜２．第１の実施形態＞
図１に例示した医療用画像処理システム１の構成要素の中で、特に、画像処理装置の役割を有するＣＣＵ５１が、視差の補正を通じた立体感の強調に主に関与する。そこで、本節では、一実施形態に係るＣＣＵ５１の具体的な構成について詳細に説明する。
［２−１．画像処理装置の構成例］
図８は、第１の実施形態に係る画像処理装置としてのＣＣＵ５１の構成の一例を示すブロック図である。図８を参照すると、ＣＣＵ５１は、撮像制御部１１０、画像取得部１２０、視差判定部１３０、深度判定部１４０、補正部１５０、記憶部１６０、３Ｄ画像生成部１７０及び設定部１８０を備える。
（１）撮像制御部
撮像制御部１１０は、ユーザが望む通りの画像が撮像されるように、入力装置５９により検出されるユーザ入力と設定情報とに基づいて、内視鏡１０の動作を制御する。例えば、撮像制御部１１０は、撮像が開始されると、位相差方式又はコントラスト方式などの任意のオートフォーカス方式で最適な焦点距離を決定し、決定した焦点距離を指定する制御信号をカメラヘッド１３へ送信し得る。また、撮像制御部１１０は、ユーザにより指示された倍率を指定する制御信号をカメラヘッド１３へ送信し得る。
（２）画像取得部
画像取得部１２０は、カメラヘッド１３により具備される立体視用のイメージセンサにおいて生成される撮像画像を取得する。撮像画像は、医療上の作業において観察される作業視野を映した画像である。撮像画像は、典型的には、右眼画像と左眼画像とから構成される。右眼画像及び左眼画像は、図２Ａ及び図２Ｂを用いて説明したようなイメージセンサにおいて生成され得る。画像取得部１２０は、取得したこれら撮像画像を視差判定部１３０及び３Ｄ画像生成部１７０へ出力する。
（３）視差判定部
視差判定部１３０は、画像取得部１２０から入力される撮像画像を用いて視差を判定し、視差情報を生成する。視差判定部１３０は、例えば、ステレオマッチング法に従い、右眼画像の画素位置ごと（又は画素ブロックごと）に、左眼画像における対応点を探索し、発見された対応点との水平位置の差を視差として算出し得る。視差判定部１３０により生成される視差情報は、例えば決定された視差を画素位置（又は画素ブロック位置）ごとに示す配列（例えば、視差マップ）であってよい。視差判定部１３０は、このように生成され得る視差情報を補正部１５０へ出力する。
（４）深度判定部
深度判定部１４０は、撮像される医療上の作業の作業深度を判定し、判定した作業深度を補正部１５０へ出力する。一例として、深度判定部１４０は、医療用画像処理システム１において行われる作業の種類に基づいて、作業深度を判定してもよい。手術を例にとると、作業の種類は、例えば、腹腔鏡下手術又は胸腔鏡下手術といったように手術部位によって区別されてもよい。非限定的な例として、腹部の手術では、１５〜１００ｍｍの典型的なレンジのうち、特に５０ｍｍの深度で作業が行われることが多い。一方、耳鼻科の手術では、典型的なレンジは２〜５０ｍｍであり、主たる作業深度もそれに応じて小さくなる。また、作業の種類は、例えば、心臓バイパス術、胃部分切除術、胆のう摘出術又は虫垂切除術といったように術式によって区別されてもよい。作業の種類は、例えば、作業の開始前にユーザ入力に基づいて設定部１８０により設定され得る。深度判定部１４０は、設定された作業の種類と対応する作業深度とを関連付ける設定情報に基づいて、視差の補正の際に考慮すべき作業深度を判定し得る。深度判定部１４０は、作業の種類に対応する作業深度（設定情報により示され得る既定の作業深度）を、ユーザ入力に基づいて調整してもよい。
他の例として、深度判定部１４０は、作業において使用される器具の種類に基づいて、作業深度を判定してもよい。非限定的な例として、直径１０ｍｍのスコープが用いられる場合の典型的な作業深度は５０ｍｍであり、一方で耳鼻科の手術のように直径４ｍｍのスコープが用いられる場合の典型的な作業深度はより小さい。器具の種類とは、こうしたスコープ（内視鏡又はその鏡筒）の種類であってもよい。その代わりに、器具の種類とは、他の様々な器具の種類を意味してもよい。例えば、鉗子、針及び糸を用いた結紮作業と、電気メスなどのエネルギー処置具を用いたポリープの切除とでは、想定される作業深度が相違し得る。使用される器具の種類は、例えば、ユーザ入力に基づいて設定部１８０により設定されてもよく、又は自動的に判別されてもよい。深度判定部１４０は、使用される器具の種類と対応する作業深度とを関連付ける設定情報に基づいて、視差の補正の際に考慮すべき作業深度を判定し得る。深度判定部１４０は、器具の種類に対応する作業深度（設定情報により示され得る既定の作業深度）を、ユーザ入力に基づいて調整してもよい。
他の例として、深度判定部１４０は、例えばユーザインタフェースを通じて、作業深度を直接的に指定するユーザ入力を取得し、取得したユーザ入力に基づいて、視差の補正の際に適用すべき作業深度を判定してもよい。ここでのユーザ入力は、入力装置５９に関連して説明した物理的な入力、タッチ入力、ジェスチャ入力又は音声入力など、いかなる種類の入力であってもよい。
（５）補正部
補正部１５０は、撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、深度判定部１４０により判定される作業深度に依存して、視差判定部１３０から入力される視差情報を補正する。
ある実施例において、補正部１５０は、まず、撮像の際に利用されたカメラの実基線長に基づく、深度と視差との間の関係を表す初期グラフを決定する。図９には、図５に示したものと同じグラフＧ１が初期グラフとして示されている。初期グラフＧ１は、実基線長及び焦点距離といったカメラの特性から決定され得る。初期グラフＧ１の基準深度は、深度判定部１４０により判定された作業深度に等しくてもよく、又は作業深度と異なってもよい。また、補正部１５０は、基本補正率を決定する。基本補正率は、例えば、実基線長と疑似的な基線長との比であってよい。次に、補正部１５０は、深度レンジの全体にわたって画一的に基本補正率を初期グラフＧ１に適用することにより形成され得る、中間グラフＧ２を導出する。図９には、図５に示したものと同じグラフＧ２が中間グラフとして示されている。そして、補正部１５０は、初期グラフＧ１及び中間グラフＧ２に基づいて、補正用グラフＧ３を生成する。一例として、補正用グラフＧ３は、作業深度との深度差の小さい作業深度レンジＲ１においては中間グラフＧ２に一致し、作業深度との深度差が大きくなるにつれて中間グラフＧ２から離れ初期グラフＧ１に近付くという軌跡を描く。このような補正用グラフＧ３を用いた視差の補正によれば、（実基線長に応じて決定される）基本補正率が作業深度レンジＲ１に適用される一方、基本補正率に対して相対的に抑制される補正率が作業深度レンジＲ１の外側の深度レンジＲ２及びＲ３に適用されることになる。例えば、補正用グラフＧ３に従った視差の補正のために要するシフト量の絶対値は、図中で網掛けされた矢印で示したように、深度Ｚ＝２０ｍｍにおいて、中間グラフＧ２に従った補正のケース（図５参照）と比較して、大幅に低減されている（｜ｄｓｈｉｆｔ（２０）｜＞｜ｄ´ｓｈｉｆｔ（２０）｜）。深度Ｚ＝７０ｍｍにおいても同様である。
なお、図９に示した補正用グラフＧ３は一例に過ぎず、他の軌跡を描く補正用グラフが使用されてもよい。一例として、１つの補正用グラフ内に２つ以上の作業深度レンジが設定されてもよい。他の例として、補正部１５０は、作業深度との深度差の小さい作業深度レンジにおいて補正用グラフを中間グラフに一致させる代わりに、作業深度レンジにおいて立体感感度（例えば、深度に対する視差の傾き）が所要の下限を下回らないような補正用グラフを生成してもよい。このように作業深度レンジにおいて立体感感度に下限を設定することにより、視差の補正率の抑制の結果として立体感の強調が不十分となることを回避することができる。作業深度レンジの外側においては、そのような下限は設定されない。
他の例として、補正部１５０は、視差の補正に起因する画素情報の欠損量に関する指標が上限を上回らないように、作業深度レンジの外側の深度レンジにおける補正率が抑制された補正用グラフを生成してもよい。画素情報の欠損量に関する指標は、例えば、画像の全体又は一部分の画素数に対する欠損領域の画素数の割合、又は、欠損領域の最大幅などであってよい。このように画素情報の欠損量に関する指標についての制約を補正用グラフに課すことにより、立体感の修正後の画像について少なくともあるレベルの正確性を確保することが容易となる。
ある実施例において、補正部１５０は、補正用グラフを動的に生成してもよい。補正用グラフの生成のために必要とされるカメラの特性（例えば、実基線長及び焦点距離）は、撮像制御部１１０又は設定部１８０により提供され得る。補正用グラフの決定のために必要とされる疑似基線長若しくは基本補正率、作業深度レンジの幅、作業深度レンジにおける立体感感度の下限、及び画素情報の欠損量に関する指標の上限などのパラメータは、予め定義されてもよく、又はユーザ入力により指定されてもよい。
他の実施例において、補正部１５０は、事前に設定され記憶部１６０により記憶される補正用グラフを取得してもよい。補正部１５０は、例えば、作業深度、カメラの特性及びその他の可変的なパラメータ（例えば、疑似基線長又は基本補正率）の複数の組み合わせにそれぞれ対応する複数の候補グラフのうちの１つを、ユーザ入力に基づいて選択してもよい。また、後に説明するように、深度と補正後の視差との間の関係を表現する補正用グラフが、例えばグラフィカルユーザインタフェース（ＧＵＩ）を通じてユーザにより事前に設定されてもよい。
なお、いずれの例においても、補正用グラフに加えて又はその代わりに、補正用グラフと初期グラフとの間の差分（即ち、シフト量）を深度ごとに表すテーブルが設定され又は生成されてもよい。以下の説明では、そうしたテーブル形式のデータを補正プロファイルという。
補正部１５０は、上述したいずれかの手法で導出され得る補正用グラフ（又は補正プロファイル）に従って、視差判定部１３０から入力される視差情報を補正する。例えば、補正部１５０は、まず、視差情報により示される画素位置ごとの視差から、当該画素位置に映る被写体の深度を判定する。次に、補正部１５０は、判定した被写体の深度に対応する、補正用グラフと初期グラフとの間の差分に相当するシフト量を、当該画素位置の視差に加算（又は視差から減算）する。こうした演算が画素位置ごと（又は画素ブロックごと）に繰り返される結果として、補正された視差情報が生成され得る。補正部１５０は、補正された視差情報を３Ｄ画像生成部１７０へ出力する。
（６）記憶部
記憶部１６０は、様々な設定情報を記憶し得る。設定情報は、例えば、作業の種類の複数の候補の各々と、対応する作業深度とを関連付ける作業情報を含んでもよい。また、設定情報は、作業において使用される器具の種類の候補の各々と対応する作業深度とを関連付ける器具情報を含んでもよい。また、設定情報は、作業深度を直接的に指定する作業深度情報を含んでもよい。
また、記憶部１６０は、初期グラフ及び補正用グラフの導出のためのパラメータを記憶し得る。例えば、記憶部１６０は、カメラヘッド１３における実基線長及び焦点距離などのカメラ特性パラメータを記憶してもよい。また、記憶部１６０は、疑似基線長、基本補正率、作業深度レンジの幅、作業深度レンジにおける立体感感度の下限、及び画素情報の欠損量に関する指標の上限、のうちの１つ以上を含み得るグラフ関連パラメータを記憶してもよい。また、記憶部１６０は、初期グラフ及び補正用グラフ（又は補正プロファイル）を記憶してもよい。
（７）３Ｄ画像生成部
３Ｄ画像生成部１７０は、補正部１５０から入力される補正後の視差情報を用いて、医療上の作業において観察される視野に対応する立体視画像を生成する。例えば、３Ｄ画像生成部１７０は、画像取得部１２０から入力される右眼画像及び左眼画像のうちの少なくとも一方において、補正後の視差情報により表される視差に従って画素の水平位置をシフトすることにより、立体視画像を生成する。３Ｄ画像生成部１７０は、画素の水平位置をシフトすることにより画素情報が欠損する欠損領域については、欠損の無い隣接する画素から画素情報を補間してよい。本実施形態では、視差の補正率の抑制によってサイズの小さい欠損領域しか生じないため、画素情報の補間に起因するアーティファクトの割合は既存の技術と比較して低減される。立体視画像は、右眼用表示画像及び左眼用表示画像から構成される。３Ｄ画像生成部１７０は、生成した立体視画像を表現する表示画像信号を表示装置５３（及び／又はレコーダ６５）へ出力する。
（８）設定部
設定部１８０は、入力装置５９を介して検出されるユーザ入力及び撮像制御部１１０により制御される撮像条件に従って、医療用画像処理システム１における立体視画像の生成及び表示のための様々な設定を管理する。設定部１８０は、例えば、医療用画像処理システム１の利用の開始に先立って、ユーザ（例えば、術者）から作業の種類を指定するユーザ入力を受け付けてもよい。また、設定部１８０は、作業において使用される器具の種類を指定するユーザ入力を受け付け、又は当該器具の種類を自動的に判別してもよい。また、設定部１８０は、作業においてユーザが主に注視する作業深度を指定するユーザ入力を受け付けてもよい。設定部１８０は、例えば、これら設定の複数の候補を提示するユーザインタフェースを提供し（例えば、表示装置５３又は他の画面上に表示し）、それら候補のうちの１つをユーザに選択させてもよい。
また、設定部１８０は、初期グラフ及び補正用グラフの導出において利用され得るグラフ関連パラメータを指定し又は選択するユーザ入力を受け付けてもよい。例えば、作業深度レンジにおける立体感感度の下限、又は画素情報の欠損量に関する指標の上限といった制約条件をユーザに設定させるためのユーザインタフェースを提供することにより、ユーザが目的（例えば、所望の感度、又は許容し得るアーティファクトの割合など）に応じて柔軟に立体視の表示を調整することが可能となる。さらに、設定部１８０は、例えば立体視画像の生成の際に適用すべき補正用グラフをユーザに編集させるためのＧＵＩ（Graphical User Interface）（例えば、表示されたグラフの軌跡をタッチ又はドラッグを通じて動かすことを可能とするＧＵＩ）を提供してもよい。
［２−２．処理の流れ］
本項では、上述した実施形態においてＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。これらは、次節以降の実施形態の説明についても同様である。
（１）立体視画像生成処理
図１０は、第１の実施形態に係るＣＣＵ５１により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図１０を参照すると、まず、深度判定部１４０は、撮像の開始に先立って、撮像される医療上の作業の作業深度を判定するために、作業深度判定処理を実行する（ステップＳ１１０）。ここで実行される作業深度判定処理のいくつかのより詳細な流れの例を、後にさらに説明する。
次に、画像取得部１２０は、立体視用のイメージセンサにおいて生成される、作業視野を映した右眼画像及び左眼画像を取得する（ステップＳ１２０）。次に、視差判定部１３０は、画像取得部１２０により取得された右眼画像及び左眼画像を用いて、画素位置ごとに視差を判定し、視差情報を生成する（ステップＳ１３０）。視差判定部１３０は、このように生成され得る視差情報を補正部１５０へ出力する。
次に、補正部１５０は、視差判定部１３０により生成された視差情報を、作業深度に依存してどのように補正すべきかを決定するために、グラフ導出処理を実行する（ステップＳ１５０）、ここで実行されるグラフ導出処理のいくつかのより詳細な流れの例を、後にさらに説明する。
次に、補正部１５０は、グラフ導出処理の結果として導出される補正用グラフ（又は補正用グラフと初期グラフとの間の差分を表す補正プロファイル）を用いて、作業深度に依存する視差情報の補正を実行する（ステップＳ１７０）。
次に、３Ｄ画像生成部１７０は、補正部１５０により補正された視差情報を用いて、画像取得部１２０により取得された右眼画像及び左眼画像のうちの少なくとも一方における被写体の水平位置を画素ごとにシフトすることにより、立体視画像を生成する（ステップＳ１８０）。３Ｄ画像生成部１７０により生成された立体視画像を表現する表示画像信号は、例えば、立体視画像の表示のために表示装置５３へと出力されてもよく、又は画像若しくは動画の記録のためにレコーダ６５へと出力されてもよい。
上述したステップＳ１２０〜ステップＳ１８０は、立体視画像生成処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した立体視画像生成処理は終了する。なお、立体視画像生成処理が継続している間に、再度ステップＳ１１０における作業深度判定処理が実行され、作業深度が更新されてもよい。
（２）作業深度判定処理
図１１Ａは、図１０に示した作業深度判定処理の詳細な流れの第１の例を示すフローチャートである。図１１Ａを参照すると、まず、深度判定部１４０は、医療用画像処理システム１において行われる作業の種類を特定する（ステップＳ１１１）。作業の種類は、例えば、予め記憶部１６０により記憶される設定情報により示され、又はユーザ入力により指定され得る。次に、深度判定部１４０は、特定した作業の種類に関連付けて予め定義される作業深度を、設定情報から取得する（ステップＳ１１６）。
図１１Ｂは、図１０に示した作業深度判定処理の詳細な流れの第２の例を示すフローチャートである。図１１Ｂを参照すると、まず、深度判定部１４０は、医療用画像処理システム１において行われる作業で使用される器具の種類を特定する（ステップＳ１１２）。次に、深度判定部１４０は、判定した器具の種類に関連付けて予め定義される作業深度を、設定情報から取得する（ステップＳ１１７）。
図１１Ｃは、図１０に示した作業深度判定処理の詳細な流れの第３の例を示すフローチャートである。図１１Ｃを参照すると、深度判定部１４０は、例えば設定部１８０により提供されるユーザインタフェースを通じて、作業深度を直接的に指定するユーザ入力を検出する（ステップＳ１１３）。そして、深度判定部１４０は、検出されたユーザ入力により指定された作業深度を、立体視画像の生成の際に参照すると判定する（ステップＳ１１８）。
（３）グラフ導出処理
図１２Ａは、図１０に示したグラフ導出処理の詳細な流れの第１の例を示すフローチャートである。図１２Ａを参照すると、まず、補正部１５０は、カメラの実基線長及び焦点距離といった特性から、補正前の深度と視差との間の関係を表す初期グラフを決定する（ステップＳ１５１）。また、補正部１５０は、例えば実基線長と疑似的な基線長との比である基本補正率を含むパラメータを取得する（ステップＳ１５４）。そして、補正部１５０は、深度判定部１４０により判定された作業深度との深度差の小さい作業深度レンジにおいては基本補正率を適用し、作業深度レンジの外側においては補正率を抑制するような補正用グラフを生成する（ステップＳ１５７）。
図１２Ｂは、図１０に示したグラフ導出処理の詳細な流れの第２の例を示すフローチャートである。図１２Ｂを参照すると、まず、補正部１５０は、カメラの実基線長及び焦点距離といった特性から、補正前の深度と視差との間の関係を表す初期グラフを決定する（ステップＳ１５１）。また、補正部１５０は、立体感感度の下限及び画素情報の欠損量に関する指標の上限のうちの少なくとも一方を含むパラメータを取得する（ステップＳ１５５）。そして、補正部１５０は、取得したパラメータにより表される制約条件を満たす補正用グラフを生成する（ステップＳ１５８）。ここで生成される補正用グラフは、例えば、作業深度との深度差の小さい作業深度レンジにおいては、上記パラメータにより示される下限を下回らない立体感感度（例えば、深度に対する視差の傾き）を有し得る。また、当該補正用グラフの深度レンジの全体にわたる画素情報の欠損量に関する指標は、上記パラメータにより示される上限を上回らない。
図１２Ｃは、図１０に示したグラフ導出処理の詳細な流れの第３の例を示すフローチャートである。図１２Ａを参照すると、まず、補正部１５０は、カメラの実基線長及び焦点距離といった特性を取得する（ステップＳ１５２）。また、補正部１５０は、例えば基本補正率を含み得るパラメータを取得する（ステップＳ１５６）。そして、補正部１５０は、取得した特性及びパラメータに関連付けて予め定義されている、作業深度に依存する補正率に基づく補正用グラフを、記憶部１６０から取得する（ステップＳ１５９）。
＜３．第２の実施形態＞
第１の実施形態では、撮像の開始に先立って、ユーザ入力又は設定情報に基づいて医療上の作業の作業深度が判定された。これに対し、本節で説明する第２の実施形態では、撮像画像の解析に基づいて、医療上の作業の作業深度が判定される。
［３−１．画像処理装置の構成例］
図１３は、第２の実施形態に係る画像処理装置としてのＣＣＵ５１の構成の一例を示すブロック図である。図１３を参照すると、ＣＣＵ５１は、撮像制御部１１０、画像取得部２２０、視差判定部１３０、深度判定部２４０、補正部１５０、記憶部２６０、３Ｄ画像生成部１７０及び設定部２８０を備える。
画像取得部２２０は、カメラヘッド１３により具備される立体視用のイメージセンサにおいて生成される撮像画像を取得する。撮像画像は、医療上の作業において観察される作業視野を映した画像であって、典型的には、右眼画像と左眼画像とから構成される。画像取得部２２０は、取得したこれら撮像画像を視差判定部１３０、深度判定部２４０及び３Ｄ画像生成部１７０へ出力する。
深度判定部２４０は、撮像される医療上の作業の作業深度を判定し、判定した作業深度を補正部１５０へ出力する。第１の例として、深度判定部２４０は、撮像画像において認識される器具について判定される深度に基づいて、作業深度を判定する。具体的には、深度判定部２４０は、設定部２８０により設定される認識すべき対象器具の既知の画像特徴量を、記憶部２６０から取得する。そして、深度判定部２４０は、撮像画像（例えば、右眼画像及び左眼画像の一方）のブロックごとに抽出される画像特徴量を上述した対象器具の既知の画像特徴量と照合することにより、撮像画像内のどの位置に対象器具が映っているかを判定する。さらに、深度判定部２４０は、対象器具が映っている位置において視差判定部１３０により判定された視差に基づき、対象器具が存在する深度を判定する。深度判定部２４０は、このように判定される深度を、作業においてユーザが主に注視する作業深度であると判定してもよい。なお、認識すべき器具として、複数の対象器具が設定されてもよい。深度判定部２４０は、撮像画像において複数の対象器具が検出された場合、それら対象器具の深度から平均値、中央値又は最小値などの代表値を算出し、その代表値を作業深度であると判定してよい。
第２の例として、深度判定部２４０は、撮像画像において焦点が合っている被写体を認識し、認識された被写体について判定される深度に基づいて、作業深度を判定する。具体的には、深度判定部２４０は、撮像画像（例えば、右眼画像及び左眼画像の一方）のブロックごとにコントラスト指標を評価し、最も高い指標値を示すブロックの位置にある被写体に焦点が合っていると判定する。そして、深度判定部２４０は、その被写体の位置において視差判定部１３０により判定された視差に基づき、焦点が合っている被写体が存在する深度を判定する。深度判定部２４０は、このように判定される深度を、作業においてユーザが主に注視する作業深度であると判定してもよい。
記憶部２６０は、第１の実施形態に係る記憶部１６０に関連して説明した設定情報及びパラメータに加えて、上述した第１の例においては、作業深度の判定の際に利用される１つ以上の器具の各々の既知の画像特徴量を、当該器具の識別子と共に記憶する。
設定部２８０は、第１の実施形態に係る設定部１８０に関連して説明した設定に加えて、作業深度の判定のための画像解析の設定を管理する。具体的には、上述した第１の例において、設定部２８０は、作業深度の判定のために撮像画像において認識すべき１つ以上の器具を、対象器具として設定する。設定部２８０は、例えば、医療用画像処理システム１の利用の開始に先立って、ユーザ（例えば、術者）から認識すべき器具を指定するユーザ入力を受け付けてもよい。設定部２８０は、システムに接続された器具を判別し、判別した器具からユーザにより選択され又は何らかのルールに従って自動的に選択される器具を、対象器具として設定してもよい。
本実施形態に従って、撮像画像の解析に基づいて医療上の作業の作業深度を判定することにより、実作業の深度が時間を追って変化する場合であっても作業深度をその変化に追随させることができる。例えば、ユーザにより注視される対象器具又は焦点の合っている被写体の深度及びその近傍の作業深度レンジで、当該深度の変化に関わらず立体感を継続的に強調することが可能であり、かつそこから離れた深度レンジでは画素情報の欠損を抑制することができる
［３−２．処理の流れ］
（１）立体視画像生成処理
図１４は、第２の実施形態に係るＣＣＵ５１により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図１４を参照すると、まず、画像取得部２２０は、立体視用のイメージセンサにおいて生成される、作業視野を映した右眼画像及び左眼画像を取得する（ステップＳ１２０）。
次に、視差判定部１３０は、画像取得部１２０により取得された右眼画像及び左眼画像を用いて、画素位置ごとに視差を判定し、視差情報を生成する（ステップＳ１３０）。視差判定部１３０は、このように生成され得る視差情報を深度判定部２４０及び補正部１５０へ出力する。
次に、深度判定部２４０は、撮像される医療上の作業の作業深度を判定するために、作業深度判定処理を実行する（ステップＳ２４０）。ここで実行される作業深度判定処理のより詳細な流れのいくつかの例を、後にさらに説明する。
次に、補正部１５０は、視差判定部１３０により生成された視差情報を、作業深度に依存してどのように補正すべきかを決定するために、グラフ導出処理を実行する（ステップＳ１５０）。ここで実行されるグラフ導出処理は、例えば図１２Ａ〜図１２Ｃを用いて説明した処理と同様であってよい。
次に、補正部１５０は、グラフ導出処理の結果として導出される補正用グラフ（又は補正用グラフと初期グラフとの間の差分を表す補正プロファイル）を用いて、作業深度に依存する視差情報の補正を実行する（ステップＳ１７０）。
次に、３Ｄ画像生成部１７０は、補正部１５０により補正された視差情報を用いて、画像取得部２２０により取得された右眼画像及び左眼画像のうちの少なくとも一方における被写体の水平位置を画素ごとにシフトすることにより、立体視画像を生成する（ステップＳ１８０）。
上述したステップＳ１２０〜ステップＳ１８０は、立体視画像生成処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した立体視画像生成処理は終了する。
（２）作業深度判定処理
図１５Ａは、図１４に示した作業深度判定処理の詳細な流れの第１の例を示すフローチャートである。図１５Ａを参照すると、まず、深度判定部２４０は、設定部２８０により予め設定され得る認識すべき対象器具を特定する（ステップＳ２４１）。次に、深度判定部２４０は、撮像画像内で対象器具を認識するための画像認識を実行する（ステップＳ２４３）。ここでの画像認識は、例えば撮像画像内で対象器具が検出されるまで繰り返される（ステップＳ２４５）。そして、深度判定部２４０は、画像認識の結果として対象器具が検出されると、その検出位置において視差情報により示される視差を取得する（ステップＳ２４７）。次に、深度判定部２４０は、取得した対象器具の視差に基づいて算出される深度を、ユーザが主に注視する作業深度であると判定する（ステップＳ２４９）。
図１５Ｂは、図１４に示した作業深度判定処理の詳細な流れの第２の例を示すフローチャートである。図１５Ｂを参照すると、まず、深度判定部２４０は、撮像画像のブロックごとにコントラスト指標を評価する（ステップＳ２４２）。次に、深度判定部２４０は、最も高いコントラスト指標値を示すブロックの位置にある被写体に焦点が合っていると判定する（ステップＳ２４４）。次に、深度判定部２４０は、焦点が合っている位置において視差情報により示される視差を取得する（ステップＳ２４６）。次に、深度判定部２４０は、焦点が合っている位置の視差をユーザが主に注視する作業深度であると判定する（ステップＳ２４８）。
＜４．第３の実施形態＞
本節で説明する第３の実施形態では、撮像の開始に先立って医療上の作業の作業深度が判定される代わりに、作業視野が撮像される際の撮像条件に基づいて、医療上の作業の作業深度が判定される。
［４−１．画像処理装置の構成例］
図１６は、第３の実施形態に係る画像処理装置としてのＣＣＵ５１の構成の一例を示すブロック図である。図１６を参照すると、ＣＣＵ５１は、撮像制御部３１０、画像取得部１２０、視差判定部１３０、深度判定部３４０、補正部１５０、記憶部１６０、３Ｄ画像生成部１７０及び設定部１８０を備える。
撮像制御部３１０は、ユーザが望む通りの画像が撮像されるように、入力装置５９により検出されるユーザ入力と設定情報とに基づいて、内視鏡１０の動作を制御する。例えば、撮像制御部３１０は、撮像が開始されると、例えば複数のフォーカス点の候補における位相差の評価に基づいて、最適な焦点距離を決定し、決定した焦点距離を指定する制御信号をカメラヘッド１３へ送信し得る。また、本実施形態において、撮像制御部３１０は、最適な焦点距離及び選択された（焦点の合っている）フォーカス点位置を示す撮像条件情報を、深度判定部３４０へ出力する。
深度判定部３４０は、撮像される医療上の作業の作業深度を判定し、判定した作業深度を補正部１５０へ出力する。本実施形態において、深度判定部３４０は、作業視野が撮像される際の撮像条件に基づいて、作業深度を判定する。一例として、深度判定部３４０は、撮像制御部３１０から入力される撮像条件情報により示される焦点距離に係数を乗算することにより、被写体の深度を概算してもよい。ここでの係数は、予め固定的に定義されてもよい。その代わりに、深度判定部３４０は、例えばイメージセンサの径などのカメラの特性に依存して、係数を動的に決定してもよい。他の例として、深度判定部３４０は、撮像条件情報により示される選択されたフォーカス点位置において視差判定部１３０により判定された視差に基づき、焦点が合っている被写体が存在する深度を判定してもよい。そして、深度判定部３４０は、いずれかの手法で判定された被写体の深度を、ユーザが主に注視する作業深度であると判定し得る。
本実施形態に従って、作業視野が撮像された際の撮像条件に基づいて作業深度を判定することにより、作業中に変化し得る被写体の深度を、比較的多くの計算コストを要する画像解析を実行することなく、簡易に作業深度として追跡することができる。そして、そうした被写体の深度及びその近傍の作業深度レンジでは立体感を継続的に強調しつつ、作業深度レンジの外側の深度レンジでは画素情報の欠損を抑制することが可能である。
［４−２．処理の流れ］
（１）立体視画像生成処理
図１７は、第３の実施形態に係るＣＣＵ５１により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図１７を参照すると、まず、撮像制御部３１０は、例えばオートフォーカス及び露光制御などの制御機能を実行することにより、撮像条件を制御する（ステップＳ３００）。例えば、オートフォーカスの実行の結果、フォーカス点位置及び焦点距離が撮像条件として決定され得る。
次に、画像取得部１２０は、作業視野を映した右眼画像及び左眼画像を取得する（ステップＳ１２０）。次に、視差判定部１３０は、画像取得部１２０により取得された右眼画像及び左眼画像を用いて、画素位置ごとに視差を判定し、視差情報を生成する（ステップＳ１３０）。
次に、深度判定部３４０は、撮像される医療上の作業の作業深度を判定するために、作業深度判定処理を実行する（ステップＳ３４０）。ここで実行される作業深度判定処理のより詳細な流れの例を、後にさらに説明する。
次に、補正部１５０は、視差判定部１３０により生成された視差情報を、作業深度に依存してどのように補正すべきかを決定するために、グラフ導出処理を実行する（ステップＳ１５０）。ここで実行されるグラフ導出処理は、例えば図１２Ａ〜図１２Ｃを用いて説明した処理と同様であってよい。
次に、補正部１５０は、グラフ導出処理の結果として導出される補正用グラフ（又は補正用グラフと初期グラフとの間の差分を表す補正プロファイル）を用いて、作業深度に依存する視差情報の補正を実行する（ステップＳ１７０）。
次に、３Ｄ画像生成部１７０は、補正部１５０により補正された視差情報を用いて、画像取得部１２０により取得された右眼画像及び左眼画像のうちの少なくとも一方における被写体の水平位置を画素ごとにシフトすることにより、立体視画像を生成する（ステップＳ１８０）。
上述したステップＳ３００〜ステップＳ１８０は、立体視画像生成処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した立体視画像生成処理は終了する。
（２）作業深度判定処理
図１８は、図１７に示した作業深度判定処理の詳細な流れの一例を示すフローチャートである。図１８を参照すると、まず、深度判定部３４０は、作業視野が撮像された際の撮像条件を示す撮像条件情報を、撮像制御部３１０から取得する（ステップＳ３４１）。次に、深度判定部３４０は、取得した撮像条件情報により示される、焦点距離又はフォーカス点位置などの撮像条件に基づいて、被写体の深度を算出し、算出した深度を作業深度であると判定する（ステップＳ３４６）。
＜５．立体感の軽減＞
本開示に係る技術の上述した実施形態は、立体感の強調のみならず、例えばユーザの視覚への負荷の低減を目的として行われ得る、立体感の軽減のためにも応用され得る。立体感の軽減は、視差の補正の方向（又は図４に示したシフト量Δｕの符号）が反対となることを除いて、立体感の強調と同様に視差を補正することにより実現され得る。
図１９は、作業深度に依存して立体感の軽減のための補正率を抑制する一例について説明するための説明図である。図１９には、図５を用いて説明したグラフＧ１及びＧ２が再び示されている。但し、立体感の強調のケースでは、グラフＧ１が初期グラフであり、グラフＧ２が中間グラフであったのに対し、ここではグラフＧ２が初期グラフであり、グラフＧ１が中間グラフであるものとする。また、基準深度及び作業深度は共に４０ｍｍである。ＣＣＵ５１は、例えば、立体感の軽減のケースにおいて、作業深度との深度差の小さい作業深度レンジＲ１においては中間グラフＧ１に一致し、作業深度との深度差が大きくなるにつれて中間グラフＧ１から離れ初期グラフＧ２に近付くという軌跡を描く、補正用グラフＧ４を導出する。こうした補正用グラフＧ４を用いた視差の補正によれば、実基線長をより短い疑似基線長へと縮小する基本補正率が作業深度レンジＲ１に適用される一方、基本補正率に対して相対的に抑制される補正率が作業深度レンジＲ１の外側の深度レンジＲ２及びＲ３に適用されることになる。例えば、補正率が抑制されない場合に深度Ｚ＝３０ｍｍにおいて要するはずであったシフト量ｄｓｈｉｆｔ（３０）に対し、補正用グラフＧ４に従った深度Ｚ＝３０ｍｍにおけるシフト量ｄ´ｓｈｉｆｔ（３０）は格段に小さい。
＜６．まとめ＞
ここまで、図１〜図１９を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、撮像される医療上の作業の作業深度が判定され、撮像画像を用いて判定される視差を表す視差情報が、判定された作業深度に依存して補正される。従って、表示される画像の正確性を大きく損なうことなく、医療上の作業のニーズに合わせて視差の補正を通じて立体感を適応的に変化させることが可能である。
また、上述した実施形態によれば、視差情報の補正は、撮像画像に基づいて生成される立体視画像の立体感を強調し又は軽減するように行われ、但し、その補正の際に画一的な補正率が利用される代わりに、作業深度との深度差の小さい第１の深度レンジと比較して、作業深度との深度差の大きい第２の深度レンジにおける視差の補正率が抑制され得る。従って、視差情報の補正による立体感の強調又は軽減という目的を、特にユーザにより注視される作業深度及びその近傍で十分に達成しながら、画素情報の欠損が現れ易い周縁のレンジにおいてはそうした欠損を効果的に低減することができる。
また、ある実施例によれば、作業深度との深度差の小さい上記第１の深度レンジにおいては、立体感の感度についての下限が設定される。この場合、ユーザの作業が主に行われる作業深度レンジにおいて所要の最低限度の立体感を確保し、ユーザによる正確な作業を促進することができる。また、ある実施例によれば、視差の補正に起因する画素情報の欠損量に関する指標が所定の条件を満たすように、上記第２の深度レンジにおける視差の補正率が抑制される。この場合、視差の補正後の画像について、少なくともあるレベルの正確性が確保され、画像の破綻が顕著となることが回避される。
また、ある実施例によれば、立体視画像を構成する右眼用表示画像及び左眼用表示画像の間の基線長に応じて決定される基本補正率が上記第１の深度レンジに適用され、基本補正率に対して相対的に抑制される補正率が上記第２の深度レンジに適用される。この場合、立体視画像の実基線長が所望の疑似基線長にまであたかも拡大された（又は縮小された）かのような立体感を作業深度及びその近傍においてユーザに与えると同時に、画素情報の欠損を低減することができる。
また、ある実施例によれば、作業深度は、行われる作業の種類に基づいて判定され得る。この場合、作業深度の設定が簡便となり、ユーザが作業深度として設定すべき値を知らなくても作業の種類を指定するだけで、システムが適切な作業深度を判定することが可能である。また、ある実施例によれば、作業深度は、使用される器具の種類に基づいて判定され得る。この場合にも、作業深度の設定は簡便となる。例えば同じ種類の器具が繰り返し使用される場合には、一度設定された作業深度をシステムが自動的に再設定し得る。作業深度がユーザインタフェースを通じて直接的に入力される場合には、ユーザは、自身にとって望ましい最適な作業深度を自在に設定することができる。
また、ある実施例によれば、作業深度は、撮像が行われている期間中の画像解析結果又は撮像条件に基づいて動的に調整され得る。この場合、時間を追って変化し得る作業の状況に追随しながら、適切な作業深度レンジにおいて立体感を継続的に修正しつつ、画素情報の欠損を抑制することができる。
なお、本明細書では、手術用内視鏡を含む画像処理システムの例を主に説明した。しかしながら、本開示に係る技術は、かかる例に限定されず、顕微鏡などの他の種類の医療用観察装置にも適用可能である。また、本開示に係る技術は、そうした医療用観察装置に搭載される画像処理モジュール（例えば、画像処理チップ）又はカメラモジュールとして実現されてもよい。
本明細書において説明した画像処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合わせのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
を備える医療用画像処理装置。
（２）
前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正する、前記（１）に記載の医療用画像処理装置。
（３）
前記補正部は、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制する、前記（２）に記載の医療用画像処理装置。
（４）
前記第１の深度レンジにおいて立体感の感度についての下限が設定され、前記第２の深度レンジにおいて前記下限は設定されない、前記（３）に記載の医療用画像処理装置。
（５）
前記補正部は、視差の補正に起因する画素情報の欠損量に関する指標が許容される上限を上回らないように、前記第２の深度レンジにおける視差の補正率を抑制する、前記（３）又は前記（４）に記載の医療用画像処理装置。
（６）
前記深度判定部は、前記作業の種類に基づいて、前記作業深度を判定する、前記（１）〜（５）のいずれか１項に記載の医療用画像処理装置。
（７）
前記深度判定部は、前記作業において使用される器具の種類に基づいて、前記作業深度を判定する、前記（１）〜（６）のいずれか１項に記載の医療用画像処理装置。
（８）
前記深度判定部は、ユーザインタフェースを通じて取得されるユーザ入力に基づいて、前記作業深度を判定する、前記（１）〜（７）のいずれか１項に記載の医療用画像処理装置。
（９）
前記深度判定部は、前記撮像画像の解析に基づいて、前記作業深度を判定する、前記（１）〜（５）のいずれか１項に記載の医療用画像処理装置。
（１０）
前記深度判定部は、前記視野が撮像される際の撮像条件に基づいて、前記作業深度を判定する、前記（１）〜（５）のいずれか１項に記載の医療用画像処理装置。
（１１）
前記撮像画像は、右眼画像及び左眼画像から構成され、
前記補正部は、前記右眼画像及び前記左眼画像の間の基線長に応じて決定される基本補正率を前記第１の深度レンジに適用し、前記基本補正率に対して相対的に抑制される補正率を前記第２の深度レンジに適用する、
前記（１）〜（１０）のいずれか１項に記載の医療用画像処理装置。
（１２）
画素情報の欠損量に関する前記指標についての前記許容される上限をユーザに設定させるためのユーザインタフェースを提供する設定部、をさらに備える、前記（５）に記載の医療用画像処理装置。
（１３）
前記作業は、手術を含む、前記（１）〜（１２）のいずれか１項に記載の医療用画像処理装置。
（１４）
前記撮像画像は、医療用内視鏡のカメラヘッドにより具備されるイメージセンサを通じて取得される、前記（１）〜（１３）のいずれか１項に記載の医療用画像処理装置。
（１５）
前記補正部により補正される前記視差情報を用いて、前記撮像画像に基づき立体視画像を生成する生成部、をさらに備える、前記（１）〜（１４）のいずれか１項に記載の医療用画像処理装置。
（１６）
前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を軽減するように、前記視差情報を補正する、前記（１）に記載の医療用画像処理装置。
（１７）
前記補正部は、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制する、前記（１６）に記載の医療用画像処理装置。
（１８）
前記（１）〜（１７）のいずれか１項に記載の医療用画像処理装置と、
前記視野を撮像して、前記撮像画像を生成する撮像装置と、
を含む医療用画像処理システム。
（１９）
医療用画像処理装置において実行される画像処理方法であって、
撮像される医療上の作業の作業深度を判定することと、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、
判定される前記作業深度に依存して、前記視差情報を補正することと、
を含む医療用画像処理方法。
（２０）
医療用画像処理装置を制御するプロセッサを、
撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
として機能させるためのプログラム。
１ 医療用画像処理システム
１３ カメラヘッド（撮像装置）
５１ ＣＣＵ（画像処理装置）
５３ モニタ（表示装置）
１１０，３１０ 撮像制御部
１２０，２２０ 画像取得部
１３０ 視差判定部
１４０，２４０，３４０ 深度判定部
１５０ 補正部
１６０，２６０ 記憶部
１７０ ３Ｄ画像生成部
１８０，２８０ 設定部

Claims (18)

  1. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正する、
    医療用画像処理装置。
  2. 前記補正部は、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制する、請求項１に記載の医療用画像処理装置。
  3. 前記第１の深度レンジにおいて立体感の感度についての下限が設定され、前記第２の深度レンジにおいて前記下限は設定されない、請求項２に記載の医療用画像処理装置。
  4. 前記補正部は、視差の補正に起因する画素情報の欠損量に関する指標が許容される上限を上回らないように、前記第２の深度レンジにおける視差の補正率を抑制する、請求項２に記載の医療用画像処理装置。
  5. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記深度判定部は、前記作業の種類に基づいて、前記作業深度を判定する、
    医療用画像処理装置。
  6. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記深度判定部は、前記作業において使用される器具の種類に基づいて、前記作業深度を判定する、
    医療用画像処理装置。
  7. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記深度判定部は、ユーザインタフェースを通じて取得されるユーザ入力に基づいて、前記作業深度を判定する、
    医療用画像処理装置。
  8. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記深度判定部は、前記視野が撮像される際の撮像条件に基づいて、前記作業深度を判定する、
    医療用画像処理装置。
  9. 前記撮像画像は、右眼画像及び左眼画像から構成され、
    前記補正部は、前記右眼画像及び前記左眼画像の間の基線長に応じて決定される基本補正率を前記第１の深度レンジに適用し、前記基本補正率に対して相対的に抑制される補正率を前記第２の深度レンジに適用する、
    請求項２に記載の医療用画像処理装置。
  10. 画素情報の欠損量に関する前記指標についての前記許容される上限をユーザに設定させるためのユーザインタフェースを提供する設定部、をさらに備える、請求項４に記載の医療用画像処理装置。
  11. 撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    を備え、
    前記補正部は、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制する、
    医療用画像処理装置。
  12. 請求項１、５、６、７、８または１１に記載の医療用画像処理装置と、
    前記視野を撮像して、前記撮像画像を生成する撮像装置と、
    を含む医療用画像処理システム。
  13. プロセッサが、
    撮像される医療上の作業の作業深度を判定することと、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、
    判定される前記作業深度に依存して、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正することと、
    を含む、医療用画像処理装置の作動方法。
  14. プロセッサが、
    撮像される医療上の作業の作業深度を、前記作業の種類、前記作業において使用される器具の種類、ユーザインタフェースを通じて取得されるユーザ入力、または、前記作業において観察される視野が撮像される際の撮像条件に基づいて判定することと、
    前記撮像画像を用いて視差を判定し、視差情報を生成することと、
    判定される前記作業深度に依存して、前記視差情報を補正することと、
    を含む、医療用画像処理装置の作動方法。
  15. プロセッサが、
    撮像される医療上の作業の作業深度を判定することと、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、
    判定される前記作業深度に依存して、前記視差情報を補正し、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制することと、
    を含む、医療用画像処理装置の作動方法。
  16. 医療用画像処理装置を制御するプロセッサを、
    撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正する補正部と、
    として機能させるためのプログラム。
  17. 医療用画像処理装置を制御するプロセッサを、
    撮像される医療上の作業の作業深度を、前記作業の種類、前記作業において使用される器具の種類、ユーザインタフェースを通じて取得されるユーザ入力、または、前記作業において観察される視野が撮像される際の撮像条件に基づいて判定する深度判定部と、
    前記撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
    として機能させるためのプログラム。
  18. 医療用画像処理装置を制御するプロセッサを、
    撮像される医療上の作業の作業深度を判定する深度判定部と、
    前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
    前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正し、前記作業深度との深度差の小さい第１の深度レンジと比較して、前記作業深度との深度差の大きい第２の深度レンジにおける視差の補正率を抑制する補正部と、
    として機能させるためのプログラム。
JP2017566520A 2016-02-12 2016-11-15 医療用画像処理装置、システム、方法及びプログラム Active JP6828695B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016024865 2016-02-12
JP2016024865 2016-02-12
PCT/JP2016/083868 WO2017138209A1 (ja) 2016-02-12 2016-11-15 医療用画像処理装置、システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017138209A1 JPWO2017138209A1 (ja) 2018-12-13
JP6828695B2 true JP6828695B2 (ja) 2021-02-10

Family

ID=59563744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566520A Active JP6828695B2 (ja) 2016-02-12 2016-11-15 医療用画像処理装置、システム、方法及びプログラム

Country Status (5)

Country Link
US (1) US10609354B2 (ja)
EP (1) EP3415076B1 (ja)
JP (1) JP6828695B2 (ja)
CN (1) CN108601511B (ja)
WO (1) WO2017138209A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792534B2 (en) 2018-08-30 2023-10-17 Sony Corporation Signal processing device, signal processing method, and image capture device
CN109316162A (zh) * 2018-10-26 2019-02-12 深圳市儿童医院 一种儿童用腹腔镜系统
CN114269218A (zh) * 2019-08-29 2022-04-01 奥林巴斯株式会社 图像处理方法和图像处理装置
EP4099914A4 (en) * 2020-02-06 2024-02-28 Vicarious Surgical Inc SYSTEM AND METHOD FOR DETERMINING IN VIVO DEPTH PERCEPTION IN A SURGICAL ROBOTIC SYSTEM
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
US20230298250A1 (en) * 2022-03-16 2023-09-21 Meta Platforms Technologies, Llc Stereoscopic features in virtual reality

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4875762B2 (ja) 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP6103827B2 (ja) * 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
KR20140063993A (ko) * 2012-11-19 2014-05-28 삼성메디슨 주식회사 의료 영상 생성 장치 및 방법
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
JP5771754B2 (ja) * 2013-03-29 2015-09-02 オリンパス株式会社 立体内視鏡システム
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置

Also Published As

Publication number Publication date
CN108601511B (zh) 2021-07-27
EP3415076A1 (en) 2018-12-19
WO2017138209A1 (ja) 2017-08-17
US20190037202A1 (en) 2019-01-31
JPWO2017138209A1 (ja) 2018-12-13
US10609354B2 (en) 2020-03-31
CN108601511A (zh) 2018-09-28
EP3415076A4 (en) 2019-02-20
EP3415076B1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
JP6828695B2 (ja) 医療用画像処理装置、システム、方法及びプログラム
JP7160041B2 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
JP2023083547A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP7067467B2 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
JP7226325B2 (ja) 焦点検出装置および方法、並びにプログラム
JP5663331B2 (ja) 制御装置、内視鏡装置、絞り制御方法及びプログラム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP6893896B2 (ja) 医学−光学式表示システムを作動させるための方法
WO2017145531A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP6736670B2 (ja) 内視鏡システム
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP7115467B2 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JP2014175965A (ja) 手術用カメラ
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JPWO2018168571A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2020534050A (ja) ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R151 Written notification of patent or utility model registration

Ref document number: 6828695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151