JPWO2017138209A1 - 医療用画像処理装置、システム、方法及びプログラム - Google Patents
医療用画像処理装置、システム、方法及びプログラム Download PDFInfo
- Publication number
- JPWO2017138209A1 JPWO2017138209A1 JP2017566520A JP2017566520A JPWO2017138209A1 JP WO2017138209 A1 JPWO2017138209 A1 JP WO2017138209A1 JP 2017566520 A JP2017566520 A JP 2017566520A JP 2017566520 A JP2017566520 A JP 2017566520A JP WO2017138209 A1 JPWO2017138209 A1 JP WO2017138209A1
- Authority
- JP
- Japan
- Prior art keywords
- depth
- parallax
- image processing
- correction
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 106
- 238000000034 method Methods 0.000 title description 77
- 238000012937 correction Methods 0.000 claims abstract description 188
- 238000003384 imaging method Methods 0.000 claims description 55
- 230000000694 effects Effects 0.000 claims description 54
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 11
- 230000007547 defect Effects 0.000 claims description 10
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 56
- 210000003128 head Anatomy 0.000 description 19
- 238000009795 derivation Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000010336 energy treatment Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002674 endoscopic surgery Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 238000012084 abdominal surgery Methods 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 238000007486 appendectomy Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000002192 cholecystectomy Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013110 gastrectomy Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
【解決手段】撮像される医療上の作業の作業深度を判定する深度判定部と、前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、を備える医療用画像処理装置を提供する。
【選択図】図8
Description
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
1.序論
1−1.システムの概要
1−2.課題の説明
2.第1の実施形態
2−1.画像処理装置の構成例
2−2.処理の流れ
3.第2の実施形態
3−1.画像処理装置の構成例
3−2.処理の流れ
4.第3の実施形態
4−1.画像処理装置の構成例
4−2.処理の流れ
5.立体感の軽減
6.まとめ
[1−1.システムの概要]
本項では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図1は、一実施形態に係る医療用画像処理システム1の概略的な構成の一例を示している。医療用画像処理システム1は、内視鏡下手術システムである。図1の例では、術者(医師)3が、医療用画像処理システム1を用いて、患者ベッド5上の患者7に内視鏡下手術を行っている。医療用画像処理システム1は、内視鏡10と、その他の手術器具(術具)30と、内視鏡10を支持する支持アーム装置40と、内視鏡下手術のための様々な装置が搭載されたカート50と、から構成される。
こうした医療用画像処理システムでは、右眼画像と左眼画像との間の基線長は、患者の体腔内に挿入されるカメラヘッドの径の制約に起因して、非医療用途のステレオカメラの基線長よりも短い。そして、被写体の深度が同じであれば基線長が短いほど視差は小さくなり、結果的に右眼画像と左眼画像とに基づいて表示される立体視画像は十分な立体感をユーザに与えられない可能性がある。
図1に例示した医療用画像処理システム1の構成要素の中で、特に、画像処理装置の役割を有するCCU51が、視差の補正を通じた立体感の強調に主に関与する。そこで、本節では、一実施形態に係るCCU51の具体的な構成について詳細に説明する。
図8は、第1の実施形態に係る画像処理装置としてのCCU51の構成の一例を示すブロック図である。図8を参照すると、CCU51は、撮像制御部110、画像取得部120、視差判定部130、深度判定部140、補正部150、記憶部160、3D画像生成部170及び設定部180を備える。
撮像制御部110は、ユーザが望む通りの画像が撮像されるように、入力装置59により検出されるユーザ入力と設定情報とに基づいて、内視鏡10の動作を制御する。例えば、撮像制御部110は、撮像が開始されると、位相差方式又はコントラスト方式などの任意のオートフォーカス方式で最適な焦点距離を決定し、決定した焦点距離を指定する制御信号をカメラヘッド13へ送信し得る。また、撮像制御部110は、ユーザにより指示された倍率を指定する制御信号をカメラヘッド13へ送信し得る。
画像取得部120は、カメラヘッド13により具備される立体視用のイメージセンサにおいて生成される撮像画像を取得する。撮像画像は、医療上の作業において観察される作業視野を映した画像である。撮像画像は、典型的には、右眼画像と左眼画像とから構成される。右眼画像及び左眼画像は、図2A及び図2Bを用いて説明したようなイメージセンサにおいて生成され得る。画像取得部120は、取得したこれら撮像画像を視差判定部130及び3D画像生成部170へ出力する。
視差判定部130は、画像取得部120から入力される撮像画像を用いて視差を判定し、視差情報を生成する。視差判定部130は、例えば、ステレオマッチング法に従い、右眼画像の画素位置ごと(又は画素ブロックごと)に、左眼画像における対応点を探索し、発見された対応点との水平位置の差を視差として算出し得る。視差判定部130により生成される視差情報は、例えば決定された視差を画素位置(又は画素ブロック位置)ごとに示す配列(例えば、視差マップ)であってよい。視差判定部130は、このように生成され得る視差情報を補正部150へ出力する。
深度判定部140は、撮像される医療上の作業の作業深度を判定し、判定した作業深度を補正部150へ出力する。一例として、深度判定部140は、医療用画像処理システム1において行われる作業の種類に基づいて、作業深度を判定してもよい。手術を例にとると、作業の種類は、例えば、腹腔鏡下手術又は胸腔鏡下手術といったように手術部位によって区別されてもよい。非限定的な例として、腹部の手術では、15〜100mmの典型的なレンジのうち、特に50mmの深度で作業が行われることが多い。一方、耳鼻科の手術では、典型的なレンジは2〜50mmであり、主たる作業深度もそれに応じて小さくなる。また、作業の種類は、例えば、心臓バイパス術、胃部分切除術、胆のう摘出術又は虫垂切除術といったように術式によって区別されてもよい。作業の種類は、例えば、作業の開始前にユーザ入力に基づいて設定部180により設定され得る。深度判定部140は、設定された作業の種類と対応する作業深度とを関連付ける設定情報に基づいて、視差の補正の際に考慮すべき作業深度を判定し得る。深度判定部140は、作業の種類に対応する作業深度(設定情報により示され得る既定の作業深度)を、ユーザ入力に基づいて調整してもよい。
補正部150は、撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、深度判定部140により判定される作業深度に依存して、視差判定部130から入力される視差情報を補正する。
記憶部160は、様々な設定情報を記憶し得る。設定情報は、例えば、作業の種類の複数の候補の各々と、対応する作業深度とを関連付ける作業情報を含んでもよい。また、設定情報は、作業において使用される器具の種類の候補の各々と対応する作業深度とを関連付ける器具情報を含んでもよい。また、設定情報は、作業深度を直接的に指定する作業深度情報を含んでもよい。
3D画像生成部170は、補正部150から入力される補正後の視差情報を用いて、医療上の作業において観察される視野に対応する立体視画像を生成する。例えば、3D画像生成部170は、画像取得部120から入力される右眼画像及び左眼画像のうちの少なくとも一方において、補正後の視差情報により表される視差に従って画素の水平位置をシフトすることにより、立体視画像を生成する。3D画像生成部170は、画素の水平位置をシフトすることにより画素情報が欠損する欠損領域については、欠損の無い隣接する画素から画素情報を補間してよい。本実施形態では、視差の補正率の抑制によってサイズの小さい欠損領域しか生じないため、画素情報の補間に起因するアーティファクトの割合は既存の技術と比較して低減される。立体視画像は、右眼用表示画像及び左眼用表示画像から構成される。3D画像生成部170は、生成した立体視画像を表現する表示画像信号を表示装置53(及び/又はレコーダ65)へ出力する。
設定部180は、入力装置59を介して検出されるユーザ入力及び撮像制御部110により制御される撮像条件に従って、医療用画像処理システム1における立体視画像の生成及び表示のための様々な設定を管理する。設定部180は、例えば、医療用画像処理システム1の利用の開始に先立って、ユーザ(例えば、術者)から作業の種類を指定するユーザ入力を受け付けてもよい。また、設定部180は、作業において使用される器具の種類を指定するユーザ入力を受け付け、又は当該器具の種類を自動的に判別してもよい。また、設定部180は、作業においてユーザが主に注視する作業深度を指定するユーザ入力を受け付けてもよい。設定部180は、例えば、これら設定の複数の候補を提示するユーザインタフェースを提供し(例えば、表示装置53又は他の画面上に表示し)、それら候補のうちの1つをユーザに選択させてもよい。
本項では、上述した実施形態においてCCU51により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。これらは、次節以降の実施形態の説明についても同様である。
図10は、第1の実施形態に係るCCU51により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図10を参照すると、まず、深度判定部140は、撮像の開始に先立って、撮像される医療上の作業の作業深度を判定するために、作業深度判定処理を実行する(ステップS110)。ここで実行される作業深度判定処理のいくつかのより詳細な流れの例を、後にさらに説明する。
図11Aは、図10に示した作業深度判定処理の詳細な流れの第1の例を示すフローチャートである。図11Aを参照すると、まず、深度判定部140は、医療用画像処理システム1において行われる作業の種類を特定する(ステップS111)。作業の種類は、例えば、予め記憶部160により記憶される設定情報により示され、又はユーザ入力により指定され得る。次に、深度判定部140は、特定した作業の種類に関連付けて予め定義される作業深度を、設定情報から取得する(ステップS116)。
図12Aは、図10に示したグラフ導出処理の詳細な流れの第1の例を示すフローチャートである。図12Aを参照すると、まず、補正部150は、カメラの実基線長及び焦点距離といった特性から、補正前の深度と視差との間の関係を表す初期グラフを決定する(ステップS151)。また、補正部150は、例えば実基線長と疑似的な基線長との比である基本補正率を含むパラメータを取得する(ステップS154)。そして、補正部150は、深度判定部140により判定された作業深度との深度差の小さい作業深度レンジにおいては基本補正率を適用し、作業深度レンジの外側においては補正率を抑制するような補正用グラフを生成する(ステップS157)。
第1の実施形態では、撮像の開始に先立って、ユーザ入力又は設定情報に基づいて医療上の作業の作業深度が判定された。これに対し、本節で説明する第2の実施形態では、撮像画像の解析に基づいて、医療上の作業の作業深度が判定される。
図13は、第2の実施形態に係る画像処理装置としてのCCU51の構成の一例を示すブロック図である。図13を参照すると、CCU51は、撮像制御部110、画像取得部220、視差判定部130、深度判定部240、補正部150、記憶部260、3D画像生成部170及び設定部280を備える。
(1)立体視画像生成処理
図14は、第2の実施形態に係るCCU51により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図14を参照すると、まず、画像取得部220は、立体視用のイメージセンサにおいて生成される、作業視野を映した右眼画像及び左眼画像を取得する(ステップS120)。
図15Aは、図14に示した作業深度判定処理の詳細な流れの第1の例を示すフローチャートである。図15Aを参照すると、まず、深度判定部240は、設定部280により予め設定され得る認識すべき対象器具を特定する(ステップS241)。次に、深度判定部240は、撮像画像内で対象器具を認識するための画像認識を実行する(ステップS243)。ここでの画像認識は、例えば撮像画像内で対象器具が検出されるまで繰り返される(ステップS245)。そして、深度判定部240は、画像認識の結果として対象器具が検出されると、その検出位置において視差情報により示される視差を取得する(ステップS247)。次に、深度判定部240は、取得した対象器具の視差に基づいて算出される深度を、ユーザが主に注視する作業深度であると判定する(ステップS249)。
本節で説明する第3の実施形態では、撮像の開始に先立って医療上の作業の作業深度が判定される代わりに、作業視野が撮像される際の撮像条件に基づいて、医療上の作業の作業深度が判定される。
図16は、第3の実施形態に係る画像処理装置としてのCCU51の構成の一例を示すブロック図である。図16を参照すると、CCU51は、撮像制御部310、画像取得部120、視差判定部130、深度判定部340、補正部150、記憶部160、3D画像生成部170及び設定部180を備える。
(1)立体視画像生成処理
図17は、第3の実施形態に係るCCU51により実行され得る立体視画像生成処理の流れの一例を示すフローチャートである。図17を参照すると、まず、撮像制御部310は、例えばオートフォーカス及び露光制御などの制御機能を実行することにより、撮像条件を制御する(ステップS300)。例えば、オートフォーカスの実行の結果、フォーカス点位置及び焦点距離が撮像条件として決定され得る。
図18は、図17に示した作業深度判定処理の詳細な流れの一例を示すフローチャートである。図18を参照すると、まず、深度判定部340は、作業視野が撮像された際の撮像条件を示す撮像条件情報を、撮像制御部310から取得する(ステップS341)。次に、深度判定部340は、取得した撮像条件情報により示される、焦点距離又はフォーカス点位置などの撮像条件に基づいて、被写体の深度を算出し、算出した深度を作業深度であると判定する(ステップS346)。
本開示に係る技術の上述した実施形態は、立体感の強調のみならず、例えばユーザの視覚への負荷の低減を目的として行われ得る、立体感の軽減のためにも応用され得る。立体感の軽減は、視差の補正の方向(又は図4に示したシフト量Δuの符号)が反対となることを除いて、立体感の強調と同様に視差を補正することにより実現され得る。
ここまで、図1〜図19を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、撮像される医療上の作業の作業深度が判定され、撮像画像を用いて判定される視差を表す視差情報が、判定された作業深度に依存して補正される。従って、表示される画像の正確性を大きく損なうことなく、医療上の作業のニーズに合わせて視差の補正を通じて立体感を適応的に変化させることが可能である。
(1)
撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
を備える医療用画像処理装置。
(2)
前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正する、前記(1)に記載の医療用画像処理装置。
(3)
前記補正部は、前記作業深度との深度差の小さい第1の深度レンジと比較して、前記作業深度との深度差の大きい第2の深度レンジにおける視差の補正率を抑制する、前記(2)に記載の医療用画像処理装置。
(4)
前記第1の深度レンジにおいて立体感の感度についての下限が設定され、前記第2の深度レンジにおいて前記下限は設定されない、前記(3)に記載の医療用画像処理装置。
(5)
前記補正部は、視差の補正に起因する画素情報の欠損量に関する指標が許容される上限を上回らないように、前記第2の深度レンジにおける視差の補正率を抑制する、前記(3)又は前記(4)に記載の医療用画像処理装置。
(6)
前記深度判定部は、前記作業の種類に基づいて、前記作業深度を判定する、前記(1)〜(5)のいずれか1項に記載の医療用画像処理装置。
(7)
前記深度判定部は、前記作業において使用される器具の種類に基づいて、前記作業深度を判定する、前記(1)〜(6)のいずれか1項に記載の医療用画像処理装置。
(8)
前記深度判定部は、ユーザインタフェースを通じて取得されるユーザ入力に基づいて、前記作業深度を判定する、前記(1)〜(7)のいずれか1項に記載の医療用画像処理装置。
(9)
前記深度判定部は、前記撮像画像の解析に基づいて、前記作業深度を判定する、前記(1)〜(5)のいずれか1項に記載の医療用画像処理装置。
(10)
前記深度判定部は、前記視野が撮像される際の撮像条件に基づいて、前記作業深度を判定する、前記(1)〜(5)のいずれか1項に記載の医療用画像処理装置。
(11)
前記撮像画像は、右眼画像及び左眼画像から構成され、
前記補正部は、前記右眼画像及び前記左眼画像の間の基線長に応じて決定される基本補正率を前記第1の深度レンジに適用し、前記基本補正率に対して相対的に抑制される補正率を前記第2の深度レンジに適用する、
前記(1)〜(10)のいずれか1項に記載の医療用画像処理装置。
(12)
画素情報の欠損量に関する前記指標についての前記許容される上限をユーザに設定させるためのユーザインタフェースを提供する設定部、をさらに備える、前記(5)に記載の医療用画像処理装置。
(13)
前記作業は、手術を含む、前記(1)〜(12)のいずれか1項に記載の医療用画像処理装置。
(14)
前記撮像画像は、医療用内視鏡のカメラヘッドにより具備されるイメージセンサを通じて取得される、前記(1)〜(13)のいずれか1項に記載の医療用画像処理装置。
(15)
前記補正部により補正される前記視差情報を用いて、前記撮像画像に基づき立体視画像を生成する生成部、をさらに備える、前記(1)〜(14)のいずれか1項に記載の医療用画像処理装置。
(16)
前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を軽減するように、前記視差情報を補正する、前記(1)に記載の医療用画像処理装置。
(17)
前記補正部は、前記作業深度との深度差の小さい第1の深度レンジと比較して、前記作業深度との深度差の大きい第2の深度レンジにおける視差の補正率を抑制する、前記(16)に記載の医療用画像処理装置。
(18)
前記(1)〜(17)のいずれか1項に記載の医療用画像処理装置と、
前記視野を撮像して、前記撮像画像を生成する撮像装置と、
を含む医療用画像処理システム。
(19)
医療用画像処理装置において実行される画像処理方法であって、
撮像される医療上の作業の作業深度を判定することと、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、
判定される前記作業深度に依存して、前記視差情報を補正することと、
を含む医療用画像処理方法。
(20)
医療用画像処理装置を制御するプロセッサを、
撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
として機能させるためのプログラム。
13 カメラヘッド(撮像装置)
51 CCU(画像処理装置)
53 モニタ(表示装置)
110,310 撮像制御部
120,220 画像取得部
130 視差判定部
140,240,340 深度判定部
150 補正部
160,260 記憶部
170 3D画像生成部
180,280 設定部
Claims (20)
- 撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
を備える医療用画像処理装置。 - 前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を強調するように、前記視差情報を補正する、請求項1に記載の医療用画像処理装置。
- 前記補正部は、前記作業深度との深度差の小さい第1の深度レンジと比較して、前記作業深度との深度差の大きい第2の深度レンジにおける視差の補正率を抑制する、請求項2に記載の医療用画像処理装置。
- 前記第1の深度レンジにおいて立体感の感度についての下限が設定され、前記第2の深度レンジにおいて前記下限は設定されない、請求項3に記載の医療用画像処理装置。
- 前記補正部は、視差の補正に起因する画素情報の欠損量に関する指標が許容される上限を上回らないように、前記第2の深度レンジにおける視差の補正率を抑制する、請求項3に記載の医療用画像処理装置。
- 前記深度判定部は、前記作業の種類に基づいて、前記作業深度を判定する、請求項1に記載の医療用画像処理装置。
- 前記深度判定部は、前記作業において使用される器具の種類に基づいて、前記作業深度を判定する、請求項1に記載の医療用画像処理装置。
- 前記深度判定部は、ユーザインタフェースを通じて取得されるユーザ入力に基づいて、前記作業深度を判定する、請求項1に記載の医療用画像処理装置。
- 前記深度判定部は、前記撮像画像の解析に基づいて、前記作業深度を判定する、請求項1に記載の医療用画像処理装置。
- 前記深度判定部は、前記視野が撮像される際の撮像条件に基づいて、前記作業深度を判定する、請求項1に記載の医療用画像処理装置。
- 前記撮像画像は、右眼画像及び左眼画像から構成され、
前記補正部は、前記右眼画像及び前記左眼画像の間の基線長に応じて決定される基本補正率を前記第1の深度レンジに適用し、前記基本補正率に対して相対的に抑制される補正率を前記第2の深度レンジに適用する、
請求項3に記載の医療用画像処理装置。 - 画素情報の欠損量に関する前記指標についての前記許容される上限をユーザに設定させるためのユーザインタフェースを提供する設定部、をさらに備える、請求項5に記載の医療用画像処理装置。
- 前記作業は、手術を含む、請求項1に記載の医療用画像処理装置。
- 前記撮像画像は、医療用内視鏡のカメラヘッドにより具備されるイメージセンサを通じて取得される、請求項1に記載の医療用画像処理装置。
- 前記補正部により補正される前記視差情報を用いて、前記撮像画像に基づき立体視画像を生成する生成部、をさらに備える、請求項1に記載の医療用画像処理装置。
- 前記補正部は、前記撮像画像に基づいて生成される立体視画像により表現される立体感を軽減するように、前記視差情報を補正する、請求項1に記載の医療用画像処理装置。
- 前記補正部は、前記作業深度との深度差の小さい第1の深度レンジと比較して、前記作業深度との深度差の大きい第2の深度レンジにおける視差の補正率を抑制する、請求項16に記載の医療用画像処理装置。
- 請求項1に記載の医療用画像処理装置と、
前記視野を撮像して、前記撮像画像を生成する撮像装置と、
を含む医療用画像処理システム。 - 医療用画像処理装置において実行される画像処理方法であって、
撮像される医療上の作業の作業深度を判定することと、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成することと、
判定される前記作業深度に依存して、前記視差情報を補正することと、
を含む医療用画像処理方法。 - 医療用画像処理装置を制御するプロセッサを、
撮像される医療上の作業の作業深度を判定する深度判定部と、
前記作業において観察される視野を映した撮像画像を用いて視差を判定し、視差情報を生成する視差判定部と、
前記深度判定部により判定される前記作業深度に依存して、前記視差情報を補正する補正部と、
として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016024865 | 2016-02-12 | ||
JP2016024865 | 2016-02-12 | ||
PCT/JP2016/083868 WO2017138209A1 (ja) | 2016-02-12 | 2016-11-15 | 医療用画像処理装置、システム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017138209A1 true JPWO2017138209A1 (ja) | 2018-12-13 |
JP6828695B2 JP6828695B2 (ja) | 2021-02-10 |
Family
ID=59563744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017566520A Active JP6828695B2 (ja) | 2016-02-12 | 2016-11-15 | 医療用画像処理装置、システム、方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10609354B2 (ja) |
EP (1) | EP3415076B1 (ja) |
JP (1) | JP6828695B2 (ja) |
CN (1) | CN108601511B (ja) |
WO (1) | WO2017138209A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7415929B2 (ja) | 2018-08-30 | 2024-01-17 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置 |
CN109316162A (zh) * | 2018-10-26 | 2019-02-12 | 深圳市儿童医院 | 一种儿童用腹腔镜系统 |
CN114269218A (zh) * | 2019-08-29 | 2022-04-01 | 奥林巴斯株式会社 | 图像处理方法和图像处理装置 |
WO2021159048A1 (en) * | 2020-02-06 | 2021-08-12 | Vicarious Surgical Inc. | System and method for determining depth perception in vivo in a surgical robotic system |
CN113499094B (zh) * | 2021-07-08 | 2023-07-25 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
US20230298250A1 (en) * | 2022-03-16 | 2023-09-21 | Meta Platforms Technologies, Llc | Stereoscopic features in virtual reality |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013223666A (ja) * | 2012-04-23 | 2013-10-31 | Hoya Corp | 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 |
JP2014175965A (ja) * | 2013-03-12 | 2014-09-22 | Panasonic Healthcare Co Ltd | 手術用カメラ |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4875762B2 (ja) | 2010-05-26 | 2012-02-15 | シャープ株式会社 | 画像処理装置、画像表示装置および画像撮像装置 |
JP6103827B2 (ja) * | 2012-06-14 | 2017-03-29 | オリンパス株式会社 | 画像処理装置および立体画像観察システム |
KR20140063993A (ko) * | 2012-11-19 | 2014-05-28 | 삼성메디슨 주식회사 | 의료 영상 생성 장치 및 방법 |
CN105009581B (zh) * | 2013-03-29 | 2017-03-08 | 奥林巴斯株式会社 | 立体内窥镜系统 |
TWI566576B (zh) * | 2014-06-03 | 2017-01-11 | 宏碁股份有限公司 | 立體影像合成方法及裝置 |
-
2016
- 2016-11-15 CN CN201680081276.4A patent/CN108601511B/zh not_active Expired - Fee Related
- 2016-11-15 US US16/072,241 patent/US10609354B2/en active Active
- 2016-11-15 EP EP16889910.2A patent/EP3415076B1/en active Active
- 2016-11-15 JP JP2017566520A patent/JP6828695B2/ja active Active
- 2016-11-15 WO PCT/JP2016/083868 patent/WO2017138209A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013223666A (ja) * | 2012-04-23 | 2013-10-31 | Hoya Corp | 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 |
JP2014175965A (ja) * | 2013-03-12 | 2014-09-22 | Panasonic Healthcare Co Ltd | 手術用カメラ |
Also Published As
Publication number | Publication date |
---|---|
US20190037202A1 (en) | 2019-01-31 |
EP3415076A4 (en) | 2019-02-20 |
EP3415076A1 (en) | 2018-12-19 |
US10609354B2 (en) | 2020-03-31 |
JP6828695B2 (ja) | 2021-02-10 |
EP3415076B1 (en) | 2022-03-30 |
CN108601511B (zh) | 2021-07-27 |
CN108601511A (zh) | 2018-09-28 |
WO2017138209A1 (ja) | 2017-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6828695B2 (ja) | 医療用画像処理装置、システム、方法及びプログラム | |
JP7160041B2 (ja) | 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 | |
JP2023083547A (ja) | 画像処理装置、画像処理方法、及び記録媒体 | |
JP5663331B2 (ja) | 制御装置、内視鏡装置、絞り制御方法及びプログラム | |
JP7226325B2 (ja) | 焦点検出装置および方法、並びにプログラム | |
JP2015531271A (ja) | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 | |
WO2017145531A1 (ja) | 医療用画像処理装置、システム、方法及びプログラム | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
JP6736670B2 (ja) | 内視鏡システム | |
JP7115467B2 (ja) | 手術用画像処理装置、画像処理方法、及び、手術システム | |
JP2014175965A (ja) | 手術用カメラ | |
JP7092111B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
JP7063321B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
WO2021095697A1 (ja) | 情報処理装置、生成方法及び生成プログラム | |
JP7207296B2 (ja) | 撮像装置とフォーカス制御方法およびフォーカス判定方法 | |
WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
JP2020534050A (ja) | ロボット外科手技中に立体視知覚通知および/または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体 | |
WO2022219878A1 (ja) | 医療用観察システム、医療用画像処理方法及び情報処理装置 | |
WO2020084999A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2022019057A1 (ja) | 医療用アーム制御システム、医療用アーム制御方法及びプログラム | |
CN114650763A (zh) | 信息处理装置、生成方法和生成程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6828695 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |