JP6935389B2 - 医療用立体観察装置、医療用立体観察方法、及びプログラム - Google Patents

医療用立体観察装置、医療用立体観察方法、及びプログラム Download PDF

Info

Publication number
JP6935389B2
JP6935389B2 JP2018508446A JP2018508446A JP6935389B2 JP 6935389 B2 JP6935389 B2 JP 6935389B2 JP 2018508446 A JP2018508446 A JP 2018508446A JP 2018508446 A JP2018508446 A JP 2018508446A JP 6935389 B2 JP6935389 B2 JP 6935389B2
Authority
JP
Japan
Prior art keywords
image
unit
imaging unit
correction data
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018508446A
Other languages
English (en)
Other versions
JPWO2017169014A1 (ja
Inventor
正隆 加戸
正隆 加戸
石川　朝規
朝規 石川
岳治 樋口
岳治 樋口
公 後田
公 後田
敬裕 山元
敬裕 山元
正成 木村
正成 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of JPWO2017169014A1 publication Critical patent/JPWO2017169014A1/ja
Application granted granted Critical
Publication of JP6935389B2 publication Critical patent/JP6935389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A61B3/132—Ophthalmic microscopes in binocular arrangement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Radiology & Medical Imaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、医療用立体観察装置、医療用立体観察方法、及びプログラムに関する。
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタなどの表示部に電子画像として表示させる装置もある。
また、観察装置の撮像部により撮像された患部の画像を表示部に表示させる場合には、当該画像を平面的な２次元（２Ｄ）画像として表示されることが多い。しかしながら、２Ｄ画像は遠近感がつかみにくく、患部と処置具との相対的な距離が把握しにくいため、近年では、撮像された患部の画像を立体的な３次元（３Ｄ）画像として表示させる技術も開発されている。
このように、撮像された患部の画像を立体的な３Ｄ画像として表示させる観察装置（以降では、「立体観察装置」と称する場合がある）では、例えば、複数の撮像部により、互いに異なる視点から患部の画像（以降では、「視点画像」とも称する）を撮像する。そして、左右の眼に互いに異なる撮像部により撮像された視点画像を観測させることで、患部の画像を、当該視点画像間の視差に基づく立体的な３Ｄ画像としてユーザに観測させることが可能となる。例えば、特許文献１には、複数の撮像部により被写体の視差画像を撮像することで、当該視差画像に基づき被写体の立体的な３Ｄ画像を観測させるための仕組みの一例が開示されている。
米国特許第６１５７３３７号明細書
一方で、複数の撮像部により各視点画像を撮像する場合には、レンズの組み付け等により生じる当該複数の撮像部間の画像の撮像に係る誤差により、視差画像間において、撮像された被写体（患部）の大きさ（拡大率）のずれや、画像の中心位置のずれが生じる場合がある。このような視差画像間のずれにより、当該視差画像に基づき観測される被写体の立体的な３Ｄ画像（以降では、「観測画像」とも称する）に歪みが生じる場合がある。
特に、医療用の立体観察装置においては、観測対象となる患部を中心に撮像部を回転させながら（例えば、ピボット運動をさせながら）、当該患部を異なる方向から観測するような利用形態が想定され得る。このような利用形態においては、患部に対する撮像部の位置や姿勢に応じて、複数の撮像部間における画像の撮像に係る誤差（換言すると、撮像される視差画像間のずれ）に伴う観測画像の歪みがより顕在化しやすくなる場合がある。
上述した３Ｄ画像の歪みを補正する方法としては、例えば、撮像された各視点画像に対して画像解析処理を施すことで視差画像間のずれを検出し、当該ずれを画像処理により補正する方法が挙げられる。しかしながら、この方法では、リアルタイムで視差画像間のずれの検出と、当該ずれの補正とを行うことになり、画像処理機能の処理負荷が増大し、ひいては消費電力が増大する場合もある。
そこで、本開示では、複数の撮像部間の誤差に伴う観測画像の歪みの補正に係る負荷をより軽減することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムを提案する。
本開示によれば、左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得する取得部と、前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正する補正部と、を備える、医療用立体観察装置が提供される。
また、本開示によれば、左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、プロセッサが、前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、を含む、医療用立体観察方法が提供される。
また、本開示によれば、コンピュータに、左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、複数の撮像部間の誤差に伴う観測画像の歪みの補正に係る負荷をより軽減することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。 同実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。 同実施形態に係る観察装置の利用形態の一例について説明するための説明図である。 視差ずれが生じている状況を模式的に示した図である。 同実施形態に係る医療用立体観察装置の機能構成の一例を示したブロック図である。 同実施形態における補正データの一例について説明するための説明図である。 左右差補正データの一例について説明するための説明図である。 同実施形態に係る医療用立体観察装置の一連の処理の流れの一例について示したフローチャートである。 視差ずれの補正に係る処理の一例について説明するための説明図である。 同実施形態に係る医療用立体観察装置の一連の処理の流れの他の一例について示したフローチャートである。 同実施形態に係る医療用立体観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．医療用立体観察装置の概要
１．１．医療用立体観察装置の適用例
１．２．医療用立体観察装置の外観
２．医療用立体観察装置についての検討
３．機能構成
４．処理
４．１．視差ずれの補正に係る処理
４．２．レンズ位置の補正に係る処理
５．ハードウェア構成
６．むすび
＜＜１．医療用立体観察装置の概要＞＞
＜１．１．医療用立体観察装置の適用例＞
まず、本開示をより明確なものとするために、本開示の一実施形態に係る医療用立体観察装置の適用例について説明する。
例えば、図１は、本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。図１には、本開示の一実施形態に係る医療用立体観察装置が用いられる場合の一適用例において、当該医療用立体観察装置として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
例えば、図１は、本実施形態に係る手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術、例えば内視鏡を用いた検査等であってもよい。
施術台５３０の脇には本実施形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図１に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ〜５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ〜５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ〜５１３ｃの駆動軸の方向等が適宜設定されてもよい。
関節部５１３ａ〜５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ〜５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されていてもよい。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。
また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
このように、本実施形態においては、医療分野において、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが提案される。
特に、本開示の一実施形態に係る手術用ビデオ顕微鏡装置５１０（即ち、医療用立体観察装置）は、撮像対象を３次元画像（３Ｄ画像）として表示するための画像データを取得可能に構成されている。
具体的な一例として、手術用ビデオ顕微鏡装置５１０は、撮像ユニット５１５として、２系統の撮像部（例えば、カメラユニット）を有するステレオカメラを設けることで、各撮像部を介して、異なる複数の視点からの画像（即ち、視点画像）を取得する。
撮像ユニット５１５により取得された複数の視点画像のそれぞれは、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０上に左眼用画像及び右眼用画像として表示される。なお、本説明において、右眼用画像は、ユーザに３Ｄ画像を観測させるために、当該ユーザの右眼に相当する視点に観測させるための視差が設定された所謂視差画像を示している。同様に、左眼用画像は、ユーザに３Ｄ画像を観測させるために、当該ユーザの左眼に相当する視点に観測させるための視差が設定された視差画像を示している。
なお、表示装置５５０上に左眼用画像及び右眼用画像として表示された画像を、ユーザ５２０に３Ｄ画像として観測させるための仕組みとしては多様な方式が提案されている。具体的な一例として、専用の眼鏡を用いることで、左右の眼に互いに異なる画像（即ち、左眼用画像及び右眼用画像）を観測させる方式が挙げられる。また、近年では、専用の眼鏡を用いずに３次元画像を観測させることが可能な裸眼３Ｄ映像技術も提案されている。
また、上記に説明したような医療用の観察装置が使用される状況としては、患部の画像を含め、各種情報の確認を要する場合もあり、このような状況下では、複数の表示部それぞれに画像を表示させたり、表示部中に複数の画像を表示させる等の使用形態が想定され得る。具体的な一例として、一部の表示部には、患部の全体像を表示させ、他の表示部には、患部の拡大画像を表示させる場合が想定される。また、他の一例として、一部の表示部に、患部の画像を表示させ、他の表示部には、ＣＴ（Computed Tomography）画像や、ＭＲＩ（Magnetic Resonance Imaging）画像等のような、他の撮像装置により撮像された画像を表示させる場合も想定され得る。そのため、表示装置５５０が複数設けられている場合もある。
以上、図１を参照して、本実施形態に係る医療用立体観察装置が用いられる場合の一適用例として、当該医療用立体観察装置として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明した。
＜１．２．医療用立体観察装置の外観＞
次に、図２を参照して、本開示の一実施形態に係る医療用立体観察システムにおいて、撮像対象を３Ｄ画像として表示するための画像データ（即ち、複数の視点から撮像された視点画像）を取得する手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）の一例として、アームを備えた手術用ビデオ顕微鏡装置について概略構成を説明する。図２は、本開示の一実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。
図２に示すように、本実施形態に係る医療用立体観察装置の一例である観察装置４００は、ベース部４０５と、支持部４０６と、撮像ユニット４０７とを含む。ベース部４０５は、例えば、床面上を移動可能に構成されており、支持部４０６を支持する。また、支持部４０６の先端には、撮像ユニット４０７が支持されている。
撮像ユニット４０７は、撮像対象の画像を取得するユニットであり、例えば動画、静止画を撮像するカメラ等により構成され得る。撮像ユニット４０７は、例えば、顕微鏡部として構成される。また、支持部４０６の駆動が制御されることにより、撮像ユニット４０７の位置及び姿勢が制御される。本実施形態においては、撮像ユニット４０７は、例えば施術部位である患者の体の一部領域を撮像する。なお、前述したように、本実施形態に係る観察装置４００では、撮像ユニット４０７は、例えば、ステレオカメラのように、異なる複数の視点からの画像（即ち、撮像対象を３次元画像として表示するための画像データ）を取得可能に構成されている。
支持部４０６は、例えば、関節部４１１〜４１６と、アーム部４２１〜４２５とを含む。例えば、図２に示す例では、２つのアーム部と、当該２つのアーム部の一方（先端側）を他方（基端側）に対して回動可能に連結する関節部とからなる組を４組有している。
関節部４１１は、先端側で撮像ユニット４０７を回動可能に保持するとともに、基端側でアーム部４２１の先端部に固定された状態でアーム部４２１に保持される。関節部４１１は、円筒状をなし、高さ方向の中心軸である第１軸Ｏ１のまわりに回動可能に撮像ユニット４０７を保持する。アーム部４２１は、関節部４１１の側面から第１軸Ｏ１と直交する方向に延びる形状をなす。
関節部４１２は、先端側でアーム部４２１を回動可能に保持するとともに、基端側でアーム部４２２の先端部に固定された状態でアーム部４２２に保持される。関節部４１２は円筒状をなしており、高さ方向の中心軸であって第１軸Ｏ１と直交する軸である第２軸Ｏ２のまわりに回動可能にアーム部４２１を保持する。アーム部４２２は略Ｌ字状をなし、Ｌ字の縦線部分の端部で関節部４１２に連結する。
関節部４１３は、先端側でアーム部４２２のＬ字の横線部分を回動可能に保持するとともに、基端側でアーム部４２３の先端部に固定された状態でアーム部４２３に保持される。関節部４１３は、円筒状をなしており、高さ方向の中心軸であって第２軸Ｏ２と直交する軸であり、かつアーム部４２２が延びる方向と平行な軸である第３軸Ｏ３のまわりに回動可能にアーム部４２２を保持する。アーム部４２３は先端側が円筒状をなしており、基端側に先端側の円筒の高さ方向と直交する方向に貫通する孔部が形成されている。関節部４１３は、この孔部を介して関節部４１４に回動可能に保持される。
関節部４１４は、先端側でアーム部４２３を回動可能に保持するとともに、基端側でアーム部４２４に固定された状態でアーム部４２４に保持される。関節部４１４は円筒状をなしており、高さ方向の中心軸であって第３軸Ｏ３と直交する軸である第４軸Ｏ４のまわりに回動可能にアーム部４２３を保持する。
関節部４１５は、先端側でアーム部４２４を回動可能に保持するとともに、基端側でアーム部４２５に固定して取り付けられる。関節部４１５は円筒状をなしており、高さ方向の中心軸であって第４軸Ｏ４と平行な軸である第５軸Ｏ５のまわりにアーム部４２４を回動可能に保持する。アーム部４２５は、Ｌ字状をなす部分と、Ｌ字の横線部分から下方へ延びる棒状の部分とからなる。関節部４１５は、基端側でアーム部４２５のＬ字の縦線部分の端部に取り付けられる。
関節部４１６は、先端側でアーム部４２５を回動可能に保持するとともに、基端側でベース部４０５の上面に固定して取り付けられる。関節部４１６は円筒状をなしており、高さ方向の中心軸であって第５軸Ｏ５と直交する軸である第６軸Ｏ６のまわりにアーム部４２５を回動可能に保持する。関節部４１６の先端側には、アーム部４２５の棒状の部分の基端部が取り付けられる。
以上説明した構成を有する支持部４０６は、撮像ユニット４０７（顕微鏡部）における並進３自由度および回転３自由度の計６自由度の動きを実現する。
例えば、図３は、本実施形態に係る観察装置の利用形態の一例について説明するための説明図である。図３に示す例では、撮像ユニット４０７の焦点を患部Ｍ１上の位置Ｏ１１に固定し、参照符号Ｏ１２で示した位置を中心とした円軌道Ｒに沿って当該撮像ユニット４０７を移動させながら（即ち、ピボット運動させながら）、患部Ｍ１の画像を撮像している。このような制御により、患部Ｍ１の所望の位置（即ち、焦点位置Ｏ１１）を基準として撮像ユニット４０７を回転させることで、患部Ｍ１の当該所望の位置を多様な方向から観察することが可能となる。なお、以降の説明においては、図３に示すような観察方法（利用形態）を、「ピボット観察」とも称する。
＜＜２．医療用立体観察装置についての検討＞＞
次に、本実施形態に係る医療用立体観察装置の特徴をよりわかりやすくするために、図４を参照して、医療用立体観察装置の課題について整理する。図４は、本実施形態に係る医療用立体観察装置の課題について説明するための説明図である。
観察対象（患部）の画像を立体的な３Ｄ画像として観測させる立体観察装置では、前述したように、例えば、複数の撮像部を有する撮像ユニット（所謂ステレオカメラ）により、異なる複数の視点から観察対象の画像（即ち、視点画像）を取得する。そして、各撮像部により撮像された視点画像は、ユーザの右眼及び左眼のうち互いに異なる眼に観測されるように制御される。このような構成により、ユーザは、観察対象の画像を、立体的な３Ｄ画像として観測することが可能となる。
一方で、撮像ユニットを構成する複数の撮像部間における、レンズ等の光学系の組み付けのばらつき等により、当該撮像部それぞれにより撮像される視点画像間において、画像の中心位置のずれ（以降では、「視差ずれ」とも称する）や、撮像された被写体（患部）の大きさのずれ（以降では、「倍率ずれ」とも称する）が生じる場合がある。
例えば、図４は、視差ずれが生じている状況を模式的に示した図である。図４において、参照符号Ｇ１Ｌは、左眼に観測させるための視差画像（左眼用画像）が撮像される範囲を模式的に示している。また、参照符号Ｇ１Ｒは、右眼に観測させるための視差画像（右眼用画像）が撮像される範囲を模式的に示している。図４に示すように、視差ずれが生じている状況下では、各視差画像をそのままユーザに観測させると、ユーザは、撮像範囲がずれた画像を左右の眼で観測することとなり、当該視差ずれが３Ｄ画像の歪みとして顕在化する場合がある。
より具体的には、複数の撮像部により撮像される視差画像（例えば、左眼用画像及び右眼用画像）それぞれの中心と、撮像ユニットを回転させるための高さ方向の中心軸（即ち、図２に示す第１軸Ｏ１）とが、図４に示すＸＹ平面上で略一致するように、各撮像部の光学系等が組み付けられていることが望ましい。しかしながら、前述したように、レンズ等の光学系の組み付けのばらつき等により、複数の撮像部のうち少なくともいずれかにより撮像される視差画像の中心と、上記中心軸に基づく位置との間にずれが生じる場合がある。このようなずれにより、上述した視差ずれが顕在化する場合がある。
また、倍率ずれが生じている状況下では、複数の撮像部それぞれで撮像される視差画像には、観察対象が互いに異なる拡大率で撮像されることとなる。そのため、倍率ずれが生じている状況下では、各視差画像をそのままユーザに観測させると、ユーザは、拡大率が互いに異なる画像を左右の眼で観測することとなり、視差ずれが生じている場合と同様に、当該倍率ずれが３Ｄ画像の歪みとして顕在化する場合がある。
このような、視差ずれや倍率ずれ等に伴う３Ｄ画像の歪みを補正する方法としては、例えば、撮像された各視点画像に対して画像解析処理を施すことで視点画像間のずれを検出し、当該ずれを画像処理により補正する方法が挙げられる。しかしながら、この方法では、リアルタイムで各視点画像間のずれの検出と、当該ずれの補正とを行うことになり、画像処理機能の処理負荷が増大し、ひいては消費電力が増大する場合もある。
そこで、本開示では、視差ずれや倍率ずれ等のような複数の撮像部間の誤差に伴う視点画像間のずれにより生じる３Ｄ画像（即ち、観測画像）の歪みの補正に係る処理負荷をより軽減することが可能な仕組みについて提案する。そこで、以降では、本実施形態に係る医療用立体観察装置についてより詳細に説明する。
＜＜３．機能構成＞＞
まず、図５を参照して、本実施形態に係る医療用立体観察装置の機能構成の一例について説明する。図５は、本実施形態に係る医療用立体観察装置の機能構成の一例を示したブロック図である。
図５に示すように、本実施形態に係る医療用立体観察装置１は、撮像ユニット２０と、画像処理装置１０と、撮像制御装置３０と、表示装置４０とを含む。
撮像ユニット２０は、図１を参照して説明した撮像ユニット５１５に相当し、例えば、顕微鏡として構成されていてもよい。具体的には、図５に示すように、撮像ユニット２０は、例えば、撮像部２０１ａ及び２０１ｂと、光学系２０３と、補正データ記憶部２０５と、駆動部２０７とを含む。
撮像部２０１ａ及び２０１ｂは、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を含んで構成され得る。なお、以降の説明では、撮像部２０１ａ及び２０１ｂを特に区別しない場合には、単に「撮像部２０１」と記載する場合がある。
撮像部２０１ａ及び２０１ｂのそれぞれは、撮像対象を互いに異なる視点から撮像し、撮像された視点画像のそれぞれを、後述する画像処理装置１０に出力する。撮像部２０１ａ及び２０１ｂは、動画像を撮像可能に構成されていてもよい。なお、本説明においては、便宜上、撮像部２０１ａが左眼用画像を撮像し、撮像部２０１ｂが右眼用画像を撮像するものとして説明する。
光学系２０３は、フォーカスレンズやズームレンズ等の各種レンズを含んで構成され、撮像対象の像を、撮像部２０１の撮像素子上に結像するための構成である。光学系２０３に含まれるレンズは、光軸上を移動可能に構成されていてもよい。例えば、フォーカスレンズの光軸上での位置が制御されることにより、光学系２０３の焦点の位置が制御される。また、ズームレンズの光軸上での位置が制御されることにより、光学系２０３のズームの拡大率（換言すると、ズームポジション）が制御される。
駆動部２０７は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、光学系２０３を構成するレンズ（例えば、フォーカスレンズやズームレンズ）を光軸に沿って移動させる。なお、駆動部２０７の動作は、後述する撮像制御装置３０により制御される。
補正データ記憶部２０５は、撮像部２０１ａ及び２０１ｂ間の誤差に伴う各種ずれを補正するための補正データを記憶する記憶領域である。補正データ記憶部２０５は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリにより構成される。また、補正データは、例えば、前述した視差ずれや倍率ずれ等のような、撮像部２０１ａ及び２０１ｂそれぞれにより撮像される視点画像間のずれを補正するためのデータを含む。また、補正データは、撮像部２０１ａ及び２０１ｂそれぞれのイメージャ間の特性のずれ（ばらつき）を補正するためのデータを含んでもよい。
例えば、図６は、本実施形態における補正データの一例について説明するための説明図である。図６において、マスターデータとして示されたデータが、撮像ユニット２０の補正データ記憶部２０５に記憶される補正データの一例を示している。具体的には、補正データ（マスターデータ）は、例えば、視差ずれ、倍率ずれ、歪曲収差等のレンズ光学系の左右差を調整するためのデータ、レンズ位置のようにレンズ光学系の個体ばらつきを調整するためのデータ、色、明るさ、ホワイトバランス、白キズ等のイメージャ間の個体ばらつきを調整するためのデータ等の各種データを含む。
白キズ補正データは、イメージャの画素欠陥により生じる、画像中の一部ドットの欠落（所謂、白キズ）を補正するためのデータである。イメージャの画素欠陥は、撮像ユニット２０の出荷時に存在する初期のものと、経年劣化や故障等のより後発的に発生するものとがある。そのため、白キズ補正データとして、初期から発生する白キズを補正するためのデータと、後発的に発生した白キズを補正するためのデータとが記憶されていてもよい。
左右差補正データは、前述した視差ずれを補正するためのデータである。具体的には、左右差補正データは、例えば、所定の基準位置（例えば、撮像部２０１ａと撮像部２０１ｂとの間の中心）に対する、撮像部２０１ａ及び２０１ｂそれぞれにより撮像される画像（即ち、左眼用画像及び右眼用画像）の中心のずれの方向及び当該ずれの量に基づき生成される。基準位置の一例としては、例えば、撮像ユニットを回転させるための高さ方向の中心軸（即ち、図２に示す第１軸Ｏ１）に基づく位置（例えば、ＸＹ平面上における第１軸Ｏ１の位置）が挙げられる。また、基準位置は、例えば、撮像部２０１ａと撮像部２０１ｂとの間の中心に基づく位置であってもよい。例えば、図４に示す例において、Ｘ軸とＹ軸の交点（即ち、原点）が基準位置に相当し、当該基準位置に対する左眼用画像及び右眼用画像それぞれの中心のＸ方向及びＹ方向のずれ量が、左右差補正データとして使用される情報の一例に相当する。
なお、左眼用画像及び右眼用画像それぞれの中心位置のずれは、ズームポジション（ズームの拡大率）によっても変化する。そのため、左右差補正データは、ズームポジションごとに記憶されていてもよい。例えば、図７は、左右差補正データの一例について説明するための説明図である。図７において、参照符号Ｐ０１〜Ｐ１００は、それぞれズームポジションを示している。また、参照符号Ｌ０１〜Ｌ１００は、左眼用画像を撮像する撮像部側におけるズームポジションを示しており、それぞれがズームポジションＰ０１〜Ｐ１００に対応している。同様に、参照符号Ｒ０１〜Ｒ１００は、右眼用画像を撮像する撮像部側におけるズームポジションを示している。
即ち、図７に示す例では、ズームポジションＰ０１〜Ｐ１００のそれぞれについて、左眼用画像の中心位置のずれに基づくデータと、右眼用画像の中心位置のずれに基づくデータとが、左右差補正データとして記憶されている。
例えば、ズームポジションＰ０１に対応する左右差補正データに着目する。この場合には、例えば、撮像部２０１ａにより撮像された左眼用画像を補正するためのデータとして、撮像部２０１ａのズームポジションを示す情報Ｌ０１と、当該ズームポジションＬ０１において撮像される画像の中心位置のずれを示す情報ＸＬ０１及びＹＬ０１とを含む。なお、データＸＬ０１は、当該中心位置のＸ方向のずれを示しており、データＹＬ０１は、当該中心位置のＹ方向のずれを示している。同様に、撮像部２０１ｂにより撮像された右眼用画像を補正するためのデータとして、撮像部２０１ｂのズームポジションを示す情報Ｒ０１と、当該ズームポジションＲ０１において撮像される画像の中心位置のずれを示す情報ＸＲ０１及びＹＲ０１とを含む。なお、データＸＲ０１は、当該中心位置のＸ方向のずれを示しており、データＹＲ０１は、当該中心位置のＹ方向のずれを示している。また、ズームポジションＰ０２〜Ｐ１００についても同様である。
また、図６に示すマスターデータ（補正データ）のうち、色補正データは、撮像部２０１ａ及び２０１ｂそれぞれのイメージャ間における色特性のずれを補正するためのデータである。また、倍率ずれ補正データは、撮像部２０１ａ及び２０１ｂ間におけるズームの拡大率のずれ、即ち、前述した倍率ずれを補正するためのデータである。また、レンズ位置補正データは、撮像部２０１ａ及び２０１ｂそれぞれに対して、撮像対象の像を結像するためのレンズそれぞれの組み付けのばらつき（即ち、固体ばらつき）に応じたレンズ位置のずれを補正するためのデータである。また、ホワイトバランス補正データは、撮像部２０１ａ及び２０１ｂそれぞれのイメージャ間におけるホワイトバランスのずれを補正するためのデータである。
また、歪曲収差補正データは、レンズ等の光学系の特性（歪み）のばらつきを補正するためのデータである。例えば、撮像部２０１ａ及び２０１ｂ間において光学系の特性（例えば、歪曲収差）にばらつきがあると、当該特性のばらつきが３Ｄ画像の歪みとして顕在化する場合がある。
また、明るさ補正データは、撮像部２０１ａ及び２０１ｂそれぞれのイメージャ間における明るさ（換言すると、感度）のずれを補正するためのデータである。例えば、撮像部２０１ａ及び２０１ｂそれぞれのイメージャ間の感度のずれは、左眼用画像と右眼用画像との間の明るさの違いとして顕在化し、３Ｄ画像を視聴するユーザに眼精疲労を引き起こす場合がある。
なお、上述した補正データは、例えば、事前の検査や実験等に基づき、撮像部２０１ａ及び２０１ｂそれぞれの特性に応じて生成し、あらかじめ補正データ記憶部２０５に記憶させておけばよい。例えば、左右差補正データについては、各ズームポジションにおいて撮像部２０１ａ及び２０１ｂそれぞれにより画像を撮像することで取得することが可能である。また、白キズ補正データ、倍率ずれ補正データ、歪曲収差補正データ、レンズ位置補正データ、色補正データ、明るさ補正データ、及びホワイトバランス補正データについても、同様に、事前の実験や検査等の結果に基づきあらかじめ生成しておくことが可能である。また、補正データは、白キズ補正データ（後発）のように、後発的に発生した要因により生じるずれを補正するために、一部のデータが追加または更新されてもよい。
また、図６に示すように、撮像ユニット２０にマスターデータとして記憶された補正データのうち少なくとも一部は、例えば、電源投入時や、撮像ユニット２０が認識されたとき等のような所定のタイミング（所定の契機）で、画像処理装置１０や撮像制御装置３０に転送される。撮像ユニット２０からのデータの転送を受けて、画像処理装置１０及び撮像制御装置３０は、当該データをそれぞれの記憶領域（後述する、記憶部１０３及び３０３）にキャッシュとして保持する。なお、当該補正データを利用した、画像処理装置１０及び撮像制御装置３０それぞれのより具体的な処理の一例については別途後述する。
撮像制御装置３０は、撮像ユニット２０による画像の撮像に係る動作を制御するための構成である。撮像制御装置３０は、例えば、図１を参照して説明したアーム部５１２のうち、撮像ユニット２０が接続される部分の近傍に設けられる。また、図５に示すように、撮像制御装置３０は、制御部３０１と、記憶部３０３とを含む。
記憶部３０３は、撮像制御装置３０が各種機能を実現するためのデータを一時的または恒久的に記憶するための記憶領域である。記憶部３０３は、例えば、フラッシュメモリやＲＯＭ（Read-Only Memory）のような不揮発性のメモリにより構成される。また、記憶部３０３は、ＲＡＭ（Random Access Memory）のような揮発性のメモリからなる主記憶装置を含んでもよい。また、撮像制御装置３０には、撮像ユニット２０から補正データ記憶部２０５に記憶された補正データのうち少なくとも一部のデータ（以降では、当該データについても総じて「補正データ」とも称する）が転送される。この撮像ユニット２０から転送された補正データは、記憶部３０３に一時的または恒常的に保持される。なお、このとき記憶部３０３は、補正データのうち少なくとも一部のデータを、キャッシュとして、ＲＡＭ等のようなアクセス速度の高い記憶装置に保持してもよい。また、記憶部３０３は、撮像ユニット２０から転送された補正データ自体をキャッシュとして保持してもよい。
制御部３０１は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ（演算処理装置）により構成される。制御部３０１は、記憶部３０３に記憶されたデータに基づき、撮像ユニット２０の動作を制御する。具体的な一例として、制御部３０１は、撮像ユニット２０の駆動部２０７の動作を制御することで、光学系２０３の各レンズ（例えば、フォーカスレンズやズームレンズ）のレンズ位置を制御してもよい。
また、制御部３０１は、記憶部３０３にキャッシュとして保持された補正データに基づき、撮像ユニット２０による画像の撮像に係る各種パラメータを補正してもよい。例えば、制御部３０１は、図６を参照して説明したレンズ位置補正データに基づき、撮像部２０１ａ及び２０１ｂそれぞれに対して撮像対象の像を結像するためのレンズ間のレンズ位置（例えば、各レンズの初期位置）のずれを補正してもよい。
画像処理装置１０は、撮像ユニット２０により撮像された画像に対して各種画像処理を施すための構成である。画像処理装置１０は、例えば、図１を参照して説明した手術用ビデオ顕微鏡装置５１０のベース部５１１に内蔵されていてもよいし、当該手術用ビデオ顕微鏡装置５１０に対して外付けされていてもよい。また、図５に示すように、画像処理装置１０は、画像処理部１０１ａ及び１０１ｂと、記憶部１０３と、３Ｄ画像生成部１０５とを含む。
記憶部１０３は、画像処理装置１０が各種機能を実現するためのデータを一時的または恒久的に記憶するための記憶領域である。記憶部１０３は、例えば、ＳＳＤ（Solid State Drive）のような不揮発性のメモリからなる補助記憶装置や、ＲＡＭ（Random Access Memory）のような揮発性のメモリからなる主記憶装置により構成される。また、画像処理装置１０には、撮像ユニット２０から補正データ記憶部２０５に記憶された補正データのうち少なくとも一部のデータ（以降では、当該データについても総じて「補正データ」とも称する）が転送される。この撮像ユニット２０から転送された補正データは、記憶部１０３に一時的または恒常的に保持される。なお、このとき記憶部１０３は、補正データのうち少なくとも一部のデータを、キャッシュとして、ＲＡＭ等のようなアクセス速度の高い記憶装置に保持してもよい。また、記憶部１０３は、撮像ユニット２０から転送された補正データ自体をキャッシュとして保持してもよい。
画像処理部１０１ａ及び１０１ｂは、撮像ユニット２０により撮像された視点画像それぞれに対して各種画像処理を施すための構成である。例えば、図５に示す例では、画像処理部１０１ａは、撮像部２０１ａにより撮像された視点画像（即ち、左眼用画像）を当該撮像部２０１ａから取得し、取得した視点画像に対して各種画像処理を施す。また、画像処理部１０１ｂは、撮像部２０１ｂにより撮像された視点画像（即ち、右眼用画像）を当該撮像部２０１ｂから取得し、取得した視点画像に対して各種画像処理を施す。なお、画像処理部１０１ａ及び１０１ｂは、処理の対象とする視点画像が異なる点を除けば、互いに同様の構成を有している。そのため、本説明では、画像処理部１０１ａに着目してより詳細な動作について説明し、画像処理部１０１ｂについてはより詳細な説明は省略する。
例えば、画像処理部１０１ａは、取得した視点画像に対して画像解析を施すことで、所定の条件を満たす対象（例えば、特定の部位や病巣）を抽出し、抽出した対象に対して所謂強調処理を施してもよい。また、他の一例として、画像処理部１０１ａは、取得した視点画像に対して、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等のような他の撮像装置により撮像された画像を重畳（フュージョン）させてもよい。もちろん、画像処理部１０１ａは、取得した視点画像を電子画像として表示させるために最低限の画像処理を施すように動作してもよい。
また、画像処理部１０１ａは、記憶部１０３に保持された補正データ（もしくは、当該補正データのキャッシュ）に基づき、取得した視点画像（左眼用画像）に対して、撮像部２０１ａと撮像部２０１ｂとの間の誤差により生じる他方の視点画像（右眼用画像）との間のずれを補正してもよい。例えば、画像処理部１０１ａは、図６を参照して説明した左右差補正データに基づき、左眼用画像及び右眼用画像間の視差ずれを補正してもよい。なお、このとき画像処理部１０１ａは、例えば、図３に示すようなピボット観察時における撮像ユニット２０の焦点位置Ｏ１１（即ち、撮像ユニット２０の回転の基準となる位置）を基準位置として、視点画像間（即ち、左眼用画像及び右眼用画像間）の視差ずれを補正してもよい。なお、焦点位置Ｏ１１については、例えば、撮像ユニット２０を支持する支持部（例えば、アーム）の各部の位置及び姿勢の検出結果に応じた、当該撮像ユニット２０の位置及び姿勢に基づき認識すればよい。なお、視点画像間の視差ずれの補正方法の一例については、別途詳細を後述する。
また、他の一例として、画像処理部１０１ａは、倍率ずれ補正データに基づき、視点画像間の倍率ずれを補正してもよい。また、画像処理部１０１ａは、色補正データに基づき、視差画像間の色特性のずれを補正してもよい。また、画像処理部１０１ａは、ホワイトバランス補正データに基づき、視差画像間のホワイトバランスのずれを補正してもよい。また、画像処理部１０１ａは、白キズ補正データに基づき、撮像部２０１ａのイメージャにおける画素欠損による生じる白キズを補正してもよい。なお、画像処理部１０１ａ及び１０１ｂが、「補正部」の一例に相当する。
以上のようにして、画像処理部１０１ａは、撮像部２０１ａから取得した視点画像に対して、上述した各種画像処理や補正処理を施し、処理後の視点画像を後段に位置する３Ｄ画像生成部１０５に出力する。
３Ｄ画像生成部１０５は、撮像部２０１ａ及び２０１ｂそれぞれにより撮像され、各種画像処理や補正処理が施された各視点画像を、画像処理部１０１ａ及び１０１ｂから取得する。そして、３Ｄ画像生成部１０５は、取得した各視点画像（即ち、左眼用画像及び右眼用画像）に基づき、ユーザに３Ｄ画像を観察させるための視差が設定された視差画像を生成し、当該視差画像を表示装置４０に表示させる。なお、表示装置４０は、図１を参照して説明した表示装置５５０に相当する。
ここで、３Ｄ画像生成部１０５のより詳細な処理の一例として、裸眼３Ｄ映像技術に基づきユーザに３Ｄ画像を観察させる場合の処理について説明する。この場合には、例えば、３Ｄ画像生成部１０５は、想定されるユーザの視点間の間隔（即ち、左眼と右眼との間の間隔）に基づき、各視点に観察させる画像に設定する視差値を算出する。そして、３Ｄ画像生成部１０５は、ユーザの左眼及び右眼それぞれに観察させる視点画像が視差値の算出結果に基づき提示された所謂多視点画像を生成し、生成した多視点画像を表示装置４０に表示させる。多視点画像中に提示された各視点画像（即ち、右眼用画像及び左眼用画像）は、例えば、表示装置４０に設けられたレンチキュラ板やパララクスバリア等の光学部材により分離され、それぞれが、ユーザの対応する視点（即ち、右眼及び左眼）で観測される。これにより、ユーザは、当該表示装置４０を介して、３Ｄ画像を観測することが可能となる。
なお、上記に説明した３Ｄ画像を観測させるための処理はあくまで一例であり、３Ｄ画像を観測させるための方式や構成に応じて適宜変更してもよいことは言うまでもない。
以上、図５〜図７を参照して、本実施形態に係る医療用立体観察装置の機能構成の一例について説明した。なお、上記では、撮像ユニット２０の撮像部２０１ａ及び２０１ｂの特性に応じた補正データを、当該撮像ユニット２０の補正データ記憶部２０５に記憶させておき、当該補正データを画像処理装置１０や撮像制御装置３０に転送する例について説明した。一方で、画像処理装置１０や撮像制御装置３０が、接続されている撮像ユニット２０に対応する補正データを取得する（参照する）ことが可能であれば、当該補正データの転送元や当該補正データが保持される場所は特に限定されない。具体的な一例として、補正データを、外部のサーバ等に記憶させておいてもよい。この場合には、画像処理装置１０や撮像制御装置３０は、医療用立体観察装置１に接続された撮像ユニット２０に応じて、当該撮像ユニット２０に対応する補正データを、当該サーバから取得すればよい。
また、図５を参照して上述した本実施形態に係る医療用立体観察装置の機能構成はあくまで一例であり、必ずしも上記に説明した例のみには限定されない。例えば、上述したように、撮像ユニット２０は、着脱可能に構成されていてもよく、目的に応じて光学系２０３や撮像部２０１ａ及び２０１ｂ（例えば、イメージャ等）の特性が異なる撮像ユニット２０が接続されてもよい。また、撮像ユニット２０は、光学系２０３に相当する部分が光学系ユニット（レンズ群）として着脱可能に構成されていてもよい。この場合には、上述した補正データのうち、光学系２０３の特性に応じたデータについては、当該光学系ユニットの記憶領域に記憶されていてもよい。
また、上述した医療用立体観察装置のうち、少なくとも一部が一体的に構成されていてもよい。例えば、画像処理装置１０の各構成と、撮像制御装置３０の各構成とが、１つの基板上、または、１つのチップ上に実装されていてもよい。また、上述した医療用立体観察装置の各構成のうち一部については、当該医療用立体観察装置の外部（例えば、サーバ等）に設けられていてもよい。具体的な一例として、画像処理装置１０の３Ｄ画像生成部１０５に相当する処理を、サーバ等の外部の装置が実行してもよい。
＜＜４．処理＞＞
続いて、本実施形態に係る医療用立体観察装置の一連の処理の流れの一例について、特に、画像処理装置１０による視点画像間の視差ずれの補正に係る処理と、撮像制御装置３０によるレンズ位置の補正に係る処理とに着目してそれぞれ説明する。
＜４．１．視差ずれの補正に係る処理＞
まず、図８を参照して、画像処理装置１０が、撮像ユニット２０から転送される補正データに基づき、当該撮像ユニット２０により撮像された各視点画像（即ち、左眼用画像及び右眼用画像）に対して、当該視点画像間の視差ずれの補正を施す場合における一連の処理の流れの一例について説明する。図８は、本実施形態に係る医療用立体観察装置の一連の処理の流れの一例について示したフローチャートであり、画像処理装置１０による視差ずれの補正に係る処理の流れについて示している。
まず、画像処理装置１０は、医療用立体観察装置１に接続された撮像ユニット２０から、当該撮像ユニット２０に対応する補正データを取得し、所定の記憶領域（記憶部１０３）に当該補正データをキャッシュとして保持する（Ｓ１０１）。
次いで、画像処理装置１０は、撮像ユニット２０のズームポジションを検出する。この場合には、画像処理装置１０は、例えば、撮像ユニット２０からズームポジションの検出結果を示す情報を取得することで、当該ズームポジションを認識してもよい。また、他の一例として、画像処理装置１０は、撮像ユニット２０の動作を制御する撮像制御装置３０から、ズームポジションの制御結果に応じた情報を取得することで、当該ズームポジションを認識してもよい（Ｓ１０３）。そして、画像処理装置１０は、ズームポジションの検出結果に応じて、当該ズームポジションに対応する左右差補正データを、キャッシュとして保持した補正データから抽出する（Ｓ１０５）。
次いで、画像処理装置１０は、抽出した当該左右差補正データに基づき、撮像ユニット２０により撮像された各視点画像（即ち、左眼用画像及び右眼用画像）に対して、当該視点画像間の視差ずれの補正に係る処理を施す。
ここで、図９を参照して、画像処理装置１０による視差ずれの補正に係る処理の一例について説明する。図９は、視差ずれの補正に係る処理の一例について説明するための説明図である。
例えば、図９の左側の図は、視差ずれが生じている場合における、左眼用画像として撮像される範囲と、右眼用画像として撮像される範囲との間の位置関係を模式的に示している。なお、Ｘ方向は、各視点画像の横方向に対応している。また、Ｙ方向は、各視点画像の縦方向に対応している。また、参照符号Ｇ１Ｌは、左眼用画像として撮像される範囲を示している。また、参照符号Ｇ１Ｒは、右眼用画像として撮像される範囲を示している。
画像処理装置１０は、まず各視点画像の視差ずれを補正するための基準位置を特定する。具体的な一例として、画像処理装置１０は、図３に示すように、撮像ユニット２０の焦点位置Ｏ１１（即ち、ピボット観察時に撮像ユニット２０の回転の基準となる位置）を基準位置として特定してもよい。なお、本説明では、便宜上、図９の左側の図において、Ｘ軸とＹ軸との交点が基準位置であるものとして説明する。
次いで、画像処理装置１０は、基準位置と左眼用画像の中心位置（即ち、撮像範囲Ｇ１Ｌの中心位置）との間のずれＶＬを、抽出した左右差補正データのうち、左眼用画像の中心位置のずれを示す情報に基づき算出する。同様に、画像処理装置１０は、基準位置と右眼用画像の中心位置（即ち、撮像範囲Ｇ１Ｒの中心位置）との間のずれＶＲを、抽出した左右差補正データのうち、右眼用画像の中心位置のずれを示す情報に基づき算出する。また、画像処理装置１０は、算出した基準位置に対する中心位置のずれＶＬ及びＶＲに基づき、左眼用画像の撮像範囲Ｇ１Ｌと、右眼用画像の撮像範囲Ｇ１Ｒとの間で重複する領域を算出する。そして、画像処理装置１０は、左眼用画像の撮像範囲Ｇ１Ｌと、右眼用画像の撮像範囲Ｇ１Ｒとの間で重複する領域から、基準位置を中心として、出力画像として切り出す範囲Ｇ２を特定する。
そして、画像処理装置１０は、範囲Ｇ２の特定結果に基づき、左眼用画像及び右眼用画像のそれぞれから、範囲Ｇ２に対応する部分画像を切り出す。例えば、図９の右上に示した図は、左眼用画像から部分画像を切り出す処理の概要を示している。即ち、画像処理装置１０は、左眼用画像の撮像範囲Ｇ１Ｌのうち範囲Ｇ２に対応する領域の画像を、当該左眼用画像から部分画像として切り出す。このとき、左眼用画像から切り出される当該部分画像の中心は、基準位置と略一致することとなる。なお、以降の説明では、切り出された部分画像を、「左眼用出力画像Ｇ２Ｌ」とも称する。
同様に、図９の右下に示した図は、右眼用画像から部分画像を切り出す処理の概要を示している。即ち、画像処理装置１０は、右眼用画像の撮像範囲Ｇ１Ｒのうち範囲Ｇ２に対応する領域の画像を、当該右眼用画像から部分画像として切り出す。このとき、右眼用画像から切り出される当該部分画像の中心は、基準位置と略一致することとなる。なお、以降の説明では、切り出された部分画像を、「右眼用出力画像Ｇ２Ｒ」とも称する。
そして、図８に示すように、画像処理装置１０は、切り出した左眼用出力画像Ｇ２Ｌと右眼用出力画像Ｇ２Ｒとに基づき、ユーザに３Ｄ画像を観察させるための視差が設定された視差画像を生成し、当該視差画像を表示装置４０に表示させる（Ｓ１０９）。
以上、図８を参照して、画像処理装置１０が、撮像ユニット２０から転送される補正データに基づき、当該撮像ユニット２０により撮像された各視点画像に対して、当該視点画像間の視差ずれの補正を施す場合における一連の処理の流れの一例について説明した。以上のような処理により、視差ずれが補正され、ユーザの左眼及び右眼それぞれに観測される画像は、中心位置が一致することとなる。そのため、ユーザが、歪みの発生が抑制されたより鮮明な観察対象の立体的な３Ｄ画像を観測することが可能となる。
また、上述したように、撮像ユニット２０の焦点位置Ｏ１１を基準位置として視差ずれを補正することで、例えば、図３に示すように、観察対象に対して撮像ユニット２０を回転させたとしても、各視点画像間の視差ずれの発生を抑制することが可能となる。即ち、ユーザは、観察対象となる患部を互いに異なる方向から撮像した画像を観察する場合においても、歪みの発生が抑制されたより鮮明な３Ｄ画像を観測することが可能となる。
＜４．２．レンズ位置の補正に係る処理＞
続いて、図１０を参照して、撮像制御装置３０が、撮像ユニット２０から転送される補正データに基づき、当該撮像ユニット２０による画像の撮像に係る動作を制御する場合の処理の流れの一例について、特に、レンズ位置（レンズの初期位置）を補正する場合に着目して説明する。図１０は、本実施形態に係る医療用立体観察装置の一連の処理の流れの他の一例について示したフローチャートであり、撮像制御装置３０によるレンズ位置の補正に係る処理の流れについて示している。
まず、撮像制御装置３０は、医療用立体観察装置１に接続された撮像ユニット２０から、当該撮像ユニット２０に対応する補正データを取得し、所定の記憶領域（記憶部３０３）に当該補正データをキャッシュとして保持する（Ｓ２０１）。
次いで、撮像制御装置３０は、レンズ位置補正データ（即ち、接続された撮像ユニット２０の光学系２０３の組み付けのばらつきに応じたレンズ位置補正データ）を、キャッシュとして保持した補正データから抽出する（Ｓ２０３）。
そして、撮像制御装置３０は、抽出したレンズ位置補正データに基づき、撮像ユニット２０の光学系２０３を構成する各種レンズのうち、撮像部２０１ａ及び２０１ｂそれぞれに対して撮像対象の像を結像するためのレンズ間のレンズ位置（例えば、各レンズの初期位置）のずれを補正する（Ｓ２０５）。
以上、図１０を参照して、撮像制御装置３０が、撮像ユニット２０から転送される補正データに基づき、当該撮像ユニット２０による画像の撮像に係る動作を制御する場合の処理の流れの一例について、特に、レンズ位置を補正する場合に着目して説明した。以上のような処理により、左眼用画像及び右眼用画像それぞれを撮像するための光学系間のレンズ位置のずれを補正することが可能となる。そのため、当該レンズ位置のずれに伴う３Ｄ画像の歪みの発生を抑制することが可能となるため、ユーザは、より鮮明な観察対象の立体的な画像を観測することが可能となる。
＜＜５．ハードウェア構成＞＞
次に、図１１を参照しながら、前述した手術用ビデオ顕微鏡装置や画像処理装置のような、本実施形態に係る医療用立体観察装置を構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図１１は、本開示の一実施形態に係る医療用立体観察システムを構成する情報処理装置９００のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る医療用立体観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図５を参照して前述した、画像処理部１０１ａ及び１０１と、３Ｄ画像生成部１０５とは、例えば、ＣＰＵ９０１により実現され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図５を参照して前述した、表示装置４０は、例えば、出力装置９１７により実現され得る。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図５を参照して前述した、記憶部１０３は、例えば、ストレージ装置９１９により実現され得る。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る医療用立体観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１１では図示しないが、医療用立体観察システムを構成する情報処理装置９００（即ち、手術用ビデオ顕微鏡装置や画像処理装置）に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る医療用立体観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜＜６．むすび＞＞
以上、説明したように、本実施形態に係る医療用立体観察装置において、撮像ユニット２０は、左眼用画像を撮像するための撮像部２０１ａと、右眼用画像を撮像するための撮像部２０１ｂとを備える。また、当該撮像ユニット２０は、回転可能に支持部（例えば、図２に示す支持部４０６）に保持される。例えば、撮像ユニット２０は、被写体（例えば、観察対象となる患部）に対して回転可能に支持部に保持されてもよい。また、撮像ユニット２０の補正データ記憶部２０５には、撮像部２０１ａ及び２０１ｂ間の画像の撮像に係る誤差に伴う各種ずれを補正するための補正データが記憶されている。当該補正データは、撮像ユニット２０から画像処理装置１０に転送され、当該画像処理装置１０の記憶部１０３にキャッシュとして保持される。そして、画像処理装置１０は、例えば、撮像ユニット２０の回転の基準となる位置（例えば、図３に示す撮像ユニット２０の焦点位置Ｏ１１）を基準位置として、当該補正データに基づき、左眼用画像と右眼用画像との間のずれ（例えば、視差ずれ）を補正する。
以上のような構成により、ユーザは、歪みの発生が抑制されたより鮮明な観察対象の立体的な３Ｄ画像を観測することが可能となる。また、本実施形態に係る医療用立体観察装置に依れば、画像処理装置１０は、撮像ユニット２０から取得した補正データにより撮像部２０１ａ及び２０１ｂ間の誤差に伴う視差画像間のずれを補正することが可能となる。そのため、例えば、画像処理装置１０は、リアルタイムで視点画像間のずれの検出と、当該ずれの補正とを行うための各種解析処理を実行する必要がなくなり、各視点画像に対して施される画像処理の負荷が軽減され、ひいては消費電力を低減することも可能となる。
また、上述したように、撮像ユニット２０の焦点位置Ｏ１１を基準位置として視差ずれを補正することで、例えば、図３に示すように、観察対象に対して撮像ユニット２０を回転させたとしても、各視点画像間の視差ずれの発生を抑制することが可能となる。即ち、ユーザは、観察対象となる患部を互いに異なる方向から撮像した画像を観察する場合においても、歪みの発生が抑制されたより鮮明な３Ｄ画像を観測することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得する取得部と、
前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正する補正部と、
を備える、医療用立体観察装置。
（２）
前記補正部は、前記左眼用画像及び前記右眼用画像それぞれから、画像の中心が前記回転軸に応じた位置と略一致する部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、前記（１）に記載の医療用立体観察装置。
（３）
前記補正部は、前記左眼用画像及び前記右眼用画像それぞれから、前記第１の撮像部と前記第２の撮像部とのそれぞれの撮像範囲が重複する領域の部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、前記（１）または（２）に記載の医療用立体観察装置。
（４）
前記補正データは、ズームの拡大率ごとに、前記第１の撮像部と前記第２の撮像部との間の前記誤差を補正するためのデータを含み、
前記補正部は、前記第１の撮像部及び前記第２の撮像部に設定された前記ズームの拡大率に対応する当該データに基づき、前記視差のずれを補正する
前記（１）〜（３）のいずれか一項に記載の医療用立体観察装置。
（５）
前記補正部は、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間のズームの拡大率のずれを補正する、前記（１）〜（４）のいずれか一項に記載の医療用立体観察装置。
（６）
前記補正部は、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の色特性のずれを補正する、前記（１）〜（５）のいずれか一項に記載の医療用立体観察装置。
（７）
前記撮像ユニットは、被写体に対して回転可能に前記支持部に保持され、
前記基準位置は、前記撮像ユニットの焦点位置である、
前記（１）〜（６）のいずれか一項に記載の医療用立体観察装置。
（８）
前記支持部を備える、前記（１）〜（７）のいずれか一項に記載の医療用立体観察装置。
（９）
前記支持部は、前記撮像ユニットを着脱可能に構成されており、
前記補正部は、前記支持部に装着された前記撮像ユニットから取得された前記補正データに基づき、前記視差のずれを補正する、
前記（８）に記載の医療用立体観察装置。
（１０）
前記撮像ユニットを備える、前記（８）に記載の医療用立体観察装置。
（１１）
前記支持部は、前記撮像ユニットから取得される前記補正データに基づき、当該撮像ユニットの動作を制御する制御部を備える、前記（８）〜（１０）のいずれか一項に記載の医療用立体観察装置。
（１２）
前記制御部は、前記補正データに基づき、前記第１の撮像部と前記第２の撮像部との間の光学系の位置のずれを補正する、前記（１１）に記載の医療用立体観察装置。
（１３）
左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、
プロセッサが、前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、
を含む、医療用立体観察方法。
（１４）
コンピュータに、
左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備え、回転可能に支持部に保持された撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、
前記撮像ユニットの回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、
を実行させる、プログラム。
１ 医療用立体観察装置
１０ 画像処理装置
１０１ａ、１０１ｂ 画像処理部
１０３ 記憶部
１０５ ３Ｄ画像生成部
２０ 撮像ユニット
２０１ａ、２０１ｂ 撮像部
２０３ 光学系
２０５ 補正データ記憶部
２０７ 駆動部
３０ 撮像制御装置
３０１ 制御部
３０３ 記憶部
４０ 表示装置

Claims (12)

  1. 左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備える撮像ユニットを備え、ピボット観察を行えるように回転可能に支持部に保持された前記撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得する取得部と、
    前記撮像ユニットのピボット観察時のピボット運動の回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正する補正部と、
    を備え、
    前記基準位置は、前記撮像ユニットの焦点位置であり、
    前記焦点位置は、ピボット観察時の前記撮像ユニットの回転の基準となる位置であり、
    前記補正部は、前記左眼用画像及び前記右眼用画像それぞれから、画像の中心が前記撮像ユニットの前記焦点位置と略一致する部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、医療用立体観察装置。
  2. 前記補正部は、前記左眼用画像及び前記右眼用画像それぞれから、前記第１の撮像部と前記第２の撮像部とのそれぞれの撮像範囲が重複する領域の部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、請求項１に記載の医療用立体観察装置。
  3. 前記補正データは、ズームの拡大率ごとに、前記第１の撮像部と前記第２の撮像部との間の前記誤差を補正するためのデータを含み、
    前記補正部は、前記第１の撮像部及び前記第２の撮像部に設定された前記ズームの拡大率に対応する当該データに基づき、前記視差のずれを補正する
    請求項１または２に記載の医療用立体観察装置。
  4. 前記補正部は、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間のズームの拡大率のずれを補正する、請求項１〜３のいずれか一項に記載の医療用立体観察装置。
  5. 前記補正部は、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の色特性のずれを補正する、請求項１〜４のいずれか一項に記載の医療用立体観察装置。
  6. 前記支持部を備える、請求項１〜５のいずれか一項に記載の医療用立体観察装置。
  7. 前記支持部は、前記撮像ユニットを着脱可能に構成されており、
    前記補正部は、前記支持部に装着された前記撮像ユニットから取得された前記補正データに基づき、前記視差のずれを補正する、
    請求項６に記載の医療用立体観察装置。
  8. 前記撮像ユニットを備える、請求項６に記載の医療用立体観察装置。
  9. 前記支持部は、前記撮像ユニットから取得される前記補正データに基づき、当該撮像ユニットの動作を制御する制御部を備える、請求項６〜８のいずれか一項に記載の医療用立体観察装置。
  10. 前記制御部は、前記補正データに基づき、前記第１の撮像部と前記第２の撮像部との間の光学系の位置のずれを補正する、請求項９に記載の医療用立体観察装置。
  11. 左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備える撮像ユニットであって、ピボット観察を行えるように回転可能に支持部に保持された前記撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、
    プロセッサが、前記撮像ユニットのピボット観察時のピボット運動の回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、
    を含み、
    前記基準位置は、前記撮像ユニットの焦点位置であり、
    前記焦点位置は、ピボット観察時の前記撮像ユニットの回転の基準となる位置であり、
    前記視差のずれを補正することでは、前記左眼用画像及び前記右眼用画像それぞれから、画像の中心が前記撮像ユニットの前記焦点位置と略一致する部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、医療用立体観察方法。
  12. コンピュータに、
    左眼用画像を撮像する第１の撮像部と、右眼用画像を撮像する第２の撮像部とを備える撮像ユニットであって、ピボット観察を行えるように回転可能に支持部に保持された前記撮像ユニットから、前記第１の撮像部と前記第２の撮像部との間の画像の撮像に関する誤差を補正するための補正データを取得することと、
    前記撮像ユニットのピボット観察時のピボット運動の回転軸に応じた位置を基準位置として、前記補正データに基づき、前記左眼用画像と前記右眼用画像との間の視差のずれを補正することと、
    を実行させ、
    前記基準位置は、前記撮像ユニットの焦点位置であり、
    前記焦点位置は、ピボット観察時の前記撮像ユニットの回転の基準となる位置であり、
    前記視差のずれを補正することでは、前記左眼用画像及び前記右眼用画像それぞれから、画像の中心が前記撮像ユニットの前記焦点位置と略一致する部分画像を、新たな左眼用画像及び右眼用画像として切り出すことで前記視差のずれを補正する、プログラム。
JP2018508446A 2016-03-30 2017-01-24 医療用立体観察装置、医療用立体観察方法、及びプログラム Active JP6935389B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016069714 2016-03-30
JP2016069714 2016-03-30
PCT/JP2017/002332 WO2017169014A1 (ja) 2016-03-30 2017-01-24 医療用立体観察装置、医療用立体観察方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017169014A1 JPWO2017169014A1 (ja) 2019-02-14
JP6935389B2 true JP6935389B2 (ja) 2021-09-15

Family

ID=59963019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508446A Active JP6935389B2 (ja) 2016-03-30 2017-01-24 医療用立体観察装置、医療用立体観察方法、及びプログラム

Country Status (5)

Country Link
US (1) US11147647B2 (ja)
EP (1) EP3438723B1 (ja)
JP (1) JP6935389B2 (ja)
CN (1) CN108885335B (ja)
WO (1) WO2017169014A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944567B (zh) 2017-08-03 2022-10-11 索尼奥林巴斯医疗解决方案公司 医疗观察装置
CN109541793A (zh) * 2018-11-30 2019-03-29 浙江未来技术研究院(嘉兴) 一种立体显微手术视频采集装置及其调试方法
DE102022125662B3 (de) 2022-10-05 2024-01-18 Carl Zeiss Meditec Ag Verfahren und Steuereinrichtung zum Justieren und/oder Kalibrieren des Fokuswertes eines Operationsmikroskops, Operationsmikroskop und computerimplementiertes Verfahren

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339896B2 (ja) * 1993-01-18 2002-10-28 オリンパス光学工業株式会社 手術用顕微鏡
WO1996002863A1 (fr) * 1994-07-13 1996-02-01 Fujikura Ltd. Appareil d'examen visuel stereoscopique
JPH08317424A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
US6157337A (en) * 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
CN1165792C (zh) * 1999-10-13 2004-09-08 莱卡微系统（瑞士）股份公司 具有信息馈入装置的体视手术显微镜
US7180660B2 (en) 2002-02-04 2007-02-20 Carl-Zeiss-Stiftung Trading As Carl Zeiss Stereo-examination systems and stereo-image generation apparatus as well as a method for operating the same
JP4388327B2 (ja) 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
JP4974599B2 (ja) 2006-07-24 2012-07-11 オリンパス株式会社 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP4914278B2 (ja) * 2007-04-16 2012-04-11 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN101702076B (zh) 2009-10-30 2012-08-22 深圳市掌网立体时代视讯技术有限公司 一种立体拍摄自动会聚跟踪方法及系统
JP5446949B2 (ja) * 2010-02-03 2014-03-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9256116B2 (en) * 2010-03-29 2016-02-09 Fujifilm Corporation Stereoscopic imaging device, image reproducing device, and editing software
JP2012019399A (ja) * 2010-07-08 2012-01-26 For-A Co Ltd 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
JP5742179B2 (ja) 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP5682291B2 (ja) * 2010-12-20 2015-03-11 ソニー株式会社 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
JP2013123123A (ja) * 2011-12-09 2013-06-20 Fujitsu Ltd ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5767142B2 (ja) * 2012-03-05 2015-08-19 オリンパス株式会社 医療用観察システム
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
JP2015012442A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラム
WO2015001788A1 (ja) * 2013-07-05 2015-01-08 株式会社ニコン 撮像装置
KR20150007174A (ko) * 2013-07-10 2015-01-20 삼성디스플레이 주식회사 색좌표 조절 수단을 포함하는 3d 안경 및 3d 안경과 서로 연동되는 표시 장치
TWI526993B (zh) * 2014-03-24 2016-03-21 宏達國際電子股份有限公司 影像校正方法及其影像擷取裝置
JP6354838B2 (ja) * 2014-04-04 2018-07-11 株式会社ニコン 撮像素子、撮像装置および画像処理装置
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
JP5930256B1 (ja) 2014-07-28 2016-06-08 オリンパス株式会社 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
JPWO2016208246A1 (ja) * 2015-06-24 2018-04-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
CN105158887B (zh) * 2015-09-29 2017-09-22 南京理工大学 基于可编程led阵列照明的多模式显微成像方法

Also Published As

Publication number Publication date
CN108885335A (zh) 2018-11-23
WO2017169014A1 (ja) 2017-10-05
JPWO2017169014A1 (ja) 2019-02-14
CN108885335B (zh) 2021-10-22
US11147647B2 (en) 2021-10-19
EP3438723A4 (en) 2019-05-22
EP3438723A1 (en) 2019-02-06
US20190192251A1 (en) 2019-06-27
EP3438723B1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US10561304B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, and program
JP7160041B2 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
JP2021094421A (ja) 画像処理装置、画像処理方法、及び記録媒体
US20070236514A1 (en) Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP6666467B2 (ja) 医療用観察装置、及び制御方法
JP2019537461A (ja) 手術プローブ用光学システム、それを取り入れたシステムおよび方法、ならびに外科手術を実行する方法
JP6485899B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP6935389B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP2022550913A (ja) リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法
WO2019073814A1 (ja) 焦点検出装置および方法、並びにプログラム
JP2015220643A (ja) 立体観察装置
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
JP7086929B2 (ja) 医療情報処理システム
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP2012120812A (ja) 歯科治療におけるビデオカメラによる治療支援システム
WO2021024754A1 (ja) 内視鏡システム、制御装置、および制御方法
WO2019111473A1 (ja) 医療用制御装置、および医療用観察システム
WO2022080008A1 (ja) 医療用画像処理装置及び医療用観察システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6935389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150