JP6485899B2 - 医療用立体観察装置、医療用立体観察方法、及びプログラム - Google Patents

医療用立体観察装置、医療用立体観察方法、及びプログラム Download PDF

Info

Publication number
JP6485899B2
JP6485899B2 JP2014247651A JP2014247651A JP6485899B2 JP 6485899 B2 JP6485899 B2 JP 6485899B2 JP 2014247651 A JP2014247651 A JP 2014247651A JP 2014247651 A JP2014247651 A JP 2014247651A JP 6485899 B2 JP6485899 B2 JP 6485899B2
Authority
JP
Japan
Prior art keywords
image processing
image
processing unit
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014247651A
Other languages
English (en)
Other versions
JP2016111533A (ja
JP2016111533A5 (ja
Inventor
信介 山岡
信介 山岡
聡 水上
聡 水上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2014247651A priority Critical patent/JP6485899B2/ja
Priority to US14/961,039 priority patent/US10574976B2/en
Publication of JP2016111533A publication Critical patent/JP2016111533A/ja
Publication of JP2016111533A5 publication Critical patent/JP2016111533A5/ja
Application granted granted Critical
Publication of JP6485899B2 publication Critical patent/JP6485899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、医療用立体観察装置、医療用立体観察方法、及びプログラムに関する。
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタなどの表示部に電子画像として表示させる装置もある。
また、観察装置の撮像部により撮像された患部の画像を表示部に表示させる場合には、当該画像を平面的な２次元（２Ｄ）画像として表示されることが多い。しかしながら、２Ｄ画像は遠近感がつかみにくく、患部と処置具との相対的な距離が把握しにくいため、近年では、撮像された患部の画像を立体的な３次元（３Ｄ）画像として表示させる技術も開発されている。このように、撮像された患部の画像を立体的な３次元（３Ｄ）画像として表示させる観察装置（以降では、「立体観察装置」と称する場合がある）では、例えば、左右の眼に互いに異なる視点画像を観測させることで、ユーザに患部の画像を立体的な３次元画像として観測させる。
特開平６−２６１３４１号公報
一方で、立体観察装置では、各視点画像を出力するための画像処理ユニットのうち一方に、故障等により異常が発生する場合がある。このような場合には、対象を３次元画像として表示させることが困難になるとともに、フリッカ等の問題が発生する場合もある。
これに対して、特許文献１には、各視点画像を出力するための画像処理ユニットのうち一方に異常が発生した場合に、フリッカ等の問題の発生を抑制するための技術が開示されている。即ち、特許文献１に開示された技術では、各視点画像を出力するための画像処理ユニットの後段に切り替え部を設け、当該切替え部が、各画像処理ユニットからの視点画像の出力の有無に基づき、左右の眼に観測させる視点画像を切り替えることで、フリッカ等の問題の発生を抑制している。
他方で、撮像部等により撮像された患部の画像を電子画像として表示させる観測装置の中には、各視点画像を出力するための画像処理ユニットのうち一方に異常が発生した場合に、当該画像処理ユニットを代替ユニットに切り替えることで、継続的な画像の観測を可能としたものがある。そのため、このような仕組みを、立体観察装置に対しても適用可能とする技術が求められている。
しかしながら、切り替え前後の画像処理ユニットは、必ずしも同様の視点画像を出力するように構成されているとは限らない。そのため、立体観察装置においては、各視点画像を出力するための画像処理ユニットのうち、いずれか一方が切り替わった場合には、左右の眼それぞれで観測される視点画像が整合せずに、３次元画像が正しく観測されない場合がある。
そこで、本開示では、複数の視点画像それぞれを出力するための画像処理ユニットのうち一方に不具合が生じた場合においても、より好適な態様で左右の眼それぞれに観測される視点画像が整合するように制御することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムを提案する。
本開示によれば、複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得する取得部と、前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせる制御部と、を備える、医療用立体観察装置が提供される。
また、本開示によれば、複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、プロセッサが、前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、を含む、医療用立体観察方法が提供される。
また、本開示によれば、コンピュータに、複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、複数の視点画像それぞれを出力するための画像処理ユニットのうち一方に不具合が生じた場合においても、より好適な態様で左右の眼それぞれに観測される視点画像が整合するように制御することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。 同実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。 同実施形態に係る医療用立体観察システムの概略的な機能構成の一例を示したブロック図である。 同実施形態に係る医療用立体観察システムにおける画像処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る画像処理装置における、映像信号伝送フレームの概略的なデータ構造の一例を示した図である。 画像選択部の制御部が、各種状態に応じた制御を実現するための制御テーブルの一例である。 画像処理部の制御部が、各種状態に応じた制御を実現するための制御テーブルの一例である。 同実施形態に係る画像処理装置による出力の切り替え制御に係る一連の動作の流れの一例を示したフローチャートである。 画像処理装置の状態の変化を示す情報の報知方法の一例を示した図である。 変形例２に係る画像処理装置の機能構成の一例を示したブロック図である。 変形例２に係る画像処理装置における、映像信号伝送フレームの概略的なデータ構造の一例を示した図である。 本開示の一実施形態に係る医療用立体観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．医療用立体観察装置についての検討
２．本開示の一実施形態
２．１．医療用立体観察装置の外観
２．２．画像処理装置の機能構成
２．３．切り替え制御の詳細
２．３．１．画像選択部における切り替え制御
２．３．２．画像処理部における切り替え制御
２．３．３．切り替え制御の具体例１
２．３．４．切り替え制御の具体例２
２．４．処理
２．５．変形例
２．５．１．変形例１：切り替え制御時における状態の報知
２．５．２．変形例２：複数の段階に分けて画像処理を施す場合の構成例
３．ハードウェア構成
４．まとめ
＜１．医療用立体観察装置についての検討＞
まず、本開示をより明確なものとするために、本開示の一実施形態に係る医療用立体観察装置の適用例について説明したうえで、当該医療用立体観察装置の課題について整理する。
図１を参照して、本開示の一実施形態に係る医療用立体観察装置が用いられる場合の一適用例として、当該医療用立体観察装置として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。図１は、本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。
図１は、本実施形態に係る手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術、例えば内視鏡を用いた検査等であってもよい。
施術台５３０の脇には本実施形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図１に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ〜５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ〜５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ〜５１３ｃの駆動軸の方向等が適宜設定されてもよい。
関節部５１３ａ〜５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ〜５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されていてもよい。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。
また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
このように、本実施形態においては、医療分野において、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが提案される。
特に、本開示の一実施形態に係る手術用ビデオ顕微鏡装置５１０（即ち、医療用立体観察装置）は、撮像対象を３次元画像（３Ｄ画像）として表示するための画像データを取得可能に構成されている。
具体的な一例として、手術用ビデオ顕微鏡装置５１０は、撮像ユニット５１５として、２系統の撮像部（例えば、カメラユニット）を有するステレオカメラを設けることで、各撮像部を介して、異なる複数の視点からの画像（即ち、視点画像）を取得する。
撮像ユニット５１５により取得された複数の視点画像のそれぞれは、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０上に左眼用画像及び右眼用画像として表示される。
なお、表示装置５５０上に左眼用画像及び右眼用画像として表示された画像を、ユーザ５２０に、３次元画像として観測させる仕組みとしては、多様な方式が提案されている。具体的な一例として、専用の眼鏡を用いることで、左右の眼に互いに異なる視点画像（即ち、左眼用画像及び右眼用画像）を観測させる方式が挙げられる。また、近年では、専用の眼鏡を用いずに３次元画像を観測させることが可能な裸眼３Ｄ映像技術も提案されている。
一方で、本開示の一実施形態に係る手術用ビデオ顕微鏡装置５１０のように、異なる複数の視点画像に基づき三次元画像を観測可能とする手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）では、各視点画像に対応する画像処理ユニットのうち一方に、故障等により異常が発生する場合がある。このような場合には、表示装置５５０に撮像対象を３次元画像として表示させることが困難になるとともに、表示装置５５０にフリッカが発生する等の問題も起こり得る。
このような状況を鑑みて、画像処理ユニットの故障に伴うフリッカ等の問題の発生を抑制するために、左眼用画像及び右眼用画像として出力する視点画像を、各視点画像に対応する画像処理ユニットからの出力の有無に応じて切り替える技術が提案されている。この技術では、各視点画像に対応する画像処理ユニットの後段に位置する切り替え部が、当該画像処理ユニットからの視点画像の出力の有無を検出する。そして、当該切り替え部は、一方の視点画像に対応する画像処理ユニットからの出力が故障等により停止している場合に、他方の視点画像に対応する画像処理ユニットからの出力を左眼用画像及び右眼用画像として出力させる。このような構成により、各視点画像に対応する画像処理ユニットのうち一方のみが故障等により異常が発生した場合に、撮像対象が２次元画像として表示されるものの、フリッカの発生を抑制することが可能となる。
他方で、本開示の一実施形態に係る手術用ビデオ顕微鏡装置５１０のように、撮像ユニットにより取得された画像を電子画像として表示させる医療用の手術用ビデオ顕微鏡装置では、ＣＰＵや画像処理装置に異常が発生した場合に、画像の観測が困難になる場合がある。特に、医療の分野においては、手術中に術野の画像の観測が困難になると、手術自体の継続が困難となるばかりか、当該手術を中断することも困難となる場合もある。そのため、医療用の手術用ビデオ顕微鏡装置の中には、ＣＰＵや画像処理装置に異常が発生した場合においても、撮像ユニットにより取得された画像を観測可能とするための仕組みが設けられたものがある。
具体的な一例として、撮像ユニットにより撮像された画像を電子画像として表示させるためのユニット（例えば、画像処理ユニット）が複数系統設けられた手術用ビデオ顕微鏡装置が挙げられる。このような手術用ビデオ顕微鏡装置では、一方の画像処理ユニットに異常が発生した場合に、他方の画像処理ユニット（即ち、代替ユニット）に切り替えることで、継続的な画像の観測を可能としている。
ここで、異なる複数の視点画像に基づき三次元画像を観測可能とする手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）では、左眼用画像と右眼用画像とが整合するように制御される仕組みが求められる。具体的には、医療用立体観察装置では、左眼用画像として表示される視点画像に対して、右眼用画像として表示される視点画像とは異なる画像処理が施された場合に、左眼用画像と右眼用画像とが整合せずに、３次元画像が正しく観測されない場合がある。
これに対して、各視点画像に対して画像処理を施す画像処理ユニットに着目した場合に、切り替え前後の画像処理ユニットとして、必ずしも同じ画像処理を実行するユニットが設けられているとは限らない。具体的な一例として、故障時の切り替え先として設けられている画像処理ユニットの中には、撮像ユニットにより撮像された画像に対して複雑な画像処理を施さず、単に電子画像として表示させるように、構成が簡素化されているものもある。
また、前述したように、右眼用画像として表示される視点画像に対して画像処理を施す画像処理ユニットと、左眼用画像として表示される視点画像に対して画像処理を施す画像処理ユニットとは、必ずしも同時に故障するとは限らない。即ち、各視点画像に対して画像処理を施す画像処理ユニットが故障により切り替わるタイミングは、必ずしも一致するとは限らない。
そのため、三次元画像を観測可能とする手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）では、複数の視点画像のうち一方について、例えば、故障等により画像処理ユニットが切り替えられた場合には、観測される左眼用画像と右眼用画像とが整合しなくなる可能性がある。なお、このような状況下では、各視点画像に対応する画像処理ユニットからの出力が必ずしも停止しているとは限らない。そのため、後段に位置する切り替え部は、各視点画像に対応する画像処理ユニットからの出力の有無のみでは、いずれかの視点画像に対応する画像処理ユニットが切り替えられたとしても、これを検出し、左眼用画像と右眼用画像とを整合させることが困難である。
そこで、本開示の一実施形態に係る医療用立体観察装置は、複数の視点画像それぞれについて画像処理を施す画像処理ユニットのうち一方に不具合が生じた場合においても、より好適な態様で左眼用画像と右眼用画像とが整合するように制御する仕組みを提供する。
＜２．本開示の一実施形態＞
以下では、本開示の一実施形態に係る医療用立体観察システムの一例について説明する。
［２．１．医療用立体観察装置の外観］
まず、図２を参照して、本開示の一実施形態に係る医療用立体観察システムにおいて、撮像対象を３次元画像として表示するための画像データ（即ち、視点画像）を取得する手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）の一例として、アームを備えた手術用ビデオ顕微鏡装置について概略構成を説明する。図２は、本開示の一実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。
図２を参照すると、本実施形態に係る医療用立体観察装置の一例である手術用ビデオ顕微鏡装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は手術用ビデオ顕微鏡装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図２には図示しないが、ベース部４１０内には、手術用ビデオ顕微鏡装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の各種の信号処理回路によって構成される。
アーム部４２０は、複数の関節部４２１ａ〜４２１ｆと、関節部４２１ａ〜４２１ｆによって互いに連結される複数のリンク４２２ａ〜４２２ｃと、アーム部４２０の先端に設けられる撮像ユニット４２３を有する。
リンク４２２ａ〜４２２ｃは棒状の部材であり、リンク４２２ａの一端が関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が関節部４２１ｂを介してリンク４２２ｂの一端と連結され、更に、リンク４２２ｂの他端が関節部４２１ｃ、４２１ｄを介してリンク４２２ｃの一端と連結される。更に、撮像ユニット４２３が、アーム部４２０の先端、すなわち、リンク４２２ｃの他端に、関節部４２１ｅ、４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ〜４２２ｃの端同士が、関節部４２１ａ〜４２１ｆによって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。
撮像ユニット４２３は撮像対象の画像を取得するユニットであり、例えば動画、静止画を撮像するカメラ等により構成され得る。アーム部４２０の駆動が制御されることにより、撮像ユニット４２３の位置及び姿勢が制御される。本実施形態においては、撮像ユニット４２３は、例えば施術部位である患者の体の一部領域を撮像する。なお、前述したように、本実施形態に係る手術用ビデオ顕微鏡装置４００では、撮像ユニット４２３は、例えば、ステレオカメラのように、異なる複数の視点からの画像（即ち、撮像対象を３次元画像として表示するための画像データ）を取得可能に構成されている。
ここで、以下では、図２に示すように座標軸を定義して手術用ビデオ顕微鏡装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して撮像ユニット４２３が位置している方向）をｙ軸方向及び前後方向と定義する。更に、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。
関節部４２１ａ〜４２１ｆはリンク４２２ａ〜４２２ｃを互いに回動可能に連結する。関節部４２１ａ〜４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各関節部４２１ａ〜４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。また、上述したように、関節部４２１ａ〜４２１ｆは回転機構を有するため、以下の説明において、関節部４２１ａ〜４２１ｆの駆動制御とは、具体的には、関節部４２１ａ〜４２１ｆの回転角度及び／又は発生トルク（関節部４２１ａ〜４２１ｆが発生させるトルク）が制御されることを意味する。
図２に示す手術用ビデオ顕微鏡装置４００の例では、６つの関節部４２１ａ〜４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。具体的には、図２に示すように、関節部４２１ａ、４２１ｄ、４２１ｆは、接続されている各リンク４２２ａ〜４２２ｃの長軸方向及び接続されている撮像ユニット４２３の撮像方向を回転軸方向とするように設けられており、関節部４２１ｂ、４２１ｃ、４２１ｅは、接続されている各リンク４２２ａ〜４２２ｃ及び撮像ユニット４２３の連結角度をｙ−ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、関節部４２１ａ、４２１ｄ、４２１ｆは、いわゆるヨーイングを行う機能を有し、関節部４２１ｂ、４２１ｃ、４２１ｅは、いわゆるピッチングを行う機能を有する。
このようなアーム部４２０の構成を有することにより、手術用ビデオ顕微鏡装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において撮像ユニット４２３を自由に移動させることができる。図２では、撮像ユニット４２３の移動可能範囲の一例として半球を図示している。半球の中心点が撮像ユニット４２３によって撮像される施術部位の撮像中心であるとすれば、撮像ユニット４２３の撮像中心を半球の中心点に固定した状態で、撮像ユニット４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮像することができる。
撮像ユニット４２３により複数の視点それぞれから撮像された視点画像は、映像信号として図示しない画像処理装置に伝送される。なお、前述したように、当該画像処理装置は、手術用ビデオ顕微鏡装置４００内に内蔵されていてもよいし、外部装置として当該手術用ビデオ顕微鏡装置４００に外付けされていてもよい。
具体的な一例として、画像処理装置を、手術用ビデオ顕微鏡装置４００のベース部４１０内に設けることで、当該手術用ビデオ顕微鏡装置４００に内蔵されていてもよい。この場合には、撮像ユニット４２３により撮像された各視点画像は、アーム部４２０内に、当該アーム部４２０に沿って設けられたケーブルを介して、ベース部４１０内に設けられた画像処理装置に伝送される。そして、画像処理装置は、伝送された各視点画像に対して各種画像処理を施したうえで、左眼用画像及び右眼用画像として表示装置に表示させる。
［２．２．画像処理装置の機能構成］
次に、本実施形態に係る医療用立体観察システムにおいて、撮像ユニットにより複数の視点それぞれから撮像された視点画像に対して各種画像処理を施し、左眼用画像及び右眼用画像として出力する画像処理装置の機能構成の一例について説明する。
例えば、図３は、本実施形態に係る医療用立体観察システムの概略的な機能構成の一例を示したブロック図であり、画像処理装置が、各視点画像を取得し、左眼用画像及び右眼用画像として出力する動作に着目した機能構成の一例を示している。即ち、本説明では、撮像対象を複数の視点から撮像することで各視点画像を取得する撮像ユニット２０と、撮像された視点画像に対して画像処理を施す画像処理装置１０と、画像処理が施された画像を表示する表示装置３０とに着目して説明する。
図３に示すように、撮像ユニット２０は、動画像を撮像可能な複数の撮像部２１ａ及び２１ｂを備える。撮像部２１ａ及び２１ｂのそれぞれは、撮像対象を互いに異なる視点から所定のフレームごとに逐次撮像し、フレームごとに撮像された視点画像を、当該視点画像を伝送するための映像信号伝送フレームに載せて、後段に位置する画像処理装置１０に出力する。なお、以降の説明では、撮像部２１ａ及び２１ｂを特に区別しない場合には、単に「撮像部２１」と記載する場合がある。なお、映像信号伝送フレームに載せて画像処理装置１０に出力される視点画像が、「入力画像データ」の一例に相当する。
画像処理装置１０は、撮像部２１ａ及び２１ｂのそれぞれから映像信号伝送フレームを取得し、当該映像信号伝送フレームそれぞれに格納された各視点画像に対して各種画像処理を施す。そして、画像処理装置１０は、画像処理が施された各視点画像を、左眼用画像及び右眼用画像として表示装置３０に出力する。
ここで、図４を参照して、画像処理装置１０の機能構成についてさらに詳しく説明する。図４は、本実施形態に係る医療用立体観察システムにおける画像処理装置１０の機能構成の一例を示したブロック図である。
図４に示すように、画像処理装置１０は、画像処理部１１ａ及び１１ｂと、画像選択部１３とを含む。
本実施形態に係る画像処理装置１０では、撮像部２１ａは、前述したように、フレームごとに撮像された視点画像を、映像信号伝送フレームに載せて、画像処理部１１ａに出力する。画像処理部１１ａは、撮像部２１ａから映像信号伝送フレームを取得し、当該映像信号伝送フレーム中に格納された視点画像に対して画像処理を施すための構成である。
同様に、撮像部２１ｂは、フレームごとに撮像された視点画像を、映像信号伝送フレームに載せて画像処理部１１ｂに出力することとなる。画像処理部１１ｂは、撮像部２１ｂから映像信号伝送フレームを取得し、当該映像信号伝送フレーム中に格納された視点画像に対して画像処理を施すための構成である。
なお、本実施形態に係る画像処理装置１０では、このとき撮像部２１ａ及び２１ｂのそれぞれは、フレームごとに撮像された視点画像を伝送する映像信号伝送フレームの所定の領域に、視点画像の更新状態を示す制御信号（以降では、「状態信号」と称する場合がある）を格納する。
例えば、図５は、本実施形態に係る画像処理装置１０における、映像信号伝送フレームの概略的なデータ構造の一例を示した図である。図５に示すように、映像信号伝送フレームには、状態信号を格納するための状態信号格納領域が設けられている。本実施形態に係る医療用立体観察システムでは、映像信号伝送フレームには、前述した視点画像の更新状態を示す状態信号と、当該視点画像に対して施された画像処理の処理内容を示す状態信号とが格納される。
なお、視点画像の更新状態を示す状態信号としては、例えば、視点画像が更新されるごとにカウントアップするカウンタ信号のように、フレームごとに情報が更新される信号を用いるとよい。このように、映像信号伝送フレーム中に視点画像の更新状態を示す状態信号が格納されることで、当該映像信号伝送フレームを取得する後段の各構成は、映像信号伝送フレーム中の当該状態信号を参照することにより、視点画像が正しく更新されているか否かを確認することが可能となる。
なお、視点画像に対して施された画像処理の処理内容を示す状態信号の詳細については、別途後述する。
次に、画像処理部１１ａ及び１１ｂの詳細について説明する。なお、画像処理部１１ａ及び１１ｂは、互いに同様の構成を有している。そのため、画像処理部１１ａの機能構成について詳細に説明し、画像処理部１１ｂについては詳細な説明は省略する。また、以降では、画像処理部１１ａ及び１１ｂを特に区別しない場合には、単に「画像処理部１１」と記載する場合がある。また、画像処理部１１ａ及び１１ｂのうち、一方が「第１の画像処理部」の一例に相当し、他方が「第２の画像処理部」の一例に相当する。
画像処理部１１ａは、低機能処理ユニット１１１と、高機能処理ユニット１１２と、メモリ１１３、１１４、及び１１５と、パターン画像生成部（ＰＴＧ）１１６と、選択回路１１７とを含む。
メモリ１１３は、撮像部２１ａからフレームごとに逐次出力される映像信号伝送フレームを一時的に保持するための保持部（バッファ）である。撮像部２１ａから出力された映像信号伝送フレームは、メモリ１１３に保持される。また、メモリ１１３に保持された映像信号伝送フレームは、後述する低機能処理ユニット１１１及び高機能処理ユニット１１２により読み出される。
低機能処理ユニット１１１及び高機能処理ユニット１１２のそれぞれは、メモリ１１３に保持された映像信号伝送フレームを逐次読み出し、当該映像信号伝送フレームに格納された視点画像に対して所定の画像処理を施すための構成である。なお、低機能処理ユニット１１１及び高機能処理ユニット１１２は、メモリ１１３から読み出した映像信号伝送フレーム中の視点画像に対して、互いに異なる画像処理を施すように構成されている。
例えば、高機能処理ユニット１１２は、視点画像に対して画像解析を施すことで、当該視点画像中から特定の条件を満たす対象（例えば、特定の部位や病巣部等）を抽出し、抽出した対象に対して色を付ける等の所謂強調処理を施してもよい。また、他の一例として、高機能処理ユニット１１２は、取得した視点画像に対して、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等のような他の撮像装置により撮像された画像を重畳（フュージョン）させてもよい。また、他の一例として、高機能処理ユニット１１２は、蛍光撮影等のように特殊光を利用して撮像された視点画像から、当該特殊光の成分（所定の帯域を有する波長の成分）を抽出して画像を形成してもよい。なお、上記に説明した画像処理は、あくまで一例であり、高機能処理ユニット１１２が視点画像に対して施す画像処理の内容を限定するものではない。
これに対して、低機能処理ユニット１１１は、メモリ１１３から読み出した視点画像に対して、高機能処理ユニット１１２よりも、より簡素化された画像処理を施すように構成されている。具体的な一例として、低機能処理ユニット１１１は、読み出された視点画像を、電子画像として表示装置３０に表示させるために最低限の画像処理を施すように構成されていてもよい。
このように、画像処理部１１ａは、撮像部２１ａにより取得された視点画像に対して、互いに異なる画像処理を施す複数の画像処理ユニット（即ち、低機能処理ユニット１１１及び高機能処理ユニット１１２）を含む。なお、本説明では、画像処理部１１ａに含まれる複数の画像処理ユニットとして、低機能処理ユニット１１１及び高機能処理ユニット１１２が設けられている場合を例に説明しているが、必ずしも同構成に限定するものではない。即ち、各画像処理ユニットが、取得された視点画像に対して互いに異なる画像処理を施すように構成されていれば、当該各画像処理ユニットが視点画像に対して施す画像処理の内容は特に限定されない。
以上のようにして、高機能処理ユニット１１２は、メモリ１１３から読み出した映像信号伝送フレームに格納された視点画像に対して所定の画像処理を施す。そして、高機能処理ユニット１１２は、画像処理後の視点画像を映像信号伝送フレームに格納するとともに、図５に示すように、当該視点画像に対して施された画像処理の処理内容を示す状態信号を当該映像信号伝送フレームの状態信号格納領域に格納する。高機能処理ユニット１１２は、以上のようにして更新した映像信号伝送フレームを、メモリ１１５に保持させる。メモリ１１５は、高機能処理ユニット１１２から出力される、画像処理後の視点画像が格納された映像信号伝送フレームを保持するための保持部（バッファ）である。
同様に、低機能処理ユニット１１１は、メモリ１１３から読み出した映像信号伝送フレームに格納された視点画像に対して所定の画像処理を施す。そして、低機能処理ユニット１１１は、画像処理後の視点画像を映像信号伝送フレームに格納するとともに、当該視点画像に対して施された画像処理の処理内容を示す状態信号を当該映像信号伝送フレームの状態信号格納領域に格納する。低機能処理ユニット１１１は、以上のようにして更新した映像信号伝送フレームを、メモリ１１４に保持させる。メモリ１１４は、低機能処理ユニット１１１から出力される、画像処理後の視点画像が格納された映像信号伝送フレームを保持するための保持部（バッファ）である。
ＰＴＧ１１６は、パターン生成画を生成するための構成である。なお、パターン生成画とは、例えば、視点画像が更新されない場合等のように何らかの異常が発生して、視点画像を出力することが困難な場合に、当該視点画像の替わりに出力するための画像である。ＰＴＧ１１６は、生成したパターン画像を、選択回路１１７に出力する。
選択回路１１７は、画像処理部１１ａから出力される信号（例えば、映像信号伝送フレーム）を切り替えるための構成である。選択回路１１７は、制御部１１０からの制御に基づき、メモリ１１４に保持された映像信号伝送フレーム、メモリ１１５に保持された映像信号伝送フレーム、及び、ＰＴＧ１１６から出力されるパターン生成画のいずれかを、画像処理部１１ａの後段に位置する画像選択部１３に出力する。
制御部１１０は、撮像部２１ａからのメモリ１１３への映像信号伝送フレームの入力と、メモリ１１４及び１１５のそれぞれからの映像信号伝送フレームの出力とを監視し、監視結果に応じて、選択回路１１７による出力の切り替えを制御する。また、制御部１１０は、後述する画像選択部１３の制御部１３０からのフィードバックに基づき、選択回路１１７による出力の切り替えを制御してもよい。なお、制御部１１０の、選択回路１１７による出力の切り替えに係る制御の詳細については別途後述する。
次に、画像選択部１３の構成について説明する。画像選択部１３は、選択回路１３１ａ及び１３１ｂと、制御部１３０とを含む。
選択回路１３１ａは、制御部１３０からの制御に基づき、画像処理部１１ａから出力される信号（例えば、映像信号伝送フレーム）と、画像処理部１１ｂから出力される信号とのいずれかを右眼用画像として映像出力する。同様に、選択回路１３１ｂは、制御部１３０からの制御に基づき、画像処理部１１ａから出力される信号（例えば、映像信号伝送フレーム）と、画像処理部１１ｂから出力される信号とのいずれかを左眼用画像として映像出力する。
制御部１３０は、画像処理部１１ａ及び１１ｂのそれぞれから出力される信号を監視し、監視結果に応じて、画像処理部１１ａ及び１１ｂそれぞれの状態を認識する。具体的には、制御部１３０は、画像処理部１１ａ及び１１ｂから出力される映像信号伝送フレームに格納された状態信号に基づき、画像処理部１１ａ及び１１ｂそれぞれから出力される視点画像の更新状態や、当該視点画像に対して施された画像処理の処理内容を認識する。
そして、制御部１３０は、認識した画像処理部１１ａ及び１１ｂそれぞれの状態に応じて、選択回路１３１ａ及び１３１ｂそれぞれによる出力の切り替えを制御する。また、制御部１３０は、画像処理部１１ａ及び１１ｂのうち、一方の画像処理部１１からの信号の監視結果に基づく当該一方の画像処理部１１の状態に応じて、他方の画像処理部１１に情報をフィードバックすることで、当該他方の画像処理部１１の動作を制御する。これにより、他方の画像処理部１１は、制御部１３０からフィードバックされる情報に基づき、一方の画像処理部１１の状態を認識し、認識した当該状態に応じて、出力を切り替えることが可能となる。
なお、上記に説明した画像処理装置１０の各機能を実現することが可能であれば、医療用立体観察システムのシステム構成や、画像処理装置１０自体の構成は特に限定されない。具体的な一例として、撮像ユニット２０と画像処理装置１０とが、図２を参照して説明した手術用ビデオ顕微鏡装置４００として一体的に構成されていてもよい。また、他の一例として、画像処理装置１０は、表示装置３０に内蔵されていてもよい。また、画像処理装置１０中の画像処理部１１ａ及び１１ｂと、画像選択部１３とのそれぞれが、互いに異なる装置に設けられていてもよい。
以上、図２〜図５を参照して、本実施形態に係る医療用立体観察システムにおいて、撮像ユニットにより撮像された各視点画像に対して各種画像処理を施し、左眼用画像及び右眼用画像として出力する画像処理装置の機能構成の一例について説明した。
［２．３．切り替え制御の詳細］
次に、前述した本実施形態に係る画像処理装置１０による出力の切り替え制御の詳細について、特に、図３に示した画像処理部１１ａ及び１１ｂそれぞれの制御部１１０による制御と、画像選択部１３の制御部１３０による制御とに着目して説明する。
＜＜２．３．１．画像選択部における切り替え制御＞＞
まず、図６を参照して、画像選択部１３の制御部１３０による切り替え制御の詳細について説明する。図６は、画像選択部１３の制御部１３０が、選択回路１３１ａ及び１３１ｂそれぞれによる出力の切り替えと、画像処理部１１ａ及び１１ｂへの情報のフィードバックとを制御するための制御テーブルｄ１０の一例である。
図６に示すように、制御テーブルｄ１０は、各種制御を識別するための項番ｄ１１と、入力情報ｄ１２と、制御フィードバックｄ１３と、出力制御ｄ１４と、デフォルト設定ｄ１５とを含む。
入力情報ｄ１２は、左入力ｄ１２１と、右入力ｄ１２２とを含む。左入力ｄ１２１は、画像処理部１１ｂから出力される信号の種別を示している。また、右入力ｄ１２２は、画像処理部１１ａから出力される信号の種別を示している。図６に示すように、左入力ｄ１２１及び右入力ｄ１２２には、信号の種別として、「高機能処理画」、「低機能処理画」、及び「パターン生成画」のうちの少なくともいずれかが設定され得る。
左入力ｄ１２１及び右入力ｄ１２２に設定され得る信号の種別のうち、「高機能処理画」は、画像処理部１１からの入力信号として、当該画像処理部１１中の高機能処理ユニット１１２により画像処理が施された視点画像が入力されていることを示している。同様に、「低機能処理画」は、画像処理部１１からの入力信号として、当該画像処理部１１中の低機能処理ユニット１１１により画像処理が施された視点画像が入力されていることを示している。また、「パターン生成画」は、画像処理部１１からの入力信号として、当該画像処理部１１中のＰＴＧ１１６により生成されたパターン生成画が入力されていることを示している。
なお、制御部１３０は、各画像処理部１１から取得した映像信号伝送フレーム中に格納された処理内容を示す状態信号に基づき、当該画像処理部１１から出力される信号の種別を認識すればよい。
制御フィードバックｄ１３は、制御部１３０が、入力情報ｄ１２に応じて、画像処理部１１ａ及び１１ｂに対するフィードバック制御の内容を示している。図６に示すように、画像処理部１１ａ及び１１ｂには、「自律選択」及び「低機能処理選択」のうちの少なくともいずれかがフィードバックされ得る。
画像処理部１１ａ及び１１ｂに対するフィードバック制御のうち、「自律選択」は、画像処理部１１ａ及び１１ｂのそれぞれが自身の状態に応じて出力する信号の種別を選択するように、制御部１３０が、当該画像処理部１１ａ及び１１ｂの動作を制御することを意味している。また、「低機能処理選択」は、画像処理部１１ａ及び１１ｂのそれぞれが、低機能処理ユニット１１１により画像処理が施された視点画像を出力するように、制御部１３０が、当該画像処理部１１ａ及び１１ｂの動作を制御することを意味している。
また、出力制御ｄ１４は、左出力ｄ１４１と、右出力ｄ１４２とを含む。左出力ｄ１４１は、制御部１３０による、左眼用画像を出力する選択回路１３１ｂに対する制御の内容を示している。同様に、右出力ｄ１４２は、制御部１３０による、右眼用画像を出力する選択回路１３１ａに対する制御の内容を示している。図６に示すように、選択回路１３１ａ及び１３１ｂには、「自系統選択」及び「他系統選択」のうちの少なくともいずれかが指示される。
選択回路１３１ａ及び１３１ｂへの指示のうち、「自系統選択」は、制御部１３０が、選択回路１３１ａ及び１３１ｂのそれぞれに対して、自系統の入力を選択して出力するように指示することを意味している。ここで、自系統の入力とは、選択回路１３１ａ及び１３１ｂに対して、あらかじめ対応付けられた画像処理部１１からの入力を示している。具体的には、「自系統選択」が指示された場合に、選択回路１３１ａは、画像処理部１１ａ及び１１ｂのうち、画像処理部１１ａからの入力を右眼用画像として出力する。同様に、「自系統選択」が指示された場合に、選択回路１３１ｂは、画像処理部１１ａ及び１１ｂのうち、画像処理部１１ｂからの入力を左眼用画像として出力する。
また、「他系統選択」は、制御部１３０が、選択回路１３１ａ及び１３１ｂのそれぞれに対して、他系統の入力を選択して出力するように指示することを意味している。なお、他系統の入力とは、自系統として対応付けられた画像処理部１１とは異なる他の画像処理部１１からの入力を示している。即ち、「他系統選択」が指示された場合に、選択回路１３１ａは、画像処理部１１ａ及び１１ｂのうち、画像処理部１１ｂからの入力を右眼用画像として出力する。同様に、「他系統選択」が指示された場合に、選択回路１３１ｂは、画像処理部１１ａ及び１１ｂのうち、画像処理部１１ａからの入力を左眼用画像として出力する。
また、デフォルト設定ｄ１５は、項番ｄ１１により識別される各種制御のうち、デフォルトとして設定された制御を示している。例えば、図６に示す例では、項番ｄ１１として「Ｎｏ．１」で示された制御がデフォルトとして設定されている。なお、デフォルト設定ｄ１５で示された制御は、例えば、画像処理装置１０の起動時に初期設定として適用される。
＜＜２．３．２．画像処理部における切り替え制御＞＞
次に、図７を参照して、画像処理部１１ａ及び１１ｂそれぞれの制御部１１０による切り替え制御の詳細について説明する。図７は、画像処理部１１ａ及び１１ｂそれぞれの制御部１１０が、選択回路１１７による出力の切り替えを制御するための制御テーブルｄ２０の一例である。
図７に示すように、制御テーブルｄ２０は、各種制御を識別するための項番ｄ２１と、更新状態ｄ２２と、フィードバック入力ｄ２３と、出力選択ｄ２４と、デフォルト設定ｄ２５とを含む。
更新状態ｄ２２は、入力更新状態ｄ２２１と、低機能処理出力更新状態ｄ２２２と、高機能処理出力更新状態ｄ２２３とを含む。入力更新状態ｄ２２１は、画像処理部１１に対して、対応する撮像部２１から入力される視点画像の更新状態を示している。即ち、入力更新状態ｄ２２１には、入力される視点画像の更新状態として、「更新あり」及び「更新なし」のうちの少なくともいずれかが設定され得る。
また、低機能処理出力更新状態ｄ２２２は、低機能処理ユニット１１１により画像処理が施された視点画像の更新状態を示している。同様に、高機能処理出力更新状態ｄ２２３は、高機能処理ユニット１１２により画像処理が施された視点画像の更新状態を示している。低機能処理出力更新状態ｄ２２２及び高機能処理出力更新状態ｄ２２３には、各画像処理ユニットにより画像処理が施された視点画像の更新状態として、「OK」、「NG」、及び「Don’t care」のうちの少なくともいずれかが設定され得る。
各画像処理ユニットにより画像処理が施された視点画像の更新状態のうち、「OK」は、画像処理後の視点画像が正しく更新されていることを意味している。また、「NG」は、視点画像に対する画像処理の過程で何らかの異常が発生し、視点画像が正しく更新されなかったことを意味している。また、「Don’t care」は、判定の対象外であることを意味している。
また、フィードバック入力ｄ２３は、画像選択部１３の制御部１３０からのフィードバック制御の内容を示している。前述したように、各画像処理部１１に対して制御部１３０からは、「自律選択」及び「低機能処理選択」のうちの少なくともいずれかがフィードバックされ得る。また、「Don’t care」は、判定の対象外であることを意味している。
また、出力選択ｄ２４は、制御部１１０による、選択回路１１７に対する制御の内容を示している。図７に示すように、選択回路１１７には、「高機能処理画選択」、「低機能処理画選択」、及び「パターン生成画選択」のうちの少なくともいずれかが指示される。
選択回路１１７への指示のうち、「高機能処理画選択」は、制御部１１０が、選択回路１１７に対して、高機能処理ユニット１１２から出力された映像信号伝送フレーム（即ち、メモリ１１５に保持された映像信号伝送フレーム）を出力するように指示することを意味している。同様に、「低機能処理画選択」は、制御部１１０が、選択回路１１７に対して、低機能処理ユニット１１１から出力された映像信号伝送フレーム（即ち、メモリ１１４に保持された映像信号伝送フレーム）を出力するように指示することを意味している。また、「パターン生成画選択」は、制御部１１０が、選択回路１１７に対して、ＰＴＧ１１６により生成されたパターン生成画を出力するように指示することを意味している。
また、デフォルト設定ｄ２５は、項番ｄ２１により識別される各種制御のうち、デフォルトとして設定された制御を示している。例えば、図７に示す例では、項番ｄ２１として「Ｎｏ．２」で示された制御がデフォルトとして設定されている。なお、デフォルト設定ｄ２５で示された制御は、例えば、画像処理装置１０の起動時に初期設定として適用される。
＜＜２．３．３．切り替え制御の具体例１＞＞
次に、本実施形態に係る画像処理装置１０による出力の切り替え制御の詳細な内容について、具体的な例を挙げて説明する。
まず、具体例１として、画像処理部１１ａの高機能処理ユニット１１２が、例えば、周囲温度の上昇に伴い動作が困難となった場合における、画像処理装置１０の動作の一例について説明する。なお、このとき、撮像部２１ａから入力される視点画像は正しく更新され、画像処理部１１ａの低機能処理ユニット１１１は、正常に動作可能な状態にあるものとする。また、画像選択部１３の制御部１３０からは、画像処理部１１ａの制御部１１０に対して、「自律選択」がフィードバックされているものとする。
この場合には、まず、画像処理部１１ａの制御部１１０は、メモリ１１５からの映像信号伝送フレームの出力の監視結果に基づき、高機能処理ユニット１１２からの出力が更新されていないこと（換言すると、高機能処理ユニット１１２に何らかの異常が発生したこと）を検出する。
この監視結果を受けて、画像処理部１１ａの制御部１１０は、高機能処理出力更新状態ｄ２２３を「NG」に設定する。このとき、図７に示した制御テーブルｄ２０において、項番ｄ２１として「Ｎｏ．４」で示された制御に基づき、選択回路１１７に、低機能処理ユニット１１１から出力された映像信号伝送フレームを出力するように指示する。
この指示を受けて、選択回路１１７は、メモリ１１４に保持された低機能処理ユニット１１１からの映像信号伝送フレームを、後段の画像選択部１３に出力する。なお、このとき選択回路１１７から出力される映像信号伝送フレームには、低機能処理ユニット１１１により画像処理が施されたことを示す状態信号が格納されていることとなる。
次いで、画像選択部１３の制御部１３０は、画像処理部１１ａから出力される映像信号伝送フレーム中の状態信号の監視結果から、画像処理部１１ａからの出力が、低機能処理ユニット１１１により出力された映像信号伝送フレームに切り替わったことを認識する。即ち、この時点では、画像処理部１１ａからは、低機能処理ユニット１１１からの映像信号伝送フレームが出力され、画像処理部１１ｂからは、高機能処理ユニット１１２からの映像信号伝送フレームが出力されている状態となる。
そのため、制御部１３０は、図６に示した制御テーブルｄ１０において、項番ｄ１１として「Ｎｏ．２」で示された制御に基づき、少なくとも画像処理部１１ｂに対して「低機能処理選択」をフィードバックする。このとき、撮像部２１ｂから画像処理部１１ｂに対して入力される視点画像は正しく更新され、画像処理部１１ｂの高機能処理ユニット１１２及び低機能処理ユニット１１１は、正常に動作可能な状態にあるものとする。
画像処理部１１ｂの制御部１１０は、制御部１３０から「低機能処理選択」のフィードバックを受信すると、図７に示した制御テーブルｄ２０において、項番ｄ２１として「Ｎｏ．３」で示された制御に基づき、選択回路１１７を制御する。即ち、画像処理部１１ｂの制御部１１０は、低機能処理ユニット１１１から出力された映像信号伝送フレームを出力するように指示する。
この指示を受けて、選択回路１１７は、メモリ１１４に保持された低機能処理ユニット１１１からの映像信号伝送フレームを、後段の画像選択部１３に出力する。
以上のような制御により、画像処理部１１ａ及び１１ｂの双方から、低機能処理ユニット１１１からの映像信号伝送フレームが出力される。
なお、このとき制御部１３０は、図６に示した制御テーブルｄ１０において、項番ｄ１１として「Ｎｏ．５」で示された制御に基づき、選択回路１３１ａ及び１３１ｂを制御する。即ち、左出力ｄ１４１及び右出力ｄ１４２の双方には「自系統選択」が設定されているため、選択回路１３１ａ及び１３１ｂは、自系統の入力を選択して出力することとなる。
より具体的には、この場合には、選択回路１３１ａは、画像処理部１１ａからの入力として取得した、当該画像処理部１１ａの低機能処理ユニット１１１から出力された映像信号伝送フレームを、右眼用画像として出力する。同様に、選択回路１３１ｂは、画像処理部１１ｂからの入力として取得した、当該画像処理部１１ｂの低機能処理ユニット１１１から出力された映像信号伝送フレームを、左眼用画像として出力する。
以上のような構成により、画像処理装置１０は、画像処理部１１ａ及び１１ｂのいずれか一方において、高機能処理ユニット１１２が低機能処理ユニット１１１に切り替わった場合に、他方についても低機能処理ユニット１１１に切り替わるように制御する。即ち、本実施形態に係る画像処理装置１０に依れば、いずれか一方の画像処理部１１に不具合が生じた場合においても、左眼用画像と右眼用画像とが整合するように制御され、ユーザは、３次元画像を観測することが可能となる。
＜＜２．３．４．切り替え制御の具体例２＞＞
次に、具体例２として、撮像部２１ａ及び撮像部２１ｂのうち、撮像部２１ｂに異常が発生し画像処理部１１ｂへ入力される視点画像の更新が停止した場合の、画像処理装置１０の動作の一例について説明する。なお、このとき、画像処理部１１ｂの低機能処理ユニット１１１及び高機能処理ユニット１１２は、正常に動作可能な状態にあるものとする。また、画像選択部１３の制御部１３０からは、画像処理部１１ｂの制御部１１０に対して、「自律選択」がフィードバックされているものとする。
この場合には、まず、画像処理部１１ｂの制御部１１０は、メモリ１１３への映像信号伝送フレームの入力の監視結果に基づき、撮像部２１ｂからの入力が更新されていないこと（換言すると、撮像部２１ｂに何らかの異常が発生したこと）を検出する。
この監視結果を受けて、画像処理部１１ｂの制御部１１０は、入力更新状態ｄ２２１を「更新なし」に設定する。このとき、図７に示した制御テーブルｄ２０において、項番ｄ２１として「Ｎｏ．１」で示された制御に基づき、選択回路１１７に、ＰＴＧ１１６により生成されたパターン生成画を出力するように指示する。
この指示を受けて、画像処理部１１ｂの選択回路１１７は、ＰＴＧ１１６から出力されるパターン生成画を、後段の画像選択部１３に出力する。
次いで、画像選択部１３の制御部１３０は、画像処理部１１ｂからの出力の監視結果に基づき、画像処理部１１ｂからの出力が、パターン生成画に切り替わったことを認識する。即ち、この時点では、画像処理部１１ａからは、高機能処理ユニット１１２からの映像信号伝送フレームが出力され、画像処理部１１ｂからは、パターン生成画が出力されている状態となる。
そのため、制御部１３０は、図６に示した制御テーブルｄ１０において、項番ｄ１１として「Ｎｏ．７」で示された制御に基づき、選択回路１３１ａ及び１３１ｂを制御することとなる。即ち、左出力ｄ１４１には「他系統選択」が設定されているため、選択回路１３１ｂは、他系統の入力（即ち、画像処理部１１ａからの入力）を選択して出力することとなる。また、右出力ｄ１４２には、「自系統選択」が設定されているため、選択回路１３１ａは、自系統の入力（即ち、画像処理部１１ａからの入力）を選択して出力することとなる。
以上のような構成により、画像処理装置１０は、画像処理部１１ａ及び１１ｂのいずれか一方において、撮像部２１により撮像された画像を出力することが困難な状況となった場合に、他方からの出力が右眼用画像及び左眼用画像として出力されるように制御する。このような制御により、ユーザは、３次元画像を観察することは困難になるものの、撮像対象となる患部を２次元画像として観察することが可能となる。
なお、上記では、撮像部２１に異常が発生した場合を例に説明したが、画像処理部１１ａ及び１１ｂのうち、いずれかにおいて、高機能処理ユニット１１２及び低機能処理ユニット１１１の双方に異常が発生した場合についても同様である。
［２．４．処理］
次に、前述した本実施形態に係る画像処理装置１０による出力の切り替え制御に係る一連の動作の流れの一例について、特に、画像処理装置１０の画像選択部１３の動作に着目して説明する。例えば、図８は、本実施形態に係る画像処理装置１０による出力の切り替え制御に係る一連の動作の流れの一例を示したフローチャートである。
（ステップＳ１０１）
撮像ユニット２０中の各撮像部２１により撮像された視点画像は、画像処理装置１０の各画像処理部１１により画像処理が施されたうえで、映像信号伝送フレームに載せられて、当該画像処理装置１０の画像選択部１３に出力される。このとき、画像選択部１３に出力される映像信号伝送フレームには、撮像部２１及び画像処理部１１のそれぞれにより、各構成の処理状態に応じた状態信号が格納される。
（ステップＳ１０３）
画像選択部１３の制御部１３０は、各画像処理部１１から出力される信号を監視し、監視結果に応じて、各画像処理部１１の状態を認識する。具体的には、制御部１３０は、画像処理部１１ａ及び１１ｂから出力される映像信号伝送フレームに格納された状態信号に基づき、各画像処理部１１から出力される視点画像の更新状態や、当該視点画像に対して施された画像処理の処理内容を認識する。
（ステップＳ１０７）
制御部１３０は、状態信号に基づき各画像処理部１１のうち少なくともいずれかの状態異常を検出した場合には（ステップＳ１０５、ＹＥＳ）、選択回路１３１ａ及び１３１ｂを制御することで、左眼用画像及び右眼用画像として出力される視点画像を切り替える。
具体的な一例として、各画像処理部１１のうち、一方の画像処理部１１が、視点画像を更新することが困難な状態となり、パターン生成画像を出力する状態に遷移したものとする。この場合には、制御部１３０は、他方の画像処理部１１からの出力が、左眼用画像及び右眼用画像として出力されるように、選択回路１３１ａ及び１３１ｂを制御する。
（ステップＳ１０９）
また、制御部１３０は、各画像処理部１１のうち、一方の画像処理部１１の状態に応じて、他方の画像処理部１１に情報をフィードバックすることで、当該他方の画像処理部１１の動作を制御してもよい。
具体的な一例として、各画像処理部１１のうち、一方の画像処理部１１において、高機能処理ユニット１１２に異常が発生し、当該一方の画像処理部１１が、低機能処理ユニット１１１により画像処理が施された視点画像を出力する状態に遷移したものとする。この場合には、制御部１３０は、他方の画像処理部１１が、低機能処理ユニット１１１により画像処理が施された視点画像を出力するように、所定の情報（例えば、図６において、制御フィードバックｄ１３として示された「低機能処理選択」）をフィードバックする。この制御部１３０からのフィードバックを受けて、他方の画像処理部１１は、低機能処理ユニット１１１により画像処理が施された視点画像が出力されるように、選択回路１１７を制御する。これにより、各画像処理部１１から、低機能処理ユニット１１１により画像処理が施された視点画像が出力されることとなり、左眼用画像として出力される視点画像と、右眼用画像として出力される視点画像とが整合することとなる。
なお、各画像処理部１１の状態に異常が発生しない限りは（ステップＳ１０５、ＮＯ）、制御部１３０は、ステップＳ１０７及びＳ１０９として示した処理を必ずしも実行しなくてもよいことは言うまでもない。
（ステップＳ１１１）
制御部１３０は、以上説明した一連の処理を、医療用立体観察システムによる観察画像の取得の終了が指示されない限り（換言すると、撮像ユニット２０により各視点画像が取得される限り）継続する（ステップＳ１１１、ＮＯ）。そして、医療用立体観察システムによる観察画像の取得の終了が指示されると（ステップＳ１１１、ＹＥＳ）、制御部１３０は、上述した一連の処理の実行を終了する。
以上、図８を参照して、本実施形態に係る画像処理装置１０による出力の切り替え制御に係る一連の動作の流れの一例について、特に、画像処理装置１０の画像選択部１３の動作に着目して説明した。
［２．５．変形例］
次に、本開示の一実施形態に係る医療用立体観察システムの変形例について、特に画像処理装置１０に着目して説明する。
＜＜２．５．１．変形例１：切り替え制御時における状態の報知＞＞
前述したように、本実施形態に係る画像処理装置１０の制御部１３０は、画像処理部１１ａ及び１１ｂのそれぞれから出力される信号を監視し、監視結果に応じて、画像処理部１１ａ及び１１ｂそれぞれの状態を認識する。そして、制御部１３０は、認識した画像処理部１１ａ及び１１ｂそれぞれの状態に応じて、各画像処理部１１における画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えを制御する。そのため、画像処理装置１０は、各画像処理部１１における画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えが行われた場合に、この状態の変化（即ち、画像処理装置１０の状態の変化）をユーザに報知するように構成されていてもよい。
そこで、変形例１として、画像処理装置１０が、各画像処理部１１における画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えに伴う状態の変化に応じて、ユーザに対して情報を報知する構成の一例について説明する。
具体的な一例として、画像処理装置１０は、ユーザに対して情報を報知するための報知部を介して、画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えに伴う状態の変化を報知してもよい。
当該報知部は、例えば、ディスプレイのような表示デバイスにより構成されていてもよい。この場合には、報知部は、画像処理装置１０の状態の変化をユーザに報知するための報知情報を、表示情報として表示デバイスに表示させることで、当該報知情報をユーザに報知すればよい。
また、他の一例として、報知部は、ＬＥＤ（Light Emitting Diode）のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知部は、スピーカ等のように、所定の音響（例えば、効果音または音声）を出力することで、所定の情報をユーザに報知するデバイスであってもよい。このように、ユーザに対して情報を報知することが可能であれば、報知部の態様は特に限定されない。
なお、報知部を介したユーザへの情報の報知に係る動作は、例えば、画像処理装置１０中の制御部１３０が制御すればよい。この場合には、例えば、制御部１３０は、図６に示した制御テーブルｄ１０に規定された各種制御のうち、デフォルト以外の制御を実行した場合に、実行した制御に応じた報知情報を、報知部に報知させればよい。もちろん、各画像処理部１１における画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えに伴う状態の変化をユーザに報知できれば、報知部の制御主体が制御部１３０に限定されないことは言うまでもない。
また、他の一例として、左眼用画像及び右眼用画像として観測される視点画像中に報知情報を表示させることで、画像処理装置１０の状態の変化をユーザに報知してもよい。
例えば、図９は、画像処理装置１０の状態の変化を示す情報の報知方法の一例を示した図であり、報知情報を視点画像中に表示させた場合における当該視点画像の表示例を示している。具体的には、図９は、画像処理部１１中の高機能処理ユニット１１２に異常が発生し、低機能処理ユニット１１１に切り替わった場合に、右眼用画像及び左目用画像としてユーザに観測される視点画像の一例を示している。
即ち、図９に示す例では、視点画像ｖ１０中に、画像処理部１１の画像処理ユニットが、高機能処理ユニット１１２から低機能処理ユニット１１１に切り替えられたことを示す報知情報ｖ１１が提示されている。
なお、視点画像中に報知情報が提示されるように制御することが可能であれば、当該制御の主体は特に限定されない。具体的な一例として、画像処理装置１０中の制御部１３０が、各画像処理部１１から出力される映像信号伝送フレームを取得し、取得した映像信号伝送フレーム中の視点画像に、画像処理装置１０の状態の変化に応じた報知情報を重畳させてもよい。
また、他の一例として、画像処理装置１０中の各画像処理部１１が、処理対象となる視点画像に、自身の状態に応じた報知情報を重畳させてもよい。
また、この場合には、例えば、低機能処理ユニット１１１は、自身が出力する視点画像に対して、常に、報知情報を重畳させてもよい。このような構成により、例えば、高機能処理ユニット１１２に異常が発生し、同低機能処理ユニット１１１により画像処理が施された視点画像が画像処理部１１から出力された場合に、当該視点画像に重畳された報知情報がユーザにより観測されることとなる。そのため、ユーザは、視点画像上に表示された報知情報に基づき、画像処理部１１の画像処理ユニットが、高機能処理ユニット１１２から低機能処理ユニット１１１に切り替えられたことを認識することが可能となる。
なお、上記に説明した例は、あくまで一例であり、画像処理装置１０の状態の変化をユーザに対して報知することが可能であれば、その方法や、当該報知に係る動作の主体は特に限定されない。
以上、変形例１として、画像処理装置１０が、各画像処理部１１における画像処理ユニットの切り替えや、左眼用画像及び右眼用画像として出力される視点画像の切り替えに伴う状態の変化に応じて、ユーザに対して情報を報知する構成の一例について説明した。
＜＜２．５．２．変形例２：複数の段階に分けて画像処理を施す場合の構成例＞＞
次に、変形例２として、撮像ユニットにより取得された各視点画像に対する画像処理を、複数の段階に分けて実行する場合に、当該段階ごとに画像処理ユニットを切り替え可能に構成された画像処理装置の構成の一例について説明する。なお、以降では、変形例２に係る画像処理装置を、前述した実施形態に係る画像処理装置１０と区別するために、「画像処理装置５０」と記載する場合がある。また、本説明では、変形例２に係る画像処理装置５０について、前述した実施形態に係る画像処理装置１０と異なる構成に着目して説明することとし、その他の構成については詳細な説明は省略する。
例えば、図１０は、変形例２に係る画像処理装置５０の機能構成の一例を示したブロック図である。図１０において、参照符号１１ａ１、１１ａ２、１１ｂ１、及び１１ｂ２のそれぞれは、前述した実施形態に係る画像処理装置１０における画像処理部１１に相当し得る。なお、図１０では、画像処理部１１ａ１、１１ａ２、１１ｂ１、及び１１ｂ２の機能ブロックは、一部の構成の図示を省略することで簡略化して示しているが、前述した実施形態に係る画像処理部１１と同様の構成を有するものとする。そのため、以降では、画像処理部１１ａ１、１１ａ２、１１ｂ１、及び１１ｂ２を特に区別しない場合には、単に「画像処理部１１」と記載する場合がある。
図１０に示す構成では、撮像部２１ａにより取得された視点画像に対して、画像処理部１１ａ１及び１１ａ２が順次画像処理を施し、画像処理後の視点画像を載せた映像信号伝送フレームを画像選択部１３に出力する。同様に、撮像部２１ｂにより取得された視点画像については、画像処理部１１ｂ１及び１１ｂ２が順次画像処理を施し、画像処理後の視点画像を載せた映像信号伝送フレームを画像選択部１３に出力する。
即ち、図１０に示す例では、撮像部２１ａ及び２１ｂそれぞれにより取得された視点画像に対して、画像処理部１１ａ１及び１１ｂ１により第１段階目の画像処理が施され、その結果に対して、画像処理部１１ａ２及び１１ｂ２により第２段階目の画像処理が施される。そのため、図１０に示す例では、各段階において出力される各視点画像が整合するように、各画像処理部１１が構成されている。
具体的には、変形例２に係る画像処理装置５０では、各視点画像に対して第１段階目の画像処理を施す画像処理部１１ａ１及び１１ｂ１は、互いに同様の構成（より具体的には、同様の画像処理ユニット）を有し、各視点画像に対して同様の画像処理を施すように構成されている。また、各視点画像に対して第２段階目の画像処理を施す画像処理部１１ａ２及び１１ｂ２は、互いに同様の構成を有し、各視点画像に対して同様の画像処理を施すように構成されている。
そして、変形例２に係る画像処理装置５０では、いずれかの画像処理部１１に異常が発生した場合に、段階ごとに画像処理部１１における画像処理ユニットの切り替えを制御する。具体的な一例として、画像処理装置５０は、第１段階目に相当する画像処理部１１ａ１において画像処理ユニットが切り替わった場合には、第１段階目に相当する他方の画像処理部１１ｂ１においても、同様に画像処理ユニットが切り替わるように制御する。また、他の一例として、画像処理装置５０は、第２段階目に相当する画像処理部１１ｂ２において画像処理ユニットが切り替わった場合には、第２段階目に相当する他方の画像処理部１１ａ２においても、同様に画像処理ユニットが切り替わるように制御する。
以上のような制御により、変形例２に係る画像処理装置５０は、各視点画像に対して施される画像処理の各段階において、出力される各視点画像が整合するように制御することが可能となる。
そこで、以降では、上記に説明した、変形例２に係る画像処理装置５０による出力の切り替え制御を実現するための仕組みの一例について説明する。
まず、図１１を参照して、変形例２に係る画像処理装置５０における、映像信号伝送フレームの概略的なデータ構造の一例について説明する。図１１は、変形例２に係る画像処理装置５０における、映像信号伝送フレームの概略的なデータ構造の一例を示した図である。
図１１に示すように、変形例２に係る画像処理装置５０では、各視点画像に対して施される画像処理の段階ごとに、「更新状態」と「処理内容」とを示す状態信号が、対応する画像処理部１１により格納される。
具体的な一例として、撮像部２１ａにより取得された視点画像の流れに着目した場合に、当該視点画像を載せた映像信号伝送フレームは、まず、画像処理部１１ａ１に入力される。
画像処理部１１ａ１では、撮像部２１ａにより取得された視点画像に対して画像処理が施される。このとき、画像処理部１１ａ１は、当該視点画像の更新状態や、当該画像処理の内容に応じて、第１段階目に対応する「更新状態」及び「処理内容」を示す状態信号を映像信号伝送フレームに格納する。そして、画像処理部１１ａ１は、当該映像信号伝送フレームを、後段に位置する画像処理部１１ａ２に出力する。
次いで、画像処理部１１ａ２では、画像処理部１１ａ１からの出力を受けて、当該、画像処理部１１ａ１により画像処理が施された視点画像に対して、さらに画像処理が施される。このとき、画像処理部１１ａ２は、当該視点画像の更新状態や、当該画像処理の内容に応じて、第２段階目に対応する「更新状態」及び「処理内容」を示す状態信号を、映像信号伝送フレーム中の、第１段階目に対応する状態信号とは異なる領域に格納する。そして、画像処理部１１ａ２は、当該映像信号伝送フレームを、後段に位置する画像選択部１３に出力する。
このように、変形例２に係る画像処理装置５０では、各視点画像に対して施される画像処理の段階ごとに、「更新状態」と「処理内容」とを示す状態信号が映像信号伝送フレーム中に格納される。そのため、画像選択部１３の制御部１３０は、各段階に対応した画像処理部１１のいずれかに異常が発生した場合においても、各段階に対応した状態信号に基づき各画像処理部１１の状態を個々に認識することが可能である。
これにより、変形例２に係る画像処理装置５０では、制御部１３０は、各画像処理部１１における画像処理ユニットが、画像処理の段階ごとに切り替えられるように、対応する画像処理部１１に対して情報をフィードバックすることが可能となる。
具体的な一例として、第１段階目に相当する画像処理部１１ａ１において高機能処理ユニット１１２に異常が発生し、低機能処理ユニット１１１に切り替わったものとする。
この場合には、撮像部２１ａにより取得された視点画像を伝送するための映像信号伝送フレーム中に、第１段階目の画像処理の処理内容を示す状態信号として、低機能処理ユニット１１１による処理を示す情報が格納される。これにより、制御部１３０は、画像処理部１１ａ１おいて、画像処理ユニットが、低機能処理ユニット１１１に切り替わったことを認識する。
そして、制御部１３０は、撮像部２１ｂにより取得された視点画像に対して第１段階目の画像処理を施す画像処理部１１ｂ１において、画像処理ユニットを低機能処理ユニット１１１に切り替えられるように、当該画像処理部１１ｂ１に情報をフィードバックする。
以上のような動作により、撮像部２１ａ及び２１ｂにより取得された各視点画像に対して、第１段階目の画像処理を施す画像処理部１１ａ１及び１１ｂ１それぞれからの出力が整合するように制御される。
なお、上記に説明した変形例２に係る画像処理装置５０の各機能が実現可能であれば、当該画像処理装置５０の構成、当該構成間における情報の伝達方法、及び各種制御の主体は特に限定されないことは言うまでもない。
以上、変形例２として、図１０及び図１１を参照して、撮像ユニットにより取得された各視点画像に対する画像処理を、複数の段階に分けて実行する場合に、当該段階ごとに画像処理ユニットを切り替え可能に構成された画像処理装置の構成の一例について説明した。
＜３．ハードウェア構成＞
次に、図１２を参照しながら、前述した手術用ビデオ顕微鏡装置や画像処理装置のような、本実施形態に係る医療用立体観察システムを構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図１２は、本開示の一実施形態に係る医療用立体観察システムを構成する情報処理装置９００のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る医療用立体観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図４及び図１０を参照して前述した、各画像処理部１１の制御部１１０や、画像選択部１３の制御部１３０は、ＣＰＵ９０１により実現され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、変形例１として前述した報知部は、出力装置９１７により実現され得る。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る医療用立体観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１２では図示しないが、医療用立体観察システムを構成する情報処理装置９００（即ち、手術用ビデオ顕微鏡装置や画像処理装置）に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る医療用立体観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜４．まとめ＞
以上説明したように、本開示の一実施形態に係る医療用立体観察システムでは、撮像部２１や画像処理部１１により、視点画像の更新状態や、視点画像に施された画像処理の処理内容を示す状態信号が、当該視点画像を載せた映像信号伝送フレーム中に格納される。また、各画像処理部１１の後段に位置する画像選択部１３は、各画像処理部１１それぞれから出力される映像信号伝送フレーム中の状態信号を監視する。これにより、画像選択部１３は、当該監視結果に基づき、各画像処理部１１による各視点画像に対する画像処理の状態、即ち、当該画像処理部１１から出力される視点画像の更新状態や、当該視点画像に対して施された画像処理の内容を認識することが可能となる。
そして、画像選択部１３は、認識した各画像処理部１１の状態に応じて、左眼用画像及び右眼用画像として出力される視点画像を切り替える。また、画像選択部１３は、各視点画像に対して画像処理を施す画像処理部１１のうち、一方の画像処理部１１の状態に応じて、他方の画像処理部１１に情報をフィードバックすることで、当該画像処理部１１の動作を制御する。これにより、他方の画像処理部１１は、画像選択部１３からフィードバックされる情報に基づき、一方の画像処理部１１の状態を認識し、認識した当該状態に応じて、出力を切り替えることが可能となる。
このような構成により、本実施形態に係る医療用立体観察システムでは、複数の視点画像それぞれについて画像処理を施す画像処理ユニットのうち一方に不具合が生じた場合においても、左右の眼それぞれに観測される視点画像が整合するように制御することが可能となる。
なお、上記の説明では、状態信号を映像信号伝送フレーム中に格納することで、画像処理部１１から、後段に位置する画像選択部１３に対して、各視点画像に対する画像処理の状態を伝送する例について説明した。しかしながら、画像処理部１１から画像選択部１３に対して状態信号を伝送することが可能であれば、その方法は特に限定されないことは言うまでもない。具体的な一例として、各視点画像と、状態信号とは、互いに異なる情報として個別に伝送されてもよい。また、他の一例として、状態信号は、視点画像が伝送される経路とは異なる経路を介して伝送されてもよい。
また、上記の説明では、本開示の一実施形態に係る医療用立体観察装置の一例として、アームを備えた手術用ビデオ顕微鏡装置について説明したが、必ずしも同構成に限定するものではない。具体的な一例として、本実施形態に係る医療用立体観察装置は、アームを具備しない手術用ビデオ顕微鏡装置として構成されていてもよい。即ち、図３に示した機能構成に基づき実現可能であれば、本実施形態に係る医療用立体観察装置の構成は特に限定されない。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得する取得部と、
前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせる制御部と、
を備える、医療用立体観察装置。
（２）
前記状態信号は、選択された前記画像処理ユニットによる前記画像処理の内容に応じた情報を含み、
前記制御部は、前記第２の画像処理部に、選択された前記画像処理ユニットを、前記第１の画像処理部から取得した前記状態信号に含まれる前記画像処理の内容に応じた前記画像処理ユニットに切り替えさせる、
前記（１）に記載の医療用立体観察装置。
（３）
前記状態信号は、前記出力画像データの更新状態に応じた情報を含み、
前記制御部は、前記右眼用画像及び前記左眼用画像として出力される前記出力画像データを、当該複数系統の画像処理部それぞれから出力される前記出力画像データの間で切り替える切替え部を、前記複数系統の画像処理部のそれぞれから取得した前記状態信号に含まれる前記更新状態に応じて制御する、
前記（１）に記載の医療用立体観察装置。
（４）
前記制御部は、前記第１の画像処理部から取得した前記状態信号に含まる前記更新状態に応じて、前記第２の画像処理部から出力される前記出力画像データが、前記右眼用画像及び前記左眼用画像として出力されるように前記切替え部を制御する、前記（３）に記載の医療用立体観察装置。
（５）
前記取得部は、前記画像処理部それぞれから出力される前記出力画像データに埋め込まれた前記状態信号を取得する、前記（１）〜（４）のいずれか一項に記載の医療用立体観察装置。
（６）
前記複数系統の画像処理部のそれぞれは、前記入力画像データに対する一連の前記画像処理を複数の段階に分けて、当該段階ごとに設けられた複数の前記画像処理ユニットのうち、選択された当該画像処理ユニットにより、当該段階に対応する前記画像処理を施し、
前記取得部は、前記複数の段階それぞれに対応する前記画像処理の状態に応じた前記状態信号を取得し、
前記制御部は、前記第１の画像処理部から取得した前記状態信号が示す前記段階ごとの前記画像処理の状態に応じて、前記第２の画像処理部に、当該段階に対応して選択された前記画像処理ユニットを切り替えさせる、
前記（１）〜（５）のいずれか一項に記載の医療用立体観察装置。
（７）
前記制御部は、前記状態信号に基づき、前記複数系統の画像処理部のうち少なくともいずれかの前記画像処理部について、選択された前記画像処理ユニットの切り替えを検出した場合に、当該切り替えを示す報知情報を所定の報知部に報知させる、前記（１）〜（６）のいずれか一項に記載の医療用立体観察装置。
（８）
前記複数系統の画像処理部を備える、前記（１）〜（７）のいずれか一項に記載の医療用立体観察装置。
（９）
前記画像処理部は、前記複数の画像処理ユニットのうち、所定の前記画像処理ユニットが選択された場合に、所定の報知情報を前記出力画像データ中に提示する、前記（８）に記載の医療用立体観察装置。
（１０）
前記画像処理部は、選択された前記画像処理ユニットによる前記画像処理の状態を監視し、当該監視結果に応じて、当該画像処理ユニットを他の画像処理ユニットに切り替え、当該切り替えに応じた前記状態信号を出力する、前記（８）または（９）に記載の医療用立体観察装置。
（１１）
前記複数の画像処理ユニットは、前記入力画像データに対して、互いに異なる画像処理を施す、前記（１）〜（１０）のいずれか一項に記載の医療用立体観察装置。
（１２）
複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、
プロセッサが、前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、
を含む、医療用立体観察方法。
（１３）
コンピュータに、
複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、
前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、
を実行させる、プログラム。
１０ 画像処理装置
１１ａ、１１ｂ 画像処理装置
１１０ 制御部
１１１ 低機能処理ユニット
１１２ 高機能処理ユニット
１１３、１１４、１１５ メモリ
１１７ 選択回路
１３ 画像選択部
１３０ 制御部
１３１ａ 選択回路
１３１ｂ 選択回路
２０ 撮像ユニット
２１ａ、２１ｂ 撮像部
３０ 表示装置
５０ 画像処理装置
４００ 手術用ビデオ顕微鏡装置
４１０ ベース部
４２０ アーム部
４２１ａ〜４２１ｆ 関節部
４２２ａ〜４２２ｃ リンク
４７３ 撮像ユニット

Claims (12)

  1. 互いに異なる画像処理を施す複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得する取得部と、
    前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせる制御部と、
    を備える、医療用立体観察装置。
  2. 前記状態信号は、選択された前記画像処理ユニットによる前記画像処理の内容に応じた情報を含み、
    前記制御部は、前記第２の画像処理部に、選択された前記画像処理ユニットを、前記第１の画像処理部から取得した前記状態信号に含まれる前記画像処理の内容に応じた前記画像処理ユニットに切り替えさせる、
    請求項１に記載の医療用立体観察装置。
  3. 前記状態信号は、前記出力画像データの更新状態に応じた情報を含み、
    前記制御部は、前記右眼用画像及び前記左眼用画像として出力される前記出力画像データを、当該複数系統の画像処理部それぞれから出力される前記出力画像データの間で切り替える切替え部を、前記複数系統の画像処理部のそれぞれから取得した前記状態信号に含まれる前記更新状態に応じて制御する、
    請求項１に記載の医療用立体観察装置。
  4. 前記制御部は、前記第１の画像処理部から取得した前記状態信号に含まる前記更新状態に応じて、前記第２の画像処理部から出力される前記出力画像データが、前記右眼用画像及び前記左眼用画像として出力されるように前記切替え部を制御する、請求項３に記載の医療用立体観察装置。
  5. 前記取得部は、前記画像処理部それぞれから出力される前記出力画像データに埋め込まれた前記状態信号を取得する、請求項１〜４のいずれか一項に記載の医療用立体観察装置。
  6. 前記複数系統の画像処理部のそれぞれは、前記入力画像データに対する一連の前記画像処理を複数の段階に分けて、当該段階ごとに設けられた複数の前記画像処理ユニットのうち、選択された当該画像処理ユニットにより、当該段階に対応する前記画像処理を施し、
    前記取得部は、前記複数の段階それぞれに対応する前記画像処理の状態に応じた前記状態信号を取得し、
    前記制御部は、前記第１の画像処理部から取得した前記状態信号が示す前記段階ごとの前記画像処理の状態に応じて、前記第２の画像処理部に、当該段階に対応して選択された前記画像処理ユニットを切り替えさせる、
    請求項１〜５のいずれか一項に記載の医療用立体観察装置。
  7. 前記制御部は、前記状態信号に基づき、前記複数系統の画像処理部のうち少なくともいずれかの前記画像処理部について、選択された前記画像処理ユニットの切り替えを検出した場合に、当該切り替えを示す報知情報を所定の報知部に報知させる、請求項１〜６のいずれか一項に記載の医療用立体観察装置。
  8. 前記複数系統の画像処理部を備える、請求項１〜７のいずれか一項に記載の医療用立体観察装置。
  9. 前記画像処理部は、前記複数の画像処理ユニットのうち、所定の前記画像処理ユニットが選択された場合に、所定の報知情報を前記出力画像データ中に提示する、請求項８に記載の医療用立体観察装置。
  10. 前記画像処理部は、選択された前記画像処理ユニットによる前記画像処理の状態を監視し、当該監視結果に応じて、当該画像処理ユニットを他の画像処理ユニットに切り替え、当該切り替えに応じた前記状態信号を出力する、請求項８または９に記載の医療用立体観察装置。
  11. 互いに異なる画像処理を施す複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、
    プロセッサが、前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、
    を含む、医療用立体観察方法。
  12. コンピュータに、
    互いに異なる画像処理を施す複数の画像処理ユニットのうち、選択された前記画像処理ユニットにより入力画像データに対して画像処理を施すことで、右眼用画像または左眼用画像として出力される出力画像データを生成する複数系統の画像処理部のそれぞれから、前記画像処理の状態に応じた状態信号を取得することと、
    前記複数系統の画像処理部のうち、第１の画像処理部から取得した前記状態信号に応じて、前記第１の画像処理部とは異なる第２の画像処理部に、選択された前記画像処理ユニットを切り替えさせることと、
    を実行させる、プログラム。
JP2014247651A 2014-12-08 2014-12-08 医療用立体観察装置、医療用立体観察方法、及びプログラム Active JP6485899B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014247651A JP6485899B2 (ja) 2014-12-08 2014-12-08 医療用立体観察装置、医療用立体観察方法、及びプログラム
US14/961,039 US10574976B2 (en) 2014-12-08 2015-12-07 Medical stereoscopic observation apparatus, medical stereoscopic observation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014247651A JP6485899B2 (ja) 2014-12-08 2014-12-08 医療用立体観察装置、医療用立体観察方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2016111533A JP2016111533A (ja) 2016-06-20
JP2016111533A5 JP2016111533A5 (ja) 2017-12-14
JP6485899B2 true JP6485899B2 (ja) 2019-03-20

Family

ID=56095503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014247651A Active JP6485899B2 (ja) 2014-12-08 2014-12-08 医療用立体観察装置、医療用立体観察方法、及びプログラム

Country Status (2)

Country Link
US (1) US10574976B2 (ja)
JP (1) JP6485899B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3517070B1 (en) * 2016-09-23 2021-04-07 Sony Olympus Medical Solutions Inc. Medical observation device and medical observation system
CN113229961A (zh) * 2017-09-04 2021-08-10 梶田大树 照相机系统
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
JP7239363B2 (ja) * 2019-03-22 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用観察システム、医療用画像処理装置の作動方法および医療用画像処理プログラム
JP2020167512A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
WO2021029293A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理方法
JP7521538B2 (ja) * 2019-11-15 2024-07-24 ソニーグループ株式会社 医療イメージングシステム、医療イメージング方法及び画像処理装置
DE102022134578A1 (de) * 2022-12-22 2024-06-27 Leica Instruments (Singapore) Pte. Ltd. Vorrichtung für ein optisches Bildgebungssystem, Anzeigevorrichtung, optisches Bildgebungssystem, Verfahren und Computerprogramm

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261341A (ja) * 1993-03-05 1994-09-16 Olympus Optical Co Ltd 映像表示装置
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP3985436B2 (ja) * 2000-07-17 2007-10-03 オムロン株式会社 車両認識装置および車両認識方法
WO2006110584A2 (en) * 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US20090046146A1 (en) * 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
US20100246679A1 (en) * 2009-03-24 2010-09-30 Aricent Inc. Video decoding in a symmetric multiprocessor system
JP5366693B2 (ja) * 2009-07-29 2013-12-11 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP5682304B2 (ja) * 2010-12-27 2015-03-11 トヨタ自動車株式会社 画像提供装置
JP5856745B2 (ja) * 2011-03-15 2016-02-10 オリンパス株式会社 手術システム及びその制御方法

Also Published As

Publication number Publication date
JP2016111533A (ja) 2016-06-20
US10574976B2 (en) 2020-02-25
US20160165222A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
JP6485899B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
WO2016208246A1 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
US20200178760A1 (en) Medical image processing apparatus, medical image processing system, and driving method of medical image processing apparatus
JP2024514881A (ja) 手術視野におけるオーバーレイを制御するための外科用データ値及び状況認識の利用
US11302439B2 (en) Medical image processing apparatus, medical image processing method, and computing device
JPWO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
JP2021192313A (ja) 情報処理装置および方法、並びにプログラム
US11032622B2 (en) Information processing apparatus, information processing method, and program
JP6935389B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
JPWO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US10924724B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
US20220225860A1 (en) Medical imaging system, medical imaging processing method, and medical information processing apparatus
JP2021182950A (ja) 情報処理装置および方法
US11446113B2 (en) Surgery support system, display control device, and display control method
US10330945B2 (en) Medical image display apparatus, medical information processing system, and medical image display control method
JP2019022580A (ja) 手術システム、情報処理方法および情報処理装置
JP7086929B2 (ja) 医療情報処理システム
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
WO2021131809A1 (en) Computer assisted surgery system, surgical control apparatus and surgical control method
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US11394759B2 (en) Communication system and control apparatus
JP2024514640A (ja) 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190215

R150 Certificate of patent or registration of utility model

Ref document number: 6485899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150