JPWO2018168261A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JPWO2018168261A1
JPWO2018168261A1 JP2019505769A JP2019505769A JPWO2018168261A1 JP WO2018168261 A1 JPWO2018168261 A1 JP WO2018168261A1 JP 2019505769 A JP2019505769 A JP 2019505769A JP 2019505769 A JP2019505769 A JP 2019505769A JP WO2018168261 A1 JPWO2018168261 A1 JP WO2018168261A1
Authority
JP
Japan
Prior art keywords
correction
image
blur
control device
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019505769A
Other languages
English (en)
Inventor
憲治 池田
憲治 池田
白木　寿一
寿一 白木
鶴　大輔
大輔 鶴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018168261A1 publication Critical patent/JPWO2018168261A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

【課題】生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正する。【解決手段】医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置。【選択図】図３

Description

本開示は、制御装置、制御方法、及びプログラムに関する。
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタやディスプレイなどの表示装置に電子画像として表示させる装置もある。
特開２０１５−１３９６４６号公報
ところで、内視鏡装置においては、カメラヘッドを保持する手等が振れた場合に、その振れの動きが対物レンズに伝わるため、手等のぶれに起因する画像ぶれが発生する場合がある。そのため、近年では、手等のぶれに起因する画像ぶれを補正する技術を適用した内視鏡装置も提案されている。例えば、特許文献１には、内視鏡装置において手等のぶれに起因する画像ぶれを補正する技術の一例が開示されている。
一方で、内視鏡等のような医療用観察装置を利用した生体の観察においては、当該観察に係る条件や環境等が多様に変化し、そのときどきの状況に応じて、画像ぶれの補正に伴う観察対象（生体等）の視認性への影響も異なる。そのため、ある状況と同じ条件で画像ぶれの補正が行われたとしても、他の状況下では、必ずしも観察対象の視認性が向上するとは限らない。
そこで、本開示では、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムを提案する。
本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。
また、本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。
また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。
また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。
また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御するこことで、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。
また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る内視撮像システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の一実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。 同実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。 実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。 実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。な 本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図である。 本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．医療用観察システムの構成例
２．技術的特徴
２．１．基本構成
２．２．処理
２．３．実施例
３．適用例
４．ハードウェア構成の一例
５．むすび
＜＜１．医療用観察システムの構成例＞＞
まず、図１及び図２を参照して、本開示の一実施形態に係る医療用観察システムの概略的な構成の一例について説明する。
例えば、図１は、本開示に係る技術が適用され得る医療用観察システムの概略的な構成の一例を示す図であり、当該医療用観察システムを所謂内視鏡手術システムとして構成した場合の一例を示している。図１では、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００は、内視鏡１０１と、その他の術具１１７と、内視鏡１０１を支持する支持アーム装置１２７と、内視鏡下手術のための各種の装置が搭載されたカート１３７と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ〜１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ〜１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図示する例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３が、患者１７１の体腔内に挿入されている。また、エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３は、手術中に、術者１６７又は助手等によって支持される。
（支持アーム装置）
支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。図示する例では、アーム部１３１は、関節部１３３ａ、１３３ｂ、１３３ｃ、及びリンク１３５ａ、１３５ｂから構成されており、アーム制御装置１４５からの制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５と、から構成される。図示する例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１を図示しているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、当該光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１３９に送信される。なお、カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ１３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１０１及び表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、当該画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置１４１は、ＣＣＵ１３９からの制御により、当該ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。
光源装置１４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。
アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。
入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。
入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７及び／又はレバー等が適用され得る。入力装置１４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１４１の表示面上に設けられてもよい。
あるいは、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置１４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保及び術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して当該体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム１００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置１２７は、基台であるベース部１２９と、ベース部１２９から延伸するアーム部１３１と、を備える。図示する例では、アーム部１３１は、複数の関節部１３３ａ、１３３ｂ、１３３ｃと、関節部１３３ｂによって連結される複数のリンク１３５ａ、１３５ｂと、から構成されているが、図１では、簡単のため、アーム部１３１の構成を簡略化して図示している。実際には、アーム部１３１が所望の自由度を有するように、関節部１３３ａ〜１３３ｃ及びリンク１３５ａ、１３５ｂの形状、数及び配置、並びに関節部１３３ａ〜１３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１３１の可動範囲内において内視鏡１０１を自由に移動させることが可能になるため、所望の方向から内視鏡１０１の鏡筒１０３を患者１７１の体腔内に挿入することが可能になる。
関節部１３３ａ〜１３３ｃにはアクチュエータが設けられており、関節部１３３ａ〜１３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１４５によって制御されることにより、各関節部１３３ａ〜１３３ｃの回転角度が制御され、アーム部１３１の駆動が制御される。これにより、内視鏡１０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１３１の駆動を制御することができる。
例えば、術者１６７が、入力装置１４７（フットスイッチ１５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１４５によってアーム部１３１の駆動が適宜制御され、内視鏡１０１の位置及び姿勢が制御されてよい。当該制御により、アーム部１３１の先端の内視鏡１０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１３１は、手術室から離れた場所に設置される入力装置１４７を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置１４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１３１が移動するように、各関節部１３３ａ〜１３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１３１に触れながらアーム部１３１を移動させる際に、比較的軽い力で当該アーム部１３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０１を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０１が支持されていた。これに対して、支持アーム装置１２７を用いることにより、人手によらずに内視鏡１０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置１４５は必ずしもカート１３７に設けられなくてもよい。また、アーム制御装置１４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１４５は、支持アーム装置１２７のアーム部１３１の各関節部１３３ａ〜１３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置１４５が互いに協働することにより、アーム部１３１の駆動制御が実現されてもよい。
（光源装置）
光源装置１４３は、内視鏡１０１に術部を撮影する際の照射光を供給する。光源装置１４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡１０１のカメラヘッド１０５及びＣＣＵ１３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド１０５及びＣＣＵ１３９の機能構成の一例を示すブロック図である。
図２を参照すると、カメラヘッド１０５は、その機能として、レンズユニット１０７と、撮像部１０９と、駆動部１１１と、通信部１１３と、カメラヘッド制御部１１５と、を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９と、画像処理部１６１と、制御部１６３と、を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。
まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、当該レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。
撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。
また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。
駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。
また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１０１に搭載される。
カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、更に、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット１０７や撮像部１０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。
また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部１６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部１６３は、内視鏡１０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。この際、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド１０５及びＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１６５によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム１００の一例について説明した。なお、ここでは、一例として内視鏡手術システム１００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
＜＜２．技術的特徴＞＞
続いて、本開示の一実施形態に係る医療用観察システム（換言すると、医療用撮像システム）の技術的特徴について説明する。
＜２．１．基本構成＞
まず、図１を参照して前述したＣＣＵ１３９のように、撮像部により撮像された画像に対して画像処理を施す制御装置（換言すると、画像処理装置）の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図３は、本実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。
図３に示すように、本実施形態に係る制御装置２００は、画像処理ユニット２１０と、判定部２５０とを含む。
画像処理ユニット２１０は、撮像部から所定のフレームレートで入力される画像信号（以下、「入力画像信号」とも称する）に対して各種解析処理を施すことで、手ぶれ等のような画像ぶれを検出し、当該検出結果に基づき入力画像信号に対して各種処理を施すことで、当該画像ぶれを補正する。
また、本実施形態に係る制御装置２００においては、判定部２５０が、各種状態や状況の検出結果等のような所定の入力情報に応じて、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の度合い（換言すると、補正の強度）を制御する。具体的な一例として、判定部２５０は、所定の入力情報に応じて画像ぶれの補正の度合いを制御するための係数を決定し、当該係数を画像処理ユニット２１０に通知することで、当該補正の有無や当該補正の度合いを制御してもよい。なお、入力情報に応じた画像ぶれの補正の度合いの制御の一例については、当該入力情報の具体例とあわせて、実施例として詳細を別途後述する。また、以降の説明においては、画像ぶれの補正を、単に「ぶれ補正」とも称する。また、判定部２５０が、画像ぶれの補正の適用の有無や、当該補正の度合いを制御する「制御部」の一例に相当する。
ここで、画像処理ユニット２１０の構成についてより詳しく説明する。図３に示すように、画像処理ユニット２１０は、例えば、第１制御部２１１と、特徴点抽出部２１３と、推定部２１５と、第２制御部２１７と、補正処理部２１９とを含む。
第１制御部２１１は、判定部２５０からの制御に基づき、入力画像信号に対してぶれ補正の適用の有無を設定する。例えば、第１制御部２１１は、判定部２５０によるぶれ補正の適用の有無の判定結果に応じて、入力画像信号に対して当該判定結果に応じた係数（即ち、ぶれ補正の適用の有無に応じた係数）を関連付けてもよい。より具体的な一例として、第１制御部２１１は、ぶれ補正が適用される場合には、ぶれ補正の適用の有無を示す係数として「１」を設定し、ぶれ補正が適用されない場合（即ち、ぶれ補正を抑制する場合）には、当該係数として「０」を設定してもよい。そして、第１制御部２１１は、入力画像信号に対してぶれ補正の適用の有無を示す情報（例えば、ぶれ補正の適用の有無を示す係数）を関連付けて、当該入力画像信号を特徴点抽出部２１３に出力する。
なお、ぶれ補正の適用の有無について選択的な切り替えが不要な場合（即ち、常にぶれ補正が適用される場合）については、第１制御部２１１が設けられていなくてもよいし、第１制御部２１１が無効化されていてもよい。
特徴点抽出部２１３は、入力画像信号に対して画像解析を施すことで、エッジ（例えば、しわや模様等）や色の分布等に基づき、画像中から特徴的な部分を特徴点として抽出する。そして、特徴点抽出部２１３は、入力画像信号と、当該入力画像信号から抽出した特徴点に関する情報と、を推定部２１５に通知する。
推定部２１５は、特徴点抽出部２１３から出力される入力画像信号と特徴点に関する情報とに基づき、画像全体のぶれ（より具体的には、ぶれの方向やぶれの量）を推定する。
具体的な一例として、推定部２１５は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前（例えば、１フレーム前）の入力画像信号と比較することによって、ブロック単位の動きベクトル（以下、「ローカル動きベクトル」とも称する）とその信頼度とを算出する。
また、推定部２１５は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、当該フレームにおける画像全体としての動きベクトル（以下、「グローバル動きベクトル」とも称する）を決定する。また、推定部２１５は、当該該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去してもよい。また、推定部２１５は、当該フレーム後の数フレーム分のグローバル動きベクトルを用いて平準化するようにしてもよい。
また、推定部２１５は、撮像部に設けられた各種センサ（図示を省略する）により検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。次いで、推定部２１５は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する。
そして、推定部２１５は、入力画像信号に対して画像全体のぶれの推定結果を示す情報を関連付けて、当該入力画像信号を第２制御部２１７に出力する。
第２制御部２１７は、推定部２１５から入力画像信号を取得する。また、第２制御部２１７は、取得した入力画像信号に関連付けられたぶれ補正の適用の有無を示す情報に応じて、判定部２５０からの制御に基づき、当該入力画像信号に適用されるぶれ補正の度合い（換言すると、補正強度）を制御する。
具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられているぶれ補正の適用の有無を示す係数（例えば、「１」または「０」）と、判定部２５０から通知される係数（即ち、ぶれ補正の度合いに応じた係数）とに基づき、ぶれ補正の補正強度（換言すると、ぶれ補正の補正量）を決定する。より具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられた係数と、判定部２５０から通知される係数とを乗ずることで、ぶれ補正の補正強度を示す補正係数（ゲイン）を算出してもよい。これにより、例えば、入力画像信号対してぶれ補正の適用が行われない場合には、当該入力画像信号に関連付けられた係数が「０」のため、ぶれ補正の補正強度を示す補正係数の算出結果も「０」となり、結果として当該ぶれ補正が適用されないこととなる。また、入力画像信号対してぶれ補正の適用が行われる場合には、当該入力画像信号に関連付けられた係数が「１」のため、ぶれ補正の補正強度を示す補正係数は、判定部２５０から通知される係数に応じて決定されることとなる。
そして、第２制御部２１７は、入力画像信号と、当該入力画像信号について決定したぶれ補正の補正強度を示す情報と、を補正処理部２１９に出力する。なお、ぶれ補正の補正強度を示す情報とは、ぶれ補正を適用の有無や、ぶれ補正の適用の度合いを示す情報に相当し、例えば、一例として上述したぶれ補正の補正係数を示す情報に相当する。
補正処理部２１９は、第２制御部２１７から入力画像信号を取得し、当該入力画像信号に関連付けられた各種情報に応じて、当該入力画像信号に対してぶれ補正を適用する。
具体的には、補正処理部２１９は、入力画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さいサイズの切り出しエリアを切り出すことにより得られる画像信号を、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。このとき、補正処理部２１９は、切り出しエリアの位置を、画像全体のぶれに応じたシフト量だけ移動させることにより、当該ぶれを補正する。なお、切り出しエリアの位置（換言すると、画像全体のぶれに応じたシフト量）については、例えば、入力画像信号に関連付けられた画像全体のぶれ推定結果を示す情報（即ち、ぶれの方向やぶれの量を示す情報）に基づき決定すればよい。
また、補正処理部２１９は、入力画像信号に関連付けられたぶれ補正の補正強度を示す情報に基づき、当該入力画像信号に対して適用するぶれ補正の度合いを制御してもよい。具体的な一例として、補正処理部２１９は、補正強度に応じて、ぶれ補正を適用するか否かを判定する閾値を制御してもよい。この場合には、補正処理部２１９は、ぶれ量が閾値よりも小さい場合にぶれ補正を適用し、補正強度がより高いほど当該閾値がより大きくなるように（即ち、より大きいぶれも補正の対象となるように）制御してもよい。
また、補正処理部２１９は、ぶれ補正の補正強度を示す情報に基づき、ぶれ補正の補正量を制御してもよい。具体的な一例として、補正処理部２１９は、補正強度がより低いほど、ぶれ補正の補正量（即ち、切り出しエリアの位置のシフト量）がより小さくなるように制限してもよい。
以上、図３を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
＜２．２．処理＞
続いて、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図４は、本実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。
まず、制御装置２００は、撮像部から所定のフレームレートで出力される画像信号を取得する（Ｓ１０１）。このとき、制御装置２００（第１制御部２１１）は、所定の入力情報に応じて決定したぶれ補正の適用の有無を示す情報を、取得した画像信号（即ち、入力画像信号）に関連付けてもよい。
次いで、制御装置２００（特徴点抽出部２１３）は、入力画像信号に対して画像解析を施すことで、画像中から特徴的な部分を特徴点として抽出する（Ｓ１０３）。
また、制御装置２００（推定部２１５）は、特徴点の抽出結果に基づき、画像全体のぶれを推定する。具体的な一例として、制御装置２００は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前の入力画像信号と比較することによって、ローカル動きベクトルと、その信頼度とを算出する。また、制御装置２００は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、グローバル動きベクトルを決定する。また、制御装置２００は、撮像部に設けられた各種センサにより検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。そして、制御装置２００は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する（Ｓ１０５）。
次いで、制御装置２００（第２制御部２１７）は、所定の入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度（即ち、ぶれ補正の度合い）を制御する。具体的な一例として、制御装置２００は、当該入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度を示す係数を決定してもよい（Ｓ２００）。
そして、制御装置２００（補正処理部２１９）は、画像全体のぶれの推定結果と、所定の入力情報に応じた補正強度と、に基づき、入力画像信号に対してぶれ補正を適用し、当該補正後の画像信号を出力画像信号として、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。なお、ぶれ補正の方法については前述した通りのため、詳細な説明は省略する（Ｓ１０７）。
以上、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
＜２．３．実施例＞
続いて、本実施形態に係る医療用観察システムの実施例として、図３を参照して説明した制御装置２００による画像ぶれの補正に係る制御の一例について、入力情報の具体例とあわせて以下に説明する。
（実施例１：ズーム倍率に応じた制御）
まず、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明する。図５及び図６は、実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ａ」と称する場合がある。
例えば、図５は、実施例１に係る制御装置２００ａの機能構成の一例を示している。なお、制御装置２００ａは、主に、判定部２５０ａと、画像処理ユニット２１０ａにおける第１制御部２１１ａ及び第２制御部２１７ａと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ａの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ａは、例えば、撮像部からズーム倍率の設定に関する情報を入力情報として取得し、当該入力情報に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
ここで、図６を参照して、ズーム倍率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるズーム倍率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図６に示すように、本実施例においては、補正強度を制御するための係数は、ズーム倍率が低いほどより小さくなるように設定され、ズーム倍率が高いほどより大きくなるように設定される。また、ズーム倍率が所定の閾値以下の場合に、ぶれ補正が無効化（抑制）されてもよい。
具体的な一例として、ズーム倍率がより低く設定されている場合には、画像として撮像される範囲（即ち、視野の範囲）がより広くなる。このような状況下で、ぶれ補正の補正強度を強めると、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルがグローバル動きベクトルとして採用された場合に、後景に相当する俯瞰像が大きく揺れ、生体等の観察対象を観察しにくくなる場合がある。そのため、このような場合には、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
また、他の一例として、ズーム倍率がより低く設定されている状況下で、ぶれ補正の補正強度を強めると、有効画素エリアから切り出しエリアを切り出す際に、切り出しエリア以外の部分（例えば、有効画素エリアの端部側）として削られる領域がより広くなる傾向にある。そのため、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においてもぶれ補正が適用され、結果として生体等の観察対象を観察しにくくなる場合がある。このような場合においても、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
なお、図６に示したズーム倍率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ズーム倍率がより高くなるほどぶれ補正の補正強度がより強められるように制御されれば、ズーム倍率と当該係数との関係は必ずしも図６に示す例には限定されない。
以上、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例２：被写体とのワーキングディスタンスに応じた制御）
続いて、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明する。図７及び図８は、実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｂ」と称する場合がある。また、ワーキングディスタンスとは、撮像部の対物レンズと被写体（例えば、観察対象となる生体）との間の距離を示すものとする。
例えば、図７は、実施例２に係る制御装置２００ｂの機能構成の一例を示している。なお、制御装置２００ｂは、主に、判定部２５０ｂと、画像処理ユニット２１０ｂにおける第１制御部２１１ｂ及び第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｂの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｂは、例えば、測距センサ等による撮像部の対物レンズと被写体との間の距離（即ち、ワーキングディスタンス）の検出結果を示す情報を入力情報として取得する。また、他の一例として、判定部２５０ｂは、撮像部により撮像された画像を解析することで算出された、当該撮像部の対物レンズと当該画像中に撮像された被写体との間の距離を示す情報を入力情報として取得してもよい。そして、判定部２５０ｂは、取得した入力情報（即ち、ワーキングディスタンスを示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
ここで、図８を参照して、ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図８に示すように、本実施例においては、補正強度を制御するための係数は、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）より小さくなるように設定され、ワーキングディスタンスが長いほど（即ち、撮像部の対物レンズと被写体との間の距離が遠いほど）より大きくなるように設定される。また、ワーキングディスタンスが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
具体的な一例として、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）、画像として撮像される範囲（即ち、視野の範囲）がより狭くなり、撮像部の対物レンズの移動量に対する画像全体のぶれが相対的により大きくなる。そのため、例えば、ワーキングディスタンスが短いほどぶれ補正の補正強度を強める（即ち、補正強度を制御するための係数をより大きくする）ことで、生体等の観察対象を観察しやすくなる場合がある。
なお、図８に示したワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ワーキングディスタンスがより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、ワーキングディスタンスと当該係数との関係は必ずしも図８に示す例には限定されない。
以上、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例３：手術時間に応じた制御）
続いて、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明する。図９及び図１０は、実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｃ」と称する場合がある。
例えば、図９は、実施例３に係る制御装置２００ｃの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｃについては、画像処理ユニット２１０ｃに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｃは、主に、判定部２５０ｂと、画像処理ユニット２１０ｃにおける第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｃの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｃは、例えば、計時部等による手術時間の計測結果を示す情報を入力情報として取得し、取得した入力情報（即ち、手術時間を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｃは、判定部２５０ｃによる手術時間に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
ここで、図１０を参照して、手術時間に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１０は、本実施例における手術時間とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は手術時間を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図１０に示すように、本実施例においては、手術時間が所定の閾値を超えた場合に、当該手術時間がより長くなるほど補正強度を制御するための係数がより大きくなるように設定される。
具体的な一例として、内視鏡をスコピストが保持するような状況を想定した場合には、手術時間が長くなるほど当該スコピストに疲労が蓄積されるため、当該内視鏡がよりぶれやすくなることが推測される。このような状況を鑑み、手術時間が長くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
なお、図１０に示した手術時間とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術時間がより長くなるほどぶれ補正の補正強度がより強められるように制御されれば、手術時間と当該係数との関係は必ずしも図１０に示す例には限定されない。
以上、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例４：手術台の振動に応じた制御）
続いて、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術台の振動に応じた画像ぶれの補正に係る制御の一例について説明する。図１及び図１２は、実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｄ」と称する場合がある。
例えば、図１１は、実施例４に係る制御装置２００ｄの機能構成の一例を示している。なお、制御装置２００ｄは、主に、判定部２５０ｄと、画像処理ユニット２１０ｄにおける第１制御部２１１ｄ及び第２制御部２１７ｄと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｄの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｄは、例えば、振動センサ等のような各種センサによる手術台の振動の検知結果を示す情報を入力情報として取得する。そして、判定部２５０ｄは、取得した入力情報（即ち、手術台の振動を示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合にはぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
ここで、図１２を参照して、手術台の振動に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例における手術台の振動とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸は手術台の振動の大きさを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図１２に示すように、本実施例においては、手術台の振動の大きさが所定の閾値を超えた場合に、当該振動がより大きくなるほど補正強度を制御するための係数がより小さくなるように設定される。また、手術台の振動の大きさが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
即ち、本実施例においては、手術台の振動がより大きくなるほど、ぶれ補正の補正強度がより弱めることで、当該ぶれ補正に伴う弊害の顕在化を抑制する。
なお、図１２に示した手術台の振動の大きさとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術台の振動がより大きくなるほどぶれ補正の補正強度がより弱められるように制御されれば、手術台の振動の大きさと当該係数との関係は必ずしも図１２に示す例には限定されない。
以上、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例５：画面内における術具の占有率に応じた制御）
続いて、実施例５として、図１３〜図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明する。図１３〜図１５は、実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｅ」と称する場合がある。
例えば、図１３は、実施例５に係る制御装置２００ｅの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｅについては、画像処理ユニット２１０ｅに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｅは、主に、判定部２５０ｅと、画像処理ユニット２１０ｅにおける第２制御部２１７ｅと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｅの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｅは、物体認識技術等に基づき認識された画面内における術具の占有率を示す情報を入力情報として取得する。
例えば、図１４は、画面内における術具の占有率の認識に係る処理の一例について説明するための説明図である。具体的には、図１４の上側の図において、参照符号Ｖ３０１は、内視鏡等を介して撮像された生体の画像（患部等の画像）の一例を示している。即ち、画像Ｖ３０１においては、観察対象となる生体に加えて、画面内に鉗子３１１及び３１３やガーゼ３１５等の術具が撮像されている。
また、図１４の下側の図は、上側の図に示した画像Ｖ３０１に対する物体認識技術等を利用したシーン認識処理に基づく、当該画像Ｖ３０１中に撮像された生体以外の物体（例えば、術具等）の認識結果の一例を示している。具体的には、参照符号Ｖ３１１及びＶ３１３で示された領域は、鉗子３１１及び３１３それぞれが画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１５で示された領域は、ガーゼ３１５が画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１７は、画面Ｖ３０１に映り込んだ内視鏡の鏡筒等が画面内に占める領域の認識結果の一例を模式的に示している。
即ち、物体認識技術等を利用することで、画像中に撮像された術具等を認識することにより、例えば、図１４の下側の図に示すように、画面内における術具等の物体（換言すると、生体以外の物体）の占有率を算出することが可能となる。
そして、判定部２５０ｅは、取得した入力情報（即ち、画面内における術具の占有率を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、図１３に示すように、第２制御部２１７ｅは、判定部２５０ｅによる画面内における術具の占有率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
ここで、図１５を参照して、画面内における術具の占有率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１５は、本実施例における画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は画面内における術具の占有率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図１５に示すように、本実施例においては、画面内における術具の占有率が所定の閾値を超えた場合に、当該占有率がより高くなるほど補正強度を制御するための係数がより小さくなるように設定される。
具体的な一例として、画面内における術具の占有率がより高くなるほど、観察対象となる生体が当該術具（即ち、生体以外に被写体）により遮蔽される領域の割合がより高くなる。このような状況下で、生体領域のみから特徴点の抽出が行われると、生体領域の割合がより低くなるほど（即ち、術具等により遮蔽される領域の割合がより高くなるほど）、抽出される特徴点の数はより少なくなる。このような場合には、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下するため、当該動きベクトルに基づくぶれ補正のための補正値（例えば、シフト量）の信頼度も低下する。なお、このような特性から、例えば、特徴点を抽出する範囲の設定には、物体認識の結果を使用しない方がより望ましい。また、生体領域以外の部分も含めて特徴点の抽出を行ったとしても、生体以外の領域が多く含まれることとなるため、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下し、結果として当該動きベクトルに基づくぶれ補正のための補正値の信頼度も低下する場合がある。
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、画面内における生体以外の領域の占有率（例えば、術具の占有率）がより高くなるほど、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
なお、図１５に示した画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、画面内における術具の占有率がより高くなるほどぶれ補正の補正強度がより弱められるように制御されれば、当該占有率と当該係数との関係は必ずしも図１５に示す例には限定されない。また、上記では、ぶれ補正の補正強度をより弱める場合の一例について説明したが、術具の占有率がより高くなった場合に、ぶれ補正が無効化（抑制）されるように制御されてもよい。
以上、実施例５として、図１３〜図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例６：観察モードに応じた制御）
続いて、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明する。図１６は、実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｆ」と称する場合がある。また、観察モードとは、例えば、白色光観察、赤外光観察や蛍光観察等の特殊光観察、ＰＤＤ（Photodynamic diagnosis）等のような観察方法に応じたモードを示している。
例えば、図１６は、実施例６に係る制御装置２００ｆの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｆについては、画像処理ユニット２１０ｆに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｆは、主に、判定部２５０ｆと、画像処理ユニット２１０ｆにおける第２制御部２１７ｆと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｆの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｆ、例えば、観察モードの設定に関する情報を入力情報として取得し、取得した入力情報（即ち、観察モードを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｆは、判定部２５０ｆによる観察モードに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
具体的には、特殊光観察においては、白色光観察に比べて動きベクトルの算出に係る精度が低下する傾向にある。そのため、特殊光観察等のようにフレームレートを落とすような状況下においては、白色光観察の場合と同様に生体等の観察対象を観察できるように、ぶれ補正の補正強度を白色光観察の場合に比べてより強めるとよい。
以上、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例７：モニタと術者との間の距離に応じた制御）
続いて、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明する。図１７及び図１８は、実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｇ」と称する場合がある。
例えば、図１７は、実施例７に係る制御装置２００ｇの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｇについては、画像処理ユニット２１０ｇに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｇは、主に、判定部２５０ｇと、画像処理ユニット２１０ｇにおける第２制御部２１７ｇと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｇの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｇは、術者と所定のモニタ（例えば、メインモニタ）との間の距離の測定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、術者とモニタとの間の距離を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｇは、判定部２５０ｇによる術者とモニタとの間の距離に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術者とモニタとの間の距離を示す情報を取得できれば、その方法は特に限定されない。具体的な一例として、術場カメラ等により術者とモニタとが撮像された画像に基づき、当該術者と当該モニタとの間の距離が測定（算出）されてもよい。また、他の一例として、測距センサ等による検出結果に基づき、術者とモニタとの間の距離を示す情報が取得されてもよい。
ここで、図１８を参照して、術者とモニタとの間の距離に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１８は、本実施例における術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１８において、横軸は術者とモニタとの間の距離を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図１８に示すように、本実施例においては、術者とモニタとの間の距離が短いほど（即ち、術者がモニタのより近くに位置するほど）、補正強度を制御するための係数がより大きくなるように設定される。また、術者とモニタとの間の距離が所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
具体的な一例として、術者とモニタとの間の距離がより短くなるほど、術者が知覚する画像ぶれは相対的により大きくなる。このような状況を鑑み、術者とモニタとの間の距離が短くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
なお、図１８に示した手術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、術者とモニタとの間の距離がより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、術者とモニタとの間の距離と当該係数との関係は必ずしも図１８に示す例には限定されない。
以上、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例８：モニタサイズに応じた制御）
続いて、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明する。図１９及び図２０は、実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｈ」と称する場合がある。
例えば、図１９は、実施例８に係る制御装置２００ｈの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｈについては、画像処理ユニット２１０ｈに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｈは、主に、判定部２５０ｈと、画像処理ユニット２１０ｈにおける第２制御部２１７ｈと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｈの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｈは、所定のモニタ（例えば、メインモニタ）のモニタサイズを示す情報を入力情報として取得し、取得した入力情報（即ち、モニタサイズを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるモニタサイズに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、所定のモニタのモニタサイズを示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、画像の表示先となるモニタ自体から、当該モニタのモニタサイズを示す情報を取得してもよい。
ここで、図２０を参照して、モニタサイズに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２０は、本実施例におけるモニタサイズとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図２０において、横軸はモニタサイズを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
図２０に示すように、本実施例においては、モニタサイズが大きいほど、補正強度を制御するための係数がより大きくなるように設定される。また、モニタサイズが所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
具体的な一例として、モニタサイズがより大きくなるほど、モニタに表示される画像のサイズは大きくなり、当該画像のぶれ幅も相対的により大きくなる。このような状況を鑑み、モニタサイズが大きくなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
なお、図２０に示したモニタサイズとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、モニタサイズがより大きくなるほどぶれ補正の補正強度がより強められるように制御されれば、モニタサイズと当該係数との関係は必ずしも図２０に示す例には限定されない。
以上、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例９：術具の状態に応じた制御）
続いて、実施例９として、図２１〜図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明する。図２１〜図２３は、実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｉ」と称する場合がある。
例えば、図２１は、実施例９に係る制御装置２００ｉの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｉについては、画像処理ユニット２１０ｉに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｉは、主に、判定部２５０ｉと、画像処理ユニット２１０ｉにおける第２制御部２１７ｉと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｉの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｉは、例えば、ステープラー、エナジーデバイス、縫合針や糸、デブリッタ等のような術具の状態を示す情報を入力情報として取得し、取得した入力情報（即ち、術具の状態を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｉは、判定部２５０ｉによる術具の状態に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術具の状態を示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、対象となる術具、または当該術具を制御する制御部から、当該術具の状態を示す情報を取得してもよい。また、他の一例として、画像に対して画像解析を施すことで、当該画像中に撮像された術具の状態を認識してもよい。
ここで、図２２を参照して、術具の状態に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２２は、本実施例における術具の状態に応じたぶれ補正の制御の流れの一例を示したフローチャートである。
図２２に示すように、制御装置２００ｉ（判定部２５０ｉ）は、所定の術具が検出されたか否かを判定し（Ｓ２０１）、当該術具が検出された場合には（Ｓ２０１、ＹＥＳ）、当該術具に対する所定の操作が検出されたか否かを判定する（Ｓ２０３）。そして、当該術具に対する当該操作が検出された場合には（Ｓ２０３、ＹＥＳ）、制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正の補正強度がより強められるように制御する（Ｓ２０５）。
例えば、図２３は、検出対象となる術具の一例と、当該術具に対する操作の一例とを示している。具体的には、検出対象となる術具の一例として、「ステープラー」、「エナジーデバイス」、「縫合針や糸」、「デブリッタ」等が挙げられる。また、ステープラーに対する操作の一例としては、例えば、生体等を「挟む」操作や、薬剤等を「発射」する操作等が挙げられる。また、エナジーデバイスに対する操作の一例としては、生体等を「切開」する操作や、「止血」の操作等が挙げられる。また、縫合針や糸に対する操作の一例としては、「縫合」の操作等が挙げられる。また、デブリッタに対する操作の一例としては、病巣等を「切除」する操作が挙げられる。これらの操作が行われる場合には、画像がぶれずに安定していることが望ましい。そのため、当該操作の検出時に、ぶれ補正の補正強度がより強められるように制御することで、画像ぶれの発生を抑制するとよい。
一方で、図２２に示すように、制御装置２００ｉ（第２制御部２１７ｉ）は、所定の術具が検出されない場合や（Ｓ２０１、ＮＯ）、所定の術具に対する所定の操作が検出されない場合には（Ｓ２０３、ＮＯ）、ぶれ補正の補正強度がより弱められるように制御してもよい（Ｓ２０５）。また、このとき制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正を無効化（抑制）してもよい。
以上、実施例９として、図２１〜図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１０：ユーザ入力に応じた制御）
続いて、実施例１０として、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明する。図２４及び図２５は、実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｊ」と称する場合がある。
例えば、図２４は、実施例１０に係る制御装置２００ｊの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｊについては、画像処理ユニット２１０ｊに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｊは、主に、判定部２５０ｊと、画像処理ユニット２１０ｊにおける第２制御部２１７ｊと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｊの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
本実施例では、所定の入力部を介した操作に基づくユーザからの指示に応じて、ぶれ補正の補正強度が制御される場合の一例について説明する。即ち、判定部２５０ｊは、所定の入力部を介したユーザ入力を入力情報として取得し、取得した入力情報（即ち、ユーザ入力）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるユーザ入力に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
例えば、図２５は、カメラヘッド等に設けられた入力インタフェース１８０の一例を示している。図２５に示す例では、ぶれ補正の補正強度を指定するためのボタン１８１ａ〜１８１ｃと、ぶれ補正の無効化を指定するためのボタン１８１ｄとが設けられている。また、図２５に示す例では、ぶれ補正を有効化する場合に、ボタン１８１ａ〜１８１ｃのいずれかを操作することで、ぶれ補正の補正強度を、「強」、「中」、及び「弱」の３段階の間で選択的に切り替えることが可能である。
以上、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１１：ＣＣＵ／光源モードの切り替えに応じた制御）
続いて、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明する。図２６は、実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｋ」と称する場合がある。
例えば、図２６は、実施例１１に係る制御装置２００ｋの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｋについては、画像処理ユニット２１０ｋに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｋは、主に、判定部２５０ｋと、画像処理ユニット２１０ｋにおける第２制御部２１７ｋと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｋの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
例えば、ＣＣＵに対する操作（例えば、ズーム倍率の変更等）や光源モードの切り替えの操作等により一時的に振動が生じ、結果として一時的に画像ぶれが生じる場合がある。このような場合においてもぶれ補正が適用されると、却って生体等の観察対象を観察しにくくなる場合がある。このような状況を鑑み、本実施例においては、ＣＣＵに対する操作や光源モードの切り替えの操作等の所定の操作が検出された場合に、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化する。
即ち、判定部２５０ｋは、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定すればよい。
なお、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化した場合には、一定時間の経過後にぶれ補正の補正強度を制御前の状態に戻してもよい。
以上、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１２：動きベクトルの算出結果に応じた制御）
続いて、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２７は、実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｍ」と称する場合がある。
例えば、図２７は、実施例１２に係る制御装置２００ｍの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｍについては、画像処理ユニット２１０ｍに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｍは、主に、判定部２５０ｍと、画像処理ユニット２１０ｍにおける第２制御部２１７ｍと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｍの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｍは、推定部２１５による動きベクトルの推定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、動きベクトルの推定結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｍは、判定部２５０ｍによる動きベクトルの推定結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
具体的な一例として、内視鏡の挿入時や、所謂パン操作等のように撮像部を平行移動させるような操作等のように、所定の操作が行われた場合には、当該操作に伴い撮像部の位置や向きが変化し、当該変化が動きベクトルとして検出されることとなる。このような意図的な操作が行われた場合に、当該操作に伴う画像の動きに対しても、ぶれ補正が適用されると、生体等の観察対象を観察しにくくなる場合がある。そのため、例えば、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであると認識される場合には、補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化することで、生体等の観察対象を観察しやすくなる場合がある。
なお、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであることが認識可能であれば、その方法は特に限定されない。例えば、内視鏡の挿入時や、パン操作が行われた場合には、画像全体が一定方向に向けて定常的に変化する場合がある。このような場合には、例えば、複数フレーム間において動きベクトルの推定結果が略等しい方向を示し、動きベクトルの大きさの変化も緩やかになる傾向にある。このような特性を利用し、例えば、画像全体の変化が、瞬時的な変化ではなく、一定方向に向けた定常的な変化であることが認識された場合に、内視鏡の挿入時や、パン操作が行われた場合等のように、意図的な操作により撮像部の位置や向きが変化したものと認識することが可能となる。
以上、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１３：ＡＦ／ＡＥの検波状況に応じた制御）
続いて、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明する。図２８は、実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｎ」と称する場合がある。
例えば、図２８は、実施例１３に係る制御装置２００ｎの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｎについては、画像処理ユニット２１０ｎに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｎは、主に、判定部２５０ｎと、画像処理ユニット２１０ｎにおける第２制御部２１７ｎと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｎの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｎは、ＡＦやＡＥの検波状況を示す情報を入力情報として取得し、取得した入力情報（即ち、ＡＦやＡＥの検波状況を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｎは、判定部２５０ｎによるＡＦやＡＥの検波状況に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、ＡＦやＡＥの検波状況を認識することが可能であれば、その方法は特に限定されない。具体的な一例として、撮像部に設けられたイメージセンサ等によるＡＦやＡＥの検波状況を示す情報を、当該撮像部（または、イメージセンサ自体）から取得してもよい。また、他の一例として、撮像画像を解析することで、ＡＦやＡＥの検波状況が推定されてもよい。
具体的には、ＡＦやＡＥの検波に失敗した場合には、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。より具体的な一例として、ＡＦに失敗した場合には、画像にぼけが生じ、エッジ等の特徴点の抽出が困難となる。また、ＡＥに失敗した結果として、画像全体の明度が暗くなると、特徴点の抽出が困難となる。
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、ＡＦやＡＥの検波に失敗した場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
以上、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１４：レンズ汚れの検出結果に応じた制御）
続いて、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２９は、実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｐ」と称する場合がある。
例えば、図２９は、実施例１４に係る制御装置２００ｐの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｐについては、画像処理ユニット２１０ｐに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｐは、主に、判定部２５０ｐと、画像処理ユニット２１０ｐにおける第２制御部２１７ｐと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｐの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
判定部２５０ｐは、レンズ汚れの検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、レンズ汚れの検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｐは、判定部２５０ｐによるレンズ汚れの検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、レンズ汚れを検出可能であれば、その方法は特に限定されない。例えば、各種センサ等によりレンズ汚れが検出されてもよい。また、他の一例として、撮像画像を解析することで、レンズ汚れが検出されてもよい。
具体的には、レンズに汚れが付着している状況下では、当該汚れにより生体等のような観察対象となる被写体が遮蔽されたり、画像にぼけが生じたりする場合がある。このような状況下では、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、レンズに汚れが付着していることが検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
以上、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１５：煙やミストの検出結果に応じた制御）
続いて、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図３０は、実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｑ」と称する場合がある。
例えば、図３０は、実施例１５に係る制御装置２００ｑの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｑについては、画像処理ユニット２１０ｑに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｑは、主に、判定部２５０ｑと、画像処理ユニット２１０ｑにおける第２制御部２１７ｑと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｑの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
具体的には、薬剤の噴霧等に伴い生じるミストにより、生体等の観察対象となる被写体が一時的に遮蔽されるような状況が想定される。また、エナジーデバイス等の使用に伴い生じる煙により、生体等の観察対象となる被写体が一時的に遮蔽されるような状況も想定される。このように、煙やミスト等のような視認可能なガス状の物質により、生体等のような観察対象となる被写体が一時的に遮蔽されるような状況下においては、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。
そのため、例えば、判定部２５０ｑは、煙やミスト等のような視認可能なガス状の物質の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、当該ガス状の物質の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定してもよい。即ち、第２制御部２１７ｐは、判定部２５０ｐによる煙やミスト等のような視認可能なガス状の物質の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、煙やミスト等のような視認可能なガス状の物質を検出可能であれば、その方法は特に限定されない。例えば、各種センサ等により当該ガス状の物質が検出されてもよい。また、他の一例として、撮像画像を解析することで、当該ガス状の物質が検出されてもよい。
以上のように、煙やミスト等のような視認可能なガス状の物質が検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。なお、前述した実施例５と同様の思想に基づき、画面内において煙やミスト等のような視認可能なガス状の物質により生体等の観察対象となる被写体が遮蔽されている割合に応じて、ぶれ補正の補正強度が制御されてもよい。
以上、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
（実施例１６：手順に応じた制御の一例）
続いて、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明する。
具体的な一例として、消化器外科における手術を想定し、「切開・剥離」、「生検」、「血管処理」の順に各手順が実行されるものとする。このような場合において、例えば、「切開・剥離」の手順では、例えば、画面内における術具の占有率、術具の状態、及び煙やミスト検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「生検」の手順では、例えば、画面内における術具の占有率及び術具の状態等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「血管処理」の手順では、例えば、ズーム倍率、ワーキングディスタンス、及びレンズ汚れの検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
また、長時間の手術においては、例えば、手術時間に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、術者が移動するような状況下においては、例えば、術者とモニタとの間の距離に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
なお、複数の入力情報に応じて、ぶれ補正の補正強度を制御するための係数が算出されてもよい。このような場合には、例えば、各入力情報に応じた係数を乗算することで、最終的に適用される係数が算出されてもよい。また、利用シーンに応じて、各入力情報に応じた係数に対して重み付けが行われていてもよい。
以上、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明した。
＜＜３．適用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの適用例として、図３１を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。
図３１は、本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図３１には、本開示の一実施形態に係る医療用観察システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
例えば、図３１は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図３１を参照すると、施術者（ユーザ）８２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具８２１を使用して、施術台８３０上の施術対象（患者）８４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ８２０である医師が施術対象８４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図３１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置８１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
施術台８３０の脇には手術用ビデオ顕微鏡装置８１０が設けられる。手術用ビデオ顕微鏡装置８１０は、基台であるベース部８１１と、ベース部８１１から延伸するアーム部８１２と、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５とを備える。アーム部８１２は、複数の関節部８１３ａ、８１３ｂ、８１３ｃと、関節部８１３ａ、８１３ｂによって連結される複数のリンク８１４ａ、８１４ｂと、アーム部８１２の先端に設けられる撮像ユニット８１５を有する。図３１に示す例では、簡単のため、アーム部８１２は３つの関節部８１３ａ〜８１３ｃ及び２つのリンク８１４ａ、８１４ｂを有しているが、実際には、アーム部８１２及び撮像ユニット８１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部８１３ａ〜８１３ｃ及びリンク８１４ａ、８１４ｂの数や形状、関節部８１３ａ〜８１３ｃの駆動軸の方向等が適宜設定されてもよい。
関節部８１３ａ〜８１３ｃは、リンク８１４ａ、８１４ｂを互いに回動可能に連結する機能を有し、関節部８１３ａ〜８１３ｃの回転が駆動されることにより、アーム部８１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置８１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部８１２の駆動（又は駆動制御）とは、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）、及び、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）を行うことによりアーム部８１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
アーム部８１２の先端には、先端ユニットとして撮像ユニット８１５が接続されている。撮像ユニット８１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図３１に示すように、アーム部８１２の先端に設けられた撮像ユニット８１５が施術対象８４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置８１０によってアーム部８１２及び撮像ユニット８１５の姿勢や位置が制御される。なお、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５の構成は特に限定されず、例えば、撮像ユニット８１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット８１５は、当該アーム部８１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット８１５が、アーム部８１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット８１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。また本説明では、先端ユニットとして撮像ユニット８１５が適用されている場合に着目して説明したが、アーム部８１２の先端に接続される先端ユニットは、必ずしも撮像ユニット８１５に限定されない。
また、ユーザ８２０と対向する位置には、モニタやディスプレイ等の表示装置８５０が設置される。撮像ユニット８１５によって撮像された施術部位の画像は、表示装置８５０の表示画面に電子画像として表示される。ユーザ８２０は、表示装置８５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
以上のような構成により、手術用ビデオ顕微鏡装置８１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
＜＜４．ハードウェア構成の一例＞＞
続いて、図３２を参照しながら、前述した内視鏡手術システムにおけるＣＣＵのように、各種処理を実行する所謂情報処理装置のハードウェア構成の一例について、詳細に説明する。図３２は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３を参照して説明した画像処理ユニット２１０や判定部２５０は、ＣＰＵ９０１により構成され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図３２では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る医療用観察システムにおいて、制御装置２００は、各種状態や状況に応じた入力情報に基づき、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の強度を制御する。
具体的な一例として、制御装置２００は、カメラヘッド等のような撮像部のズーム倍率がより高いほど、画像ぶれの補正の度合いがより強くなるように制御してもよい。換言すると、制御装置２００は、当該ズーム倍率がより低いほど、画像ぶれの補正の度合いがより弱くなるように制御してもよい。このような構成により、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルに基づきぶれ補正が行われ、後景に相当する俯瞰像が揺れるような状況においても、ぶれ補正の補正強度が弱められるため、俯瞰像の揺れが抑えられ、結生体等の観察対象をより観察しやすくなる。また、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においても、ぶれ補正の補正強度が弱められることで、意図的な動きに対する画像ぶれの補正が抑制され、生体等の観察対象をより観察しやすくなる。
また、制御装置２００は、画面内（換言すると、入力画像信号）において、生体等のような観察対象となる被写体が、術具や視認可能なガス状の物質等のように当該観察対象とは異なる被写体により遮蔽されている領域の割合に応じて、画像ぶれの補正に関する動作を制御してもよい。より具体的な一例として、制御装置２００は、観察対象となる被写体が、他の被写体により遮蔽されている領域の割合がより高いほど、画像ぶれの補正の度合いを弱め、ひいては画像ぶれの適用を無効化してもよい。このような構成により、例えば、画面内における他の被写体の占有率が増大することで特徴量の抽出が困難となり、ぶれ補正のための補正値の信頼度が低下するような状況下においても、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
もちろん上記はあくまで一例であり、本実施形態に係る制御装置２００による画像ぶれの補正に係る制御の内容を限定するものではない。例えば、術具の状態や寝台の動き（振動）等のように、生体等の観察対象の画像の撮像環境に関する情報を、入力情報として利用することが可能である。また、他の一例として、ズーム倍率に限らず、ＡＦ／ＡＥ等のような、生体等の観察対象の画像の撮像条件に関する情報を、入力情報として利用することも可能である。また、入力画像信号から特徴量を抽出することで画像ぶれが推定されるという特性から、当該特徴量の抽出を困難とする要因の検出結果を入力情報として利用してもよい。なお、この場合には、例えば、特徴量の抽出を困難とする要因の検出結果に応じて、画像ぶれの補正の補正強度を弱めたり、当該補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
（２）
前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、前記（１）に記載の制御装置。
（３）
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
前記（１）または（２）に記載の制御装置。
（４）
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
（５）
前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、前記（４）に記載の制御装置。
（６）
前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、前記（５）に記載の制御装置。
（７）
前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、前記（４）に記載の制御装置。
（８）
前記被写体は、術具である、前記（４）〜（７）のいずれか一項に記載の制御装置。
（９）
前記被写体は、視認可能なガス状の物質である、前記（４）〜（７）のいずれか一項に記載の制御装置。
（１０）
前記領域の割合は、前記被写体の認識結果に応じて算出される、前記（４）〜（９）のいずれか一項に記載の制御装置。
（１１）
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
前記（４）〜（１０）のいずれか一項に記載の制御装置。
（１２）
コンピュータが、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
（１３）
コンピュータが、
所所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
（１４）
コンピュータに、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
（１５）
コンピュータに、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
１００ 内視鏡手術システム
１０１ 内視鏡
１１７ 術具
１２７ 支持アーム装置
１３９ カメラコントロールユニット
１４１ 表示装置
１４３ 光源装置
１４５ アーム制御装置
１４７ 入力装置
１４９ 処置具制御装置
１５１ 気腹装置
１５３ レコーダ
１５５ プリンタ
２００ 制御装置
２１０ 画像処理ユニット
２１１ 第１制御部
２１５ 推定部
２１７ 第２制御部
２１９ 補正処理部
２５０ 判定部

Claims (15)

  1. 医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
    前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
    を備える、制御装置。
  2. 前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、請求項１に記載の制御装置。
  3. 前記画像信号から特徴点を抽出する抽出部を備え、
    前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
    請求項１に記載の制御装置。
  4. 医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
    前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
    を備える、制御装置。
  5. 前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、請求項４に記載の制御装置。
  6. 前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、請求項５に記載の制御装置。
  7. 前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、請求項４に記載の制御装置。
  8. 前記被写体は、術具である、請求項４に記載の制御装置。
  9. 前記被写体は、視認可能なガス状の物質である、請求項４に記載の制御装置。
  10. 前記領域の割合は、前記被写体の認識結果に応じて算出される、請求項４に記載の制御装置。
  11. 前記画像信号から特徴点を抽出する抽出部を備え、
    前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
    請求項４に記載の制御装置。
  12. コンピュータが、
    医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
    を含む、制御方法。
  13. コンピュータが、
    医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
    を含む、制御方法。
  14. コンピュータに、
    医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
    を実行させる、プログラム。
  15. コンピュータに、
    医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
    前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
    を実行させる、プログラム。
JP2019505769A 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム Pending JPWO2018168261A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017051183 2017-03-16
JP2017051183 2017-03-16
PCT/JP2018/004051 WO2018168261A1 (ja) 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2018168261A1 true JPWO2018168261A1 (ja) 2020-01-16

Family

ID=63523563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505769A Pending JPWO2018168261A1 (ja) 2017-03-16 2018-02-06 制御装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US10904437B2 (ja)
JP (1) JPWO2018168261A1 (ja)
WO (1) WO2018168261A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017208615A1 (de) * 2017-05-22 2018-11-22 Carl Zeiss Microscopy Gmbh Verfahren und Adapter zur Adaption eines Mikroskopobjektivs an ein Digitalmikroskop
CN111278344B (zh) * 2017-11-01 2023-09-05 索尼公司 手术臂系统和手术臂控制系统
DE112019003447T5 (de) * 2018-07-06 2021-03-18 Sony Corporation Medizinisches Beobachtungssystem, medizinisches Beobachtungsgerät und Antriebsverfahren für das medizinische Beobachtungsgerät
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7301567B2 (ja) * 2019-03-20 2023-07-03 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
US20220188988A1 (en) * 2019-03-29 2022-06-16 Sony Group Corporation Medical system, information processing device, and information processing method
WO2021020132A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 内視鏡手術システム、画像処理装置、および画像処理方法
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
US20220394171A1 (en) * 2021-06-02 2022-12-08 Qualcomm Incorporated Low power object detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245135A (ja) * 1993-02-12 1994-09-02 Sony Corp ビデオカメラ及びビデオ再生装置
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012100909A (ja) * 2010-11-11 2012-05-31 Olympus Corp 内視鏡装置及びプログラム
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5177999B2 (ja) * 2006-12-05 2013-04-10 株式会社半導体エネルギー研究所 液晶表示装置
EP2129105B1 (en) * 2007-02-01 2011-10-19 Sony Corporation Image reproducing apparatus, image reproducing method, imaging apparatus and method for controlling the imaging apparatus
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
JP2012065690A (ja) 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2014064657A (ja) 2012-09-25 2014-04-17 Canon Inc 立体内視鏡装置
WO2015103420A1 (en) * 2013-12-31 2015-07-09 Memorial Sloan Kettering Cancer Center Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real time
EP3070941A4 (en) 2014-01-24 2017-03-08 Olympus Corporation Stereoscopic endoscope image processing apparatus
JP6150130B2 (ja) 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP2016131276A (ja) 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP5905130B2 (ja) 2015-01-30 2016-04-20 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
EP3278709B1 (en) 2015-03-31 2020-01-08 Sony Corporation Medical observation device, information processing method, program and video microscope device
WO2017033043A1 (en) * 2015-08-24 2017-03-02 Synaptive Medical (Barbados) Inc. A medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
EP3437546B1 (en) 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245135A (ja) * 1993-02-12 1994-09-02 Sony Corp ビデオカメラ及びビデオ再生装置
JP2012085696A (ja) * 2010-10-15 2012-05-10 Olympus Corp 画像処理装置、画像処理装置の制御方法及び内視鏡装置
JP2012100909A (ja) * 2010-11-11 2012-05-31 Olympus Corp 内視鏡装置及びプログラム
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法

Also Published As

Publication number Publication date
US20200084379A1 (en) 2020-03-12
WO2018168261A1 (ja) 2018-09-20
US10904437B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
US20240011909A1 (en) Imaging system
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JPWO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US20200081235A1 (en) Medical observation system and medical observation device
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
US11348684B2 (en) Surgical support system, information processing method, and information processing apparatus
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2018157918A (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2020184228A1 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、及び医療用観察システム
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022172733A1 (ja) 医療用観察装置、観察装置、観察方法及びアダプタ
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020084917A1 (ja) 医療システム及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220517