JP6256872B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6256872B2
JP6256872B2 JP2013265082A JP2013265082A JP6256872B2 JP 6256872 B2 JP6256872 B2 JP 6256872B2 JP 2013265082 A JP2013265082 A JP 2013265082A JP 2013265082 A JP2013265082 A JP 2013265082A JP 6256872 B2 JP6256872 B2 JP 6256872B2
Authority
JP
Japan
Prior art keywords
image
display
line
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013265082A
Other languages
English (en)
Other versions
JP2015119827A (ja
Inventor
森村　淳
森村　　淳
魚森　謙也
謙也 魚森
和麻 吉田
和麻 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013265082A priority Critical patent/JP6256872B2/ja
Publication of JP2015119827A publication Critical patent/JP2015119827A/ja
Application granted granted Critical
Publication of JP6256872B2 publication Critical patent/JP6256872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles

Description

本発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムに関するものである。
内視鏡手術において、観察対象である人の身体の内部に挿入される挿入部の先端部に撮像素子を配置して、この撮像素子による撮像で得られた画像をモニタに表示させるようにした、いわゆる電子内視鏡を用いた内視鏡システムが広く普及している。このような内視鏡システムでは、注目する病変部を多様な方向から観察したり、高分解能な画像で病変部を詳細に観察したり、広角な画像で病変部の周辺の広い範囲を観察したりすることができるようにすると、手術を手際よく進める上で大きな効果を奏する。
このような要望に関連するものとして、従来、複数の内視鏡を用いて、その複数の内視鏡による複数の撮像画像をモニタの画面に並べて表示し、あるいは複数の撮像画像を選択的に表示する技術が知られている（特許文献１，２参照）。これらの技術を利用すると、多様な画像を同時に取得することができるため、内視鏡手術における術者や補助者がそれぞれ必要とする適切な画像をモニタに表示させることができる。
特開２００５−０２１３９２号公報 特開平８−０１８８６１号公報
しかしながら、前記従来の技術では、複数の内視鏡を必要とすることからコストが嵩むという問題があった。また、内視鏡手術では、切開部から内視鏡の他にメスや鉗子などの種々の手術器具が挿入されるため、複数の内視鏡を用いることは、手術を手際よく進める上で大きな支障になるという問題があった。
また、内視鏡を動かすようにすれば、１つの内視鏡でも多様な画像を表示させることができるが、手術器具と干渉することで内視鏡を自由に動かすことが難しく、また、多様な画像を同時に取得することができないため、内視鏡手術における術者や補助者がそれぞれ必要とする適切な画像をモニタに簡単に表示させることができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができるように構成された内視鏡システムを提供することにある。
本発明の内視鏡システムは、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される表示画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部と、前記カメラ部の視線方向を個別に変更する視線調整機構とを備え、前記制御装置は、注視位置を指定する観察者の指示に応じて、複数の前記カメラ部の各々の視線方向が同一の前記注視位置に向けられるように前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、複数の前記カメラ部の各々による複数の撮像画像に対する切替えの調整を行って、前記表示画像を生成する画像出力調整部とを備え、この画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
また、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される表示画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備えて、被写体上の互いにずれた領域を撮像するように視線方向が設定され、前記制御装置は、複数の前記カメラ部の各々による複数の撮像画像を接合して１つの連続した合成画像を生成し、前記表示画像の表示領域を移動させるパンおよびチルトに関する表示条件を指定する観察者の指示に応じて、前記合成画像から前記表示条件に応じた範囲を切り出して前記表示画像を生成する画像出力調整部を備えて、前記合成画像から切り出す範囲の位置を変更することで、前記表示画像に擬似的なパンおよびチルトの動作を行わせ、前記画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
本発明によれば、観察者の指示に応じて、内視鏡の挿入部に設けられた複数のカメラ部の各々の視線方向が、同一の注視位置に向けられるようにカメラ部の視線方向を設定して観察対象の内部の被写体を撮像するため、注目する部分を異なる方向から観察することができる多様な画像を同時に取得することができる。
また、複数のカメラ部を被写体上の互いにずれた領域を撮像するように視線方向を設定して、複数の撮像画像を接合して１つの連続した合成画像を生成し、表示画像の表示領域を移動させるパンおよびチルトに関する表示条件を指定する観察者の指示に応じて、合成画像から表示条件に応じた範囲を切り出して表示画像を生成するようにしたため、表示画像の元になる合成画像の解像度が高いため、高分解能の表示画像で擬似的なパンおよびチルトの動作を行うことができる。
第１実施形態に係る内視鏡システムの全体構成図 内視鏡１の挿入部５に設けられたカメラ部６ａ〜６ｅを示す斜視図 カメラ部６ａ〜６ｅの構成を示す断面図 第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図 第１実施形態に係るコントローラ２の概略構成を示す機能ブロック図 指示検出器４で観察者が指示を行う状況を示す斜視図 画像切り替え時の画像信号のゲインの変化状況を示す説明図 第２実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図 第２実施形態に係るコントローラ２の概略構成を示す機能ブロック図 画像合成時の画像信号のゲインの変化状況を示す説明図 第３実施形態に係る内視鏡システムにおける内視鏡１の挿入部５を示す側面図 第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図 第３実施形態に係るコントローラ２の概略構成を示す機能ブロック図 第４実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図 第４実施形態に係る内視鏡システムにおける画像出力調整の要領を詳しく説明する説明図 第４実施形態に係るコントローラの概略構成を示す機能ブロック図 内視鏡１の挿入部５の変形例を示す側面図 第１実施形態に係る内視鏡システムの変形例を示す説明図
前記課題を解決するためになされた第１の発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される表示画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部と、前記カメラ部の視線方向を個別に変更する視線調整機構とを備え、前記制御装置は、注視位置を指定する観察者の指示に応じて、複数の前記カメラ部の各々の視線方向が同一の前記注視位置に向けられるように前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、複数の前記カメラ部の各々による複数の撮像画像に対する切替えの調整を行って、前記表示画像を生成する画像出力調整部とを備え、この画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
これによると、観察者の指示に応じて、内視鏡の挿入部に設けられた複数のカメラ部の各々の視線方向が、同一の注視位置に向けられるようにカメラ部の視線方向を設定して観察対象の内部の被写体を撮像するため、注目する部分を異なる方向から観察することができる多様な画像を同時に取得することができる。
また、第２の発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される表示画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備えて、被写体上の互いにずれた領域を撮像するように視線方向が設定され、前記制御装置は、複数の前記カメラ部の各々による複数の撮像画像を接合して１つの連続した合成画像を生成し、前記表示画像の表示領域を移動させるパンおよびチルトに関する表示条件を指定する観察者の指示に応じて、前記合成画像から前記表示条件に応じた範囲を切り出して前記表示画像を生成する画像出力調整部を備えて、前記合成画像から切り出す範囲の位置を変更することで、前記表示画像に擬似的なパンおよびチルトの動作を行わせ、前記画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
これによると、複数のカメラ部を被写体上の互いにずれた領域を撮像するように視線方向を設定して、複数の撮像画像を接合して１つの連続した合成画像を生成し、表示画像の表示領域を移動させるパンおよびチルトに関する表示条件を指定する観察者の指示に応じて、合成画像から表示条件に応じた範囲を切り出して表示画像を生成するようにしたため、表示画像の元になる合成画像の解像度が高いため、高分解能の表示画像で擬似的なパンおよびチルトの動作を行うことができる。
また、第３の発明は、前記挿入部は、複数の前記カメラ部の間に屈曲部を有し、この屈曲部を屈曲させることで、複数の前記カメラ部の視線方向を変化させるようにした構成とする。
これによると、被写体の極めて広い範囲を同時に撮像することができるため、内視鏡を動かすことなく、被写体の極めて広い範囲を観察することができる。
また、第４の発明は、複数の観察者ごとに複数の前記表示装置を備え、前記制御装置は、観察者の指示に応じて、前記合成画像の任意の範囲を複数の前記表示装置に別々に表示させる構成とする。
これによると、複数の観察者の各々が必要とする被写体の領域を表示装置に表示させることができるため、観察者の利便性を高めることができる。
また、第５の発明は、複数の前記カメラ部のうち、少なくとも１つの前記カメラ部と残りの前記カメラ部とは、視野角が異なるように設定され、前記画像出力調整部は、狭い視野角に設定された前記カメラ部による狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された前記カメラ部による広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成する構成とする。
これによると、高分解能な注視用の表示画像と広い範囲を写した監視用の表示画像とを同時に取得することができる。そして、被写体上で観察者が注目する部分が高分解能な画像で表示されるため、その部分を詳しく観察することができ、同時に、周辺部分の画像が広い範囲で表示されるため、周辺部分を広く観察することができる。
また、第６の発明は、複数の観察者ごとに複数の前記表示装置を備え、前記制御装置は、前記注視用の表示画像および前記監視用の表示画像を別の前記表示装置に表示させる構成とする。
これによると、内視鏡手術の術者など、被写体上の狭い領域を詳しく観察する必要がある観察者が、専用の表示装置で注視用の表示画像を見ることができ、同時に、内視鏡手術の補助者など、被写体上の広い領域を観察する必要がある観察者が、専用の表示装置で監視用の表示画像を見ることができる。
また、第７の発明は、複数の前記カメラ部が広い視野角に設定され、前記画像出力調整部は、広い視野角に設定された複数の前記カメラ部による複数の前記広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記監視用の表示画像とする構成とする。
これによると、広範囲でかつ高分解能な監視用の表示画像を取得することができる。
また、第８の発明は、前記画像出力調整部は、前記狭角撮像画像と前記広角撮像画像とを合成した合成画像を生成して、その合成画像から前記狭角撮像画像を含む範囲を切り出して、前記注視用の表示画像を生成する構成とする。
これによると、被写体上で観察者が注目する部分を高分解能な画像で観察すると同時に周辺部分も観察することができる。
また、第９の発明は、前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、前記制御装置は、前記注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された前記カメラ部の撮像範囲が、前記注視用の表示画像の領域内に位置するように、狭い視野角に設定された前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、をさらに備えた構成とする。
これによると、常時、狭い視野角に設定されたカメラ部による高分解能な狭角撮像画像が注視用の表示画像内に位置するため、注視用の表示画像の表示領域を移動させても、被写体上の重要な部分を高分解能な画像で観察することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る内視鏡システムの全体構成図である。この内視鏡システムは、観察対象の内部の被写体を撮像する内視鏡１と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理するコントローラ（制御装置）２と、このコントローラ２から出力される画像を表示するモニタ（表示装置）３と、モニタ３の表示画面を見ながら行われる観察者の指示動作を検出する指示検出器（指示検出装置）４と、を備えている。
内視鏡１には、観察対象の内部に挿入される挿入部５の先端側に複数のカメラ部６ａ〜６ｅが設けられており、このカメラ部６ａ〜６ｅの各々から出力される画像信号がコントローラ２に入力する。
次に、図１に示した内視鏡１の挿入部５に設けられたカメラ部６ａ〜６ｅについて説明する。図２は、カメラ部６ａ〜６ｅを示す斜視図である。図３は、カメラ部６ａ〜６ｅの構成を示す断面図である。
図２に示すように、複数のカメラ部６ａ〜６ｅは、挿入部５の長手方向に並んで配列され、この配列方向に概ね直交する向きに視線方向が設定されている。すなわち、内部の図示しない撮像素子に被写体からの光を導く撮像窓８が挿入部５の側面に設けられている。複数のカメラ部６ａ〜６ｅには、挿入部５が観察対象の内部に挿入された状態で、カメラ部６ａ〜６ｅの視線方向を個別に変更する視線調整機構が設けられている。
図３に示すように、カメラ部６ａ〜６ｅは、内視鏡１の挿入部５を構成する円筒状をなす筐体９の内部に収容され、カメラ筐体１１と、撮像部１２と、可動ミラー１３と、ミラー回転アクチュエータ１４と、カメラ回転アクチュエータ１５と、を備えている。
撮像部１２は、図示しない撮像素子およびレンズなどの光学系部品を内部に備えている。挿入部５の筐体９には、光透過材料で形成された撮像窓８が設けられており、被写体からの光が、撮像窓８を介してカメラ筐体１１の内部に導かれて、可動ミラー１３で反射されて撮像部１２に入射する。
可動ミラー１３は、矢印Ｃで示すように、支軸１７を中心にして回転可能に設けられている。
ミラー回転アクチュエータ１４は、電動モータなどで構成され、カメラ筐体１１に固定されている。このミラー回転アクチュエータ１４は、可動ミラー１３に連結されており、ミラー回転アクチュエータ１４を動作させると、矢印Ｃで示すように、可動ミラー１３が支軸１７を中心にして回転する。これにより、カメラ部６ａ〜６ｅの視線方向を、図２の矢印Ａで示すように、挿入部５の長手方向に変化させるパン動作が行われ、可動ミラー１３と、支軸１７と、ミラー回転アクチュエータ１４とによりパン動作機構が構成される。
カメラ筐体１１は、支軸１８，１９に回転可能に支持されている。支軸１８，１９は、挿入部５の筐体９に固定された支持部材２０，２１に固定されている。また、支軸１８，１９は、挿入部５の長手方向に配置されており、カメラ筐体１１が、矢印Ｄで示すように、挿入部５の長手方向に平行となる向きの中心軸を中心にして回転するようになっている。
カメラ回転アクチュエータ１５は、電動モータなどで構成され、カメラ筐体１１に固定されている。このカメラ回転アクチュエータ１５は、一方の支軸１８に連結されており、カメラ回転アクチュエータ１５を動作させると、矢印Ｄで示すように、カメラ部６ａ〜６ｅが支軸１８，１９を中心にして回転する。これにより、カメラ部６ａ〜６ｅの視線方向を、図２の矢印Ｂで示すように、挿入部５の長手方向に直交する向きに変化させるチルト動作が行われ、支軸１８，１９と、カメラ回転アクチュエータ１５とによりチルト動作機構が構成される。
なお、挿入部５に、撮像領域を照明する照明部を設けるようにしてもよい。この場合、挿入部５にＬＥＤなどで構成された光源を配置する他、内視鏡１における挿入部５の基部やコントローラ２に光源を配置して、光ファイバを用いて光源の光を挿入部５の先端側に導くようにしてもよい。
次に、第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領について説明する。図４は、第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
この第１実施形態では、第１〜第５のカメラ部６ａ〜６ｅが、各々の視線方向が被写体上の同一の注視物（注視位置）に向けられるように設定される。これにより、第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像の中心に注視物が現れる。また、第１〜第５のカメラ部６ａ〜６ｅは、挿入部５の長手方向にずれて配置されているため、第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像では、注視物が異なる方向から撮像された状態で現れる。
この第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像は切り替えて、すなわち、第１〜第５の撮像画像の中から１つを選択して、モニタ３に表示される。ここで、第１〜第５の撮像画像を切り替える際に、切り替えの指示に応じて順次隣のカメラ部６ａ〜６ｅによる撮像画像に切り替えるようにするとよい。これにより、視線方向が順に変わるように画像が表示されるため、被写体上の注視位置の状態を自然に把握することができる。この場合、あたかも１台のカメラが第１から第５のカメラ部６ａ〜６ｅの位置まで移動しながら撮影したような映像を観察することとなる。即ち、観察者が移動することによって運動視差が生じ、これにより観察者が被写体を立体的に知覚することによって、被写体の空間構造が理解しやすくなる効果が得られる。なお、任意のカメラ部６ａ〜６ｅによる撮像画像に切り替えることができるようにしてもよい。
次に、第１実施形態に係るコントローラ２について説明する。図５は、第１実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
コントローラ２は、画像処理部３１と、画像出力調整部３２と、表示制御部３３と、カメラ制御部３４と、視線方向設定部３５と、注視位置設定部３６と、注視位置追跡部３７と、指示内容取得部３８と、を備えている。
画像処理部３１では、複数のカメラ部６ａ〜６ｅからそれぞれ出力される複数の撮像画像に対して、ゲイン調整やダイナミックレンジ拡大などの処理が行われる。
画像出力調整部３２では、画像処理部３１で処理された複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する処理が行われる。特に、本実施形態では、画像出力調整部３２が画像切替部４１を備えており、この画像切替部４１において、観察者の指示に応じて、複数の撮像画像を切り替えて、すなわち、複数の撮像画像の中から１つを選択して、表示画像として出力する。
表示制御部３３では、画像出力調整部３２から出力される表示画像をモニタ３に表示させる処理が行われる。
カメラ制御部３４では、複数のカメラ部６ａ〜６ｅの撮像部１２、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５の制御が行われる。
視線方向設定部３５では、観察者の指示に応じて、複数のカメラ部６ａ〜６ｅの視線方向、すなわち撮像角度（パン角度およびチルト角度）を設定する処理が行われる。この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。これにより、複数のカメラ部６ａ〜６ｅの視線方向を手動で調整することができる。
注視位置設定部３６では、観察者の指示に応じて、被写体上の注視位置を設定する処理が行われる。この注視位置設定部３６で設定された注視位置に基づいて、視線方向設定部３５において、複数のカメラ部６ａ〜６ｅの各視線方向が被写体上の同一の注視位置を向く、すなわち注視位置が撮像画像の中央になるように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われ、この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
注視位置追跡部３７では、内視鏡１が動くことで相対的に移動する被写体上の注視位置を追跡する処理が行われる。この注視位置追跡部３７の追跡結果に基づいて、視線方向設定部３５において、複数のカメラ部６ａ〜６ｅの各視線方向が被写体上の注視位置を向くように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われ、この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。なお、この注視位置追跡処理には公知の物体追跡技術を利用すればよい。
指示内容取得部３８では、指示検出器４で検出された観察者の指示動作を解析して、その指示動作に対応する指示内容を取得する処理が行われる。特に、本実施形態では、モニタ３の表示画面および複数のカメラ部６ａ〜６ｅに関する指示内容を取得する。モニタ３の表示画面に関する指示内容としては、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替えてモニタ３に表示させる際の切り替えの指示に関するものである。カメラ部６ａ〜６ｅに関する指示内容としては、観察者が注視位置を指定する際の注視位置や、視線方向を手動で調整する際の視線方向に関するものである。
次に、図１に示した指示検出器４について説明する。図６は、指示検出器４で観察者が指示を行う状況を示す斜視図である。
指示検出器４は、モニタ３の表示画面を見ながら行われる観察者の指示動作を検出するものであり、モニタ３の近傍に配置される。特に、本実施形態では、指示検出器４が、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかを検出するように構成される。
観察者が行うジェスチャを検出する場合には、指示検出器４を、カメラおよび画像認識部などで構成し、カメラにより観察者を撮像した撮像画像から、画像認識部において公知の画像認識技術を利用してジェスチャ、すなわち手や腕の動きを検出する。また、観察者が発話する音声を検出する場合には、指示検出器４を、マイクおよび音声認識部などで構成し、マイクから入力された音声を、音声認識部において公知の音声認識技術を利用して音声を文字情報に変換する。また、観察者の視線を検出する場合には、指示検出器４を、カメラおよび視線検出部などで構成し、カメラにより観察者の目を撮像した撮像画像から、視線検出部において公知の視線検出技術を利用して観察者の視線、すなわち目の動きを検出する。また、観察者が行うタッチ操作を検出する場合には、指示検出器４を、モニタの画面に重ねて配置されたタッチパネルおよび制御部などで構成し、タッチパネル上で行われるタッチ操作を検出する。また、観察者が行うボタン操作を検出する場合には、指示検出器４を、ボタンが配列された操作部および制御部などで構成し、操作部で行われるボタン操作を検出する。
この第１実施形態では、指示検出器４を用いて、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替える指示や、注視位置を指定する指示が行われる。例えば、ジェスチャで指示する場合、撮像画像を切り替える指示では、手や腕を横に振る動作で画像の切り替えが行われるようにすればよく、また、注視位置を指定する指示では、モニタ３の画面上に注視位置を示すポインタを表示させ、このポインタを手や腕を振る方向に応じて移動させることで注視位置を指定するようにすればよい。
図７は、画像切り替え時の画像信号のゲインの変化状況を示す説明図である。ここでは、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替えて出力する際に、切り替え元の画像信号と切り替え先の画像信号とを合成して出力し、このとき、切り替え元の画像信号および切り替え先の画像信号にゲインを乗じて合成信号を生成するようにしている。特にここでは、切り替え元の画像信号および切り替え先の画像信号にそれぞれ乗じるゲインを徐々に変化させる、すなわち画像信号同士の合成割合を徐々に変化させるようにしている。
図７（Ａ）に示す例では、ゲインを直線状に、すなわち一定の傾きで変化させており、図７（Ｂ）に示す例では、ゲインを曲線状に、すなわち傾きを徐々に変えながら変化させている。このように、撮像画像を切り替えて出力する際に、画像信号同士の合成割合を徐々に変化させることにより、モニタ３に表示される画像が時間をかけて入れ替わるため、画像が切り替えられたことを観察者が自然に認識することができる。なお、画像信号にゲインを乗じることなく、切り替え元の画像信号から切り替え先の画像信号に単純に切り替えるようにしてもよい。
なお、この第１実施形態では、複数のカメラ部６ａ〜６ｅにより得られた視線方向の異なる複数の画像を、１つのモニタ３で切り替えて表示するようにしたが、視線方向の異なる複数の画像を１つの画面に並べて表示するようにしてもよい。また、モニタ３を複数設けて、視線方向の異なる複数の画像を複数のモニタ３に別々に表示するようにしてもよい。
このように第１実施形態では、観察対象の内部の被写体を複数のカメラ部６ａ〜６ｅで撮像して、その複数のカメラ部６ａ〜６ｅの各々による複数の撮像画像に対して切替えの調整を行い、これにより生成した表示画像をモニタ３に表示させるようにしたため、内視鏡１を動かすことなく、観察者が必要とする適切な画像を簡単にモニタ３に表示させることができる。
特に、この第１実施形態では、複数のカメラ部６ａ〜６ｅが、各々の視線方向が被写体上の同一の注視位置に向けられるように設定されているため、視線方向が異なる複数の撮像画像を同時に取得することができ、これにより、内視鏡１を動かすことなく、被写体上の注目する部分を異なる方向から観察することができる。
また、この第１実施形態では、画像出力調整部３２において、観察者の指示に応じて、複数の撮像画像を切り替えて表示画像として出力するようにしたため、１つのモニタ３で被写体上の注目する部分を異なる方向から観察することができる。
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅの視線方向を個別に変更する視線調整機構を設け、注視位置を指定する観察者の指示に応じて、複数のカメラ部６ａ〜６ｅの各々の視線方向が同一の注視位置に向けられるように複数のカメラ部の視線方向を設定して、その視線方向に基づいて視線調整機構を制御するようにしたため、観察者は注視位置を指定するだけで済み、複数のカメラ部６ａ〜６ｅの視線方向を個別に調整する手間を省くことができる。さらに、この第１実施形態では、内視鏡１が動くことで相対的に移動する被写体上の注視位置を追跡するようにしたため、内視鏡１が動いても、注視位置を指定し直す手間を省くことができる。
また、この第１実施形態では、指示検出器４を用いて、モニタ３の表示画面に関する指示や、複数のカメラ部６ａ〜６ｅの視線方向に関する指示を行うようにしたため、観察者が必要とするより一層適切な画像を簡単にモニタ３に表示させることができる。
特に、この第１実施形態では、指示検出器４を用いて、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかにより観察者が指示を行うため、コントローラ２が観察者の指示内容を的確に取得することができる。特に、ジェスチャを検出する場合には、その場で片手だけで指示を行うことができ、また、音声や視線を検出する場合には、手を使わずに指示を行うことができることから、内視鏡手術において、内視鏡やメスおよび鉗子などの手術器具を保持しているなどの都合で、移動したり手を使ったりすることが面倒な状態でも、観察者が簡単に指示を行うことができるため、術者や補助者の負担を軽減することができる。
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅが、挿入部５の長手方向に並んで配列されて、この配列方向に概ね直交する向きに視線方向が設定されるようにしたため、挿入部５を細径に形成することができることから、挿入部５を挿入する作業が容易になる。特に、内視鏡手術では、挿入部５を挿入するための切開部分を小さくすることができるため、患者の負担を軽減することができる。
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅの各々が、視線方向を前記挿入部の長手方向に変化させるパン動作機構と、視線方向を前記挿入部の長手方向に直交する向きに変化させるチルト動作機構とを備えたものとしたため、複数のカメラ部６ａ〜６ｅの各々の視線方向を任意の方向に変化させることができる。
（第２実施形態）
次に、第２実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図８は、第２実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
この第２実施形態では、第１〜第５のカメラ部６ａ〜６ｅが、被写体上の互いにずれた領域を撮像するように視線方向が設定されており、第１〜第５のカメラ部６ａ〜６ｅから、互いに撮像領域がずれた第１〜第５の個別撮像画像が出力される。そして、第１〜第５の個別撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全体を表示画像とし、あるいは合成画像の一部を切り出して表示画像を生成して、その表示画像をモニタ３に表示する。このとき、合成画像の全体を表示画像とし、あるいは合成画像の広い範囲を切り出せば、被写体の広い範囲を写した広角画像が表示され、合成画像の狭い範囲を切り出し、解像度変換し画面全体に拡大表示すれば、被写体の狭い範囲を写した拡大画像が表示される。
図８に示す例では、合成画像から第１〜第３の表示範囲を切り出して第１〜第３の表示画像を生成し、その第１〜第３の表示画像をそれぞれ３つのモニタ３に表示するようにしており、広い第１の表示範囲を切り出した第１の表示画像が表示されるモニタ３では、被写体の広い範囲を写した広角画像が表示されるため、手術の補助者が見る場合に適している。狭い第３の表示範囲を切り出した第３の表示画像が表示されるモニタ３では、被写体の狭い範囲を写した拡大画像が表示されるため、手術の術者が見る場合に適している。
ここで、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせることができる。すなわち、切り出す範囲を横方向にずらすことで、パン動作を行わせることができ、切り出す範囲を縦方向にずらすことで、チルト動作を行わせることができる。また、合成画像から切り出す範囲の大きさを拡大・縮小することで、表示画像に擬似的なズーム動作を行わせることができる。すなわち、切り出す範囲の大きさを小さくすることで拡大表示され、切り出す範囲の大きさを大きくすることで縮小表示される。
次に、第２実施形態に係るコントローラ２について説明する。図９は、第２実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
この第２実施形態では、コントローラ２の画像出力調整部３２が、画像合成部４２と、画像切り出し部４３と、を備えている。
画像合成部４２では、複数のカメラ部６ａ〜６ｅで撮像された複数の個別撮像画像を接合（パノラマ合成）して１つの連続した合成画像を生成する処理が行われる。複数のカメラ部６ａ〜６ｅの各撮像範囲は、隣り合う２つのカメラ部６ａ〜６ｅ同士で一部重複するように、各カメラ部６ａ〜６ｅの視線方向が設定されており、個別撮像画像に生じる重複部分を利用して個別撮像画像を接合する処理が行われる。
画像切り出し部４３では、表示条件を指定する観察者の指示に応じて、合成画像から、表示条件に応じた範囲を切り出して、表示画像を生成する処理が行われる。表示条件は、表示画像の表示領域を移動させるパンおよびチルト、ならびに表示画像の表示領域を拡大および縮小させるズームに関するものであり、観察者の指示に応じて、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせることができる。
なお、切り出しを行わずに、合成画像をそのままモニタ３に表示させるようにしてもよい。また、画像切り出し部４３で行われる処理は、複数のモニタ３に表示させる表示画像ごとに独立して行われ、これにより、各モニタ３を見る観察者が自由にパンおよびチルトならびにズームの動作を行わせることができる。
また、コントローラ２は、画像重複検出部５１を備えている。画像合成部４２では、個別撮像画像の重複部分を利用して個別撮像画像を接合する合成処理が行われるが、個別撮像画像の重複状況は、カメラ部６ａ〜６ｅから被写体までの距離に応じて変化する。そこで、画像重複検出部５１において、個別撮像画像の重複状況を検出する処理が行われる。
この画像重複検出部５１で検出された個別撮像画像の重複状況に基づいて、視線方向設定部３５において、個別撮像画像に適切な重複部分が生じるように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われる。そして、視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
図１０は、画像合成時の画像信号のゲインの変化状況を示す説明図である。ここでは、複数のカメラ部６ａ〜６ｅによる複数の個別撮像画像を接合する合成処理で、隣り合うカメラ部６ａ〜６ｅの２つの個別撮像画像の画像信号、すなわちｎ番目のカメラ部６ａ〜６ｅの画像信号およびｎ＋１番目のカメラ部６ａ〜６ｅの画像信号にゲインを乗じた上で２つの画像信号を合成することで、個別撮像画像の重複部分の画像信号を生成するようにしている。特にここでは、画像信号に乗じるゲインを徐々に変化させる、すなわち画像信号同士の合成割合を徐々に変化させるようにしている。
図１０（Ａ）に示す例では、ゲインを直線状に、すなわち一定の傾きで変化させており、図１０（Ｂ）に示す例では、ゲインを曲線状に、すなわち傾きを徐々に変えながら変化させている。このように、個別撮像画像の重複部分の画像信号を生成する際に、画像信号同士の合成割合を徐々に変化させることにより、個別撮像画像の接合部分が目立たなくなり、違和感のない自然な合成画像を得ることができる。
なお、この第２実施形態では、モニタ３を複数設けて、合成画像上での切り出し範囲の異なる表示画像を複数のモニタ３に別々に表示させるようにしたが、このモニタ３の個数は必要に応じて適宜に増減することができ、例えばモニタ３を１つのみとしてもよい。
また、この第２実施形態では、カメラ部６ａ〜６ｅにより得られた複数の撮像画像を合成するようにしたが、この複数の撮像画像を合成することなくそのまま出力するようにしてもよい。この場合、１つのモニタ３で複数の撮像画像を切り替えて表示したり、複数の撮像画像を１つの画面に並べて表示したり、複数の撮像画像を複数のモニタ３に別々に表示したりするようにしてもよい。
また、この第２実施形態では、第１実施形態と同様に、カメラ部６ａ〜６ｅが、視線方向を機械的に調整する視線調整機構、すなわちパン動作機構およびチルト動作機構を有するものとしたが、この第２実施形態では、このような視線調整機構は必ずしも必要ではなく、視線調整機構を有しない構成も可能である。もっとも、カメラ部６ａ〜６ｅから被写体までの距離に関係なく、撮像画像の重複部分を適切に形成する上では、視線調整機構を有するものが望ましい。
このように第２実施形態では、観察対象の内部の被写体を複数のカメラ部６ａ〜６ｅで撮像して、その複数のカメラ部６ａ〜６ｅの各々による複数の撮像画像に対して合成および切り出しの調整を行い、これにより生成した表示画像をモニタ３に表示させるようにしたため、内視鏡１を動かすことなく、観察者が必要とする適切な画像を簡単にモニタ３に表示させることができる。
また、この第２実施形態では、複数のカメラ部６ａ〜６ｅが、被写体上の互いにずれた領域を撮像するように視線方向が設定されるようにしたため、被写体の広い範囲を同時に撮像することができることから、内視鏡１を動かすことなく、被写体の広い範囲を観察することができる。
また、この第２実施形態では、複数の撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を表示画像とするようにしたため、広範囲でかつ高分解能の表示画像を得ることができる。すなわち、複数の撮像画像を接合するため、広範囲の画像を得ることができ、また、複数のカメラ部６ａ〜６ｅで分担して被写体を撮像するため、各カメラ部６ａ〜６ｅの視野角（画角）を狭く設定することができることから、高分解能の画像を得ることができる。
また、この第２実施形態では、表示画像に関する表示条件を指定する観察者の指示に応じて、合成画像から表示条件に応じた範囲を切り出して表示画像を生成するようにしたため、観察者が必要とする被写体の範囲を自由に表示させることができる。そして、表示画像の元になる合成画像の解像度が高いため、狭い範囲を切り出して表示画像を生成しても、十分な分解能の画像を表示させることができる。
また、この第２実施形態では、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせるようにしたため、観察者の利便性を高めることができる。そして、表示画像の元になる合成画像の解像度が高いため、高分解能の表示画像でパンおよびチルトを行うことができ、また、ズームで拡大しても、十分な分解能の画像を表示させることができる。
また、この第２実施形態では、観察者ごとに設けられた複数のモニタ３に、合成画像の任意の範囲を別々に表示させるようにしたため、複数の観察者の各々が必要とする被写体の領域をモニタ３に表示させることができることから、観察者の利便性を高めることができる。
（第３実施形態）
次に、第３実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１１は、第３実施形態に係る内視鏡システムにおける内視鏡１の挿入部５を示す側面図である。
この第３実施形態では、内視鏡１の挿入部５に第１〜第３のカメラ部６ａ〜６ｃが配置されている。また、第１〜第３のカメラ部６ａ〜６ｃの間には屈曲部６１が設けられており、この屈曲部６１を屈曲させることで、第１〜第３のカメラ部６ａ〜６ｃの視線方向を変化させることができるようになっている。また、屈曲部６１の近傍には、屈曲アクチュエータ６３が設けられている。この屈曲アクチュエータ６３は、電動モータなどで構成され、屈曲部６１に屈曲動作を行わせる。
観察対象の内部に挿入部５を挿入する際には、図１１（Ａ）に示すように、挿入部５を真直な状態とすると、観察対象に挿入部を挿入する作業が容易になり、観察対象に挿入された後に、図１１（Ｂ）に示すように、屈曲部６１を屈曲させた状態とする。
次に、第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領について説明する。図１２は、第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
この第３実施形態では、第１〜第３のカメラ部６ａ〜６ｃにおいて、撮像窓８が設けられた側が優角（１８０度より大きな角度）となり、撮像窓８と相反する側が劣角（１８０度より小さな角度）となるように屈曲部６１を屈曲させている。これにより、第１〜第３のカメラ部６ａ〜６ｃの視線方向が放射状に広がる状態とすることができる。
画像出力調整の要領は、第２実施形態と同様であり、第１〜第３のカメラ部６ａ〜６ｃから、互いに撮像領域がずれた第１〜第３の個別撮像画像が出力され、この第１〜第３の個別撮像画像を接合して合成画像を生成する。そして、合成画像の全体、あるいはその一部を切り出して表示画像を生成し、その表示画像をモニタ３に表示する。
このとき、合成画像の全体を表示画像とし、あるいは合成画像の広い範囲を切り出して表示画像とすれば、被写体の広い範囲を写した広角画像をモニタ３に表示させることができる。また、合成画像の狭い広い範囲を切り出せば、被写体の狭い範囲を写した拡大画像をモニタ３に表示させることができる。また、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせることができる。
次に、第３実施形態に係るコントローラ２について説明する。図１３は、第３実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
この第３実施形態では、コントローラ２が、屈曲角設定部６５と、屈曲制御部６６と、を備えている。屈曲角設定部６５では、観察者の指示に応じて、屈曲部６１の屈曲角を設定する処理が行われる。屈曲制御部６６では、屈曲角設定部６５で設定された屈曲角となるように屈曲アクチュエータ６３を制御する。これにより、観察者の指示に応じた任意の屈曲角に設定することができる。
なお、屈曲部６１の屈曲角を一定として、観察者の指示に応じて、所定の屈曲角となるように屈曲アクチュエータ６３を制御する構成としてもよい。
なお、この第３実施形態では、屈曲部６１の近傍に屈曲アクチュエータ６３を設けて、屈曲部６１に屈曲動作を行わせるようにしたが、この屈曲動作機構には種々の構成が可能であり、例えば、挿入部５の基部に屈曲アクチュエータを設けて、この屈曲アクチュエータにより、挿入部５に挿通されたワイヤを押し引きすることで、屈曲部６１に屈曲動作を行わせる構成としてもよい。
このように第３実施形態では、複数のカメラ部６ａ〜６ｃの間に屈曲部６１を設けて、この屈曲部６１を屈曲させることで、複数のカメラ部６ａ〜６ｃの視線方向を変化させるようにしたため、全体として極めて広い視野角、例えば１８０度を超える大きな視野角を実現することができる。このため、被写体の極めて広い範囲を同時に撮像することができ、これにより、内視鏡を動かすことなく、被写体の極めて広い範囲を観察することができる。
（第４実施形態）
次に、第４実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
図１４は、第４実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。図１５は、第４実施形態に係る内視鏡システムにおける画像出力調整の要領を詳しく説明する説明図である。
この第４実施形態では、図１４に示すように、内視鏡１の挿入部５に第１〜第３の３つのカメラ部６ａ〜６ｃが配置され、両側の第１，第３のカメラ部６ａ，６ｃは広角（広い視野角）に設定され、中間の第２のカメラ部６ｂは狭角（狭い視野角）に設定されており、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像（広角撮像画像）から、被写体上の注視位置を含む広い範囲を写した第１の表示画像（監視用の表示画像）を生成し、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）から、被写体上の注視位置を含む狭い範囲を写した第２の表示画像（注視用の表示画像）を生成する。
また、この第４実施形態では、術者用および補助者用の２つのモニタ３が設けられ、補助者用のモニタ３に第１の表示画像（監視用の表示画像）が表示され、術者用のモニタ３に第２の表示画像（注視用の表示画像）が表示される。
特に、この第４実施形態では、図１５に示すように、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像を接合して１つの連続した１次合成画像を生成し、この１次合成画像の全体を第１の表示画像（監視用の表示画像）とし、あるいは一部を広い範囲で切り出して第１の表示画像を生成する。第１，第３のカメラ部６ａ，６ｃは、撮像範囲が一部重複するように設定されており、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像の重複部分を利用して、第１，第３の個別撮像画像を接合する。
ここで、１次合成画像の一部を切り出して第１の表示画像を生成した場合、前記の実施形態と同様に、観察者の指示に応じて、１次合成画像から切り出す範囲の位置を変更することで、第１の表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、１次合成画像から切り出す範囲の大きさを変更することで、第１の表示画像に擬似的なズーム動作を行わせることができる。
また、この第４実施形態では、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）と１次合成画像とを合成する、すなわち、１次合成画像上で第２の個別撮像画像と同じ領域を撮像した部分を検出して、その部分に第２の個別撮像画像を埋め込む処理を行って、１つの連続した２次合成画像を生成し、その２次合成画像から第２の個別撮像画像を含む範囲を切り出して、第２の表示画像（注視用の表示画像）を生成する。即ち、第２の個別撮像画像（狭角撮像画像）は撮像範囲が狭いため一般的に解像度が高くなるため、解像度変換などによって１次合成画像との表示領域の位置・拡大率の整合性をとる。このとき、第２の表示画像の略中心に第２の個別撮像画像が位置するように切り出す。
ここで、前記の実施形態と同様に、観察者の指示に応じて、２次合成画像から切り出す範囲の位置を変更することで、第２の表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、２次合成画像から切り出す範囲の大きさを変更することで、第２の表示画像に擬似的なズーム動作を行わせることができる。このとき、被写体の広い範囲を表示する補助者用のモニタ３の画面を見て、パンおよびチルトの方向を指定するようにしてもよい。
また、この第４実施形態では、第２の表示画像（注視用の表示画像）にパンおよびチルトの表示動作を行わせる際に、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）が第２の表示画像の略中央に位置するように、第２のカメラ部６ｂの視線方向が制御される。
次に、第４実施形態に係るコントローラ２について説明する。図１６は、第４実施形態に係るコントローラの概略構成を示す機能ブロック図である。
この第４実施形態では、第２実施形態と同様に、コントローラ２の画像出力調整部３２が、画像合成部４２と、画像切り出し部４３と、を備えている。
画像合成部４２では、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像（広角撮像画像）を接合して１次合成画像を生成する処理が行われる。また、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）を１次合成画像と合成して２次合成画像を生成する処理が行われる。
画像切り出し部４３では、１次合成画像から所要の表示範囲を切り出して第１の表示画像（監視用の表示画像）を生成する処理が行われる。また、２次合成画像から所要の表示範囲を切り出して第２の表示画像（注視用の表示画像）を生成する処理が行われる。
また、コントローラ２の視線方向設定部３５では、注視用の表示画像の表示領域を移動させる観察者の指示、パンおよびチルトの指示に応じて、第２のカメラ部６ｂの撮像範囲が、注視用の表示画像の領域内、特に注視用の表示画像の略中心に位置するように、第２のカメラ部６ｂの視線方向を設定する処理が行われ、ここで設定された視線方向に基づいて、カメラ制御部３４において第２のカメラ部６ｂの視線調整機構を構成するミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
なお、この第４実施形態では、モニタ３を２つ設けて、注視用の表示画像および監視用の表示画像を２つのモニタ３に別々に表示するようにしたが、モニタ３を１つのみとして、その１つのモニタ３で注視用の表示画像および監視用の表示画像を切り替えて表示し、あるいは１つの表示画面に注視用の表示画像および監視用の表示画像を並べて表示するようにしてもよい。
また、この第４実施形態では、２つのカメラ部６ａ，６ｃを広い視野角に設定し、１つのカメラ部６ｂを狭い視野角に設定したが、狭い視野角に設定するカメラ部を２つ以上とすることも可能であり、また、広い視野角に設定するカメラ部を１つのみ設けたり３つ以上設けたりしてもよい。
また、この第４実施形態では、注視用の表示画像を、２次合成画像から狭角撮像画像とその周辺部を含む範囲を切り出して生成するようにしたが、狭角撮像画像をそのまま注視用の表示画像とし、あるいは狭角撮像画像の一部を切り出して注視用の表示画像を生成するようにしてもよい。この場合は、第２の個別撮像画像（狭角撮像画像）は撮像範囲が狭いため一般的に解像度が高くなるため、解像度変換による１次合成画像との表示領域の位置・拡大率の整合性をとる処理を行わなくてもよい。
このように第４実施形態では、狭い視野角に設定された第２のカメラ部６ｂによる狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された第１，第３のカメラ部６ａ，６ｃによる広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成するようにしたため、高分解能な注視用の表示画像と広い範囲を写した監視用の表示画像とを同時に取得することができる。そして、被写体上の注視位置が高分解能な画像で表示されるため、注視位置を詳しく観察することができ、同時に、注視位置の周辺部分が広い範囲で表示されるため、周辺部分を広く観察することができる。
また、この第４実施形態では、観察者ごとに設けられた複数のモニタ３に、注視用の表示画像および監視用の表示画像を別々に表示させるようにしたため、内視鏡手術の術者など、被写体上の狭い領域を詳しく観察する必要がある観察者が、専用のモニタ３で注視用の表示画像を見ることができ、同時に、内視鏡手術の補助者など、被写体上の広い領域を観察する必要がある観察者が、専用のモニタ３で監視用の表示画像を見ることができる。
また、この第４実施形態では、複数のカメラ部６ａ，６ｃが広い視野角に設定され、これらのカメラ部６ａ，６ｃによる複数の広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を監視用の表示画像とするようにしたため、広範囲でかつ高分解能な監視用の表示画像を取得することができる。
また、この第４実施形態では、狭角撮像画像と広角撮像画像とを合成した合成画像を生成して、その合成画像から狭角撮像画像を含む範囲を切り出して、注視用の表示画像を生成するようにしたため、被写体上で観察者が注目する部分を高分解能な画像で観察すると同時に周辺部分も観察することができる。
また、この第４実施形態では、複数のカメラ部６ａ〜６ｃの視線方向を個別に変更する視線調整機構を設け、注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された第２のカメラ部６ｂの撮像範囲が、注視用の表示画像の領域内に位置するように、第２のカメラ部６ｂの視線方向を設定して、その視線方向に基づいて第２のカメラ部６ｂの視線調整機構を制御するようにしたため、常時、第２のカメラ部６ｂによる高分解能な狭角撮像画像が注視用の表示画像内に位置し、注視用の表示画像の表示領域を移動させても、被写体上の重要な部分を高分解能な画像で観察することができる。
次に、第１〜第４の実施形態に係る内視鏡システムの変形例について説明する。
図１７は、内視鏡１の挿入部５の変形例を示す側面図である。ここでは、前記の例と同様に、挿入部５に複数のカメラ部６ａ〜６ｅが並んで設けられているが、特にここでは、挿入部５におけるカメラ部６ａ〜６ｅより基端側の位置に屈曲部７１が設けられている。
このように構成すると、観察対象の内部に挿入部５を挿入する際、図１７（Ａ）に示すような真直な状態とすることで、挿入部５を挿入する作業が容易になる。そして、観察対象の内部に挿入部５が挿入されて、観察対象の内部を観察する際には、必要に応じて、図１７（Ａ）に示すような真直な状態としたり、図１７（Ｂ）に示すような屈曲した状態としたりすることで、観察対象の内部を自由に観察することができる。
図１８は、第１実施形態に係る内視鏡システムの変形例を示す説明図である。ここでは、内視鏡１の挿入部５に複数のカメラ部８１ａ〜８１ｃが設けられており、このカメラ部８１ａ〜８１ｃは、前記の実施形態とは異なり、視線方向を機械的に調整する視線調整機構、すなわちパン動作機構およびチルト動作機構を備えておらず、複数のカメラ部８１ａ〜８１ｃの視線方向は一定となっている。
このような構成で、複数のカメラ部８１ａ〜８１ｃにより注視物が映る撮像画像を取得して、その撮像画像から注視物を含む領域を切り出して表示画像を生成すると、複数のカメラ部８１ａ〜８１ｃの視線方向を調整することなく、画像出力調整部３２における切り出しの調整のみで、第１実施形態と同様に、視線方向が異なる複数の表示画像を取得することができる。
この場合、画像出力調整部３２は、注視位置を指定する観察者の指示に応じて、注視位置の領域を各撮像画像から検出して、その注視位置の領域を含む範囲を撮像画像から切り出すようにすればよい。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る内視鏡システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、第１〜第４の各実施形態では、それぞれ特徴ある構成について説明したが、この第１〜第４の各実施形態で説明した構成を適宜に組み合わせることも可能である。例えば、第１実施形態を視点移動モード、第２実施形態を高分解能モード、第３実施形態を超広角化モード、第４実施形態を広角・狭角併用モードとして、これらの動作モードを必要に応じて切り替えるようにする。この場合、挿入部が屈曲する構成とすることで、第３実施形態の超広角化モードと他の動作モードとを同一のシステムで実現することができる。また、カメラ部にズーム機能を付加すれば、視野角（画角）を変更することができるため、第４実施形態の広角・狭角併用モードと他の動作モードとを同一のシステムで実現することができる。
また、第１，第２の各実施形態では、カメラ部を５つ配置し、第３，第４の各実施形態では、カメラ部を３つ配置したが、カメラ部の配置数はこれに限定されるものではなく、２つや４つ、あるいは６つ以上配置することも可能である。
また、第１〜第４の各実施形態では、複数のカメラ部が挿入部の長手方向に並んで配列された構成としたが、カメラ部の配置はこのような１次元的なものに限定されず、複数のカメラ部を２次元的に配置することも可能である。
また、第１〜第４の各実施形態では、２次元の画像をモニタで表示するようにしたが、複数のカメラ部による撮像画像から３次元画像を生成して、その３次元画像を３次元モニタに表示するようにしてもよい。このようにすると、臓器などの被写体を立体的に観察することができるため、手術や検査の効率を向上させることができる。この場合、２つのカメラ部による撮像画像を用いて２視点による３次元表示を行う他、３つ以上のカメラ部による撮像画像を用いて多視点による３次元表示を行うことも可能である。また、３次元表示方式も、眼鏡式、裸眼式、およびヘッドマウントディスプレイなど、種々の方式を採用することができる。
また、第１〜第４の各実施形態では、複数のカメラ部に、視線方向を変更する視線調整機構（パン動作機構およびチルト動作機構）を設けるようにしたが、カメラ部に視線調整機構を設けない構成も可能である。
すなわち、第１実施形態では、図１８に示したように、切り出しの調整を行うことで、視線調整機構のない構成でも同様の機能を実現することができる。また、カメラ部から所定の距離にある点を注視位置に予め設定して、その注視位置に各々の視線方向が向けられるように複数のカメラ部を設定するようにしてもよい。
また、第２〜第４の実施形態では、視線調整機構がない場合、個別撮像画像に適切な重複部分が生じるように視線方向を設定する位置合わせの処理ができないが、個別撮像画像に重複部分が生じる範囲内で使用するようにすれば、視線調整機構のない構成でも同様の機能を実現することができる。
また、第１〜第４の各実施形態では、複数のカメラ部の全てに視線調整機構を設けるようにしたが、複数のカメラ部の一部に視線調整機構を設ける構成も可能である。例えば、第２〜第４の実施形態では、１つのカメラ部を除く残りのカメラ部に視線調整機構を設ければ、個別撮像画像に適切な重複部分が生じるように視線方向を設定する位置合わせの処理が可能になる。
本発明にかかる内視鏡システムは、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができる効果を有し、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムなどとして有用である。
１ 内視鏡
２ コントローラ（制御装置）
３ モニタ（表示装置）
４ 指示検出器（指示検出装置）
５ 挿入部
６ａ〜６ｅ カメラ部
１２ 撮像部
１３ 可動ミラー
１４ ミラー回転アクチュエータ
１５ カメラ回転アクチュエータ
３１ 画像処理部
３２ 画像出力調整部
３３ 表示制御部
３４ カメラ制御部
３５ 視線方向設定部
３６ 注視位置設定部
３７ 注視位置追跡部
３８ 指示内容取得部
４１ 画像切替部
４２ 画像合成部
４３ 画像切り出し部
５１ 画像重複検出部
６１ 屈曲部
６３ 屈曲アクチュエータ
６５ 屈曲角設定部
６６ 屈曲制御部

Claims (9)

  1. 観察対象の内部の被写体を撮像する内視鏡と、
    この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、
    この制御装置から出力される表示画像を表示する表示装置と、
    を備えた内視鏡システムであって、
    前記内視鏡は、
    観察対象の内部に挿入される挿入部に複数のカメラ部と、前記カメラ部の視線方向を個別に変更する視線調整機構とを備え、
    前記制御装置は、
    注視位置を指定する観察者の指示に応じて、複数の前記カメラ部の各々の視線方向が同一の前記注視位置に向けられるように前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、複数の前記カメラ部の各々による複数の撮像画像に対する切替えの調整を行って、前記表示画像を生成する画像出力調整部とを備え、
    この画像出力調整部で生成した前記表示画像を前記表示装置に表示させることを特徴とする内視鏡システム。
  2. 観察対象の内部の被写体を撮像する内視鏡と、
    この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、
    この制御装置から出力される表示画像を表示する表示装置と、
    を備えた内視鏡システムであって、
    前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備えて、被写体上の互いにずれた領域を撮像するように視線方向が設定され、
    前記制御装置は、
    複数の前記カメラ部の各々による複数の撮像画像を接合して１つの連続した合成画像を生成し、前記表示画像の表示領域を移動させるパンおよびチルトに関する表示条件を指定する観察者の指示に応じて、前記合成画像から前記表示条件に応じた範囲を切り出して前記表示画像を生成する画像出力調整部を備えて、前記合成画像から切り出す範囲の位置を変更することで、前記表示画像に擬似的なパンおよびチルトの動作を行わせ、
    前記画像出力調整部で生成した前記表示画像を前記表示装置に表示させることを特徴とする内視鏡システム。
  3. 前記挿入部は、複数の前記カメラ部の間に屈曲部を有し、この屈曲部を屈曲させることで、複数の前記カメラ部の視線方向を変化させるようにしたことを特徴とする請求項２に記載の内視鏡システム。
  4. 複数の観察者ごとに複数の前記表示装置を備え、
    前記制御装置は、観察者の指示に応じて、前記合成画像の任意の範囲を複数の前記表示装置に別々に表示させることを特徴とする請求項２または請求項３のいずれかに記載の内視鏡システム。
  5. 複数の前記カメラ部のうち、少なくとも１つの前記カメラ部と残りの前記カメラ部とは、視野角が異なるように設定され、
    前記画像出力調整部は、狭い視野角に設定された前記カメラ部による狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された前記カメラ部による広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成することを特徴とする請求項１または請求項２に記載の内視鏡システム。
  6. 複数の観察者ごとに複数の前記表示装置を備え、
    前記制御装置は、前記注視用の表示画像および前記監視用の表示画像を別の前記表示装置に表示させることを特徴とする請求項５に記載の内視鏡システム。
  7. 複数の前記カメラ部が広い視野角に設定され、
    前記画像出力調整部は、広い視野角に設定された複数の前記カメラ部による複数の前記広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記監視用の表示画像とすることを特徴とする請求項５または請求項６に記載の内視鏡システム。
  8. 前記画像出力調整部は、前記狭角撮像画像と前記広角撮像画像とを合成した合成画像を生成して、その合成画像から前記狭角撮像画像を含む範囲を切り出して、前記注視用の表示画像を生成することを特徴とする請求項５から請求項７のいずれかに記載の内視鏡システム。
  9. 前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、
    前記制御装置は、
    前記注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された前記カメラ部の撮像範囲が、前記注視用の表示画像の領域内に位置するように、狭い視野角に設定された前記カメラ部の視線方向を設定する視線方向設定部と、
    この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、
    をさらに備えたことを特徴とする請求項５から請求項８のいずれかに記載の内視鏡システム。
JP2013265082A 2013-12-24 2013-12-24 内視鏡システム Active JP6256872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013265082A JP6256872B2 (ja) 2013-12-24 2013-12-24 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013265082A JP6256872B2 (ja) 2013-12-24 2013-12-24 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2015119827A JP2015119827A (ja) 2015-07-02
JP6256872B2 true JP6256872B2 (ja) 2018-01-10

Family

ID=53532099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013265082A Active JP6256872B2 (ja) 2013-12-24 2013-12-24 内視鏡システム

Country Status (1)

Country Link
JP (1) JP6256872B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106255445B (zh) 2014-12-22 2018-10-09 奥林巴斯株式会社 内窥镜系统和图像处理方法
JP6579706B2 (ja) * 2015-10-06 2019-09-25 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
EP3682790A1 (en) * 2017-09-10 2020-07-22 Kairos Co., Ltd. Endoscope system
JP2019076575A (ja) * 2017-10-26 2019-05-23 桂太郎 松本 内視鏡システム
EP3536217B1 (en) * 2018-03-06 2021-11-03 Leica Instruments (Singapore) Pte. Ltd. Catadioptric medical imaging system for observing the inside wall of a surgical cavity
WO2021144838A1 (ja) * 2020-01-14 2021-07-22 オリンパス株式会社 表示制御装置、表示制御方法、表示制御プログラム及び内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5829439A (ja) * 1981-08-14 1983-02-21 オリンパス光学工業株式会社 広視野内視鏡
JPH05341210A (ja) * 1992-06-09 1993-12-24 Olympus Optical Co Ltd 立体視内視鏡装置
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2000032442A (ja) * 1998-07-13 2000-01-28 Olympus Optical Co Ltd 内視鏡システム
JP2000023911A (ja) * 1998-07-13 2000-01-25 Morita Mfg Co Ltd 歯科用カメラ
JP5235706B2 (ja) * 2009-02-03 2013-07-10 Ｈｏｙａ株式会社 処置用内視鏡
US20150049167A1 (en) * 2011-11-15 2015-02-19 Naoki Suzuki Photographic device and photographic system
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックＩｐマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム

Also Published As

Publication number Publication date
JP2015119827A (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
JP6256872B2 (ja) 内視鏡システム
US20230122367A1 (en) Surgical visualization systems and displays
US10568499B2 (en) Surgical visualization systems and displays
EP2903551B1 (en) Digital system for surgical video capturing and display
JP5919533B2 (ja) 内視鏡およびこれを備えた内視鏡システム
JP5730339B2 (ja) 立体内視鏡装置
US20150085095A1 (en) Surgical visualization systems
WO2016043063A1 (ja) 画像処理装置および画像処理方法
US20070249932A1 (en) Remote manipulator with eyeballs
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP6654006B2 (ja) 医療用観察装置
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
JP4383188B2 (ja) 立体観察システム
KR101339667B1 (ko) 의료 수술용 현미경의 3차원 고화질 영상 인터페이스 시스템
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2002125219A (ja) システム制御装置
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP4398200B2 (ja) 立体観察装置
US10868964B2 (en) Optical observation system and method for operating an optical observation system
EP3852052A1 (en) Information processing apparatus, information processing method, and program
JP2002291692A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R151 Written notification of patent or utility model registration

Ref document number: 6256872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250