JP6344608B2 - 画像処理装置、画像処理方法、プログラム、及び、手術システム - Google Patents

画像処理装置、画像処理方法、プログラム、及び、手術システム Download PDF

Info

Publication number
JP6344608B2
JP6344608B2 JP2015021078A JP2015021078A JP6344608B2 JP 6344608 B2 JP6344608 B2 JP 6344608B2 JP 2015021078 A JP2015021078 A JP 2015021078A JP 2015021078 A JP2015021078 A JP 2015021078A JP 6344608 B2 JP6344608 B2 JP 6344608B2
Authority
JP
Japan
Prior art keywords
image
pixel
surgical
target position
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015021078A
Other languages
English (en)
Other versions
JP2016140692A5 (ja
JP2016140692A (ja
Inventor
健太郎 深沢
健太郎 深沢
岳志 宮井
岳志 宮井
山口　健太
健太 山口
幸弘 中村
幸弘 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015021078A priority Critical patent/JP6344608B2/ja
Priority to EP16706007.8A priority patent/EP3253273A1/en
Priority to US15/519,980 priority patent/US10849482B2/en
Priority to PCT/JP2016/000362 priority patent/WO2016125450A1/en
Publication of JP2016140692A publication Critical patent/JP2016140692A/ja
Publication of JP2016140692A5 publication Critical patent/JP2016140692A5/ja
Application granted granted Critical
Publication of JP6344608B2 publication Critical patent/JP6344608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本技術は、画像処理装置、画像処理方法、プログラム、及び、手術システムに関し、特に、例えば、鏡面反射光成分を抑制することができるようにする画像処理装置、画像処理方法、プログラム、及び、手術システムに関する。
例えば、手術や診断において、内視鏡で被写体を観察する場合には、鏡面反射（正反射）が生じやすい。鏡面反射による鏡面反射光は、被写体の観察の妨げとなるため、鏡面反射については、何らかの対処を施すことが要請されている。
鏡面反射に対処する技術としては、例えば、画像処理によって、二色性反射モデルに基づき、内視鏡で撮影された内視鏡画像に含まれる、鏡面反射光に対応する鏡面反射光成分を推定して除去する技術や、内視鏡画像の輝度を調整する技術が提案されている（例えば、特許文献１や２を参照）。
特開2001-224549号公報 特開2006-142003号公報
内視鏡画像の鏡面反射光成分は、被写体である臓器等の凹凸や模様等の観察の妨げになるため、内視鏡画像の鏡面反射光成分を抑制する様々な技術の提案が要請されている。
本技術は、このような状況に鑑みてなされたものであり、鏡面反射光成分を抑制することができるようにするものである。
本技術の画像処理装置、又は、プログラムは、第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
本技術の画像処理方法は、画像処理装置の画像処理方法であって、前記画像処理装置が、第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成するステップを含み、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定するステップを含む画像処理方法である。
本技術の手術システムは、術部を撮影する手術用撮像装置と、第１の照明方向の照明光が照射された術部を前記手術用撮像装置で撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を前記手術用撮像装置で撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部とを備え、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する手術システムである。
本技術においては、第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とが合成され、鏡面反射光成分が抑制された合成画像が生成される。また、前記第１の手術画像が、奇数フレーム及び偶数フレームのうちの一方のフレームの画像とされ、前記第２の手術画像が、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像とされる。また、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値が決定される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
また、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術によれば、鏡面反射光成分を抑制することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。 内視鏡システムの使用例を示す図である。 内視鏡システムにおいて、被写体を照明する照明方法の例を説明する図である。 照明部１７での照明方向の調整の例を説明する図である。 信号処理部１３で行われる合成処理の概要を説明する図である。 中心照射画像と周辺照射画像とのそれぞれの露光量及びゲインの例を示す図である。 重みaの設定の例を示す図である。 信号処理部１３で行われる合成処理のタイミングの例を説明する図である。 信号処理部１３で行われる合成処理のタイミングの他の例を説明する図である。 内視鏡システムの処理の例を説明するフローチャートである。 合成処理の例を説明するフローチャートである。 内視鏡システムにおいて、被写体を照明する照明方法の他の例を説明する図である。 内視鏡システムにおいて、被写体を照明する照明方法のさらに他の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した内視鏡システムの一実施の形態＞
図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。
図１において、内視鏡システムは、内視鏡１１、メモリ１２、信号処理部１３、表示部１４、撮影制御部１５、照明制御部１６、及び、照明部１７を有する。
内視鏡１１は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサ１１Ａを有し、そのイメージセンサ１１Ａによって被写体を撮影することにより得られる撮影画像を、メモリ１２、及び、信号処理部１３に供給する。
ここで、図１の内視鏡システムは、例えば、医療用の内視鏡システムであり、内視鏡１１のイメージセンサ１１Ａでは、被写体としての生体、すなわち、例えば、患者の体腔の組織が撮影される。そして、その生体の撮影により得られる生体画像である内視鏡画像が、内視鏡１１から、メモリ１２、及び、信号処理部１３に供給される。
なお、図示していないが、内視鏡１１は、必要に応じて、例えば、フォーカスレンズや絞り等の光学系を有する。
さらに、内視鏡１１では、内視鏡画像として、2D(Dimension)画像を撮影することもできるし、3D画像を撮影することもできる。
メモリ１２は、内視鏡１１（のイメージセンサ１１Ａ）から供給される内視鏡画像を一時記憶する。
信号処理部１３は、内視鏡１１（のイメージセンサ１１Ａ）から供給される内視鏡画像や、メモリ１２に記憶された内視鏡画像を用いて、信号処理を行い、その信号処理の結果得られる画像を、表示部１４に供給する。
ここで、信号処理部１３で行われる信号処理としては、例えば、ベイヤ配列の画像の各画素についてRGBの値を求めるデモザイク（現像）や、後述する合成処理等がある。合成処理では、内視鏡１１からの内視鏡画像と、メモリ１２に記憶された内視鏡画像とが合成され、その結果得られる合成画像が、表示部１４に供給される。
表示部１４は、信号処理部１３から供給される合成画像を表示する。表示部１４としては、例えば、信号処理部１３と一体となったディスプレイや、信号処理部１３とは別個の据え置き型のディスプレイ、ヘッドマウントディスプレイ等を採用することができる。
撮影制御部１５は、内視鏡１１（のイメージセンサ１１Ａ）での内視鏡画像の撮影を制御する。また、撮影制御部１５は、内視鏡１１で撮影された内視鏡画像を、メモリ１２又は信号処理部１３に供給する制御を行う。
さらに、撮影制御部１５は、内視鏡１１で撮影される内視鏡画像のフレームに適した照明の条件（照明条件）を設定し、照明制御部１６に供給する。
すなわち、内視鏡１１では、所定のフレームレートで、内視鏡画像が撮影される。撮影制御部１５は、内視鏡画像の各フレームについて、照明条件を設定し、照明制御部１６に供給する。
照明制御部１６は、被写体が撮影制御部１５からの照明条件に従って照明されるように、照明部１７を制御する。
照明部１７は、照明制御部１６の制御に従って、照明光を照射することにより、被写体を照明する。
ここで、照明部１７は、照明光となる光を発するハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）等の光源、及び、その光源が発した照明光を、被写体に導くライトガイドケーブル等の光学部品等の、被写体に照明光を照射するためのすべての機構を含む。
照明部１７は、照明制御部１６の制御に従い、例えば、偶数フレームと奇数フレームとで、異なる照明方向の照明光を、被写体に照射する。
すなわち、偶数フレームの内視鏡画像の撮影時には、照明部１７は、例えば、内視鏡画像に映る被写体の中心部分に向かう照明方向（第１の照明方向）（以下、中心方向ともいう）の照明光を、被写体に照射する。
また、奇数フレームの内視鏡画像の撮影時には、照明部１７は、例えば、内視鏡画像に映る被写体の周辺部分に向かう照明方向（第２の照明方向）（以下、周辺方向ともいう）の照明光を、被写体に照射する。
その結果、内視鏡１１では、偶数フレームの内視鏡画像（第１の撮影画像）として、中心方向の照明光が照射された被写体を撮影した画像が得られるとともに、奇数フレームの内視鏡画像（第２の撮影画像）として、周辺方向の照明光が照射された被写体を撮影した画像が得られる。
信号処理部１３で行われる合成処理では、以上のような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成される。
なお、照明部１７の一部、又は、全部は、内視鏡１１に含めることができる。
また、照明部１７から被写体に照射する照明光の数は、特に限定されるものではない。すなわち、照明部１７は、1又は複数の照明光を、被写体に照射することができる。
さらに、中心方向の照明光は、偶数フレームではなく、奇数フレームの内視鏡画像の撮影時に照射し、周辺方向の照明光は、奇数フレームではなく、偶数フレームの内視鏡画像の撮影時に照射することができる。
また、照明光の照明方向の数としては、中心方向と周辺方向との2方向の他、3方向以上を採用することができる。
すなわち、照明光の照明方向の数としては、例えば、被写体の左側に向かう方向、被写体の中央に向かう方向、及び、被写体の右側に向かう方向の3方向や、被写体の左上、左下、右上、及び、右下のそれぞれに向かう4方向等を採用することができる。
照明光の照明方向の数として、K方向を採用する場合、内視鏡システムでは、例えば、連続するKフレームの内視鏡画像として、照明方向がK方向のそれぞれになっているKフレームの画像が撮影され、その連続するKフレームの内視鏡画像が、1フレームの合成画像に合成される。
図２は、図１の内視鏡システムの使用例を示す図である。
図１の内視鏡システムは、例えば、手術対象となる体内の部位である術部３２を被写体として撮影して、その被写体が映った内視鏡画像（合成画像）を、表示部１４に表示し、医師が、内視鏡画像を見ながら、術部３２に処置を施す内視鏡下手術等で用いられる。
内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする内視鏡画像を撮影する。
すなわち、内視鏡１１は、例えば、外観上、内視鏡システムのユーザとしての手術を行う術者（医師）が手で持って操作するカメラヘッド２１と、患者の体内に挿入される、細長い筒状の内視鏡スコープ２２とを有する。
内視鏡下手術では、例えば、図２に示すように、内視鏡１１の内視鏡スコープ２２と、処置具である鉗子３１が、患者の体内に挿入される。
内視鏡１１では、例えば、内視鏡スコープ２２の先端から、照明部１７が発する照明光が照射され、その照明光によって、患者の体内の被写体としての術部３２が照明される。さらに、内視鏡１１では、照明光が術部３２で反射された反射光が、内視鏡スコープ２２の先端から入射し、内視鏡１１のイメージセンサ１１Ａで受光されることにより、被写体としての術部３２が撮影される。
なお、内視鏡１１において、イメージセンサ１１Ａは、例えば、カメラヘッド２１や、内視鏡スコープ２２の先端部分に設けることができる。内視鏡１１において、イメージセンサ１１Ａを、カメラヘッド２１に設ける場合には、内視鏡スコープ２２の先端から入射する被写体（術部３２）からの反射光を、カメラヘッド２１のイメージセンサ１１Ａまで導く光学部品が、内視鏡スコープ２２内に設けられる。
ここで、一般的な内視鏡では、例えば、特開平11-104075号公報や、特開2011-120646号公報等に記載されているように、その構造上、光源が発する照明光をガイドするライトガイドと、内視鏡（が有するイメージセンサ）の光軸とがほぼ一致する。また、医師が手術や診断を行うために、内視鏡スコープの先端を、被写体としての術部に近づけて、至近距離から、術部が照明される。
そのため、被写体としての術部では、照明光を鏡面反射した鏡面反射光が生じやすい。
内視鏡で撮影される内視鏡画像における、鏡面反射光に対応する鏡面反射光成分は、被写体の表面に本来存在する凹凸や模様を隠蔽するため、医師による術部の観察の妨げとなることがある。
鏡面反射光成分を抑制する方法としては、例えば、特許文献１や２に記載のような、画像処理によって、二色性反射モデルに基づき、鏡面反射光成分を推定して除去する方法や、輝度信号を調整する方法がある。
しかしながら、特許文献１に記載の方法では、鏡面反射光成分の推定は、有彩色の物体を対象として行われ、有彩色でない物体を対象としては、行うことができない。さらに、有彩色の物体を対象とする鏡面反射光成分の推定において、撮影に用いるセンサが飽和すると、彩度の情報が欠け、鏡面反射光成分の推定を正しく行うことができないので、センサの感度を超えないように、撮影を行うことが必要となる。
また、特許文献２に記載の方法では、高輝度の階調を圧縮するので、画像のコントラストが減少し、その結果、被写体の観察を妨げるおそれや、臓器本来の質感が損なわれるおそれがある。
そこで、図１の内視鏡システムでは、偶数フレームの内視鏡画像の撮影時には、中心方向の照明光を、被写体に照射するとともに、奇数フレームの内視鏡画像の撮影時には、周辺方向の照明光を、被写体に照射して、内視鏡画像を撮影する。
そして、図１の内視鏡システムでは、中心方向の照明光が照射された被写体を撮影した偶数フレームの内視鏡画像と、周辺方向の照明光が照射された被写体を撮影した奇数フレームの内視鏡画像とを合成することで、鏡面反射光成分を抑制した合成画像を生成する。
＜照明方法の例＞
図３は、図１の内視鏡システムにおいて、被写体を照明する照明方法の例を説明する図である。
図３のＡは、内視鏡１１を構成する内視鏡スコープ２２の先端を正面とする場合の、その先端の構成例を示す正面図である。
図３のＢは、内視鏡スコープ２２の先端の構成例を示す側面図である。
図３のＡにおいて、内視鏡スコープ２２の先端には、撮影窓と照明窓とが設けられている。
撮影窓からは、被写体からの反射光が入射し、イメージセンサ１１Ａまで導かれる。
なお、図３では、内視鏡スコープ２２の先端の正面は、（ほぼ）円の形状に構成されており、その円の中心部分に、撮影窓が設けられている。
照明窓は、照明部１７の一部であり、照明窓からは、照明光が照射（出射）される。
なお、図３では、撮影窓の周囲に、4個の照明窓が設けられている。但し、照明窓の数は、4個に限定されるものではない。すなわち、内視鏡スコープ２２には、1個、2個、3個、又は、5個以上の照明窓を設けることができる。
照明部１７を構成する照明窓からは、照明制御部１６の制御に従って、照明光が照射される。
図３では、偶数フレームの内視鏡画像の撮影時には、照明窓から、照明方向が中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、照明方向が周辺方向の照明光が照射されるように、照明光の照明方向が、中心方向と周辺方向とに切り替えられる。
その結果、内視鏡１１では、偶数フレームの内視鏡画像として、中心方向の照明光が照射された被写体が映る画像が撮影され、奇数フレームの内視鏡画像として、周辺方向の照明光が照射された被写体が映る画像が撮影される。
照明部１７において、被写体を照明する照明光の照明方向は、例えば、フレームごとに、メカニカルに制御することや、ミラーや集光レンズ等の光学部品を利用して調整（変更）することができる。
図４は、照明部１７での照明方向の調整の例を説明する図である。
図４では、照明部１７において、図示せぬ光源から発せられた照明光が、内視鏡スコープ２２内に設けられたライトガイドケーブルを通って、内視鏡スコープ２２の先端に設けられた照明窓に到達し、その照明窓から照射される。
図４において、照明窓は、内視鏡スコープ２２の先端の正面としての円上の、半径に垂直な方向を回転軸として回動（揺動）するように構成されている。照明窓が回動することで、照明光の照明方向が、例えば、軟性鏡のように、中心方向や周辺方向に調整される。
図４では、照明光が、常時照射され、照明窓の回動による照明方向の調整が、フレームごとに行われる。これにより、偶数フレームの内視鏡画像の撮影時には、照明窓から、照明方向が中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、照明方向が周辺方向の照明光が照射される。
＜合成処理＞
図５は、図１の信号処理部１３で行われる合成処理の概要を説明する図である。
合成処理では、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成される。
上述したように、偶数フレームの内視鏡画像の撮影時には、中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、周辺方向の照明光が照射される。
その結果、偶数フレームでは、内視鏡画像の中心部分に、照明光が集中し、奇数フレームでは、内視鏡画像の周辺部分に、照明光が分散する。
したがって、偶数フレームの内視鏡画像では、中心部分の領域A-1が明るく、周辺部分の領域A-2が、中心部分の領域A-1に比較して暗くなる。また、奇数フレームの内視鏡画像では、周辺部分の領域B-2が明るく、中心部分の領域B-1が、周辺部分の領域B-2に比較して暗くなる。
偶数フレームの内視鏡画像の中心部分の領域A-1については、照明光の光軸と、イメージセンサ１１Ａの光軸とが近くなるため、鏡面反射光成分が含まれやすい。
一方、偶数フレームの内視鏡画像の周辺部分の領域A-2、並びに、奇数フレームの内視鏡画像の中心部分の領域B-1、及び、周辺部分の領域B-2（奇数フレームの内視鏡画像の全領域）については、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが大になるため、鏡面反射光成分が含まれにくい。
合成処理では、以上のような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とを、適切に合成することで、鏡面反射光成分が抑制された（鏡面反射光成分がない）合成画像が生成される。
さらに、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とは、露光条件が異なる撮影画像であるため、そのような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とを合成することで、HDR(High Dynamic Range)の効果を得ることができる。
すなわち、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像との合成処理によれば、高ダイナミックレンジの合成画像を生成することができる。
ここで、中心方向の照明光が照射されて撮影される偶数フレームの内視鏡画像を、以下、中心照射画像ともいう。また、周辺方向の照明光が照射されて撮影される奇数フレームの内視鏡画像を、以下、周辺照射画像ともいう。
図６は、中心照射画像と周辺照射画像とのそれぞれの露光量及びゲインの例を示す図である。
図６のＡは、中心照射画像と周辺照射画像のそれぞれの露光量（の分布）の例を示している。
図６のＡにおいて、横軸は、中心照射画像及び周辺照射画像の水平方向又は垂直方向の位置（座標）を表し、縦軸は、露光量（明るさ）を表す。
中心照射画像は、その中心照射画像の中心部分に向かう照明方向の照明光が被写体に照射され、撮影が行われた画像であるため、中心部分の露光量が大になり、周辺部分の露光量が小になる。
一方、周辺照射画像は、その周辺照射画像の周辺部分に向かう照明方向の照明光が被写体に照射され、撮影が行われた画像であるため、中心部分の露光量が小になり、周辺部分の露光量が大になる。
なお、中心照射画像の露光量は、任意の方法で測定することができる。
また、中心照射画像の露光量は、例えば、中心方向の照明を被写体に照射して撮影を行うシミュレーション等によってあらかじめ求めておくことができる。
中心照射画像の露光量を、シミュレーション等によってあらかじめ求めておく場合には、1種類の露光量（の分布）を求めておくことの他、例えば、被写体と、内視鏡スコープ２２との距離に対応した複数種類の露光量を求めておくことができる。
被写体と、内視鏡スコープ２２との距離に対応した複数種類の露光量を求めておく場合には、内視鏡システムの使用時に、被写体と、内視鏡スコープ２２との実際の距離を計測し、その実際の距離に対応する露光量を、中心照射画像の露光量として用いることができる。
以上の点、周辺照射画像の露光量についても、同様である。
中心照射画像、及び、周辺照射画像の露光量は、位置（画素）によって異なるため、信号処理部１３は、中心照射画像と周辺照射画像とを合成するにあたって、露光量を一様にするために、中心照射画像、及び、周辺照射画像の、例えば、画素ごとに適切なゲインをかける。
すなわち、信号処理部１３は、例えば、中心照射画像の露光量から、最大の露光量を検出し、その最大の露光量を基準として、中心照射画像、及び、周辺照射画像それぞれの各画素に、その画素の露光量に応じたゲインをかける。
具体的には、信号処理部１３は、中心照射画像の最大の露光量の画素のゲインを1.0に設定する。そして、信号処理部１３は、中心照射画像の最大の露光量の画素のゲインを基準として、中心照射画像、及び、周辺照射画像それぞれの各画素に、その画素の露光量に反比例するような値のゲインを設定する。
図６のＢは、中心照射画像と周辺照射画像のそれぞれに設定されたゲイン（の分布）の例を示している。
図６のＢにおいて、横軸は、中心照射画像及び周辺照射画像の水平方向又は垂直方向の位置を表し、縦軸は、信号処理部１３で設定されるゲインを表す。
図６のＢにおいて、中心照射画像、及び、周辺照射画像それぞれの各画素のゲインは、その画素の露光量に反比例するような値になっている。
信号処理部１３は、中心照射画像及び周辺照射画像にゲインをかけ、そのゲインをかけた後の中心照射画像と周辺照射画像とを合成する。
すなわち、いま、注目する注目位置の中心照射画像及び周辺照射画像の画素値を、それぞれ、Pc及びPoと表すこととする。また、中心照射画像及び周辺照射画像の注目位置の画素のゲイン（画素に設定されたゲイン）を、それぞれ、Gc及びGoと表すこととする。
この場合、ゲインをかけた後の中心照射画像及び周辺照射画像の注目位置の画素の画素値Vc及びVoは、それぞれ、式Vc=Pc・Gc、及び、式Vo=Po・Goで表される。
信号処理部１３は、例えば、ゲインをかけた後の中心照射画像及び周辺照射画像それぞれの注目位置の画素の画素値Vc及びVoの重み付け加算値を、合成画像の注目位置の画素の画素値Cとして求める。
すなわち、いま、画素値Vc及びVoの重み付け加算値を求めるのに用いる重みを、aと表すこととすると、信号処理部１３は、例えば、式C=a・Vc+(1-a)・Voに従って、合成画像の注目位置の画素の画素値Cを求める。
但し、信号処理部１３は、例えば、（ゲインをかけた後の）中心照射画像又は周辺照射画像それぞれの注目位置の画素の画素値Vc又はVoに基づいて、式0.0=<a=<1.0で表される範囲の値を、重みaとして設定する。
図７は、重みaの設定の例を示す図である。
図７において、横軸は、中心照射画像又は周辺照射画像の注目位置の画素の画素値Vc又はVoを表し、縦軸は、重みaを表す。
中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合、図７のＡに示すように、重みaは、中心照射画像の注目位置の画素の画素値Vcに応じて設定される。
また、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合、図７のＢに示すように、重みaは、周辺照射画像の注目位置の画素の画素値Voに応じて設定される。
ここで、図７のＡでは、重みaは、中心照射画像の注目位置の画素の画素値Vcの増加に対して、1.0から減少する特性を有する。ここでの減少は、減少量が0以上の減少を意味する。
また、図７のＢでは、重みaは、周辺照射画像の注目位置の画素の画素値Voの増加に対して、0.0から増加する特性を有する。ここでの増加とは、増加量が0以上の増加を意味する。
図７のＡでは、中心照射画像の注目位置の画素の画素値Vcが閾値THより小さい（又は、以下である）場合、重みaは、1に設定される。また、図７のＡでは、中心照射画像の注目位置の画素の画素値Vcが閾値TH以上である（又は、より大きい）場合、重みaは、0に設定される。
図７のＢでは、周辺照射画像の注目位置の画素の画素値Voが閾値THより小さい場合、重みaは、0に設定される。また、図７のＢでは、周辺照射画像の注目位置の画素の画素値Voが閾値TH以上である場合、重みaは、1に設定される。
閾値THとしては、例えば、鏡面反射光成分を含む可能性が高い画素の画素値の最小値等を用いることができる。かかる閾値THは、例えば、シミュレーション等により推定することができる。
重みaとして、上述のように、0又は1が設定される場合、式C=a・Vc+(1-a)・Voに従って行われる合成処理では、実質的に、中心照射画像及び周辺照射画像の注目位置の画素の画素値Vc及びVoのうちの一方の画素値が、合成画像の注目位置の画素値となる。
すなわち、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合（図７のＡ）、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときには、重みaが1となり、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。また、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、重みaが0となり、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。
一方、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合（図７のＢ）、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときには、重みaが0となり、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。また、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小でないときには、重みaが1となり、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。
ここで、注目位置が、内視鏡画像（中心照射画像及び周辺照射画像）の中心部分である場合には、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大になる。この場合、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときには、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分を含まないと推定され、その画素値Vcが、そのまま、合成画像の注目位置の画素の画素値Cとなる。
また、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分が含む可能性があると推定され、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとなる。
一方、注目位置が、周辺部分である場合には、周辺照射画像の注目位置の画素の露光量が、中心照射画像の注目位置の画素の露光量より大になる。この場合、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときには、周辺照射画像の注目位置の画素の画素値Voが、鏡面反射光成分を含まないと推定され、その画素値Voが、そのまま、合成画像の注目位置の画素の画素値Cとなる。
また、周辺照射画像の注目位置の画素の画素値Ｖ０が、閾値THより小でないときには、周辺照射画像の注目位置の画素の画素値Ｖ０が、鏡面反射光成分が含む可能性があると推定され、中心照射画像の注目位置の画素の画素値ＶＣが、合成画像の注目位置の画素の画素値Ｃとなる。
鏡面反射は、内視鏡画像の中心部分に映る被写体において、露光量が大きい場合に生じやすく、そのため、中心照射画像の中心部分の画素の画素値Vc(Pc)が、飽和値、又は、飽和値に非常に近い値になっている場合に、その画素値Vcに、鏡面反射光成分が含まれる可能性が高い。
したがって、上述のように、中心照射画像の注目位置の画素の露光量が（周辺照射画像の注目位置の画素の露光量より）大である場合において、中心照射画像の注目位置の画素の画素値Vcが閾値THより小でないときに、信号処理部１３において、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分が含む可能性があると推定し、周辺照射画像の注目位置の画素の画素値Voを、合成画像の注目位置の画素の画素値Cとすることにより、内視鏡画像から鏡面反射光成分を検出せずに、鏡面反射光成分を抑制した合成画像を得ることができる。
なお、図７では、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合において、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、その画素値Vcが、鏡面反射光成分が含む可能性があると推定され、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。
また、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合において、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小でないときには、その画素値Voが、鏡面反射光成分が含む可能性があると推定され、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。
しかしながら、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合において、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときであっても、その画素値Vcが、鏡面反射光成分が含むことがあり得る。
同様に、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合において、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときであっても、その画素値Voが、鏡面反射光成分が含むことがあり得る。
そこで、信号処理部１３では、中心照射画像及び周辺照射画像それぞれの注目位置の画素について、鏡面反射光成分を検出する処理、すなわち、例えば、二色性反射モデル等を用いた鏡面反射光成分の検出の処理等を行うことができる。そして、中心照射画像及び周辺照射画像それぞれの注目位置の画素のうちのいずれか一方の画素について、鏡面反射光成分が検出された場合には、重みaを用いた重み付け加算値に代えて、他方の画素の画素値を、合成画像の注目位置の画素の画素値Cに採用することができる。
また、上述の場合には、重みaを、0又は1に設定する（閾値THにおいて、0又は1から、1又は0に急峻に変化する値に設定する）こととしたが、重みaは、中心照射画像又は周辺照射画像それぞれの注目位置の画素の画素値Vc又はVoに基づいて、式0.0=<a=<1.0で表される範囲の任意の値に設定することができる。
すなわち、重みaは、例えば、画素値Vc又はVoが閾値THの近傍の値である場合には、図７に点線で示すように、画素値Vc又はVoに応じて、1から0に緩やか変化する値、又は、0から1に緩やかに変化する値に設定することができる。
例えば、重みaは、図７に点線で示すように、TH1(<TH)からTH2(>TH)の範囲の画素値Vc又はVoに対しては、その画素値Vc又はVoに応じて、1から0に緩やか変化する値、又は、0から1に緩やかに変化する値に設定することができる。
この場合、合成画像の注目位置の画素の画素値Cは、画素値VcとVoとを、重みaに対応する割合（画素値Vc又はVoと閾値THとの差に対応する割合）でブレンドした値となる。
その他、重みaとしては、画素値Vcの増加に対して、1から減少する任意の特性、又は、画素値Voの増加に対して、0から増加する任意の特性を採用することができる。
合成処理では、以上のようにして、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成され、合成画像が生成されると、その合成画像の階調が圧縮される。
すなわち、合成処理では、中心照射画像及び周辺照射画像にゲインがかけられ、そのゲインがかけられた後の中心照射画像と周辺照射画像とが合成される。そのため、合成画像は、合成処理前の中心照射画像や周辺照射画像よりもビット幅が大きい画像、つまり、ダイナミックレンジが高い画像になっている。
例えば、中心照射画像及び周辺照射画像にかけられたゲインの最大値が、16.0(=24)である場合には、合成画像のビット幅は、合成処理前の中心照射画像や周辺照射画像のビット幅よりも4ビットだけ多くなる。
合成処理では、合成画像のビット幅を、例えば、合成処理前の中心照射画像や周辺照射画像のビット幅に一致させるように、合成画像の階調が圧縮される。
合成画像の階調を圧縮する方法としては、例えば、固定のトーンカーブを用いて階調を圧縮する方法や、画像の特徴量に応じてトーンカーブを切り替えて階調を圧縮する方法を採用することができる。さらに、合成画像の階調を圧縮する方法としては、例えば、中心照射画像及び周辺照射画像にかけたゲインの最大値で除算を行う方法や、その他の任意の方法を採用することができる。
図８は、図１の信号処理部１３で行われる合成処理のタイミングの例を説明する図である。
図８では、合成処理において、ある偶数フレーム#2Nの内視鏡画像（中心照射画像）と、その偶数フレーム#2Nの次の奇数フレーム#2N+1の内視鏡画像（周辺照射画像）とが合成される。さらに、合成処理では、その後、奇数フレーム#2N+1の次の偶数フレーム#2N+2の内視鏡画像（中心照射画像）と、その偶数フレーム#2N+2の次の奇数フレーム#2N+3の内視鏡画像（周辺照射画像）とが合成される。
図８の合成処理では、以上のような、偶数フレームの内視鏡画像（中心照射画像）と奇数フレームの内視鏡画像（周辺照射画像）との合成が繰り返される。
この場合、偶数フレームの内視鏡画像と奇数フレームの内視鏡画像との合成により得られる合成画像のフレームレートは、内視鏡１１で撮影される内視鏡画像のフレームレートの1/2になる。
したがって、合成処理を、図８に示したタイミングで行う場合には、内視鏡１１において、合成画像に要求されるフレームレートの2倍のフレームレートで、内視鏡画像を撮影する必要がある。
図９は、図１の信号処理部１３で行われる合成処理のタイミングの他の例を説明する図である。
図９では、合成処理において、ある偶数フレーム#2Nの内視鏡画像（中心照射画像）と、その偶数フレーム#2Nの次の奇数フレーム#2N+1の内視鏡画像（周辺照射画像）とが合成される。さらに、合成処理では、その後、直前の合成に用いられた奇数フレーム#2N+1の内視鏡画像（周辺照射画像）と、その奇数フレーム#2N+1の次の偶数フレーム#2N+2の内視鏡画像（中心照射画像）とが合成される。
図９の合成処理では、以上のような、偶数フレームの内視鏡画像（中心照射画像）と奇数フレームの内視鏡画像（周辺照射画像）との合成が繰り返される。
この場合、偶数フレームの内視鏡画像と奇数フレームの内視鏡画像との合成により得られる合成画像のフレームレートは、内視鏡１１で撮影される内視鏡画像のフレームレートに一致する。
＜内視鏡システムの処理＞
図１０は、図１の内視鏡システムの処理の例を説明するフローチャートである。
なお、図１０では、例えば、合成処理が、図８に示したタイミングで行われることとする。
ステップＳ１１において、これから内視鏡１１で撮影しようとしている注目フレームに適した照明の制御が行われる。
すなわち、ステップＳ１１では、撮影制御部１５は、注目フレームに適した照明条件を設定し、照明制御部１６に供給する。照明制御部１６は、被写体が撮影制御部１５からの照明条件に従って照明されるように、照明部１７を制御する。
照明部１７は、照明制御部１６の制御に従って、照明方向が中心方向又は周辺方向の照明光を照射することにより、被写体を照明する。
その後、処理は、ステップＳ１１からステップＳ１２に進み、内視鏡１１は、照明部１７によって照明光が照射された被写体を撮影し、これにより、注目フレームの内視鏡画像を取得して、処理は、ステップＳ１３に進む。
ステップＳ１３では、撮影制御部１５は、内視鏡１１において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が完了しているかどうかを判定する。
ステップＳ１３において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が、まだ完了していないと判定された場合、処理は、ステップＳ１４に進む。
ステップＳ１４では、撮影制御部１５は、内視鏡１１で撮影された注目フレームの内視鏡画像を、内視鏡１１からメモリ１２に供給させて書き込む（記憶させる）。そして、処理は、ステップＳ１４からステップＳ１１に戻り、現在の注目フレームの次のフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
また、ステップＳ１３において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が完了したと判定された場合、撮影制御部１５は、内視鏡１１で撮影された注目フレームの内視鏡画像を、内視鏡１１から信号処理部１３に供給させる。
そして、処理は、ステップＳ１３からステップ１５に進み、信号処理部１３は、内視鏡１１から直前に供給された注目フレームの内視鏡画像と、メモリ１２に記憶された、注目フレームの直前のフレームの内視鏡画像とを合成する合成処理を行う。
すなわち、いま、注目フレームの内視鏡画像が、周辺照射画像であるとすると、メモリ１２には、その周辺照射画像の直前のフレームの中心照射画像が記憶されており、合成処理では、その中心照射画像と周辺照射画像とが合成され、合成画像が生成される。
合成処理によって得られる合成画像は、信号処理部１３から表示部１４に供給されて表示され、これにより、1フレームの合成画像を表示する処理が終了する。
次のフレームの合成画像を表示する場合には、図１０のフローチャートに従った処理が繰り返される。
図１１は、図１０のステップＳ１５で行われる合成処理の例を説明するフローチャートである。
ステップＳ２１において、信号処理部１３は、合成処理の対象となる中心照射画像及び周辺照射画像のそれぞれについて、図６で説明したように、露光量に応じたゲインをかけるゲイン補正を行い、処理は、ステップＳ２２に進む。
ステップＳ２２では、信号処理部１３は、（ゲインがかけられた後の）中心照射画像又は周辺照射画像それぞれの画素の画素値Vc又はVoに基づいて、図７で説明したように、重みaを設定する。
さらに、信号処理部１３は、重みaを用いて、図７で説明したように、中心照射画像及び周辺照射画像を合成し、合成画像を生成して、処理は、ステップＳ２２からステップＳ２３に進む。
ステップＳ２３では、信号処理部１３は、合成画像の階調を圧縮し、階調の圧縮後の合成画像を、表示部１４に供給して、合成処理は終了する（リターンする）。
以上のように、図１の内視鏡システムでは、異なる照明方向の照明光が照射された被写体を撮影することにより得られる複数の内視鏡画像である中心照射画像と周辺照射画像とを合成し、合成画像を生成する。
したがって、合成画像の鏡面反射光成分を抑制することができ、その合成画像を観察するユーザは、合成画像に映る被写体の表面に本来存在する凹凸や模様を十分に認識することができる。さらに、合成画像として、ダイナミックレンジの高い画像を得ることができる。
＜照明方法の他の例＞
図１２は、図１の内視鏡システムにおいて、被写体を照明する照明方法の他の例を説明する図である。
すなわち、図１２は、内視鏡１１を構成する内視鏡スコープ２２の先端の構成例を示す正面図及び側面図である。
図１２では、図３と同様に、内視鏡スコープ２２の先端に、撮影窓と照明窓とが設けられている。但し、図１２では、照明窓は、少なくとも、内視鏡スコープ２２の先端の正面としての円の中心に近い位置（以下、スコープ中心よりの位置ともいう）と、円周に近い位置（以下、スコープ外側よりの位置ともいう）とに設けられている。
図１２のＡでは、スコープ中心よりの位置に、1個の照明窓が設けられ、スコープ外周よりの位置に、1個の照明窓が設けられている。
図１２のＢでは、スコープ中心よりの位置に、撮影窓を囲むように、ドーナツ状の1個の照明窓が設けられ、スコープ外周よりの位置に、スコープ中心よりの位置の照明窓を囲むように、ドーナツ状の1個の照明窓が設けられている。
図１２のＣでは、スコープ中心よりの位置に、90度の中心角の間隔で、4個の照明窓が設けられ、スコープ外周よりの位置であって、スコープ中心よりの位置の照明窓の外側の位置に、4個の照明窓が設けられている。
図１２のＤでは、図１２のＣと同様に、スコープ中心よりの位置に、4個の照明窓が設けられ、スコープ外周よりの位置に、4個の照明窓が設けられている。但し、図１２のＤでは、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２の外側に突出するように設けられている。
なお、図１２のＤにおいて、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２の内部に収納することができるように構成されている。
スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２（の先端）が体腔に挿入されるときには、内視鏡スコープ２２の内部に収納されている。そして、内視鏡スコープ２２が体腔に挿入された後に、内視鏡スコープ２２の外側に露出される。さらに、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２が体腔から引き抜かれるときに、再び、内視鏡スコープ２２の内部に収納される。
図１２において、スコープ中心よりの位置の照明窓からは、中心方向の照明光が照射され、スコープ外周よりの位置の照明窓からは、周辺方向の照明光が照射される。
そして、照明制御部１６では、中心照射画像、すなわち、偶数フレームの内視鏡画像の撮影時には、スコープ中心よりの位置の照明窓から照射される照明光をオンにするとともに、スコープ外周よりの位置の照明窓から照射される照明光をオフにするように、照明部１７が制御される。
また、照明制御部１６では、周辺照射画像、すなわち、奇数フレームの内視鏡画像の撮影時には、スコープ中心よりの位置の照明窓から照射される照明光をオフにするとともに、スコープ外周よりの位置の照明窓から照射される照明光をオンにするように、照明部１７が制御される。
図３及び図４で説明したように、照明光の照明方向を制御する他、図１２で説明したように、スコープ中心よりの位置の照明窓から照射される中心方向の照明光、及び、スコープ外周よりの位置の照明窓から照射される周辺方向の照明光それぞれのオンとオフとを切り替えることによっても、異なる照明方向の照明光で、被写体を照明することができる。
なお、図１２のＤの場合、図１２ＡないしＣの場合と比較して、スコープ外周よりの位置の照明窓が、撮影窓から遠い位置にある。そのため、図１２のＤの場合、図１２ＡないしＣの場合と比較して、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが、より大になるため、周辺照射画像に、鏡面反射光成分が、より含まれにくくなる。
図１３は、図１の内視鏡システムにおいて、被写体を照明する照明方法のさらに他の例を説明する図である。
すなわち、図１３は、内視鏡１１が体腔に挿入された状態を簡略に示す断面図である。
上述の場合には、照明光を、内視鏡１１から照射したが、照明光は、内視鏡１１とは別の器具である外部器具から照射することができる。
図１３では、人体の表面に開けられた孔に、外部器具としての筒状のトロッカが取り付けられている。図１３では、例えば、直線状に、3個のトロッカが取り付けられている。
さらに、図１３では、3個のトロッカのうちの、中央のトロッカに、内視鏡スコープ２２が挿入されている。さらに、3個のトロッカのうちの、両端の2個のトロッカは、照明部１７の一部であり、その2個のトロッカには、照明光が出射する照明窓（図示せず）が設けられている。
図１３のＡでは、内視鏡スコープ２２に、少なくとも、図１２で説明した、スコープ中心よりの位置の照明窓が設けられており、その照明窓から、中心方向の照明光が照射される。
さらに、図１３のＡでは、両端の2個のトロッカは、そのトロッカに設けられた照明窓から、周辺方向の照明光を照射する。
そして、図１３のＡでは、中心照射画像、すなわち、偶数フレームの内視鏡画像の撮影時には、照明制御部１６が、内視鏡スコープ２２の照明窓から照射される照明光をオンにするとともに、両端の2個のトロッカの照明窓から照射される照明光をオフにするように、照明部１７を制御する。
また、照明制御部１６は、周辺照射画像、すなわち、奇数フレームの内視鏡画像の撮影時には、内視鏡スコープ２２の照明窓から照射される照明光をオフにするとともに、両端の2個のトロッカの照明窓から照射される照明光をオンにするように、照明部１７を制御する。
図１３のＡでは、以上のように、内視鏡スコープ２２とトロッカとから、中心方向の照明光と周辺方向の照明光とがそれぞれ照射されるが、図１３のＢでは、トロッカのみから、中心方向の照明光と周辺方向の照明光とが照射される。
すなわち、図１３のＢでは、照明制御部１６は、中心照射画像（偶数フレームの内視鏡画像）の撮影時には、両端の2個のトロッカの照明窓から照射される照明光の照明方向が、中心方向になるように、照明部１７を制御する。
また、照明制御部１６は、周辺照射画像（奇数フレームの内視鏡画像）の撮影時には、両端の2個のトロッカの照明窓から照射される照明光の照明方向が、周辺方向になるように、照明部１７を制御する。
以上のように、内視鏡１１とは別の外部器具であるトロッカから、照明光を照射する場合には、内視鏡スコープ２２から、照明光を照射する場合に比較して、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが、より大になるため、周辺照射画像に、鏡面反射光成分が、より含まれにくくなる。
なお、図１３のＢに示したように、トロッカのみから、照明光を照射する場合において、そのトロッカから照射される中心方向の照明光だけでは、被写体を照明する明るさが足りないときには、内視鏡スコープ２２から、中心方向の照明光を照射することができる。
すなわち、図１３のＢにおいて、トロッカの照明窓から、中心方向の照明光を照射するタイミングでは、そのタイミングに同期して、内視鏡１１からも、中心方向の照明光を照射することができる。
なお、図１３では、照明光を照射する外部器具として、トロッカを採用したが、照明光を照射する外部器具は、トロッカに限定されるものではない。すなわち、照明光を照射する外部器具としては、例えば、照明専用の装置を採用し、その照明専用の装置を、トロッカから挿入して、被写体としての体腔を照明することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した信号処理部１３の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、内視鏡スコープ２２が体内に挿入される内視鏡１１で撮影された内視鏡画像の他、例えば、いわゆるカプセル型の内視鏡で撮影された内視鏡画像の処理に適用することができる。
さらに、本技術は、人体（の組織）を撮影した画像の他、人体以外の生体を撮影した画像の処理に適用することができる。
また、本技術は、内視鏡１１で生体を撮影した内視鏡画像（生体画像）の他、例えば、ビデオ顕微鏡で生体を撮影した生体画像の処理に適用することができる。
さらに、本技術は、医療用の内視鏡システムの他、工業用の内視鏡システムで、生体以外の被写体を撮影した内視鏡画像の処理に適用することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 内視鏡， １１Ａ イメージセンサ， １２ メモリ， １３ 信号処理部， １４ 表示部， １５ 撮影制御部， １６ 照明制御部， １７ 照明部， ２１ カメラヘッド， ２２ 内視鏡スコープ， ３１ 鉗子， ３２ 術部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (19)

  1. 第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、
    前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
    前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
    前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
    画像処理装置。
  2. 前記照明光を照射する照明部を制御する照明制御部をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記照明制御部は、前記照明光の照明方向を、前記第１の照明方向と前記第２の照明方向とに切り替えるように、前記照明部を制御する
    請求項２に記載の画像処理装置。
  4. 前記照明制御部は、前記第１の照明方向の照明光、及び、前記第２の照明方向の照明光それぞれをオン又はオフするように、前記照明部を制御する
    請求項２に記載の画像処理装置。
  5. 前記照明光は、前記術部を撮影する内視鏡から照射される
    請求項１ないし４のいずれかに記載の画像処理装置。
  6. 前記照明光は、前記術部を撮影する内視鏡とは別の外部器具から照射される
    請求項１ないし５のいずれかに記載の画像処理装置。
  7. 前記第１の手術画像は、前記第１の手術画像に映る前記術部の中心部分に向かう前記第１の照明方向の照明光が照射された画像であり、
    前記第２の手術画像は、前記第２の手術画像に映る前記術部の周辺部分に向かう前記第２の照明方向の照射光が照射された画像である
    請求項１ないし６のいずれかに記載の画像処理装置。
  8. 前記信号処理部は、
    第１のフレームの前記第１の手術画像と、前記第１のフレームの次の第２のフレームの前記第２の手術画像とを合成し、
    前記第２のフレームの次の第３のフレームの前記第１の手術画像と、前記第３のフレームの次の第４のフレームの前記第２の手術画像とを合成する
    ことを繰り返す
    請求項１に記載の画像処理装置。
  9. 前記信号処理部は、
    第１のフレームの前記第１の手術画像と、前記第１のフレームの次の第２のフレームの前記第２の手術画像とを合成し、
    前記第２のフレームの前記第２の手術画像と、前記第２のフレームの次の第３のフレームの前記第１の手術画像とを合成する
    ことを繰り返す
    請求項１に記載の画像処理装置。
  10. 前記信号処理部は、
    前記第１の手術画像の注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、
    前記第１の手術画像の前記注目位置の画素の画素値が、閾値より小であるときには、前記第１の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
    前記第１の手術画像の前記注目位置の画素の画素値が、閾値より小でないときには、前記第２の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
    前記第１の手術画像の注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、
    前記第２の手術画像の前記注目位置の画素の画素値が、閾値より小であるときには、前記第２の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
    前記第２の手術画像の前記注目位置の画素の画素値が、閾値より小でないときには、前記第１の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求める
    請求項１ないし９のいずれかに記載の画像処理装置。
  11. 前記信号処理部は、前記第１の手術画像の注目位置の画素の画素値と、前記第２の手術画像の前記注目位置の画素の画素値との重み付け加算値を、前記合成画像の前記注目位置の画素の画素値として求める
    請求項１に記載の画像処理装置。
  12. 前記信号処理部は、前記重み付け加算値を求めるのに用いる重みを、前記第１の手術画像又は前記第２の手術画像の前記注目位置の画素の画素値に基づいて設定する
    請求項１１に記載の画像処理装置。
  13. 前記信号処理部は、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記重みを、前記第１の手術画像の前記注目位置の画素の画素値に応じて設定し、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記重みを、前記第２の手術画像の前記注目位置の画素の画素値に応じて設定し、
    前記合成画像を含む映像信号のフレームレートは、前記第１の手術画像及び前記第２の手術画像を撮影する手術用撮像装置の撮像フレームレートより、低いものである
    請求項１２に記載の画像処理装置。
  14. 前記信号処理部は、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記重みを、前記第１の手術画像の前記注目位置の画素の画素値に応じて設定し、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記重みを、前記第２の手術画像の前記注目位置の画素の画素値に応じて設定し、
    前記第１の手術画像の前記注目位置の画素の画素値ＶＣ、前記第２の手術画像の前記注目位置の画素の画素値Ｖ０、及び、重みａを用い、前記合成画像の前記注目位置の画素の画素値ＣをＣ＝ａ・ＶＣ＋（１−ａ）・Ｖ０に従って求め、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記第１の手術画像の前記注目位置の画素の画素値ＶＣの増加に対して減少する重みａを設定し、
    前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記第２の手術画像の前記注目位置の画素の画素値Ｖ０の増加に対して増加する重みａを設定し、
    前記合成画像を含む映像信号のフレームレートは、前記第１の手術画像及び前記第２の手術画像を撮像する手術用撮像装置の撮像フレームレートと同じである
    請求項１２に記載の画像処理装置。
  15. 前記信号処理部は、
    前記第１の手術画像の各画素の画素値に、その画素の露光量に応じたゲインをかけるとともに、前記第２の手術画像の各画素の画素値に、その画素の露光量に応じたゲインをかけ、
    前記ゲインをかけた後の前記第１の手術画像と前記第２の手術画像とを合成する
    請求項１ないし１４のいずれかに記載の画像処理装置。
  16. 前記信号処理部は、前記ゲインをかけた後の前記第１の手術画像と前記第２の手術画像とを合成することにより生成される前記合成画像の階調を圧縮する
    請求項１５に記載の画像処理装置。
  17. 画像処理装置の画像処理方法であって、
    前記画像処理装置が、
    第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する
    ステップを含み、
    前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
    前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
    前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定するステップを含む
    画像処理方法。
  18. 第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、
    前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
    前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
    前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
    画像処理装置として、コンピュータを機能させるためのプログラム。
  19. 術部を撮影する手術用撮像装置と、
    第１の照明方向の照明光が照射された術部を前記手術用撮像装置で撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を前記手術用撮像装置で撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部とを備え、
    前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
    前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
    前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
    手術システム。
JP2015021078A 2015-02-05 2015-02-05 画像処理装置、画像処理方法、プログラム、及び、手術システム Active JP6344608B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015021078A JP6344608B2 (ja) 2015-02-05 2015-02-05 画像処理装置、画像処理方法、プログラム、及び、手術システム
EP16706007.8A EP3253273A1 (en) 2015-02-05 2016-01-26 Endoscopic system, image processing apparapus, and image processing method
US15/519,980 US10849482B2 (en) 2015-02-05 2016-01-26 Endoscopic system, image processing apparatus, and image processing method
PCT/JP2016/000362 WO2016125450A1 (en) 2015-02-05 2016-01-26 Endoscopic system, image processing apparapus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015021078A JP6344608B2 (ja) 2015-02-05 2015-02-05 画像処理装置、画像処理方法、プログラム、及び、手術システム

Publications (3)

Publication Number Publication Date
JP2016140692A JP2016140692A (ja) 2016-08-08
JP2016140692A5 JP2016140692A5 (ja) 2017-03-23
JP6344608B2 true JP6344608B2 (ja) 2018-06-20

Family

ID=55410145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015021078A Active JP6344608B2 (ja) 2015-02-05 2015-02-05 画像処理装置、画像処理方法、プログラム、及び、手術システム

Country Status (4)

Country Link
US (1) US10849482B2 (ja)
EP (1) EP3253273A1 (ja)
JP (1) JP6344608B2 (ja)
WO (1) WO2016125450A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022085551A (ja) * 2020-11-27 2022-06-08 セイコーエプソン株式会社 画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160526A (ja) * 1987-12-18 1989-06-23 Toshiba Corp 電子内視鏡装置
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
JPH11104075A (ja) 1997-09-30 1999-04-20 Toshiba Corp 内視鏡スコープ
JP2001224549A (ja) 2000-02-18 2001-08-21 Fuji Photo Film Co Ltd 内視鏡画像取得方法および装置
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
CA2413483A1 (en) * 2001-12-26 2003-06-26 Kevin R. Forrester Motion measuring device
US8929688B2 (en) * 2004-10-01 2015-01-06 University Of Washington Remapping methods to reduce distortions in images
JP2006142003A (ja) 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd 明るさ調整方法、画像処理装置および画像処理プログラム
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US8488243B2 (en) * 2008-10-27 2013-07-16 Realid Inc. Head-tracking enhanced stereo glasses
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
JP2011120646A (ja) 2009-12-08 2011-06-23 Hoya Corp 内視鏡スコープおよび内視鏡装置
JP2012125293A (ja) * 2010-12-13 2012-07-05 Olympus Corp 制御装置、内視鏡装置及びフォーカス制御方法
JP2012231422A (ja) * 2011-04-27 2012-11-22 Avermedia Information Inc グレア除去装置及びグレア除去方法
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9912847B1 (en) * 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging

Also Published As

Publication number Publication date
US10849482B2 (en) 2020-12-01
WO2016125450A1 (en) 2016-08-11
US20170367558A1 (en) 2017-12-28
JP2016140692A (ja) 2016-08-08
EP3253273A1 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP7000861B2 (ja) 画像処理装置、医療機器の作動方法及びプログラム
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US11457801B2 (en) Image processing device, image processing method, and endoscope system
WO2017057039A1 (ja) 画像処理装置、画像処理方法、手術システム、及び、手術糸
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6784619B2 (ja) 医療用観察装置、医療用観察装置の作動方法、内視鏡システム、及び手術用顕微鏡システム
JP7230174B2 (ja) 内視鏡システム、画像処理装置および画像処理装置の制御方法
JP5747362B2 (ja) 内視鏡装置
WO2017061279A1 (ja) 光源制御装置、光源制御方法、プログラム、および手術用システム
JP6344608B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP2016131276A (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP5094066B2 (ja) 画像処理装置の作動方法、および装置、並びに電子内視鏡システム
US11244478B2 (en) Medical image processing device, system, method, and program
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
WO2021140923A1 (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP7140113B2 (ja) 内視鏡
JP6452355B2 (ja) 撮影装置及びその制御方法、並びに、プログラム
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
JP2013094489A (ja) 内視鏡装置
WO2020188969A1 (ja) 医療用制御装置及び医療用観察装置
JP6946468B2 (ja) 画像処理装置および画像処理装置の作動方法
JP6242558B2 (ja) 撮像システム及び画像処理装置
JP2016106932A (ja) 内視鏡画像処理装置、内視鏡画像処理方法、プログラム、及び、内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180509

R151 Written notification of patent or utility model registration

Ref document number: 6344608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151