JP7125499B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP7125499B2 JP7125499B2 JP2020548220A JP2020548220A JP7125499B2 JP 7125499 B2 JP7125499 B2 JP 7125499B2 JP 2020548220 A JP2020548220 A JP 2020548220A JP 2020548220 A JP2020548220 A JP 2020548220A JP 7125499 B2 JP7125499 B2 JP 7125499B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- ellipse
- polygon
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Description
本発明は画像処理装置及び画像処理方法に関し、特に時系列画像に図形を重畳して表示する技術に関する。
時系列画像を取得する画像処理装置では、注目領域やその候補領域に図形を重畳して観察者に報知する技術が知られている。例えば、特許文献１では内視鏡装置で取得した被検体の観察画像に対して病変候補領域を囲む矩形のマーカ（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を表示することが記載されている。
画像にマーカ等を重畳表示する際は観察者に注意喚起をしつつも観察の妨げにならないようにする必要がある。特に、画面内の注目領域が細長い楕円型で斜めに配置されている場合などは、生成される矩形が大きくなり、その大部分が注目領域でなくなって観察の妨げとなるケースが存在する。しかしながら、上述した特許文献１のような従来の技術では単に注目領域等を囲む矩形を表示するのみで矩形の形状や大きさ等については何ら考慮されておらず、マーカ等を表示することが観察の妨げになるおそれがあった。
このように、従来の技術は時系列画像の観察者に注意喚起をしつつ円滑な観察を支援するものではなかった。
本発明はこのような事情に鑑みてなされたもので、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援する画像処理装置及び画像処理方法を提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、時系列画像を入力する画像入力部と、時系列画像における注目領域の情報を取得する情報取得部と、注目領域に外接する矩形であって、時系列画像の水平軸に平行な２辺と時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円を算出する図形算出部と、多角形または楕円に基づく図形であって、多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を時系列画像に重畳して表示装置に表示させる表示制御部と、を備える。
第１の態様では、時系列画像に図形を重畳表示して観察者に注意を喚起する。重畳表示する図形は外接矩形の面積以下の面積を有する多角形または楕円に基づく図形なので、注目領域でない部分を減らし、観察を妨げる度合いを低減することができる。これにより時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。なお、観察を妨げないようにするため、注目領域と重ならない図形を表示することが好ましい。
第１の態様において、画像あるいは被写体の種類は特に限定されない。例えば医療画像、人物や風景の画像等でもよい。なお、「楕円」には円（真円）も含まれる。
第２の態様に係る画像処理装置は第１の態様において、表示制御部は、多角形の頂点に配置され頂点における内角に応じて形状を変化させた図形を図形として表示装置に表示させる。第２の態様では、多角形の頂点に図形を配置することで、できるだけ観察を阻害しないようにしている。また、多角形の頂点に図形を配置する場合、多角形の種類によっては内角が等しくない場合があるため、内角に応じて形状を変化させている。
第３の態様に係る画像処理装置は第１の態様において、表示制御部は、多角形の頂点に配置され、大きさ及び／または形状が頂点における内角に依存しない図形を図形として表示装置に表示させる。第３の態様では、多角形の頂点に図形を配置することで、できるだけ観察を阻害しないようにしている。
第４の態様に係る画像処理装置は第１から第３の態様のうちいずれか１つにおいて、表示制御部は多角形の辺または辺の一部により構成される図形、または楕円の円周または円周の一部により構成される図形を図形として表示装置に表示させる。第４の態様では、辺または辺の一部、円周または円周の一部により構成される図形を表示することにより、できるだけ観察を阻害しないようにしている。辺の一部、または円周の一部により構成される図形を表示する場合、「一部」の割合は注目領域を強調あるいは識別する度合いに応じて設定することができる。
第５の態様に係る画像処理装置は第１から第４の態様のうちいずれか１つにおいて、図形算出部は、注目領域に対し第１の軸と、第１の軸と交わる第２の軸と、を設定し、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出する。第５の態様は四角形算出手法の一態様を規定するもので、例えば、注目領域と交差する長さが最も長くなる軸と最も短くなる軸をそれぞれ第１の軸、第２の軸とすることができる。
第６の態様に係る画像処理装置は第５の態様において、図形算出部は注目領域を楕円近似して楕円の長軸及び短軸を算出することにより多角形または楕円を算出する。多角形を算出する場合、長軸と短軸とのうち一方を第１の軸とし他方を第２の軸として多角形としての四角形を算出することができる。楕円近似は楕円算出方法の一態様であり、また多角形（四角形）を規定する２軸の算出手法の一態様でもある。
第７の態様に係る画像処理装置は第５または第６の態様において、図形算出部は四角形として矩形を算出する。矩形は四角形の一態様である。
第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、画像入力部は内視鏡装置で取得した被検体の画像を時系列画像として入力する。入力した時系列画像において、病変領域、病変候補領域等を注目領域とすることができる。
第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、情報取得部は時系列画像を解析して注目領域の情報を取得する。時系列画像の解析に機械学習アルゴリズムを用いてもよい。
第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、図形算出部が算出する多角形または楕円、及び／または表示制御部が表示させる図形をユーザの指示入力に基づいて設定する条件設定部をさらに備える。第１０の態様によれば、ユーザは所望の条件で図形を算出及び／または表示させることができる。
上述した目的を達成するため、本発明の第１１の態様に係る画像処理方法は時系列画像を入力する画像入力工程と、時系列画像における注目領域の情報を取得する情報取得工程と、注目領域に外接する矩形であって、時系列画像の水平軸に平行な２辺と時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円を算出する図形算出工程と、多角形または楕円に基づく図形であって、多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を時系列画像に重畳して表示装置に表示させる表示制御工程と、を有する。第１１の態様によれば、第１の態様と同様に時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。なお、第１１の態様に係る画像処理方法に対し第２～第１０の態様と同様の構成をさらに含めてもよい。また、これら態様の画像処理方法をコンピュータに実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。これらプログラム及び記録媒体における「コンピュータ」は、ＣＰＵ（Central Processing Unit）等の各種プロセッサを１つ以上用いて実現することができる。
以上説明したように、本発明の画像処理装置及び画像処理方法によれば、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。
以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る内視鏡システム１０（内視鏡装置、画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡装置）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
図１は、第１の実施形態に係る内視鏡システム１０（内視鏡装置、画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡装置）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
＜内視鏡本体の構成＞
内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図２参照）。
内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図２参照）。
観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮像部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図１～図２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源３１０は赤色、緑色、青色、紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、その特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、その特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、その特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、その特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤を使用してもよい。
光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
＜プロセッサの構成＞
図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は画像入力部、情報取得部、図形算出部、表示制御部、及び条件設定部としての機能を有する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）、病院内ＬＡＮ（Local Area Network）等との通信制御を行う。記録部２０７には、被写体の画像（医用画像、撮影画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は画像入力部、情報取得部、図形算出部、表示制御部、及び条件設定部としての機能を有する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）、病院内ＬＡＮ（Local Area Network）等との通信制御を行う。記録部２０７には、被写体の画像（医用画像、撮影画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
＜画像処理部の機能＞
図３は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は画像入力部２０４Ａ（画像入力部）、情報取得部２０４Ｂ（情報取得部）、図形算出部２０４Ｃ（図形算出部）、表示制御部２０４Ｄ（表示制御部）、及び条件設定部２０４Ｅ（条件設定部）を有する。情報取得部２０４Ｂは医療画像解析処理部としても動作する。
図３は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は画像入力部２０４Ａ（画像入力部）、情報取得部２０４Ｂ（情報取得部）、図形算出部２０４Ｃ（図形算出部）、表示制御部２０４Ｄ（表示制御部）、及び条件設定部２０４Ｅ（条件設定部）を有する。情報取得部２０４Ｂは医療画像解析処理部としても動作する。
また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。
また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。情報取得部２０４Ｂが特徴量画像生成部の機能を有していてもよい。
画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。
上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
＜操作部の構成＞
プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、あるいは動画像、静止画像の撮影指示（取得指示）を行うことができる（動画像、静止画像の撮影指示は撮影ボタン１４４により行ってもよい）。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。
プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、あるいは動画像、静止画像の撮影指示（取得指示）を行うことができる（動画像、静止画像の撮影指示は撮影ボタン１４４により行ってもよい）。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。
＜記録部の構成＞
記録部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示する図形の情報等を互いに関連付けて記録する。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
記録部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示する図形の情報等を互いに関連付けて記録する。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき対象の有無のいずれか、もしくは両方と、についての解析結果を記録部２０７（記録装置）に記録してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記録部２０７から取得してモニタ４００に表示することができる。
＜表示装置の構成＞
モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示される図形等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示される図形等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
＜画像処理方法＞
上述した構成の内視鏡システム１０を用いた画像処理方法について説明する。図４は第１の実施形態に係る画像処理方法の手順を示すフローチャートである。
上述した構成の内視鏡システム１０を用いた画像処理方法について説明する。図４は第１の実施形態に係る画像処理方法の手順を示すフローチャートである。
＜条件設定＞
条件設定部２０４Ｅは、操作部２０８を介したユーザの指示入力に基づいて、図形算出部２０４Ｃが算出する多角形または楕円、及び／または表示制御部２０４Ｄが表示させる図形を設定する（ステップＳ１００：条件設定工程）。図５は条件設定画面（ユーザに指示入力させる画面）の例である。図５では、設定可能な条件の各項目について条件名（領域５０１Ａ～５０５Ａ）、設定条件の内容（領域５０１Ｂ～５０５Ｂ）、及び条件設定用のボタン５０１Ｃ～５０５Ｃが示されている。画面下部に設けられたボタン５１１は表示条件確定用、ボタン５１２は条件変更のキャンセル用、ボタン５１３は条件変更のクリア（初期値に戻す）用のボタンである。図５の画面はモニタ４００に表示され、モニタ４００のタッチパネル、及び／または操作部２０８の図示せぬキーボード及びマウスを介したユーザの操作により条件を設定することができる。このような条件設定は、処理開始前だけでなく図４のフローチャートの実行中、あるいは実行後に随時行ってよい。なお、以下に説明する条件設定画面のレイアウト及び項目は条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
条件設定部２０４Ｅは、操作部２０８を介したユーザの指示入力に基づいて、図形算出部２０４Ｃが算出する多角形または楕円、及び／または表示制御部２０４Ｄが表示させる図形を設定する（ステップＳ１００：条件設定工程）。図５は条件設定画面（ユーザに指示入力させる画面）の例である。図５では、設定可能な条件の各項目について条件名（領域５０１Ａ～５０５Ａ）、設定条件の内容（領域５０１Ｂ～５０５Ｂ）、及び条件設定用のボタン５０１Ｃ～５０５Ｃが示されている。画面下部に設けられたボタン５１１は表示条件確定用、ボタン５１２は条件変更のキャンセル用、ボタン５１３は条件変更のクリア（初期値に戻す）用のボタンである。図５の画面はモニタ４００に表示され、モニタ４００のタッチパネル、及び／または操作部２０８の図示せぬキーボード及びマウスを介したユーザの操作により条件を設定することができる。このような条件設定は、処理開始前だけでなく図４のフローチャートの実行中、あるいは実行後に随時行ってよい。なお、以下に説明する条件設定画面のレイアウト及び項目は条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
図６は、図５に示した項目のうち図形表示領域（図形を配置する領域の形状；多角形または楕円）を設定する様子を示す図（他の条件については図示を省略）である。図５の画面でボタン５０２Ｃを指定すると、選択可能な条件が図６の例のようにプルダウン表示される。図６の例では、ユーザはボタン５０２Ｃの操作により、図形表示領域として矩形、平行四辺形、三角形、楕円、自動選択を選択することができる。「自動選択」の場合、矩形、平行四辺形、三角形、楕円のうちから、内視鏡システム１０が注目領域の形状、大きさ等に合わせて選択する。なお、モニタ４００がタッチパネルにより構成されている場合は、タッチパネルを介してユーザの指示操作を受け付けてもよい。第１の実施形態に係る内視鏡システム１０では、ユーザはこのような画面を介して所望の条件を設定することができる。
＜時系列画像の入力及び注目領域の情報取得＞
画像入力部２０４Ａは、内視鏡システム１０（内視鏡装置）で取得した被検体の時系列画像を入力する（ステップＳ１１０：画像入力工程）。また、情報取得部２０４Ｂは、時系列画像を構成する各フレームについて注目領域（関心領域ともいう）の情報（注目領域の位置、大きさ、形状等）を取得する（ステップＳ１２０：情報取得工程）。あらかじめ取得されている情報を取得してもよいし、入力した時系列画像を解析して注目領域を検出してもよい。
画像入力部２０４Ａは、内視鏡システム１０（内視鏡装置）で取得した被検体の時系列画像を入力する（ステップＳ１１０：画像入力工程）。また、情報取得部２０４Ｂは、時系列画像を構成する各フレームについて注目領域（関心領域ともいう）の情報（注目領域の位置、大きさ、形状等）を取得する（ステップＳ１２０：情報取得工程）。あらかじめ取得されている情報を取得してもよいし、入力した時系列画像を解析して注目領域を検出してもよい。
＜ＣＡＤシステムによる注目領域の検出＞
注目領域の検出は、情報取得部２０４Ｂが例えばＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域（注目すべき領域である注目領域）及び注目領域における対象（注目すべき対象）の有無を抽出することができる。この場合、情報取得部２０４Ｂは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。情報取得部２０４Ｂは検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。
注目領域の検出は、情報取得部２０４Ｂが例えばＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域（注目すべき領域である注目領域）及び注目領域における対象（注目すべき対象）の有無を抽出することができる。この場合、情報取得部２０４Ｂは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。情報取得部２０４Ｂは検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。
＜機械学習による注目領域の検出＞
注目領域の検出は、機械学習により構築された学習器（学習済みモデル）により行ってもよい。例えば、新たな画像が記録部２０７に記録されるごとに（または新たな画像が撮影されるごとに）、情報取得部２０４Ｂが機械学習アルゴリズムに基づき画像解析処理を行うことにより、時系列画像の各フレームに注目領域が含まれるか否かを解析する。機械学習アルゴリズムは、例えばコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち入力層と、中間層（畳み込み層及びプーリング層の繰り返し；注目領域の鑑別を行う場合は全結合層を有することが好ましい）と、出力層とを経て、画像に注目領域が含まれているか否かを認識するアルゴリズムを用いることができる。注目領域のセグメンテーションを行う場合、出力層は、中間層から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層が対象物の位置情報を出力する。機械学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を、操作部２０８及びモニタ４００を介したユーザの操作に応じて設定してもよい。
注目領域の検出は、機械学習により構築された学習器（学習済みモデル）により行ってもよい。例えば、新たな画像が記録部２０７に記録されるごとに（または新たな画像が撮影されるごとに）、情報取得部２０４Ｂが機械学習アルゴリズムに基づき画像解析処理を行うことにより、時系列画像の各フレームに注目領域が含まれるか否かを解析する。機械学習アルゴリズムは、例えばコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち入力層と、中間層（畳み込み層及びプーリング層の繰り返し；注目領域の鑑別を行う場合は全結合層を有することが好ましい）と、出力層とを経て、画像に注目領域が含まれているか否かを認識するアルゴリズムを用いることができる。注目領域のセグメンテーションを行う場合、出力層は、中間層から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層が対象物の位置情報を出力する。機械学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を、操作部２０８及びモニタ４００を介したユーザの操作に応じて設定してもよい。
ステップＳ１２０で情報を取得する注目領域の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。
＜重畳表示する図形＞
画像に図形を重畳表示する場合、図７に示すように画像に対し外接矩形６００（注目領域５５０に外接する矩形であって、時系列画像８００の水平軸に平行な２辺と時系列画像８００の垂直軸に平行な他の２辺とで構成される矩形）あるいは外接矩形６００より大きい図形をそのまま重畳すると、注目領域５５０以外の部分（左上部分及び右下部分）が多くなり、観察の妨げとなる。そこで、第１の実施形態に係る内視鏡システム１０では、「外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円」に基づく図形を画像に重畳表示する図形として算出し（ステップＳ１３０：図形算出工程）、重畳表示する（ステップＳ１４０：表示制御工程）。なお、図７における領域７００は内視鏡の視野（撮影画角が広いため円形に近くなっている）を示す（以下の図でも同様である）。
画像に図形を重畳表示する場合、図７に示すように画像に対し外接矩形６００（注目領域５５０に外接する矩形であって、時系列画像８００の水平軸に平行な２辺と時系列画像８００の垂直軸に平行な他の２辺とで構成される矩形）あるいは外接矩形６００より大きい図形をそのまま重畳すると、注目領域５５０以外の部分（左上部分及び右下部分）が多くなり、観察の妨げとなる。そこで、第１の実施形態に係る内視鏡システム１０では、「外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円」に基づく図形を画像に重畳表示する図形として算出し（ステップＳ１３０：図形算出工程）、重畳表示する（ステップＳ１４０：表示制御工程）。なお、図７における領域７００は内視鏡の視野（撮影画角が広いため円形に近くなっている）を示す（以下の図でも同様である）。
＜注目領域を囲む多角形または楕円の算出＞
図形算出部２０４Ｃは、外接矩形の面積以下の面積を有し注目領域を囲む多角形または楕円を算出する（ステップＳ１３０：図形算出工程）。外接矩形の面積未満の面積を有する多角形または楕円を算出してもよい。算出は、ステップＳ１００で設定した条件に従って行う。算出する多角形または楕円は、水平軸及び垂直軸に対し傾いていてもよい。また、多角形としての四角形を算出する場合、矩形（長方形）を算出してもよいし、平行四辺形を算出してもよい。例えば、図８の（ａ）部分に示すように注目領域５５２を囲む斜めの矩形６０２を算出してもよいし、同図の（ｂ）部分に示すように注目領域５５０を囲む斜めの平行四辺形６０４を算出してもよい。なお、観察を妨げないようにするため、注目領域と重ならない多角形または楕円を算出することが好ましい。
図形算出部２０４Ｃは、外接矩形の面積以下の面積を有し注目領域を囲む多角形または楕円を算出する（ステップＳ１３０：図形算出工程）。外接矩形の面積未満の面積を有する多角形または楕円を算出してもよい。算出は、ステップＳ１００で設定した条件に従って行う。算出する多角形または楕円は、水平軸及び垂直軸に対し傾いていてもよい。また、多角形としての四角形を算出する場合、矩形（長方形）を算出してもよいし、平行四辺形を算出してもよい。例えば、図８の（ａ）部分に示すように注目領域５５２を囲む斜めの矩形６０２を算出してもよいし、同図の（ｂ）部分に示すように注目領域５５０を囲む斜めの平行四辺形６０４を算出してもよい。なお、観察を妨げないようにするため、注目領域と重ならない多角形または楕円を算出することが好ましい。
＜多角形の算出と軸の設定＞
ステップＳ１３０で多角形を算出する場合、図形算出部２０４Ｃは、注目領域に対し第１の軸と、第１の軸と交わる第２の軸と、を設定し、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出する（ステップＳ１３０：図形算出工程）。第１の軸及び第２の軸は、例えば第１の軸または第２の軸を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に第１の軸及び／または第２の軸を設定する、等様々な方向に設定することができる。図９は第１の軸及び第２の軸の設定例を示す図である。図９の（ａ）部分は、注目領域５５０に対し第１の軸９０１（第１の軸）及び第１の軸９０１に直交する第２の軸９０２（第２の軸）を設定し、第１の軸９０１に平行な２辺と第２の軸９０２に平行な２辺で構成される矩形６１０（多角形、四角形、矩形）を算出する様子を示している。一方、図９の（ｂ）部分は、注目領域５５０に対し第１の軸９０３（第１の軸）及び第２の軸９０４（第２の軸）を設定し、第１の軸９０３に平行な２辺と第２の軸９０４に平行な２辺で構成される平行四辺形６１２（多角形、四角形、平行四辺形）を算出する様子を示している。
ステップＳ１３０で多角形を算出する場合、図形算出部２０４Ｃは、注目領域に対し第１の軸と、第１の軸と交わる第２の軸と、を設定し、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出する（ステップＳ１３０：図形算出工程）。第１の軸及び第２の軸は、例えば第１の軸または第２の軸を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に第１の軸及び／または第２の軸を設定する、等様々な方向に設定することができる。図９は第１の軸及び第２の軸の設定例を示す図である。図９の（ａ）部分は、注目領域５５０に対し第１の軸９０１（第１の軸）及び第１の軸９０１に直交する第２の軸９０２（第２の軸）を設定し、第１の軸９０１に平行な２辺と第２の軸９０２に平行な２辺で構成される矩形６１０（多角形、四角形、矩形）を算出する様子を示している。一方、図９の（ｂ）部分は、注目領域５５０に対し第１の軸９０３（第１の軸）及び第２の軸９０４（第２の軸）を設定し、第１の軸９０３に平行な２辺と第２の軸９０４に平行な２辺で構成される平行四辺形６１２（多角形、四角形、平行四辺形）を算出する様子を示している。
＜楕円近似による楕円及び多角形の算出＞
ステップＳ１３０において、図形算出部２０４Ｃは、注目領域を楕円近似して楕円の長軸及び短軸を算出することにより楕円または多角形（四角形）を算出することができる（ステップＳ１３０：図形算出工程）。例えば図１０に示すように、図形算出部２０４Ｃは、注目領域５５０に対し長軸９０５（長軸）及び長軸９０５に直交する短軸９０６（短軸）を有する楕円６１４を算出することができる。長軸及び短軸は、多角形を算出する場合と同様に、一方を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に設定する、等様々な方向に設定することができる。また、多角形を算出する場合と同様に、注目領域と重ならない楕円を算出することが好ましい。また、図形算出部２０４Ｃは、このようにして算出した長軸と短軸とのうち一方を第１の軸とし他方を第２の軸として、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出してもよい。このように、楕円近似は楕円算出方法の一態様であり、また多角形（四角形）を規定する２軸の算出手法の一態様でもある。
ステップＳ１３０において、図形算出部２０４Ｃは、注目領域を楕円近似して楕円の長軸及び短軸を算出することにより楕円または多角形（四角形）を算出することができる（ステップＳ１３０：図形算出工程）。例えば図１０に示すように、図形算出部２０４Ｃは、注目領域５５０に対し長軸９０５（長軸）及び長軸９０５に直交する短軸９０６（短軸）を有する楕円６１４を算出することができる。長軸及び短軸は、多角形を算出する場合と同様に、一方を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に設定する、等様々な方向に設定することができる。また、多角形を算出する場合と同様に、注目領域と重ならない楕円を算出することが好ましい。また、図形算出部２０４Ｃは、このようにして算出した長軸と短軸とのうち一方を第１の軸とし他方を第２の軸として、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出してもよい。このように、楕円近似は楕円算出方法の一態様であり、また多角形（四角形）を規定する２軸の算出手法の一態様でもある。
＜図形の重畳表示＞
表示制御部２０４Ｄは、図形算出部２０４Ｃが算出した多角形または楕円に基づく図形を時系列画像に重畳してモニタ４００（表示装置）に表示させる（ステップＳ１４０：表示制御工程）。具体的には、算出した多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を表示させる。以下、重畳表示する図形の例を説明する。
表示制御部２０４Ｄは、図形算出部２０４Ｃが算出した多角形または楕円に基づく図形を時系列画像に重畳してモニタ４００（表示装置）に表示させる（ステップＳ１４０：表示制御工程）。具体的には、算出した多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を表示させる。以下、重畳表示する図形の例を説明する。
＜重畳表示する図形の例＞
（例１）
図１１の（ａ）部分は注目領域５５２を囲む矩形（多角形）の辺に配置された図形６１６を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の頂点に配置された図形６１８（Ｌ字型の図形４つ）を重畳表示した様子を示す図である。図１１の（ｂ）部分に示す例では、大きさ及び形状が頂点における内角に依存しない図形６１８（４つの図形６１８が全て等しい）を表示している。
（例１）
図１１の（ａ）部分は注目領域５５２を囲む矩形（多角形）の辺に配置された図形６１６を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の頂点に配置された図形６１８（Ｌ字型の図形４つ）を重畳表示した様子を示す図である。図１１の（ｂ）部分に示す例では、大きさ及び形状が頂点における内角に依存しない図形６１８（４つの図形６１８が全て等しい）を表示している。
（例２）
図１２の（ａ）部分は注目領域５５０を囲む矩形（多角形）の辺により構成される図形６２０を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の辺の一部により構成される図形６２２（点線で描画された、全体として矩形の図形）を重畳表示した様子を示す図である。また、図１２の（ｃ）部分は同図の（ａ）部分と同様に矩形の辺により構成される図形６２４を重畳表示した様子を示す図であるが、図形６２４は図形６２０よりも大きくし、注目領域５５０と図形６２４の間の余白を確保している。なお、他の表示例においても図１２の（ｃ）部分と同様に余白を確保することができる。
図１２の（ａ）部分は注目領域５５０を囲む矩形（多角形）の辺により構成される図形６２０を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の辺の一部により構成される図形６２２（点線で描画された、全体として矩形の図形）を重畳表示した様子を示す図である。また、図１２の（ｃ）部分は同図の（ａ）部分と同様に矩形の辺により構成される図形６２４を重畳表示した様子を示す図であるが、図形６２４は図形６２０よりも大きくし、注目領域５５０と図形６２４の間の余白を確保している。なお、他の表示例においても図１２の（ｃ）部分と同様に余白を確保することができる。
（例３）
図１３の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の辺により構成される図形６２６を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の辺の一部により構成される図形６２８（点線で描画された、全体として平行四辺形の図形）を重畳表示した様子を示す図である。また、図１３の（ｃ）部分は、平行四辺形の頂点に配置され頂点における内角に応じて形状を変化させた図形６３０を重畳表示した様子を示している。
図１３の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の辺により構成される図形６２６を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の辺の一部により構成される図形６２８（点線で描画された、全体として平行四辺形の図形）を重畳表示した様子を示す図である。また、図１３の（ｃ）部分は、平行四辺形の頂点に配置され頂点における内角に応じて形状を変化させた図形６３０を重畳表示した様子を示している。
（例４）
図１４の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の頂点に配置され頂点における内角に応じて形状を変化させた図形６３２（Ｌ字型、あるいはＶ字型の図形４つ）を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の頂点に配置され大きさ及び形状が頂点における内角に依存しない図形６３４（平行四辺形の中心方向を向く楔形の図形４つ）を重畳表示した様子を示す図である。
図１４の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の頂点に配置され頂点における内角に応じて形状を変化させた図形６３２（Ｌ字型、あるいはＶ字型の図形４つ）を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の頂点に配置され大きさ及び形状が頂点における内角に依存しない図形６３４（平行四辺形の中心方向を向く楔形の図形４つ）を重畳表示した様子を示す図である。
（例５）
図１５の（ａ）部分は注目領域５５０を囲む楕円の辺により構成される図形６３６を重畳表示した様子を示した図であり、同図の（ｂ）部分は楕円の辺の一部により構成される図形６３８（点線で描画された、全体として楕円の図形）を重畳表示した様子を示す図である。また、図１５の（ｃ）部分は、楕円の円周上の複数の位置に配置され形状及び大きさが円周上の位置に依存しない図形６４０（楕円の中心方向を向く楔形の図形４つ）を重畳表示した様子を示している。
図１５の（ａ）部分は注目領域５５０を囲む楕円の辺により構成される図形６３６を重畳表示した様子を示した図であり、同図の（ｂ）部分は楕円の辺の一部により構成される図形６３８（点線で描画された、全体として楕円の図形）を重畳表示した様子を示す図である。また、図１５の（ｃ）部分は、楕円の円周上の複数の位置に配置され形状及び大きさが円周上の位置に依存しない図形６４０（楕円の中心方向を向く楔形の図形４つ）を重畳表示した様子を示している。
（例６）
図１６の（ａ）部分は注目領域５５０を囲む三角形（多角形の一態様）の辺により構成される図形６４２を重畳表示した様子を示した図であり、同図の（ｂ）部分は三角形の辺の一部により構成される図形６４４（点線で描画された、全体として三角形の図形）を重畳表示した様子を示す図である。また、図１６の（ｃ）部分は、三角形の頂点に配置され形状及び大きさが頂点における内角に依存しない図形６４６（楔形の図形６４６が３つ）を重畳表示した様子を示しており、同図の（ｄ）部分は三角形の頂点に配置され頂点における内角に応じて形状を変化させた図形６４８（楔形の図形６４８が３つ）を重畳表示した様子を示している。
図１６の（ａ）部分は注目領域５５０を囲む三角形（多角形の一態様）の辺により構成される図形６４２を重畳表示した様子を示した図であり、同図の（ｂ）部分は三角形の辺の一部により構成される図形６４４（点線で描画された、全体として三角形の図形）を重畳表示した様子を示す図である。また、図１６の（ｃ）部分は、三角形の頂点に配置され形状及び大きさが頂点における内角に依存しない図形６４６（楔形の図形６４６が３つ）を重畳表示した様子を示しており、同図の（ｄ）部分は三角形の頂点に配置され頂点における内角に応じて形状を変化させた図形６４８（楔形の図形６４８が３つ）を重畳表示した様子を示している。
（例７）
注目領域の一部だけが時系列画像に映っている場合は、その映っている部分について図形を重畳表示すればよい。例えば、図１７の（ａ）部分に示すように注目領域５５０の一部が映っている場合は、図形６５２のように矩形の辺の一部により構成される図形を重畳表示することができる。同様に、図１７の（ｂ）部分に示す図形６５４や、同図の（ｃ）部分に示す図形６５６のような図形を表示してもよい。
注目領域の一部だけが時系列画像に映っている場合は、その映っている部分について図形を重畳表示すればよい。例えば、図１７の（ａ）部分に示すように注目領域５５０の一部が映っている場合は、図形６５２のように矩形の辺の一部により構成される図形を重畳表示することができる。同様に、図１７の（ｂ）部分に示す図形６５４や、同図の（ｃ）部分に示す図形６５６のような図形を表示してもよい。
ステップＳ１４０で重畳表示を行うと、画像入力部２０４Ａは時系列画像の入力が終了したか否かを判断する（ステップＳ１５０：画像入力工程）。判断が肯定されたら処理を終了し、否定されたらステップＳ１１０に戻って時系列画像の次のフレームを入力する。
以上説明したように、第１の実施形態に係る内視鏡システム１０（内視鏡装置、画像処理装置）及び画像処理方法によれば、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。
（付記）
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 内視鏡システム
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 画像入力部
２０４Ｂ 情報取得部
２０４Ｃ 図形算出部
２０４Ｄ 表示制御部
２０４Ｅ 条件設定部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５０１Ａ 領域
５０１Ｂ 領域
５０１Ｃ ボタン
５０２Ａ 領域
５０２Ｂ 領域
５０２Ｃ ボタン
５０３Ａ 領域
５０３Ｂ 領域
５０３Ｃ ボタン
５０４Ａ 領域
５０４Ｂ 領域
５０４Ｃ ボタン
５０５Ａ 領域
５０５Ｂ 領域
５０５Ｃ ボタン
５１１ ボタン
５１２ ボタン
５１３ ボタン
５５０ 注目領域
５５２ 注目領域
６００ 外接矩形
６０２ 矩形
６０４ 平行四辺形
６１０ 矩形
６１２ 平行四辺形
６１４ 楕円
６１６ 図形
６１８ 図形
６２０ 図形
６２２ 図形
６２４ 図形
６２６ 図形
６２８ 図形
６３０ 図形
６３２ 図形
６３４ 図形
６３６ 図形
６３８ 図形
６４０ 図形
６４２ 図形
６４４ 図形
６４６ 図形
６４８ 図形
６５２ 図形
６５４ 図形
６５６ 図形
７００ 領域
８００ 時系列画像
９０１ 第１の軸
９０２ 第２の軸
９０３ 第１の軸
９０４ 第２の軸
９０５ 長軸
９０６ 短軸
Ｓ１００～Ｓ１５０ 画像処理方法の各ステップ
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 画像入力部
２０４Ｂ 情報取得部
２０４Ｃ 図形算出部
２０４Ｄ 表示制御部
２０４Ｅ 条件設定部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５０１Ａ 領域
５０１Ｂ 領域
５０１Ｃ ボタン
５０２Ａ 領域
５０２Ｂ 領域
５０２Ｃ ボタン
５０３Ａ 領域
５０３Ｂ 領域
５０３Ｃ ボタン
５０４Ａ 領域
５０４Ｂ 領域
５０４Ｃ ボタン
５０５Ａ 領域
５０５Ｂ 領域
５０５Ｃ ボタン
５１１ ボタン
５１２ ボタン
５１３ ボタン
５５０ 注目領域
５５２ 注目領域
６００ 外接矩形
６０２ 矩形
６０４ 平行四辺形
６１０ 矩形
６１２ 平行四辺形
６１４ 楕円
６１６ 図形
６１８ 図形
６２０ 図形
６２２ 図形
６２４ 図形
６２６ 図形
６２８ 図形
６３０ 図形
６３２ 図形
６３４ 図形
６３６ 図形
６３８ 図形
６４０ 図形
６４２ 図形
６４４ 図形
６４６ 図形
６４８ 図形
６５２ 図形
６５４ 図形
６５６ 図形
７００ 領域
８００ 時系列画像
９０１ 第１の軸
９０２ 第２の軸
９０３ 第１の軸
９０４ 第２の軸
９０５ 長軸
９０６ 短軸
Ｓ１００～Ｓ１５０ 画像処理方法の各ステップ
Claims (11)
- 時系列画像を入力する画像入力部と、
前記時系列画像における注目領域の情報を取得する情報取得部と、
前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な２辺と前記時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出部と、
前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御部と、
を備える画像処理装置。 - 前記表示制御部は、前記多角形の頂点に配置され前記頂点における内角に応じて形状を変化させた図形を前記図形として前記表示装置に表示させる請求項１に記載の画像処理装置。
- 前記表示制御部は、前記多角形の頂点に配置され、大きさ及び／または形状が前記頂点における内角に依存しない図形を前記図形として前記表示装置に表示させる請求項１に記載の画像処理装置。
- 前記表示制御部は前記多角形の前記辺または前記辺の一部により構成される図形、または前記楕円の前記円周または前記円周の一部により構成される図形を前記図形として前記表示装置に表示させる請求項１から３のいずれか１項に記載の画像処理装置。
- 前記図形算出部は、前記注目領域に対し第１の軸と、前記第１の軸と交わる第２の軸と、を設定し、前記第１の軸に平行な２辺と前記第２の軸に平行な２辺とで構成される四角形を前記多角形として算出する請求項１から４のいずれか１項に記載の画像処理装置。
- 前記図形算出部は前記注目領域を楕円近似して前記楕円の長軸及び短軸を算出することにより前記多角形または前記楕円を算出する請求項５に記載の画像処理装置。
- 前記図形算出部は前記四角形として矩形を算出する請求項５または６に記載の画像処理装置。
- 前記画像入力部は内視鏡装置で取得した被検体の画像を前記時系列画像として入力する請求項１から７のいずれか１項に記載の画像処理装置。
- 前記情報取得部は前記時系列画像を解析して前記注目領域の前記情報を取得する請求項１から８のいずれか１項に記載の画像処理装置。
- 前記図形算出部が算出する前記多角形または前記楕円、及び／または前記表示制御部が表示させる前記図形をユーザの指示入力に基づいて設定する条件設定部をさらに備える請求項１から９のいずれか１項に記載の画像処理装置。
- プロセッサを備える画像処理装置により実行される画像処理方法であって、
前記プロセッサは、
時系列画像を入力する画像入力工程と、
前記時系列画像における注目領域の情報を取得する情報取得工程と、
前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な２辺と前記時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出工程と、
前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御工程と、
を実行する画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177437 | 2018-09-21 | ||
| JP2018177437 | 2018-09-21 | ||
| PCT/JP2019/033598 WO2020059445A1 (ja) | 2018-09-21 | 2019-08-28 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020059445A1 JPWO2020059445A1 (ja) | 2021-08-30 |
| JP7125499B2 true JP7125499B2 (ja) | 2022-08-24 |
Family
ID=69888768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020548220A Active JP7125499B2 (ja) | 2018-09-21 | 2019-08-28 | 画像処理装置及び画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210196101A1 (ja) |
| JP (1) | JP7125499B2 (ja) |
| WO (1) | WO2020059445A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020194663A1 (ja) | 2019-03-28 | 2020-10-01 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
| WO2020194664A1 (ja) * | 2019-03-28 | 2020-10-01 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
| CN114926440A (zh) * | 2022-05-26 | 2022-08-19 | 之江实验室 | 一种基于同心椭圆弦长比的单晶硅直径检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005318546A (ja) | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
| JP2009237836A (ja) | 2008-03-27 | 2009-10-15 | Sanyo Electric Co Ltd | 手書き入力パネルを備えた車載用電子装置 |
| JP2012257021A (ja) | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
| JP2013143594A (ja) | 2012-01-06 | 2013-07-22 | Fuji Xerox Co Ltd | 画像処理装置、指定印推定装置、及びプログラム |
| WO2017073337A1 (ja) | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
| WO2017212653A1 (ja) | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015059768A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社Ｎｔｅｃ | 段差計測装置、段差計測方法及びプログラム |
| WO2017115442A1 (ja) * | 2015-12-28 | 2017-07-06 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
-
2019
- 2019-08-28 WO PCT/JP2019/033598 patent/WO2020059445A1/ja active Application Filing
- 2019-08-28 JP JP2020548220A patent/JP7125499B2/ja active Active
-
2021
- 2021-03-15 US US17/200,914 patent/US20210196101A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005318546A (ja) | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
| JP2009237836A (ja) | 2008-03-27 | 2009-10-15 | Sanyo Electric Co Ltd | 手書き入力パネルを備えた車載用電子装置 |
| JP2012257021A (ja) | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
| JP2013143594A (ja) | 2012-01-06 | 2013-07-22 | Fuji Xerox Co Ltd | 画像処理装置、指定印推定装置、及びプログラム |
| WO2017073337A1 (ja) | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
| WO2017212653A1 (ja) | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020059445A1 (ja) | 2021-08-30 |
| US20210196101A1 (en) | 2021-07-01 |
| WO2020059445A1 (ja) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7252970B2 (ja) | 医用画像処理装置、内視鏡システム、及び医用画像処理装置の作動方法 | |
| JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| JP7278202B2 (ja) | 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置 | |
| JP7125499B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20210343011A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
| US11948080B2 (en) | Image processing method and image processing apparatus | |
| US20210076917A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JP2020069300A (ja) | 医療診断支援装置、内視鏡システム、及び医療診断支援方法 | |
| US11978550B2 (en) | Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device | |
| US20220151462A1 (en) | Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program | |
| EP4094673A1 (en) | Medical image processing device, method for operating medical image processing device, and endoscope system | |
| JP2023026480A (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
| US11911007B2 (en) | Image processing device, endoscope system, and image processing method | |
| US20230157768A1 (en) | Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program | |
| US20230410303A1 (en) | Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program | |
| US20220151461A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
| WO2022181748A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210513 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7125499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |