JP7170032B2 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents
画像処理装置、内視鏡システム、及び画像処理方法 Download PDFInfo
- Publication number
- JP7170032B2 JP7170032B2 JP2020513241A JP2020513241A JP7170032B2 JP 7170032 B2 JP7170032 B2 JP 7170032B2 JP 2020513241 A JP2020513241 A JP 2020513241A JP 2020513241 A JP2020513241 A JP 2020513241A JP 7170032 B2 JP7170032 B2 JP 7170032B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- lesion
- moving image
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
Description
本発明は画像処理装置、内視鏡システム、及び画像処理方法に関し、特に内視鏡による検査で取得した動画像を処理する画像処理装置、内視鏡システム、及び画像処理方法に関する。
内視鏡を用いて検査を行う場合、動画像、静止画像が多数撮影される。撮影される画像は診断支援、レポート作成等種々の目的に利用され、利用目的によって必要な画像が異なるため、検査の過程では長時間にわたって様々な画像が撮影される。しかしながらこのような画像をそのまま全て保存すると記憶容量が多くなりすぎるため、画像データの量を減らす技術が提案されている。
例えば特許文献１では、動画像データを重要度に応じた圧縮率で圧縮することにより、重要な動画像データの画質を維持しつつデータ量を削減することが記載されている。また特許文献２では、病変（関心領域）から離れた部位では撮影回数を減じ関心領域付近では撮影回数を増やすカプセル内視鏡が記載されている。また特許文献３では、静止画を撮影したフレームの前後の時間範囲について動画像を保存することが記載されている。
上述した特許文献１では検査種別情報に応じて圧縮率を設定することが記載されているが、この「検査種別情報」とは事前に分かっている検査種別（スクリーニング、手技など）の情報である。また、特許文献２に記載の「診断情報」は過去の検査で発見済みのポリープの位置情報である。このような過去の検査、診断等の情報を用いたのでは、新たに行う検査で発見された病変（関心領域）の情報を考慮することができず、そのような病変についての画像を適切に保存できない場合がある。また、特許文献２では病変が映ったフレーム及びその前後のフレームを保存（記録）するため検査中に取得した画像から関心領域を検出する必要があり、検出に失敗した場合は画像の保存が困難である。また、内視鏡を用いた検査で取得される静止画には病変が映っていない画像も多く含まれるため、特許文献３のように静止画取得の前後フレームを保存すると、病変が映っていない動画像を大量に記録してデータ量を増やすことになりかねない。
このように、従来の技術では病変が映っている動画像を効率よく保存することは困難であった。
本発明はこのような事情に鑑みてなされたもので、病変が映っている動画像を効率よく保存することができる画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、内視鏡による検査動画像を取得する動画像取得部と、検査動画像に対応する検査のレポート情報であって、検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得部と、レポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析部と、抽出の結果に基づいて、検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、を備える。
第１の態様では、検査で取得された静止画像の画像情報と取得時間情報とのうち少なくとも一方を含むレポート情報を取得し、レポート情報から病変画像（病変が映っている画像）の画像情報と取得時間情報とのうち少なくとも一方を取得するので、レポート情報に含まれる静止画像に病変が映っていない場合であっても病変画像の情報を取得することができる。また、第１の態様では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、関心領域が映っていない時間範囲について動画像を長時間保存してデータ量が増えてしまうのを防ぐことができる。さらに、第１の態様では「検査動画像に対応する検査の」レポート情報を取得するので、その検査で発見された新たな病変の情報を考慮することができる。なお病変動画像の保存は、いったん一時記憶領域に保存して必要な部分を通常の記憶領域に保存する、あるいは記憶領域に保存して不要な部分を消去する、等の手法により行うことができる。
このように、第１の態様によれば病変が映っている動画像（病変動画像）を効率よく保存することができる。なお第１の態様及び以下の各態様において、「被写体情報」は画像に映った被写体（病変画像の場合は病変）の情報（被写体の位置、大きさ、種類等）であり、「取得時間情報」は画像が撮影された絶対時刻（日本標準時等）、画像が撮影されたフレームの動画像の撮影開始からの経過時間、撮影時間を示すカウンタのカウント数等、検査における画像取得のタイミングを特定できる情報である。
なお、保存する病変動画像において、病変画像の前後の時間幅は動画像のデータ量等を考慮して設定することができる。
第１の態様及び以下の各態様において、検査動画像、静止画像、病変画像、及び病変動画像は医用画像（医療画像ともいう）の一態様である。このような医用画像を撮影する際は、白色帯域の光、白色帯域として複数の波長（狭帯域光）を含む光、赤外光、励起光を発生する光源を用いることができる。また、取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。
第２の態様に係る画像処理装置は第１の態様において、レポート情報取得部は、静止画像が病変画像であるか否かを示す病変情報を含むレポート情報を取得し、レポート情報解析部は、病変情報に基づいて病変画像の被写体情報及び／または取得時間情報を抽出する。第２の態様は、レポート情報の内容及び解析手法の具体的態様を規定するものである。
第３の態様に係る画像処理装置は第１または第２の態様において、動画像保存部は、抽出の結果に基づいて病変動画像を保存するか否か決定する。第３の態様では、動画像保存部は病変画像が含まれている時間の長さ、検査動画像全体における比率等に基づいて保存するか否かを決定することができる。例えば、「検査動画像に病変画像が含まれている場合は保存し、全く（あるいはほとんど）含まれていない場合は保存しない」という処理を行うことができる。
第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、レポート情報解析部は、レポート情報に含まれる被写体情報を検査動画像とマッチングすることにより、検査動画像のうち病変画像を含む時間範囲を決定し、動画像保存部は、決定した時間範囲について病変動画像を保存する。第４の態様のように、画像のマッチングにより、病変の映っている時間範囲を動画として切り出すことができる。
第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、レポート情報解析部は病変画像の取得時間情報を抽出し、動画像保存部は抽出した取得時間情報に基づいて検査動画像を保存する。第５の態様は、取得時間情報（第１の態様におけるのと同義）により動画の切り出しを行う態様を規定するものである。
第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、レポート情報取得部は、ユーザが入力した取得時間情報を静止画像の取得時間情報として取得し、レポート情報解析部は、レポート情報取得部が取得した取得時間情報を病変画像の取得時間情報として抽出する。本発明では、第６の態様のようにユーザが入力した情報により動画像の保存を行ってもよい。例えば、病変画像の情報を適切に抽出できない場合にこのような処理を行うことができる。
第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、動画像保存部は、検査動画像のうち異なる病変が映された時間範囲を独立した動画像として保存する。第７の態様によれば、病変に応じた動画像の管理、所望の病変を含む動画像の利用等を容易に行うことができる。
第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、動画像保存部は、検査動画像について病変動画像を保存する場合、検査動画像に対し時間範囲以外についてフレームレートを下げる処理及び／または時間範囲以外について解像度を下げる処理を施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存する。第８の態様のようにフレームレート、解像度を変更してデータ容量を少なくすることで、病変が映っている動画像をいっそう効率的に保存することができる。
上述した目的を達成するため、本発明の第９の態様に係る内視鏡システムは第１から第８の態様のいずれか１つに係る画像処理装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された手元操作部と、を有する内視鏡と、先端硬質部に設けられ被検体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像する撮像素子と、を有する撮像部と、を備え、動画像取得部は撮像部により撮影した検査動画像を取得する。第９の態様に係る内視鏡システムでは、第１から第８の態様のいずれか１つに係る画像処理装置を備えることにより関心領域が映っている動画像（病変動画像）を効率よく保存することができる。
上述した目的を達成するため、本発明の第１０の態様に係る画像処理方法は内視鏡による検査動画像を取得する動画像取得工程と、検査動画像に対応する検査のレポート情報であって、検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得工程と、レポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析工程と、抽出の結果に基づいて、検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存工程と、を有する。第１０の態様によれば、第１の態様と同様に関心領域が映っている動画像（病変動画像）を効率よく保存することができる。
なお、第１０の態様の構成に対し第２から第８の態様と同様の構成をさらに含めてもよい。また、それら態様の画像処理方法を内視鏡システムに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の画像処理装置、内視鏡システム、及び画像処理方法によれば、関心領域が映っている動画像を効率よく保存することができる。
以下、添付図面を参照しつつ、本発明に係る画像処理装置、内視鏡システム、及び画像処理方法の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る内視鏡システム１０（画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
図１は、第１の実施形態に係る内視鏡システム１０（画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
＜内視鏡本体の構成＞
内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図３参照）。
内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図３参照）。
観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、及び青色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図１～図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源３１０は赤色、緑色、青色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、紫色光（狭帯域光の一例）を照射する紫色光源、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
＜プロセッサの構成＞
図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号（動画像及び／または静止画像の画像信号）を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。また、プロセッサ２００は、レポート情報及び解析、病変動画像の解析等を行う。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は動画像取得部、レポート情報取得部、レポート情報解析部、動画像保存部としての機能を有する。記憶部２０７には、被写体の画像（動画像、静止画像）、取得したレポート情報及びその解析結果等が記憶される（後述）。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、関心領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号（動画像及び／または静止画像の画像信号）を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。また、プロセッサ２００は、レポート情報及び解析、病変動画像の解析等を行う。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は動画像取得部、レポート情報取得部、レポート情報解析部、動画像保存部としての機能を有する。記憶部２０７には、被写体の画像（動画像、静止画像）、取得したレポート情報及びその解析結果等が記憶される（後述）。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、関心領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
＜画像処理部の機能＞
図４は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は動画像取得部２０４Ａ（動画像取得部）、静止画像取得部２０４Ｂ、レポート情報取得部２０４Ｃ（レポート情報取得部）、レポート情報解析部２０４Ｄ（レポート情報解析部）、動画像保存部２０４Ｅ（動画像保存部）、及び表示制御部２０４Ｆ（画像補正部）を有する。レポート情報解析部２０４Ｄは医療画像解析処理部としても動作する。
図４は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は動画像取得部２０４Ａ（動画像取得部）、静止画像取得部２０４Ｂ、レポート情報取得部２０４Ｃ（レポート情報取得部）、レポート情報解析部２０４Ｄ（レポート情報解析部）、動画像保存部２０４Ｅ（動画像保存部）、及び表示制御部２０４Ｆ（画像補正部）を有する。レポート情報解析部２０４Ｄは医療画像解析処理部としても動作する。
また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。
また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。
画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。
上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
＜操作部の構成＞
プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件、表示条件、及び動画像の保存条件等の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部１０２の機能ボタン１４３（図１参照）に操作モード設定機能を割り付けて行ってもよい。
プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件、表示条件、及び動画像の保存条件等の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部１０２の機能ボタン１４３（図１参照）に操作モード設定機能を割り付けて行ってもよい。
＜記憶部の構成＞
記憶部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体を含んで構成され、図５に示すように検査動画像２０７Ａ、レポート情報２０７Ｂ、レポート情報解析結果２０７Ｃ、及び病変動画像２０７Ｄが記憶（保存）される。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
記憶部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体を含んで構成され、図５に示すように検査動画像２０７Ａ、レポート情報２０７Ｂ、レポート情報解析結果２０７Ｃ、及び病変動画像２０７Ｄが記憶（保存）される。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき対象の有無のいずれか、もしくは両方と、についての解析結果を記憶部２０７（記録装置）に記憶してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記憶部２０７から取得してモニタ４００に表示することができる。
＜表示装置の構成＞
モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により検査で取得した動画像及び／または静止画像、病変動画像、撮影条件設定画面、表示条件設定画面、レポート情報、レポート情報の解析結果（抽出結果）を示す情報等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により検査で取得した動画像及び／または静止画像、病変動画像、撮影条件設定画面、表示条件設定画面、レポート情報、レポート情報の解析結果（抽出結果）を示す情報等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
＜画像処理方法＞
内視鏡システム１０を用いた画像処理方法について説明する。図６は第１の実施形態に係る画像処理方法の処理を示すフローチャートである。
内視鏡システム１０を用いた画像処理方法について説明する。図６は第１の実施形態に係る画像処理方法の処理を示すフローチャートである。
＜検査動画像の取得＞
動画像取得部２０４Ａは、内視鏡による検査動画像を取得（撮影）する（ステップＳ１００：動画像取得工程）。検査では、挿入部１０４を被検体内に挿入、手元操作部１０２の操作（押し引き、上下左右に屈曲等）により先端硬質部１１６を所望の部位に位置させる。動画像の取得開始及び終了はユーザ操作によらず自動的に行ってもよいし、撮影ボタン１４４等に対するユーザの操作に応じて行ってもよい。検査動画像の取得は挿入部１０４の挿入時に行ってもよいし、引抜き時に行ってもよい。取得した検査動画像は、検査動画像２０７Ａとして記憶部２０７に保存される。また、静止画像取得部２０４Ｂは自動的に、またはユーザの操作に応じて静止画像を撮影し、記憶部２０７に保存する。
動画像取得部２０４Ａは、内視鏡による検査動画像を取得（撮影）する（ステップＳ１００：動画像取得工程）。検査では、挿入部１０４を被検体内に挿入、手元操作部１０２の操作（押し引き、上下左右に屈曲等）により先端硬質部１１６を所望の部位に位置させる。動画像の取得開始及び終了はユーザ操作によらず自動的に行ってもよいし、撮影ボタン１４４等に対するユーザの操作に応じて行ってもよい。検査動画像の取得は挿入部１０４の挿入時に行ってもよいし、引抜き時に行ってもよい。取得した検査動画像は、検査動画像２０７Ａとして記憶部２０７に保存される。また、静止画像取得部２０４Ｂは自動的に、またはユーザの操作に応じて静止画像を撮影し、記憶部２０７に保存する。
＜レポート情報の取得＞
レポート情報取得部２０４Ｃは、ステップＳ１００で取得した検査動画像に対応する検査のレポート情報を取得する（ステップＳ１１０：レポート情報取得工程）。ステップＳ１１０で取得するレポート情報は、検査動画像に対応する検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含む。ステップＳ１１０では、ユーザがステップＳ１００で取得した検査動画像、静止画像等を基に内視鏡システム１０を用いて作成され記憶部２０７に記憶されたレポート情報２０７Ｂを取得してもよいし（この場合、画像処理部２０４にレポート作成支援機能を設けることができる）、通信制御部２０５及びレポート情報取得部２０４Ｃが、別途作成されたレポートの情報を図示せぬ外部サーバ、データベース等から取得してもよい。また、レポート情報は検査情報を含んでいてもよい。検査情報とは例えば患者情報、医師情報、機器情報、病変情報（位置、サイズ、内視鏡所見、治療状況、病理検査結果など）、手技情報（挿入時間及び／または抜去時間、鎮静剤、処置具、色素剤、ＩＥＥ（Image Enhanced Endoscopy：画像強調内視鏡）の使用状況など）などを指す。検査情報はユーザが入力した情報でもよい。
レポート情報取得部２０４Ｃは、ステップＳ１００で取得した検査動画像に対応する検査のレポート情報を取得する（ステップＳ１１０：レポート情報取得工程）。ステップＳ１１０で取得するレポート情報は、検査動画像に対応する検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含む。ステップＳ１１０では、ユーザがステップＳ１００で取得した検査動画像、静止画像等を基に内視鏡システム１０を用いて作成され記憶部２０７に記憶されたレポート情報２０７Ｂを取得してもよいし（この場合、画像処理部２０４にレポート作成支援機能を設けることができる）、通信制御部２０５及びレポート情報取得部２０４Ｃが、別途作成されたレポートの情報を図示せぬ外部サーバ、データベース等から取得してもよい。また、レポート情報は検査情報を含んでいてもよい。検査情報とは例えば患者情報、医師情報、機器情報、病変情報（位置、サイズ、内視鏡所見、治療状況、病理検査結果など）、手技情報（挿入時間及び／または抜去時間、鎮静剤、処置具、色素剤、ＩＥＥ（Image Enhanced Endoscopy：画像強調内視鏡）の使用状況など）などを指す。検査情報はユーザが入力した情報でもよい。
ステップＳ１１０において、画像に映った被写体の情報（被写体の位置、大きさ、種類等）を「被写体情報」として用いることができる。また、画像が撮影された絶対時刻（日本標準時等）、画像が撮影されたフレームの動画像の撮影開始からの経過時間、撮影時間に対応するカウンタのカウント数等、動画像において病変画像のタイミングを特定できる情報を「取得時間情報」として用いることができる。
上述したレポート情報に含まれる「静止画像」には病変（関心領域）が映っていない画像も多く含まれる。したがって、静止画像の取得前後を保存した場合に、病変が映っていない場合がある。そこで第１の実施形態では、以下に説明するようにレポート情報から病変画像の情報を抽出し、解析結果（抽出結果）に基づいて病変画像を含む時間範囲についての動画像である病変動画像を保存する。
＜レポート情報の解析＞
レポート情報解析部２０４Ｄは、ステップＳ１１０で取得したレポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出する（ステップＳ１２０：レポート情報解析工程）。情報の抽出は、例えば静止画像が病変画像であるか否かを示す病変情報を含むレポート情報をレポート情報取得部２０４Ｃが取得し、取得した病変情報に基づいてレポート情報解析部２０４Ｄが病変画像の被写体情報及び／または取得時間情報を抽出することにより行うことができる。これらの病変情報、病変画像の被写体情報及び取得時間情報は、ユーザが操作部２０８を介してレポートに入力した情報でもよい。レポート情報解析部２０４Ｄは、レポート情報に含まれる検査情報から病変画像の被写体情報及び／または取得時間情報を抽出してもよい。
レポート情報解析部２０４Ｄは、ステップＳ１１０で取得したレポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出する（ステップＳ１２０：レポート情報解析工程）。情報の抽出は、例えば静止画像が病変画像であるか否かを示す病変情報を含むレポート情報をレポート情報取得部２０４Ｃが取得し、取得した病変情報に基づいてレポート情報解析部２０４Ｄが病変画像の被写体情報及び／または取得時間情報を抽出することにより行うことができる。これらの病変情報、病変画像の被写体情報及び取得時間情報は、ユーザが操作部２０８を介してレポートに入力した情報でもよい。レポート情報解析部２０４Ｄは、レポート情報に含まれる検査情報から病変画像の被写体情報及び／または取得時間情報を抽出してもよい。
＜病変動画像の保存＞
動画像保存部２０４Ｅは、上述したレポート情報の解析結果（抽出結果）に基づいて、「検査動画像のうち病変画像を含む時間範囲についての動画像」である病変動画像を、病変動画像２０７Ｄとして記憶部２０７に保存する（ステップＳ１３０：動画像保存工程）。動画像保存部２０４Ｅは、ステップＳ１２０での解析（抽出）の結果に基づいて病変動画像を保存するか否か決定することができる。具体的には、レポート情報に病変画像及び／または病変情報が含まれている場合は病変動画像を保存し、含まれていない場合は「検査動画像には病変（関心領域）が含まれていない」と判断して病変動画像の保存処理を中止してもよい。例えば、図７の（ａ）部分に示すように時刻ｔ１～ｔ６にわたって取得された検査動画像１０１０の網掛け部分（時刻ｔ２～ｔ３及び時刻ｔ４～ｔ５）が病変の映った時間範囲である場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０１０を病変動画像（病変画像を含む時間範囲についての動画像）として保存することができる。これに対して、図７の（ｂ）部分に示すように検査動画像１０２０に全く病変が映っていない場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０２０を保存しなくてよい（あるいは、いったん保存した画像を削除する）。
動画像保存部２０４Ｅは、上述したレポート情報の解析結果（抽出結果）に基づいて、「検査動画像のうち病変画像を含む時間範囲についての動画像」である病変動画像を、病変動画像２０７Ｄとして記憶部２０７に保存する（ステップＳ１３０：動画像保存工程）。動画像保存部２０４Ｅは、ステップＳ１２０での解析（抽出）の結果に基づいて病変動画像を保存するか否か決定することができる。具体的には、レポート情報に病変画像及び／または病変情報が含まれている場合は病変動画像を保存し、含まれていない場合は「検査動画像には病変（関心領域）が含まれていない」と判断して病変動画像の保存処理を中止してもよい。例えば、図７の（ａ）部分に示すように時刻ｔ１～ｔ６にわたって取得された検査動画像１０１０の網掛け部分（時刻ｔ２～ｔ３及び時刻ｔ４～ｔ５）が病変の映った時間範囲である場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０１０を病変動画像（病変画像を含む時間範囲についての動画像）として保存することができる。これに対して、図７の（ｂ）部分に示すように検査動画像１０２０に全く病変が映っていない場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０２０を保存しなくてよい（あるいは、いったん保存した画像を削除する）。
＜特定の病変の検出、検査内容等に応じた病変動画像の保存＞
病変動画像については、上述のように病変が発見された検査について保存するほか、レポート情報の取得結果及び解析結果に基づいて、特定の病変（有病率の低いもの、検出困難症例等）が発見された検査について保存してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変動画像を保存することができる。また、例えば病理生検を行った場合（この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる）、あるいは病理生検の結果と内視鏡所見とに不整合がある場合（例えば、内視鏡所見では「腺種疑い」となり生検をとったが病理結果は過形成ポリープであった、など）に「診断が困難な病変」として病変動画像を保存することができる。さらに、後述するように病変動画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変動画像を保存してもよい。例えば、スクリーニング中の病変検出（拾い上げ）を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する（ＥＳＤ（Endoscopic Submucosal Dissection：内視鏡的粘膜下層剥離術）などの手技動画は機械学習等での利用価値が低い）、癌のステージ判別（粘膜内癌、進行癌など）を目的とする学習器を構築する場合はＥＳＤ、ＥＭＲ（ＥＭＲ：Endoscopic Mucosal Resection）等治療目的の検査についての病変動画像のみを保存する、等が考えられる。
病変動画像については、上述のように病変が発見された検査について保存するほか、レポート情報の取得結果及び解析結果に基づいて、特定の病変（有病率の低いもの、検出困難症例等）が発見された検査について保存してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変動画像を保存することができる。また、例えば病理生検を行った場合（この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる）、あるいは病理生検の結果と内視鏡所見とに不整合がある場合（例えば、内視鏡所見では「腺種疑い」となり生検をとったが病理結果は過形成ポリープであった、など）に「診断が困難な病変」として病変動画像を保存することができる。さらに、後述するように病変動画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変動画像を保存してもよい。例えば、スクリーニング中の病変検出（拾い上げ）を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する（ＥＳＤ（Endoscopic Submucosal Dissection：内視鏡的粘膜下層剥離術）などの手技動画は機械学習等での利用価値が低い）、癌のステージ判別（粘膜内癌、進行癌など）を目的とする学習器を構築する場合はＥＳＤ、ＥＭＲ（ＥＭＲ：Endoscopic Mucosal Resection）等治療目的の検査についての病変動画像のみを保存する、等が考えられる。
＜保存処理の態様＞
ステップＳ１００～Ｓ１３０における処理は、例えば以下の態様により行うことができる。図８は、病変動画像の保存における、内視鏡システム１０の各部、及び処理に使用する情報の関係を示す図である。例えば図８の（ａ）部分に示すように、ステップＳ１００で取得した検査動画像を動画像取得部２０４ＡがＲＡＭ２１２に一時的に保存し、動画像保存部２０４Ｅが、必要な部分を病変動画像２０７Ｄとして記憶部２０７に保存することができる（具体的な保存パターンについては、後述する図９～１２を参照）。また、図８の（ｂ）部分に示すように、動画像取得部２０４Ａ（及び動画像保存部２０４Ｅ）が、ステップＳ１００で取得した検査動画像を病変動画像２０７Ｄとして記憶部２０７に保存し、不要な部分を動画像保存部２０４Ｅが削除してもよい。このように必要な部分を保存（あるいは不要な部分を削除）する処理は、例えばレポート情報解析部２０４Ｄ（レポート情報解析部）が被写体情報を検査動画像とマッチングして検査動画像のうち病変画像を含む時間範囲を決定し、決定した時間範囲を動画像保存部２０４Ｅが保存することにより行うことができる。また、被写体情報がない場合でも、レポート情報の解析により病変画像の取得時間情報が抽出できれば病変動画像を保存することができる。
ステップＳ１００～Ｓ１３０における処理は、例えば以下の態様により行うことができる。図８は、病変動画像の保存における、内視鏡システム１０の各部、及び処理に使用する情報の関係を示す図である。例えば図８の（ａ）部分に示すように、ステップＳ１００で取得した検査動画像を動画像取得部２０４ＡがＲＡＭ２１２に一時的に保存し、動画像保存部２０４Ｅが、必要な部分を病変動画像２０７Ｄとして記憶部２０７に保存することができる（具体的な保存パターンについては、後述する図９～１２を参照）。また、図８の（ｂ）部分に示すように、動画像取得部２０４Ａ（及び動画像保存部２０４Ｅ）が、ステップＳ１００で取得した検査動画像を病変動画像２０７Ｄとして記憶部２０７に保存し、不要な部分を動画像保存部２０４Ｅが削除してもよい。このように必要な部分を保存（あるいは不要な部分を削除）する処理は、例えばレポート情報解析部２０４Ｄ（レポート情報解析部）が被写体情報を検査動画像とマッチングして検査動画像のうち病変画像を含む時間範囲を決定し、決定した時間範囲を動画像保存部２０４Ｅが保存することにより行うことができる。また、被写体情報がない場合でも、レポート情報の解析により病変画像の取得時間情報が抽出できれば病変動画像を保存することができる。
＜病変動画像の保存パターン＞
病変動画像の保存パターン（最終的な保存形態を意味し、図８のいずれのパターンにより処理されるかを問わない）について、以下説明する。これらのパターンのいずれにより処理するかは、ユーザの指示によらずに画像処理部２０４が決定してもよいし、操作部２０８を介したユーザの指示に応じて決定してもよい。
病変動画像の保存パターン（最終的な保存形態を意味し、図８のいずれのパターンにより処理されるかを問わない）について、以下説明する。これらのパターンのいずれにより処理するかは、ユーザの指示によらずに画像処理部２０４が決定してもよいし、操作部２０８を介したユーザの指示に応じて決定してもよい。
（パターン１）
動画像保存部２０４Ｅは、検査動画像の時間的に離れた部分を別の動画像として保存することができる。例えば、図９の（ａ）部分に示すように元の検査動画像１０１０のうち病変が映っている時刻ｔ２～ｔ３までを１つの病変動画像１０１０Ａとして記憶部２０７に保存し、病変が映っている時刻ｔ４～ｔ５までを別の病変動画像１０１０Ｂとして保存することができる。この際、図９の（ｂ）部分に示すように、（時刻ｔ２－Δｔ）～（時刻ｔ３＋Δｔ）にわたっての病変動画像１０１０Ｃ、及び／または（時刻ｔ４－Δｔ）～（時刻ｔ５＋Δｔ）にわたっての病変動画像１０１０Ｄを保存してもよい（Δｔの期間は病変が映っていない期間である。Δｔの長さは動画像のデータ量に対する制約等を考慮して設定することができる）。Δｔの期間については元の検査動画像の一部を用いてもよいし、画像処理により作成した画像を用いてもよい。
動画像保存部２０４Ｅは、検査動画像の時間的に離れた部分を別の動画像として保存することができる。例えば、図９の（ａ）部分に示すように元の検査動画像１０１０のうち病変が映っている時刻ｔ２～ｔ３までを１つの病変動画像１０１０Ａとして記憶部２０７に保存し、病変が映っている時刻ｔ４～ｔ５までを別の病変動画像１０１０Ｂとして保存することができる。この際、図９の（ｂ）部分に示すように、（時刻ｔ２－Δｔ）～（時刻ｔ３＋Δｔ）にわたっての病変動画像１０１０Ｃ、及び／または（時刻ｔ４－Δｔ）～（時刻ｔ５＋Δｔ）にわたっての病変動画像１０１０Ｄを保存してもよい（Δｔの期間は病変が映っていない期間である。Δｔの長さは動画像のデータ量に対する制約等を考慮して設定することができる）。Δｔの期間については元の検査動画像の一部を用いてもよいし、画像処理により作成した画像を用いてもよい。
なお、動画像保存部２０４Ｅは、時間的に離れた部分を別の動画像として保存するのに加え、あるいはこれに代えて、異なる病変が映された時間範囲を独立した動画像として保存してもよい。
（パターン２）
動画像保存部２０４Ｅは、検査動画像の時間的に離れた部分を１つの動画像として保存することができる。例えば、図９の（ａ）部分に示す病変動画像１０１０Ａ，１０１０Ｂをまとめて、図１０の（ａ）部分に示すように１つの病変動画像１０４０として保存することができる。この際、図１０の（ｂ）部分に示す病変動画像１０５０のように、病変動画像１０１０Ａ，１０１０Ｂの部分の間に長さΔｔの期間（病変が映っていない期間）を設けてもよい。
動画像保存部２０４Ｅは、検査動画像の時間的に離れた部分を１つの動画像として保存することができる。例えば、図９の（ａ）部分に示す病変動画像１０１０Ａ，１０１０Ｂをまとめて、図１０の（ａ）部分に示すように１つの病変動画像１０４０として保存することができる。この際、図１０の（ｂ）部分に示す病変動画像１０５０のように、病変動画像１０１０Ａ，１０１０Ｂの部分の間に長さΔｔの期間（病変が映っていない期間）を設けてもよい。
＜検査動画像と病変動画像との関連づけ＞
上述のように病変動画像を保存する場合、画像の管理、利用等を考慮すると、元の検査動画像と病変動画像とを関連づけておくことが好ましい。例えば、図９の（ａ）部分に示すように検査動画像１０１０の一部を独立した病変動画像１０１０Ａ，１０１０Ｂとして保存する場合、図１１に示すように病変動画像２０７Ｄの保存領域（記憶部２０７）における同一のフォルダ１０１０Ｆ（例えば検査ごとに、あるいは検査動画像ごとに作成したフォルダで、検査動画像１０１０を保存したフォルダ）に病変動画像１０１０Ａ，１０１０Ｂを保存することにより、これら画像を関連づけておくことができる（図１１は、病変動画像１０１０Ａ，１０１０Ｂの保存に伴い元の検査動画像１０１０を削除した状態を示している）。異なるフォルダに保存する場合でも、例えば最終的な病変動画像のファイルのヘッダ部分に元の検査動画像及び／または他の病変動画像の識別情報を記録することにより、関連づけを行うことができる。
上述のように病変動画像を保存する場合、画像の管理、利用等を考慮すると、元の検査動画像と病変動画像とを関連づけておくことが好ましい。例えば、図９の（ａ）部分に示すように検査動画像１０１０の一部を独立した病変動画像１０１０Ａ，１０１０Ｂとして保存する場合、図１１に示すように病変動画像２０７Ｄの保存領域（記憶部２０７）における同一のフォルダ１０１０Ｆ（例えば検査ごとに、あるいは検査動画像ごとに作成したフォルダで、検査動画像１０１０を保存したフォルダ）に病変動画像１０１０Ａ，１０１０Ｂを保存することにより、これら画像を関連づけておくことができる（図１１は、病変動画像１０１０Ａ，１０１０Ｂの保存に伴い元の検査動画像１０１０を削除した状態を示している）。異なるフォルダに保存する場合でも、例えば最終的な病変動画像のファイルのヘッダ部分に元の検査動画像及び／または他の病変動画像の識別情報を記録することにより、関連づけを行うことができる。
＜フレームレートの変更等によるデータ容量の削減＞
動画像保存部２０４Ｅは、検査動画像について病変動画像を保存する場合、病変画像が含まれる時間範囲以外についてフレームレートを下げる処理、及び／または時間範囲以外について解像度を下げる処理を検査動画像に施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存してもよい。例えば図１２に示すように、動画像保存部２０４Ｅは、元の検査動画像１０１０に対し病変が映っていない期間（病変画像を含む時間範囲以外：図１２では時刻ｔ１～ｔ２、ｔ３～ｔ４、ｔ５～ｔ６）のフレームレート（あるいは解像度）をHighからLowに下げる処理を施すことにより元の検査動画像１０１０よりもデータ容量を少なくした小容量動画像１０１１（小容量動画像）を病変動画像として保存することができる。このような処理により、病変動画像を効率的に保存することができる。なお、病変画像が含まれる時間範囲以外だけでなく、病変画像が含まれる時間範囲についても、画像内容に応じてフレームレート及び／または解像度を変更してもよい。例えば、有病率の低いもの、検出困難症例等特定の病変を含む場合は、その他の場合よりもフレームレート及び／または解像度を相対的に高くすることができる。この場合「特定の病変の検出、検査内容等に応じた病変動画像の保存」の項で上述したのと同様のケースを「特定の病変」とすることできる。また、同項で上述したように機械学習の目的に応じ特定種類の検査について病変動画像を保存する場合に、その他の検査について病変動画像を保存する場合よりもフレームレート及び／または解像度を相対的に高くしてもよい。
動画像保存部２０４Ｅは、検査動画像について病変動画像を保存する場合、病変画像が含まれる時間範囲以外についてフレームレートを下げる処理、及び／または時間範囲以外について解像度を下げる処理を検査動画像に施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存してもよい。例えば図１２に示すように、動画像保存部２０４Ｅは、元の検査動画像１０１０に対し病変が映っていない期間（病変画像を含む時間範囲以外：図１２では時刻ｔ１～ｔ２、ｔ３～ｔ４、ｔ５～ｔ６）のフレームレート（あるいは解像度）をHighからLowに下げる処理を施すことにより元の検査動画像１０１０よりもデータ容量を少なくした小容量動画像１０１１（小容量動画像）を病変動画像として保存することができる。このような処理により、病変動画像を効率的に保存することができる。なお、病変画像が含まれる時間範囲以外だけでなく、病変画像が含まれる時間範囲についても、画像内容に応じてフレームレート及び／または解像度を変更してもよい。例えば、有病率の低いもの、検出困難症例等特定の病変を含む場合は、その他の場合よりもフレームレート及び／または解像度を相対的に高くすることができる。この場合「特定の病変の検出、検査内容等に応じた病変動画像の保存」の項で上述したのと同様のケースを「特定の病変」とすることできる。また、同項で上述したように機械学習の目的に応じ特定種類の検査について病変動画像を保存する場合に、その他の検査について病変動画像を保存する場合よりもフレームレート及び／または解像度を相対的に高くしてもよい。
以上説明したように、第１の実施形態に係る内視鏡システム１０では、病変動画像を効率的に保存することができる。
＜病変動画像を入力とした学習器の構築＞
上述の処理により保存した病変動画像を入力として、病変の自動検出用の学習器を生成することができる。例えば、図１３の（ａ）部分に示すように、病変動画像２０７Ｄを学習データとして入力し、学習器構築部２０４Ｇが学習器２０４Ｈを構築することができる。学習器２０４Ｈを構築する際、病変である旨、及び／または病変の種類等をラベルとして画像に付して教師データとしてもよい。なお、学習器構築部２０４Ｇ、学習器２０４Ｈを内視鏡システム１０（画像処理部２０４）の構成要素としてもよいし、独立した装置を用いてもよい。上述したように、内視鏡システム１０では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、この病変動画像を入力として効率良く学習を行って学習器を構築することができる。
上述の処理により保存した病変動画像を入力として、病変の自動検出用の学習器を生成することができる。例えば、図１３の（ａ）部分に示すように、病変動画像２０７Ｄを学習データとして入力し、学習器構築部２０４Ｇが学習器２０４Ｈを構築することができる。学習器２０４Ｈを構築する際、病変である旨、及び／または病変の種類等をラベルとして画像に付して教師データとしてもよい。なお、学習器構築部２０４Ｇ、学習器２０４Ｈを内視鏡システム１０（画像処理部２０４）の構成要素としてもよいし、独立した装置を用いてもよい。上述したように、内視鏡システム１０では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、この病変動画像を入力として効率良く学習を行って学習器を構築することができる。
＜深層学習アルゴリズムを用いる学習器の構築＞
学習器構築部２０４Ｇは、深層学習の手法を用いる学習器を構築してもよい。例えば、病変動画像に対し深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより入力画像に病変が含まれるか否かを解析する学習器を構築してもよい。深層学習アルゴリズムは、コンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に病変（関心領域）が含まれている否かを認識するアルゴリズムである。
学習器構築部２０４Ｇは、深層学習の手法を用いる学習器を構築してもよい。例えば、病変動画像に対し深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより入力画像に病変が含まれるか否かを解析する学習器を構築してもよい。深層学習アルゴリズムは、コンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に病変（関心領域）が含まれている否かを認識するアルゴリズムである。
＜病変の検出＞
上述のように構築した学習器２０４Ｈを用いて、検査動画像から病変を検出することができる。図１３の（ｂ）部分は、検査で取得した検査動画像２０７Ａを学習器２０４Ｈに入力して、病変（関心領域）についての検出結果２０７Ｅを得る様子を示している。学習器２０４Ｈで検出する病変の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。
上述のように構築した学習器２０４Ｈを用いて、検査動画像から病変を検出することができる。図１３の（ｂ）部分は、検査で取得した検査動画像２０７Ａを学習器２０４Ｈに入力して、病変（関心領域）についての検出結果２０７Ｅを得る様子を示している。学習器２０４Ｈで検出する病変の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。
＜病変の分類＞
学習器２０４Ｈを用いて、検査動画像２０７Ａから検出した病変を分類してもよい。分類の例としては、ポリープの分類（腫瘍性か非腫瘍性か）、癌のステージ診断、管腔内の現在位置（上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）等を挙げることができる。病変の分類は検出と一体として行ってもよい。
学習器２０４Ｈを用いて、検査動画像２０７Ａから検出した病変を分類してもよい。分類の例としては、ポリープの分類（腫瘍性か非腫瘍性か）、癌のステージ診断、管腔内の現在位置（上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）等を挙げることができる。病変の分類は検出と一体として行ってもよい。
＜画像の表示例＞
内視鏡システム１０において、表示制御部２０４Ｆは、検査動画像２０７Ａ、病変動画像２０７Ｄ、自動的にまたはユーザの操作に応じて撮影した静止画像等の画像をモニタ４００（表示装置）に表示させることができる。画像を表示する際に画像から病変を検出する処理を行い、検出結果に応じて病変を識別表示してもよい。この検出処理は、公知のＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を利用した検出部、上述した学習器等を画像処理部２０４に設けることにより行うことができる。
内視鏡システム１０において、表示制御部２０４Ｆは、検査動画像２０７Ａ、病変動画像２０７Ｄ、自動的にまたはユーザの操作に応じて撮影した静止画像等の画像をモニタ４００（表示装置）に表示させることができる。画像を表示する際に画像から病変を検出する処理を行い、検出結果に応じて病変を識別表示してもよい。この検出処理は、公知のＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を利用した検出部、上述した学習器等を画像処理部２０４に設けることにより行うことができる。
図１４の例に示すように、表示制御部２０４Ｆはモニタ４００に第１の画像表示領域５００、第２の画像表示領域５１０、患者情報表示領域５２０を表示させることができる。図１４の例では、第１の画像表示領域５００には画像５０２が表示され、画像５０２においてポリープ５０４Ａ，５０４Ｂが検出されている。第２の画像表示領域５１０には、画像５０２と異なる時刻に撮影された画像５１２～５１８が表示されている。また、図１４の例ではポリープ５０４Ａ，５０４Ｂに対して枠５０６Ａ，５０６Ｂがそれぞれ表示されている。図１４に示すように、表示制御部２０４Ｆは第１の画像表示領域５００の第２象限部分のエッジに枠５０６Ａを表示し、第４象限部分のエッジに枠５０６Ｂを表示している（第１～第４象限は、第１の画像表示領域５００の中心を基準としている）。図１４に示すように枠５０６Ａ，５０６Ｂを表示することにより、ユーザはポリープ５０４Ａ，５０４Ｂを容易に認識することができる。また、枠５０６Ａ，５０６Ｂは第１の画像表示領域５００のエッジに表示されるので、枠５０６Ａ，５０６Ｂが画像５０２を遮ることがなく、ユーザは観察、診断を円滑に行うことができる。
図１５，１６は画像表示の他の例を示す図である。図１５に示すように、画像５０３においてポリープ５０４Ｃを枠５０６Ｄで囲むことにより、ポリープ５０４Ｃの位置を明確に提示することができる。この場合、ポリープ５０４Ｃの検出時は図１５に示すように枠５０６Ｃを強調して（例えば太い線で）表示し、検出から時間が経過（例えば数秒程度）したら図１６に示すように強調度合いを下げて表示する（例えば、枠５０６Ｄのように細い線で表示する、あるいは表示を徐々に暗くしていく、徐々に消していく等）ことにより、枠の表示が観察、診断の妨げにならないようにすることができる。
上述した枠は、検出されたポリープ（病変）の数、位置、大きさ等に応じて表示することができる。例えば、図１４の態様においてポリープ（病変）が画像５０２の第１、第３象限部分で検出された場合は、第１の画像表示領域５００の第１，第３象限部分のエッジに枠を表示することができる。また、図１５，１６の態様においてポリープが複数検出された場合は、各ポリープについて図１５，１６の例と同様の枠を表示することができる。また、これらの枠の色、明るさ、太さ等の表示条件はユーザの操作に応じて設定してもよいし、ユーザの操作によらずに表示制御部２０４Ｆが設定してもよい。なお、モニタ４００に動画像を表示する場合、病変の検出を連続的に（例えば、動画像の各フレームについて）行い、検出結果に応じて枠の数、位置、及び大きさ等を変化させて表示することができる。
（付記）
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を、それを記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を、それを記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
（付記１３）
蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ ：内視鏡システム
１００ ：内視鏡本体
１０２ ：手元操作部
１０４ ：挿入部
１０６ ：ユニバーサルケーブル
１０８ ：ライトガイドコネクタ
１１２ ：軟性部
１１４ ：湾曲部
１１６ ：先端硬質部
１１６Ａ ：先端側端面
１２３ ：照明部
１２３Ａ ：照明用レンズ
１２３Ｂ ：照明用レンズ
１２６ ：鉗子口
１３０ ：撮影光学系
１３２ ：撮影レンズ
１３４ ：撮像素子
１３６ ：駆動回路
１３８ ：ＡＦＥ
１４１ ：送気送水ボタン
１４２ ：吸引ボタン
１４３ ：機能ボタン
１４４ ：撮影ボタン
１７０ ：ライトガイド
２００ ：プロセッサ
２０２ ：画像入力コントローラ
２０４ ：画像処理部
２０４Ａ ：動画像取得部
２０４Ｂ ：静止画像取得部
２０４Ｃ ：レポート情報取得部
２０４Ｄ ：レポート情報解析部
２０４Ｅ ：動画像保存部
２０４Ｆ ：表示制御部
２０４Ｇ ：学習器構築部
２０４Ｈ ：学習器
２０５ ：通信制御部
２０６ ：ビデオ出力部
２０７ ：記憶部
２０７Ａ ：検査動画像
２０７Ｂ ：レポート情報
２０７Ｃ ：レポート情報解析結果
２０７Ｄ ：病変動画像
２０７Ｅ ：検出結果
２０８ ：操作部
２０９ ：音声処理部
２０９Ａ ：スピーカ
２１０ ：ＣＰＵ
２１１ ：ＲＯＭ
２１２ ：ＲＡＭ
３００ ：光源装置
３１０ ：光源
３１０Ｂ ：青色光源
３１０Ｇ ：緑色光源
３１０Ｒ ：赤色光源
３３０ ：絞り
３４０ ：集光レンズ
３５０ ：光源制御部
４００ ：モニタ
５００ ：第１の画像表示領域
５０２ ：画像
５０３ ：画像
５０４Ａ ：ポリープ
５０４Ｂ ：ポリープ
５０４Ｃ ：ポリープ
５０６Ａ ：枠
５０６Ｂ ：枠
５０６Ｃ ：枠
５０６Ｄ ：枠
５１０ ：第２の画像表示領域
５１２ ：画像
５１４ ：画像
５１６ ：画像
５１８ ：画像
５２０ ：患者情報表示領域
１０１０ ：検査動画像
１０１０Ａ ：病変動画像
１０１０Ｂ ：病変動画像
１０１０Ｃ ：病変動画像
１０１０Ｄ ：病変動画像
１０１０Ｆ ：フォルダ
１０１１ ：小容量動画像
１０２０ ：検査動画像
１０４０ ：病変動画像
１０５０ ：病変動画像
Ｓ１００～Ｓ１３０ ：画像処理方法の各ステップ
１００ ：内視鏡本体
１０２ ：手元操作部
１０４ ：挿入部
１０６ ：ユニバーサルケーブル
１０８ ：ライトガイドコネクタ
１１２ ：軟性部
１１４ ：湾曲部
１１６ ：先端硬質部
１１６Ａ ：先端側端面
１２３ ：照明部
１２３Ａ ：照明用レンズ
１２３Ｂ ：照明用レンズ
１２６ ：鉗子口
１３０ ：撮影光学系
１３２ ：撮影レンズ
１３４ ：撮像素子
１３６ ：駆動回路
１３８ ：ＡＦＥ
１４１ ：送気送水ボタン
１４２ ：吸引ボタン
１４３ ：機能ボタン
１４４ ：撮影ボタン
１７０ ：ライトガイド
２００ ：プロセッサ
２０２ ：画像入力コントローラ
２０４ ：画像処理部
２０４Ａ ：動画像取得部
２０４Ｂ ：静止画像取得部
２０４Ｃ ：レポート情報取得部
２０４Ｄ ：レポート情報解析部
２０４Ｅ ：動画像保存部
２０４Ｆ ：表示制御部
２０４Ｇ ：学習器構築部
２０４Ｈ ：学習器
２０５ ：通信制御部
２０６ ：ビデオ出力部
２０７ ：記憶部
２０７Ａ ：検査動画像
２０７Ｂ ：レポート情報
２０７Ｃ ：レポート情報解析結果
２０７Ｄ ：病変動画像
２０７Ｅ ：検出結果
２０８ ：操作部
２０９ ：音声処理部
２０９Ａ ：スピーカ
２１０ ：ＣＰＵ
２１１ ：ＲＯＭ
２１２ ：ＲＡＭ
３００ ：光源装置
３１０ ：光源
３１０Ｂ ：青色光源
３１０Ｇ ：緑色光源
３１０Ｒ ：赤色光源
３３０ ：絞り
３４０ ：集光レンズ
３５０ ：光源制御部
４００ ：モニタ
５００ ：第１の画像表示領域
５０２ ：画像
５０３ ：画像
５０４Ａ ：ポリープ
５０４Ｂ ：ポリープ
５０４Ｃ ：ポリープ
５０６Ａ ：枠
５０６Ｂ ：枠
５０６Ｃ ：枠
５０６Ｄ ：枠
５１０ ：第２の画像表示領域
５１２ ：画像
５１４ ：画像
５１６ ：画像
５１８ ：画像
５２０ ：患者情報表示領域
１０１０ ：検査動画像
１０１０Ａ ：病変動画像
１０１０Ｂ ：病変動画像
１０１０Ｃ ：病変動画像
１０１０Ｄ ：病変動画像
１０１０Ｆ ：フォルダ
１０１１ ：小容量動画像
１０２０ ：検査動画像
１０４０ ：病変動画像
１０５０ ：病変動画像
Ｓ１００～Ｓ１３０ ：画像処理方法の各ステップ
Claims (6)
- 内視鏡による検査の際に撮影された検査動画像を処理する画像処理装置であって、
前記検査動画像を取得する動画像取得部と、
前記検査によって作成されたレポートであって、少なくとも前記検査において取得された静止画像、前記静止画像が病変画像であるか否かを示す病変情報、前記静止画像に映った被写体の被写体情報、及び、前記検査動画像において前記静止画像を取得したタイミングを特定できる取得時間情報を含むレポートから、少なくとも前記病変情報、前記被写体情報及び前記取得時間情報を取得するレポート情報取得部と、
前記レポート情報取得部で取得した前記病変情報に基づいて、前記レポート情報取得部で取得した情報から前記病変画像の前記被写体情報及び／または前記取得時間情報を抽出するレポート情報解析部と、
前記病変画像の前記被写体情報及び／または前記取得時間情報が抽出された場合に、抽出された前記病変画像の前記被写体情報及び／または前記取得時間情報に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、
を備えた画像処理装置。 - 前記レポート情報解析部は、前記病変画像の前記被写体情報を抽出した場合、前記病変画像の前記被写体情報を前記検査動画像とマッチングすることにより、前記検査動画像のうち前記病変画像を含む前記時間範囲を決定し、
前記動画像保存部は、前記決定した時間範囲について前記病変動画像を保存する請求項１に記載の画像処理装置。 - 前記動画像保存部は、前記検査動画像のうち異なる病変が映された時間範囲を独立した動画像として保存する請求項１又は２に記載の画像処理装置。
- 前記動画像保存部は、前記検査動画像について前記病変動画像を保存する場合、前記検査動画像に対し前記時間範囲以外についてフレームレートを下げる処理及び／または前記時間範囲以外について解像度を下げる処理を施すことにより、前記検査動画像よりもデータ容量を少なくした小容量動画像を保存する請求項１から３のいずれか１項に記載の画像処理装置。
- 請求項１から４のいずれか１項に記載の画像処理装置と、
被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された手元操作部と、を有する内視鏡と、
前記先端硬質部に設けられ前記被検体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を有する撮像部と、
を備え、
前記動画像取得部は前記撮像部により撮影した前記検査動画像を取得する内視鏡システム。 - 内視鏡による検査の際に撮影された検査動画像を処理する画像処理方法であって、
前記検査動画像を取得する動画像取得工程と、
前記検査によって作成されたレポートであって、少なくとも前記検査において取得された静止画像、前記静止画像が病変画像であるか否かを示す病変情報、前記静止画像に映った被写体の被写体情報、及び、前記検査動画像において前記静止画像を取得したタイミングを特定できる取得時間情報を含むレポートから、少なくとも前記病変情報、前記被写体情報及び前記取得時間情報を取得するレポート情報取得工程と、
前記レポート情報取得工程で取得した前記病変情報に基づいて、前記レポート情報取得工程で取得した情報から前記病変画像の前記被写体情報及び／または前記取得時間情報を抽出するレポート情報解析工程と、
前記病変画像の前記被写体情報及び／または前記取得時間情報が抽出された場合に、抽出された前記病変画像の前記被写体情報及び／または前記取得時間情報に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存工程と、
を有する画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018077661 | 2018-04-13 | ||
| JP2018077661 | 2018-04-13 | ||
| PCT/JP2019/015134 WO2019198637A1 (ja) | 2018-04-13 | 2019-04-05 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019198637A1 JPWO2019198637A1 (ja) | 2021-04-15 |
| JP7170032B2 true JP7170032B2 (ja) | 2022-11-11 |
Family
ID=68164075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020513241A Active JP7170032B2 (ja) | 2018-04-13 | 2019-04-05 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11992178B2 (ja) |
| EP (1) | EP3777644A4 (ja) |
| JP (1) | JP7170032B2 (ja) |
| CN (1) | CN111936032B (ja) |
| WO (1) | WO2019198637A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020023377A1 (en) * | 2018-07-23 | 2020-01-30 | The Regents Of The University Of California | Oral and oropharyngeal cancer screening system and methods of use |
| CN112566540B (zh) * | 2019-03-27 | 2023-12-19 | Hoya株式会社 | 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法 |
| CN113544743B (zh) * | 2019-09-20 | 2024-03-12 | Hoya株式会社 | 内窥镜用处理器、程序、信息处理方法和信息处理装置 |
| JP7441452B2 (ja) | 2019-10-28 | 2024-03-01 | 国立大学法人鳥取大学 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
| WO2021075418A1 (ja) * | 2019-10-18 | 2021-04-22 | 国立大学法人鳥取大学 | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 |
| CN115460969A (zh) * | 2020-05-08 | 2022-12-09 | 奥林巴斯株式会社 | 内窥镜系统以及照明控制方法 |
| WO2023089719A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 映像編集装置、映像編集方法、及び、記録媒体 |
| WO2023089718A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| WO2023166647A1 (ja) * | 2022-03-03 | 2023-09-07 | オリンパスメディカルシステムズ株式会社 | 医療支援システムおよび画像表示方法 |
| CN115277985A (zh) * | 2022-06-24 | 2022-11-01 | 江苏济远医疗科技有限公司 | 一种多功能内窥镜图像处理装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007075163A (ja) | 2005-09-09 | 2007-03-29 | Olympus Medical Systems Corp | 画像表示装置 |
| JP2008301968A (ja) | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
| JP2012014129A (ja) | 2010-07-05 | 2012-01-19 | Olympus Corp | 内視鏡装置及び内視鏡装置を用いた検査方法 |
| WO2012165381A1 (ja) | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
| JP2014079562A (ja) | 2012-09-27 | 2014-05-08 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
| JP2015195845A (ja) | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4594835B2 (ja) * | 2005-09-09 | 2010-12-08 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| JP5019589B2 (ja) | 2007-03-28 | 2012-09-05 | 富士フイルム株式会社 | カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の作動方法 |
| JP2014042727A (ja) | 2012-08-28 | 2014-03-13 | Fujifilm Corp | 医療画像記録装置及びその記録方法並びに医療画像記録プログラム |
| JP6230237B2 (ja) * | 2013-01-31 | 2017-11-15 | オリンパス株式会社 | 内視鏡装置 |
| WO2015020093A1 (ja) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | 手術画像観察装置 |
| JP5784859B2 (ja) | 2013-08-30 | 2015-09-24 | オリンパス株式会社 | 画像管理装置 |
| WO2017104192A1 (ja) * | 2015-12-17 | 2017-06-22 | オリンパス株式会社 | 医用観察システム |
| WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| EP3714764A4 (en) * | 2017-12-28 | 2021-06-30 | Allis Inc. | ORAL PHOTOGRAPHY DEVICE, MEDICAL DEVICE AND PROGRAM |
| US20210345865A1 (en) * | 2018-10-19 | 2021-11-11 | Given Imaging Ltd | Systems and methods for generating and displaying a study of a stream of in-vivo images |
| JP7246912B2 (ja) * | 2018-12-18 | 2023-03-28 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置及び医用情報処理システム |
| KR102140402B1 (ko) * | 2019-09-05 | 2020-08-03 | 주식회사 루닛 | 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 |
-
2019
- 2019-04-05 WO PCT/JP2019/015134 patent/WO2019198637A1/ja active Application Filing
- 2019-04-05 CN CN201980023991.6A patent/CN111936032B/zh active Active
- 2019-04-05 JP JP2020513241A patent/JP7170032B2/ja active Active
- 2019-04-05 EP EP19784471.5A patent/EP3777644A4/en active Pending
-
2020
- 2020-09-29 US US17/035,738 patent/US11992178B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007075163A (ja) | 2005-09-09 | 2007-03-29 | Olympus Medical Systems Corp | 画像表示装置 |
| JP2008301968A (ja) | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
| JP2012014129A (ja) | 2010-07-05 | 2012-01-19 | Olympus Corp | 内視鏡装置及び内視鏡装置を用いた検査方法 |
| WO2012165381A1 (ja) | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
| JP2014079562A (ja) | 2012-09-27 | 2014-05-08 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
| JP2015195845A (ja) | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111936032A (zh) | 2020-11-13 |
| EP3777644A4 (en) | 2021-09-22 |
| CN111936032B (zh) | 2024-03-26 |
| EP3777644A1 (en) | 2021-02-17 |
| WO2019198637A1 (ja) | 2019-10-17 |
| US11992178B2 (en) | 2024-05-28 |
| US20210012495A1 (en) | 2021-01-14 |
| JPWO2019198637A1 (ja) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| JP7430287B2 (ja) | 医用画像処理装置及び内視鏡システム | |
| JP7038641B2 (ja) | 医療診断支援装置、内視鏡システム、及び作動方法 | |
| JP7333805B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| JP7176041B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| CN112105284B (zh) | 图像处理装置、内窥镜系统及图像处理方法 | |
| WO2020162275A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
| JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
| US11978550B2 (en) | Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device | |
| JP2023026480A (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
| CN111065314B (zh) | 诊断支持系统、内窥镜系统、处理器及诊断支持方法 | |
| WO2020059445A1 (ja) | 画像処理装置及び画像処理方法 | |
| CN116234487A (zh) | 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 | |
| WO2022181748A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20200929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220810 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220829 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7170032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |