JP7427766B2 - 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム - Google Patents
画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム Download PDFInfo
- Publication number
- JP7427766B2 JP7427766B2 JP2022505008A JP2022505008A JP7427766B2 JP 7427766 B2 JP7427766 B2 JP 7427766B2 JP 2022505008 A JP2022505008 A JP 2022505008A JP 2022505008 A JP2022505008 A JP 2022505008A JP 7427766 B2 JP7427766 B2 JP 7427766B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- still image
- still
- selection support
- support device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000012545 processing Methods 0.000 claims description 86
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000005286 illumination Methods 0.000 claims description 27
- 238000000295 emission spectrum Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims 1
- 238000001839 endoscopy Methods 0.000 description 29
- 238000013473 artificial intelligence Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000012360 testing method Methods 0.000 description 18
- 238000004140 cleaning Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 11
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Description
本発明は、内視鏡による撮影で得られた画像の選択を支援する画像選択支援装置、画像選択支援方法、及び画像選択支援プログラムに関する。
従来、内視鏡による撮影で得られた画像を蓄積する画像管理システムが知られている。画像管理システムに蓄積された画像は、例えば、内視鏡による検査に関して作成されるレポートにキーイメージとして挿入される。
画像の取得は、例えば、内視鏡の操作者による画像の取得操作が行われたタイミングで、すなわち手動で行われる。
又は、画像の取得は、内視鏡の操作者による画像の取得操作によらずに自動で行われる。例えば、特許文献１には、病変画像など診断に最適な画像を漏れなく確実に保存するために、内視鏡によって観察対象を撮像して得られた画像信号から粘膜情報の指標値を算出し、その指標値に基づいて画像信号が特定の条件を満たすと判別された特定画像信号を自動的に保存する構成が開示されている。
レポートのキーイメージ等に用いる画像は、手動及び自動で取得された各画像の中から選択可能であることが望ましい。
例えば、手動で取得された画像は、操作者の取得操作の遅れにより、ブレが大きいなど、不適切なタイミングの画像である場合がある。また、手動で取得された画像のみでは、操作者が取得操作を失念したり取得操作を失敗したりすることにより必要な画像が得られない場合がある。
一方で、画像を自動で取得する場合に、必要な画像を自動で取得するための完全な基準を定めることは困難である。このため、自動で取得された画像には、不必要な画像が含まれる場合がある。また、自動で取得された画像のみでは、必要な画像が得られない場合がある。
しかしながら、手動及び自動で取得された各画像の中から画像を選択する構成とすると、これらの画像の中から適切な画像を選択することは困難である。例えば、画像の選択者は、手動で取得された画像について、その画像の撮影時刻と近い撮影時刻に自動で取得された画像がいずれであるかを特定することが困難であり、これらの画像を比較することが困難である。
本発明は、上記事情に鑑みてなされたものであり、手動及び自動で取得された各画像の中から適切な画像を容易に選択可能にする画像選択支援装置、画像選択支援方法、及び画像選択支援プログラムを提供することを目的とする。
本発明の画像選択支援装置は、プロセッサとメモリとを有し、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援装置であって、上記メモリには、上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、が記録され、上記プロセッサが、上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、上記第１静止画像と上記第３静止画像とを対応付けるものである。
本発明の画像選択支援方法は、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援方法であって、上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、上記第１静止画像と上記第３静止画像とを対応付けるものである。
本発明の画像選択支援プログラムは、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援プログラムであって、上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、上記第１静止画像と上記第３静止画像とを対応付ける、処理をコンピュータに実行させるためのものである。
本発明によれば、手動及び自動で取得された各画像の中から適切な画像を容易に選択可能にする画像選択支援装置、画像選択支援方法、及び画像選択支援プログラムを提供することができる。
以下、本発明の実施形態について図面を参照して説明する。
（実施形態の一例）
図１は、病院内システム全体構成の一例を示す図である。図１に示すシステムは、病院情報システム（ＨＩＳ：Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）１０と、内視鏡部門システム２０と、病理部門システム３０と、医用画像保管システム４０と、他部門システム５０とを備え、これらは院内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）６０に接続されて相互に連携可能となっている。
図１は、病院内システム全体構成の一例を示す図である。図１に示すシステムは、病院情報システム（ＨＩＳ：Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）１０と、内視鏡部門システム２０と、病理部門システム３０と、医用画像保管システム４０と、他部門システム５０とを備え、これらは院内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）６０に接続されて相互に連携可能となっている。
ＨＩＳ１０は、医療事務会計システム、診療予約システム、診療情報システム等を含む包括的なシステムであり、電子カルテデータベース等を有する。電子カルテデータベースには、患者の診療情報を記録した電子カルテが保管される。
他の診療科から内視鏡部門に対して検査依頼が行われる場合の検査の依頼（オーダ）に関する情報（以下、検査依頼情報という）が発行されると、その情報がＨＩＳ１０を介して内視鏡部門システム２０に送信される。
検査依頼情報には、例えば、患者情報、オーダーキー情報（「オーダ番号」「発生日時」等）、依頼元情報（「依頼科名」「依頼医師名」「依頼日」等）、オーダ情報（「依頼病名」「検査目的」「検査種別」「検査項目」「検査部位」「コメント」等）、検査予約情報（「検査日」「実施時刻」等）等が含まれる。患者情報は、患者に関する情報であり、患者固有の情報である「患者ＩＤ」、「患者氏名」、「生年月日」、「年齢」、「性別」、「入院／外来区分」等が含まれる。
内視鏡部門システム２０は、内視鏡部門の管理を行うためのシステムである。
病理部門システム３０は、病理部門の管理を行うためのシステムである。
医用画像保管システム４０は、内視鏡装置、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等の医療画像診断装置からの検査画像を電子的に保存、検索、解析するシステムである。医用画像保管システム４０は、例えばＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）であってもよいし、医療用画像を保存可能な他のシステムであってもよい。
他部門システム５０は、その他の部門の管理を行うためのシステムである。
図２は、図１に示すシステムにおける内視鏡部門システムの概略構成を示す図である。内視鏡部門には、受付２０Ａと、前処置室２０Ｂと、複数の内視鏡検査室（以下、検査室）２０Ｃと、洗浄室２０Ｄと、カンファレンス室２０Ｅとが含まれる。
受付２０Ａは、検査の受付を行う場所である。前処置室２０Ｂは、内視鏡検査の前に行う問診及び前処置を行うための部屋である。検査室２０Ｃは、内視鏡検査を行うための部屋である。洗浄室２０Ｄは、内視鏡検査に用いたスコープ等の洗浄を行うための部屋である。
図２に示す内視鏡部門システム２０は、内視鏡部門サーバ２１と、複数のクライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２２と、画像処理装置２３と、内視鏡装置２４と、洗浄管理装置２５と、洗浄機２６とを備える。内視鏡部門サーバ２１、複数のクライアントＰＣ２２、画像処理装置２３、及び洗浄管理装置２５は部門内ＬＡＮ２７に接続されている。部門内ＬＡＮ２７は院内ＬＡＮ６０に接続されている。
画像処理装置２３及び内視鏡装置２４は、複数の検査室２０Ｃの各々に設置されている。画像処理装置２３及び内視鏡装置２４は、互いに通信を行うことにより、互いの内部時刻を同期させる同期処理を行う。
内視鏡装置２４は、先端に撮像素子を有する挿入部（スコープ）を備え、撮像素子の連続撮影により得られる連続した撮影画像データを画像処理装置２３へ入力する。内視鏡装置２４の構成例については図５において後述する。
また、内視鏡装置２４は、内視鏡装置２４の操作者からの静止画像の取得操作（例えばボタン押下）があった時に撮像素子により得られた撮影画像データに基づく第１静止画像を生成する。第１静止画像は、操作者からの取得操作により取得された手動取得画像である。また、内視鏡装置２４は、生成する第１静止画像に、その第１静止画像が得られた時の内視鏡装置２４の内部時刻である撮影時刻の情報を付加する。そして、内視鏡装置２４は、生成した第１静止画像を画像処理装置２３へ入力する。
画像処理装置２３は、画像処理装置２３が設置される検査室２０Ｃの内視鏡装置２４に接続されている。画像処理装置２３は、内視鏡装置２４から撮影画像データを受信する解析装置を構成する。
画像処理装置２３には、内視鏡装置２４の連続撮影により得られる撮影画像データが連続して入力される。画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、内視鏡装置２４の操作者からの静止画像の取得操作があった時と異なる時の撮影画像データに基づく第２静止画像を生成する。第２静止画像は、操作者からの取得操作によらずに取得された自動取得画像である。また、画像処理装置２３は、生成する第２静止画像に、その第２静止画像が得られた時の画像処理装置２３の内部時刻である撮影時刻の情報を付加する。
例えば、画像処理装置２３は、連続して入力される撮影画像データに基づいてＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による解析を行う。そして、画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、解析の結果に基づく時の撮影画像データに基づく第２静止画像を生成する。解析の結果に基づく時は、上記の取得操作があった時と異なる時の一例であり、例えば撮影画像データに基づいて特異所見を検出した時である。特異所見は、例えば悪性腫瘍等の病変であるが、これに限らず各種の特異所見とすることができる。
また、画像処理装置２３は、内視鏡装置２４から入力された第１静止画像と、生成した第２静止画像とを、部門内ＬＡＮ２７を介して内視鏡部門サーバ２１へ送信する。画像処理装置２３によって送信された第１静止画像及び第２静止画像は、内視鏡部門サーバ２１の制御により、図１に示した医用画像保管システム４０によって保管される。
なお、内視鏡装置２４が生成した第１静止画像を、画像処理装置２３を介して内視鏡部門サーバ２１へ送信する構成について説明したが、画像処理装置２３を介さずに内視鏡装置２４が第１静止画像を内視鏡部門サーバ２１へ送信する構成としてもよい。また、内視鏡装置２４として、画像処理装置２３を一体化したものを用いてもよい。
洗浄機２６と洗浄管理装置２５は洗浄室２０Ｄに設置されている。洗浄機２６は、内視鏡検査に用いたスコープ等の洗浄を行う機器である。
洗浄管理装置２５は、洗浄機２６に接続されており、洗浄機２６による洗浄履歴等の情報を内視鏡部門サーバ２１に登録するためのコンピュータである。
内視鏡部門サーバ２１は、クライアントＰＣ２２、画像処理装置２３、及び洗浄管理装置２５を統括制御するコンピュータである。内視鏡部門サーバ２１には、データベースＤＢが内蔵されており、このデータベースＤＢに各種情報（検査依頼情報、検査結果情報等）が格納される。
クライアントＰＣ２２には、所定のアプリケーションプログラムがインストールされており、このプログラムにより、データベースＤＢに記録されているデータの参照及び編集、データベースへのデータの登録等が可能となっている。
図３は、図２に示す内視鏡部門システムにおけるクライアントＰＣの内部構成を示すブロック図である。図３に示すように、クライアントＰＣ２２のそれぞれは、入力部２２ａ、表示部２２ｂ、記録部２２ｃ、送受信部２２ｄ、及び制御部２２ｅで構成される。
入力部２２ａは、各種入力を行うための入力手段であり、キーボード、タッチパネル等の入力デバイスや、マウス・トラックボール等のポインティングデバイスから構成されている。
表示部２２ｂは、画像、レポート等の各種表示を行うためのディスプレイであり、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などで構成されている。
記録部２２ｃは、各種データを記録するためのハードディスク等で構成されている。
送受信部２２ｄは、送受信インタフェース回路などから構成され、各種指示、各種要求、及び各種データを、部門内ＬＡＮ２７を介して送受信する処理を実行する。
制御部２２ｅは、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
制御部２２ｅは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
制御部２２ｅは、上記プログラム、部門内ＬＡＮ２７を介し外部から送信される各種の要求、及び入力部２２ａから入力される指示情報などに従ってクライアントＰＣ２２の各部の制御を行う。
図４は、クライアントＰＣ２２のアプリケーションの基本画面の一例を示す図である。ユーザがクライアントＰＣ２２でアプリケーションを立ち上げてログインすると、制御部２２ｅは、基本画面データをデータベースＤＢから取得し、図４に示した基本画面を表示部２２ｂに表示させる。なお、クライアントＰＣ２２は、例えば検査室２０ＣのクライアントＰＣ２２であるが、これに限らず図２に示した他のクライアントＰＣ２２であってもよい。
この基本画面は、検査依頼情報（一部を抜粋した情報）の一覧リストを表示する領域Ａと、各種操作ボタンを表示する領域Ｂと、領域Ａのリストで選択された検査依頼情報に対して有効なランチャーを表示する領域Ｃとで構成されている。
領域Ａのリストには、各検査依頼情報に対して“来院”“受付”“検査”“会計”等の処理項目が設けられ、各検査依頼情報に対して各処理項目で示される処理が終了した場合に、各処理項目に“○”印が表示されるようになっている。
この印を表示するためのデータについては、各処理が終了したときに、内視鏡部門サーバ２１によってデータベースＤＢに登録される。例えば、内視鏡部門サーバ２１は、検査依頼情報に基づく検査が終了すると、検査が終了したことを示す情報を該検査依頼情報に対応付けてデータベースＤＢに登録する。これにより、“検査”の処理項目に“○”印が表示されるようになる。各処理が終了したかどうかの情報は、手動で入力しても良いし、クライアントＰＣ２２や内視鏡装置２４から自動的に通知できるようにしてもよい。
このアプリケーションは操作ボタンとして“レポート”ボタンＣ１を有し、“レポート”ボタンＣ１は図４に示した基本画面の領域Ｃに表示される。このボタンＣ１は、領域Ａのリストから選択した検査依頼情報に基づく検査に対し、レポートの作成作業を行うためのボタンである。
クライアントＰＣ２２の制御部２２ｅは、この基本画面を表示するためのデータをデータベースＤＢから定期的に取得し、表示部２２ｂに表示させる。
図２に示すシステムでは、クライアントＰＣ２２の制御部２２ｅが、実施された検査に対してレポートの作成を行う指示が行われた場合に、レポートに挿入するための静止画像の、レポート作成者（例えば医師）による選択を支援するものである。
図５は、内視鏡装置２４の一例を示す図である。図５に示すように、内視鏡装置２４は、内視鏡１と、この内視鏡１が接続される制御装置４及び光源装置５と、を備える。
制御装置４には、内視鏡１によって被検体内を撮像して得られる撮像画像等を表示する表示装置７と、制御装置４に対して各種情報を入力するためのインタフェースである入力部６と、が接続されている。制御装置４は、内視鏡１、光源装置５、及び表示装置７を制御する。
表示装置７は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置７は、制御装置４からの指令に応じて表示画像を切り替える表示部を構成する。
内視鏡１は、一方向に延びる管状部材であって被検体内に挿入される挿入部１１０と、挿入部１１０の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部１１と、操作部１１に隣接して設けられたアングルノブ１２と、内視鏡１を制御装置４と光源装置５にそれぞれ着脱自在に接続するコネクタ部１３Ａ，１３Ｂを含むユニバーサルコード１３と、を含む。
なお、図５では省略されているが、操作部１１及び挿入部１１０の内部には、細胞又はポリープ等の生体組織を採取するための鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部１１０は、可撓性を有する軟性部１０Ａと、軟性部１０Ａの先端に設けられた湾曲部１０Ｂと、湾曲部１０Ｂの先端に設けられた硬質の先端部１０Ｃとから構成される。
湾曲部１０Ｂは、アングルノブ１２の回動操作により湾曲自在に構成されている。この湾曲部１０Ｂは、内視鏡１が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部１０Ｃを所望の方向に向けることができる。
図６は、図５に示す内視鏡装置２４の内部構成を示す模式図である。図７は、図６に示した光源装置５が発生させる光のスペクトルの一例を示す図である。
光源装置５は、照明光として、通常光と特殊光とを切り替えて照射可能である。通常光は、白色光等の、医師等の人間による認識に適した発光スペクトルを有する光である。特殊光は、通常光とは発光スペクトルが異なる、ＩＥＥ（Ｉｍａｇｅ－Ｅｎｈａｎｃｅｄ Ｅｎｄｏｓｃｏｐｙ：画像強調観察）等のコンピュータによる解析に適した発光スペクトルを有する光である。
具体的には、光源装置５は、光源用プロセッサ１５１と、光源部１５２と、光路結合部１５４と、を備える。光源用プロセッサ１５１は、制御装置４のシステム制御部４４と接続されており、システム制御部４４からの指令に基づいて光源部１５２を制御する。
光源部１５２は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部１５２は、Ｖ－ＬＥＤ（Ｖｉｏｌｅｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１５２ａ、Ｂ－ＬＥＤ（Ｂｌｕｅ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１５２ｂ、Ｇ－ＬＥＤ（Ｇｒｅｅｎ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１５２ｃ、及びＲ－ＬＥＤ（Ｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１５２ｄの４色のＬＥＤを有する。
光源用プロセッサ１５１は、Ｖ－ＬＥＤ１５２ａ、Ｂ－ＬＥＤ１５２ｂ、Ｇ－ＬＥＤ１５２ｃ、及びＲ－ＬＥＤ１５２ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。図７に示すように、Ｖ－ＬＥＤ１５２ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ１５２ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ１５２ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ１５２ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
また、光源用プロセッサ１５１は、通常光の照射時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ１５２ａ～５２ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。
また、光源用プロセッサ１５１は、特殊光の照射時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ１５２ａ～５２ｄを制御する。
光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常光の照射時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。
光路結合部１５４は、Ｖ－ＬＥＤ１５２ａ、Ｂ－ＬＥＤ１５２ｂ、Ｇ－ＬＥＤ１５２ｃ、及びＲ－ＬＥＤ１５２ｄから出射される各光を結合し、結合した光を照明光として出射する。光源部１５２の光路結合部１５４から出射された照明光は、ユニバーサルコード１３に内蔵された後述のライトガイド１５３に入射し、挿入部１１０の先端部１０Ｃに設けられた照明用レンズ１５０を通って被写体に照射される。
内視鏡１の先端部１０Ｃには、対物レンズ１２１及びレンズ群１２２を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子１２３と、ＲＡＭ等のメモリ１２５と、通信インタフェース（Ｉ／Ｆ）１２６と、撮像駆動部１２７と、光源部１５２から出射された照明光を照明用レンズ１５０に導くためのライトガイド１５３と、が設けられている。撮像素子１２３は、本発明の撮像部を構成する。
ライトガイド１５３は、先端部１０Ｃからユニバーサルコード１３のコネクタ部１３Ａまで延びている。ユニバーサルコード１３のコネクタ部１３Ａが光源装置５に接続された状態で、光源装置５の光源部１５２から出射される照明光がライトガイド１５３に入射可能な状態となる。
撮像素子１２３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。本実施形態においては、撮像素子１２３は、ローリングシャッタを用いるＣＭＯＳである。
撮像素子１２３は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によりこの受光面に結像された光学像を各画素において電気信号（撮像信号）に変換する。そして、撮像素子１２３は、変換した撮像信号をアナログ信号から所定のビット数のデジタル信号に変換し、デジタル信号に変換した撮像信号をメモリ１２５に出力する。撮像素子１２３は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。
撮像素子１２３は、対物レンズ１２１の光軸Ａｘに対して受光面が垂直となる状態で先端部１０Ｃに配置されていてもよいし、対物レンズ１２１の光軸Ａｘに対して受光面が平行となる状態で先端部１０Ｃに配置されていてもよい。
内視鏡１に設けられる撮像光学系は、撮像素子１２３と対物レンズ１２１との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材（上記のレンズ群１２２を含む）と、対物レンズ１２１と、によって構成される。撮像光学系は、対物レンズ１２１のみで構成される場合もある。
メモリ１２５は、撮像素子１２３から出力されたデジタルの撮像信号を一時的に記録する。
通信Ｉ／Ｆ１２６は、制御装置４の通信インタフェース（Ｉ／Ｆ）４１と接続される。通信Ｉ／Ｆ１２６は、メモリ１２５に記録された撮像信号を、ユニバーサルコード１３内の信号線を通して制御装置４に伝送する。
撮像駆動部１２７は、通信Ｉ／Ｆ１２６を介して制御装置４のシステム制御部４４と接続されている。撮像駆動部１２７は、通信Ｉ／Ｆ１２６で受信されるシステム制御部４４からの指令に基づいて、撮像素子１２３及びメモリ１２５を駆動する。
制御装置４は、ユニバーサルコード１３によって内視鏡１の通信Ｉ／Ｆ１２６と接続される通信Ｉ／Ｆ４１と、信号処理部４２と、表示コントローラ４３と、システム制御部４４と、記録媒体４５と、を備える。
通信Ｉ／Ｆ４１は、内視鏡１の通信Ｉ／Ｆ１２６から伝送されてきた撮像信号を受信して信号処理部４２に伝達する。
信号処理部４２は、通信Ｉ／Ｆ４１から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理（デモザイク処理又はガンマ補正処理等の画像処理）して、認識処理等が可能な形式の撮像画像情報を生成する。信号処理部４２によって生成された撮像画像情報は、ハードディスク又はフラッシュメモリ等の記録媒体４５に記録される。
表示コントローラ４３は、信号処理部４２によって生成された撮像画像情報に基づく撮像画像を表示装置７に表示させる。信号処理部４２によって生成された撮像画像情報を構成する各画素データの座標は、表示装置７の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
システム制御部４４は、制御装置４の各部を制御すると共に、内視鏡１の撮像駆動部１２７と光源装置５の光源用プロセッサ１５１とに指令を送り、内視鏡装置２４の全体を統括制御する。例えば、システム制御部４４は、撮像駆動部１２７を介して撮像素子１２３の制御を行う。また、システム制御部４４は、光源用プロセッサ１５１を介して光源部１５２の制御を行う。
システム制御部４４や信号処理部４２は、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭと、ＲＯＭを含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス、又はＡＳＩＣ等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部４４や信号処理部４２は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
次に、内視鏡装置２４における照明光の発光スペクトルの切り替え方法と、内視鏡装置２４における照明光の発光スペクトルの切り替えに伴う、画像処理装置２３における第２静止画像の生成方法と、の具体例について説明する。
例えば、内視鏡装置２４は、内視鏡装置２４による連続した撮影中に、照明光の発光スペクトルを周期的に切り替える。一例としては、内視鏡装置２４は、９フレーム分の時間だけ照明光を白色光等の通常光とし、その直後の１フレーム分の時間だけ照明光を狭帯域光等の特殊光とする切り替えを、周期的に行う。ここでいうフレームとは、内視鏡装置２４による撮影フレームである。なお、各周期における通常光の時間と特殊光の時間との比率は１：９に限らず任意に設定することができる。
この場合、内視鏡装置２４による連続した撮影により得られる撮影画像データには、通常光での撮影により得られた撮影画像データ（通常光の撮影画像データ）と、特殊光での撮影により得られた撮影画像データ（特殊光の撮影画像データ）と、が含まれる。
内視鏡装置２４は、例えば、通常光の撮影画像データに基づく通常光の映像と、特殊光の撮影画像データに基づく特殊光の画像と、を表示装置７により表示する。又は、内視鏡装置２４は、特殊光の撮影画像データに基づく特殊光の画像については、表示装置７により表示せずに（すなわちバックグラウンドで）、解析等の処理対象としてもよい。
また、内視鏡装置２４は、連続した撮影により得られる撮影画像データのうち、通常光の撮影画像データと、特殊光の撮影画像データと、の少なくともいずれかを画像処理装置２３へ入力する。
画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、通常光の撮影画像データに基づいて特異所見の検出を行ってもよいし、特殊光の撮影画像データに基づいて特異所見の検出を行ってもよいし、両方の撮影画像データに基づいて特異所見の検出を行ってもよい。
また、画像処理装置２３は、例えば通常光の撮影画像データに基づいて特異所見を検出すると、その撮影画像データに基づく通常光の第２静止画像を生成する。又は、画像処理装置２３は、特殊光の撮影画像データに基づいて特異所見を検出すると、その撮影画像データに基づく特殊光の第２静止画像を生成する。
又は、画像処理装置２３は、特殊光の撮影画像データに基づいて特異所見を検出すると、その特殊光の撮影画像データに基づく特殊光の第２静止画像と、通常光の撮影画像データに基づく通常光の第２静止画像と、の両方を生成してもよい。この場合の通常光の撮影画像データは、例えば、内視鏡装置２４から画像処理装置２３へ入力された通常光の撮影画像データのうち、特異所見が検出された特殊光の撮影画像データの撮影時刻と最も近い撮影時刻を有する撮影画像データである。
内視鏡装置２４が照明光を通常光と特殊光とに交互に切り替える場合について説明したが、照明光の切り替えはこれに限らない。すなわち、内視鏡装置２４は、照明光を、発光スペクトルが異なる２つ以上の照明光に周期的に切り替えてもよい。例えば、内視鏡装置２４は、通常光と、第１の特殊光と、第１の特殊光と発光スペクトルが異なる第２の特殊光と、に周期的に切り替えてもよい。画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、任意の発光スペクトルの撮影画像データに基づいて特異所見を検出する。
図８は、第１静止画像及び第２静止画像の蓄積の一例を示す図である。図８において、横軸は時間を示している。
例えば医師は、内視鏡装置２４を用いた診断中に、内視鏡装置２４のディスプレイ（例えば図５の表示装置７）に表示されるライブ画像を見ながら、特異所見を見出した場合等の任意のタイミングで、内視鏡装置２４に対して静止画像の取得操作を行う。
これにより、内視鏡装置２４において第１静止画像が生成される。図８に示す例では、第１静止画像として手動取得画像５１，５２が生成されている。手動取得画像５１，５２は、それぞれ手動取得画像５１，５２が生成された時刻を示す時刻情報とともに、医用画像保管システム４０に蓄積される。
また、医師による診察と並行して、画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データに基づくＡＩによる解析で特異所見（例えば悪性腫瘍等の病変）を検出する。このＡＩによる解析は、例えば、医師等から見えない状態で（バックエンドで）行われるバックエンドＡＩ解析である。
例えば、画像処理装置２３は、内視鏡装置２４によって観察対象を撮像して得られた撮影画像データから、ＡＩにより粘膜情報の指標値を算出する。指標値は、例えば、画像信号に表される観察対象の血管、腺管、発赤、ひだ、粘液のうち少なくとも１つの状態を示す値である。そして、画像処理装置２３は、算出した指標値に基づいて、観察対象の粘膜情報（粘膜の状態）が悪性腫瘍等の病変に該当するか否かを判定することにより、悪性腫瘍等の病変（特異所見）を検出する。
画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、バックエンドＡＩ解析により特異所見を検出した時の撮影画像データに基づく第２静止画像を生成する。図８に示す例では、第２静止画像として自動取得画像５３～５７が生成されている。自動取得画像５３～５７は、それぞれ自動取得画像５３～５７が生成された時刻を示す時刻情報とともに、医用画像保管システム４０に蓄積される。
図９は、クライアントＰＣ２２の画像選択画面の一例を示す図である。内視鏡装置２４を用いた診断により第１静止画像及び第２静止画像を医用画像保管システム４０に蓄積した後に、基本画面の領域Ｃに含まれる“画面表示”ボタンＣ２が指示されると、図２に示した領域Ａ，Ｂに代えて、領域Ｄ～Ｆが表示される。
領域Ｆには、領域Ｄ，Ｅに対する各種の操作を行うためのボタン等の操作部が配置される。
領域Ｄ，Ｅには、対象の患者について生成された第１静止画像（手動取得画像）及び第２静止画像（自動取得画像）が生成される。クライアントＰＣ２２の制御部２２ｅは、これらの静止画像を医用画像保管システム４０から取得することによって表示する。
領域Ｄには、対象の患者について生成された第１静止画像が並べて表示される。図９に示す例では４枚の第１静止画像が領域Ｄに表示されている。なお、画面スクロール等により、より多くの第１静止画像が領域Ｄに表示可能であってもよい。
太枠Ｄ１は、領域Ｄに表示された第１静止画像のうち、選択中の第１静止画像を囲むように表示される。図９に示す例では左上の第１静止画像が選択されている。例えば、領域Ｆの操作部に対する操作により、領域Ｄに表示された第１静止画像のうち、選択中の第１静止画像が切り替わり、それに伴って太枠Ｄ１も移動する。
領域Ｅには、対象の患者について生成された第２静止画像のうち、領域Ｄにおいて選択中の第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する自動取得画像が、第３静止画像として並べて表示される。
具体的には、制御部２２ｅは、第２静止画像の中から、選択中の第１静止画像の時刻情報との差の大きさが閾値（一定値）以下の時刻情報を有する第２静止画像を抽出し、抽出した第２静止画像を第３静止画像として領域Ｅに並べて表示する。閾値は、例えば数秒から数十秒の範囲の値であるが、この範囲の値に限らない。図９に示す例では、５枚の第２静止画像が第３静止画像として領域Ｅに表示されている。
このように、制御部２２ｅは、第１静止画像と第３静止画像とを対応付けて表示部２２ｂに表示させる。第１静止画像と第３静止画像とを対応付けて表示させるとは、第１静止画像と第３静止画像とを対比可能に表示させることであり、例えば図９に示すように、第１静止画像と第３静止画像とを表示部２２ｂのそれぞれ異なる領域に同時に表示させることである。
レポート作成者は、領域Ｆの操作部に対する操作により、対応付けて表示された第１静止画像及び第３静止画像の中からキーイメージを選択することができる。キーイメージは、レポートに挿入される１つ以上の静止画像である。図９に示す例では、レポート作成者は、領域Ｄの左上の１枚の第１静止画像と、領域Ｅの５枚の第３静止画像と、の中からキーイメージを選択することができる。選択されたキーイメージは、第１静止画像及び第３静止画像の中からユーザによる選択操作がされた選択静止画像を構成し、内視鏡装置２４による検査のレポートへの挿入画像の候補画像となる。
これらの第１静止画像及び第３静止画像は、互いに撮影時刻が近い各静止画像である。これにより、レポート作成者は、手動で取得された第１静止画像か、又はその第１静止画像と同時期に自動で取得された第３静止画像のいずれかを、キーイメージとして選択することができる。このため、例えば、第１静止画像の品質が悪い（例えばブレが大きい）場合は、第３静止画像の中から品質のよい画像を選択して差し替えることができる。
また、レポート作成者が領域Ｆの操作部に対する操作により、領域Ｄの選択中の第１静止画像を右上の第１静止画像に切り替えると、制御部２２ｅは、第２静止画像の中から、右上の第１静止画像の時刻情報との差の大きさが閾値以下の時刻情報を有する第２静止画像を抽出し、抽出した第２静止画像を第３静止画像として領域Ｅに並べて表示する。この場合も同様に、レポート作成者は、対応付けて表示された第１静止画像及び第３静止画像の中からキーイメージを選択することができる。
レポート作成者は、領域Ｄの他の第１静止画像についても同様に、第１静止画像及び第３静止画像の中からキーイメージを選択する。なお、領域Ｆの操作部に対する操作により、領域Ｄの一部の第１静止画像の削除が可能であってもよい。
図１０は、クライアントＰＣ２２の見落とし懸念画像表示画面の一例を示す図である。図９に示した領域Ｆの操作部に対する操作により、制御部２２ｅは、領域Ｄ，Ｅに代えて領域Ｇを表示部２２ｂに表示させる。
領域Ｇには、第２静止画像の中から制御部２２ｅが抽出した第４静止画像が並べて表示される。第４静止画像は、第２静止画像のうち、領域Ｄのすべての第１静止画像の撮影時刻との間で上記の条件が不適合となる撮影時刻を有する第２静止画像である。
具体的には、制御部２２ｅは、領域Ｄ，Ｅに代えて領域Ｇを表示させる場合に、第２静止画像の中から、領域Ｄのすべての第１静止画像の時刻情報との差の大きさが閾値より大きい時刻情報を有する第２静止画像を抽出し、抽出した第２静止画像を第４静止画像として領域Ｇに並べて表示する。
すなわち、第４静止画像は、静止画像の取得操作が行われなかった時間帯にバックエンドＡＩ解析に基づく自動撮影により得られた第２静止画像である。したがって、第４静止画像には、内視鏡装置２４による診察時の見落としが懸念される画像が含まれる。
レポート作成者は、領域Ｆの操作部に対する操作により、領域Ｇに表示された第４静止画像の中からキーイメージを選択することができる。
これにより、内視鏡装置２４の操作者（例えば医師）が静止画像の取得操作を失念したり取得操作を失敗したりしても、自動で取得された第４静止画像の中からキーイメージを選択して補間することができる。また、内視鏡装置２４の操作者は、自身で見出した明確な病変部等のみに注力して、静止画像の取得操作を行うことが可能になる。
図１０に示した例では、抽出された第４静止画像のみを領域Ｇに表示する場合について説明したが、第４静止画像の表示方法はこれに限らない。例えば、制御部２２ｅは、複数の第４静止画像を、時刻情報とともに時系列順に並べて表示させてもよい。又は、制御部２２ｅは、第４静止画像を、図９に示した画面により選択済みのキーイメージとともに時系列順に表示させてもよい。これにより、レポート作成者は、見落としが懸念される第４静止画像が、内視鏡装置２４による診察時のいずれの段階におけるものかを容易に把握することができる。
図９，図１０に示した画面によるキーイメージの選択後、レポート作成者が、領域Ｃの “レポート”ボタンＣ１を指示すると、レポートの作成作業を行うためのレポート作成画面が表示部２２ｂに表示される。
そして、レポート作成画面においては、図９において説明した各操作によってキーイメージとして選択された各静止画像が、レポートに挿入する画像として選択可能になっている。これにより、レポート操作者は、第１静止画像（手動取得画像）及び第２静止画像（自動取得画像）の中から選択した適切なキーイメージを挿入したレポートを容易に作成することができる。
作成したレポートは、例えば内視鏡部門サーバ２１のデータベースＤＢに保存される。
図１１は、画像処理装置２３によるバックエンドＡＩ解析の一例を示す図である。図１１において、横軸は時間を示す。撮影画像データ群８０は、内視鏡装置２４から画像処理装置２３へ連続して入力される各撮影画像データである。
画像処理装置２３は、バックエンドＡＩ解析の一例として、撮影画像データ群８０に含まれる撮影画像データのそれぞれを対象として、対象の撮影画像データに基づく正診率を算出する。正診率は、撮影画像データに基づく静止画像により正しい診断が行われる確率である。撮影画像データに基づく正診率は、例えば、撮影画像データと正診率との組み合わせの多数のサンプルにより学習済みのＡＩモデルを用いて行うことができる。
そして、画像処理装置２３は、算出した正診率が閾値（一例としては９０％）以上である撮影画像データが一定数（一例としては６フレーム）連続した場合に、その連続した撮影画像データの少なくとも一部に基づいて第２静止画像を生成する。図１１に示す例では、画像処理装置２３は、撮影画像データ群８０における撮影画像データ８１に基づいて第２静止画像を生成している。そして、画像処理装置２３は、生成した第２静止画像を、内視鏡部門サーバ２１を介して医用画像保管システム４０に蓄積させる。
図１２は、特殊光観察時の自動取得に基づく通常光撮影の一例を示すシーケンス図である。まず、内視鏡装置２４が、光源部１５２による照明光を特殊光に設定する（ステップＳ１）。次に、内視鏡装置２４が、撮像素子１２３による連続撮影を開始し、連続撮影により得られる連続した撮影画像データの画像処理装置２３への入力を開始する（ステップＳ２）。この撮影画像データは、特殊光が照射された状態の撮影により得られた撮影画像データとなる。
また、画像処理装置２３が、内視鏡装置２４からの撮影画像データに基づく上記のバックエンドＡＩ解析を開始する（ステップＳ３）。
次に、画像処理装置２３が、内視鏡装置２４からの撮影画像データに基づいて特異所見を検出したとする（ステップＳ４）。この場合に、画像処理装置２３は、バックエンドＡＩ解析を停止し（ステップＳ５）、特異所見を検出した撮影画像データに基づく静止画像（特殊光）を生成する（ステップＳ６）。
次に、画像処理装置２３が、特異所見を検出したことを示す検出信号を内視鏡装置２４へ送信する（ステップＳ７）。これに応じて、内視鏡装置２４は、光源部１５２による照明光を通常光（例えば白色光）に設定する（ステップＳ８）。
次に、内視鏡装置２４が、撮像素子１２３による撮影により得られた撮影画像データを画像処理装置２３へ入力する（ステップＳ９）。この撮影画像データは、通常光が照射された状態の撮影により得られた撮影画像データとなる。
次に、画像処理装置２３が、内視鏡装置２４から入力された撮影画像データに基づく静止画像（通常光）を生成する（ステップＳ１０）。
次に、内視鏡装置２４は、光源部１５２による照明光を特殊光に設定する（ステップＳ１１）。次に、内視鏡装置２４が、撮像素子１２３による連続撮影を再度開始し、連続撮影により得られる連続した撮影画像データの画像処理装置２３への入力を開始する（ステップＳ１２）。この撮影画像データは、特殊光が照射された状態の撮影により得られた撮影画像データとなる。
また、画像処理装置２３が、内視鏡装置２４からの撮影画像データに基づく上記のバックエンドＡＩ解析を再度開始する（ステップＳ１３）。この後、画像処理装置２３において特異所見が再度検出されると、ステップＳ５～Ｓ１２が繰り返される。
図１２に示した処理において、画像処理装置２３は、ステップＳ１０により生成した通常光の静止画像を、上記の第２静止画像として医用画像保管システム４０に蓄積させる。
このように、特殊光観察時に、バックエンドＡＩ解析により静止画像が自動で取得されると、それと連動して、内視鏡装置２４の操作者による切替操作なしに、レポート向けの通常光の静止画像を同時に撮影・記録することができる。
これにより、内視鏡装置２４の操作者による照明光の切替操作を不要とし、操作負荷や操作の煩わしさを低減することができる。また、照明光の切替操作が介在しないため、特殊光の撮影時とほぼ同じタイミングの通常光の静止画像が得られるため、同じシーンについての特殊光の静止画像及び通常光の静止画像を得ることができる。また、内視鏡装置２４の操作者がレポートや静止画像の記録のことを考えずに、検査や診断に注力できる。
図１２に示した例では、ステップＳ８～Ｓ１０において、内視鏡装置２４が通常光の撮影画像データを画像処理装置２３へ送信し、その撮影画像データに基づいて画像処理装置２３が通常光の静止画像を生成する処理について説明したが、このような処理に限らない。例えば、内視鏡装置２４が、通常光の撮影画像データに基づいて通常光の静止画像を生成し、生成した通常光の静止画像を画像処理装置２３へ送信する処理としてもよい。
また、画像処理装置２３が撮影画像データに基づいて特異所見を検出した場合にバックエンドＡＩ解析を停止する処理について説明したが、画像処理装置２３は特異所見を検出した場合にバックエンドＡＩ解析を継続してもよい。
（変形例）
選択された静止画像の用途として、内視鏡による検査に関して作成されるレポートに挿入されるキーイメージについて説明したが、選択された静止画像の用途は、これに限らず各種の用途とすることができる。
選択された静止画像の用途として、内視鏡による検査に関して作成されるレポートに挿入されるキーイメージについて説明したが、選択された静止画像の用途は、これに限らず各種の用途とすることができる。
また、バックエンドＡＩ解析の例として正診率の算出について説明したが、バックエンドＡＩ解析はこれに限らず、特異所見を検出可能な各種の解析とすることができる。また、静止画像を自動で取得するための解析としてＡＩを用いた解析について説明したが、静止画像を自動で取得するための解析を、ＡＩを用いない特定のアルゴリズムに基づいて行うようにしてもよい。
また、第１静止画像及び第２静止画像を医用画像保管システム４０に蓄積する構成について説明したが、第１静止画像及び第２静止画像を、内視鏡部門サーバ２１、クライアントＰＣ２２、又は画像処理装置２３などに蓄積する構成としてもよい。
また、第１静止画像と第３静止画像とを対比可能に表示させることの例として、図９においては第１静止画像と第３静止画像とを表示部２２ｂのそれぞれ異なる領域に同時に表示させることについて説明したが、クライアントＰＣ２２の制御部２２ｅは、第１静止画像と第３静止画像とを時間的に切り替えながら表示部２２ｂに表示させることで、第１静止画像と第３静止画像とを対比可能に表示させてもよい。
以上説明したように、本明細書には次の事項が開示されている。
（１）
プロセッサとメモリとを有し、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援装置であって、
上記メモリには、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、が記録され、
上記プロセッサが、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
画像選択支援装置。
プロセッサとメモリとを有し、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援装置であって、
上記メモリには、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、が記録され、
上記プロセッサが、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
画像選択支援装置。
（２）
（１）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを対応付けてディスプレイに表示させる、
画像選択支援装置。
（１）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを対応付けてディスプレイに表示させる、
画像選択支援装置。
（３）
（２）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを対比可能に上記ディスプレイに表示させる、
画像選択支援装置。
（２）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを対比可能に上記ディスプレイに表示させる、
画像選択支援装置。
（４）
（２）又は（３）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを上記ディスプレイのそれぞれ異なる領域に同時に表示させる、
画像選択支援装置。
（２）又は（３）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを上記ディスプレイのそれぞれ異なる領域に同時に表示させる、
画像選択支援装置。
（５）
（２）又は（３）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを時間的に切り替えながら上記ディスプレイに表示させる、
画像選択支援装置。
（２）又は（３）記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像と上記第３静止画像とを時間的に切り替えながら上記ディスプレイに表示させる、
画像選択支援装置。
（６）
（２）から（５）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、対応付けて上記ディスプレイに表示させた上記第１静止画像及び上記第３静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。
（２）から（５）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、対応付けて上記ディスプレイに表示させた上記第１静止画像及び上記第３静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。
（７）
（２）から（６）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で上記条件が不適合となる撮影時刻を有する第４静止画像を抽出し、
上記第４静止画像を上記ディスプレイに表示させ、
上記第４静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。
（２）から（６）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で上記条件が不適合となる撮影時刻を有する第４静止画像を抽出し、
上記第４静止画像を上記ディスプレイに表示させ、
上記第４静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。
（８）
（６）又は（７）記載の画像選択支援装置であって、
上記選択静止画像は、上記内視鏡による検査のレポートへの挿入画像の候補画像である、
画像選択支援装置。
（６）又は（７）記載の画像選択支援装置であって、
上記選択静止画像は、上記内視鏡による検査のレポートへの挿入画像の候補画像である、
画像選択支援装置。
（９）
（１）から（８）のいずれか１つに記載の画像選択支援装置であって、
上記第２静止画像は、上記撮影画像データの解析に基づく特異所見の検出に応じて上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（１）から（８）のいずれか１つに記載の画像選択支援装置であって、
上記第２静止画像は、上記撮影画像データの解析に基づく特異所見の検出に応じて上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（１０）
（９）記載の画像選択支援装置であって、
上記解析は、上記撮影画像データに基づく、上記第２静止画像により正しい診断が行われる確率である正診率の算出を含み、
上記第２静止画像は、算出された上記正診率が一定値以上である上記撮影画像データが一定数以上連続して得られた時の上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（９）記載の画像選択支援装置であって、
上記解析は、上記撮影画像データに基づく、上記第２静止画像により正しい診断が行われる確率である正診率の算出を含み、
上記第２静止画像は、算出された上記正診率が一定値以上である上記撮影画像データが一定数以上連続して得られた時の上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（１１）
（９）又は（１０）記載の画像選択支援装置であって、
上記解析は、上記内視鏡から上記撮影画像データを受信する解析装置によって行われ、
上記第２静止画像は、上記解析装置によって上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（９）又は（１０）記載の画像選択支援装置であって、
上記解析は、上記内視鏡から上記撮影画像データを受信する解析装置によって行われ、
上記第２静止画像は、上記解析装置によって上記撮影画像データから取得された静止画像である、
画像選択支援装置。
（１２）
（９）から（１１）のいずれか１つに記載の画像選択支援装置であって、
上記第２静止画像は、上記撮影画像データの解析に基づく上記特異所見の検出に応じて上記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で上記内視鏡により得られた撮影画像データから取得された静止画像を含む、
画像選択支援装置。
（９）から（１１）のいずれか１つに記載の画像選択支援装置であって、
上記第２静止画像は、上記撮影画像データの解析に基づく上記特異所見の検出に応じて上記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で上記内視鏡により得られた撮影画像データから取得された静止画像を含む、
画像選択支援装置。
（１３）
（１２）記載の画像選択支援装置であって、
上記第２静止画像は、上記特異所見が検出された上記撮影画像データから取得された静止画像と、上記特異所見の検出に応じて上記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で上記内視鏡により得られた撮影画像データから取得された静止画像と、を含む、
画像選択支援装置。
（１２）記載の画像選択支援装置であって、
上記第２静止画像は、上記特異所見が検出された上記撮影画像データから取得された静止画像と、上記特異所見の検出に応じて上記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で上記内視鏡により得られた撮影画像データから取得された静止画像と、を含む、
画像選択支援装置。
（１４）
（１）から（１３）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との差が一定値以下である撮影時刻を有する上記第３静止画像を抽出する、
画像選択支援装置。
（１）から（１３）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との差が一定値以下である撮影時刻を有する上記第３静止画像を抽出する、
画像選択支援装置。
（１５）
（１）から（１４）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像が複数取得された場合に、取得された上記第１静止画像の中からユーザによる選択操作がされた第１静止画像について上記第３静止画像を抽出する、
画像選択支援装置。
（１）から（１４）のいずれか１つに記載の画像選択支援装置であって、
上記プロセッサは、上記第１静止画像が複数取得された場合に、取得された上記第１静止画像の中からユーザによる選択操作がされた第１静止画像について上記第３静止画像を抽出する、
画像選択支援装置。
（１６）
内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援方法であって、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
画像選択支援方法。
内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援方法であって、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
画像選択支援方法。
（１６）
内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援プログラムであって、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
処理をコンピュータに実行させるための画像選択支援プログラム。
内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援プログラムであって、
上記内視鏡の操作者による静止画像の取得操作があった時の上記撮影画像データに基づいて取得された第１静止画像と、上記取得操作があった時と異なる時の上記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
上記１つ以上の第２静止画像の中から、上記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
上記第１静止画像と上記第３静止画像とを対応付ける、
処理をコンピュータに実行させるための画像選択支援プログラム。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、２０２０年３月３日出願の日本特許出願（特願２０２０－０３６２７０）に基づくものであり、その内容は本出願の中に参照として援用される。
１ 内視鏡
４ 制御装置
５ 光源装置
６，２２ａ 入力部
７ 表示装置
１０ ＨＩＳ
１０Ａ 軟性部
１０Ｂ 湾曲部
１０Ｃ 先端部
１１ 操作部
１２ アングルノブ
１３ ユニバーサルコード
１３Ａ コネクタ部
１３Ｂ コネクタ部
２０ 内視鏡部門システム
２０Ａ 受付
２０Ｂ 前処置室
２０Ｃ 検査室
２０Ｄ 洗浄室
２０Ｅ カンファレンス室
２１ 内視鏡部門サーバ
２２ クライアントＰＣ
２２ｂ 表示部
２２ｃ 記録部
２２ｄ 送受信部
２２ｅ 制御部
２３ 画像処理装置
２４ 内視鏡装置
２５ 洗浄管理装置
２６ 洗浄機
２７ 部門内ＬＡＮ
３０ 病理部門システム
４０ 医用画像保管システム
４１，１２６ 通信Ｉ／Ｆ
４２ 信号処理部
４３ 表示コントローラ
４４ システム制御部
４５ 記録媒体
５０ 他部門システム
５１，５２ 手動取得画像
５３～５７ 自動取得画像
６０ 院内ＬＡＮ
８０ 撮影画像データ群
８１ 撮影画像データ
１１０ 挿入部
１２１ 対物レンズ
１２２ レンズ群
１２３ 撮像素子
１２５ メモリ
１２７ 撮像駆動部
１５０ 照明用レンズ
１５１ 光源用プロセッサ
１５２ 光源部
１５２ａ Ｖ－ＬＥＤ
１５２ｂ Ｂ－ＬＥＤ
１５２ｃ Ｇ－ＬＥＤ
１５２ｄ Ｒ－ＬＥＤ
１５３ ライトガイド
１５４ 光路結合部
Ｄ１ 太枠
４ 制御装置
５ 光源装置
６，２２ａ 入力部
７ 表示装置
１０ ＨＩＳ
１０Ａ 軟性部
１０Ｂ 湾曲部
１０Ｃ 先端部
１１ 操作部
１２ アングルノブ
１３ ユニバーサルコード
１３Ａ コネクタ部
１３Ｂ コネクタ部
２０ 内視鏡部門システム
２０Ａ 受付
２０Ｂ 前処置室
２０Ｃ 検査室
２０Ｄ 洗浄室
２０Ｅ カンファレンス室
２１ 内視鏡部門サーバ
２２ クライアントＰＣ
２２ｂ 表示部
２２ｃ 記録部
２２ｄ 送受信部
２２ｅ 制御部
２３ 画像処理装置
２４ 内視鏡装置
２５ 洗浄管理装置
２６ 洗浄機
２７ 部門内ＬＡＮ
３０ 病理部門システム
４０ 医用画像保管システム
４１，１２６ 通信Ｉ／Ｆ
４２ 信号処理部
４３ 表示コントローラ
４４ システム制御部
４５ 記録媒体
５０ 他部門システム
５１，５２ 手動取得画像
５３～５７ 自動取得画像
６０ 院内ＬＡＮ
８０ 撮影画像データ群
８１ 撮影画像データ
１１０ 挿入部
１２１ 対物レンズ
１２２ レンズ群
１２３ 撮像素子
１２５ メモリ
１２７ 撮像駆動部
１５０ 照明用レンズ
１５１ 光源用プロセッサ
１５２ 光源部
１５２ａ Ｖ－ＬＥＤ
１５２ｂ Ｂ－ＬＥＤ
１５２ｃ Ｇ－ＬＥＤ
１５２ｄ Ｒ－ＬＥＤ
１５３ ライトガイド
１５４ 光路結合部
Ｄ１ 太枠
Claims (14)
- プロセッサとメモリとを有し、内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援装置であって、
前記メモリには、
前記内視鏡の操作者による静止画像の取得操作があった時の前記撮影画像データに基づいて取得された第１静止画像と、前記取得操作があった時と異なる時の前記撮影画像データから取得された１つ以上の第２静止画像であって、前記撮影画像データの解析に基づく特異所見の検出に応じて前記撮影画像データから取得された１つ以上の第２静止画像と、が記録され、
前記プロセッサが、
前記１つ以上の第２静止画像の中から、前記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
前記第１静止画像と前記第３静止画像とを対応付けてディスプレイに表示させ、
対応付けて前記ディスプレイに表示させた前記第１静止画像及び前記第３静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。 - 請求項１記載の画像選択支援装置であって、
前記プロセッサは、前記第１静止画像と前記第３静止画像とを対比可能に前記ディスプレイに表示させる、
画像選択支援装置。 - 請求項１又は２記載の画像選択支援装置であって、
前記プロセッサは、前記第１静止画像と前記第３静止画像とを前記ディスプレイのそれぞれ異なる領域に同時に表示させる、
画像選択支援装置。 - 請求項１又は２記載の画像選択支援装置であって、
前記プロセッサは、前記第１静止画像と前記第３静止画像とを時間的に切り替えながら前記ディスプレイに表示させる、
画像選択支援装置。 - 請求項１から４のいずれか１項記載の画像選択支援装置であって、
前記プロセッサは、
前記１つ以上の第２静止画像の中から、前記第１静止画像の撮影時刻との間で前記条件が不適合となる撮影時刻を有する第４静止画像を抽出し、
前記第４静止画像を前記ディスプレイに表示させ、
前記第４静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援装置。 - 請求項１から５のいずれか１項記載の画像選択支援装置であって、
前記選択静止画像は、前記内視鏡による検査のレポートへの挿入画像の候補画像である、
画像選択支援装置。 - 請求項１から６のいずれか１項記載の画像選択支援装置であって、
前記解析は、前記撮影画像データに基づく、前記第２静止画像により正しい診断が行われる確率である正診率の算出を含み、
前記第２静止画像は、算出された前記正診率が一定値以上である前記撮影画像データが一定数以上連続して得られた時の前記撮影画像データから取得された静止画像である、
画像選択支援装置。 - 請求項１から６のいずれか１項記載の画像選択支援装置であって、
前記解析は、前記内視鏡から前記撮影画像データを受信する解析装置によって行われ、
前記第２静止画像は、前記解析装置によって前記撮影画像データから取得された静止画像である、
画像選択支援装置。 - 請求項１から６のいずれか１項記載の画像選択支援装置であって、
前記第２静止画像は、前記撮影画像データの解析に基づく前記特異所見の検出に応じて前記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で前記内視鏡により得られた撮影画像データから取得された静止画像を含む、
画像選択支援装置。 - 請求項９記載の画像選択支援装置であって、
前記第２静止画像は、前記特異所見が検出された前記撮影画像データから取得された静止画像と、前記特異所見の検出に応じて前記内視鏡の撮影の照明光の発光スペクトルが切り替わった状態で前記内視鏡により得られた撮影画像データから取得された静止画像と、を含む、
画像選択支援装置。 - 請求項１から１０のいずれか１項記載の画像選択支援装置であって、
前記プロセッサは、前記１つ以上の第２静止画像の中から、前記第１静止画像の撮影時刻との差が一定値以下である撮影時刻を有する前記第３静止画像を抽出する、
画像選択支援装置。 - 請求項１から１１のいずれか１項記載の画像選択支援装置であって、
前記プロセッサは、前記第１静止画像が複数取得された場合に、取得された前記第１静止画像の中からユーザによる選択操作がされた第１静止画像について前記第３静止画像を抽出する、
画像選択支援装置。 - 内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援方法であって、
前記内視鏡の操作者による静止画像の取得操作があった時の前記撮影画像データに基づいて取得された第１静止画像と、前記取得操作があった時と異なる時の前記撮影画像データから取得された１つ以上の第２静止画像であって、前記撮影画像データの解析に基づく特異所見の検出に応じて前記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
前記１つ以上の第２静止画像の中から、前記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
前記第１静止画像と前記第３静止画像とを対応付けてディスプレイに表示させ、
対応付けて前記ディスプレイに表示させた前記第１静止画像及び前記第３静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
画像選択支援方法。 - 内視鏡により得られる撮影画像データに基づく静止画像の選択を支援する画像選択支援プログラムであって、
前記内視鏡の操作者による静止画像の取得操作があった時の前記撮影画像データに基づいて取得された第１静止画像と、前記取得操作があった時と異なる時の前記撮影画像データから取得された１つ以上の第２静止画像であって、前記撮影画像データの解析に基づく特異所見の検出に応じて前記撮影画像データから取得された１つ以上の第２静止画像と、を用いて、
前記１つ以上の第２静止画像の中から、前記第１静止画像の撮影時刻との間で予め定められた条件を満たす撮影時刻を有する第３静止画像を抽出し、
前記第１静止画像と前記第３静止画像とを対応付けてディスプレイに表示させ、
対応付けて前記ディスプレイに表示させた前記第１静止画像及び前記第３静止画像の中からユーザによる選択操作がされた静止画像を選択静止画像として選択する、
処理をコンピュータに実行させるための画像選択支援プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020036270 | 2020-03-03 | ||
| JP2020036270 | 2020-03-03 | ||
| PCT/JP2021/000926 WO2021176852A1 (ja) | 2020-03-03 | 2021-01-13 | 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021176852A1 JPWO2021176852A1 (ja) | 2021-09-10 |
| JPWO2021176852A5 JPWO2021176852A5 (ja) | 2022-10-06 |
| JP7427766B2 true JP7427766B2 (ja) | 2024-02-05 |
Family
ID=77613670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022505008A Active JP7427766B2 (ja) | 2020-03-03 | 2021-01-13 | 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220414873A1 (ja) |
| JP (1) | JP7427766B2 (ja) |
| CN (1) | CN115279249A (ja) |
| WO (1) | WO2021176852A1 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018216618A1 (ja) | 2017-05-25 | 2018-11-29 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3887453B2 (ja) * | 1997-05-23 | 2007-02-28 | オリンパス株式会社 | 内視鏡装置 |
| JP4663698B2 (ja) * | 2007-09-13 | 2011-04-06 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
| JP6013020B2 (ja) * | 2012-05-02 | 2016-10-25 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| JP2014018471A (ja) * | 2012-07-19 | 2014-02-03 | Hoya Corp | 内視鏡の画像処理装置 |
| WO2016084779A1 (ja) * | 2014-11-27 | 2016-06-02 | オリンパス株式会社 | 画像再生装置および画像再生プログラム |
| WO2019039259A1 (ja) * | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 |
| WO2019130964A1 (ja) * | 2017-12-28 | 2019-07-04 | 富士フイルム株式会社 | 内視鏡画像取得システム及び方法 |
-
2021
- 2021-01-13 CN CN202180018819.9A patent/CN115279249A/zh active Pending
- 2021-01-13 WO PCT/JP2021/000926 patent/WO2021176852A1/ja active Application Filing
- 2021-01-13 JP JP2022505008A patent/JP7427766B2/ja active Active
-
2022
- 2022-08-31 US US17/823,852 patent/US20220414873A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018216618A1 (ja) | 2017-05-25 | 2018-11-29 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021176852A1 (ja) | 2021-09-10 |
| WO2021176852A1 (ja) | 2021-09-10 |
| CN115279249A (zh) | 2022-11-01 |
| US20220414873A1 (en) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5459423B2 (ja) | 診断システム | |
| JP4971615B2 (ja) | 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 | |
| JP6889282B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| US20130229503A1 (en) | Image management apparatus, image management method and computer-readable recording medium | |
| JP2017108792A (ja) | 内視鏡業務支援システム | |
| US20090023993A1 (en) | System and method for combined display of medical devices | |
| US11423318B2 (en) | System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms | |
| JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
| JP2008259661A (ja) | 検査情報処理システム及び検査情報処理装置 | |
| US20200082849A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP2017099509A (ja) | 内視鏡業務支援システム | |
| JPWO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
| US20230281968A1 (en) | Recording Medium, Method for Generating Learning Model, Surgical Support Device and Information Processing Method | |
| WO2014061554A1 (ja) | 画像処理装置及び画像処理方法 | |
| US20220338717A1 (en) | Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program | |
| JP7427766B2 (ja) | 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム | |
| WO2012001560A2 (en) | Colposcopy network system and method for evaluation of image quality | |
| JP2008188096A (ja) | 医用画像管理システム、データ管理方法 | |
| JP2017086685A (ja) | 内視鏡業務支援システム | |
| WO2019039252A1 (ja) | 医療画像処理装置及び医療画像処理方法 | |
| CN116134363A (zh) | 内窥镜系统及其工作方法 | |
| US20230222666A1 (en) | Medical image processing apparatus, method for operating medical image processing apparatus, and non-transitory computer readable medium | |
| WO2023166647A1 (ja) | 医療支援システムおよび画像表示方法 | |
| WO2022264688A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7427766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |