WO2021171444A1

WO2021171444A1 - 教師データ生成装置、教師データ生成方法、記録装置及び記録方法

Info

Publication number: WO2021171444A1
Application number: PCT/JP2020/007868
Authority: WO
Inventors: 野中　修; 藤井　俊行
Original assignee: オリンパス株式会社
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2021-09-02
Also published as: US20220405622A1

Abstract

教師データ生成装置は、観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けるアノテーション入力部と、前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映する反映部と、前記第１の画像データと該第１の画像データに反映された前記アノテーション結果とを用いて推論モデルを作成するための教師データを生成する教師データ生成部と、を備える。これにより、人間が見て判断した画像をもとに、ＡＩによる高精度の画像判定を可能とする教師データを生成する教師データ生成装置を提供する。

Description

教師データ生成装置、教師データ生成方法、記録装置及び記録方法

　本発明は、画像データをもとにＡＩ（人工知能）を活用して支援する技術のための教師データ生成装置、教師データ生成方法、記録装置及び記録方法に関する。

　近年、人間が目視で行っていた判定を、画像データをもとにＡＩ（人工知能）を活用して判定支援する技術が各分野で発達している。

　上記ＡＩを実現するために、あらかじめ答えとなる入出力データセットである教師データを大量に用意し、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇと呼ばれる技術を組み合わせる場合が多い。Ｄｅｅｐ　Ｌｅａｒｎｉｎｇでは、まず、教師データを用い、未知の入力に対する解を適切に導くための重みを計算するための「学習」を行い、学習により計算された重みを用い、入力に対する解を導く「推論」を行う。

　また、特許文献１には、入力した画像を自動的に判定して分類する技術が提案されている。

　具体的には、画像を複数の領域に分割し、それぞれの領域内の対象物をヒストグラムや特徴量を駆使して分類することによって画像にラベリングする技術が提案されている。

特開２０１３－１１７８６０号公報

　上述した画像の自動分類の技術では、人間には簡単に判定できる画像も、機械にとっては簡単には分類できない事が記載されている。

　このように、機械にとって分類しやすい手法が、必ずしも人間にとって分類しやすいものではないことが分かる。

　本発明は、上記に鑑みてなされたものであって、人間が見て判断した画像をもとに、ＡＩにより高精度の画像判定を可能とする推論モデルを生成することができる教師データを生成する教師データ生成装置、教師データ生成方法、記録装置及び記録方法を提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明の一態様に係る教師データ生成装置は、観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けるアノテーション入力部と、前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映する反映部と、前記第１の画像データと該第１の画像データに反映された前記アノテーション結果とを用いて推論モデルを作成するための教師データを生成する教師データ生成部と、を備える。

　また、本発明の一態様に係る教師データ生成装置は、前記第２の画像データは、前記アノテーションを行う際に表示部に表示するための画像データである。

　また、本発明の一態様に係る教師データ生成装置は、前記異なる撮像態様は、前記表示部に表示する際に視認性を改善した処理である。

　また、本発明の一態様に係る教師データ生成装置は、前記第１の画像データは、ＲＡＷ画像の画像データであり、前記第２の画像データは、前記ＲＡＷ画像に画像処理を施した画像の画像データである。

　また、本発明の一態様に係る教師データ生成装置は、前記画像処理は、ガンマ補正、ホワイトバランスの調整、色補正、ノイズリダクション、又は画像強調処理の少なくとも１つを含む。

　また、本発明の一態様に係る教師データ生成装置は、前記第１の画像データは、前記観察対象に特殊観察光を照射した状態で撮像した画像の画像データであり、前記第２の画像データは、前記観察対象に照明光を照射した状態で撮像した画像の画像データである。

　また、本発明の一態様に係る教師データ生成装置は、前記第１の画像データは、複数の画像の画像データを含み、前記第２の画像データは、前記第１の画像データに含まれる前記複数の画像を合成した画像の画像データである。

　また、本発明の一態様に係る教師データ生成装置は、前記第１の画像データ又は前記第２の画像データに含まれる画像の座標を算出する座標算出部を備える。

　また、本発明の一態様に係る教師データ生成方法は、観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けて、前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、前記第１の画像データと該第１の画像データに反映された前記アノテーション結果とを用いて推論モデルを作成するための教師データを生成する。

　また、本発明の一態様に係る記録装置は、観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けるアノテーション入力部と、前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、前記第１の画像データと前記第２の画像データとを関連づけて記録する記録制御部と、を備える。

　また、本発明の一態様に係る記録方法は、観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けて、前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、前記第１の画像データと前記第２の画像データとを関連づけて記録する。

　また、本発明の一態様に係る記録装置は、観察対象を撮像した結果の画像データを表示部に表示させるために画像処理を行う画像処理部と、前記表示部に表示された画像データの表示画像上において行ったアノテーション情報を取得し、前記表示部に表示されている態様とは異なる態様における画像データに対し、前記アノテーション情報を付与する付与部と、前記異なる態様の画像データに対する前記アノテーション情報をメタデータとして有する、前記異なる態様の画像データの画像ファイルを作成して記録する記録制御部と、を備える。

　また、本発明の一態様に係る記録方法は、観察対象を撮像した結果の画像データを表示部に表示させるために画像処理を行い、前記表示部に表示された画像データの表示画像上において行ったアノテーション情報を取得し、前記表示部に表示されている態様とは異なる態様における画像データに対し、前記アノテーション情報を付与し、前記異なる態様の画像データに対する前記アノテーション情報をメタデータとして有する、前記異なる態様の画像データの画像ファイルを作成して記録する。

　また、本発明の一態様に係る記録方法は、観察対象を撮像した結果の複数の画像データを表示部に表示させるために合成画像処理を行い、前記表示部に表示された合成画像データの表示画像上において行ったアノテーション座標情報を取得し、前記表示部に表示されている合成画像データを構成する個々の画像データに対し、前記アノテーション座標情報を付与し、前記個々の画像データに対する前記アノテーション座標情報をメタデータとして有する画像ファイルを作成して記録する。

　また、本発明の一態様に係る記録方法は、前記画像ファイルを作成して記録する記録方法は、前記個々の画像データに対する前記アノテーション座標情報として画面外座標情報をメタデータとして有する。

　本発明によれば、人間が見て判断した画像をもとに、ＡＩによる高精度の画像判定を可能とする教師データを生成する教師データ生成装置、教師データ生成方法、記録装置及び記録方法を提供することができる。

図１は、実施の形態１に係る観察システムの構成を示す模式図である。図２は、実施の形態１に係る観察システムの構成を示すブロック図である。図３Ａは、教師データとなる画像ファイルを構成するデータを示す図である。図３Ｂは、教師データとなる画像ファイルを構成するデータを示す図である。図３Ｃは、教師データとなる画像ファイルを構成するデータを示す図である。図４は、画像処理装置が教師データ生成時に実行する処理の概要を示すフローチャートである。図５は、実施の形態２に係る観察システムの構成を示す模式図である。図６は、実施の形態２に係る観察システムの構成を示すブロック図である。図７は、画像処理装置が教師データ生成時に実行する処理の概要を示すフローチャートである。図８は、実施の形態３に係る観察システムの構成を示す模式図である。図９は、実施の形態３に係る観察システムの構成を示すブロック図である。図１０は、第１撮像部が撮像した画像の一例である。図１１は、第２撮像部が撮像した画像の一例である。図１２は、合成画像の一例である。図１３は、画像処理装置が教師データ生成時に実行する処理の概要を示すフローチャートである。図１４は、変形例１に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１５Ａは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１５Ｂは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１６は、変形例２に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１７は、変形例３に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１８Ａは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１８Ｂは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１８Ｃは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１９は、教師データとなる画像ファイルの一例を示す図である。図２０は、変形例４に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。

　以下に、図面を参照して本発明に係る教師データを生成する教師データ生成装置、教師データ生成方法、記録装置及び記録方法の実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、内視鏡が撮像した画像を用いる例を説明するが、本発明は、教師データ生成装置、教師データ生成方法、記録装置及び記録方法一般に適用することができる。

　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（実施の形態１）
〔観察システムの構成〕
　まず、医療分野を想定し、内視鏡（硬性鏡など）を利用した体内（腹腔内）を観察するシステムの構成を説明する。図１は、実施の形態１に係る観察システムの構成を示す模式図である。図１に示すように、本実施の形態１に係る観察システム１は、被検体Ｈ内の腫瘍等の観察対象Ｏを観察する。この観察システム１により被検体Ｈ内の観察対象Ｏを観察し、処置具Ｔにより被検体Ｈに対する処置を行うことにより内視鏡手術を行うことができる。

　図２は、実施の形態１に係る観察システムの構成を示すブロック図である。図２に示すように、観察システム１は、内視鏡（光学系及び撮像部を含む）２と、画像処理装置３と、学習装置４と、表示装置（表示部）５と、を備える。これらは一部が、クラウドコンピューティングにより構成されていてもよく、各装置がインターネット等のネットワークでつながっていればよい。すなわち、全ての構成が一つの筐体に収まっている必要はない。

　観察システム１では、内視鏡２により撮像した画像を用いて教師データ生成装置及び記録装置としての画像処理装置３が教師データを生成し、この教師データを用いて学習装置４がＤｅｅｐ　Ｌｅａｒｎｉｎｇ等の機械学習を行う。学習装置４は、機械学習により、例えば内視鏡２が撮像した画像から腫瘍等の観察対象Ｏを検出する推論モデルを生成する。そして、画像処理装置３は、学習装置４が生成した推論モデルを用いて、内視鏡２が撮像した画像から自動的に腫瘍を検出し、この画像に腫瘍を表すマーク等を重畳して表示装置５に表示する。その結果、医師等の術者は、腫瘍を容易に見つけることができる。なお、学習装置４は、インターネット等の回線を経由して接続されているサーバであってもよい。

　内視鏡２は、硬質な挿入部の先端に照明部２１及び撮像部２２が配置されている硬性鏡である。ただし、内視鏡２は、可撓性を有する挿入部の先端に照明部及び撮像部が配置されている内視鏡であってもよい。

　照明部２１は、光源装置が照射した照明光を観察対象Ｏに照射する。

　撮像部２２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のイメージセンサやＡ／Ｄ変換回路等を用いて構成された撮像素子を有し、観察対象Ｏを撮像する。撮像部２２が撮像した画像の画像データは、画像処理装置３に送信される。

　画像処理装置３は、送受信部３１と、画像処理部３２と、アノテーション入力部３３と、付与部３４と、反映部３５と、教師データ生成部３６と、表示制御部３７と、記録部３８と、推定部３９と、記録制御部４０と、制御部４１と、を備える。

　送受信部３１は、内視鏡２、学習装置４等の外部機器と、無線又は有線の通信を行い、各種信号を送受信する。

　画像処理部３２は、内視鏡２が撮像した画像にガンマ補正、ホワイトバランスの調整、色補正、ノイズリダクション、又は画像強調処理等の画像処理を施す。画像処理部３２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。

　なお、ガンマ補正は、人の目に合わせて輝度を補正するため、人間は観察しやすくなるが元の画像の情報が損なわれる場合がある。そのため、人間が感覚的に判別できない情報まで見つけ出して推論を行うＡＩでは、ガンマ補正していない画像を用いることが好ましい可能性がある。このような点からも、人と機械とでは、必ずしも好ましいデータが一致しない。したがって、機械学習などに使われる教師データも、人が選んだものが、そのまま最適であるとは限らない。

　以下において同様に、教師データも、人が選んだものが、そのまま最適であるとは限らない例を示す。たとえば、ホワイトバランスの調整は、人の目に遭わせて白色を調整するため、人間は観察しやすくなるがＲＧＢ各色のバランス情報など元の画像の情報が損なわれる可能性もある。そのため、機械学習に用いる教師データにはホワイトバランスの調整をしていない画像を用いることが好ましいケースもある。そして、ホワイトバランスの情報に代えて、照明部２１の光源や撮像部２２の撮像素子の光学特性を学習装置４に入力する方がマルチモーダル学習を行うようなＡＩ技術においては推論モデルを高精度化できる可能性がある。なお、マルチモーダル学習とは、複数の種類のデータを使ってＡＩが機械学習することであり、推論時にも同様に複数の種類のデータを用いることにより、推論モデルを高精度化することが可能となる。

　色やコントラストの補正は、人の目に合うように色やコントラストを補正するため、人間は観察しやすくなるが元の画像の情報が損なわれている可能性もある。そのため、機械学習には色やコントラストを補正していない画像を用いることが好ましいケースがある。そして、色やコントラストの補正の情報に代えて、撮像部２２の撮像素子の分光特性を学習装置４に入力する方がマルチモーダル（複数種類のデータから学習して、統合的に処理する手法）のようなＡＩ技術においては推論モデルを高精度化できる可能性がある。

　ノイズリダクションは、観察に有用ではないノイズを除去するため、人間は観察しやすくなるが、ノイズ以外の情報に影響を与え、元の画像の情報が損なわれる可能性がある。そのため、機械学習にはノイズリダクションをしていない、又はノイズリダクションを弱めに施した画像を用いることが好ましい場合もある。また、学習装置４は、機械学習により、ノイズを自動的に排除して検出することが可能である。

　画像強調処理は、観察に有用な情報を強調するため、人間は観察しやすくなるが人間が気に留めなかった要素、成分については、元の画像の情報が損なわれる場合もある。そのため、機械学習には画像強調処理をしていない画像を用いることが好ましいとも言われる。その他、撮像素子の画素感度の補正や、撮影レンズの歪補正なども人が見る上では重要だが、ＡＩ利用時には、人が気にしない情報に人為的な操作がなされていて、不適当という場合もある。

　アノテーション入力部３３は、観察対象Ｏを撮像して得た第２の画像データに対するアノテーションの入力を受け付ける。具体的には、アノテーション入力部３３は、マウスやキーボード、タッチパネル、音声認識装置を含み、マウス操作やキーボードからの入力、タッチ操作、音声入力等によりアノテーションの入力を受け付ける。第２の画像データは、アノテーションを行う際に表示部（表示装置５）に表示するための画像データである。アノテーション入力部３３は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　付与部３４は、画像データに専門家などの人間が画像を確認して注釈した各種のアノテーション結果を付与する。付与部３４は、第２の画像データにアノテーション入力部３３が受け付けたアノテーション結果を付与する。具体的には、専門家などが、表示装置５に表示された画像を目視により確認しながら、マウスやキーボード、タッチ操作、音声入力等により入力した対象物の情報や、対象物が表示された画面内、もしくは対象物が写っている画面内の位置の情報などを注釈した結果を、画像データに関連付けて記録する事を付与と表現した。これらのアノテーション結果（アノテーション情報）を付与された画像データは、記録部３８に記録される。この付与の仕方はいろいろな方法が考えられ、対応するデータ群を別のフォルダに用意して、データ名やファイル名で関連付ける方法や、画像ファイル内にメタデータとして書き込む方法などがある。このように、本願は、教師データを作成して記録する際にも特徴を有し、記録する教師データを生成する教師データ生成装置、教師データ生成方法という側面のみならず、記録装置、記録方法を含む。なお、第１の画像データは、ＡＩが機械学習に用いるための画像データである。また、撮像態様とは、撮像を行う際に観察対象Ｏに照射する光の強度や波長、撮像素子の露光時間、ゲイン等の設定、撮像した画像に対する画像処理の内容等を含む撮像の内容を表し、例えば、表示部（表示装置５）に表示する際に視認性を改善した処理である。また、表示態様とは、撮像した画像を表示装置５に表示する際に画像の合成を行うこと等を含む表示の内容を表す。付与部３４は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の上述したような特定の関連付け機能を実行する各種演算回路等の専用プロセッサによって実現される。

　反映部３５は、第２の画像データと同様の観察対象Ｏに関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、アノテーション結果を反映する。具体的には、反映部３５は、第２の画像データに対して人間が行った作業の結果の情報を、第１のデータに反映させて、対応したアノテーション結果を付与する。反映部３５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の関連付け機能を実行する各種演算回路等の専用プロセッサによって実現される。

　教師データ生成部３６は、第１の画像データと第１の画像データに反映されたアノテーション結果とを用いて推論モデルを作成するための教師データを生成する。教師データ生成部３６は、付与部３４においてアノテーション情報を画像データに関連付けられるように、学習装置４に送信する学習用の教師データを生成する。教師データは、学習装置４が機械学習する際に用いる教師画像群である。具体的には、学習装置４が腫瘍を検出する推論モデルを生成する場合には、教師データは、腫瘍が含まれているか否かを上記、専門家などの人間が判定した画像群である。上述したように、各種の画像処理を施した画像は、その処理の多くが人間にとっての視認性の改善を目的としたものであるので、視認性以外の部分でその影響が生じうる。ここでは、画像処理前の撮像素子からの出力データが、最も、この画像処理の影響を受けていないものと考えて、説明を行う。このいわば生のデータは、「生」を「ＲＡＷ」と英語に翻訳してＲＡＷデータと呼ばれることがある。これは、多くのカメラで「ＲＡＷデータ記録」といった形でカタログ記載されているものであっても良いが、実際は、カメラのカタログにある「ＲＡＷデータ」は、最低限の画像処理が施されている場合が多い。また、以下、「ＲＡＷ画像データ（又は単にＲＡＷデータ、ＲＡＷ画像ともいう）」として記載する部分も、必ずしも、撮像素子の出力そのままである必要はなく、カメラのカタログにある「ＲＡＷデータ記録」でも良いが、視認性を高める何らかの画像処理を省いた「加工前データ」を想定している。ただし、簡単に表せる単語がないので、「ＲＡＷ画像データ」という言葉で説明を行う。教師データ生成部３６は、アノテーションにより画像処理を施した画像の画像データ（第２の画像データ）に関連づけられたＲＡＷ画像の画像データ（第１の画像データ）を特定し、特定したＲＡＷ画像を用いて教師データを生成する。具体的には、記録部３８に記録されている画像処理を施した画像を人間が観察して腫瘍が含まれている画像を抽出すると、教師データ生成部３６は、関連付けられた（アノテーションした画像に対応する）ＲＡＷ画像データを検索し、ここにも同様のアノテーション結果を採用することによってＲＡＷ画像群が教師画像群となる教師データを生成する。例えば、画像に撮影光学系の特性に起因する歪がある場合、人間の視認性や直感的な感覚に合わせるために、ＲＡＷ画像データをその特性データを使って歪補正した画像を表示や記録に用いることが一般的になっている。ただし、ＲＡＷ画像データと特性データとを別データとしてマルチモーダル処理を想定した場合の方が、歪補正された画像を使った場合より、学習、推論が高信頼性でできる場合があるので、ここでは、ＲＡＷ画像データを、ＡＩの学習を行う時の教師データとしている。教師データ生成部３６は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　表示制御部３７は、表示装置５に各種画面を表示させることにより表示装置５の表示を制御する。

　記録部３８は、制御部４１が各種動作を実行するための実行プログラム及び制御プログラム並びに閾値等のパラメータを記録する。記録部３８は、揮発性メモリや、不揮発性メモリ、又はその組み合わせによって構成される。具体的には、記録部３８は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等によって構成される。

　推定部３９は、学習装置４が生成した推論モデルを用いて、内視鏡２が撮像した画像に含まれている腫瘍を推定する推論エンジンとして機能する。推定部３９が推定した腫瘍は、表示制御部３７により強調表示され、医師等の観察を支援する。推定部３９は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＴＰＵ(Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。この推定部３９は、画像処理装置３とインターネット等の回線を経由して接続されている推論エンジンに設けられてもよい。

　記録制御部４０は、第２の画像データと同様の観察対象Ｏに関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、アノテーション結果を反映し、第１の画像データと第２の画像データとを関連づけて記録部３８に記録する。また、記録制御部４０は、異なる態様の画像データに対するアノテーション情報をメタデータとして有する、異なる態様の画像データの画像ファイルを作成して記録する。記録制御部４０は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　制御部４１は、観察システム１全体の動作処理を制御する。制御部４１は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。なお、画像処理部３２、アノテーション入力部３３、付与部３４、反映部３５、教師データ生成部３６、表示制御部３７、推定部３９、記録制御部４０、又は制御部４１の全部又はいくつかの構成を１つのＣＰＵ等のプロセッサによって実現してもよい。

　学習装置４は、教師データ生成部３６が生成した教師データを用いて機械学習を行うことにより、画像から腫瘍等を検出する推論モデルを生成する。学習装置４が生成した推論モデルは、画像処理装置３に出力される。学習装置４は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサ、及びＲＡＭ、ＲＯＭ等の記録装置によって構成される。

　表示装置５は、表示制御部３７による制御のもと、各種画面を表示する。表示装置５は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示ディスプレイを有するモニターであってよいが、医師等の術者が装着可能なヘッドマウントディスプレイであってもよい。

　画像処理装置３が内視鏡２を使った撮像、画像処理、表示といった一般的な処理を行う場合、民生用カメラにおけるライブビュー表示のように、人間が目で見ての判定を行うために、撮像部２２の撮像結果（これをＲＡＷ画像データと呼ぶ場合もある）をもとに、画像処理部３２が、先に説明したような画素補正、歪補正（これらのうちのいくつかを行ってもＲＡＷ画像データと呼ばれる場合もある）やコントラスト補正、露出補正（画像全体又は画像を部分的に補正）、色補正（ホワイトバランスや彩度強調等）、階調表現（なだらかな陰影変化）補正などを行って表示用画像データとして、その結果を利用して、表示制御部３７が表示装置５における画像表示に対して表示制御を行う。表示用画像データは、極端な例では、サムネイルのように視認性が得られる限界に近いサイズまで縮小したデータでもよい。この時、あくまで人間が見るのは表示装置５に表示された画像（ライブビューに限らず、一度、表示用画像データが記録部３８に記録されたものを表示制御したものでもよい）であるため、これまで、途中生成物であるＲＡＷ画像データは、記録されることはなかったが、こうした表示用画像データと共にＲＡＷ画像データを関連付けて記録できるようにすることが重要である。そして、このＲＡＷ画像データを機械学習用の教師データとして利用する。ただし、このＲＡＷ画像データは、そのまま再生をしても人間の感覚に合っていないので、専門家などが、画像に注釈をつけるアノテーションを行う時には不向きなものになっている。なお、ＲＡＷ画像データは、人間の視認性のために施した画像処理の過程で失われるデータを残した画像データとして記載しているが、必ずしも生データである必要はない。また、ＲＡＷ画像データは、視認性以外の目的で、記録容量対策のための圧縮等の必要以外の部分の省略や間引きを行ったものであってもよい。

　図３Ａ～Ｃには、このように、人間が見るのに相応しい表示用画像データと、ＡＩが機械学習に用いるＲＡＷ画像データとを併せて記録する時、画像ファイル化を行う時のファイルの構造例を示したものである。これは、制御部４１が記録部３８にこれらのデータを記録させる時に生成する。別途、記録制御部４０や記録制御を行う専用回路（不図示）を設計してもよい。つまり、一つの画像ファイルＦａ１の中に、この表示用画像データを記録する領域（ブロック）Ｂａ１（これは状況によっては、サムネイルのように縮小した画像データでもよい）と、ＡＩ用の画像データを記録する領域（ブロック）Ｂａ３とを有し、それらを注釈するメタデータ群を記録するブロックＢａ２を有する。このメタデータ用のブロックＢａ２には、ここで示したように、この画像は教師データである、という情報や、アノテーション関連の情報を記録できるようになっている。このアノテーション関連の情報は、専門家が表示装置５に表示された表示画像を見ながら、何が対象物として確認できるか、記録されているかという情報や、その位置情報などを想定している。この他、このメタデータ用のブロックＢａ２には、撮影日時や場所、撮影者や患者のＩＤなどを記録できるようにしてもよい。また、表示用画像データは、画像処理部３２によって、ＲＡＷ画像データにガンマ補正、ホワイトバランスの調整、色補正、ノイズリダクション、又は画像強調処理等の画像処理に加え、記録容量の削減のために圧縮処理などを行って、内視鏡２が撮像して、記録、表示可能とした画像であり、人間が観察しやすい画像となる一方で情報の操作が施されたデータになっている。そこで、本実施の形態１では、元のデータに近いＲＡＷ画像データを記録するために別途設けた記録用の領域（ブロック）Ｂａ３を設けている。また、このＲＡＷ画像データは、歪補正など、画像の座標位置を変換するような操作が入る前の画像であるから、実際に表示画像データを再生して見ながら行った画面内位置のアノテーション結果をそのまま採用すると、正しい対象物位置が反映されない場合があるので、領域（ブロック）Ｂａ４に、この換算された画面内位置用アノテーション情報を記録できるようにした。これは、後述する図４に説明するようなプロセスで行われる。このブロックＢａ４には、マルチモーダル学習・推論用に、画像補正に用いたパラメータ等のデータを入れておいてもよい。また、このブロックＢａ４に記録する情報は、ブロックＢａ２のメタデータ群に入れても良い。このように教師データにする画像の場合、その旨を設定した撮影を行う事によって、教師データである事をメタデータとして記録し、かつ、ＲＡＷ画像データも有することになる（制御部４１がそうなるように画像ファイルＦａ１を作って記録制御する）。このような工夫によって、迅速に教師データに相応しい画像を集めて、機械学習して、適切な推論モデルを作成することが可能となる。

　また、図３Ａのような画像の記録以外に、図３Ｂに示したような教師データ用の画像の記録を行ってもよい。これは、視認性のよい表示用画像ファイルＦｂ１とは別に、ＲＡＷ（ＡＩ用）画像ファイルＦｂ２を作成して記録するもので、画像ファイルＦｂ１の画像データは、視認性や記録性を向上させる画像処理が施された画像データを記録する領域（ブロック）Ｂｂ１に記録されており、画像ファイルＦｂ２に記録される画像データはＲＡＷ画像データ（生データに対する視認性重視の画像処理を省いたもの）であってブロックＢｂ３に記録される。

　メタデータ群が記録されるブロックＢｂ２は、図３Ａのメタデータ群と同様でも良いが、そこに、参照すべきＲＡＷ画像データが含まれたＡＩ用画像ファイルＦｂ２を指定する情報を記載して、検索を可能としたものである。その他、画像データのファイル名を揃えて、拡張子で、これら二つの画像ファイルの関係を関連づける方法もある。ここでは、ＲＡＷ画像データ用のＡＩ用画像ファイルＦｂ２には、アノテーション結果を記録するためのブロックＢｂ４を有するが、ここに画像内の座標などの位置の情報を書き込む場合、ブロックＢｂ２に記載した座標から、画像処理前の座標に換算する演算を行った後の、座標（画像処理前相当座標）を記載する。ここに、マルチモーダル学習・推論用に、画像補正に用いたパラメータ等のデータを入れておいてもよい。

　このような画像データファイルを使って学習した推論モデルに、新たに別の画像を入れて推論を依頼する場合も、図３Ａまたは図３Ｂのような画像ファイルを入力して推論を行う。この場合も、このメタデータは有効に活用することができる。例えば、マルチ画像記録タイプの画像ファイルＦａ１が入力されると、ブロックＢａ３、Ｂａ４の情報を使って推論を行う。ブロックＢａ４のメタデータ領域に、マルチモーダル学習・推論用の、画像補正関係のデータが入れてあれば、このデータも使った高精度な推論が出来る。その他、ここで説明したメタデータは、いずれも、マルチモーダル学習、推論で有効活用することが出来る。また、別の画像ファイルを参照するタイプの画像ファイルＦｂ１が入力されると、ブロックＢｂ２に記録されたメタデータ情報から画像ファイルＦｂ２を検索して、ブロックＢｂ３に記録されたＡＩ用画像データを使って、同様に学習・推論を行う。この時、適宜、ブロックＢｂ４のメタデータを利用してもよい。さらに、この旨をメタデータに記載してもよい。つまり、これらの画像ファイルは、マルチモーダルＡＩを指定するためのメタデータを有してもよい。ブロックＢａ２、Ｂｂ２には「教師データ指示用メタデータ」を記載しているが、推論モデルの入力に用いる場合は、このメタデータを「推論入力用のメタデータ」と記載するようにして、これによって、どの画像がどの目的のものかが分かるようにしてもよい。また、メタデータには、当該画像を入力する推論モデルを指定する情報を記載、記録しても良い。このように、観察対象を撮像した結果の画像データを表示部（表示装置５）に表示させるために画像処理を行う画像処理部３２と、表示部に表示された画像データの表示画像において行ったアノテーション情報を取得し、表示部に表示されている態様とは異なる態様における画像データに対し、アノテーション情報を付与する付与部３４と、異なる態様の画像データに対するアノテーション情報をメタデータとして有する、異なる態様の画像データの画像ファイルを作成して記録する記録制御部４０と、を備える記録装置である画像処理装置３を提供することが可能となる。

　また、図３Ｃには、推論結果の画像ファイル例を示している。画像ファイルＦｃ１は、表示用画像データを記録するブロックＢｃ１と、推論に関する情報を記録するブロックＢｃ２とを有する。ここでは、推論結果を人に見てもらう用途を想定し、ＲＡＷ画像データやその関連付け情報は不要であるが、どのような推論結果になったかや、それが、どのような推論モデルによる判定かなどの情報をメタデータとして記録できるようにしてある。これによって、ＡＩのブラックボックス化を回避して、ＡＩの説明責任を一部、果たすことが可能となる。なお、ここでは、画像ファイルＦｃ１にアノテーション情報をメタデータ化して記録する方法を説明したが、アノテーション情報を、これとは別の関連するファイルやフォルダにデータとして記録してもよい。このように、観察対象Ｏを撮像して得た画像データ（第１の画像データ）に画像処理などを施した表示用画像データ（第２の画像データ）に対しアノテーションを行うアノテーション入力部３３と、第２の画像データと同様の観察対象Ｏに関連し、かつ、撮像態様の異なる第１の画像データ（ここではＲＡＷ画像データと記載）に対し、アノテーション結果を反映して付与する付与部３４と、第１の画像データと該第１の画像データに反映されたアノテーション結果とを用いて推論モデルを作成するための教師データを生成する教師データ生成部３６と、を備える教師データ生成装置である画像処理装置３を提供することができる。ここで、第２の画像は、正しく画素情報が二次元に配列されて、色合いやコントラストや階調表現などが視覚に相応しく調整された画像であるが、第１の画像はそれらの視認性向上処理のいずれかを行う前の画素データ群である。

　〔画像処理装置が教師データ生成時に実行する処理〕
　図４は、画像処理装置が教師データ生成時に実行する処理の概要を示すフローチャートである。まず、記録部３８に記録されている画像処理を施した画像を人間が観察し、腫瘍が含まれている画像を抽出する。そして、図４に示すように、画像処理装置３は、抽出した腫瘍を含む画像の入力を受け付ける（ステップＳ１１）。これがアノテーション情報となる。なお、記録部３８に記録された画像ではなく、ライブビュー画像でもアノテーションは可能であり、ライブビュー画像に対してアノテーションを行う場合は、撮像結果にアノテーションを行い、それを記録して教師データとする。なお、アノテーション情報は、画像に腫瘍が含まれているか否かを人間が判定した判定結果であってよいが、抽出した腫瘍の位置情報を含んでいてもよい。

　すると、教師データ生成部３６は、この入力された画像に関連づけられたＲＡＷ画像を関連付けにより特定し、特定した画像を用いて教師データを生成する（ステップＳ１２）。具体的には、教師データ生成部３６は、入力された画像に関連づけられたＲＡＷ画像を特定し、特定した画像群が腫瘍を含む画像であると識別して、腫瘍が含まれているか否かが判定されたＲＡＷ画像データが教師画像データとなる教師データを生成する。また、アノテーション情報が腫瘍の位置情報を含む場合、教師データ生成部３６は、入力された画像に関連づけられたＲＡＷ画像を特定し、この特定した画像群とこの画像群に反映部３５が反映した腫瘍の位置情報を含むアノテーション結果とを用いて教師画像データとなる教師データを生成する。この時、画像処理の種類によっては、座標変換等が行われているので、画像処理装置３は、座標の換算を行って、異なる座標データを作成して、学習用のＲＡＷ画像データの（例えば）メタデータとして記載する。このデータは、別の参照可能なファイルに記録してもよい。

　以上説明した実施の形態１によれば、視認性や記録性（データサイズの圧縮）を主な目的とした画像処理を施しておらず、機械学習に適したＲＡＷ画像を用いた教師データを生成することができる。これは、視認性の優れた画像によるアノテーションの結果が反映されており、極めて高信頼性、高精度の推論モデルを生成する学習が可能となる。また、同様の方法で、ＲＡＷ画像データを入力に使った推論を行ってもよく、この場合、推論入力用画像データは、関連する表示用画像データによって視認性がよく、それでいて、推論はＲＡＷ画像の高い情報量を利用でき、高精度の推論が可能となる。

（実施の形態２）
〔観察システムの構成〕
　まず、観察システムの構成を説明する。図５は、実施の形態２に係る観察システムの構成を示す模式図である。図５に示すように、本実施の形態２に係る観察システム１１は、被検体Ｈ内の観察対象Ｏを観察する。この観察システム１１により被検体Ｈ内の観察対象Ｏを観察し、処置具Ｔにより被検体Ｈに対する処置を行うことにより内視鏡手術を行うことができる。

　図６は、実施の形態２に係る観察システムの構成を示すブロック図である。図６に示すように、観察システム１１は、第１照明部１２と、第２照明部１３と、第１撮像部１４と、第２撮像部１５と、画像処理装置１６と、学習装置１７と、表示装置１８と、を備える。

　第１照明部１２は、観察対象Ｏに通常光を照射する。通常光は、特殊光観察ではない通常観察に用いる照明光である。第１照明部１２は、例えば直径２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより被検体Ｈに取り付けられる。第１照明部１２には、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等からなる光源と、光源に電力を供給するバッテリーとが設けられている。光源が照射した照明光は、針の内部に配置されたレンズ又は光ファイバを経由して観察対象Ｏに照射される。ただし、内視鏡２は、外部の光源装置が出力した照明光を観察対象Ｏに照射してもよい。

　第２照明部１３は、観察対象Ｏに特殊観察光を照射する。第２照明部１３は、例えば２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより、被検体Ｈに取り付けられている。第２照明部１３には、ＬＥＤ等からなる光源と、光源に電力を供給するバッテリーとが設けられている。光源が照射した特殊観察光は、針の内部に配置されたレンズ又は光ファイバを経由して観察対象Ｏに照射される。ただし、第２照明部１３は、外部の光源装置が出力した特殊観察光を観察対象Ｏに照射してもよい。特殊観察光は、例えばＮＢＩ（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）観察、ＩＲＩ（Ｉｎｆｒａ　Ｒｅｄ　Ｉｍａｇｉｎｇ）観察、又は蛍光観察に用いられる特殊観察光であり、通常の照明光のスペクトルとは異なるスペクトルの光である。

　第１撮像部１４は、観察対象Ｏを撮像する。第１撮像部１４は、例えば直径２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより、被検体Ｈに取り付けられている。第１撮像部１４には、ＣＣＤやＣＭＯＳのイメージセンサやＡ／Ｄ変換回路等を用いて構成された撮像素子が設けられている。そして、観察対象Ｏからの反射光は、針の内部に配置されたレンズ又は光ファイバを経由して撮像素子により撮像される。

　第２撮像部１５は、観察対象Ｏを第１撮像部１４とは異なる位置から撮像する。第２撮像部１５は、例えば直径２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより、被検体Ｈに取り付けられている。挿入部が被検体Ｈの互いに異なる位置に穿刺されることにより、観察対象Ｏを第１撮像部１４及び第２撮像部１５とは異なる位置から撮像する。第２撮像部１５には、ＣＣＤやＣＭＯＳのイメージセンサやＡ／Ｄ変換回路等を用いて構成された撮像素子が設けられている。そして、観察対象Ｏからの反射光は、針の内部に配置されたレンズ又は光ファイバを経由して撮像素子により撮像される。第２撮像部１５の撮像素子は、第２照明部１３が照射する特殊観察光のスペクトルに感度を有し、特殊観察光を用いた特殊光観察に適した撮像素子である。

　画像処理装置１６は、送受信部１６１と、画像処理部１６２と、アノテーション入力部１６３と、付与部１６４と、反映部１６５と、教師データ生成部１６６と、表示制御部１６７と、記録部１６８と、推定部１６９と、記録制御部１７０と、制御部１７１と、を備える。送受信部１６１、画像処理部１６２、アノテーション入力部１６３、表示制御部１６７、記録部１６８、記録制御部１７０、及び制御部１７１は、それぞれ送受信部３１、画像処理部３２、アノテーション入力部３３、表示制御部３７、記録部３８、記録制御部４０、及び制御部４１と同様の構成であってよいので、説明を省略する。

　付与部１６４は、画像データに各種のアノテーション結果を付与する。具体的には、付与部１６４は、視認性のよい通常光（白色光）画像を見ながら、専門家などが注釈した対象物の内容や位置の情報を、画像に関連付ける機能を有する回路やプログラム等からなる機能ブロックである。付与部１６４は、第１撮像部１４が観察対象Ｏを通常光により撮像した画像の画像データ（第２の画像データ）に対象物の内容や位置の情報であるアノテーション結果を付与する。付与部１６４は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　反映部１６５は、第２撮像部１５が観察対象Ｏを特殊観察光により撮像した画像に画像処理を施した画像の画像データ（第１の画像データ）に、第２の画像データに付与されたアノテーション結果を反映して付与する。すなわち、第２の画像データへのアノテーション結果の付与により、自動的に第１の画像データに対応してアノテーション結果が付与される。反映部１６５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　これらの付与部１６４又は反映部１６５にアノテーション結果を付与された画像データは、記録部１６８にされる。換言すると、記録部１６８には、通常観察の画像の画像データと特殊光観察の画像データとが互いに関連づけられて記録される。この実施の形態２は、視認性を高めた処理付きの画像と、その処理前の画像（ＲＡＷ画像）の関係で説明した実施の形態１の、視認性向上画像（表示用画像、第２の画像）を通常観察画像とし、ＲＡＷ画像（第１の画像）を特殊光観察画像に対応させた実施例であり、この特殊光観察画像を、視認性を向上させる画像処理が施されていないＲＡＷ画像として記録する応用を行ってもよい。

　教師データ生成部１６６は、学習装置１７に送信する学習用の教師データを生成する。教師データ生成部１６６は、特殊光観察の画像に画像処理を施した画像の画像データ（第１の画像データ）に関連づけられた通常観察の画像の画像データ（第２の画像データ）を特定し、特定した画像を用いてアノテーションを行ってその結果の情報を付与した教師データを生成する。具体的には、教師データ生成部１６６は、記録部１６８に記録されている、対応する特殊観察光の画像に対してアノテーション結果を反映させる。教師データ生成部１６６は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　学習装置１７及び表示装置１８は、それぞれ学習装置４及び表示装置５と同様の構成であってよいので、説明を省略する。

　送受信部１６１は、第１撮像部１４及び第２撮像部１５からそれぞれ観察対象Ｏを通常の照明光及び特殊観察光により撮像した画像の画像データを受信する。なお、第１撮像部１４は、第１照明部１２により観察対象Ｏに通常の照明光を照射した状態で撮像を行い（通常観察）、第２撮像部１５は、第２照明部１３により観察対象Ｏに特殊観察光を照射した状態で撮像を行う（特殊光観察）。通常観察と特殊光観察とは、１フレームごとに交互に行ってもよいが、別々に行ってもよい。ただし、第１撮像部１４と第２撮像部１５とは、観察対象Ｏの略同じ位置を撮像することが好ましい。マニュアル操作により撮影する場合などの時のみ、特殊光観察を行うようにしてもよいが、ここでは常に通常観察と特殊光観察との両方の撮像を行っている例を示す。送受信部１６１が受信した通常観察及び特殊光観察の画像の画像データは、互いに関連づけられて記録部１６８に記録される。

　画像処理部１６２は、通常観察及び特殊光観察の画像にガンマ補正、ホワイトバランスの調整、色補正、ノイズリダクション、又は画像強調処理等の画像処理を施す。

　〔画像処理装置が教師データ生成時に実行する処理〕
　図７は、教師データ生成時に実行する処理の概要を示すフローチャートである。まず、記録部１６８に記録されている通常観察の画像を人間が観察し、腫瘍が含まれている画像を抽出する。そして、図７に示すように、画像処理装置１６は、抽出した腫瘍を含む画像の入力を受け付ける（ステップＳ３１）。これは、医師や専門家が見てわかりやすい通常光観察の画像であり、これを見て、専門家は、ここに何が写っているか（対象物）やその位置が判定可能である。

　この視認性のよい画像に対して上記対象物やその位置の情報を入力（アノテーション）すると、付与部３４が対応する特殊光画像のデータに対してこのアノテーション結果を反映し、教師データ生成部１６６が教師データを生成する（ステップＳ３２）。なお、この時、マルチモーダルの手法に対応するため、撮像時の波長情報などを図３Ａ～Ｃにおいて説明したメタデータとして記録してもよい。また、２つの画像の波長分布やその差異などの情報を記録してもよい。このように、観察対象Ｏを撮像して得た通常光で撮像した画像（第２の画像データ）は、人間が目視する際に自然な画像なので、これに対しアノテーションを行うアノテーション入力部１６３を用意すれば、第２の画像データと同様の観察対象Ｏに関連し、かつ、撮像態様の異なる特殊光による画像データ（第１の画像データ）に対し、アノテーション結果を反映すればよく、これを反映部１６５が行うとし、さらに、教師データ生成部１６６が、第１の画像データとそこに反映して付与されたアノテーション結果を用いて推論モデルを作成するための教師データを生成する、これらの機能を備える教師データ生成装置である画像処理装置３を提供することができる。ここで、第２の画像は視認性の良い画像で、自然光や白色光、昼光のような照明での撮像を想定した。さらに、画像処理などで、コントラストや露出や色合いが人間の見た目に自然な処理を行っている。また、こうした画像データを図３Ａ～Ｃで示したような工夫で扱いやすいデータ（ファイル）として記録するので、本願は、記録装置、記録方法の発明ともなっている。

（実施の形態３）
〔観察システムの構成〕
　まず、観察システムの構成を説明する。図８は、実施の形態３に係る観察システムの構成を示す模式図である。図８に示すように、本実施の形態３に係る観察システム５１は、被検体Ｈ内の観察対象Ｏを観察する。この観察システム５１により被検体Ｈ内の観察対象Ｏを観察し、処置具Ｔにより被検体Ｈに対する処置を行うことにより内視鏡手術を行うことができる。

　図９は、実施の形態３に係る観察システムの構成を示すブロック図である。図９に示すように、観察システム５１は、照明部５２と、第１撮像部５３と、第２撮像部５４と、画像処理装置５５と、学習装置５６と、表示装置５７と、を備える。

　照明部５２は、観察対象Ｏに照明光を照射する。照明部５２は、例えば直径２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより被検体Ｈに取り付けられる。照明部５２には、ＬＥＤ等からなる光源と、光源に電力を供給するバッテリーとが設けられている。光源が照射した照明光は、針の内部に配置されたレンズ又は光ファイバを経由して観察対象Ｏに照射される。ただし、照明部５２は、外部の光源装置が出力した照明光を観察対象Ｏに照射してもよい。

　第１撮像部５３及び第２撮像部５４は、互いに異なる位置から観察対象Ｏを撮像する。以下において、２つの撮像部を備える例を説明するが、撮像部は複数であればよく、３つ以上の撮像部を備えていてもよい。第１撮像部５３及び第２撮像部５４は、例えば直径２ｍｍ以上３ｍｍ以下の湾曲性を持たない硬質な針である挿入部に挿入されていることにより、被検体Ｈに取り付けられている。挿入部が被検体Ｈの互いに異なる位置に穿刺されることにより、第１撮像部５３と第２撮像部５４とは、観察対象Ｏを互いに異なる位置から撮像する。第１撮像部５３及び第２撮像部５４には、ＣＣＤやＣＭＯＳのイメージセンサやＡ／Ｄ変換回路等を用いて構成された撮像素子が設けられている。そして、観察対象Ｏからの反射光は、針の内部に配置されたレンズ又は光ファイバを経由して撮像素子により撮像される。

　画像処理装置５５は、送受信部５５１と、画像処理部５５２と、ガイド部５５３と、判定部５５４と、画像合成部５５５と、座標算出部５５６と、アノテーション入力部５５７と、付与部５５８と、反映部５５９と、教師データ生成部５６０と、表示制御部５６１と、記録部５６２と、推定部５６３と、記録制御部５６４と、制御部５６５と、を備える。送受信部５５１、画像処理部５５２、アノテーション入力部５５７、表示制御部５６１、記録部５６２、推定部５６３、及び制御部５６５は、それぞれ送受信部３１、画像処理部３２、アノテーション入力部３３、表示制御部３７、記録部３８、及び制御部４１と同様の構成であってよいので、説明を省略する。

　ガイド部５５３は、第１撮像部５３及び第２撮像部５４の位置をそれぞれガイドする。ガイド部５５３は、音声出力、表示装置５に文字を出力、被検体Ｈ等に光を照射すること等により、第１撮像部５３及び第２撮像部５４を穿刺する位置や第１撮像部５３及び第２撮像部５４と観察対象Ｏとの位置関係をガイドする。ガイド部５５３は、第１撮像部５３及び第２撮像部５４の位置をそれぞれピントが合う位置にガイドしてもよいし、観察対象Ｏが所定の割合以上含まれるようにガイドしてもよい。ガイド部５５３は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　判定部５５４は、被検体Ｈ内の観察対象Ｏを撮像する第１撮像部５３が撮像した画像の撮像領域と、観察対象Ｏを第１撮像部５３とは異なる位置から撮像する第２撮像部５４が撮像した画像とに重なり部分があるか否かを判定する。また、判定部５５４は、第１撮像部５３及び第２撮像部５４がそれぞれ観察対象Ｏに焦点が合う焦点位置まで挿入されているか否かを判定する。この焦点位置とは、ここでは観察対象Ｏに焦点が合うような距離に第１撮像部５３及び第２撮像部５４が配置された位置の説明に用いている。これは、挿入過程で観察対象Ｏの像の状態を判定して、第１撮像部５３及び第２撮像部５４が撮像光学系の焦点が合っていない位置にある時にはボケて撮像されるためコントラストが低下しているが、焦点が合った状態（焦点位置）ではコントラストが良好になることから、コントラストの変化、あるいは、所定値との比較で検出が可能となる。画像処理部５５２が得られた画像のコントラスト値を求めることにより、これらを判定してもよい。判定部５５４は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　画像合成部５５５は、判定部５５４が、第１撮像部５３及び第２撮像部５４がそれぞれ観察対象Ｏに焦点が合う焦点位置まで挿入されていると判定し、かつ第１撮像部５３が撮像した画像の撮像領域と第２撮像部５４が撮像した画像の撮像領域とに重なり部分があると判定した場合、これらの画像を合成した合成画像を生成する。画像合成部５５５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　座標算出部５５６は、撮像された画像の特徴点（画像の特徴的な点、例えば病変の端部や出血点）を検出し、特徴点の位置に基づいて各画像間の移動量を算出し、各画像に例えば２次元の座標を付与する。座標算出部５５６は、各画像の中心の座標を算出してもよいし、各画像の四隅の座標を算出してもよい。また、座標算出部５５６は、合成画像を人間が観察して見つけた腫瘍等の座標を算出する。

　付与部５５８は、画像データに各種のアノテーション結果を付与する。また、付与部５５８は、第１撮像部５３及び第２撮像部５４がそれぞれ観察対象Ｏを撮像した画像（第１の画像データ）にこれらの画像を合成した画像の画像データ（第２の画像データ）を関連づけ、第２の画像データにアノテーション結果を付与する。付与部５５８は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　反映部５５９は、画像を合成した画像の画像データ（第２の画像データ）に対するアノテーション結果を、合成前の画像データ（第１の画像データ）に反映させてこれを付与する。このように、人間にとって判断がしやすい合成画像に対して行ったアノテーションが、合成前の画像に反映される。ＡＩ用には合成前の画像を使うが、ＡＩを作成したり利用したりする人はわかりやすい合成画像を取り扱えばよい。反映部５５９は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。

　これらの付与部５５８又は反映部５５９によりアノテーション結果を付与された画像データは、記録部５６２に記録される。第１の画像へのアノテーションはＡＩ用で、第２の画像へのアノテーションは人間が確認するためであり、確認が不要なら、この第２の画像へのアノテーションは記録しなくともよい。もちろん、実施の形態１、２の考えから、第１の画像データをＲＡＷ画像データにしたり、第１の画像データを特殊光にして撮影して記録してもよい。記録部５６２には、複数の画像データとこの画像に画像処理を施して合成した画像の画像データとが互いに関連づけられて記録される。

　教師データ生成部５６０は、学習装置５６に送信する教師データを生成する。教師データ生成部５６０は、合成画像（第２の画像データ）に関連づけられた複数のＲＡＷ画像（第１の画像データ）を特定し、特定した画像を用いて教師データを生成する。具体的には、記録部５６２に記録されている合成画像を人間が観察して腫瘍が含まれている画像を抽出すると、教師データ生成部５６０は、抽出した画像に関連づけられた複数の画像が腫瘍を含む画像であると識別して、腫瘍が含まれているか否かが判定された画像群が教師画像群となる教師データを生成する。教師データ生成部５６０は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサによって実現される。この実施の形態３は、視認性を高めた処理付きの画像と、その処理前の画像（ＲＡＷ画像）の関係で説明した実施の形態１の、視認性向上画像（表示用画像、第２の画像）を合成した観察画像とし、実施の形態１のＲＡＷ画像（第１の画像）を合成前画像に対応させた実施例であるが、先に説明したように、この合成前画像をＲＡＷ画像として記録する応用を行ってもよい。また、ここで実施の形態２の考えを入れて特殊光での観察画像としてもよい。

　学習装置５６及び表示装置５７は、それぞれ学習装置４及び表示装置５と同様の構成であってよいので、説明を省略する。

　ここで、この実施の形態３の内視鏡２で複数の画像を取得して合成して表示する例を説明する。図１０は、第１撮像部が撮像した画像の一例である。図１０に示すように、第１撮像部５３が撮像した画像Ｉｍ１には、観察対象Ｏが含まれているが、腫瘍は含まれていない。

　図１１は、第２撮像部が撮像した画像の一例である。図１１に示すように、第２撮像部５４が撮像した画像Ｉｍ２には、観察対象Ｏ及び腫瘍ＴＵが含まれている。これらの画像の共通部を重ねてのりしろのようにして合成すると合成画像（第２の画像）が作成できる。これは、人が見るには、全体と部分との関係が認識しやすく、直感的に把握、理解、認識、判断がしやすく、あるいは特定の対象を見つけるための情報がリッチな画像である。この合成画像は、表示装置５７に表示する表示用画像と言ってもよい。ただし、コンピュータなど機械にとっては、のりしろ部が重なっていたりして、必ずしも人間と同様に情報リッチとは受け取らない。むしろ、のりしろ情報を別に取得して、個々の画像は個々の画像として判定するマルチモーダル処理の方が、コンピュータには情報の判定がしやすい場合がある。

　そのため、座標算出部５５６は、この合成の結果から、この合成画像を基準にして、個々の画像Ｉｍ１、及び画像Ｉｍ２の座標を算出する。この個々の画像の座標関係などが、マルチモーダル処理の副次情報となる。これを図３Ａ～Ｃのように、メタデータとして記録してもよい。

　医師など専門家が合成画像で全体を認識しながらアノテーション情報を付与すると、付与部５５８は、２枚の画像に各画像の座標情報を含めたアノテーション結果を読み替えて、転用するように付与し、記録部５６２に記録する。このように、観察対象Ｏを撮像して得た合成画像（第２の画像データ）に対しアノテーションを行うアノテーション入力部５５７と、第２の画像データと同様の観察対象Ｏに関連し、かつ、撮像表示態様の異なる（ここでは複数枚合成前画像撮像と、それを合成した画像は別の態様で表示している）第１の画像データに対し、アノテーション結果を反映する反映部５５９と、第１の画像データとそこに反映されたアノテーション結果を用いて推論モデルを作成するための教師データを生成する教師データ生成部５６０と、を備える教師データ生成装置である画像処理装置３を提供することができる。ここで、第２の画像は表示して確認しやすい合成画像を想定した。つまり視認性という言葉で表されるが、これは、全体像と部分との像が確認しやすい、撮像した対象物に対する視野、撮像対象範囲が広い画像である。また、こうした画像データを図３Ａ～Ｃで示したような工夫で扱いやすいデータ（ファイル）として記録するので、本願は、記録装置、記録方法の発明ともなっている。

　図１２は、合成画像の一例である。図１２に示すように、画像合成部５５５は、第１撮像部５３が撮像した画像Ｉｍ１と、第２撮像部５４が撮像した画像Ｉｍ２とを合成し、合成画像Ｉｍ３を生成する。合成画像Ｉｍ３を生成することにより、第１撮像部５３及び第２撮像部５４が撮像した画像により、観察対象Ｏの全体を観察することができるため人間が観察しやすい画像となる。

　付与部５５８は、合成した合成画像Ｉｍ３に座標情報を含めたアノテーション結果を付与し、記録部５６２に記録すれば、複数の画像の画像データとこれらの画像を合成した画像の画像データとが、互いに関連づけられて記録部５６２に記録される。

　〔画像処理装置が教師データ生成時に実行する処理〕
　図１３は、画像処理装置が教師データ生成時に実行する処理の概要を示すフローチャートである。これは、医師や専門家が見てわかりやすい、確認範囲を拡大した合成後の画像を見て、合成前の画像に対応させる実施例である。合成画像の方が人間にとっては個々の画像の連続性などの情報量に富み、これを見て、専門家は、ここに何が写っているか（対象物）やその位置が判定可能である。まず、記録部５６２に記録されている合成画像Ｉｍ３を人間が観察し、腫瘍ＴＵが含まれている画像を抽出する。そして、図１３に示すように、画像処理装置５５は、抽出した腫瘍ＴＵを含む合成画像Ｉｍ３と、その合成画像Ｉｍ３に含まれる腫瘍ＴＵの位置情報との入力を受け付ける（ステップＳ５１）。

　すると、座標算出部５５６は、入力された位置情報に基づき、腫瘍ＴＵの座標を算出する（ステップＳ５２）。

　教師データ生成部５６０は、入力された合成画像に含まれる腫瘍ＴＵの座標に基づいて、腫瘍ＴＵを含む画像（画像Ｉｍ２）を関連付け結果（マルチ画像形式のファイル化や、別ファイルの場合、画像ファイル名の参照や特定のファイル名関係や拡張子による）から特定し、特定した画像Ｉｍ２に基づいて教師データを生成する（ステップＳ５３）。具体的には、教師データ生成部５６０は、入力された合成画像に含まれる腫瘍ＴＵの座標に基づいて、腫瘍ＴＵを含む画像（画像Ｉｍ２）をアノテーション関連付け結果により特定し、特定した画像群が腫瘍を含む画像であると識別して、腫瘍が含まれているか否かが判定された画像群が教師画像群となる教師データを生成する。なお、この時、マルチモーダルの手法に対応して、合成した場所などを図３Ａ～Ｃに説明したメタデータとして記録してもよい。あるいは、アノテーション結果として付与された座標から換算された座標情報を個々の画像に対して記録してもよい。また、こうした画像データを図３Ａ～Ｃで示したような工夫で扱いやすいデータ（ファイル）として記録するので、本願は、記録装置、記録方法の発明ともなっている。

　以上説明した実施の形態３によれば、画像処理及び画像の合成をしておらず、機械学習に適した合成前の個々の画像を用いて機械学習することができる。

（変形例１）
　次に、変形例１に係る観察システムについて説明する。変形例１に係る観察システムの構成は、図２に示した実施の形態１の構成と同様であってよいので説明を省略する。

　図１４は、変形例１に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１４に示すように、まず、専門家などの画像を確認するユーザが記録部３８に記録されている画像からアノテーションする画像を選択する（ステップＳ７１）。

　続いて、表示制御部３７は、選択された画像の表示用画像（画像処理を施した画像（第２の画像））を表示装置５に表示させる（ステップＳ７２）。

　そして、ユーザは、この表示用画像を確認して腫瘍の位置をマウス操作やキーボードからの入力、タッチ操作、音声入力等により入力し、この入力をアノテーション入力部３３が受け付ける（ステップＳ７３）。

　図１５Ａ、Ｂは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１５Ａに示すように、ユーザは、表示用画像Ｉｍ１１を確認して、腫瘍ＴＵの座標（Ｘ１，Ｙ１）を入力する。この座標を示す位置情報が表示用画像Ｉｍ１１の画像データ（第２の画像データ）にアノテーション結果として付与される。

　その後、制御部４１は、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われたか否かを判定する（ステップＳ７４）。制御部４１が、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われていないと判定した場合（ステップＳ７４：Ｎｏ）、ステップＳ７２に戻り、この画像に対するアノテーションが継続される。

　一方、制御部４１が、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われたと判定した場合（ステップＳ７４：Ｙｅｓ）、記録制御部４０は、アノテーション結果を画像ファイル用にメタデータ化する（ステップＳ７５）。そして、付与部３４は、表示用画像Ｉｍ１１の画像データにアノテーション結果（メタデータ）を付与する。具体的には、図３Ａに示す画像ファイルＦａ１において、ブロックＢａ１に記録された表示用画像データに関連づけられて、ブロックＢａ２にアノテーション結果であるメタデータが記録される。

　すると、反映部３５は、アノテーション結果を対応するＡＩ用画像（ＲＡＷ画像）の画像データ（第１の画像データ）に反映する（ステップＳ７６）。具体的には、図１５Ｂに示すように、表示用画像Ｉｍ１１に付与されたアノテーション結果（腫瘍ＴＵの位置情報）がＡＩ用画像Ｉｍ１２に反映され、ＡＩ用画像Ｉｍ１２の画像データにアノテーション結果（腫瘍ＴＵの位置情報）が付与される。

　そして、記録制御部４０は、アノテーション結果を画像ファイル用にメタデータ化する（ステップＳ７７）。そして、付与部３４は、ＡＩ用画像Ｉｍ１２の画像データにアノテーション結果（メタデータ）を付与する。具体的には、図３Ａに示す画像ファイルＦａ１において、ブロックＢａ３に記録されたＡＩ用画像データＩｍ１２に関連づけられて、ブロックＢａ４にアノテーション結果のメタデータが記録される。

　続いて、教師データ生成部３６は、このアノテーション結果が付与されたＡＩ用画像を用いて教師データを生成する（ステップＳ７８）。教師データは、学習装置４が機械学習する際に用いる教師画像群であり、アノテーション結果である腫瘍ＴＵの位置情報が付与された画像データ群である。すなわち、教師データは、図３Ａ～Ｃに示すような画像ファイルを大量に蓄積することにより生成される。

　その後、制御部４１は、アノテーションが終了したことを示す所定の操作入力が行われたか否かを判定する（ステップＳ７９）。制御部４１が、アノテーションが終了したことを示す所定の操作入力が行われていないと判定した場合（ステップＳ７９：Ｎｏ）、ステップＳ７１に戻る。

　一方、制御部４１が、アノテーションが終了したことを示す所定の操作入力が行われたと判定した場合（ステップＳ７９：Ｙｅｓ）、一連の処理が終了する。

　以上説明した変形例１によれば、画像処理を施した表示用画像に付与したアノテーション結果がＡＩ用画像（ＲＡＷ画像）に反映されるため、このアノテーション結果が付与されたＡＩ用画像を用いて教師データを生成することができる。その結果、学習装置４は、そのような教師データを用いることにより、高信頼性、高精度の推論モデルを生成することが可能となる。

　このように、人間の視覚特性に合わせた視認性重視の画像で医師、専門家など人間が、快適な視覚判断で快速、大量に作業性良くアノテーションを行いながら、関連付けられたＲＡＷ画像のようにオリジナルの情報を保持した画像によって教師データ化されていくので、豊富な情報で高精度の学習が可能となる。このような学習で得られた推論モデルは、ＲＡＷデータ入力で、上記のアノテーション結果に合わせた推論を行うので、高精度の推論が可能となる。したがって、この推論結果に相当する情報を、関連する表示用画像に反映させて表示させることによって、オペレーター、観察者は高精度な推論結果を考慮した検討が出来る。この判断から、次の観察や処置などを適切に行うことが可能となる。

（変形例２）
　次に、変形例２に係る観察システムについて説明する。変形例２に係る観察システムの構成は、図６に示した実施の形態２の構成と同様であってよいので説明を省略する。

　図１６は、変形例２に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１６に示すように、まず、第１照明部１２が観察対象物に通常光を照射する（ステップＳ９１）。

　続いて、第１撮像部１４は、観察対象物を撮像する（ステップＳ９２）。この撮像により生成された画像データを、以下において画像データＩｍ２１という。

　さらに、第１撮像部１４は、観察対象物をもう一度撮像する（ステップＳ９３）。この撮像により生成された画像データを、以下において画像データＩｍ２２という。通常光観察のフレームレートを確保するため、通常光観察の撮像回数を特殊光観察の撮像回数より多くするために、ここでは通常光観察の撮像を２回行う例を示したが、通常光観察の撮像回数は特に限定されない。

　その後、記録制御部１７０は、画像データＩｍ２１と画像データＩｍ２２とを記録部１６８に仮記録する（ステップＳ９４）。具体的には、画像データＩｍ２１及び画像データＩｍ２２は、記録部１６８のリングバッファに記録され、１フレームの画像データが時系列に沿って記録される。そして、記録部１６８のリングバッファは、所定のフレーム数の画像データを記録すると、最も古い画像データを削除して最新の画像データを記録することで、時系列順に所定フレーム数の新しい画像データを記録する。

　続いて、第２照明部１３が観察対象物に特殊光を照射する（ステップＳ９５）。

　続いて、第２撮像部１５は、観察対象物を撮像する（ステップＳ９６）。この撮像により生成された画像データを、以下において画像データＩｍ２３という。

　その後、記録制御部１７０は、画像データＩｍ２３を記録部１６８に仮記録する（ステップＳ９７）。具体的には、画像データＩｍ２３は、記録部１６８のリングバッファに記録される。

　そして、画像処理装置１６は、画像データＩｍ２２における腫瘍の位置を推定して、表示装置１８に表示させる推論表示処理を行う（ステップＳ９８）。具体的には、推定部１６９は、学習装置１７が機械学習により生成した推論モデルを利用して、特殊光観察による画像データＩｍ２３（第１の画像データ）に含まれる腫瘍の位置を推定する。すると、反映部１６５は、この腫瘍の位置情報を画像データＩｍ２２（第２の画像データ）に反映して付与する。そして、表示制御部１６７は、画像データＩｍ２２における腫瘍の位置を強調表示して、表示装置１８に表示させる。

　続いて、制御部１７１は、撮影を行う指示入力を受け付けたか否かを判定する（ステップＳ９９）。ユーザは、表示装置１８に表示された画像データＩｍ２２における腫瘍の位置を確認し、腫瘍の位置が正しく表示されておりこの画像の撮影を希望する場合に、表示装置１８に表示された撮影ボタンを押す等の操作入力を行う。制御部１７１は、この操作入力があったか否かを判定する。

　制御部１７１が、撮影を行う指示入力がなかったと判定した場合（ステップＳ９９：Ｎｏ）、ステップＳ１０４に進む。一方、制御部１７１が、撮影を行う指示入力があったと判定した場合（ステップＳ９９：Ｙｅｓ）、記録制御部１７０は、画像データＩｍ２２を記録部１６８の非一時的な記録領域（リングバッファではなく、例えばＲＡＭ）に記録する（ステップＳ１００）。このとき、付与部１６４は、推定部１６９が推定した腫瘍の位置情報をアノテーション結果として画像データＩｍ２３に付与して記録部１６８に記録する。ただし、付与部１６４は、アノテーション入力部１６３がユーザの入力を受け付けて取得した腫瘍の位置情報をアノテーション結果として付与してもよい。

　さらに、記録制御部１７０は、画像データＩｍ２３を記録部１６８の非一時的な記録領域（リングバッファではなく、例えばＲＡＭ）に記録する（ステップＳ１０１）。

　そして、記録制御部１７０は、図３Ａに示すように、画像ファイルＦａ１のブロックＢａ１に画像データＩｍ２２を、ブロックＢａ３に画像データＩｍ２３を、ブロックＢａ２及びブロックＢａ４に腫瘍の位置情報を表すメタデータをそれぞれ記録し、一連の処理によって生成したデータをファイル化して記録部１６８に記録する（ステップＳ１０２）。

　続いて、教師データ生成部１６６は、このアノテーション結果が付与された特殊光観察による画像データＩｍ２３を用いて教師データを生成する（ステップＳ１０３）。

　その後、制御部１７１は、教師データを生成する処理を終了することを示す所定の操作入力が行われたか否かを判定する（ステップＳ１０４）。制御部１７１が、この処理を終了することを示す所定の操作入力が行われていないと判定した場合（ステップＳ１０４：Ｎｏ）、ステップＳ９１に戻る。

　一方、制御部１７１が、この処理を終了することを示す所定の操作入力が行われたと判定した場合（ステップＳ１０４：Ｙｅｓ）、一連の処理を終了させる。

　以上説明した変形例２によれば、特殊光観察による画像データＩｍ２３を用いて、学習装置１７が機械学習により生成した推論モデルが腫瘍の位置を自動的に推定し、医師や専門家は、観察しやすい通常光観察による画像データＩｍ２２において位置が推定された腫瘍を確認することができる。そして、医師や専門家が腫瘍であることを確認した画像がアノテーション結果とともに記録される。その結果、変形例２によれば、腫瘍の位置情報が付与された特殊光観察による画像データ群である教師データを容易かつ大量に蓄積することができる。

　このように、人間の視覚特性に合わせた自然な視認性重視の通常光（白色）画像で医師、専門家など人間が直感的に手早く判断でき、大量にかつ正確にアノテーションを行いながら、特殊光観察画像のようにオリジナルの情報を保持した関連付けられた画像が、同様に大量かつ良質な教師データとなっていくので、豊富な情報で高精度の学習が可能となる。このような学習で得られた推論モデルは、特殊光による画像データ入力で、上記のアノテーション結果に合わせた推論を行うので、高精度の推論となる。したがって、この推論結果に相当する情報を、関連する表示用画像（通常光、白色光を照射して撮像した画像に対応）に反映させて表示させることによって、オペレーター、観察者は高精度な推論結果を考慮した検討が出来る。この判断から、次の観察や処置などを適切に行うことが可能となる。

（変形例３）
　次に、変形例３に係る観察システムについて説明する。変形例３に係る観察システムの構成は、図９に示した実施の形態３の構成と同様であってよいので説明を省略する。

　図１７は、変形例３に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図１７に示すように、まず、ユーザが記録部５６２に記録されている画像からアノテーションする画像を選択する（ステップＳ１１１）。

　続いて、画像合成部５５５は、選択された画像を合成してパノラマ化した合成画像（第２の画像）を生成し、表示制御部５６１は、この合成画像を表示装置５７に表示させる（ステップＳ１１２）。

　そして、ユーザは、この合成画像を確認して腫瘍の位置をマウス操作やキーボードからの入力、タッチ操作、音声入力等により入力し、この入力をアノテーション入力部５５７が受け付ける（ステップＳ１１３）。

　図１８Ａ～Ｃは、第１の画像データ及び第２の画像データにアノテーション結果を付与する状況を説明する図である。図１８Ａに示すように、合成画像Ｉｍ３１は重なり部分ＯＶをのりしろとして、図１８Ｂに示す合成前画像Ｉｍ３２と図１８Ｃに示す合成前画像Ｉｍ３３とが合成された画像である。ユーザは、合成画像Ｉｍ３１を確認して、腫瘍ＴＵの座標（Ｘ１，Ｙ１）を入力する。この座標を示す位置情報が合成画像Ｉｍ３１の画像データ（第２の画像データ）にアノテーション結果として付与される。

　その後、制御部５６５は、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われたか否かを判定する（ステップＳ１１４）。制御部５６５が、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われていないと判定した場合（ステップＳ１１４：Ｎｏ）、ステップＳ１１２に戻り、この画像に対するアノテーションが継続される。

　一方、制御部５６５が、この画像に対するアノテーションが終了したことを示す所定の操作入力が行われたと判定した場合（ステップＳ１１４：Ｙｅｓ）、記録制御部５６４は、アノテーション結果を画像ファイル用にメタデータ化する（ステップＳ１１５）。そして、付与部５５８は、表示用の合成画像Ｉｍ３１の画像データにアノテーション結果（メタデータ）を付与する。具体的には、図３Ａに示す画像ファイルＦａ１において、ブロックＢａ１に記録された表示用画像データ（合成画像Ｉｍ３１）に関連づけられて、ブロックＢａ２にアノテーション結果のメタデータが記録される。

　すると、反映部５５９は、アノテーション結果を対応する合成前画像の画像データ（第１の画像データ）に反映する（ステップＳ１１６）。具体的には、図１８Ｂ、Ｃに示すように、合成画像Ｉｍ３１に付与されたアノテーション結果（腫瘍ＴＵの位置情報）が合成前画像Ｉｍ３２及び合成前画像Ｉｍ３３に反映され、合成前画像Ｉｍ３２及び合成前画像Ｉｍ３３の画像データにアノテーション結果（腫瘍ＴＵの位置情報）が付与される。このとき、座標算出部５５６は、合成前画像Ｉｍ３２及び合成前画像Ｉｍ３３における腫瘍ＴＵの座標を算出する。合成前画像Ｉｍ３３における腫瘍の座標（Ｘ２１，Ｙ２１）は、合成画像の腫瘍の座標（Ｘ１，Ｙ１）と、Ｘ軸方向の重なり部分ＯＶの幅ΔＸ（図１８Ａ参照）と、合成前画像Ｉｍ３２のｘ軸方向の幅Ｘ０と、合成前画像Ｉｍ３２と合成前画像Ｉｍ３３とのＹ軸方向の位置ずれΔＹ（図１８Ａ参照）とを用いて、Ｘ２１＝Ｘ１－Ｘ０＋ΔＸ，Ｙ２１＝Ｙ１－ΔＹとして算出することができる。

　そして、記録制御部５６４は、アノテーション結果を画像ファイル用にメタデータ化する（ステップＳ１１７）。そして、付与部５５８は、合成前画像Ｉｍ３２及び合成前画像Ｉｍ３３の画像データにアノテーション結果（メタデータ）を付与する。

　図１９は、教師データとなる画像ファイルの一例を示す図である。図１９に示す画像ファイルＦａ１において、合成画像Ｉｍ３１の画像データがブロックＢａ１に記録され、合成画像Ｉｍ３１における腫瘍の座標（Ｘ１，Ｙ１）がアノテーション情報としてブロックＢａ２に記録される。

　この合成画像Ｉｍ３１は、特定部分ではあるが、比較的周辺を含めての全体像が分かりやすく、腫瘍の組織構造を熟知している専門家には、わかりやすくアノテーションしやすい画像となっている。

　一方、周辺までの情報がなくとも、あくまで腫瘍そのものにおける血管など組織起伏のパターンからＡＩ（人工知能）は、それを判定できるので、個々の合成前画像を教師画像にする。つまり、合成前画像データＩｍ３２及び合成前画像Ｉｍ３３がブロックＢａ３に記録され、人が付けた合成後座標の座標を合成前画像データＩｍ３２及び合成前画像Ｉｍ３３における腫瘍の座標（Ｘ１１，Ｙ１１）（腫瘍は合成前画像Ｉｍ３２の外にあるので画面の外の座標）及び座標（Ｘ２１，Ｙ２１）に計算しなおして、教師画像化する。これは、人間によるアノテーションを関連して記録された機械用の画像に置き換えるステップとなる。この変換座標がアノテーション情報としてブロックＢａ４に記録される。この時、「画面外」を示すメタデータを付ける例を図１９では図示したが、画面内座標が右下隅を原点（０，０）とする場合、画面の範囲を例えば（Ｘ１００、Ｙ１００）として、それを「画面範囲情報メタデータ」として記載して、さらにアノテーション位置がそれを超える、あるいはマイナス値となる座標値とすれば、画面外であることを伝える情報にすることが出来る。このように画面外情報もアノテーションできるようにすれば、腫瘍そのものが画面内になくとも、画面外にあるという画面外探索用の教師データを作ることも出来る。こうした画面外学習用の教師データも、この変形例３では簡単に専門家が作ることができ、この教師データで学習した推論モデルは、例えば、医師がたまたま、腫瘍部の方に撮像の範囲を向けなくとも、画面外に腫瘍があることを伝える、ガイド表示機能を提供することが出来る。特定の組織に出来がちな病変などの見逃し対策ができ、同様に体内でなくとも、特定の環境、状況下において起こりうる事象(松林におけるマツタケの所在、建築物のヒビの入りやすい場所など)を、その画像の特徴から、撮像範囲に入っていなくとも予測する推論モデルを提供できる。

　続いて、教師データ生成部５６０は、このアノテーション結果が付与された合成前画像データＩｍ３２及び合成前画像Ｉｍ３３を用いて教師データを生成する（ステップＳ１１８）。合成画像は全体が把握できるが、腫瘍部分からの比率では、はるかに広い面積の情報量が含まれてしまい、腫瘍そのものの画像特徴を学習する時にノイズになってしまう可能性があるが、このような工夫によって、腫瘍部と腫瘍以外部の組織との特徴差異の学習がより正確に行われることになる。

　その後、制御部５６５は、アノテーションが終了したことを示す所定の操作入力が行われたか否かを判定する（ステップＳ１１９）。制御部５６５が、アノテーションが終了したことを示す所定の操作入力が行われていないと判定した場合（ステップＳ１１９：Ｎｏ）、ステップＳ１１１に戻る。

　一方、制御部５６５が、アノテーションが終了したことを示す所定の操作入力が行われたと判定した場合（ステップＳ１１９：Ｙｅｓ）、一連の処理が終了する。

　このように、本変形例３はアノテーション座標情報をメタデータとして有する画像ファイルを作成して記録する記録方法としての発明となっており、観察対象を撮像した結果の複数の画像データを表示部に表示させるために合成画像処理を行い、表示部に表示された合成画像データの表示画像上において行ったアノテーション座標情報を取得し、表示部に表示されている合成画像データを構成する個々の画像データに対し、アノテーション座標情報を付与し、個々の画像データに対するアノテーション座標情報をメタデータとして有する画像ファイルを作成することができ、個々の画像データに対するアノテーション座標情報として画面外座標情報をメタデータとして有するので、画面外の対象物に対して見逃しのない観察装置や方法が提供できる。

　以上説明した変形例３によれば、合成画像に付与したアノテーション結果が合成前画像に反映されるため、このアノテーション結果が付与された合成前画像を用いて教師データを生成することができる。その結果、学習装置５６は、そのような教師データを用いることにより、高信頼性、高精度の推論モデルを生成することが可能となる。

　このように、人間の視覚特性に合わせた自然な視認性重視の合成画像で医師、専門家など人間が直感的に高速に判断し、大量にかつ正確にアノテーションを行いながら、合成前画像のようにオリジナルの情報を保持した画像が同様に大量かつ良質な教師データとされるので、豊富な情報で高精度の学習が可能となる。このような学習で得られた推論モデルは、合成前画像による画像データ入力で、上記のアノテーション結果に合わせた推論を行うので、高精度の推論となる。したがって、この推論結果に相当する情報を、関連する表示用画像（合成画像）に反映させて表示させることによって、オペレーター、観察者は高精度な推論結果を考慮した検討が出来る。この判断から、次の観察や処置などを適切に行うことが可能となる。

（変形例４）
　次に、変形例４に係る観察システムについて説明する。変形例４に係る観察システムの構成は、図９に示した実施の形態３の構成と同様であってよいので説明を省略する。

　図２０は、変形例４に係る観察システムが教師データ生成時に実行する処理の概要を示すフローチャートである。図２０により説明する例は、第１撮像部５３では観察対象全体を撮像することができず、第１撮像部５３及び第２撮像部５４が撮像した画像を合成してパノラマ化することにより、観察対象全体が観察できる場合である。第１撮像部５３により観察対象全体を撮像できる場合には、撮像部は１つでよいし、第１撮像部５３及び第２撮像部５４が撮像した画像を合成しても観察対象全体が撮像できない場合には、３つ以上の撮像部を用いてもよい。

　図２０に示すように、制御部５６５は、第１撮像部５３に観察対象物を撮像させる（ステップＳ１３１）。なお、制御部５６５は、撮像を行う際には常に照明部５２に観察対象物に対して照明光を照射させている。以下において、第１撮像部５３が撮像した画像を第１画像という。

　このとき、ガイド部５５３は、第１撮像部５３の位置をガイドしてもよい。具体的には、ガイド部５５３は、第１撮像部５３と観察対象との間の距離が適切でない場合、表示装置５７に「もっと近づけて下さい。」又は「もっと遠ざけて下さい。」といったメッセージを文字で表示させることにより第１撮像部５３の位置をガイドする。また、第１撮像部５３と観察対象との間の距離が適切になり、観察対象の全体が撮像できていない場合、ガイド部５５３は、表示装置５７に「ピントが合いましたが患部に続きがあります。」といったメッセージを文字で表示させ、撮像部を追加して撮像範囲を拡大するように促してもよい。なお、ガイド部５５３は、メッセージを音声で出力することにより、上述したガイドを行ってもよい。以下において、第２撮像部５４を追加する場合を説明する。

　続いて、制御部５６５は、第２撮像部５４に観察対象物を撮像させる（ステップＳ１３２）。以下において、第２撮像部５４が撮像した画像を第２画像という。

　このとき、ガイド部５５３は、第２撮像部５４の位置をガイドしてもよい。具体的には、ガイド部５５３は、第１撮像部５３と観察対象との間の距離と、第２撮像部５４と観察対象との間の距離とが異なりすぎて画像の合成ができない場合、ガイド部５５３は、表示装置５７に「第２撮像部を近づけて下さい。」又は「第２撮像部を遠ざけて下さい。」といったメッセージを文字で表示させることにより第２撮像部５４の位置をガイドする。なお、ガイド部５５３は、メッセージを音声で出力することにより、上述したガイドを行ってもよい。

　そして、判定部５５４は、第１画像と第２画像とが合成可能であるか否かを判定する（ステップＳ１３３）。具体的には、判定部５５４は、画像処理により、第１画像に含まれる特徴点（画像の特徴的な点、例えば病変の端部や出血点）と、第２画像に含まれる特徴点とを抽出し、互いの特徴点の位置を比較することにより重なり部分があるか否かを判定する。そして、判定部５５４は、重なり部分があり、さらに第１画像及び第２画像のピントが合っているか等を判定し、第１画像と第２画像とが合成可能であるか否かを判定する。

　判定部５５４が、合成可能ではないと判定した場合（ステップＳ１３３：Ｎｏ）、ガイド部５５３は、表示装置５７に合成用ガイドを表示する（ステップＳ１３４）。具体的には、ガイド部５５３は、上述したような、第２撮像部５４の位置をガイドするメッセージを表示装置５７に文字で表示させる。その後、ステップＳ１３２に戻る。なお、ガイド部５５３は、第１撮像部５３の位置をガイドするメッセージを表示装置５７に文字で表示させてもよく、この場合、ステップＳ１３１に戻る。また、ガイド部５５３は、第１撮像部５３及び第２撮像部５４の両方の位置をガイドしてもよく、この場合も、ステップＳ１３１に戻る。

　一方、判定部５５４が、合成可能であると判定した場合（ステップＳ１３３：Ｙｅｓ）、画像合成部５５５は、第１画像と第２画像とを合成し、パノラマ化する（ステップＳ１３５）。このとき、ガイド部５５３は、表示装置５７に「合成表示可能です。」といったメッセージを文字で表示させ、合成可能であることを通知してもよい。そして、画像合成部５５５は、第１画像と第２画像とを合成した合成画像を生成する。この合成画像には、観察対象全体が含まれているものとする。

　続いて、判定部５５４は、照明の調整が必要であるか否かを判定する（ステップＳ１３６）。具体的には、判定部５５４は、第１画像及び第２画像の輝度の分布に基づいて、第１画像又は第２画像に照明ムラがあるか否かを判定する。

　判定部５５４が、照明の調整が必要ではないと判定した場合（ステップＳ１３６：Ｎｏ）、ステップＳ１３８に進む。一方、判定部５５４が、照明の調整が必要であると判定した場合（ステップＳ１３６：Ｙｅｓ）、制御部５６５は、均一化照明制御、及び画像処理補正を行う（ステップＳ１３７）。具体的には、ガイド部５５３は、制御部５６５による制御のもと、第１画像又は第２画像の照明ムラを低減し、観察対象に照射される照明を均一にする（均一化照明制御）ため、表示装置５７に「照明ムラがあります。」といったメッセージを文字で表示させることにより、照明部５２とは異なる照明部を追加して照明ムラを解消するよう促してもよい。そして、医師等により観察対象に照明光を照射する照明部が追加されると、第１画像又は第２画像の照明ムラが低減し、照明が均一となる。このとき、ガイド部５５３は、照明を追加する位置を文字や音声でガイドしてもよい。また、ガイド部５５３は、照明部５２の位置や照明光を照射する方向を文字や音声でガイドしてもよい。また、画像処理部５５２は、制御部による制御のもと、第１画像又は第２画像の照明ムラを低減するため、画像処理に補正（画像処理補正）を加えてもよい。具体的には、画像処理部５５２は、第１画像又は第２画像において、輝度が小さい画素のゲインを増大させるとともに、輝度が大きい画素のゲインを減少させることにより、第１画像又は第２画像の照明ムラを低減し、照明が均一な画像とする。

　その後、判定部５５４は、合成画像に対する再修正が必要であるか否かを判定する（ステップＳ１３８）。具体的には、判定部５５４は、合成画像がボケているか否かや照明ムラがあるか否か等を判定し、この判定結果に基づいて、合成画像に対する再修正が必要であるか否かを判定する。

　判定部５５４が、合成画像に対する再修正が必要であると判定した場合（ステップＳ１３８：Ｙｅｓ）、ステップ１３１に戻る。一方、判定部５５４が、合成画像に対する再修正が必要ではないと判定した場合（ステップＳ１３８：Ｎｏ）、画像処理装置５５は、合成画像における腫瘍の位置を推定して、表示装置５７に表示させる推論表示処理を行う（ステップＳ１３９）。具体的には、推定部５６３は、学習装置５６が機械学習により生成した推論モデルを利用して、第１画像及び第２画像（第１の画像データ）に含まれる腫瘍の位置を推定する。すると、反映部５５９は、この腫瘍の位置情報を合成画像（第２の画像データ）に反映して付与する。そして、表示制御部５６１は、合成画像における腫瘍の位置を強調表示して表示装置５７に表示させる。

　続いて、制御部５６５は、撮影を行う指示入力を受け付けたか否かを判定する（ステップＳ１４０）。ユーザは、表示装置５７に表示された合成画像における腫瘍の位置を確認し、腫瘍の位置が正しく表示されておりこの画像の撮影を希望する場合に、表示装置５７に表示された撮影ボタンを押す等の操作入力を行う。制御部５６５は、この操作入力があったか否かを判定する。このとき、付与部５５８は、推定部５６３が推定した腫瘍の位置情報をアノテーション結果として第１画像及び第２画像に付与して記録部５６２に記録する。ただし、付与部５５８は、アノテーション入力部５５７がユーザの入力を受け付けて取得した腫瘍の位置情報をアノテーション結果として付与してもよい。

　制御部５６５が、撮影を行う指示入力がなかったと判定した場合（ステップＳ１４０：Ｎｏ）、ステップＳ１４６に進む。一方、制御部５６５が、撮影を行う指示入力があったと判定した場合（ステップＳ１４０：Ｙｅｓ）、記録制御部５６４は、上述した均一化照明制御や画像処理補正が行われた合成画像を記録部５６２に記録する（ステップＳ１４１）。

　続いて、制御部５６５は、均一化照明のために追加した照明部をなくす、または、照明部５２の位置や照明光を照射する方向を元に戻す（ステップＳ１４２）。

　そして、記録制御部５６４は、第１画像及び第２画像を記録部５６２に記録する（ステップＳ１４３）。このように、照明を均一にしない状態で撮像を行うのは、照明を均一化しないで腫瘍を探しているときにも腫瘍の位置を推定することができる推論モデルを生成するために、照明を均一にしない状態で撮像した教師データが必要となるからである。

　さらに、記録制御部５６４は、図３Ａに示すように、画像ファイルＦａ１のブロックＢａ１に均一化照明制御や画像処理補正が行われた合成画像を、ブロックＢａ３に第１画像及び第２画像を、ブロックＢａ２及びブロックＢａ４に腫瘍の位置情報を表すメタデータをそれぞれ記録し、一連の処理によって生成したデータをファイル化して記録部５６２に記録する（ステップＳ１４４）。

　続いて、教師データ生成部５６０は、このアノテーション結果が付与された第１画像及び第２画像を用いて教師データを生成する（ステップＳ１４５）。

　その後、制御部５６５は、教師データを生成する一連の処理を終了することを示す所定の操作入力が行われたか否かを判定する（ステップＳ１４６）。制御部５６５が、この一連の処理を終了することを示す所定の操作入力が行われていないと判定した場合（ステップＳ１４６：Ｎｏ）、ステップＳ１３７に戻る。

　一方、制御部５６５が、この一連の処理を終了することを示す所定の操作入力が行われたと判定した場合（ステップＳ１４６：Ｙｅｓ）、一連の処理を終了させる。

　以上説明した変形例４によれば、合成前の第１画像及び第２画像を用いて、学習装置５６が機械学習により生成した推論モデルが腫瘍の位置を自動的に推定し、医師や専門家は、観察しやすい合成画像において位置が推定された腫瘍を確認することができる。そして、医師や専門家が腫瘍であることを確認した画像がアノテーション結果とともに記録される。その結果、変形例４によれば、腫瘍の位置情報が付与された合成前の画像データ群である教師データを容易かつ大量に蓄積することができる。

　このように、人間の視覚特性に合わせた自然な視認性重視の合成画像で医師、専門家など人間が直感的に高速に判断し、大量にかつ正確にアノテーションを行いながら、合成前画像のようにオリジナルの情報を保持した画像が同様に大量かつ良質な教師データとされる（ここでは、均一照明や画像処理などの処理も行われていないので加工前画像と言える）ので、豊富な情報で高精度の学習が可能となる。合成前画像は合成後画像より数が多いので、それだけで大量の画像の教師データ化ができる。このような学習で得られた推論モデルは、合成前画像による画像データ入力で、上記のアノテーション結果に合わせた推論を行うので、高精度の推論となる。したがって、この推論結果に相当する情報を、関連する表示用画像（合成画像）に反映させて表示させることによって、オペレーター、観察者は高精度な推論結果を考慮した検討が出来る。この判断から、次の観察や処置などを適切に行うことが可能となる。

　上述した本開示の一実施の形態に係る教師データ生成装置に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る教師データ生成装置に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る教師データ生成装置で説明した構成要素を適宜組み合わせてもよい。また、ここでは医療用途を想定して内視鏡を例にした実施例で説明したが、内視鏡と書いた部分は光学系と撮像部とを含むカメラと読み替えることができる。車載カメラや監視カメラ、あるいは農業用のカメラなどにおいて、昼光と照明光、赤外光など、異なる撮影条件で、同様の対象物を検出する用途へ応用することが可能である。また、撮像機能を有する顕微鏡に対して応用することも可能である。こうした産業用途の他、民生用、科学用の画像に対しての学習・推論に対しても応用が可能である。また、一眼レフのようなカメラであれば、交換レンズで上記撮像部と光学系とは分離可能であり、内視鏡と書いた部分は撮像部又は撮像装置と読み替えることが出来る。

　また、本開示の一実施の形態に係る教師データ生成装置では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

　また、本開示の一実施の形態に係る教師データ生成装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

　また、本開示の一実施の形態に係る教師データ生成装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

　１、１１、５１　観察システム
　２　内視鏡
　３、１６、５５　画像処理装置
　４、１７、５６　学習装置
　５、１８、５７　表示装置
　１２　第１照明部
　１３　第２照明部
　１４、５３　第１撮像部
　１５、５４　第２撮像部
　２１、５２　照明部
　２２　撮像部
　３１、１６１、５５１　送受信部
　３２、１６２、５５２　画像処理部
　３３、１６３、５５７　アノテーション入力部
　３４、１６４、５５８　付与部
　３５、１６５、５５９　反映部
　３６、１６６、５６０　教師データ生成部
　３７、１６７、５６１　表示制御部
　３８、１６８、５６２　記録部
　３９、１６９、５６３　推定部
　４０、１７０、５６４　記録制御部
　４１、１７１、５６５　制御部
　５５３　ガイド部
　５５４　判定部
　５５５　画像合成部
　５５６　座標算出部
　Ｈ　被検体
　Ｏ　観察対象
　Ｔ　処置具
　ＴＵ　腫瘍

Claims

　観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けるアノテーション入力部と、
　前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映する反映部と、
　前記第１の画像データと該第１の画像データに反映された前記アノテーション結果とを用いて推論モデルを作成するための教師データを生成する教師データ生成部と、
　を備える教師データ生成装置。
　前記第２の画像データは、前記アノテーションを行う際に表示部に表示するための画像データである請求項１に記載の教師データ生成装置。
　前記異なる撮像態様は、前記表示部に表示する際に視認性を改善した処理である請求項２に記載の教師データ生成装置。
　前記第１の画像データは、ＲＡＷ画像の画像データであり、
　前記第２の画像データは、前記ＲＡＷ画像に画像処理を施した画像の画像データである請求項１に記載の教師データ生成装置。
　前記画像処理は、ガンマ補正、ホワイトバランスの調整、色補正、ノイズリダクション、又は画像強調処理の少なくとも１つを含む請求項４に記載の教師データ生成装置。
　前記第１の画像データは、前記観察対象に特殊観察光を照射した状態で撮像した画像の画像データであり、
　前記第２の画像データは、前記観察対象に照明光を照射した状態で撮像した画像の画像データである請求項１に記載の教師データ生成装置。
　前記第１の画像データは、複数の画像の画像データを含み、
　前記第２の画像データは、前記第１の画像データに含まれる前記複数の画像を合成した画像の画像データである請求項１に記載の教師データ生成装置。
　前記第１の画像データ又は前記第２の画像データに含まれる画像の座標を算出する座標算出部を備える請求項７に記載の教師データ生成装置。
　観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けて、
　前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、
　前記第１の画像データと該第１の画像データに反映された前記アノテーション結果とを用いて推論モデルを作成するための教師データを生成する教師データ生成方法。
　観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けるアノテーション入力部と、
　前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、前記第１の画像データと前記第２の画像データとを関連づけて記録する記録制御部と、
　を備える記録装置。
　観察対象を撮像して得た第２の画像データに対するアノテーションの入力を受け付けて、
　前記第２の画像データと同様の観察対象に関連し、かつ、撮像態様及び／又は表示態様の異なる第１の画像データに対し、前記アノテーション結果を反映し、
　前記第１の画像データと前記第２の画像データとを関連づけて記録する記録方法。
　観察対象を撮像した結果の画像データを表示部に表示させるために画像処理を行う画像処理部と、
　前記表示部に表示された画像データの表示画像上において行ったアノテーション情報を取得し、前記表示部に表示されている態様とは異なる態様における画像データに対し、前記アノテーション情報を付与する付与部と、
　前記異なる態様の画像データに対する前記アノテーション情報をメタデータとして有する、前記異なる態様の画像データの画像ファイルを作成して記録する記録制御部と、
　を備える記録装置。
　観察対象を撮像した結果の画像データを表示部に表示させるために画像処理を行い、
　前記表示部に表示された画像データの表示画像上において行ったアノテーション情報を取得し、前記表示部に表示されている態様とは異なる態様における画像データに対し、前記アノテーション情報を付与し、
　前記異なる態様の画像データに対する前記アノテーション情報をメタデータとして有する、前記異なる態様の画像データの画像ファイルを作成して記録する記録方法。
　観察対象を撮像した結果の複数の画像データを表示部に表示させるために合成画像処理を行い、
　前記表示部に表示された合成画像データの表示画像上において行ったアノテーション座標情報を取得し、前記表示部に表示されている合成画像データを構成する個々の画像データに対し、前記アノテーション座標情報を付与し、
　前記個々の画像データに対する前記アノテーション座標情報をメタデータとして有する画像ファイルを作成して記録する記録方法。
　前記画像ファイルを作成して記録する記録方法は、
　前記個々の画像データに対する前記アノテーション座標情報として画面外座標情報をメタデータとして有する請求項１４に記載の記録方法。