WO2023148857A1

WO2023148857A1 - 情報出力方法および情報出力装置

Info

Publication number: WO2023148857A1
Application number: PCT/JP2022/004106
Authority: WO
Inventors: 大伊藤; 浩一新谷; 優齋藤; 祐介山本; 貴行清水; 修野中; 賢一森島; 学市川
Original assignee: オリンパス株式会社
Priority date: 2022-02-02
Filing date: 2022-02-02
Publication date: 2023-08-10

Abstract

画像情報のみを出力する場合と、画像情報と関連情報（補助情報）を一緒に出力する場合に切り分けて出力することが可能な情報出力方法および情報出力装置を提供する。撮像部から時系列で、画像コマを構成する画像データを取得するステップ（Ｓ１）と、処理部が撮像部との通信によって画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップ（Ｓ４）と、対象物の推論結果を表示用または記録用に出力する出力ステップ（Ｓ６）と、画像コマ取得のタイミングで得られた関連情報を出力するステップ（Ｓ１６）と、撮像部と処理部との通信によって、画像コマの画像データに対応する関連情報を推論部に入力するかどうかを判定するステップ（Ｓ４、Ｓ１３）と、を有している。

Description

情報出力方法および情報出力装置

　本発明は、内視鏡等の撮像装置を有する医療機器において、撮像装置から順次得られる画像コマに関連情報を関連付けて情報を出力する情報出力方法および情報出力装置に関する。

　従来から、Ｘ線ＣＴ画像を用いて異常検出を行っている。Ｘ線ＣＴ画像は、解像度の高さと３次元情報が得られるという特徴から、異常を詳細に評価する際に好適である。例えば、特許文献１には、第１の医用画像を取得する取得部と、第１の医用画像から、情報量を削減した第２の医用画像を生成する一方、第１の医用画像から補助情報を抽出し、第２の医用画像と補助情報を入力として、疾患の推論を行う処理部を備えた診断支援装置が提案されている。この診断支援装置によれば、機械学習等の技術を用いて、Ｘ線ＣＴ画像等の高解像度３次元画像に基づいて、異常を効率的に検出できる。

特開２０２０－１９２００６号公報

　特許文献１に示されるように、画像情報から補助情報を抽出し、画像情報と補助情報を用いて処理することが知られている。しかし、特許文献１には、画像情報と補助情報を一緒に使用することを前提としており、画像情報のみを出力する場合と、画像情報と補助情報を一緒に出力する場合に切り分けて出力することについては何ら開示されていない。

　本発明は、このような事情を鑑みてなされたものであり、画像情報のみを出力する場合と、画像情報と関連情報（補助情報）を一緒に出力する場合に切り分けることが可能な情報出力方法および情報出力装置を提供することを目的とする。

　上記目的を達成するため第１の発明に係る情報出力方法は、撮像部から時系列で、画像コマを構成する画像データを取得するステップと、処理部が上記撮像部との通信によって上記画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップと、上記対象物の推論結果を表示用および／または記録用に出力するステップと、からなる情報出力方法において、上記画像コマの取得のタイミングで得られた関連情報を出力するステップと、上記撮像部と上記処理部との通信によって、上記画像コマの画像データに対応する上記関連情報を上記推論部に入力するかどうかを判定するステップと、を具備する。

　第２の発明に係る情報出力方法は、上記第１の発明において、上記関連情報を上記推論部に入力するかどうかの判定は、上記推論部のＩＤ情報に従って決定される。
　第３の発明に係る情報出力方法は、上記第１の発明において、上記関連情報は、上記画像データが、表示および／または記録可能な画像コマ情報に処理した時に用いたパラメータ情報である。

　第４の発明に係る情報出力方法は、内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得ステップと、上記画像コマ情報を視認可能な表示用情報に画像処理する画像処理ステップと、画像処理された上記視認可能な表示用情報を外部に出力する画像出力ステップと、順次取得した上記画像コマ情報に対応した関連情報を順次取得する関連情報取得ステップと、上記画像コマ情報を用いた推論を行う推論部から上記関連情報の取得に関する要求信号を取得する要求信号取得ステップと、上記要求信号の合否判定に従って上記画像コマ情報に対応した表示用情報と、当該画像コマに関連情報を併わせて出力する関連情報出力ステップと、を有する。

　第５の発明に係る情報出力方法は、上記第４の発明において、上記関連情報は、画像コマの番号に関する情報、上記画像コマの中の位置に関する情報、上記画像コマにおいて検出された物に関する情報、上記画像コマには写っていない物に関する情報の内の少なくとも１つである。
　第６の発明に係る情報出力方法は、上記第４の発明において、上記関連情報は、上記撮像素子のＲＡＷ画像情報、上記画像処理に使用されなかった撮像情報、上記撮像素子用の撮像レンズの光学情報、および上記内視鏡の操作情報の内の少なくとも１つである。　第７の発明に係る情報出力方法は、上記第４の発明において、上記要求信号取得ステップにおいて、さらに上記推論部のＩＤ情報を取得し、上記関連情報出力ステップにおいて、上記ＩＤ情報に関連した情報を上記表示用情報と併せて出力する。

　第８の発明に係る情報出力方法は、上記第４の発明において、上記要求信号の合否判定は、上記画像コマと当該画像コマの関連情報の出力相手を判定し、上記出力相手と契約関係にあることを確認し、この確認結果に基づいて、要求を受け入れるかどうかを決定する。
　第９の発明に係る情報出力方法は、上記第４の発明において、上記合否判定の結果、上記出力相手と契約関係にある場合には、上記要求信号に応じて、上記画像コマと当該画像コマに関連情報を合わせて出力し、一方、上記出力相手と契約関係にない場合には、上記画像コマのみを出力する。
　第１０の発明に係る情報出力方法は、上記第４の発明において、追加関連情報の有無を出力するステップと、追加関連情報の要求を入力するステップと、をさらに有する。

　第１１の発明に係る情報出力装置は、内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得部と、上記画像コマ情報を視認可能な表示用情報に画像処理する画像処理部と、画像処理された上記視認可能な表示用情報を外部に出力する画像出力部と、順次取得した上記画像コマ情報に対応した関連情報を順次取得する関連情報取得部と、上記画像コマ情報を用いた推論を行う推論部から上記関連情報の取得に関する要求信号を取得する要求信号取得部と、上記要求信号の合否判定に従って上記画像コマ情報に対応して表示用情報と、当該画像コマに関連情報を併わせて出力する出力部と、を有する。

　第１２の発明に係る情報出力方法は、撮像装置に設けられた撮像素子から画像コマデータを順次取得するステップと、上記画像コマデータを視認可能な表示用情報に画像処理するステップと、画像処理された上記視認可能な表示用情報を外部ディスプレイに表示するために出力する画像出力ステップと、上記撮像装置から順次取得した上記画像コマ情報に対応し、関連情報を順次取得するステップと、上記表示用情報を用いた推論を行う推論装置から上記関連情報の取得に関する要求信号を取得するステップと、上記要求信号の合否判定に従って上記画像コマと、当該画像コマに関連情報を併せて出力するステップと、を有する。

　第１３の発明に係る情報出力方法は、画像データに含まれる情報を推論して、推論結果を表示する情報出力方法において、撮像装置に設けられた撮像素子から画像データを順次取得するステップと、上記画像データを外部ディスプレイに表示および／または記録するために出力する画像データ出力ステップと、上記画像データを用いた推論を行う推論装置から上記画像データの取得に関する要求信号を取得するステップと、を有し、上記要求信号は、上記推論装置のＩＤ情報を含み、上記画像データ出力ステップは、上記画像データに、当該画像データを用いて推論した推論装置のＩＤ情報を併せて出力する。

　第１４の発明に係る情報出力方法は、撮像部から時系列で、画像コマを構成する画像データを取得するステップと、処理部が上記撮像部との通信によって上記画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップと、上記対象物の推論結果を表示用および／または記録用に出力するステップと、からなる情報出力方法において、上記画像コマの取得のタイミングで得られた関連情報を出力するステップと、上記撮像部と上記処理部との通信によって、上記画像コマの画像データに対応する上記関連情報を上記推論部に入力して得られた推論結果を表示および／または記録するかどうかを判定するステップと、を具備する。
　第１５の発明に係る情報出力方法は、上記第１４の発明において、上記関連情報を入力して得られた推論結果と、上記関連情報を入力せずに得られた推論結果を区別して表示および／または記録する。

　本発明によれば、画像情報のみを出力する場合と、画像情報と関連情報を一緒に出力する場合に切り分けて出力することが可能な情報出力方法および情報出力装置を提供することができる。

本発明の第１実施形態に係る内視鏡システムの主として電気的構成を示すブロック図である。本発明の第１実施形態に係る内視鏡システムの撮像動作を示すフローチャートである。本発明の第１実施形態に係る内視鏡システムにおける画像情報と関連情報を用いた推論を説明する図である。本発明の第２実施形態に係る内視鏡システムの主として電気的構成を示すブロック図である。本発明の第２実施形態に係る内視鏡システムの撮像動作を示すフローチャートである。本発明の第２実施形態に係る内視鏡システムの第２推論動作を示すフローチャートである。本発明の第３実施形態に係る内視鏡システムの主として電気的構成を示すブロック図である。本発明の第３実施形態に係る内視鏡システムの撮像動作を示すフローチャートである。本発明の第４実施形態に係る内視鏡システムの主として電気的構成を示すブロック図である。本発明の第４実施形態に係る内視鏡システムの撮像動作を示すフローチャートである。

　以下、本発明の好ましい実施形態として、本発明を内視鏡システムに適用した例について説明する。この内視鏡システムは、人体に挿入する挿入部に、撮像部が設けられている内視鏡装置１０と、撮像部から出力される画像情報を入力し、画像処理を行う処理装置２０とから構成される。

　前述したように、内視鏡装置１０は画像情報を処理装置２０に出力する際に、この画像情報に関連する関連情報を出力することが可能である。関連情報を出力するか否かは、内視鏡装置１０および／または処理装置２０の記録部に記録されている認証用信号に基づいて決定される。すなわち、内視鏡装置１０は、予め認証されている場合に限り、関連情報を処理装置２０に出力することができる。または、内視鏡装置１０が関連情報付きの画像情報を出力しても、処理装置２０が予め認証されていない場合には、関連情報付きの画像情報から関連情報を抽出することができない。

　関連情報は、処理装置２０において、推論や画像処理等を行う際に使用される。関連情報（補助情報）は、画像に加えて取得することによって、ＡＩがより高機能・高性能な処理ができるようになる種類の情報である。関連情報は、画像表示用の画像データに関連しながら、当該画像の再生そのものには特に影響を与えないような情報である。例えば、関連情報としては、画像データが、表示、または記録可能な画像コマ情報に処理した時に用いたパラメータ情報であってもよい。また、関連情報としては、画像コマの番号に関する情報、画像コマの中の位置に関する情報、画像コマにおいて検出された物に関する情報、画像コマには写っていない物に関する情報であってもよい。また、関連情報としては、撮像素子のＲＡＷ画像情報、画像処理に使用されなかった撮像情報、撮像部における撮像レンズの光学情報、内視鏡の操作情報等があってもよい。また、関連情報は、画像コマの画像データに関連する関連情報であれば、内視鏡装置１０そのものではなく、別の装置から取得してもよい。すなわち、関連情報の起源は内視鏡装置１０以外にあってもよい。処理装置２０は、関連情報を用いることによって、より精度の高い推論を行ったり、画像処理を行ったりすることができる。

　このように、本発明の好ましい実施形態においては、認証用信号（要求信号ともいう）に基づいて、関連情報を利用できるか否かを決定している。これは、処理装置２０において、不必要な関連情報を出力すると処理に負荷がかかることから、必要な場合に認証用信号に基づいて関連情報を出力するようにしている。また、関連情報の提供にあたって、契約関係を必要とする場合があり、契約関係があることが確認された場合に認証用信号（要求信号）を出力するようにしてもよい。

　次に、図１ないし図３を用いて本発明の第１実施形態に係る内視鏡システムについて説明する。この内視鏡システムは、内視鏡装置１０、処理装置２０から構成されている。内視鏡装置１０は、制御部１１、撮像部１２、画像処理部１３、通信部１４、記録部１５、関連情報部１６、時計部１７を有している。

　内視鏡装置１０内の各ブロック等は、内視鏡装置１０から分離して他の装置としても使用できる、いわばＩｏＴ機器として発展することを想定して、端末機器と同様のハードウエアを搭載した例を示している。しかし、内視鏡装置１０が処理装置２０と連携する等によって、役割を分担すれば、省略が可能な機能ブロックもある。内視鏡装置１０は、空洞や管状物の中に挿入して内部を観察するために、長い円筒状チューブからなる挿入部用の部分を備えているが、この挿入部は可撓性を有するものや有しないものがある。また挿入部の先端に撮像部１２が設けられていることが多い。

　撮像部１２は、撮像部、光源部、操作部および処置部を有する部分を想定している。撮像部は、撮像用の光学レンズ、撮像素子、撮像制御回路等を有する。また、自動焦点調節機能を有する場合には、焦点検出回路、自動焦点調節装置等を有する。光学レンズは対象物の光学像を形成する。撮像素子は光学像が形成される位置付近に配置され、光学像を画像信号に変換し、この画像信号をＡＤ変換した後に、画像処理部１３に出力する。撮像制御回路は、制御部１１から撮像開始指示を受けると、撮像素子から所定のレートで画像信号の読み出し制御等を行う。撮像部１２は、内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得部（取得回路）として機能する。撮像部１２内の撮像素子は、内視鏡内に設けられ画像コマ情報を順次取得する撮像素子として機能する。

　また、撮像部１２内の光源部は、観察を容易にするために、体腔内の消化管壁等を明るくするための照明を行う。光源部は、レーザ光源、ＬＥＤ光源、キセノンランプ、ハロゲンランプ等の光源を含み、また照明用の光学レンズを有する。照明光の波長に応じて組織の検出特性が変わるので、光源の波長を変える機能を有してもよく、波長変更に応じて、画像処理を変える手法なども知られている。検出は必ずしも医師が目視で行う必要はない。また撮像部１２内の操作部は、内視鏡静止画像の撮影指示、内視鏡動画像の撮影開始と撮影終了指示を行うための操作部材や、操作に関連して動作する動作部、処置部、機能実行部等を有する。また内視鏡画像のフォーカスの切替指示を行うための操作部材を有している。

　さらに、撮像部１２内の操作部は、内視鏡の挿入部の先端を湾曲させるための操作用アングルノブを有する。また、可撓管を通じて体腔内に送気・送水する機能や、空気や液体を吸引する機能を実行するための機能実行部を有する。また、処置部は、組織の一部をとる生体検査を行うための生検鉗子等の処置具等の機能実行部を有し、また、ポリープ等の患部を除去するためのスネア、高周波メス等の処置具を有する。これらの処置具等の機能実行部（大括りには操作部に分類してもよい）は、機能実行部を動作させる操作部材によって操作することができる。

　画像処理部１３は、画像処理回路を有し、撮像部１２から画像信号を入力し、制御部１１からの指示に応じて、現像処理等、種々の画像処理を施し、通信部１４および記録部１５に出力する。画像処理部１３における画像処理としては、画像の色味や明るさ調節の他、視認性を向上させるコントラスト強調やエッジ強調等の強調処理や、自然な階調にするための階調処理を行ってもよく、さらには、複数の画像コマを用いて画質を向上させるＨＤＲ（High Dynamic Range）処理や超解像処理等の複数枚合成等の処理を行ってもよい。画像処理部１３は、画像コマ情報を視認可能な情報に画像処理する画像処理部（画像処理回路）として機能する。なお、画像処理部１３は、処理装置２０内の画像処理部２３に上述した機能を委ね、内視鏡装置１０から省略してもよい。しかし、内視鏡装置１０がＩｏＴ機器として独立性を求める場合は、内視鏡装置１０内に画像処理部１３を設けておけば、外部へ画像送信を行うことができるなど、自由度を増すことができる。

　通信部１４は、通信回路を有し、処理装置２０内の通信部２２と、各種通信を行う。各種通信としては、例えば、非圧縮のデジタルビデオ信号を同軸ケーブル１本で伝送することができるＳＤＩ（Serial Digital Interface）や、デジタル家電やＡＶ機器間で高品位な映像や音声をやり取りするためのインターフェースとして知られるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などがある。ただし、前述したように、内視鏡装置１０が画像処理部１３を備えていない構成の場合には、低振幅な差動信号を使って高速にデータを伝送し、長い伝送距離に対応したＬＶＤＳ（Low voltage differential signaling）等のシリアル・インタフェースの通信方式を用いて、撮像部１２の信号を後段機器に送信してもよい。

　通信部１４は、例えば、画像処理部１３によって処理された体腔内の観察画像を示す画像データを処理装置２０に送信する（後述する図２のＳ５参照）。処理装置２０は、この画像データに基づいて表示部２４に体腔内の画像を表示する。また、契約等に基づいて関連情報（補助情報）を送信することが許可されている場合には、画像データに関連情報を関連付けて処理装置２０に送信する。動画の画像データを送信する際には、動画のコマを示す情報を付して送信し、関連情報が有る場合には、コマ情報にも関連付けてもよい。コマ情報としては、画像コマ（撮像コマ）の順番を示す情報でもよく、また撮像時点における日時情報等の時間を表す情報でもよい。また、通信部１４は、処理装置２０から要求信号等を受信する（後述する図２のＳ７、Ｓ９参照）

　また、図１では通信部１４は、処理装置２０の通信部２２とのみ通信を行うように接続されているが、処理装置２０以外の装置、例えばコンピュータ診断支援装置（ＣＡＤ）４０（以下、ＣＡＤボックス４０と称す）に画像データ等の情報を送信するようにしてもよい。この場合には、処理装置２０以外の他の装置が画像データを受信し、この画像データに基づく画像をディスプレイに表示することが可能である。

　つまり、内視鏡装置１０の仕様環境下で想定した処理装置２０が接続されていない場合に、ＣＡＤボックス４０等の外部機器が画像データ等を受信して、この外部機器が、処理装置２０における想定された処理以外の処理を実行し、何らかの結果を出力する可能性がある。処理装置２０を想定して検査を行う場合には、推論部２６の推論結果を表示することや、推論結果に基づいてガイドや制御することなどが前提となっている。しかし、ＣＡＤボックス４０等の外部機器が内視鏡装置１０からの画像データに基づいて何らかの処理を行った場合には、処理装置２０が想定している検査の場合と異なる結果が得られる可能性がある。外部装置が、内視鏡装置１０の開発時の意図とは異なる推論等を行うと、説明可能な結果ではなくなってしまう。例えば、ディープラーニングで得られた推論モデルがブラックボックスになってしまうと、その推論の根拠がわからなくなってしまう問題が生じうる。

　通信部１４の通信先が、スマートフォンなどの携帯端末やＰＣなどの情報端末になる場合も想定される。この場合には、通信先の装置・機器である情報端末が、独自のアプリケーションを用いて、内視鏡画像の加工や、内視鏡画像を用いた推論、さらには、内視鏡の操作部の制御や、操作の補助や、処置部や機能実行部の制御や補助をする可能性がある。これらの場合の適合性に対する責任の所在があいまいになる可能性があるので、曖昧にならないように対処することが望ましい。

　また、表示用の画像データを用いて推論する以外にも、記録された画像データを用いて推論を行ったり、推論モデルを作成したりする場合にも、同様の問題が発生する可能性がある。そこで、上述したように表示用に通信部から出力される画像データのみならず、記録部１５や記録部２５に記録された画像データについても、本願の技術思想が適用されることを想定している。

　通信部１４は、画像処理された視認可能な情報を外部に出力する画像出力部（画像出力回路）として機能する。通信部１４は、推論装置から関連情報の取得に関する要求信号を取得する要求信号取得部（入力回路、取得回路）ととして機能する。また、通信部１４は、要求信号の合否判定に従って画像コマ情報と、当該画像コマに関連情報を合わせて出力する出力部（情報出力回路）として機能する。

　記録部１５は、電気的に書き換え可能な不揮発性メモリを有する。この記録部１５は、画像処理部１３によって出力された画像データを記録する。また、記録部１５は、認証用データ１５ａを記録可能である。この認証用データ１５ａは、内視鏡装置１０や処理装置２０が、外部装置に画像データを出力する際に、関連情報（補助情報）を関連付けて出力することが許可されている場合に、認証用データ１５ａが記録部１５に記録される。例えば、内視鏡装置１０や処理装置２０の所有者や製造メーカ等と、外部装置の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データ１５ａを記録部１５に記録するようにしてもよい。また、処理に不必要な負荷をかけないために、関連情報を出力しないようにしたい場合には、認証用データ１５ａを記録しないようにしてもよい。また、記録部１５に制御部１１の制御のための情報を記録しておいてもよい。

　関連情報部１６は、関連情報（補助情報）を取得し、取得した関連情報を通信部１４および制御部１１に出力する。関連情報としては、例えば、撮像素子のＲＡＷ画像情報、画像処理に使用されなかった撮像情報、撮像部における撮像レンズの光学情報、内視鏡の操作情報等がある。画像処理部１３が処理した画像データに、関連情報が関連付けられる。この場合、画像コマ単位で関連情報が画像データに関連付けられる。関連情報部１６は、順次取得した画像コマ情報に対応し、内視鏡鏡から関連情報を順次取得する関連情報取得部（取得回路）として機能する。

　時計部１７は、クロック信号を発生し、また日時情報等の時間に関する時間情報を出力する。この時間情報は、撮像部１２から出力される画像データの各コマの撮像時を示す情報として使用される。例えば、画像コマに日時情報を付随させれば、いつ撮像された画像コマであるかが分かる。

　制御部１１は、ＣＰＵ（Central Processing Unit）等とその周辺回路およびメモリ等を有するプロセッサである。このプロセッサは１つであってもよく、また複数のチップから構成されてもよい。ＣＰＵはメモリに記憶されたプログラムに従って、内視鏡装置１０内の各部を制御することによって内視鏡装置１０の全体を実行する。内視鏡装置１０内の各部は、ＣＰＵによってソフトウエア的に制御することによって実現される。また、制御部１１は、処理装置２０内の制御部２１と協調して動作し、内視鏡装置１０と処理装置２０が一体となって動作するようにしてもよい。

　制御部１１内には、撮像開始読出制御部１１ａと、コマ情報部１１ｂを有する。撮像開始読出制御部１１ａおよび／またはコマ情報部１１ｂの機能は、プログラムによってソフトウエア的に実現されてもよく、またハードウエアによって実現されてもよい。撮像開始読出制御部１１ａは、医師が内視鏡装置１０の操作開始を指示した際に、撮像部１２に撮像開始を指示し、画像の読み出し制御を開始させる。コマ情報部１１ｂは、撮像部１２から出力される動画の画像データにコマの位置を示すコマ情報を生成する。画像データは所定のレートで読み出されるので、コマ情報としては撮像開始からのコマ番号でもよいし、撮像終了コマからのコマ番号でもよいし、適当なシーン検出が行われた時点を基準にし、この基準時点からのコマの番号でもよい。また、１コマごとでなくともよく、複数コマごとでもよく、また時計部１７から出力された時間情報に基づいてコマ情報を生成してもよい。

　処理装置２０は、内視鏡装置１０によって取得された画像データ等を受信し、画像データに基づいて観察画像を表示部２４に表示したり、また診察・診断支援用のアドバイス表示をしたりする。また、処理装置２０は、これらの画像データ等を記録する。なお、表示部そのものは、処理装置２０に設けずに、外部機器で行ってもよく、また、記録部も外部機器に設けて記録するようにしてもよい。この場合には、処理装置２０は、これらの表示処理や記録処理の制御を行えればよい。

　処理装置２０は、制御部２１、通信部２２、画像処理部２３、表示部２４、記録部２５、推論部２６、および時計部２７を有する。

　通信部２２は、通信回路を有し、内視鏡装置１０内の通信部１４と、各種通信を行う。この通信部２２は、前述したように、例えば、画像処理部１３によって処理された体腔内の観察画像を示す画像データを内視鏡装置１０から受信し、画像処理部２３に出力し、画像処理部２３は、表示部２４において表示可能な画像データとなるように画像処理を施し、この画像データを表示部２４に送信する。この表示部２４は、図１においては、処理装置２０の内部に設けられているが、処理装置２０の外部に設け、利用者の使い勝手に応じて、壁に掛けたり、机上に設置したりして使用してもよい。この場合には、画像処理部２３と表示部２４の間に、通信部１４と通信部２２と同様に、通信部を介在させればよい。但し、図１においては、説明を簡単にするために記載を省略している。

　この図示しない画像処理部２３と表示部２４の間に設ける通信部が用いる通信方式としては、例えば、非圧縮のデジタルビデオ信号を同軸ケーブル１本で伝送することができるＳＤＩ（Serial Digital Interface）や、デジタル家電やＡＶ機器間で高品位な映像や音声をやり取りするためのインターフェースとして知られるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などがあることは前述のとおりである。この不図示の通信部でも、通信を行えるので、外部装置であるＣＡＤボックス４０が、通信データ（画像データ）を利用して、何らかの処理や判定を行う可能性があり、この処理結果や判定結果が表示部２４に表示されることもある。この表示部は民生用のテレビやパソコン用のモニタなどが使用される場合もある。また、ＣＡＤボックスが類似の表示や警告を行う機能を有する可能性もある。

　また、通信部２２は、受信した画像データを推論部２６に出力する。推論部２６は、後述するように、画像データに基づいてアドバイスするための推論を行い、推論結果は、制御部２１を通じて画像処理部２３に送信され、画像にアドバイスが重畳される。また、通信部２２は、通信部１４を通じて、画像コマに対応する画像データを入力した際に、関連情報（補助情報）を利用する場合には、内視鏡装置１０に対して要求信号を送信する（後述する図２のＳ７参照）。

　画像処理部２３は、通信部２２によって取得された画像データに画像処理を施す。ここでの画像処理としては、例えば、前述したように、推論結果を体腔内の画像に重畳させるための画像処理等であってもよい。また、表示部２４における表示を行うための画像処理を行う。

　表示部２４は、表示用のディスプレイや表示制御回路等を有し、画像処理部２３によって画像処理された画像を表示する。なお、前述したように、表示部２４は、処理装置２０内に設けなくてもよく、外部の表示装置によって観察画像の表示を行うようにしてもよい。また、表示部２４は、記録部２５に記録されている体腔内の画像を表示してもよい。また、表示部２４は、推論部２６における推論結果、例えば、診察・診断支援用のアドバイスを表示してもよい。

　記録部２５は、電気的に書き換え可能な不揮発性メモリを有する。この記録部２５は、画像処理部２３によって出力された画像データを記録する。また、記録部２５は、認証用データ２５ａを記録可能である。処理装置２０が、外部装置（例えば、ＣＡＤボックス４０）に画像データを出力することが可能な場合であって、かつ関連情報（補助情報）を画像データに関連付けて出力することが許可されている場合に、許可されている旨を認証用データ２５ａに記録しておいてもよい。例えば、処理装置２０の所有者や製造メーカ等と、外部装置（例えば、ＣＡＤボックス４０）の所有者や製造メーカ等との間に、契約関係が成立している場合に、許可されている旨を認証用データ２５ａに記録するようにしてもよい。なお、内視鏡装置１０と処理装置２０の間、あるいは、処理装置２０とＣＡＤボックス４０の間における認証を想定した説明を行ったが、内視鏡装置１０とＣＡＤボックス４０が直接、通信を行う場合もあり、その場合は、この認証用データ２５ａが内視鏡装置１０の記録部１５の認証用データ１５ａに記録されているものとする。

　また、記録部２５は、画像処理部２３によって出力された画像データを記録する以外にも、画像コマの画像データに関連情報（補助情報）を関連付けて記録してもよい。この記録された関連情報付きの画像データを用いて教師データを作成し、この教師データを用いて学習し、推論モデルを生成してもよい。この場合、関連情報を画像データに埋め込んでおき、関連情報を読み出すことができれば、関連情報が加味された信頼性や性能の高い推論モデルを生成できる。

　また、記録部２５は、推論部２６における推論結果を記録してもよい。この場合、画像コマの画像データに関連付けて推論結果を記録するようにしてもよい。さらに、ＣＡＤボックス４０内の推論部から推論結果を入力できた場合には、推論元（ＩＤ情報）と共に記録部２５が記録してもよい。後述する第２推論部３６から推論結果を入力した場合も、同様に記録しても良い。すなわち、推論結果を記録する場合に、推論元（ＩＤ情報）がいずれの推論部であるかをエビデンスとして記録しておくとよい。

　上述したように、記録部２５に、どのような推論結果をどの推論モデルで推論したかの関係を明確にして記録することについて述べた。この記録にあたっては、画像データに対し、その画像データに対応する画像コマを利用して推論した結果の情報や、それを推論した推論モデルの情報を、関連づけて記録すればよい。また、各画像コマを表示する際にも、推論結果が、例えば、画面内に重畳される枠表示その他で表示される場合があり（画面内位置情報、画面内座標情報などでデータ化可能）、この場合にも、どの推論モデルが推論したかを併せて表示した方が良い。

　特に、図１に示すように、処理装置２０に内蔵の推論モデル２６に加えて外付けのＣＡＤボックス４０が推論する場合には、それぞれの推論部が異なる目的で機能する可能性もあり、推論結果の表示や記録が、どちらのモデルに起因するかを区別できるようにした方が良い。そのためには、画像データのファイルのメタデータ用に設けられた特定の複数の記録領域に、例えば、画面内の位置情報や推論結果を記録し、また、それぞれの記録領域ごとに対応させた、それぞれ別の記録領域に推論を行った推論モデル名等のＩＤ情報を記載するようにしてもよい。推論モデルがバージョンアップする場合は、そのバージョン情報や推論日等も合わせて記録するようにすればよい。また、情報量が多くなりすぎると、データが大型化し、取り扱い上の負担が増加するので、特定の推論モデルの推論結果を記録したり、表示したり選択可能にする本実施形態に示すような手法は、このような状況下でも効力を発揮する。

　上述したような工夫を行うことによって、撮像部から時系列で、画像コマを構成する画像データを取得し、処理部が撮像部との通信によって画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させ、対象物の推論結果を表示用または記録用に出力させる情報出力方法において、撮像部と処理部との通信によって、画像コマの画像データに対応する関連情報を推論部に入力して得られた推論結果を画像コマと併せて表示、または画像データと併せて記録するかどうかを判定するステップとを具備することを特徴とする情報出力方法も提供可能になる。また、関連情報を入力して得られた推論結果と、関連情報を入力せずに得られた推論結果を区別して表示したり、記録したりする方法も提供可能となる。

　なお、図１においては、記録部１５と記録部２５にそれぞれ認証用データを記録可能としているが、いずれか一方に記録可能とし、いずれか一方に認証用データが記録されている場合に、外部装置（例えば、ＣＡＤボックス４０）に、画像データを出力する際に、関連情報（補助情報）を関連付けて出力するようにしてもよい。

　推論部２６は、推論エンジンを備えており、内視鏡装置１０からの画像コマの画像データ等を入力し、例えば、医師に診断の際の支援を行うためのアドバイスを推論する。推論エンジンには、このアドバイスを推論するための推論モデルが設定されている。推論エンジンは、ハードウエアによって構成されていてもよく、またソフトウエアによって構成されていてもよい。推論エンジンに入力するデータとしては、画像コマの画像データに限らず、内視鏡装置１０から画像データと一緒に送信されてきた関連情報（補助情報）を入力し、推論するようにしてもよい。関連情報を用いて推論することによって、より信頼性の高い推論結果を得ることができる。そのため、関連情報を用いて推論した方が、信頼性が向上する場合には、内視鏡装置１０に対して、関連情報の送信を要求する要求信号を、通信部２２を通じて出力する。

　また、推論部２６は、内視鏡１０からの画像データや関連情報（補助情報）以外にも、例えば、画像処理部２３が生成する画像データを入力して推論してもよい。推論部２６は、画像データを入力し、推論モデルを用いて推論することによって、内視鏡装置１０の撮像部１２によって取得された画像の中に写っている対象物（臓器等）が何であるかを特定したり、その画像を区分けしたり（セグメンテーション）、分類したり、良否判定等の推論を行ってもよい。

　時計部２７は、クロック信号を発生し、また日時情報等の時間に関する時間情報を出力する。前述したように、撮像部１２から出力される画像データの各画像コマの撮像時を示す情報が付与されている場合には、時計部２７からの時間情報と同調させればよい。

　制御部２１は、ＣＰＵ（Central Processing Unit）等とその周辺回路およびメモリ等を有するプロセッサである。このプロセッサは１つであってもよく、また複数のチップから構成されてもよい。ＣＰＵはメモリに記憶されたプログラムに従って、処理装置２０内の各部を制御することによって処理装置２０の全体を実行する。また、制御部２１は、内視鏡装置１０内の制御部１１と協調して動作し、内視鏡装置１０と処理装置２０が一体となって動作するようにしてもよい。

　また、制御部２１は、通信部２２を通じて、処理装置２０が画像コマに対応する画像データを入力した際に、推論部２６において、画像コマに対応する画像データと共に関連情報（補助情報）を利用する場合には、内視鏡装置１０に対して要求信号を送信する（後述する図２のＳ７参照）。この要求信号は、認証用データ２５ａに基づいて行い、内視鏡は合否判定の結果、許可されれば、関連情報（補助情報）が送信されてくる（後述する図２のＳ１５参照）。なお、認証用データ２５ａに基づく要求信号は、内視鏡装置１０と処理装置２０の間で、通信を行った際に、送信してもよい。すなわち、画像データの受信前に内視鏡装置１０から許可を事前に取得できるようにしてもよい。

　図１に記載されたＣＡＤボックス４０は、処理装置２０の画像処理部２３が画像処理した画像データを入力できる場合がある。このＣＡＤボックス４０内には、通信部、制御部、推論部等を有する。推論部は、処理部２０から取得した画像データを入力し、推論を行い、推論結果を表示したり、処理装置２０等に出力したりすることができる。なお、前述したように、内視鏡装置１０の通信部１４が、ＣＡＤボックス４０の通信部と通信を行い、内視鏡装置１０が直接、ＣＡＤボックス４０に画像データを送信できるようにしてもよい。この場合、内視鏡装置１０とＣＡＤボックス４０の間で契約関係等が成立した際に、認証用データ等に基づいて合否判定を行い、関連情報（補助情報）をＣＡＤボックス４０に送信するようにしてもよい。この場合、ＣＡＤボックス４０内の推論部は、外部の推論装置として機能する。

　図１に記載された内視鏡システムは、下記のような構成を有しているといえる。撮像素子から時系列で、画像コマを構成する画像データを取得する撮像部（取得回路）（例えば、撮像部１２）と、対応する画像コマの中に撮像された特定の対象物を推論（例えば、対象物の特定、セグメンテーション、分類、良否判定等の推論）させるために、画像データを、推論部（推論エンジン）（例えば、推論部２６）を有する処理部（プロセッサ）に出力する出力部（出力回路）（例えば、通信部１４）と、対象物の推論結果を表示用および／または記録用に出力する出力部（出力回路）（例えば、表示部２４や記録部２５への出力部）と、を具備しており、画像コマ取得のタイミングで得られた関連情報を出力し（例えば、後述する図２のＳ５参照）、撮像部（取得回路）と処理部（プロセッサ）との通信によって、画像コマの画像データに対応する関連情報を推論部（推論エンジン）に入力するかどうかを判定している（例えば、後述する図２のＳ１１～Ｓ１３参照）。

　また、図１に記載された内視鏡システムは、下記のような構成を有しているともいえる。内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得部（情報取得回路）（例えば、撮像部１２）と、画像コマ情報を視認可能な情報に画像処理する画像処理部（画像処理回路）（例えば、画像処理部１３）と、画像処理された視認可能な情報を外部に出力する画像出力部（画像出力回路）（例えば、通信部１４）と、順次取得した画像コマ情報に対応し、内視鏡鏡から関連情報を順次取得する関連情報取得部（関連情報取得回路）（例えば、関連情報部１６）と、推論部から関連情報の取得に関する要求信号を取得する要求信号取得部（要求信号取得回路）（例えば、通信部１４）と、要求信号の合否判定に従って画像コマ情報と、当該画像コマに関連情報を併わせて出力する出力部（出力回路）（例えば、通信部１４）と、を有している。

　次に、図２に示すフローチャートを用いて、内視鏡システムにおける撮像動作について説明する。このフローは、制御部１１および制御部２１内の各ＣＰＵがプログラムに従って、内視鏡装置１０と処理装置２０を協働させることによって実現する。

　図２に示すフローの動作が開始すると、まず、撮像制御を開始する（Ｓ１）。ここでは、制御部１１内の撮像開始読出制御部１１ａが、撮像部１２内の撮像素子および撮像制御回路に対して、撮像動作の開始を指示する。撮像動作は、予め決められたフレームレートの時間間隔で１画面（１フレーム）分の撮像信号を読み出す。撮像動作はステップＳ１７において、撮像動作が終了と判定されるまで繰り返し続行する。

　次に、撮像および画像処理を行う（Ｓ３）。ここでは、撮像部１２が撮像動作を行い、画像処理部１３は、撮像部１２内の撮像素子からの画像信号を、視認可能な情報となるように、画像処理する。なお、このステップにおいて、画像処理を行っているが、画像処理を省略し、撮像によって画像信号を取得するだけでもよい。続いて、画像コマを把握し、処理結果を出力する（Ｓ５）。撮像素子からは、所定の時間間隔（レート）で１コマ分の画像信号が読み出される。そこで、このステップＳ５では、１コマ分の画像コマに対応する画像データ単位で、画像処理を行い、画像処理が施された画像データを通信部１４および記録部１５に出力する。また、関連情報部１６は、画像コマを把握する際に、画像コマ毎に関連情報を取得する。

　次に、要求信号を判定する（Ｓ７）。処理装置２０は、内視鏡装置１０からの画像データを用いて推論する場合に、画像コマの画像データに関連付けられている関連情報（補助情報）を利用する場合がある。この場合に、処理装置２０は、画像データに関連情報（補助情報）を関連付けて送信することを要求信号として、内視鏡装置１０に送信して来る。要求信号は、アナログ信号でもよく、デジタル信号でもよく、またデジタルデータであってもよい。このステップＳ７では、処理装置２０からの要求信号の有無を検出する。要求信号として、さらに推論部のＩＤ情報を取得してもよい。内視鏡装置１０からの画像データは、複数の推論部において、それぞれ推論される場合があることから、いずれの推論部に送信した画像データ（および関連情報）であるかを認識できるようにするために、画像データ等を送信するに先立って推論部のＩＤ情報を取得しておいてもよい。

　なお、処理装置２０に限らず、処理装置２０と接続しているＣＡＤボックス４０が、関連情報（補助情報）を要求してくる場合があるので、ＣＡＤボックス４０からの要求信号を判定するようにしてもよい。すなわち、画像コマに関連する関連情報（補助情報）は推論装置における推論に使用されるので、内視鏡装置１０の外部装置であって、推論装置を有する装置から受信した要求信号を判定できるようにしてもよい。また、関連データに対する要求は、画像データに対する要求でもよい。

　次に、要求信号があったか否かを判定する（Ｓ９）。ここでは、ステップＳ７において、要求信号の有無の検出結果に基づいて判定する。

　ステップＳ９における判定の結果、要求信号があった場合には、合否判定を行う（Ｓ１１）。本実施形態においては、例えば、内視鏡装置１０や処理装置２０の所有者や製造メーカ等と、外部装置の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データ１５ａおよび／または認証用データ２５ａが記録部に記録されている。そこで、ステップＳ１１においては、認証用データが記録部に記録されているか否かを検出する。処理装置２０内の記録部２５に認証用データ２５ａが記録されている場合には、内視鏡装置１０と処理装置２０を接続した際に、通信部を通じて認証用データ２５ａを内視鏡装置１０内に転送しておいてもよく、また、ステップＳ７を実行する際に、処理装置２０と通信によって確認するようにしてもよい。

　言い換えると、要求信号の合否判定は、画像コマの画像データとこの画像コマの関連情報を出力する出力先を判定し、出力先と契約関係にあるか否かを確認し、この確認結果に基づいて、要求を受け入れるかどうかを決定する。すなわち、合否判定の結果、出力先と契約関係にある場合には、要求信号に応じて、画像コマの画像データとこの画像コマに関連する関連情報を合わせて出力し、一方、出力先と契約関係にない場合には、画像コマの画像データのみを出力する。また、契約関係以外にも他の事情に応じて、合否判定を行ってもよい。ステップＳ１１においては、認証用データが記録されていれば、「合」であり、記録されていなければ、「否」である。合否判定には、認証用データの合致を確認する以外にも、種々のやり方があり、これらについては、本フローを説明した後にまとめて説明する。

　ステップＳ１３における判定の結果、「否（不許可）」でなければ、すなわち、「合（許可）」であれば、画像コマ対応の関連情報を出力する（Ｓ１５）。ここでは、契約関係が成立していることから、関連情報を関連付けた撮像コマの画像データを、処理装置２０に出力する。この関連情報が関連付けられた画像データは、処理装置２０を通じて、外部装置であるＣＡＤボックス４０に出力可能となる。一方、要求信号がなかった場合および／または「否」であった場合には、関連情報が関連付けられていない画像データのみが、処理装置２０に出力される。

　ステップＳ１５において関連情報付きの画像データを出力すると、またはステップＳ１３における判定の結果が「否」であった場合、またはステップＳ９における判定の結果、要求信号がなかった場合には、次に、終了か否かを判定する（Ｓ１７）。医師が内視鏡検査の終了操作等を行った場合には、終了と判定する。この判定の結果、終了でない場合には、ステップＳ１に戻り、一方、終了であった場合には、終了処理を行った後、本フローを終了する。

　このように、図２に示すフローにおいては、処理装置２０が関連情報を要求する場合には、内視鏡装置１０に要求信号を送信してくる（Ｓ７、Ｓ９参照）。要求信号があった場合には、内視鏡装置１０は、関連情報付きの画像データを送信することが許可されているか否かを判定し（Ｓ１１、Ｓ１３参照）、許可されている場合には、画像コマに対応する関連情報付きの画像データを処理装置２０に送信する（Ｓ１５参照）。

　図２に示すフローは、さらに別の見方をすると、内視鏡の撮像素子からの画像コマ情報を順次取得する画像コマ情報取得ステップと（Ｓ１参照）、画像コマ情報を視認可能な情報に画像処理する画像処理ステップと（Ｓ３参照）、視認可能な表示用情報を外部に出力する画像出力ステップと（Ｓ５参照）、順次取得した画像コマに対応し、順次得られる関連情報を取得する関連情報取得ステップと（Ｓ５参照）、画像コマ情報を用いた推論を行う推論部（専用の推論装置である必要はなく、推論機能を有していればよい）からの関連情報の要求信号を取得する要求信号取得ステップと（Ｓ７、Ｓ９参照）、要求信号の合否判定に従って画像コマ情報に対応した表示用情報と、当該画像コマに関連情報を併わせて出力する出力ステップと（Ｓ１５参照）、を有している。

　上述したように、図２のステップＳ７、Ｓ９において、画像コマ情報を用いた推論を行う推論部からの関連情報の要求信号を取得している。具体的には、これらのステップにおいては、推論部のＩＤ情報を取得しておいてもよく、さらに、ステップＳ１６において、表示用情報を外部に出力する際に、ＩＤ情報に関連した情報を表示用情報と併せて出力してもよい。すなわち、要求信号取得ステップにおいて、さらに推論部のＩＤ情報を取得し、出力ステップにおいて、ＩＤ情報に関連した情報を表示用情報と併せて出力している。

　なお、本実施形態においては、要求信号があった場合に合否判定を行い（Ｓ１１）、許可されている場合に、関連情報付きの画像データを送信していた（Ｓ１５）。しかし、これに限らず、例えば、合否に関わりなく、暗号化した関連情報付きの画像データを送信し、画像処理装置２０において、許可されている場合に、復号化するようにしてもよい。この場合には、画像処理装置２０において暗号キーを保持しておく。また、関連情報と画像データを別々に送信するようにしてもよい。すなわち、許可されている場合にのみ、関連情報を送信し、画像処理装置２０において、画像コマ毎に画像データに関連付けるようにしてもよい。いずれにしても、許可されている場合にのみ、画像処理装置２０（場合によっては、ＣＡＤボックス４０）が、関連情報を取得できるようにすればよい。

　前述したように、内視鏡装置１０内に記録されている認証用データ１５ａが記録されていないと、どの装置に情報を出力し、どの装置に出力しないかについて、制御部１１が決定することができない。ステップＳ１１における合否判定においては、記録部１５に記録された認証用データ１５ａを参照し、この認証用データに対応する信号を出力する機器にのみ、ステップＳ１５において、補助情報を送信するようにしてもよい。また、処理装置２０記録部２５に記録された認証用データ２５ａの内容を通信で確認し、記録部１５に記録された認証用データ１５ａと照合できれば補助情報を出力するという方法を採用してもよい。また、内視鏡装置１０（処理装置２０でもよい）に記録された情報にアクセスできる機器だけが、補助情報を受け取れるような構成でもよい。内視鏡装置１０にある情報にアクセスできれば、処理装置２０の制御部２１が、データの読み出しや解読が出来るという方法を採用してもよい。

　また、情報が画一的であったり規則的であったりすると、個々の機種ごとの取り決めが出来ず、一括になってしまうので、認証情報は、機器ごとにユニークなものを持つようにした方が良い。例えば、内視鏡装置１０と処理装置２０を略同時に製造して、製造工程でペアリングする方法もあれば、市場に出荷する際にデータベース管理した情報から、対応するものを記録して出荷する方法もある。また、インターネット等を通じて、両方の機器に対応する情報を割り振って送信し、この情報を各機器に記録させる方法もある。また、接続状態で、どちらかの機器に送信すれば、機器同士で認証の方法を確立するような工夫を行うことも可能である。

　また、内視鏡装置１０の記録部１５に、どのような補助情報が、どのような規則で出力されるかなどを示す情報を記録しておけば、この情報に応じて処理装置２０側が、必要とする情報を選択的に受け取ることを可能としてもよい。

　また、ＣＡＤボックス４０は、上述したような内視鏡装置１０と処理装置２０の間で相互の認証などが確立している状況下で、異なる推論などを行って表示等をすると、利用者が混乱してしまう。そこで、ＣＡＤボックス４０を利用する時には、処理部２０の推論部２６の推論結果と、ＣＡＤボックス４０による推論結果を、分けて表示できるようにすることが好ましい。そのためにも、ＣＡＤボックス４０内の制御部（不図示）は、処理部２０内の制御部２１と連携して、表示の仕方等を取り決めた情報を出力する方がよい。また、このような取り決めを仕様的に整合してあるか否かは、機器間の認証が出来たか否かに基づいて、確認できるようにしてもよい。特定の機器の組合せでトータルな性能や仕様が決まるシステム機器の場合、情報の突き合わせやお互いの機能分担などの確認方法が分からないと、ユーザが混乱してしまうおそれがあるので、確認方法を取り決めておくとよい。

　また、本実施形態においては、内視鏡装置１０のコマ情報部１１ｂや関連情報部１６が収集した関連情報があることを、処理装置２０等、内視鏡装置１０の外部に通知してはいない。しかし、関連情報があること（場合によっては、その関連情報の種類）を、処理装置２０等の外部装置に通知するようにしてもよい。そして、処理装置２０等の外部装置は、内部の推論部等において関連情報を利用するために、内視鏡装置１０に関連情報の出力を要求するようにしてもよい。この場合には、ステップＳ５において、関連情報があることを外部装置に通知し、ステップＳ７において外部装置からの要求信号を判定するようにしてもよい。この変形例では、追加関連情報の有無を出力するステップと、　追加関連情報の要求を入力するステップと、を有する。

　なお、図２においては、ステップＳ１５において、内視鏡装置１０が、画像コマ対応の関連情報を出力している。しかし、内視鏡装置１０以外の装置から関連情報を出力するようにしてもよい。例えば、処理装置２０内やＣＡＤボックス４０内の推論部が推論した結果を参考に閲覧する医師の様子を、外部のカメラで撮像した画像を、画像コマのタイミングで関連情報として出力してもよい。

　また、図２に示した撮像のフローにおいては、内視鏡装置１０と処理装置２０の全体的な動作が記載されており、処理装置２０の単独の動作について直接の記載がない。処理装置２０は、内視鏡装置１０の撮像部から時系列で、画像コマを構成する画像データを入力するステップと、関連情報を入力するために要求信号を出力するステップと、画像コマ取得のタイミング得られた関連情報を入力するステップと、対応する画像コマの中に撮像された特定の対象物を推論するために、画像データと関連情報を推論部に入力させるステップと、対象物の推論結果を表示用または記録用に出力するステップと、を実行する。具体的には、内視鏡装置１０に対して、認証用データ２５ａに基づいて、要求信号を送信する。すなわち、制御部２１が、内視鏡装置１０の制御部１１に対して、処理装置２０が補助情報を受け取る権利があるかないかの情報を伝達する。この補助情報の受信が許可されているか否かの方法については、上述した認証用データ１５ａの認証方法等、種々の方法を利用することができる。

　次に、図３を用いて、画像コマ毎に関連付けられた関連情報（補助情報）の出力タイミングと、ＡＩを用いた推論結果の出力について説明する。図３の左側には、各時刻Ｔ１～Ｔ９において、時系列的に取得した画像コマの画像データＰ１～Ｐ９を示す。また、各画像データＰ１～Ｐ９を取得する際に、併せてコマ情報部１１ｂは、各画像コマの画像データに関連付けて関連情報を取得する。

　この例では、関連情報は、補助情報１、補助情報とからなる。補助情報１は、内視鏡装置の先端部から観察対象物（例えば、消化管壁）までの距離を示す。図３の例では、時刻Ｔ５、Ｔ６において観察対象物までの距離がそれぞれ１ｃｍであることを示している。これ以外のタイミングでは、観察対象物までの距離が計測不能である。なお、時刻Ｔ６において画像Ｐ６を取得するタイミングにおいて、医師が腫瘍等の患部を発見している。また、補助情報２は、内視鏡装置の操作情報を示す情報であり時刻Ｔ１、Ｔ２は内視鏡装置の挿入時であり、時刻Ｔ４～Ｔ６は、観察対象物へのアプローチ時であることを示す、時刻Ｔ８、Ｔ９は内視鏡装置の抜去時であることを示す。これらの補助情報１、２は、対応する各コマの画像データに関連付けて記録することができる。

　図３の右側には、画像データＰ１～Ｐ９を出力し、推論エンジン１００ａ、１００ｂの入力層に画像データを入力し、推論結果（鑑別結果）１０１ａ、１０１ｂを出力する構成を示す。推論エンジン１００ａ、１００ｂは、推論エンジン２６と同様に、医師等に提示するアドバイスを推論するための推論モデルが設定されている。推論エンジンは、ハードウエアによって構成されていてもよく、またソフトウエアによって構成されていてもよい。図３に示す例では、内視鏡検査時に医師が発見した腫瘍等の患部（時刻Ｔ６の画像Ｐ６参照）に対応する画像が推論結果（鑑別結果）１０１ａ、１０１ｂとして出力される。

　推論エンジン１００ａには、補助情報１、２は入力されず、画像データＰ１～Ｐ９が入力され、推論エンジン１００ａは推論結果１０１ａを出力する。一方、推論エンジン１００ｂには、画像データＰ１～Ｐ９に加えて、補助情報１、２が入力され、推論エンジン１００ｂは推論結果１０１ｂを出力する。補助情報１、２は、前述したように、画像データＰ１～Ｐ６の像コマ毎に対応する補助情報１、２が関連付けられている。距離情報を示す補助情報１と、操作情報を示す補助情報２は、医師等に出力するアドバイスを推論する際に、重要なヒントが含まれていることから、各画像コマの画像データに関連付けられている補助情報１、２を使用して推論する際に、推論結果の信頼性を向上させることができる。

　なお、画像データＰ１～Ｐ９の画像コマに対応する関連情報（補助情報１、２）を関連付けて出力するか否かは、前述したように、例えば、内視鏡装置１０や処理装置２０の所有者や製造メーカ等と、外部装置の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データ１５ａが記録部１５に記録されているので、この記録がなされているか否かに基づいて決定すればよい。

　ここで、推論エンジンが行う深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

　ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

　これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

　その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

　次に、図４ないし図６を用いて、本発明の第２実施形態について説明する。第１実施形態においては、処理装置２０において、画像データに基づいてアドバイスを出力するための推論を行っていた。この第２実施形態においては、更に、第２処理装置３０を配置し、この第２処理装置３０において、特殊なアドバイスを行うための第２推論を行っている。すなわち、第１推論部は一般的な内視鏡検査のアドバイスを行うことができるのに対して、第２推論部は第１推論部における推論結果に基づいて、さらにレベルの高い推論を行うことができる。また、第２推論部は、特殊な推論を行い、第１推論部では推論できないような特別のアドバイスを行うことができる。

　第２実施形態に係る内視鏡システムの構成において、内視鏡装置１０の内部構成は、図１に示した内視鏡装置１０と同様であることから、図４においては、内視鏡装置１０の内部構成は省略してある。また、処理装置２０の内部構成も図１に示した処理装置２０に、第２通信部２８が追加されている以外は、図１の処理装置２０と同様の構成であることから、第２通信部２８について説明し、他の構成についての詳しい説明を省略する。

　第２通信部２８は、通信回路を有し、処理装置２０と、処理装置３０内の通信部３２と各種通信を行う。この通信部２８は、画像処理部２３が内視鏡装置１０からの画像データの画像処理を行うので、通信部２８は、画像処理された画像データを、第２処理装置３０内の通信部３２に送信する。第２通信部２８は、直接、制御部２１等からのデータ等を通信部３２に送受信できるようにしてもよい。

　なお、制御部２１は、第２処理部装置３０内の認証用データ３５ａに基づいて、関連情報付きの画像データの送信が許可されているか否かを判定し、許可されている場合のみ、関連情報付き画像データを第２処理装置３０に送信し、一方、許可されていない場合には、関連情報なしの画像データのみを第２処理装置３０に送信するようにしてもよい。また、制御部２１は、第２処理部装置３０内の認証用データ３５ａに基づいて、推論部２６の推論結果を第２処理装置３０に送信することが許可されている場合には、画像処理部２３、第２通信部２８を通じて第２処理装置３０に送信してもよい。このために、制御部２１は、第２処理装置３０に要求信号を送信し、認証用データ３５ａを取得することができる。　

　また、第２実施形態における推論部２６の推論モデルは、内視鏡検査において、一般的なアドバイスを行うためのものである。また、本実施形態においては、画像処理部２３において画像処理が施された画像データは、第２処理装置３０内の通信部３２に出力される。図４においては、画像処理部２３から通信部３２に出力しているが、処理装置２０内の通信部２２を通じて、通信部３２に出力するようにしてもよい。

　また、制御部２１は、ＣＰＵ（Central Processing Unit）等とその周辺回路およびメモリ等を有するプロセッサである。このプロセッサは、第１実施形態の場合と同様に、１つであってもよく、また複数のチップから構成されてもよい。ＣＰＵはメモリに記憶されたプログラムに従って、処理装置２０内の各部を制御することによって処理装置２０の全体を実行する。また、制御部２１は、内視鏡装置１０内の制御部１１と、第２処理装置３０内の制御部３１と協調して動作し、内視鏡装置１０、処理装置２０、および第２処理装置３０が一体となって動作するようにしてもよい。

　第２処理装置３０は、処理装置２０と同様に、画像データと補助情報を受信し、これらの情報を第２推論部３６に入力し、推論部２６と比較すると、より特殊なアドバイスを行うことができる。なお、第２処理装置３０においても、表示部そのものは、処理装置３０に設けずに、外部機器で行ってもよく、また、記録部も外部機器に設けて記録するようにしてもよい。処理装置３０は、これらの表示処理や記録処理の制御を行えればよい。

　第２処理装置３０は、制御部３１、通信部３２、画像処理部３３、表示部３４、記録部３５、第２推論部３６、および時計部３７を有する。

　通信部３２は、通信回路を有し、内視鏡装置１０内の通信部１４と、処理装置２０内の通信部２２と各種通信を行う。この通信部３２は、内視鏡装置１０から体腔内の観察画像を示す画像データを受信し、この画像データに画像処理を施した後に表示部３４に画像を表示する。また、通信部３２は、内視鏡装置１０および処理装置２０から受信した画像データを推論部３６に出力する。推論部３６における推論結果は、画像処理部３３において画像処理された後に、内視鏡画像に重畳して表示部３４に表示される。

　　第２推論部３６は、第１実施形態と同様に、推論エンジンを備えており、内視鏡装置１０からの画像データや関連情報等を入力し、医師に診断の際の支援を行うためのアドバイスを推論する。推論エンジンには、このアドバイスを推論するための推論モデルが設定されている。第２推論部２６に設定されている推論モデルは、特殊な（専門化）アドバイス、例えば、特殊な症状に対して特化したアドバイスを行うことができる。推論エンジンは、ハードウエアによって構成されていてもよく、またソフトウエアによって構成されていてもよい。

　第２推論部３６の推論エンジンに入力するデータとしては、画像データに限らず、内視鏡装置１０から画像データと一緒に送信されてきた関連情報（補助情報）を入力し、推論するようにしてもよい。関連情報を用いて推論することによって、より信頼性の高い推論結果を得ることができる。また、関連情報を用いて推論することによって、前述した特殊な症状等に専門性を発揮できるアドバイスを行うことができる。なお、推論部３６に入力される関連情報（補助情報）は、通信部１０を通じて、第２処理装置３０内の通信部３２に送信される。関連情報を内視鏡装置１０に要求する場合には、通信部３２および通信部１４を通じて、要求信号を出力する。

　画像処理部３３は、画像処理部２３と同様に、通信部３２によって取得された画像データに画像処理を施す。ここでの画像処理としては、例えば、前述したように、推論結果を体腔内の画像に重畳させた画像となるようにする。表示部３４および時計部３７は、第１実施形態における表示部２４および時計部２７と同様であることから、詳しい説明を省略する。

　記録部３５は、電気的に書き換え可能な不揮発性メモリを有する。この記録部３５は、画像処理部３３によって出力された画像データを記録する。また、記録部３５は、認証用データ３５ａを記録可能である。この認証用データ３５ａは、内視鏡装置１０が第２処理装置３０に画像データを出力する際に、関連情報（補助情報）を関連付けて出力することが許可されている場合に、認証用データ３５ａが記録部３５に記録される。同様に、処理装置２０が、第２処理装置３０に画像データを出力する際に、関連情報（補助情報）を関連付けて出力することが許可されている場合に、認証用データ３５ａが記録部３５に記録される。例えば、処理装置２０（内視鏡装置１０でもよい）の所有者や製造メーカ等と、第２処理装置３０の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データ３５ａを記録部３５に記録するようにしてもよい。

　なお、図４においても、記録部１５（図１に図示）と記録部２５にそれぞれ認証用データを記録可能としているが、いずれか一方に記録可能とし、いずれか一方に認証用データが記録されている場合に、第２処理装置３０に、画像データを出力する際に、関連情報（補助情報）を関連付けて出力するようにしてもよい。

　制御部３１は、ＣＰＵ（Central Processing Unit）等とその周辺回路およびメモリ等を有するプロセッサである。このプロセッサは、第１実施形態の場合と同様に、１つであってもよく、また複数のチップから構成されてもよい。ＣＰＵはメモリに記憶されたプログラムに従って、処理装置３０内の各部を制御することによって処理装置３０の全体を実行する。また、制御部３１は、内視鏡装置１０内の制御部１１と、処理装置２０内の制御部２１と協調して動作し、内視鏡装置１０、処理装置２０、および第２処理装置３０が一体となって動作するようにしてもよい。

　次に、図５に示すフローチャートを用いて、処理装置２０における撮像動作について説明する。このフローは、制御部１１および制御部２１内の各ＣＰＵがプログラムに従って、内視鏡装置１０と処理装置２０を協働させることによって実現する。なお、第２処理装置３０における撮像動作については、図６に示すフローチャートを用いて後述する。

　この図５に示す撮像動作のフローは、図２に示した第１実施形態における撮像動作と比較し、図２におけるステップＳ３、Ｓ５およびＳ１５における処理がステップＳ４、Ｓ６およびＳ１６に変更されている以外は、同じであるので、相違点を中心に説明する。

　図５に示す撮像動作のフローが開始すると、撮像制御を行う（Ｓ１）。続いて、撮像、画像処理および第１画像推論を行う（Ｓ４）。ここで撮像および画像処理は、図２に示した第１実施形態のステップＳ３における撮像および画像処理と同様の処理を行う。これらの処理に加えて、ステップＳ４では、第１画像推論を行う。この第１画像推論は、内視鏡装置１０によって取得された画像コマの画像データおよび関連情報（補助情報）を、推論部２６の入力層に入力し、医師等へのアドバイスを推論する。　

　ステップＳ４において、撮像、画像処理、第１画像推論を行うと、次に、画像コマ把握、処理結果、推論結果を出力する（Ｓ６）。ここで、画像コマ把握、処理結果の出力は、図２に示した第１実施形態のステップＳ５における画像コマ把握および処理結果の出力と同様の処理を行う。また、画像コマを把握する際に、関連情報部１６は画像コマ毎に関連情報を取得する。これらの処理に加えて、ステップＳ６では、推論結果を出力する。この推論結果の出力は、ステップＳ４において行われた第１画像推論の結果を出力することである。

　ステップＳ６において、画像コマの把握、処理結果、推論結果の出力を行うと、第１実施形態と同様に、要求信号判定を行い（Ｓ７）、要求信号があるか否かを判定する（Ｓ９）。この判定の結果、要求信号がある場合には、合否判定を行い（Ｓ１１）、この判定の結果が、「否」であるか否かを判定する（Ｓ１３）。なお、ステップＳ７において、要求信号を取得する際に、推論部２６を識別するためのＩＤ情報を取得しておく。

　ステップＳ１３における判定の結果、「否」でなかった場合には、画像コマ対応の関連情報（画像処理、推論結果）を出力する（Ｓ１６）。ここでは、画像コマに対応する画像データに関連付けられた関連情報（補助情報）を第２処理装置３０に出力する。また関連情報を出力する際に、画像コマの画像データ対して画像処理部２３によって画像処理が施された画像データを第２処理装置３０に出力してもよく、また推論部２６における推論結果を第２処理装置３０出力してもよい。なお、前述したように、推論部１６を識別するためのＩＤ情報を取得しているので、画像コマの画像データと画像コマに対応する関連情報を出力する際には、ＩＤ情報も関連付けて出力する。また、推論結果を出力する際にも、推論を行う際に使用した画像データおよび／または関連情報を示すＩＤ情報を関連付けて出力する。

　ステップＳ１６において、画像コマ対応の関連情報（画像処理、推論結果）を出力すると、またはステップＳ１３における判定の結果、「否」であった場合、またはステップＳ９における判定の結果、要求信号がなかった場合には、次に、終了か否かを判定する（Ｓ１７）。医師が内視鏡検査の終了操作等を行った場合には、終了と判定する。この判定の結果、終了でない場合には、ステップＳ１に戻り、一方、終了であった場合には、終了処理を行った後、本フローを終了する。

　次に、図６に示すフローチャートを用いて、処理装置３０における第２推論動作について説明する。このフローは、第２処理装置３０の制御部３１内のＣＰＵがプログラムに従って、内視鏡装置１０と処理装置２０と協働して動作することによって実現する。

　図６に示すフローの動作が開始すると、まず、画像を取得する（Ｓ２１）。ここでは、内視鏡装置１０内の撮像部１２が取得した画像コマの画像データを、通信部３２を通じて取得する。　

　続いて、要求信号があるか否かを判定する（Ｓ２３）。ここでは、第２処理装置３０が関連情報（補助情報）を内視鏡装置１０（および／または処理装置２０）に要求するか否かを判定する。第２推論部３６が推論を行うにあたって、関連情報（補助情報）を入力すると信頼性の高い推論ができる場合には、関連情報（補助情報）を要求する。なお、内視鏡装置１０や処理装置２０の所有者や製造メーカ等と、第２処理装置３０の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データ３５ａを記録部３５に記録されている。従って、認証用データ３５ａが記録されていない場合には、要求信号を送信しない。そのため、このステップでは、この認証用データ３５ａに基づいて判定してもよい。なお、認証用データとしては、記録部３５以外にも、処理装置２０内の記録部２５および／または内視鏡装置１０内の記録部１５に、第２処理装置３０との契約関係を記録しておき、内視鏡装置１０および／または処理装置２０が、この判定を行うようにしてもよい。

　ステップＳ２３における判定の結果、要求信号がある場合には、次に、要求信号を出力する（Ｓ２５）。ここでは、通信部３２を通じて、内視鏡装置１０および／または処理装置２０に要求信号を出力する。要求信号を出力すると、図５のステップＳ５において、内視鏡装置１０および／または処理装置２０は、要求信号判定を行う。

　次に、関連情報を取得する（Ｓ２５）。ステップＳ２３において、要求信号を内視鏡装置１０および／または処理装置２０に出力すると、内視鏡装置１０および／または処理装置２０は、ステップＳ１６において、画像コマに対応する関連情報（補助情報）を第２処理装置３０に出力するので、この関連情報を取得する（Ｓ２７）。

　次に、画像、画像コマ関連情報を用いて、第２推論を行う（Ｓ２９）。ここでは、第２推論部３６が、時系列で入力した画像データと、画像コマに関連付けられた関連情報を、第２推論部３６に入力し、医師に行うアドバイスを推論することによって求める。上述したように、関連情報（補助情報）は、認証用データ３５ａ（または２５ａ、１５ａ）によって、関連情報（補助情報）が第２処理装置３０に送信することが許可されている場合のみ取得でき、この場合、第２推論部３６が関連情報を第２推論部３６に入力し、第２推論を行うことができる。また、画像データおよび／または関連情報は、推論元を示すＩＤ情報と共に送信されてくるので、推論結果を出力する際には、ＩＤ情報と共に出力する。すなわち、関連情報を推論部に入力するかどうかの判定は、推論部のＩＤ情報に従って決定される。

　一方、ステップＳ２３における判定の結果、要求信号なしの場合には、画像を利用して第２推論を行う（Ｓ３１）。この場合には、内視鏡装置１０および／または処理装置２０から関連情報（補助情報）を取得することができず、画像データしか取得できない。そこで、第２推論部３６は、画像データのみを入力し、画像データを利用して推論を行う。ステップＳ３１においても、推論を行う際に、推論元を識別するためのＩＤ情報と共に、画像データを入力し、推論元を識別できるようにしておくとよい。

　ステップＳ２９またはＳ３１において、第２推論を行うと、次に、終了か否かを判定する（Ｓ３３）。医師等が内視鏡検査の終了操作等を行った場合には、終了と判定する。この判定の結果、終了でない場合には、ステップＳ２１に戻り、一方、終了であった場合には、終了処理を行った後、本フローを終了する。

　このように、本発明の第２実施形態における内視鏡システムおいては、内視鏡装置１０によって取得された画像データを用いて、特殊なアドバイスを推論するための第２処理装置３０を有している。そして、図５および図６に示すフローにおいては、処理装置２０および／または第２処理装置２０が、関連情報を要求する場合には、内視鏡装置１０に要求信号を送信してくる（Ｓ７、Ｓ９、Ｓ２３、Ｓ２５参照）。要求信号があった場合には、内視鏡装置１０（および／または処理装置２０）は、関連情報付きの画像データを送信することが許可されているか否かを判定し（Ｓ１１、Ｓ１３参照）、許可されている場合には、画像コマに対応する関連情報付きの画像データを処理装置２０に送信する（Ｓ１６、Ｓ２５、Ｓ２７参照）。

　図５および図６に示すフローは、別の見方をすると、撮像部（撮像素子）から時系列で、画像コマを構成する画像データを取得するステップ（Ｓ１参照）と、処理部（処理プロセッサ）が撮像部（撮像素子）との通信によって画像データを受信して推論部（推論エンジン）（例えば、図１の推論部２６、ＣＡＤボックス４０内の推論部、図４の推論部２６、第２推論部３６等）に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップ（Ｓ４参照）と、対象物の推論結果を表示用および／または記録用に出力する出力ステップ（Ｓ６参照）と、画像コマ取得のタイミングで得られた関連情報を出力するステップ（Ｓ１６参照）と、撮像部（撮像素子）と処理部（処理プロセッサ）との通信によって、画像コマの画像データに対応する関連情報を推論部に入力するかどうかを判定するステップ（Ｓ４、Ｓ１３、Ｓ２３～Ｓ２７参照）と、を有している。また、関連情報を推論部（推論エンジン）に入力するかどうかの判定は、推論部（推論エンジン）のＩＤ情報に従って決定される。

　図５および図６に示すフローは、さらに別の見方をすると、内視鏡の撮像素子からの画像コマ情報を順次取得するステップと（Ｓ１、Ｓ４、Ｓ２１参照）、画像コマ情報を視認可能な情報に画像処理するステップと（Ｓ３参照）、視認可能な情報を外部に出力する画像出力ステップと（Ｓ６参照）、順次取得した画像コマに対応し、内視鏡から順次得られる関連情報を取得するステップと（Ｓ５、Ｓ２７参照）、推論装置（推論エンジン）からの関連情報の要求信号を取得するステップと（Ｓ７、Ｓ９、Ｓ２７参照）、要求信号の合否判定に従って画像コマと、当該画像コマに関連情報を合わせて出力するステップと（Ｓ１６、Ｓ２９参照）、を有している。

　次に、図７および図８を用いて、本発明の第３実施形態について説明する。第３実施形態に係る内視鏡システムでは、内視鏡装置としては、フォーカス機能付きスコープ５０Ａとフォーカス機能なしスコープ５０Ｂ等が、画像処理プロセッサ５３に接続可能である。画像処理プロセッサは、スコープ（内視鏡装置）からフォーカスレンズ位置情報が出力されているか等に基づいて、フォーカス等の関連情報（補助情報）を出力するか否かを切り替えるようにしている。

　図７（ａ）は、内視鏡装置として、フォーカス機能付きスコープ５０Ａと組み合わせた内視鏡システムの構成を示し、図７（ｂ）は、フォーカス機能なしスコープ５０Ｂと組み合わせた内視鏡システムの構成を示す。

　図７（ａ）において、フォーカス機能付きスコープ５０Ａは、図１に示した内視鏡装置１０と同様に、制御部、撮像部、画像処理部、通信部等の種々の構成を有している。撮像部はフォーカスレンズ、フォーカスレンズ駆動部、撮像素子、撮像制御回路等を有し、観察対象である体腔内の画像を撮像信号に変換して出力する。また、フォーカスレンズ駆動部は、フォーカスレンズ位置情報を出力する。すなわち、このフォーカス機能付きスコープ５０Ａを用いた手技では、医師がフォーカスレンズ位置を調整するか、またはフォーカスレンズ駆動部がオートフォーカス機能を有し、フォーカスレンズ位置を調整している。フォーカス機能付きスコープ５０Ａは、フォーカスレンズ位置情報を検出し、検出したフォーカスレンズ位置情報を同期処理部５３ｂに出力する。このフォーカスレンズ位置情報は、内視鏡装置から観察対象物までの距離情報に等しいといえる。

　画像処理プロセッサ５３は、現像処理部５３ａ、同期処理部５３ｂ、セレクタ５３ｃを有する。これらの各部は、全部または一部をハードウエア（例えば、現像処理回路、同期処理回路、セレクタ回路）によって構成してもよく、また全部または一部をソフトウエアによって実現するようにしてもよい。

　現像処理部５３ａは、フォーカス機能付きスコープ５０Ａ内の撮像部によって生成された時系列的に撮像信号を入力し、撮像信号に対して種々の現像処理を施す。現像処理において、撮像素子で生成された生のデータ（撮像信号、ＲＡＷデータ）からＪＰＥＧ、ＴＩＦＦ等の画像フォーマットに変換する等の処理を施す。これらの現像処理は、画像コマ単位（１フレーム単位）で行う。

　同期処理部５３ｂは、現像処理された画像データに対して、各画像コマに対応するフォーカスレンズ位置情報を、関連情報（補助情報）に付加する同期処理を行う。すなわち、同期処理部５３ｂは、フォーカス機能付きスコープ５０Ａから、各画像コマに対応してフォーカスレンズ位置情報を入力し、このフォーカスレンズ位置情報に対応する１コマ分の画像コマの画像データに、対応するフォーカスレンズ位置情報を関連付ける。

　セレクタ５３ｃは、現像処理部５３ａから現像処理が施された画像データと、同期処理部５３ｂからフォーカスレンズ位置情報が付加された画像データを入力し、いずれか一方を、記録装置５５に出力する。セレクタ５３ｃには、セレクト情報が入力され、このセレクト情報に基づいて、画像データのみを出力するか、フォーカスレンズ位置情報が付加された画像データを出力するかを切り替える。セレクト情報は、例えば、スコープ（内視鏡装置）がフォーカスレンズ位置情報を出力するか否か等を示す情報であり、スコープがこの位置情報を出力する場合には、フォーカスレンズ位置情報付きの画像データを記録装置５５に出力する。

　モニタ５４は、ディスプレイ等を有し、現像処理部５３ａによって現像処理された画像データを入力し、フォーカス機能付きスコープ５０Ａによって取得された画像を表示する。

　記録装置５５は、電気的に書き換え可能な不揮発性メモリを有し、セレクタ５３ｃが選択し、出力したデータを記録する。例えば、記録装置５５は、スコープ（内視鏡装置）からフォーカスレンズ位置情報が出力されている場合には、フォーカスレンズ位置情報付きの画像データを記録し、一方、フォーカスレンズ位置情報が出力されていない場合には画像データのみを記録する。記録装置５５が記録したフォーカスレンズ位置情報付きの画像データ、またはフォーカスレンズ位置情報なしの画像データは、学習用データ５５ａとして蓄積される。

　この学習用データ５５ａは、深層学習等の機械学習を行う際に、学習用データ５５ａにアノテーションを行って、教師データを作成することができる。すなわち、フォーカスレンズ位置情報付きの画像データに基づいて教師データを作成し、この教師データを用いて推論モデルを作成すると、フォーカスレンズ位置情報無しの画像データを用いる場合よりも、被写体、対象物までの距離の情報も含むこととなり、光学系のスペックも合わせることによって、対象物の大きさが分かるなど、情報量が増加し、信頼性の高い推論モデルを生成することが可能となる。

　　図７（ｂ）では、内視鏡装置は、フォーカス機能なしスコープ５０Ｂであり、画像処理プロセッサ５３、モニタ５４、記録装置５５、および学習用データ５５ａは、図７（ａ）と同じである。図７（ａ）と同様の構成については詳しい説明を省略する。

　フォーカス機能なしスコープ５０Ｂは、図１に示した内視鏡装置１０と同様に、制御部、撮像部、通信部、記録部等の種々の構成を有している。撮像部はフォーカスレンズ、撮像素子、撮像制御回路等を有するが、フォーカスレンズ駆動部を有していない。フォーカス機能なしスコープ５０Ｂは、図７（ａ）の場合と同様に、観察対象である体腔内の画像を撮像信号に変換して出力するが、フォーカスレンズ位置情報を出力しない。医師が手技する際には、スコープの位置を調整し、観察対象にピントが合う位置で観察する。なお、フォーカス機能なしスコープ５０Ｂに代えて、パンフォーカススコープ５０Ｃを使用する場合には、広範囲に亘ってピントを合った画像で観察することができる。

　図７（ｂ）に示すようなフォーカス機能なしスコープ５０Ｂが画像処理プロセッサ５３に接続されている場合には、同期処理部５３ｂにフォーカスレンズ位置情報が入力されない。このため、同期処理は行われず、セレクタ５３ｂは、現像処理部５３ａから出力されたフォーカスレンズ位置情報なしの画像データを選択し、この選択したフォーカスレンズ位置情報なしの画像データを記録装置５５に出力する（図７（ｂ）の５３ａから５３ｃ間の太線を参照）。

　このように、本実施形態に係る内視鏡システムにおいては、画像処理プロセッサ５３に、フォーカス機能付きスコープ５０Ａ、フォーカス機能なしスコープ５０Ｂ等が接続可能であり、スコープ（内視鏡装置）からフォーカスレンズ位置情報が出力される場合には、画像データにフォーカスレンズ位置情報を関連付け、一方、フォーカスレンズ位置情報が出力されない場合には、フォーカスレンズ位置情報なしの画像データを出力する。レンズ位置情報がない方が、記録されるデータ量が少なくなり、多くの症例で学習が可能になるといった利点がある。

　なお、第１実施形態や第２実施形態と同様に、記録装置等とスコープ（内視鏡装置）等の間で契約情報が成立しているか否かに応じて、フォーカスレンズ位置情報等の関連情報（補助情報）を画像データに関連付けるようにしてもよい。この場合には、セレクト情報を、記録装置とスコープ間で契約関係が成立しているか否か等を示す情報とし、例えば、契約関係が成立している場合には、フォーカスレンズ位置情報付きの画像データを記録装置５５に出力するようにすればよい。フォーカスレンズ位置情報があれば、上述したように情報量を増やした推論が可能になる。

　以上説明したように、学習データを区別して記録可能なシステムであれば、その学習データで様々な要求に見合った推論モデルが提供できる。つまり、要求される推論モデルは、その推論モデルが使用される環境や設備、機器によって要求仕様が変わるが、それに対して好適な学習が可能な学習データを用意することができる。セレクタによって、複数の学習データを区別して記録できるので、推論モデル作成の学習時に多様なモデルに対応でき、学習時の負荷（モデルサイズ、学習時間、必要となる計算機の能力）等を最適にすることが出来る。

　次に、図８に示すフローチャートを用いて、スコープ（フォーカス機能付きスコープ５０Ａ、フォーカス機能なしスコープ５０Ｂ、パンフォーカススコープ５０Ｃ）と、画像処理プロセッサ５３における撮像動作について説明する。このフローは、スコープと画像処理プロセッサ内に設けられたＣＰＵがプログラムに従って、スコープと画像処理プロセッサを協働して動作することによって実現する。または、スコープまたは画像処理プロセッサのいずれか一方にＣＰＵを設け、このＣＰＵがスコープおよび画像処理プロセッサの全体を制御することによって、図８に示すフローを実現してもよい。

　図８に示す撮像動作のフローが開始すると、ピント合わせを行う（Ｓ４１）。フォーカス機能付きスコープ５０Ａはオートフォーカス機能を有しているので、自動的に観察対象にピント合うようにフォーカスレンズの位置が調整される。フォーカス機能なしスコープ５０Ｂの場合には、オートフォーカス機能を備えていないので、医師がスコープ（内視鏡装置）の先端部の位置を調整しながら、ピント合わせを行う。また、このステップにおいて、画像コマ毎に関連情報としてピント情報を取得する。

　次に、撮像および画像処理結果を出力する（Ｓ４３）。ここでは、スコープ５０Ａ、５０Ｂの撮像部によって撮像を行い、撮像信号を画像処理プロセッサ５３に出力する。撮像にあたっては、画像コマ（１フレーム）単位で撮像信号を順次取得する。画像処理プロセッサ５３は、順次取得した画像コマ（１フレーム）単位の撮像信号を、視認可能な情報となるように、現像処理等の画像処理を行う。この画像処理された画像データは、モニタ５４に出力され、モニタ５４は画像データに基づいて画像を表示する。

　次に、ピント調整機能が有るか否を判定する（Ｓ４５）。フォーカス機能付きスコープ５０Ａの場合には、ピント調整機能があり、フォーカス機能なしスコープ５０Ｂおよびパンフォーカススコープ５０Ｃの場合にはピント調整機能を有していない。このステップでは、画像処理プロセッサ５３に接続されているスコープ（内視鏡装置）の機種に基づいて、ピント調整機能の有無を判定する。また、この方法以外にも、フォーカスレンズ位置情報の入力の有無に応じて判定してもよい。

　ステップＳ４５における判定の結果、ピント調整機能が有る場合には、合否判定に従って、画像コマ対応のピント情報を出力する（Ｓ４７）。フォーカスレンズのピント合わせをオートフォーカスによって行う場合には、フォーカス状態が合焦状態にあるか非合焦状態にあるかが判定され、このときの合否判定結果がフォーカス機能付きスコープ５０Ａから画像処理プロセッサ５３に送信される。そこで、このステップでは、セレクタ５３ｃが、フォーカス状態の判定結果が合焦の場合に、画像コマの画像データに、フォーカスレンズ位置情報（ピント情報）を関連付けて、記録装置５５に出力する。なお、非合焦状態の場合には、その旨をフォーカスレンズ位置情報として関連付けるようにしてもよい。このステップで出力した、画像コマの画像データ＋関連情報（補助情報）が、距離等を推論する教師データとして利用できる。また、合否判定は、図２のステップＳ１１に関連して、種々の判定方法の中から適宜選択して行えばよい。

　なお、例えば、フォーカス機能付きスコープ５０Ａ、フォーカス機能なしスコープ５０Ｂの所有者や製造メーカ等と、記録装置５５の所有者や製造メーカ等との間に、契約関係が成立している場合に、認証用データが記録部に記録されている場合に、ステップＳ４７における合否判定を「合」と判定するようにしてもよい。画像コマ対応のピント情報を出力するようにしてもよい。

　ステップＳ４７においてピント情報を出力すると、またはステップＳ４５における判定の結果、ピント調整機能がない場合には、終了か否かを判定する（Ｓ４９）。前述したように、医師が内視鏡検査の終了操作等を行った場合には、終了と判定する。この判定の結果、終了でない場合には、ステップＳ４１に戻り、一方、終了であった場合には、終了処理を行った後、本フローを終了する。

　このように、本実施形態においては、フォーカスレンズ位置情報等の補助情報が不要な場合には、補助情報を学習用データとして出力していない。このため、必要最低限の量のデータを保存することが出来る。

　また、図８に示すフローは、内視鏡撮像素子からの画像コマ情報を順次取得するステップと（Ｓ４３参照）、画像コマ情報を視認可能な情報に画像処理するステップと（Ｓ４３参照）、視認可能な情報を外部に出力する画像出力ステップと（Ｓ４３参照）、順次取得した画像コマに対応し、内視鏡から順次得られる関連情報を取得するステップと（Ｓ４１参照）、　　推論装置からの関連情報の要求信号を取得するステップと（Ｓ４７参照）、要求信号の合否判定に従って画像コマと、当該画像コマに関連情報を合わせて出力するステップと（Ｓ４７参照）を有している。

　次に、図９および図１０を用いて、本発明の第４実施形態について説明する。第４実施形態に係る内視鏡システムでは、医師が画像処理のためのパラメータを調整しながら、観察を行うことができる。この実施形態においては、パラメータの記録が許可されている場合に、画像調整用のパラメータを関連情報として付加した画像データを出力し、一方、パラメータの記録が許可されていない場合に、画像調整用のパラメータを関連情報として付加していない画像データを出力する。

　図９（ａ）は、パラメータの記録が許可されている場合の内視鏡システムを示し、図９（ｂ）は、パラメータの記録が許可されていない場合の内視鏡システムの構成を示す。

　図９（ａ）（ｂ）において、スコープ６０は、図１に示した内視鏡装置１０と同様に、制御部、撮像部、画像処理部、通信部等の種々の構成を有している。撮像部はフォーカスレンズ、フォーカスレンズ駆動部、撮像素子、撮像制御回路等を有し、観察対象である体腔内の画像を撮像信号に変換して出力する。

　画像処理プロセッサ５３は、現像処理部５３ａ、同期処理部５３ｂ、セレクタ５３ｃ、およびパラメータ部５３ｄを有する。これらの各部は、全部または一部をハードウエア（例えば、現像処理回路、同期処理回路、セレクタ回路、パラメータ処理回路）によって構成してもよく、また全部または一部をソフトウエアによって実現するようにしてもよい。

　現像処理部５３ａは、スコープ６０内の撮像部によって生成された時系列的に撮像信号を入力し、撮像信号に対して種々の現像処理を施す。現像処理において、撮像素子で生成された生のデータ（撮像信号、ＲＡＷデータ）からＪＰＥＧ、ＴＩＦＦ等の画像フォーマットに変換する等の処理を施す。これらの現像処理は、画像コマ単位（１フレーム単位）で行う。

　また、現像処理部５３ａは、現像処理された画像データに対して、癌等の患部を容易に認識できるように、種々の画像処理を施す。この画像処理としては、例えば、狭帯域光観察（ＮＢＩ：Narrow Band Imaging、登録商標）、蛍光観察（ＡＦＩ：Auto Fluorescence Imaging）、赤外光観察（ＩＲＩ：Infra Red Imaging）血管強調、明るさ調整等、種々の処理がある。この場合、医師は、パラメータ部５３ｄによって、パラメータを調整しながら、観察を行う。パラメータ部５３ｄは、医師の操作に応じたパラメータを現像処理部５３ａに出力し、現像処理部５３ａは、パラメータに応じて、スコープ６０からの画像データに対して、画像処理を施す。また、パラメータ部５３ｄは、同期処理部５３ｃにパラメータ情報を出力する。

　同期処理部５３ｂは、現像処理された画像データに対して、パラメータ情報を、関連情報（補助情報）として付加する同期処理を行う。すなわち、同期処理部５３ｂは、現像処理部５３ａによって処理された画像データに対して、各画像コマに対応したパラメータ情報を関連付ける。

　セレクタ５３ｃは、現像処理部５３ａから基本的な現像処理が施された画像データと、同期処理部５３ｂからパラメータ情報が付加された画像データを入力し、いずれか一方を、記録装置５５に出力する。セレクタ５３ｃには、記録装置５５から要求信号を受信し、この要求信号に基づいて（ここでＩＤ認証や契約関係の判定を行ってもよい）、現像処理部５３ａによる基本的な現像処理がなされた画像データを出力するか、または各種画像処理等のパラメータ情報が関連情報として付加された画像データを出力するか切り替える。すなわち、要求信号にパラメータの記録許可が示されている場合（上記認証などによって判断してもよい）には、パラメータ情報付きの画像データが出力され、一方、要求信号にパラメータの記録許可が示されていない場合には、基本的な画像データのみを出力する。例えば、記録装置５５にライセンスの有無の情報が記録されている場合に、このライセンス情報に基づいて、要求信号にパラメータの記録許可または不許可の情報を重畳して送信する。関連情報があれば、上述したように情報量を増やした推論が可能になる。

　以上説明したように、学習データを区別して記録可能なシステムであれば、その学習データで様々な要求に見合った推論モデルが提供できる。つまり、要求される推論モデルは、その推論モデルが使用される環境や設備、機器によって要求仕様が変わるが、それに対して好適な学習が可能な学習データを用意することができる。セレクタによって、複数の学習データを区別して記録できるので、推論モデル作成の学習時に多様なモデルに対応でき、学習時の負荷（モデルサイズ、学習時間、必要となる計算機の能力）等を最適にすることが出来る。また、推論モデル作成時の様々な仕様や要求に相応しいデータを選択的に提供可能となり、推論モデルを学習する時の効率を向上させられる。

　モニタ５４は、ディスプレイ等を有し、現像処理部５３ａによって現像処理された画像データを入力し、スコープ６０によって取得された画像を表示する。

　記録装置５５は、電気的に書き換え可能な不揮発性メモリを有し、セレクタ５３ｃが選択し、出力したデータを記録する。例えば、記録装置５５は、セレクタ５３からパラメータ情報付きの画像データが出力されている場合には、パラメータ情報付きの画像データを記録し、一方、パラメータ情報付きの画像データが出力されていない場合には画像データのみを記録する。記録装置５５が記録したパラメータ情報付きの画像データ、またはパラメータ情報なしの画像データは、学習用データ５５ａとして蓄積される。

　この学習用データ５５ａは、深層学習等の機械学習を行う際に、教師データとして使用することができる。パラメータ情報付きの画像データに基づいて教師データを作成し、この教師データを用いて推論モデルを作成すると、パラメータ情報無しの画像データを用いる場合よりも、信頼性の高い推論モデルを生成することが可能となる。

　図９（ａ）は、記録装置５５には、パラメータの記録を許可するライセンスが記録されている場合を示し、一方、図９（ｂ）は、記録装置５５には、パラメータの記録を許可するライセンスが記録されていない場合を示している。このため、図９（ａ）に示す例では、セレクタ５３ｃは、要求信号に応じて、パラメータ情報付きの画像データが出力され、このパラメータ情報付きの画像データは記録装置５５に記録される。一方、図９（ｂ）に示す例では、セレクタ５３ｃは、パラメータ情報なしの基本的な画像データが出力され、この基本的なパラ画像データのみが記録装置５５に記録される。上述したようにまた、推論モデル作成時の様々な仕様や要求に相応しいデータを選択的に提供可能となり、推論モデルを学習する時の効率を向上させられる。

　次に、図１０に示すフローチャートを用いて、内視鏡システムにおける撮像動作について説明する。このフローは、スコープと画像処理プロセッサ内に設けられたＣＰＵがプログラムに従って、スコープと画像処理プロセッサを協働して動作することによって実現する。または、スコープまたは画像処理プロセッサのいずれか一方にＣＰＵを設け、このＣＰＵがスコープおよび画像処理プロセッサの全体を制御することによって、図１０に示すフローを実現してもよい。

　図１０に示す撮像動作のフローが開始すると、まず、操作がなされたか否かを判定する（Ｓ５１）。医師は、スコープ６０の操作部を操作し、患部の有無等、内視鏡検査を行う。例えば、医師は先端部の曲げ方向を操作し、スコープ６０の挿入部を体腔内に挿入していく。また、ＮＢＩ等の特殊検査を行う際には、そのための操作を行う。このステップでは、特殊検査の操作がなされたか否かを判定する。

　ステップＳ５１における判定の結果、操作がなされていない場合には、撮像および画像処理を行う（Ｓ５３）。ここでは、図２のステップＳ３と同様に、スコープ６０内の撮像部内の撮像素子からの画像信号を現像処理部５３ａによって画像処理する。このとき、推論エンジンを備えていれば、図５のステップＳ４と同様に推論を行ってもよい。

　一方、ステップＳ５１における判定の結果、操作がなされた場合には、必要に応じた特殊観察を行う（Ｓ５５）医師が、例えば、ＮＢＩによる検査を行う場合には、２つの波長の光、すなわち青色の狭帯域光と緑色の狭帯域光を照射し、この照射状態で体腔内を観察する。また、パラメータ部５３ｄは、特殊検査の際に医師が設定した種々のパラメータを現像処理部５３ａに出力し、現像処理部５３ａは設定パラメータを用いて画像処理する。また、パラメータ部５３ｄは、現像処理部５３ａに出力したパラメータを、同期処理部５３ｃにも出力する。なお、ステップＳ５５においても、ステップＳ５３と同様に、スコープ６０内の撮像部内の撮像素子からの画像信号を現像処理部５３ａによって画像処理する。

　ステップＳ５３またはＳ５５において、画像処理を行うと、次に、要求信号を判定する（Ｓ５７）。このステップでは、記録装置５５がパラメータ付きの画像データを要求する際に出力する要求信号について、判定する。要求信号は、例えば、記録装置５５にライセンスの有無に関する情報が記録されており、ライセンスが有る場合には、要求信号が送信されてくる。また、単にライセンスの有無だけではなく、補助情報（関連情報）を細かく分類し、いずれかの分類に属する補助情報のみについてライセンスが与えられているようにしてもよい。また要求信号は、ライセンス契約の有無に限らず、他の条件に基づいて、要求信号を出力できるようにしてもよい。なお、ライセンスの有無等の情報は、記録装置５５以外の、例えば、画像処理プロセッサ５３、スコープ６０等の装置に記録しておき、画像処理プロセッサ５３が照合するようにしてもよい。

　続いて、要求信号があったか否かを判定する（Ｓ５９）。ここでは、ステップＳ５７における判定結果に基づいて、要求信号があったか否かを判定する。この判定の結果、要求信号がなかった場合には、セレクタ５３ｂは、補助情報（関連情報）が付加されていない画像データのみを記録装置５５に出力するので、記録装置５５は画像データのみを学習用データ５５ａとして記録される。これも要求のみならず、認証なども行うステップである。

　ステップＳ５９における判定の結果、要求信号があった場合には、合否判定を行う（Ｓ６１）。前述したように、記録装置５５と、スコープ６０および／または画像処理プロセッサの間でのライセンスの有無の情報が、記録装置５５に記録されている。そこで、このステップにおいて、要求信号に基づいてライセンス情報等が有るか否かを検出する。ライセンス有等の情報が記録されていれば、「合」であり、記録されていなければ、「否」である。続いて、合否判定の結果が、「否」であるか否かを判定する（Ｓ６３）。この判定の結果、「否」であれば、セレクタ５３ｂは、関連情報（補助情報）が付加されていない画像データのみを記録装置５５に出力し、記録装置５５は、画像データのみを学習用データ５５ａとして記録する。このような認証によって、適切な権利や性能の装置を有する相手に、最適なデータを提供可能となる。

　ステップＳ６３における合否判定の結果、「否」でなければ、すなわち、「合」であれば、合否判定に従って、画像コマ対応の特殊観察仕様の情報を出力する（Ｓ６５）。この場合には、セレクタ５３ｃは、特殊観察の際に使用したパラメータを、対応する画像コマの画像データに関連付けたデータを記録装置５５に出力する。

　次に、教師データを整理して記録する（Ｓ６７）。ここでは、記録装置５５は、入力した関連情報が付加された画像データを、または画像データのみを用いて、教師データを作成し、この教師データを記録する。記録にあたっては、分類付け等、データを整理しておく。特殊観察の結果だけで教師データを作成すると、適正な推論モデルを生成できない可能性があるので、データ整理することによって、信頼性の高い推論モデルを生成するようにする。関連情報が付加された画像データは、特殊観察の際のパラメータも付加されているので、この画像データを教師データとして学習し、生成した推論モデルは、画像データのみを用いて生成した推論モデルよりも、特殊観察の場合も含めて信頼性を高くすることができる。

　ステップＳ６７において教師データを記録すると、またはステップＳ６３における判定の結果が「否」であった場合、またはステップＳ６９における判定の結果、要求信号がなかった場合には、次に、終了か否かを判定する（Ｓ１７）。医師が内視鏡検査の終了操作等を行った場合には、終了と判定する。この判定の結果、終了でない場合には、ステップＳ５１に戻り、一方、終了であった場合には、終了処理を行った後、本フローを終了する。

　図１０に示すフローは、内視鏡撮像素子からの画像コマ情報を順次取得するステップと（Ｓ５３、Ｓ５５参照）、画像コマ情報を視認可能な情報に画像処理するステップと（Ｓ５３、Ｓ５５参照）、視認可能な情報を外部に出力する画像出力ステップと（Ｓ５３、Ｓ５５参照）、順次取得した画像コマに対応し、内視鏡から順次得られる関連情報を取得するステップと（Ｓ５５参照）、推論装置からの関連情報の要求信号を取得するステップと（Ｓ５７、Ｓ５９参照）、要求信号の合否判定に従って画像コマと、当該画像コマに関連情報を合わせて出力するステップと（Ｓ６５参照）を、有している。

　このように、本実施形態においては、医師が内視鏡検査を行う際に、ＮＢＩ、血管強調等の画像処理のパラメータを調整しながら観察を行う。記録装置５５に対して当該パラメータの記録が許可されている場合には（図９（ａ）参照）、セレクタ５３ｃに要求信号が入力される（Ｓ５７、Ｓ５９参照）。この場合には、セレクタ５３ｃは画像データに画像調整パラメータを関連情報（補助情報）として付加したデータを選択して出力する。一方、記録装置に対して当該パラメータの記録が許可されていない場合には（図９（ｂ）参照）、セレクタ５３ｃに要求信号が入力されないため、セレクタ５３ｃはモニタ５４に出力される画像データと同様の関連情報なしの画像データを選択して、出力する。したがって、本実施形態においては、関連情報（補助情報）が不要な場合には、関連情報なしのデータを記録装置５５が記録することによって、必要最低限の量のデータを保存することができる。一方、関連情報が必要な場合には、関連情報付きの教師データを作成することができ、信頼性の高い推論モデルを生成することが可能となる。

　以上説明したように、本発明の各実施形態における情報出力方法は、内視鏡内に設けられた撮像素子から画像コマ情報を順次取得するステップと（例えば、図２のＳ１、Ｓ３参照）、画像コマ情報を視認可能な情報に画像処理するステップと（例えば、図２のＳ３参照）、画像処理された視認可能な情報を外部に出力する画像出力ステップと（例えば、図２のＳ５参照）、順次取得した画像コマ情報に対応し、関連情報を順次取得するステップと（例えば、図２のＳ５参照）、推論部から関連情報の取得に関する要求信号を取得するステップと（例えば、図２のＳ７、Ｓ９参照）、要求信号の合否判定に従って画像コマ情報と、当該画像コマに関連情報を合わせて出力するステップと（例えば、図２のＳ１５参照）とからなる。

　上述の本発明の各実施形態は、種々の変形やまた応用することが可能である。下記に変形例や応用例について列記する。（１）光源の光量分布情報を関連情報（例えば、指向性やパララックスによる影の分布で、画像が不均一になっているかどうかの情報等）として記録し、推論モデル作成の際に利用する。この光量分布情報として、空間的な光量分布情報、波長情報、パララックス情報（立体感情報を含めてもよい）等のいずれかを利用してもよい。

　（２）撮像方式が面順次方式の場合、面順次情報を関連情報として記録し、推論モデル作成の際に利用してもよい。この場合、動的にパラメータを決めている場合には、その場合のパラメータ情報を利用してもよい。また、撮像方式が面順次の場合、特徴点マッチによるブレ量情報を関連情報として記録し、推論モデル作成の際に利用してもよい。また、これらの関連情報を、色ずれ補正処理に利用してもよい。（３）手ブレ、温度、縦横センサ、加速度センサ等のセンサ情報を関連情報として記録し、推論モデル作成の際に利用してもよい。

　（４）注水操作を行った場合の注水情報を関連情報として記録しておき、注水時の画像は、注水時の教師データにはなっても、患部の教師データにはふさわしくないなどが考えられるので、その旨を情報として記録し、推論モデル作成の際に利用してもよい。（５）電気メスを使用した場合のオン・オフ情報を記録しておき、推論モデル作成の際に利用してもよい。たとえば、電気メス使用中はＡＩを停止し、誤表示をさせないようにする推論モデルを作成することができる。電気メスの判定で手術のフェーズのタイミング信号やトラックの信号にしてもよく、煙が出るシーンの判定や教師データ化に役立てることができる。

　また、下記のような変形例や応用例もある。（５）高周波メス等を使用した際に発生する煙情報を関連情報として記録しておき、煙シーンを避ける推論モデルを作成する際に利用する。（６）手技のフェーズ情報を関連情報として記録し、推論モデルを作成する際に利用しても良い。手術の最初から最後まで必要な手技はないので、フェーズに応じた手技をアドバイスする。

　（７）特定のフェーズでしか使用しない鉗子があることから、鉗子の感知情報を関連情報として記録し、特定のフェーズ用の信号のトリガとして使ったり、教師データとして記録したりしてもよい。また、推論モデルを作成する際に利用してもよい。例えば、トロッカーと鉗子をＮＦＣ（近距離無線：Near Field Communication）によって検知し、関連情報として記録し、推論モデルを生成する。この場合には、胆のう切開時にのみ使用するトロッカー、鉗子等によってシーンを推論することが可能となる。また、腹腔鏡下胆嚢切除術の内、胆管を切るフェーズを検出した場合、このフェーズで関連情報を収集し、第二の推論モデルを生成する。この場合には、必要なフェーズでのみ学習し、推論できるため、推論の品質が向上する。

　（８）画像合成している場合、合成前の画像情報を関連情報として記録しておく。例えば、深度合成画像処理（ＨＤＲ）を行った際に、ハレーションとなっている場合には、合成前の画像を用いて推論を行うようにしてもよい。また、暗い画像を用いて推論した場合に、その画像で腫瘍を見つけた場合に、ＨＤＲによる画像を停止するように、医師にアドバイスする推論モデルを作成することができる。（９）フレーム毎の画像データに情報を埋め込んでおき、その情報を暗号化しておく。この場合には、画像データに対して復号機能を有しているＡＩ―ＰＦのみが、情報を用いて推論できる。

　更に下記のような変形例や応用例もある。（１０）扁平な腫瘍に対してえぐる手技（ＥＳＤ（内視鏡的粘膜下層はく離術：Endoscopic Submucosal Dissection））を行う際に応用するようにしてもよい。ＥＳＤ用の処置具を使われているかを画像で判定して、動画のインデックスにするようにしてもよい。（１１）認証付きのシングルユースの場合に、要求した情報を取得できるようにする。（１２）染色したフレームに染色したことを示すフラグをコンピュータ上に立てる。また処置具のガイドに染色処置具が入ったフラグをコンピュータ上で立てる。

　（１３）ＡＩによって推論を行い、このＡＩ結果を出力する。（１４）出血有無の情報に基づいて推論モデルを生成し、この推論モデルを用いて、出血の有無を推論する。さらに、大量の出血となるか否かを推論する。出血判定の結果の結果によって、出血シーンの教師データ化や、出血で隠れた部分を省いての教師データ化等を行う際に関連情報とすることができる。出血検知から任意コマ前までの画像を教師データとして、出血を予告する推論モデルができる。

　更に、下記のような変形例や応用例もある。（１５）上述の実施形態において、記録部に認証用データを記録し、関連情報の出力の合否を決めていたが、記録部に認証用データを記録する以外にも、ハードウェアキー（ドングル（Dongle）、ソフトウエアプロテクトともいう）が内視鏡装置や処理装置（ＰＣ等を含む）の端子に挿入された場合に、関連情報の出力を許可するようにしてもよい。また、関連情報を暗号化しておき、認証付きのスコープを使用する場合、ＮＦＣ（近距離無線：Near Field Communication）の利用、操作者の指紋、顔認証等のいずれかを利用することによって、暗号の復号化キーを取得し、関連情報を取得できるようにしてもよい。

　また、上述の種々の関連情報を用いて教師データを作成することができる。例えば、関連データも含めて学習を行っても良く、また関連情報を用いて、学習用データの取捨選択等の分類を行ってよい。たとえば、撮像部から時系列で、画像コマを構成する画像データを取得するステップと、上記画像コマ取得のタイミングで得られた関連情報を出力するステップと、上記画像データと、上記画像コマに対応する関連情報を用いて、教師データを作成するステップと有する教師データ作成方法であってもよい。

　また、図１、図４において、表示部２４（表示部３４）および／または記録部２５（記録部３５）は、処理装置２０（第２処理装置３０）の外部に配置してもよく、その場合には、処理装置２０（処理装置３０）との間に通信部を設ければよいことを述べた。この場合の情報出力方法は、以下のステップによって行ってもよい。すなわち、情報出力方法は、撮像装置に設けられた撮像素子から画像コマデータを順次取得するステップと、上記画像コマデータを視認可能な表示用情報に画像処理するステップと、画像処理された上記視認可能な表示用情報を外部ディスプレイに表示するために出力する画像出力ステップと、上記撮像装置から順次取得した上記画像コマ情報に対応し、関連情報を順次取得するステップと、上記表示用情報を用いた推論を行う推論装置から上記関連情報の取得に関する要求信号を取得するステップと、上記要求信号の合否判定に従って上記画像コマと、当該画像コマに関連情報を併せて出力するステップを備える。

　また、表示部２４（表示部３４）および／または記録部２５（記録部３５）を、処理装置２０（第２処理装置３０）の外部に設け、これらの間に通信部を設けた場合に、下記のように、以下のステップに情報出力方法を実行するようにしてもよい。すなわち、情報出力方法は、画像データに含まれる情報を推論して、推論結果を表示する情報出力方法において、撮像装置に設けられた撮像素子から画像データを順次取得するステップと、上記画像データを外部ディスプレイに表示および／または記録するために出力する画像データ出力ステップと、上記画像データを用いた推論を行う推論装置から上記画像データの取得に関する要求信号を取得するステップと、を有し、上記要求信号は、上記推論装置のＩＤ情報を含み、上記画像データ出力ステップは、上記画像データに、当該画像データを用いて推論した推論装置のＩＤ情報を併せて出力する。この情報出力方法によれば、画像データを用いて推論した推論装置を識別するＩＤ情報と共に画像データを出力するので、推論モデル等の出所が分かる。

　また、本発明の各実施形態においては、制御部１１、２１、３１（図７および図９における制御部（不図示）も含む）は、ＣＰＵやメモリ等から構成されている機器として説明した。しかし、ＣＰＵとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ（Verilog）やＶＨＤＬ（Verilog Hardware Description Language）等によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

　また、制御部１１、２１、３１（図７および図９における制御部（不図示）も含む）は、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行ってもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行しても構わない。

　また、本発明の各実施形態においては、内視鏡装置１０、処理装置２０、第２処理処理装置３０、ＣＡＤボックス４０、画像処理プロセッサ５３等は、それぞれ各機能を果たすブロックを有しているものとして説明した。しかし、これらは一体の装置内に設けられている必要はなく、例えば、インターネット等の通信網によって接続されていれば、上述の各部は分散されていても構わない。

　また、本発明の各実施形態においては、ロジックベースの判定を主として説明し、一部に機械学習を使用した推論による判定を行っていた。ロジックベースによる判定を行うか推論による判定を行うかは、本実施形態においては適宜いずれかを選択して使用するようにしてもよい。また、判定の過程で、部分的にそれぞれの良さを利用してハイブリッド式の判定をしてもよい。

　また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。

　また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。

　また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

　また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

　本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・内視鏡装置、１１・・・制御部、１１ａ・・・撮像開始読出制御部、１１ｂ・・・コマ情報部、１２・・・撮像部、１３・・・画像処理部、１４・・・通信部、１５・・・記録部、１５ａ・・・認証用データ、１６・・・関連情報部、１７・・・時計部、２０・・・処理部、２１・・・制御部、２２・・・通信部、２３・・・画像処理部、２４・・・表示部、２５・・・記録部、２５ａ・・・認証用データ、２６・・・推論部、２７・・・時計部、３０・・・第２処理装置、３１・・・制御部、３２・・・通信部、３３・・・画像処理部、３４・・・表示部、３５・・・記録部、３５ａ・・・認証用データ、３６・・・第２推論部、３７・・・時計部、４０・・・ＣＡＤボックス、５０Ａ・・・フォーカス機能付きスコープ、５０Ｂ・・・フォーカス機能なしスコープ、５０Ｃ・・・パンフォーカススコープ、５３・・・画像処理プロセッサ、５３ａ・・・現処理部、５３ｂ・・・同期処理部、５３ｃ・・・セレクタ、５３ｄ・・・パラメータ部、５４・・・モニタ、５５・・・記録装置、５５ａ・・・学習用データ、６０・・・スコープ、１００ａ・・・推論エンジン、１００ｂ・・・推論エンジン、１０１ａ・・・推論結果（鑑別結果）、１０１ｂ・・・推論結果（鑑別結果）

Claims

　撮像部から時系列で、画像コマを構成する画像データを取得するステップと、
　処理部が上記撮像部との通信によって上記画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップと、
　上記対象物の推論結果を表示用および／または記録用に出力するステップと、
　からなる情報出力方法において、
　上記画像コマの取得のタイミングで得られた関連情報を出力するステップと、
　上記撮像部と上記処理部との通信によって、上記画像コマの画像データに対応する上記関連情報を上記推論部に入力するかどうかを判定するステップと、
　を具備することを特徴とする情報出力方法。
　上記関連情報を上記推論部に入力するかどうかの判定は、上記推論部のＩＤ情報に従って決定されることを特徴とする請求項１に記載の情報出力方法。
　上記関連情報は、上記画像データが、表示および／または記録可能な画像コマ情報に処理した時に用いたパラメータ情報であることを特徴とする請求項１に記載の情報出力方法。
　内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得ステップと、
　上記画像コマ情報を視認可能な表示用情報に画像処理する画像処理ステップと、
　画像処理された上記視認可能な表示用情報を外部に出力する画像出力ステップと、
　順次取得した上記画像コマ情報に対応した関連情報を順次取得する関連情報取得ステップと、
　上記画像コマ情報を用いた推論を行う推論部から上記関連情報の取得に関する要求信号を取得する要求信号取得ステップと、
　上記要求信号の合否判定に従って上記画像コマ情報に対応した表示用情報と、当該画像コマに関連情報を併わせて出力する関連情報出力ステップと、
　を有することを特徴とする情報出力方法。
　上記関連情報は、画像コマの番号に関する情報、上記画像コマの中の位置に関する情報、上記画像コマにおいて検出された物に関する情報、上記画像コマには写っていない物に関する情報の内の少なくとも１つであることを特徴とする請求項４に記載の情報出力方法。
　上記関連情報は、上記撮像素子のＲＡＷ画像情報、上記画像処理に使用されなかった撮像情報、上記撮像素子用の撮像レンズの光学情報、および上記内視鏡の操作情報の内の少なくとも１つであることを特徴とする請求項４に記載の情報出力方法。
　上記要求信号取得ステップにおいて、さらに上記推論部のＩＤ情報を取得し、
　上記関連情報出力ステップにおいて、上記ＩＤ情報に関連した情報を上記表示用情報と併せて出力する、
　ことを特徴とする請求項４に記載の情報出力方法。
　上記要求信号の合否判定は、上記画像コマと当該画像コマの関連情報の出力相手を判定し、上記出力相手と契約関係にあることを確認し、この確認結果に基づいて、要求を受け入れるかどうかを決定することを特徴とする請求項４に記載の情報出力方法。
　上記合否判定の結果、上記出力相手と契約関係にある場合には、上記要求信号に応じて、上記画像コマと当該画像コマに関連情報を合わせて出力し、一方、上記出力相手と契約関係にない場合には、上記画像コマのみを出力することを特徴とする請求項８に記載の情報出力方法。
　追加関連情報の有無を出力するステップと、
　追加関連情報の要求を入力するステップと、
　をさらに有することを特徴とする請求項４に記載の情報出力方法。
　内視鏡内に設けられた撮像素子から画像コマ情報を順次取得する画像コマ情報取得部と、
　上記画像コマ情報を視認可能な表示用情報に画像処理する画像処理部と、
　画像処理された上記視認可能な表示用情報を外部に出力する画像出力部と、
　順次取得した上記画像コマ情報に対応した関連情報を順次取得する関連情報取得部と、
　上記画像コマ情報を用いた推論を行う推論部から上記関連情報の取得に関する要求信号を取得する要求信号取得部と、
　上記要求信号の合否判定に従って上記画像コマ情報に対応して表示用情報と、当該画像コマに関連情報を併わせて出力する出力部と、
　を有することを特徴とする情報出力装置。
　撮像装置に設けられた撮像素子から画像コマデータを順次取得するステップと、
　上記画像コマデータを視認可能な表示用情報に画像処理するステップと、
　画像処理された上記視認可能な表示用情報を外部ディスプレイに表示するために出力する画像出力ステップと、
　上記撮像装置から順次取得した上記画像コマ情報に対応し、関連情報を順次取得するステップと、
　上記表示用情報を用いた推論を行う推論装置から上記関連情報の取得に関する要求信号を取得するステップと、
　上記要求信号の合否判定に従って上記画像コマと、当該画像コマに関連情報を併せて出力するステップと、
　を有することを特徴とする情報出力方法。
　画像データに含まれる情報を推論して、推論結果を表示する情報出力方法において、
　撮像装置に設けられた撮像素子から画像データを順次取得するステップと、
　上記画像データを外部ディスプレイに表示および／または記録するために出力する画像データ出力ステップと、
　上記画像データを用いた推論を行う推論装置から上記画像データの取得に関する要求信号を取得するステップと、
　を有し、
　上記要求信号は、上記推論装置のＩＤ情報を含み、
　上記画像データ出力ステップは、上記画像データに、当該画像データを用いて推論した推論装置のＩＤ情報を併せて出力することを特徴とする情報出力方法。
　撮像部から時系列で、画像コマを構成する画像データを取得するステップと、
　処理部が上記撮像部との通信によって上記画像データを受信して推論部に出力し、対応する画像コマの中に撮像された特定の対象物を推論させるステップと、
　上記対象物の推論結果を表示用および／または記録用に出力するステップと、
　からなる情報出力方法において、
　上記画像コマの取得のタイミングで得られた関連情報を出力するステップと、
　上記撮像部と上記処理部との通信によって、上記画像コマの画像データに対応する上記関連情報を上記推論部に入力して得られた推論結果を表示および／または記録するかどうかを判定するステップと、
　を具備することを特徴とする情報出力方法。　
　上記関連情報を入力して得られた推論結果と、上記関連情報を入力せずに得られた推論結果を区別して表示および／または記録する請求項１４に記載の情報出力方法。