JP7295333B2 - 画像記録システム、画像記録方法及びｒａｗ画像データ作成プログラム - Google Patents

Description

本発明は、画像記録システム、画像記録方法及びＲＡＷ画像データ作成プログラム等に関する。

機械学習を用いた画像認識により医療画像から病変等を検出する技術が知られている。特許文献１には、診断対象が写された学習用画像と、学習用画像に事前に付与された診断対象の異常性を表す情報とを用いて機械学習を行うことで、内視鏡画像における異常領域を識別するニューラルネットワークを生成する技術が開示されている。

国際公開第２０１８／００８５９３号

医療画像には、医療機器のデフォルトの設定又はユーザの設定に従って画像処理が加えられている。そのため、機械学習により得られる学習済みモデルは、学習用画像として使われる医療画像が生成された際の医療機器の設定内容によって影響を受けてしまう。そこで、学習用画像として、撮像素子の信号のままで未加工の画像であるＲＡＷ画像を取得する手法が考えられる。しかし、ＲＡＷ画像を学習用画像とした場合、蓄積されるＲＡＷ画像のデータ量が非常に多くなるという課題がある。

本開示の一態様は、第１の時間区間における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群を取得する取得部と、前記時系列ＲＡＷ画像群の中から、前記第１の時間区間の一部である第２の時間区間に含まれる記録候補ＲＡＷ画像群を抽出する記録候補ＲＡＷ画像群抽出部と、前記記録候補ＲＡＷ画像群に含まれる少なくとも１つのＲＡＷ画像を、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像として記録するＲＡＷ画像記録部と、を含む画像記録システムに関係する。

本開示の他の態様は、第１の時間区間における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群を取得することと、前記時系列ＲＡＷ画像群の中から、前記第１の時間区間の一部である第２の時間区間に含まれる記録候補ＲＡＷ画像群を抽出することと、前記記録候補ＲＡＷ画像群に含まれる少なくとも１つのＲＡＷ画像を、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像として記録することと、を含む画像記録方法に関係する。

撮影システムの構成例。 画像記録システムの第１構成例。 第１構成例において処理部が行う処理を説明する図。 第１構成例において処理部が行う処理のフローチャート。 第１構成例において処理部が行う処理を説明する図。 第２構成例において処理部が行う処理のフローチャート。 画像記録システムの第３構成例。 画像記録システムの第４構成例。 第４構成例において処理部が行う処理を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

１．撮影システム
図１は、医療画像を撮影及び記録する撮影システム１０の構成例である。撮影システム１０は、内視鏡システム５と画像記録システム１とを含む。

内視鏡システム５は、医療画像を撮影するシステムである。医療画像は、医療用内視鏡により撮影された体内画像であり、医療用内視鏡は、消化管用内視鏡等のビデオスコープ、或いは外科手術用の硬性鏡等である。図１には、ビデオスコープを例に図示している。内視鏡システム５は、スコープ２と制御装置３とモニタ４とを含む。

スコープ２は、細長い挿入部２０１を被検体の体腔内に挿入することによって被検体の体内を撮影し、その体内の画像である医療画像の画像信号を出力する。スコープ２は、挿入部２０１と、挿入部２０１の基端部側に配設された把持部２０４と、把持部２０４から延設されたユニバーサルコード２０３と、を含む。ユニバーサルコード２０３の基端部側にはコネクタが設けられ、そのコネクタは制御装置３に接続されている。挿入部２０１の先端部には撮像モジュール２０２が設けられ、撮像モジュール２０２は、医療画像の画像信号としてＲＡＷ画像の画像信号を出力する。撮像モジュール２０２は、動画撮影等によって、時系列に複数の医療画像を撮影する。動画撮影された場合には、その動画の各フレーム画像が各医療画像に相当する。

制御装置３は内視鏡システム５の全体を制御するとともに、撮像モジュール２０２が出力する画像信号に信号処理を行い、処理結果を出力する。具体的には、制御装置３は、ＲＡＷ画像を現像処理することでカラー画像を生成し、そのカラー画像をモニタ４に表示させる。また制御装置３は、時系列に撮影された複数のＲＡＷ画像を画像記録システム１に出力する。画像記録システム１は、内視鏡システム５から送信される複数のＲＡＷ画像のうち一部のＲＡＷ画像を学習用画像として記録する。画像記録システム１の詳細は後述する。なお、図１では画像記録システム１が制御装置３の外付けシステムとなっているが、画像記録システム１が制御装置３に統合されてもよい。

ＲＡＷ画像とは、カラー画像に現像される前の画像であり、イメージセンサの各画素に対応した画素値がそのまま記録されたような画像である。例えば、イメージセンサが原色ベイヤ型である場合、イメージセンサにはＲ画素、Ｇ画素及びＢ画素が配置されているが、ＲＡＷ画像では、画素の色に関わらず１画素につき１つの画素値がそのまま記録されている。カラー画像は、ベイヤ型の配置に従ってＲＡＷ画像が補間処理され且つ圧縮処理された画像であり、１画素につきＲＧＢの画素値を有している。ＲＡＷ画像は無加工の非圧縮データであるため、１枚当たりのデータ量がカラー画像に比べて大きい。

カラー画像は、内視鏡観察に適した画像処理が施されている。この画像処理は機械学習に適しているとは限らないため、カラー画像を学習用画像として用いると、カラー画像に既に施されている画像処理の影響を受けた機械学習が行われることになる。一方、ＲＡＷ画像は現像前の画像であることから、画像処理に対する柔軟性が高いという特徴がある。このため、学習用画像としてＲＡＷ画像を蓄積しておくことで、そのＲＡＷ画像を、機械学習に適した画像に加工した後に機械学習に用いることが可能となる。これによって画像認識の精度向上が期待できる。以上の理由から、機械学習を利用した画像認識のための学習データとしてＲＡＷ画像データの取得に対するニーズは高いが、ＲＡＷ画像はデータ量が非常に多いという課題がある。

２．画像記録システムの第１構成例
図２は、画像記録システム１の第１構成例である。なお、図２には教師データ作成システム４００と学習装置５００も図示するが、画像記録システム１が画像を記録する際に、教師データ作成システム４００と学習装置５００が画像記録システム１に接続されている必要はない。

画像記録システム１は、取得部１１０と記録候補ＲＡＷ画像群抽出部１２０とＲＡＷ画像記録部１３０とを含む。図３に示すように、取得部１１０は、第１の時間区間ＴＰ１における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群ＧＩＭ１を取得する。記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１の中から、第１の時間区間ＴＰ１の一部である第２の時間区間ＴＰ２に含まれる記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。ＲＡＷ画像記録部１３０は、記録候補ＲＡＷ画像群ＧＩＭ２に含まれる少なくとも１つのＲＡＷ画像を、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像として記録する。

本実施形態によれば、取得部１１０により取得された時系列ＲＡＷ画像群ＧＩＭ１のうち一部のＲＡＷ画像のみが記録されるので、時系列ＲＡＷ画像群ＧＩＭ１の全てを記録する場合に比べて記録データ量を小さくできる。これにより、学習用画像の記録データ量を減らすことと、学習用画像としてＲＡＷ画像を取得することと、を両立できる。また本実施形態によれば、第２の時間区間ＴＰ２に含まれる記録候補ＲＡＷ画像群ＧＩＭ２が抽出される。これにより、ある決まったタイミングにおける１枚のＲＡＷ画像のみを記録する方式に比べると、ある程度の時間幅をもった複数のＲＡＷ画像が記録候補となるので、機械学習に適したＲＡＷ画像を記録できる。

以下、第１構成例の詳細を説明する。画像記録システム１は、処理部１００と記憶部２００とを含む。処理部１００は、取得部１１０と記録候補ＲＡＷ画像群抽出部１２０とＲＡＷ画像記録部１３０とＲＡＷ画像記録重要度判断部１４０とを含む。

画像記録システム１は、例えばＰＣ（Personal Computer）等の情報処理装置である。或いは、画像記録システム１は、端末装置と情報処理装置とがネットワークで接続されたシステムであってもよい。例えば、端末装置が記憶部２００を含み、情報処理装置が処理部１００を含んでもよい。或いは、画像記録システム１は、複数の情報処理装置がネットワークで接続されたクラウドシステムであってもよい。

記憶部２００は、取得部１１０が取得した時系列ＲＡＷ画像群ＧＩＭ１を記憶する。記憶部２００は、半導体メモリ又はハードディスクドライブ等の記憶装置である。半導体メモリは、例えば、ＲＡＭ等の揮発性メモリ、或いはＥＥＰＲＯＭ等の不揮発性メモリである。

処理部１００はプロセッサである。プロセッサは、ＣＰＵ、マイクロコンピュータ、ＤＳＰ、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路装置であってもよい。処理部１００は、１又は複数のプロセッサを含んでもよい。また、プロセッサである処理部１００は、例えば１又は複数の回路部品により構成された処理回路又は処理装置であってもよいし、或いは、１又は複数の回路部品が基板に実装された回路装置であってもよい。

処理部１００の動作はソフトウェア処理により実現されてもよい。即ち、処理部１００に含まれる取得部１１０、記録候補ＲＡＷ画像群抽出部１２０、ＲＡＷ画像記録部１３０及びＲＡＷ画像記録重要度判断部１４０の全部又は一部の動作を記述したプログラムが、記憶部２００に記憶される。その記憶部２００に記憶されたプログラムをプロセッサが実行することで、処理部１００の動作が実現される。プログラムは、コンピュータにより読み取り可能な媒体である情報記憶媒体に格納されてもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。コンピュータは、入力装置、処理部、記憶部、及び出力部を備える装置である。

図４は、第１構成例において処理部１００が行う処理のフローチャートである。ステップＳ１において、取得部１１０はＲＡＷ画像を取得する。具体的には、取得部１１０は、処理部１００のデータインターフェースであり、内視鏡システム５から転送される時系列ＲＡＷ画像群ＧＩＭ１を受信し、その時系列ＲＡＷ画像群ＧＩＭ１を記憶部２００に一時的に記憶させる。或いは、内視鏡システム５から転送された時系列ＲＡＷ画像群ＧＩＭ１が記憶部２００に一時的に記憶され、取得部１１０が記憶部２００から時系列ＲＡＷ画像群ＧＩＭ１を読み出してもよい。

図３に示すように、時系列ＲＡＷ画像群ＧＩＭ１は、第１の時間区間ＴＰ１において時系列に撮像された複数のＲＡＷ画像である。第１の時間区間ＴＰ１は任意の時間区間であってよい。例えば、内視鏡システム５が動画を撮影し、その動画を取得部１１０が取得して記憶部２００に記憶させる場合、１つの動画の撮影時間が第１の時間区間ＴＰ１に相当する。或いは、記録候補ＲＡＷ画像群抽出部１２０が記録候補ＲＡＷ画像群ＧＩＭ２を抽出する際に、１回の抽出処理で処理される時間区間が第１の時間区間ＴＰ１に相当する。

ステップＳ２において、記録候補ＲＡＷ画像群抽出部１２０は第２の時間区間ＴＰ２を決定する。具体的には、記録候補ＲＡＷ画像群抽出部１２０は、ステップＳ３において時系列ＲＡＷ画像群ＧＩＭ１に含まれるＲＡＷ画像を解析し、その解析結果に基づいてステップＳ２において第２の時間区間ＴＰ２を決定する。

図５は、処理部１００が行う処理を説明する図である。図５では、記録候補ＲＡＷ画像群抽出部１２０がＲＡＷ画像から病変を検出する例を図示している。図５の「抽出時間区間」は図３の第２の時間区間ＴＰ２に相当しており、病変が出現した時間ｔ１から病変が消失した時間ｔ２までが第２の時間区間ＴＰ２となる。即ち、ＲＡＷ画像に病変が写っている時間区間が、第２の時間区間ＴＰ２である。

記録候補ＲＡＷ画像群抽出部１２０は、例えば、時系列のＲＡＷ画像を解析することで病変の出現と消失を検出する。この場合、始点の時間ｔ１と終点の時間ｔ２が決定され、その間の時間区間が第２の時間区間ＴＰ２となる。或いは、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１に含まれるＲＡＷ画像を１枚ずつ解析することで、各ＲＡＷ画像に病変が写っているか否かを判定する。この場合、病変が写っていると判定されたＲＡＷ画像に対応した時間区間が、結果的に第２の時間区間ＴＰ２となる。

なお、ＲＡＷ画像の解析が病変検出である例を説明したが、解析手法はこれに限定されない。解析手法の他の例については後述する。また第２の時間区間ＴＰ２は、内視鏡システム５のシステム情報に基づいて決定されてもよい。この例については第２構成例で説明する。

図４のステップＳ４において、ＲＡＷ画像記録重要度判断部１４０は、ＲＡＷ画像の重要度を決定する。重要度とは、ＲＡＷ画像を用いた機械学習における重要度である。重要度は、例えば、機械学習による画像認識の対象が写っているか否か、或いは高精度な学習に貢献するような写り方で画像認識の対象が写っているか、を示す。

図５に示すように、記録候補ＲＡＷ画像群ＧＩＭ２に含まれるＲＡＷ画像をＩＭ１～ＩＭｎとする。ｎは２以上の整数である。ＲＡＷ画像記録重要度判断部１４０は、ＲＡＷ画像ＩＭ１～ＩＭｎの各ＲＡＷ画像に対して重要度を決定する。図５の例では、重要度は「高」及び「低」の２段階であり、各ＲＡＷ画像は「高」又は「低」のいずれかに判定される。ＲＡＷ画像記録重要度判断部１４０は、例えばＲＡＷ画像に病変全体が写っているか否か、或いはＲＡＷ画像に占める病変領域の割合に基づいて、重要度を判定する。なお、重要度の判定手法は上記に限定されない。他の判定手法の例については後述する。

ＲＡＷ画像記録重要度判断部１４０は、重要度が高い、即ち重要度「高」と判定されたＲＡＷ画像を記録対象ＲＡＷ画像として出力する。図５には、ＩＭ１、ＩＭ５、ＩＭ６、・・・が記録対象ＲＡＷ画像と判定された例を示す。なお、重要度は３段階以上に分類されてもよいし、或いは連続値であってもよい。この場合、ＲＡＷ画像記録重要度判断部１４０は、重要度がしきい値以上であるＲＡＷ画像を記録対象ＲＡＷ画像として出力する。

図４のステップＳ５において、ＲＡＷ画像記録部１３０は、ＲＡＷ画像の記録が必要か否かを判定する。即ち、ＲＡＷ画像記録部１３０は、ステップＳ４において記録対象ＲＡＷ画像と判定されたＲＡＷ画像がなかった場合には、ＲＡＷ画像の記録が不要であると判定し、本フローチャートの処理を終了する。ＲＡＷ画像記録部１３０は、ステップＳ４において記録対象ＲＡＷ画像と判定されたＲＡＷ画像があった場合には、ＲＡＷ画像の記録が必要であると判定し、記録対象ＲＡＷ画像を記憶部２００に記録する。

例えば、ＲＡＷ画像記録部１３０は、記憶部２００に一時的に記憶された時系列ＲＡＷ画像群ＧＩＭ１のうち記録対象ＲＡＷ画像以外のＲＡＷ画像を消去することで、記録対象ＲＡＷ画像を記憶部２００に記録する。或いは、ＲＡＷ画像記録部１３０は、記憶部２００に一時的に記憶された時系列ＲＡＷ画像群ＧＩＭ１を消去し、新たに記憶部２００に記録対象ＲＡＷ画像を記憶させてもよい。

教師データ作成システム４００は、プロセッサ４１０と記憶部４２０と表示部４３０と操作部４４０とを含む。画像記録システム１の記憶部２００に記録されたＲＡＷ画像は、教師データ作成システム４００に送信され、記憶部４２０に記憶される。

プロセッサ４１０は、記憶部４２０からＲＡＷ画像を読み出し、そのＲＡＷ画像を現像処理して表示画像を生成し、その表示画像を表示部４３０に表示させる。プロセッサ４１０は教師ラベル取得部と教師ラベル記録部とを含む。ユーザは、表示画像に対応した教師ラベルを、操作部４４０を用いて入力する。教師ラベル取得部は、入力された教師ラベルを取得する。教師ラベル記録部は、教師ラベルをＲＡＷ画像に紐付けて教師画像とし、その教師画像を記憶部４２０に記録する。

学習装置５００は記憶部５２０とプロセッサ５１０とを含む。教師データ作成システム４００の記憶部４２０に記憶された教師画像は、学習装置５００に送信され、記憶部５２０に教師データ５２１として記憶される。

記憶部５２０には、機械学習の学習モデル５２２が記憶されている。プロセッサ５１０は、教師データ５２１を用いて学習モデル５２２に対する機械学習を行う。機械学習された学習モデル５２２は、学習済みモデルとして内視鏡システムに転送され、内視鏡システムにおける画像認識に用いられる。

以上の実施形態では、記録対象ＲＡＷ画像は、記録対象ＲＡＷ画像に紐づけられた教師ラベルと共に教師画像として機械学習に用いられる。

本実施形態によれば、画像記録システム１がＲＡＷ画像を記録し、そのＲＡＷ画像が機械学習に用いられるので、機械学習の精度を向上できる。画像記録システム１は、記録すべきＲＡＷ画像を選別するので、教師画像のデータ量削減と機械学習の精度向上とを両立できる。

記録するＲＡＷ画像のデータ量を削減する手法としては、例えばシーン切り替えタイミングにおけるＲＡＷ画像のみを記録する手法、或いはシャッター操作のタイミングにおけるＲＡＷのみを記録する手法も考えられる。しかし、これらの手法では、特定のタイミングにおけるＲＡＷ画像のみしか記録されない。このため、機械学習に適したＲＡＷ画像が記録されない場合がある、或いは、そのタイミングの前後におけるＲＡＷ画像が記録されないという課題がある。

本実施形態では、画像記録システム１は、記録候補ＲＡＷ画像群ＧＩＭ２の中から記録対象ＲＡＷ画像を選定するＲＡＷ画像記録重要度判断部１４０を有する。ＲＡＷ画像記録部１３０は、ＲＡＷ画像記録重要度判断部１４０により選定された記録対象ＲＡＷ画像を記録する。具体的には、ＲＡＷ画像記録重要度判断部１４０は、記録候補ＲＡＷ画像群ＧＩＭ２の各ＲＡＷ画像に対して重要度に基づく判定を行うことで、記録対象ＲＡＷ画像を選定する。

このようにすれば、記録候補ＲＡＷ画像群ＧＩＭ２が抽出され、そのうちの重要度の高いＲＡＷ画像が記録されるので、機械学習に適したＲＡＷ画像が記録される。また、第２の時間区間ＴＰ２に含まれる記録候補ＲＡＷ画像群ＧＩＭ２が抽出されることで、時系列的な変化の情報を含む複数のＲＡＷ画像を記録することが可能となる。これにより、例えば、画像の時間変化を考慮した画像認識システムを、機械学習により生成できるようになる。

また本実施形態では、ＲＡＷ画像記録重要度判断部１４０が１枚のＲＡＷ画像に対して行う処理の処理時間は、記録候補ＲＡＷ画像群抽出部１２０が１枚のＲＡＷ画像に対して行う処理の処理時間よりも長い。具体的には、ＲＡＷ画像記録重要度判断部１４０が１枚のＲＡＷ画像の重要度を判断する処理時間は、記録候補ＲＡＷ画像群抽出部１２０が１枚のＲＡＷ画像を記録候補にするか否かを判断する処理時間よりも長い。

このようにすれば、処理負荷が小さい処理によって時系列ＲＡＷ画像群ＧＩＭ１から記録候補ＲＡＷ画像群ＧＩＭ２が抽出されるので、処理負荷が大きい重要度の判断対象が少なくなる。これにより、記録対象ＲＡＷ画像を選定する処理全体における処理負荷を低減できる。

記録候補ＲＡＷ画像群抽出部１２０が行う処理負荷が小さい処理として、例えば外部の画像認識システムから入力される認識結果に基づく判断が想定される。画像認識は、例えば病変、異常粘膜又は臓器等の検出である。或いは、上記処理負荷が小さい処理として、画像の明るさ等の比較的低負荷で算出されるパラメーターに基づく判断が想定される。或いは、上記処理負荷が小さい処理として、第２構成例で説明するように、内視鏡システム５から入力されるシステム情報に基づく判断が想定される。システム情報は、照明光の種類、処置に関する情報、又はユーザ操作に関する情報等である。

ＲＡＷ画像記録重要度判断部１４０が行う処理負荷が大きい処理として、例えばＲＡＷ画像記録重要度判断部１４０が自ら行った画像認識に基づく重要度の判断が想定される。画像認識は、例えば病変の種類、病変のサイズ、又は処置状況等の解析である。

また本実施形態では、取得部１１０は、内視鏡システム５により時系列に撮影された複数の医療画像を複数のＲＡＷ画像として取得する。

医療画像を用いた機械学習では、画像認識対象に応じた様々な画像拡張が医療画像に施されることが想定される。即ち、凹凸構造に特徴がある対象、血管走行に特徴がある対象、色に特徴がある対象、又はテクスチャーに特徴がある対象等、様々な画像認識対象が存在しており、それらの特徴に応じた画像拡張が施される。このような様々な画像拡張を可能にするために、柔軟な画像処理に耐えるＲＡＷ画像を蓄積することが望まれる。本実施形態によれば、記録データ量を削減しつつ、ＲＡＷ画像を蓄積して医療画像の機械学習に用いることが可能である。

３．第１構成例の種々の実施形態
記録候補ＲＡＷ画像群抽出部１２０が記録候補ＲＡＷ画像群ＧＩＭ２を抽出する手法の具体例を説明する。以下の手法はいずれか１つが採用されてもよいし、２以上の手法が組み合わされてもよい。

第１手法では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１に含まれるＲＡＷ画像の撮影対象の状態を検出し、その撮影対象の状態に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。例えば、以下の第１例～第３例を想定できる。

第１例では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１における病変の出現から消失までを検出し、その出現から消失までの区間を第２の時間区間ＴＰ２に設定する。病変の出現及び消失は、例えばＡＩ処理等の画像認識処理によって検出される。病変は、病的に変化した組織であり、例えばポリープ又はガン等である。

第２例では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１における異常粘膜の出現から消失までを検出し、その出現から消失までの区間を第２の時間区間ＴＰ２に設定する。異常粘膜の出現及び消失は、例えばＡＩ処理等の画像認識処理によって検出される。異常粘膜は、正常でない粘膜であり、例えば炎症、出血又は萎縮等を生じた粘膜である。

第３例では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１に写っている臓器を判定し、機械学習の対象となっている臓器が撮像されている時間区間を第２の時間区間ＴＰ２に設定する。臓器は、例えばＡＩ処理等の画像認識処理によって検出される。

本実施形態によれば、重要度によるＲＡＷ画像の選定の前に、候補となるＲＡＷ画像を撮影対象の状態に応じて大まかに抽出することができる。即ち、機械学習による画像認識の対象が写っていないＲＡＷ画像、又は機械学習に適さない状態で撮影対象が写っているＲＡＷ画像を除外し、それ以外のＲＡＷ画像を候補として記録することが可能となる。

第２手法では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１に含まれるＲＡＷ画像の明るさを直接的又は間接的に検出し、ＲＡＷ画像の明るさに基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。

具体的には、記録候補ＲＡＷ画像群抽出部１２０は、ＲＡＷ画像の明度を検出し、明るく映っているＲＡＷ画像の時間区間を第２の時間区間ＴＰ２に設定する。明度は、画像の明るさを示す指標値であり、例えば画像全体の平均輝度値等である。明るさを直接的に検出するとは、ＲＡＷ画像から明度を算出することである。明るさを間接的に検出するとは、ＲＡＷ画像以外の情報に基づいて明度を算出することである。例えば、内視鏡システム５の照明光量に基づいて明度が算出されてもよい。この例は、第２構成例のシステム情報の例にもなっている。

本実施形態によれば、重要度によるＲＡＷ画像の選定の前に、候補となるＲＡＷ画像をＲＡＷ画像の明るさに応じて大まかに抽出することができる。即ち、暗すぎる画像又は明るすぎる画像等の機械学習に適さないＲＡＷ画像を除外し、それ以外のＲＡＷ画像を候補として記録することが可能となる。

第３手法では、記録候補ＲＡＷ画像群抽出部１２０は、内視鏡システム５の処置動作を検出し、内視鏡システム５の処置動作に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。

具体的には、記録候補ＲＡＷ画像群抽出部１２０は、ＲＡＷ画像における処置具の出現から消失までを検出し、その出現から消失までの時間区間を第２の時間区間ＴＰ２に設定する。処置具の出現から消失までは、画像認識処理によって検出される。画像認識処理は、例えば処置具の輪郭検出、高輝度領域の検出、又は特定色領域の検出等である。

本実施形態によれば、重要度によるＲＡＷ画像の選定の前に、候補となるＲＡＷ画像を処置動作に応じて大まかに抽出することができる。即ち、処置動作が行われている時間区間では機械学習の学習対象が撮影されている可能性が高いので、その時間区間のＲＡＷ画像を抽出することで、記録対象ＲＡＷ画像を抽出できる。

第４手法では、記録候補ＲＡＷ画像群抽出部１２０は、内視鏡システム５の挿入部２０１の動きを検出し、挿入部２０１の動きに基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。例えば、以下の第１例と第２例を想定できる。

第１例では、記録候補ＲＡＷ画像群抽出部１２０は、スコープ先端が静止している区間を検出し、その区間を第２の時間区間ＴＰ２に設定する。スコープ先端の静止は、ＲＡＷ画像に対して動き検出を行うことで、検出される。即ち、ＲＡＷ画像から検出される動き量が所定以下である場合に、スコープ先端が静止していると検出される。

第２例では、記録候補ＲＡＷ画像群抽出部１２０は、挿入部２０１の挿抜方向を検出し、適切に抜去されている時間区間を第２の時間区間ＴＰ２に設定する。挿抜方向は、ＲＡＷ画像に対して動き検出を行うことで、検出される。即ち、消失点に向かって収束するような動きがＲＡＷ画像から検出された場合に、挿入部２０１が抜去されていると検出される。大腸等の検診では抜去しながら診察するので、抜去されている時間区間のＲＡＷ画像を記録候補とする。

本実施形態によれば、重要度によるＲＡＷ画像の選定の前に、候補となるＲＡＷ画像を挿入部２０１の動きに応じて大まかに抽出することができる。即ち、特定の挿入部２０１の動きのときに、機械学習の学習対象が撮影されている可能性が高いので、その特定の挿入部２０１の動きとなっている時間区間のＲＡＷ画像を抽出することで、記録対象ＲＡＷ画像を抽出できる。

次に、ＲＡＷ画像記録重要度判断部１４０が記録対象ＲＡＷ画像を選定する手法の具体例を説明する。以下の手法はいずれか１つが採用されてもよいし、２以上の手法が組み合わされてもよい。

第１手法では、ＲＡＷ画像記録重要度判断部１４０は、ＲＡＷ画像における病変の特性を解析し、その病変の特性に応じて重要度を設定する。病変の特性は、例えばＡＩ処理等の画像認識処理によって検出される。例えば、以下の第１例と第２例が想定される。

第１例では、ＲＡＷ画像記録重要度判断部１４０は、病変の種類に応じて重要度を設定する。例えば、ＲＡＷ画像記録重要度判断部１４０は、希少な症例が検出されたときに、そのＲＡＷ画像の重要度を高く設定する。

第２例では、ＲＡＷ画像記録重要度判断部１４０は、病変のサイズを解析し、そのサイズに基づいて重要度を設定する。例えば、ＲＡＷ画像記録重要度判断部１４０は、小さく見落としやすい病変が検出されたとき、そのＲＡＷ画像の重要度を高く設定する。

第２手法では、ＲＡＷ画像記録重要度判断部１４０は、内視鏡システム５の処置状況を解析し、その処置状況に応じて重要度を設定する。処置状況は、画像認識処理によって検出される。画像認識処理は、例えば処置具の輪郭検出、高輝度領域の検出、又は特定色領域の検出等である。また処置状況は、内視鏡システム５からのシステム情報に基づいて検出されてもよい。例えば電気メスのスイッチ操作情報等に基づいて、処置状況が検出されてもよい。この例は、第２構成例のシステム情報の例にもなっている。第２手法の例として、以下の第１例と第２例が想定される。

第１例では、ＲＡＷ画像記録重要度判断部１４０は、ＲＡＷ画像が処置前、処置中又は処置後のいずれで撮影されたかを判定し、その判定結果に基づいてＲＡＷ画像の重要度を設定する。

第２例では、ＲＡＷ画像記録重要度判断部１４０は、ＲＡＷ画像に写る処置具の種類を判定し、その処置具の種類に基づいてＲＡＷ画像の重要度を設定する。

第３手法では、ＲＡＷ画像記録重要度判断部１４０は、既に撮影済みの部位のＲＡＷ画像か否かを判定し、新規に撮影したＲＡＷ画像である場合にＲＡＷ画像の重要度を高く設定する。例えば、ＡＩ処理等の画像認識処理によって、ＲＡＷ画像に写る部位が検出され、既に撮影された画像の判定結果と照合することで、撮影済みの部位であるか否かが判定される。

次に、ＲＡＷ画像記録部１３０が記録対象ＲＡＷ画像を記録する手法の具体例を説明する。

ＲＡＷ画像記録部１３０は、重要度が高いと判定されたＲＡＷ画像を記録し、それ以外のＲＡＷ画像を記録しない。なお、重要度が高いと判定されなかったＲＡＷ画像を圧縮データとして記録してもよい。この手法については後述する。

４．第２構成例
第２構成例では、記録候補ＲＡＷ画像群抽出部１２０が内視鏡システム５のシステム情報に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。なお、第１構成例と第２構成例は組み合わされてもよい。即ち、記録候補ＲＡＷ画像群抽出部１２０は、ＲＡＷ画像の解析結果とシステム情報の解析結果の両方に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出してもよい。

第２構成例のハードウェア構成は、図１及び図２に示す第１構成例と同様である。図６は、第２構成例において処理部１００が行う処理のフローチャートである。ステップＳ１４～Ｓ１６は、図４に示す第１構成例のステップＳ４～Ｓ６と同様なので説明を省略する。

ステップＳ１１において、取得部１１０はＲＡＷ画像と内視鏡システム５のシステム情報とを取得する。具体的には、取得部１１０は、処理部１００のデータインターフェースであり、内視鏡システム５から転送される時系列ＲＡＷ画像群ＧＩＭ１とシステム情報を受信し、時系列ＲＡＷ画像群ＧＩＭ１を記憶部２００に一時的に記憶させ、システム情報を記録候補ＲＡＷ画像群抽出部１２０に出力する。システム情報は、内視鏡システム５の制御、操作又は状態に関する情報であり、信号又はデータによって伝送される。システム情報は、例えばＲＡＷ画像と同様に時系列の情報であり、各ＲＡＷ画像が撮影されたときのシステム情報がＲＡＷ画像に対応づけられて取得部１１０に入力される。

ステップＳ１２において、記録候補ＲＡＷ画像群抽出部１２０は第２の時間区間ＴＰ２を決定する。具体的には、記録候補ＲＡＷ画像群抽出部１２０は、ステップＳ１３において時系列ＲＡＷ画像群ＧＩＭ１が撮影されたときの内視鏡システム５のシステム情報を解析し、その解析結果に基づいてステップＳ１２において第２の時間区間ＴＰ２を決定し、記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。システム情報の具体例については後述する。

本実施形態によれば、重要度によるＲＡＷ画像の選定の前に、候補となるＲＡＷ画像を内視鏡システム５のシステム情報に応じて大まかに抽出することができる。即ち、内視鏡システム５の特定の制御、操作又は状態において、機械学習の学習対象が撮影されている可能性が高いので、その特定の制御、操作又は状態となっている時間区間のＲＡＷ画像を抽出することで、記録対象ＲＡＷ画像を抽出できる。

記録候補ＲＡＷ画像群抽出部１２０が記録候補ＲＡＷ画像群ＧＩＭ２を抽出する手法の具体例を説明する。以下の手法はいずれか１つが採用されてもよいし、２以上の手法が組み合わされてもよい。

第１手法では、記録候補ＲＡＷ画像群抽出部１２０は、時系列ＲＡＷ画像群ＧＩＭ１が撮影されたときの光源の種類を検出し、所望の種類の光源で撮影されている時間区間を第２の時間区間ＴＰ２に設定する。光源の種類は、白色光又は特殊光等のスペクトルに基づく種類、或いは、キセノンランプ、ＬＥＤ又はレーザダイオード等の発光素子の種類である。光源の種類を示すシステム情報は、例えば照明光モードの制御信号等である。

第２手法では、記録候補ＲＡＷ画像群抽出部１２０は、スコープの撮影倍率を検出し、所望の倍率で撮像されている時間区間を第２の時間区間ＴＰ２に設定する。撮影倍率を示すシステム情報は、例えばズーム操作の制御信号等である。

第３手法では、記録候補ＲＡＷ画像群抽出部１２０は、レリーズ操作又はフリーズ操作を検出し、レリーズ操作又はフリーズ操作がされたタイミングの前後を含む時間区間を第２の時間区間ＴＰ２に設定する。レリーズ操作又はフリーズ操作は、例えば図１の把持部２０４に設けられたボタンによって行われ、そのボタン操作の信号がシステム情報に相当する。

第４手法では、ユーザがＲＡＷ画像を記録すべきと判断したことを示す入力を内視鏡システム５に対して行い、記録候補ＲＡＷ画像群抽出部１２０は、その入力情報に基づいて第２の時間区間ＴＰ２を設定する。上記入力は、例えば図１の把持部２０４、制御装置３又はモニタ４に設けられた操作部を介して入力され、或いは音声入力等により入力される。

５．第３構成例
図７は、画像記録システム１の第３構成例である。図７では、取得部１１０が画像変換部１１２を含む。なお、第１構成例及び第２構成例で説明した構成要素については適宜に説明を省略する。

画像変換部１１２は、時系列ＲＡＷ画像群ＧＩＭ１に含まれるＲＡＷ画像に対する変換処理を行い、変換後画像を作成する。記録候補ＲＡＷ画像群抽出部１２０は、変換後画像に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出する。

変換処理は、ＲＡＷ画像をカラー画像に変換する処理、即ち現像処理である。また変換処理は、ホワイトバランス処理、ノイズ処理、階調変換処理、色変換処理、又は強調処理等を含んでもよい。

本実施形態によれば、ＲＡＷ画像を、記録候補ＲＡＷ画像群ＧＩＭ２を抽出する処理に適した画像に変換し、その変換後画像に基づいて記録候補ＲＡＷ画像群ＧＩＭ２を抽出できる。

６．第４構成例
第４構成例では、記録対象に選定されなかったＲＡＷ画像を圧縮データとして記録する。図８は、画像記録システム１の第４構成例である。図８では、ＲＡＷ画像記録部１３０が圧縮部１１４を含む。また学習装置５００のプロセッサ５１０が画像拡張部５１２を含む。なお、第１構成例及び第２構成例で説明した構成要素については適宜に説明を省略する。

図９に示すように、圧縮部１１４は、記録候補ＲＡＷ画像群ＧＩＭ２のうちＲＡＷ画像記録重要度判断部１４０に選定されなかったＲＡＷ画像を圧縮データに変換する。即ち、ＲＡＷ画像記録重要度判断部１４０が重要度「低」と判定したＲＡＷ画像を圧縮データに変換する。ＲＡＷ画像記録部１３０は、その圧縮データと、ＲＡＷ画像記録重要度判断部１４０に選定されたＲＡＷ画像とを記憶部２００に記録する。図９では、ＩＭ１、ＩＭｎ等がＲＡＷ記録され、ＩＭ２等が圧縮記録される例を示す。

なお、圧縮部１１４は、時系列ＲＡＷ画像群ＧＩＭ１のうちＲＡＷ画像記録重要度判断部１４０に選定されなかったＲＡＷ画像を圧縮データに変換し、その圧縮データをＲＡＷ画像記録部１３０が記憶部２００に記録してもよい。即ち、圧縮部１１４は、記録候補ＲＡＷ画像群ＧＩＭ２のうちＲＡＷ画像記録重要度判断部１４０に選定されなかったＲＡＷ画像だけでなく、記録候補ＲＡＷ画像群ＧＩＭ２として抽出されなかったＲＡＷ画像も圧縮データに変換する。

圧縮データは、ＲＡＷ画像が現像処理及び圧縮処理されたデータであり、カラー画像の圧縮データに相当する。１枚のＲＡＷ画像から生成される圧縮データのデータ量は、その元となる１枚のＲＡＷ画像のデータ量よりも小さい。

本実施形態によれば、重要度の高いＲＡＷ画像に加えて、それ以外のＲＡＷ画像が圧縮された圧縮データも記録される。これにより、ＲＡＷ画像と圧縮データとを用いて機械学習を行うことが可能となる。機械学習には大量の画像が必要であるが、圧縮データを加えることで大量の画像を確保しつつ、その一部にＲＡＷ画像を用いることで高精度な学習が可能となる。

記録対象ＲＡＷ画像は、画像処理により拡張画像に変換された後に機械学習に用いられる画像である。記録対象ＲＡＷ画像は、画像処理に対する柔軟性が高いため、所望の拡張画像に変換しやすい。圧縮データは、拡張画像に変換されることなく機械学習に用いられる画像である。即ち、学習装置５００の画像拡張部５１２は、記録対象ＲＡＷ画像を画像拡張処理により拡張画像に変換する。画像拡張部５１２は、圧縮データに対しては画像拡張処理を行わない。画像拡張処理は、現像処理、ホワイトバランス処理、ノイズ処理、階調変換処理、色変換処理、又は強調処理等である。プロセッサ５１０は、拡張画像及び圧縮データを学習用画像として学習モデル５２２に対する機械学習を行う。

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１ 画像記録システム、２ スコープ、３ 制御装置、４ モニタ、５ 内視鏡システム、１０ 撮影システム、１００ 処理部、１１０ 取得部、１１２ 画像変換部、１１４ 圧縮部、１２０ 記録候補ＲＡＷ画像群抽出部、１３０ ＲＡＷ画像記録部、１４０ ＲＡＷ画像記録重要度判断部、２００ 記憶部、２０１ 挿入部、２０２ 撮像モジュール、２０３ ユニバーサルコード、２０４ 把持部、３００ 表示部、４００ 教師データ作成システム、４１０ プロセッサ、４２０ 記憶部、４３０ 表示部、４４０ 操作部、５００ 学習装置、５１０ プロセッサ、５１２ 画像拡張部、５２０ 記憶部、５２１ 教師データ、５２２ 学習モデル、ＧＩＭ１ 時系列ＲＡＷ画像群、ＧＩＭ２ 記録候補ＲＡＷ画像群、ＩＭ１～ＩＭｎ ＲＡＷ画像、ＴＰ１ 第１の時間区間、ＴＰ２ 第２の時間区間

Claims (16)

1. 第１の時間区間における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群を取得する取得部と、
   前記時系列ＲＡＷ画像群の中から、前記第１の時間区間の一部である第２の時間区間に含まれる記録候補ＲＡＷ画像群を抽出する記録候補ＲＡＷ画像群抽出部と、
   前記記録候補ＲＡＷ画像群に含まれる少なくとも１つのＲＡＷ画像を、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像として記録するＲＡＷ画像記録部と、
   前記記録候補ＲＡＷ画像群の中から前記記録対象ＲＡＷ画像を選定するＲＡＷ画像記録重要度判断部と、
   を含み、
   前記ＲＡＷ画像記録部は、
   前記記録候補ＲＡＷ画像群又は前記時系列ＲＡＷ画像群のうち前記ＲＡＷ画像記録重要度判断部に選定されなかったＲＡＷ画像を圧縮データに変換し、前記圧縮データを記録することを特徴する画像記録システム。
2. 請求項１において、
   前記記録対象ＲＡＷ画像は、
   前記記録対象ＲＡＷ画像に紐づけられた教師ラベルと共に教師画像として機械学習に用いられることを特徴とする画像記録システム。
3. 請求項１において、
   前記ＲＡＷ画像記録部は、
   前記ＲＡＷ画像記録重要度判断部により選定された前記記録対象ＲＡＷ画像を記録することを特徴とする画像記録システム。
4. 請求項３において、
   前記ＲＡＷ画像記録重要度判断部が１枚のＲＡＷ画像に対して行う処理の処理時間は、前記記録候補ＲＡＷ画像群抽出部が１枚のＲＡＷ画像に対して行う処理の処理時間よりも長いことを特徴とする画像記録システム。
5. 請求項３において、
   前記ＲＡＷ画像記録重要度判断部は、
   前記記録候補ＲＡＷ画像群の各ＲＡＷ画像に対して重要度に基づく判定を行うことで、前記記録対象ＲＡＷ画像を選定することを特徴とする画像記録システム。
6. 請求項１において、
   前記取得部は、
   前記時系列ＲＡＷ画像群に含まれるＲＡＷ画像に対する変換処理を行い、変換後画像を作成する画像変換部を含み、
   前記記録候補ＲＡＷ画像群抽出部は、
   前記変換後画像に基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
7. 請求項１において、
   前記記録候補ＲＡＷ画像群抽出部は、
   前記時系列ＲＡＷ画像群に含まれるＲＡＷ画像の撮影対象の状態を検出し、前記撮影対象の状態に基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
8. 請求項１において、
   前記記録候補ＲＡＷ画像群抽出部は、
   前記時系列ＲＡＷ画像群に含まれるＲＡＷ画像の明るさを直接的又は間接的に検出し、前記ＲＡＷ画像の明るさに基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
9. 請求項１において、
   前記取得部は、
   内視鏡システムにより時系列に撮影された複数の医療画像を前記複数のＲＡＷ画像として取得することを特徴とする画像記録システム。
10. 請求項１において、
    前記取得部は、
    内視鏡システムにより撮像された前記時系列ＲＡＷ画像群を取得し、
    前記記録候補ＲＡＷ画像群抽出部は、
    前記内視鏡システムの処置動作を検出し、前記処置動作に基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
11. 請求項１において、
    前記取得部は、
    内視鏡システムにより撮像された前記時系列ＲＡＷ画像群を取得し、
    前記記録候補ＲＡＷ画像群抽出部は、
    前記内視鏡システムの挿入部の動きを検出し、前記挿入部の動きに基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
12. 請求項１において、
    前記取得部は、
    内視鏡システムにより撮像された前記時系列ＲＡＷ画像群と、前記内視鏡システムのシステム情報とを取得し、
    前記記録候補ＲＡＷ画像群抽出部は、
    前記システム情報に基づいて前記記録候補ＲＡＷ画像群を抽出することを特徴とする画像記録システム。
13. 第１の時間区間における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群を取得することと、
    前記時系列ＲＡＷ画像群の中から、前記第１の時間区間の一部である第２の時間区間に含まれる記録候補ＲＡＷ画像群を抽出することと、
    前記記録候補ＲＡＷ画像群の中から、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像を選定することと、
    前記記録候補ＲＡＷ画像群に含まれる少なくとも１つのＲＡＷ画像を、前記記録対象ＲＡＷ画像として記録することと、
    前記記録候補ＲＡＷ画像群又は前記時系列ＲＡＷ画像群のうち前記記録対象ＲＡＷ画像として選定されなかったＲＡＷ画像を圧縮データに変換し、前記圧縮データを記録することと、
    を含むことを特徴とする画像記録方法。
14. 請求項１３において、
    前記記録対象ＲＡＷ画像は、
    前記記録対象ＲＡＷ画像に紐づけて教師画像とするための教師ラベルと共に、機械学習に用いられるＲＡＷ画像であることを特徴とする画像記録方法。
15. 請求項１３において、
    前記記録対象ＲＡＷ画像は、
    画像拡張処理により拡張画像に変換された後に機械学習に用いられる画像であり、
    前記圧縮データは、
    前記拡張画像に変換されることなく機械学習に用いられる画像であることを特徴とする画像記録方法。
16. 第１の時間区間における時系列に沿った複数のＲＡＷ画像を含む時系列ＲＡＷ画像群を取得することと、
    前記時系列ＲＡＷ画像群の中から、前記第１の時間区間の一部である第２の時間区間に含まれる記録候補ＲＡＷ画像群を抽出することと、
    前記記録候補ＲＡＷ画像群の中から、記録すべきＲＡＷ画像である記録対象ＲＡＷ画像を選定することと、
    前記記録候補ＲＡＷ画像群に含まれる少なくとも１つのＲＡＷ画像を、前記記録対象ＲＡＷ画像として記録することと、
    前記記録候補ＲＡＷ画像群又は前記時系列ＲＡＷ画像群のうち前記記録対象ＲＡＷ画像として選定されなかったＲＡＷ画像を圧縮データに変換し、前記圧縮データを記録することと
    をコンピュータに実行させるＲＡＷ画像データ作成プログラム。
    

Images