JPWO2020054604A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

情報処理装置（２０００）は、動画フレーム（１４）から異常領域（３０）を検出する。異常領域（３０）は、被検者の体内の異常な部分を表すと推測される領域である。情報処理装置（２０００）は、検出された異常領域（３０）の個数に基づく出力情報を生成して出力する。

Description

本発明は、撮像画像を用いた人その他の動物の体内の検査に関する。

人や動物の体内が撮像された画像を利用することで、体内に異常がないかどうかを調べる検査が行われている。その一例として、内視鏡検査がある。内視鏡検査では、医師が、先端にカメラが設けられたスコープを被検者の鼻や口、肛門などから挿入して、そのスコープを体内で動かす。こうすることにより、体内の様子がカメラによって撮像される。医師は、カメラによって撮像されている体内の様子をディスプレイ装置に描出される動画を見ながら、被検者の体内に異常な部位がないかどうかをチェックしていく。

このような画像を利用した検査をサポートする技術が開発されている。例えば特許文献１は、画像から病変を検出し、検出した病変を他の部分とは異なる色調に変更することで、病変を他の部分と容易に識別できるようにする技術を開示している。特許文献２は、画像に含まれる病変の検出及びその重症度を算出し、病変の位置やその重症度を示す印を画像にマーキングする技術を開示している。特許文献３は、画像から病変を検出した際、その病変の大きさに応じた表示態様で、その病変に関するアイコンを出力する技術を開示している。

特開２０１７−０６０８０６号公報 特開２０１６−１５８６８１号公報 特開２０１５−１１２４２９号公報

被検者の体内でカメラを動かして検査する方法では、体内でカメラを移動させていくため、医師が観察できる部位が時間と共に変わっていく。そのため、医師が異常な部位を見逃してしまう可能性があり、実際に、検査を担当する医師によって病変発見率に差が生じている。そこで、被検者の体内が撮像された画像を用いた検査の質を向上させるために、検査をサポートする多様な技術が求められている。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術を提供することである。

本発明の情報処理装置は、１）体内が撮影された撮像画像から体内の異常領域を検出する検出部と、２）異常領域の個数に基づいて出力情報を生成し、生成した出力情報を出力する出力部と、を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）体内が撮影された撮像画像から体内の異常領域を検出する検出ステップと、２）異常領域の個数に基づいて出力情報を生成し、生成した出力情報を出力する出力ステップと、を有する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術が提供される。

実施形態１の情報処理装置を概念的に例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 情報処理装置の利用環境の具体例を示す図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 検出数を示す出力情報を例示する図である。 検出数を示す出力情報を例示する図である。 検出数を示す出力情報を例示する図である。 強調表示のバリエーションを例示する図である。 強調表示のバリエーションを例示する図である。 異常領域に付すマークを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１の情報処理装置２０００を概念的に例示する図である。図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。

カメラ１０は、人その他の動物の検査に利用される。以下、検査対象の人などを被検者と呼ぶ。カメラ１０は、被検者の体内を撮像可能な任意のカメラであり、その撮像結果を表す動画フレーム１４を生成する。例えばカメラ１０は、内視鏡カメラである。動画データ１２は、互いに異なる時間に生成された複数の動画フレーム１４で構成される。

情報処理装置２０００のユーザ（例えば医師）は、動画データ１２を見ることで、被検者の体内の様子を把握する。より具体的には、ユーザは、被検者の体内に異常な部分があるか否かや、その異常の程度などを把握する。ここで、「体内の異常な部分」は、例えば病変がある部分、傷ついている部分、又は異物がある部分などである。病変とは、病気が原因で起こる生体の変化であり、例えば腫瘍などである。

ここで、動画データ１２を解析して得られる有用な情報を提示することで、内視鏡検査などの精度向上が期待できる。例えば内視鏡検査では、医師などが、被検者の体内をカメラで観察しながら体内の異常部位を探す。この際、異常部位がカメラによって撮像されたにもかかわらず、医師がそれを見逃してしまう可能性がある。そのため、医師が異常部位を把握しやすいようにサポートを行い、異常部位の見逃しを防ぐことが好適である。

そこで本実施形態の情報処理装置２０００は、以下のような動作を行う。まず情報処理装置２０００は、動画データ１２を取得して、動画データ１２を構成する動画フレーム１４を画像解析する。具体的には、情報処理装置２０００は、動画フレーム１４から異常領域３０を検出する。異常領域３０は、被検者の体内の異常な部分を表すと推測される領域である。例えば図１の異常領域３０は、腫瘍を含む領域（病変を表す領域）である。そして情報処理装置２０００は、検出された異常領域３０の個数に基づく出力情報を出力する。

情報処理装置２０００は、異常領域３０の個数に基づく出力を行うことにより、異常領域３０の個数が１つではなく複数であることや、異常領域３０の個数が多いことを、医師等に認識させる。例えば、図１において、情報処理装置２０００は、異常領域３０に枠８０を重畳するように動画フレーム１４を加工した上で、その動画フレーム１４をディスプレイ装置２０に表示させる。この際、動画フレーム１４から検出された異常領域３０が複数である場合における枠８０の太さを、動画フレーム１４から検出された異常領域３０が１つである場合における枠８０の太さよりも太くしている。こうすることで、動画フレーム１４を見た医師等が、異常領域３０が複数検出されていることを直感的に把握することができる。

このように情報処理装置２０００によれば、異常領域３０の数に応じた出力情報が出力されるため、動画フレーム１４を見る医師等が、異常領域３０の数に関する情報を容易に把握することができる。こうすることで、医師等が異常領域３０を見逃してしまうことを防ぐことができたり、医師等が効率的に異常領域３０を観察できたりするという効果が生じる。そして、このような効果から、医師等による検査の質が向上するという効果が得られる。

以下、本実施形態についてさらに詳細を述べる。

＜機能構成＞
図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は検出部２０２０及び出力部２０４０を有する。検出部２０２０は、動画フレーム１４から異常領域３０を検出する。出力部２０４０は、検出された異常領域３０の個数に基づく出力情報を出力する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field−Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ１０やディスプレイ装置２０が接続される。

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

＜情報処理装置２０００の利用環境の具体例＞
図４は、情報処理装置２０００の利用環境の具体例を示す図である。例えば情報処理装置２０００は、スコープ４０及び内視鏡システム５０と共に利用される。スコープ４０は内視鏡システム５０と接続されている。また、スコープ４０にはカメラ１０が設けられている。このケースでは、動画データ１２は、スコープ４０に設けられたカメラ１０によって生成される複数の動画フレーム１４で構成される。内視鏡システム５０は、動画データ１２を情報処理装置２０００へ出力する。例えば動画データ１２は、内視鏡システム５０に設けられている映像出力用のインタフェース（例えば HDMI（High-Definition Multimedia Interface）（登録商標）インタフェース）から、情報処理装置２０００が有する映像入力用のインタフェースへ出力される。そして情報処理装置２０００は、内視鏡システム５０から取得した動画データ１２を処理して、出力情報を生成する。

ここで、後述するように、出力情報はディスプレイ装置２０を用いて行われる表示であってもよいし、それ以外であってもよい。前者の場合、情報処理装置２０００は、ディスプレイ装置２０を制御して、出力情報と共に動画データ１２をディスプレイ装置２０に表示させる。一方、後者の場合、動画データ１２をディスプレイ装置２０に表示させる処理は、情報処理装置２０００によって行われてもよいし、他の装置（例えば内視鏡システム５０）によって行われてもよい。動画データ１２をディスプレイ装置２０に表示させる処理が内視鏡システム５０によって行われる場合、ディスプレイ装置２０が情報処理装置２０００に接続されている必要は無い。

なお、図４に示した構成はあくまで例示であり、情報処理装置２０００の利用環境は図４に示した構成に限定されない。例えば情報処理装置２０００は、カメラ１０、内視鏡システム５０、又はディスプレイ装置２０の内部に設けられてもよい。その他にも例えば、動画データ１２は、カメラ１０から情報処理装置２０００へ出力されてもよい。この場合、情報処理装置２０００は、内視鏡システム５０と接続されなくてもよい。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、動画フレーム１４を取得する（Ｓ１０２）。検出部２０２０は、取得した動画フレーム１４から異常領域３０を検出する（Ｓ１０４）。出力部２０４０は、検出された異常領域３０の数に基づく出力情報を出力する（Ｓ１０６）。

図５に示す一連の処理が実行されるタイミングは様々である。例えば情報処理装置２０００は、カメラ１０によって動画フレーム１４が生成される度に、図５に示す一連の処理を実行する。その他にも例えば、情報処理装置２０００は、所定のタイミングで記憶装置から動画データ１２を取得し、その動画データ１２を構成する複数の動画フレーム１４それぞれを対象として、図５に示す一連の処理を実行してもよい（いわゆるバッチ処理を行う）。

＜動画データ１２の取得：Ｓ１０２＞
検出部２０２０が動画データ１２を取得する方法は任意である。例えば検出部２０２０は、動画データ１２が記憶されている記憶装置にアクセスすることで、動画データ１２を取得する。動画データ１２が記憶されている記憶装置は、カメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。また例えば、検出部２０２０は、カメラ１０から送信される動画データ１２を受信することで、動画データ１２を取得してもよい。さらに検出部２０２０は、カメラ１０に接続されている他の装置（例えば前述した内視鏡システム５０）から動画データ１２を取得してもよい。

＜異常領域３０の検出：Ｓ１０４＞
検出部２０２０は、動画データ１２を構成する各動画フレーム１４から異常領域３０を検出する。ここで、体内が撮像されている画像を解析して異常な部位を検出する技術には、既存の技術を利用することができる。例えば、特徴量マッチングやテンプレートマッチングなどの手法が利用できる。例えば特徴量マッチングで腫瘍を検出する場合、腫瘍の外観（色、模様、又は形状など）の特徴を表す値（特徴量）を予め１つ以上定義しておく。検出部２０２０は、動画フレーム１４の画像領域の中から、予め定めておいた腫瘍の特徴量との類似度が高い画像領域を、動画フレーム１４から検出する。そして、検出部２０２０は、検出された画像領域を、異常領域３０を表す画像領域として扱う。傷や異物を検出するケースについても同様の方法を採用できる。

その他にも例えば、動画フレーム１４から異常領域３０を検出する検出器を機械学習により生成しておき、その検出器を利用して異常領域３０の検出を行ってもよい。検出器のモデルには、ニューラルネットワークやサポートベクトルマシンなどの様々なモデルを採用することができる。なお、画像から特定の特徴を持つ領域を検出する検出器を機械学習により生成する技術には、既存の技術を利用することができる。

なお、異物を検出したいケースにおいて、体内に入ってしまった異物が特定されているとする。この場合、その異物の特徴量を情報処理装置２０００に対して指定できるようにしておくことが好適である。例えば、体内に入ってしまった異物の写真を情報処理装置２０００に対して入力する。情報処理装置２０００は、この写真を画像解析することで、検出対象の異物の特徴量を算出する。そして、検出部２０２０は、算出した特徴量を持つ異物を動画フレーム１４から検出する。

＜出力情報の出力：Ｓ１０６＞
出力部２０４０は、動画フレーム１４に含まれる異常領域３０の数をカウントし、異常領域３０の数に基づく出力情報を出力する（Ｓ１０６）。以下、或る動画フレーム１４から検出された異常領域３０の数を、その動画フレーム１４についての検出数とも表記する。

ここで、異常領域３０の数に基づく出力情報としては、様々な情報を生成しうる。以下、出力情報のバリエーションを例示する。

＜＜異常領域３０の数の出力＞＞
例えば出力部２０４０は、検出数を示す出力情報を生成する。図６から図８は、検出数を示す出力情報を例示する図である。図６では、異常領域３０を表す枠８０の付近に、検出数を表す表示９０が表示されている。

ここで、検出数を表す表示９０は、動画フレーム１４から検出された異常領域３０それぞれについて、その異常領域３０と所定の関係にある位置に表示されることが好適である。
異常領域３０と所定の関係にある位置とは、例えば、異常領域３０の付近（異常領域３０からの距離が所定値以下である位置など）である。

例えば図６では、３つの異常領域３０が検出されており、各異常領域３０の付近それぞれに、表示９０−１、表示９０−２、及び表示９０−３が表示されている。こうすることにより、医師等は、いずれか１つの異常領域３０を見るだけで、現在見ている異常領域３０の他にも異常領域３０が検出されているかどうかや、動画フレーム１４から検出された異常領域３０の数（すなわち、医師等が観察すべき異常領域３０の数）を、容易に把握することができる。例えば、図６では、医師等は、１つの異常領域３０を観察した際、その近くに表示されている表示９０を自然に見ることができ、その結果、合計で３つの（観察中の異常領域３０以外に２つの）異常領域３０が検出されていることを把握することができる。

図７において、出力情報は、内部に動画フレーム１４を含む画像である。例えばこの画像は、ディスプレイ装置に表示される画像である。図７において、検出数を表す表示９０は、動画フレーム１４の外に表示されている。

図８においても、出力情報は、内部に動画フレーム１４を含む画像である。図８では、２つの表示領域それぞれに、動画フレーム１４が表示されている。表示領域２２には、最新の動画フレーム１４（現在カメラ１０によって撮影されている場所を表す動画フレーム１４）が表示される。一方、表示領域２４には、過去に異常領域３０が検出された各動画フレーム１４が表示される。言い換えれば、表示領域２４は、これまでに検出された異常領域３０の履歴が表示される領域である。

図８において、検出数を表す表示９０は、表示領域２２と表示領域２４の各動画フレーム１４について表示されている。ここで、各動画フレーム１４について検出数を表示する方法自体には、図６で例示した枠８０の付近に表示する方法や、図７で例示した動画フレーム１４の外に表示する方法などを採用できる。図８では、各動画フレーム１４の外に、その動画フレーム１４から検出された異常領域３０の数が表示されている。

なお、表示領域２４に表示される動画フレーム１４は、異常領域３０が検出された全ての動画フレーム１４ではなく、一部の動画フレーム１４であってもよい。例えば、その中に含まれる異常領域３０が全て同一である複数の動画フレーム１４については、そのうちのいずれか１つを表示領域２４に表示すればよい。

例えば出力部２０４０は、表示９０と動画フレーム１４を含む画像を、情報処理装置２０００に接続されているディスプレイ装置に出力する。その他にも例えば、出力部２０４０は、表示９０と動画フレーム１４を含む画像を、記憶装置に記憶させてもよい。

＜＜強調表示＞＞
出力部２０４０は、検出数が閾値以上である場合に強調表示を行ってもよい。ここで、閾値が２である場合、この処理は、「１つの動画フレーム１４から複数の異常領域３０が検出された場合に強調表示を行う」という処理に相当する。なお、閾値は、出力部２０４０に予め設定されていてもよいし、出力部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

図９と図１０は、強調表示のバリエーションを例示する図である。強調表示の方法は様々である。図９では、異常領域３０を囲む枠を対象とした強調が行われている。具体的には、出力部２０４０は、検出数が閾値以上（図９では閾値＝２）である場合の枠８０の太さを、検出数が閾値未満である場合の枠８０の太さよりも太くすることで、強調表示を行っている。なお、枠の太さを変える代わりに、枠の形や色を代えたり、枠の塗りつぶし色を変えるようにしてもよい。

図１０では、動画フレーム１４の枠を対象とした強調が行われている。具体的には、出力部２０４０は、検出数が閾値以上である動画フレーム１４の枠を、検出数が閾値未満である動画フレーム１４の枠よりも太くすることで、強調表示を行っている。このケースでも、枠の太さを変える代わりに、枠自体の色や枠の塗りつぶし色を変えるようにしてもよい。また、検出数が閾値以上である動画フレーム１４には枠をつけ、検出数が閾値未満である動画フレーム１４には枠をつけないようにすることで、強調表示を実現してもよい。

なお、動画フレーム１４に枠をつけるため、図１０のケースの出力情報は、図７や図８のケースと同様に、内部に動画フレーム１４を含む画像である。

ここで、検出数の閾値が複数設けられてもよい。この場合、出力部２０４０は、「検出数≧閾値」を満たす最大の閾値に応じて、強調表示を行う。ここで、「検出数≧閾値」を満たす最大の閾値が大きいほど、強調された表示（すなわち、人の注意を引きやすい表示）が用いられることが好適である。例えば、「検出数≧閾値」を満たす最大の閾値が大きいほど、枠８０の太さを太くしたり、人の注意を引きやすい色を枠８０に利用する。

例えば２つの閾値 T1 と T2 が設けられており、 T1 > T2 であるとする。この場合、１）検出数≧T1、２）T1>検出数≧T2、及び３）検出数<T2 という３つケースが考えられる。この場合、出力部２０４０は、１）と２）の場合で強調表示を行う。また、１）のケースの表示として、２）のケースの表示よりも人の注意を引きやすいものを利用する。

例えば一般に、注意喚起に利用される色として赤色と黄色がある。そして、赤色を使うケースの方が、黄色を使うケースよりも、より強く人の注意を引きつけたいケースであることが多い。そこで例えば、出力部２０４０は、１）のケースでは枠８０の色を赤色にし、２）のケースでは枠８０の色を黄色にする。また、検出数が閾値未満である３）のケースでは、枠８０の色を、緑色等の比較的安全な状況を表す色にしてもよい。例えば、閾値 T2 を２とし、閾値 T2 を３とする。この場合、検出数が１であれば枠８０が緑色になり、検出数が２であれば枠８０が黄色になり、検出数が３以上であれば枠８０が赤色になる。

その他にも例えば、出力部２０４０は、１）のケース、２）のケース、３）のケースの順で、枠８０の太さを太くするようにしてもよい。

なお、上述の各説明では異常領域３０に対して矩形の枠８０を付していたが、異常領域３０に付されるのは矩形の枠に限定されず、任意のマークとすることができる。図１１は、異常領域３０に付すマークを例示する図である。

例えば出力部２０４０は、強調表示を行った動画フレーム１４を、ディスプレイ装置に出力する。その他にも例えば、出力部２０４０は、強調表示を行った動画フレーム１４を、記憶装置に記憶させてもよい。

＜＜音声の出力＞＞
例えば出力部２０４０は、検出数に応じてアラーム音を出力する。例えば出力部２０４０は、アラーム音を、情報処理装置２０００に接続されているスピーカなどに出力する。

ここで、検出数が閾値以上である場合のみアラーム音が出力されるようにしてもよいし、検出数が閾値未満である場合にもアラーム音を出力されるようにしてもよい。後者の場合、出力部２０４０は、検出数が閾値以上である場合と、検出数が閾値未満である場合とで、異なるアラーム音を利用する。

検出数が閾値以上である場合のアラーム音は、検出数が閾値未満である場合のアラーム音よりも、人の注意を引きやすいものであることが好適である。例えば、検出数が閾値以上である場合のアラーム音の長さを、検出数が閾値未満である場合のアラーム音の長さよりも長くする。その他にも例えば、検出数が閾値以上である場合のアラーム音の音量を、検出数が閾値未満である場合のアラーム音の音量よりも大きくする。

ここで、強調表示のケースと同様に、検出数の閾値が複数設けられてもよい。この場合、出力部２０４０は、「検出数≧閾値」を満たす最大の閾値に応じたアラーム音を出力する。例えば、「検出数≧閾値」を満たす最大の閾値が大きいほど、アラーム音の長さを長くしたり、アラーム音の音量を大きくしたりする。

その他にも例えば、出力部２０４０は、検出数を把握できる音声を出力してもよい。例えば出力部２０４０は、検出数を表す音声（「１」や「２」など）を出力する。その他にも例えば、出力部２０４０は、アラーム音を、検出数と同じ回数出力する。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 体内が撮影された撮像画像から前記体内の異常領域を検出する検出部と、
前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力部と、を有する情報処理装置。
２． 前記出力部は、前記異常領域の個数を示す情報を含む前記出力情報を生成する、１．に記載の情報処理装置。
３． 前記出力部は、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、２．に記載の情報処理装置。
４． 前記撮像画像から複数の異常領域が検出された場合、前記出力部は、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、３．に記載の情報処理装置。
５． 前記出力部は、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、２．に記載の情報処理装置。
６． 前記出力部は、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、２．に記載の情報処理装置。
７． 前記出力部は、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、１．に記載の情報処理装置。
８． 前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、７．に記載の情報処理装置。
９． 前記出力部は、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、７．又は８．に記載の情報処理装置。
１０． 前記出力部は、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、１．又は２．に記載の情報処理装置。
１１． 前記出力部は、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、１０．に記載の情報処理装置。

１２． コンピュータによって実行される制御方法であって、
体内が撮影された撮像画像から前記体内の異常領域を検出する検出ステップと、
前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力ステップと、を有する制御方法。
１３． 前記出力ステップにおいて、前記異常領域の個数を示す情報を含む前記出力情報を生成する、１２．に記載の制御方法。
１４． 前記出力ステップにおいて、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、１３．に記載の制御方法。
１５． 前記撮像画像から複数の異常領域が検出された場合、前記出力ステップにおいて、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、１４．に記載の制御方法。
１６． 前記出力ステップにおいて、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、１３．に記載の制御方法。
１７． 前記出力ステップにおいて、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、１３．に記載の制御方法。
１８． 前記出力ステップにおいて、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、１２．に記載の制御方法。
１９． 前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、１８．に記載の制御方法。
２０． 前記出力ステップにおいて、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、１８．又は１９．に記載の制御方法。
２１． 前記出力ステップにおいて、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、１２．又は１３．に記載の制御方法。
２２． 前記出力ステップにおいて、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、２１．に記載の制御方法。

２３． １２．乃至２２．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１８年９月１１日に出願された日本出願特願２０１８−１６９７２２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ カメラ
１２ 動画データ
１４ 動画フレーム
２０ ディスプレイ装置
２２ 表示領域
２４ 表示領域
３０ 異常領域
４０ スコープ
５０ 内視鏡システム
８０ 枠
９０ 表示
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 情報処理装置
２０２０ 検出部
２０４０ 出力部

＜異常領域３０の検出：Ｓ１０４＞
検出部２０２０は、動画データ１２を構成する各動画フレーム１４から異常領域３０を検出する。ここで、体内が撮像されている画像を解析して異常な部位を検出する技術には、既存の技術を利用することができる。例えば、特徴量マッチングやテンプレートマッチングなどの手法が利用できる。例えば特徴量マッチングで腫瘍を検出する場合、腫瘍の外観（色、模様、又は形状など）の特徴を表す値（特徴量）を予め１つ以上定義しておく。検出部２０２０は、動画フレーム１４の画像領域の中から、予め定めておいた腫瘍の特徴量との類似度が高い画像領域を検出する。そして、検出部２０２０は、検出された画像領域を、異常領域３０を表す画像領域として扱う。傷や異物を検出するケースについても同様の方法を採用できる。

例えば一般に、注意喚起に利用される色として赤色と黄色がある。そして、赤色を使うケースの方が、黄色を使うケースよりも、より強く人の注意を引きつけたいケースであることが多い。そこで例えば、出力部２０４０は、１）のケースでは枠８０の色を赤色にし、２）のケースでは枠８０の色を黄色にする。また、検出数が閾値未満である３）のケースでは、枠８０の色を、緑色等の比較的安全な状況を表す色にしてもよい。例えば、閾値 T2 を２とし、閾値 T1 を３とする。この場合、検出数が１であれば枠８０が緑色になり、検出数が２であれば枠８０が黄色になり、検出数が３以上であれば枠８０が赤色になる。

Claims (23)

1. 体内が撮影された撮像画像から前記体内の異常領域を検出する検出部と、
   前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力部と、を有する情報処理装置。
2. 前記出力部は、前記異常領域の個数を示す情報を含む前記出力情報を生成する、請求項１に記載の情報処理装置。
3. 前記出力部は、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、請求項２に記載の情報処理装置。
4. 前記撮像画像から複数の異常領域が検出された場合、前記出力部は、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、請求項３に記載の情報処理装置。
5. 前記出力部は、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
   前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、請求項２に記載の情報処理装置。
6. 前記出力部は、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
   前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、請求項２に記載の情報処理装置。
7. 前記出力部は、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、請求項１に記載の情報処理装置。
8. 前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、請求項７に記載の情報処理装置。
9. 前記出力部は、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、請求項７又は８に記載の情報処理装置。
10. 前記出力部は、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、請求項１又は２に記載の情報処理装置。
11. 前記出力部は、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、請求項１０に記載の情報処理装置。
12. コンピュータによって実行される制御方法であって、
    体内が撮影された撮像画像から前記体内の異常領域を検出する検出ステップと、
    前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力ステップと、を有する制御方法。
13. 前記出力ステップにおいて、前記異常領域の個数を示す情報を含む前記出力情報を生成する、請求項１２に記載の制御方法。
14. 前記出力ステップにおいて、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、請求項１３に記載の制御方法。
15. 前記撮像画像から複数の異常領域が検出された場合、前記出力ステップにおいて、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、請求項１４に記載の制御方法。
16. 前記出力ステップにおいて、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
    前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、請求項１３に記載の制御方法。
17. 前記出力ステップにおいて、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
    前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、請求項１３に記載の制御方法。
18. 前記出力ステップにおいて、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、請求項１２に記載の制御方法。
19. 前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、請求項１８に記載の制御方法。
20. 前記出力ステップにおいて、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、請求項１８又は１９に記載の制御方法。
21. 前記出力ステップにおいて、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、請求項１２又は１３に記載の制御方法。
22. 前記出力ステップにおいて、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、請求項２１に記載の制御方法。
23. 請求項１２乃至２２いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images