JPWO2018216618A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

情報処理装置（２０００）は、動画フレーム（１４）の所定範囲（１６）から異常領域（３０）を検出する。情報処理装置（２０００）は、或る動画フレーム（１４）の所定範囲（１６）から異常領域（３０）が検出され、その動画フレーム（１４）よりも後に生成された動画フレーム（１４）の所定範囲（１６）からは異常領域（３０）が検出されなかった場合に、所定条件が満たされているか否かを判定する。この所定条件が満たされていない場合、情報処理装置（２０００）は、所定の通知を行う。

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

人や動物の体内が撮像された画像を利用することで、体内に異常がないかどうかを調べる検査が行われている。例えば特許文献１から３には、過去（例えば一年前）の検査で得られた画像（CT 画像や MRI 画像）と、今回の検査で得られた画像を並べて表示する技術が開示されている。また、特許文献１と４には、画像から病変を検出し、検出した病変にマークを付す技術が開示されている。

特開２００７−１５９９３４号公報 特開２０１６−０４８４２６号公報 特開２０１６−２０２７２２号公報 国際公開第２０１１／１３２４６８号

体内を検査する方法の一つに、内視鏡システムなどを利用して、体内の様子をディスプレイ装置に描出された動画を見ながら検査する方法がある。具体的には、医師が、先端にカメラが設けられたスコープを被検者の鼻や口、肛門などから挿入して、そのスコープを体内で動かす。こうすることにより、体内の様子がカメラによって撮像される。医師は、カメラによって撮像されている体内の様子をディスプレイ装置に描出される動画を見ながら、被検者の体内に異常な部位がないかどうかをチェックしていく。

上述のように被検者の体内でカメラを動かして検査する方法では、体内でカメラを移動させていくため、医師が観察できる部位が時間と共に変わっていく。そのため、医師が異常な部位を見逃してしまう可能性があり、実際に、検査を担当する医師によって病変発見率に差が生じている。前述した各先行技術文献では、このように医師が観察できる部位が時間と共に変わっていく状況は想定されていない。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、被検者の体内が撮像された動画を用いた検査の質を向上させる技術を提供することである。

本発明の情報処理装置は、１）体内が撮影された動画から前記体内の異常領域を検出する検出手段と、２）前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定手段と、３）前記所定条件が満たされていないと判定された場合に第１通知を行う通知手段と、を有する。

本発明の制御方法は、コンピュータによって実行される。
当該制御方法は、１）体内が撮影された動画から前記体内の異常領域を検出する検出ステップと、２）前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定ステップと、３）前記所定条件が満たされていないと判定された場合に第１通知を行う通知ステップと、を有する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、被検者の体内が撮像された動画を用いた検査の精度を向上させる技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１の情報処理装置を概念的に例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 情報処理装置の利用環境の具体例を示す図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 第２所定範囲が設定されている動画フレームを例示する図である。 動画データにおける異常領域の動きを例示する図である。 動画データの強調表示を例示する図である。 異常領域が最後に検出された所定範囲内の位置を示す表示を例示する図である。 上述のガイドを例示する図である。 異常領域が所定範囲の中に含まれる動画フレームが第１通知として表示される様子を例示する図である。 画像記憶部と接続されている情報処理装置を例示する図である。 画像記憶部に記憶される情報のフォーマットをテーブル形式で例示する図である。 異常領域に重畳される種々の重畳マークを例示する図である。 異常領域を指し示す指示マークを例示する図である。 実施形態２の情報処理装置を例示するブロック図である。 実施形態２の情報処理装置によって実行される処理の流れを例示する図である。 第１領域に表示されている動画フレームを強調表示させる第２通知を例示する図である。 履歴情報をテーブル形式で例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１の情報処理装置２０００を概念的に例示する図である。図１（ａ）は、情報処理装置２０００の利用環境を概念的に示している。図１（ｂ）は、情報処理装置２０００の動作を概念的に示している。なお、図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。

カメラ１０は、人その他の動物の検査に利用される。以下、検査対象の人などを被検者と呼ぶ。カメラ１０は、被検者の体内を撮像可能な任意のカメラであり、その撮像結果を表す動画フレーム１４を生成する。例えばカメラ１０は、内視鏡カメラである。動画データ１２は、互いに異なる時間に生成された複数の動画フレーム１４で構成される。

カメラ１０によって生成される動画データ１２は、ディスプレイ装置２０に表示される。ディスプレイ装置２０は、動画データ１２を表示可能な任意のディスプレイ装置である。なお、動画データ１２がディスプレイ装置２０に表示されることは、動画データ１２を構成する複数の動画フレーム１４が順にディスプレイ装置２０に表示されることを意味する。

情報処理装置２０００のユーザ（例えば医師）は、ディスプレイ装置２０に表示された動画データ１２を見ることで、被検者の体内の様子を把握する。より具体的には、ユーザは、被検者の体内に異常な部分があるか否かや、その異常の程度などを把握する。ここで、「体内の異常な部分」は、例えば病変がある部分、傷ついている部分、又は異物がある部分などである。病変とは、病気が原因で起こる生体の変化であり、例えば腫瘍などである。

ここで、被検者の体内をカメラで観察しながら体内の異常部位を探す内視鏡検査などでは、異常部位がカメラによって撮像されたにもかかわらず、医師がそれを見逃してしまう可能性がある。そのため、医師が異常部位を把握しやすいようにサポートを行い、異常部位の見逃しを防ぐことが好適である。

そこで本実施形態の情報処理装置２０００は、以下のような動作を行う。まず情報処理装置２０００は、動画データ１２を取得して、動画データ１２を構成する動画フレーム１４を画像解析する。具体的には、情報処理装置２０００は、動画フレーム１４の所定範囲１６から異常領域３０を検出する。異常領域３０は、被検者の体内の異常な部分を表すと推測される領域である。例えば図１の異常領域３０は、腫瘍を含む領域（病変を表す領域）である。所定範囲１６は、動画フレーム１４の全体であってもよいし、動画フレーム１４の全体よりも小さい画像領域（動画フレーム１４の一部の画像領域）であってもよい。

ここで、或る動画フレーム１４の所定範囲１６から異常領域３０が検出され、その動画フレーム１４よりも後に生成された動画フレーム１４の所定範囲１６からは異常領域３０が検出されなかったとする。言い換えれば、異常領域３０が、カメラ１０の撮像範囲の全体又は一部の中に入った（フレームインした）後、カメラ１０の撮像範囲の全体又は一部から外に出た（フレームアウトした）とする。

この場合、情報処理装置２０００は、所定条件が満たされているか否かを判定し、この所定条件が満たされていない場合に所定の通知（以下、第１通知）を行う。この所定条件は、情報処理装置２０００のユーザが動画データ１２に含まれる異常領域３０を認識していると推測される場合に満たされる条件とする。言い換えれば、この所定条件は、情報処理装置２０００のユーザが動画データ１２に含まれる異常領域３０を認識していないと推測される場合には満たされない条件とする。

図１（ｂ）を用いて、上述した情報処理装置２０００の動作を説明する。なお、図１（ｂ）では説明のために所定範囲１６が点線で表示されているが、必ずしも所定範囲１６を表す枠線がディスプレイ装置２０に表示される必要はない。以降の各図についても同様である。

図１（ｂ）には、時点 t においてディスプレイ装置２０に表示されている画面と、その後の時点 t+a においてディスプレイ装置２０に表示されている画面が示されている。時点 t においてディスプレイ装置２０に表示されている動画フレーム１４の所定範囲１６には、異常領域３０が含まれている。一方、時点 t+a において、ディスプレイ装置２０に表示されている動画フレーム１４の所定範囲１６には、異常領域３０が含まれていない。

そこで情報処理装置２０００は、前述した所定条件が満たされているか否かの判定を行う。ここで、図１（ｂ）の例では、所定条件が満たされていないとする。つまり、ユーザが異常領域３０を認識していないと推測されるとする。よって、情報処理装置２０００は、前述した第１通知を行う。例えば図１では、動画フレーム１４の枠線を太くして強調するという第１通知を行っている。

このような情報処理装置２０００の動作によれば、異常領域３０が動画データ１２の所定範囲内に含まれなくなり、なおかつユーザがその異常領域３０を認識していないと推測される場合に、通知が行われるようになる。こうすることで、認識していない異常領域３０の存在をユーザに気付かせることができるため、ユーザが異常領域３０を見逃してしまうことを防ぐことができる。よって、カメラ１０を用いて行われる体内の検査の精度を向上させることができる。

以下、本実施形態についてさらに詳細を述べる。

＜機能構成＞
図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、検出部２０２０、判定部２０４０、及び通知部２０６０を有する。検出部２０２０は、動画データ１２から異常領域３０を検出する。判定部２０４０は、動画データ１２の或る動画フレーム１４（第１動画フレームと呼ぶ）の所定範囲１６から異常領域３０が検出され、その動画フレーム１４よりも後に生成された動画フレーム１４（第２動画フレームと呼ぶ）の所定範囲１６からはその異常領域３０が検出されない場合に、前述した所定条件が満たされているか否かを判定する。通知部２０６０は、この所定条件が満たされていないと判定された場合に前述した第１通知を行う。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、ROM、又はメモリカードなどで実現される補助記憶装置である。ただしストレージデバイス１０８０は、RAM など、主記憶装置の実現に用いられるハードウエアと同様のハードウエアで実現されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ１０やディスプレイ装置２０が接続される。

ネットワークインタフェース１１２０は、WAN（Wide Area Network）や LAN（Local Area Network）などの通信網に接続するためのインタフェースである。

ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。

＜情報処理装置２０００の利用環境の具体例＞
図４は、情報処理装置２０００の利用環境の具体例を示す図である。例えば情報処理装置２０００は、スコープ４０及び内視鏡システム５０と共に利用される。スコープ４０は内視鏡システム５０と接続されている。また、スコープ４０にはカメラ１０が設けられている。このケースでは、動画データ１２は、スコープ４０に設けられたカメラ１０によって生成される複数の動画フレーム１４で構成される。内視鏡システム５０は、動画データ１２を情報処理装置２０００へ出力する。例えば動画データ１２は、内視鏡システム５０に設けられている映像出力用のインタフェース（例えば HDMI（High-Definition Multimedia Interface）（登録商標）インタフェース）から、情報処理装置２０００が有する映像入力用のインタフェースへ出力される。そして情報処理装置２０００は、内視鏡システム５０から取得した動画データ１２を処理して、第１通知を行う。

ここで、後述するように、第１通知はディスプレイ装置２０を用いて行われる表示であってもよいし、それ以外であってもよい。前者の場合、情報処理装置２０００は、ディスプレイ装置２０を制御して、第１通知を含めた動画データ１２をディスプレイ装置２０に表示させる。一方、後者の場合、動画データ１２をディスプレイ装置２０に表示させる処理は、情報処理装置２０００によって行われてもよいし、他の装置（例えば内視鏡システム５０）によって行われてもよい。動画データ１２をディスプレイ装置２０に表示させる処理が内視鏡システム５０によって行われる場合、ディスプレイ装置２０が情報処理装置２０００に接続されている必要は無い。

なお、図４に示した構成はあくまで例示であり、情報処理装置２０００の利用環境は図４に示した構成に限定されない。例えば動画データ１２は、カメラ１０から情報処理装置２０００へ出力されてもよい。この場合、情報処理装置２０００は、内視鏡システム５０と接続されなくてもよい。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ１０２からＳ１１４は、カメラ１０から取得する各動画フレーム１４について実行されるループ処理である。Ｓ１０２において、情報処理装置２０００は、まだループ処理Ａの対象としていない動画フレーム１４のうち、最も生成時点が早い動画フレーム１４を選択する。ここで選択される動画フレーム１４を、動画フレームｉと表記する。なお、既に全ての動画フレーム１４についてループ処理Ａが実行されている場合、例えば情報処理装置２０００は、新たな動画フレーム１４が生成されるまで待機する。その他にもこの場合、図５の処理は終了してもよい。

検出部２０２０は、動画フレームｉの所定範囲１６から異常領域３０を検出する（Ｓ１０４）。動画フレームｉの所定範囲１６から異常領域３０が検出される場合（Ｓ１０６：ＹＥＳ）、図５の処理はＳ１１４に進む。動画フレームｉの所定範囲１６から異常領域３０が検出されない場合（Ｓ１０６：ＮＯ）、判定部２０４０は、動画フレームｉよりも前にＳ１０４の対象となった動画フレームの所定範囲１６から異常領域３０が検出されているか否かを判定する（Ｓ１０８）。動画フレームｉよりも前にＳ１０４の対象となった動画フレームの所定範囲１６から異常領域３０が検出されていない場合（Ｓ１０８：ＮＯ）、図５の処理はＳ１１４に進む。

動画フレームｉよりも前にＳ１０４の対象となった動画フレームの所定範囲１６から異常領域３０が検出されている場合（Ｓ１０８：ＹＥＳ）、判定部２０４０は所定条件が満たされているか否かを判定する（Ｓ１１０）。所定条件が満たされていない場合（Ｓ１１０：ＮＯ）、通知部２０６０は第１通知を行う（Ｓ１１２）。一方、所定条件が満たされている場合（Ｓ１１０：ＹＥＳ）、図５の処理はＳ１１４に進む。

Ｓ１１４はループ処理Ａの終端である。そのため、図５の処理は、Ｓ１１４の次にＳ１０２に進む。

なお、異常領域３０を検出する処理（Ｓ１０４）の対象とされる動画フレーム１４は、動画データ１２に含まれる全ての動画フレーム１４であってもよいし、一部の動画フレーム１４であってもよい。後者の場合、例えば検出部２０２０は、所定数ごとに１つ（例えば１０枚ごとに１枚）の動画フレーム１４についてのみ、Ｓ１０４を実行する。

＜動画データ１２の取得：Ｓ１０２＞
検出部２０２０が動画データ１２を取得する方法は任意である。例えば検出部２０２０は、動画データ１２が記憶されている記憶装置にアクセスすることで、動画データ１２を取得する。動画データ１２が記憶されている記憶装置は、カメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。また例えば、検出部２０２０は、カメラ１０から送信される動画データ１２を受信することで、動画データ１２を取得してもよい。さらに検出部２０２０は、カメラ１０に接続されている他の装置（例えば前述した内視鏡システム５０）から動画データ１２を取得してもよい。

＜異常領域３０の検出：Ｓ１０４＞
検出部２０２０は、動画データ１２を構成する各動画フレーム１４から異常領域３０を検出する。ここで、体内が撮像されている画像を解析して異常な部位を検出する技術には、既存の技術を利用することができる。例えば、特徴量マッチングやテンプレートマッチングなどの手法が利用できる。例えば特徴量マッチングで腫瘍を検出する場合、腫瘍の外観（色、模様、又は形状など）の特徴を表す値（特徴量）を予め１つ以上定義しておく。検出部２０２０は、動画フレーム１４の画像領域の中から、予め定めておいた腫瘍の特徴量との類似度が高い画像領域を、動画フレーム１４から検出する。そして、検出部２０２０は、検出された画像領域を、異常領域３０を表す画像領域として扱う。傷や異物を検出するケースについても同様の方法を採用できる。

なお、異物を検出したいケースにおいて、体内に入ってしまった異物が特定されているとする。この場合、その異物の特徴量を情報処理装置２０００に対して指定できるようにしておくことが好適である。例えば、体内に入ってしまった異物の写真を情報処理装置２０００に対して入力する。情報処理装置２０００は、この写真を画像解析することで、検出対象の異物の特徴量を算出する。そして、検出部２０２０は、算出した特徴量を持つ異物を動画フレーム１４から検出する。

＜判定部２０４０による判定＞
判定部２０４０は、第１動画フレームの所定範囲１６から検出された異常領域３０が、その後に生成された動画フレーム１４の所定範囲１６から検出されないことを特定する（Ｓ１０６）。言い換えれば、判定部２０４０は、第１動画フレームよりも後に生成された動画フレーム１４のうち、その所定範囲１６から、第１動画フレームの所定範囲１６から検出された異常領域３０が検出されないものを、第２動画フレームとして特定する。

例えば判定部２０４０は、異常領域３０のトラッキングを行う。具体的には、判定部２０４０は、第１動画フレームの所定範囲１６から検出される異常領域３０について、その後に生成される各動画フレーム１４でトラッキングを行う。そして、判定部２０４０は、このトラッキング対象の異常領域３０が所定範囲１６に含まれない動画フレーム１４を、第２動画フレームとして特定する。なお、判定部２０４０は、或る動画フレーム１４から異常領域３０が検出され、なおかつその異常領域３０がこれまでトラッキング対象になっていなかった場合に、その動画フレーム１４を第１動画フレームとして扱う。動画データから検出されるオブジェクトをトラッキングする技術には、既存の技術を利用することができる。なお、判定部２０４０は、異常領域３０を表す画像領域をトラッキングしてもよいし、異常領域３０の周辺を含む所定の大きさ又は形状の画像領域をトラッキングしてもよい。また、判定部２０４０は、異常領域３０ではなく、異常領域３０の周辺の画像領域をトラッキングしてもよい。

なお、判定部２０４０が第２フレームを特定する方法は、トラッキングに限定されない。例えば判定部２０４０は、第１動画フレームの所定範囲１６から検出された異常領域３０を表す画像領域の特徴量を、その後に生成された各動画フレーム１４の所定範囲１６内で探索し、その特徴量を持つ画像領域が含まれない動画フレーム１４のうちの１つを、第２動画フレームとしてもよい。

＜所定条件が満たされているか否かの判定：Ｓ１１０＞
判定部２０４０は、或る動画フレーム１４の所定範囲１６から異常領域３０が検出された後（Ｓ１０６：ＹＥＳ）、その動画フレーム１４よりも後に生成された動画フレーム１４の所定範囲１６からはその異常領域３０が検出されない場合に（Ｓ１０８：ＮＯ）、前述した所定条件が満たされているか否かを判定する（Ｓ１１０）。この所定条件としては、様々なものを採用できる。以下、この所定条件について例示する。なお、特に言及しない限り、所定範囲１６は、動画フレーム１４の画像領域に含まれる任意の範囲とすることができ、動画フレーム１４の画面領域全体とすることもできる。所定範囲１６が動画フレーム１４の中のどの範囲を表すかは、情報処理装置２０００に予め設定されていてもよいし、情報処理装置２０００からアクセス可能な記憶装置に記憶させておいてもよい。

＜所定条件の例１＞
動画データ１２に含まれる異常領域３０がユーザによって認識された場合、ユーザは、カメラ１０の移動をやめたり、カメラ１０の移動速度を遅くしたりすることにより、異常領域３０を詳しく観察しようとする蓋然性が高い。よって、異常領域３０がユーザによって認識された場合、動画データ１２における異常領域３０の移動速度が比較的遅いと考えられる。言い換えれば、異常領域３０がユーザによって認識されていない場合、動画データ１２における異常領域３０の移動速度が比較的速いと考えられる。

そこで例えば、所定条件を、「第１動画フレームから第２動画フレームまでの動画データ１２において、所定範囲１６に含まれる異常領域３０の移動速度の大きさを表す統計値が、所定値以下である」という条件とする。移動速度の大きさを表す統計値は、例えば最小値、最大値、又は平均値などである。上記所定値は、予め判定部２０４０に設定されていてもよいし、判定部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

この所定条件によれば、第１動画フレームから第２動画フレームまでにおける異常領域３０の移動速度が比較的遅い場合には、通知部２０６０による第１通知が行われない。よって、例えばユーザが異常領域３０を認識してカメラ１０の移動速度を遅くしたり、カメラ１０の移動を一時的に停止したりした場合には、通知部２０６０による第１通知が行われない。一方で、第１動画フレームから第２動画フレームまでにおける異常領域３０の移動速度が速い場合には、通知部２０６０による第１通知が行われる。よって、例えばユーザが異常領域３０を認識せずにカメラ１０を速く移動させ続けた場合には、通知部２０６０による第１通知が行われる。よって、ユーザが異常領域３０を見逃してしまうことを防止することができる。

なお、動画データを解析することでその動画データから検出されるオブジェクト（本発明では異常領域３０）の移動速度を算出する技術には、既存の技術を利用することができる。

＜所定条件の例２＞
動画データ１２に含まれる異常領域３０がユーザによって認識された場合、ユーザが何らかの行為をする蓋然性が高い。そこで例えば、上記所定条件を、「第１動画フレームの所定範囲１６から異常領域３０が検出された後、第２動画フレームの所定範囲１６から異常領域３０が検出されないと判定されるまでの間に、異常領域３０に対するユーザによる所定の行為が検出される」という条件とする。第１動画フレームの所定範囲１６から異常領域３０が検出された後、第２動画フレームの所定範囲１６から異常領域３０が検出されないと判定されるまでの間に、ユーザによる所定の行為が検出された場合、判定部２０４０は、上記所定条件が満たされていると判定する。よって、通知部２０６０による第１通知が行われない。一方、上記の期間にユーザによる所定の行為が検出されない場合、判定部２０４０は、上記所定条件が満たされていないと判定する。よって、通知部２０６０による第１通知が行われる。

上述した所定の行為としては、様々なものを採用できる。例えば異常領域３０を認識したユーザは、異常領域３０が含まれる動画フレーム１４を記憶装置に記憶させるために、キーボード入力やシャッターボタンの押下などの入力操作を行いうる。そこで、このような動画フレーム１４を記憶装置に記憶させる入力操作を、上記所定の行為とする。

なお、このような所定の入力操作を認識する技術には、既存の技術を利用することができる。また、判定部２０４０は、記憶装置に記憶された動画フレーム１４の所定範囲１６に含まれる全ての異常領域３０を、上記の入力操作の対象として扱う。

その他にも例えば、異常領域３０を認識したユーザは、異常領域３０に関する所見などを記録するために、文字入力操作を行いうる。そこで、このような文字入力操作を、上記所定の行為とする。このような文字入力操作を認識する技術には、既存の技術を利用することができる。

ここで、上記文字入力操作が特定の異常領域３０を指定して行われるものである場合、判定部２０４０は、その指定された異常領域３０を、ユーザの所定行為の対象とされた異常領域３０として扱う。一方、上記文字入力操作が異常領域３０を指定せずに行われる物である場合、例えば判定部２０４０は、上記文字入力操作が行われた際に動画フレーム１４の所定範囲１６に含まれる全ての異常領域３０を、ユーザの所定行為の対象とされた異常領域３０として扱う。

その他にも例えば、異常領域３０を認識したユーザは、マウスなどのポインティングデバイスを使って異常領域３０やその周辺をポインティングする入力操作を行いうる。例えば検査中、医師が被検者に対して異常領域３０に関する説明を行う場合、ディスプレイ装置２０に表示されている異常領域３０をポインティングしながら説明することが考えられる。そこで、このように異常領域３０やその周辺をポインティングする操作を、上記所定の行為とする。

なお、このようなポインティング操作を認識する技術には、既存の技術を利用することができる。また、判定部２０４０は、ポインティング操作でポインティングされた異常領域３０を、ユーザの所定行為の対象とされた異常領域３０として扱う。

その他にも例えば、異常領域３０を認識したユーザは、１）異常領域３０やその周辺に対して照射される光の色や強度を変える行為、２）異常領域３０又はその周辺へ色素散布や染色をする行為、３）異常領域３０やその周辺に対して薬を投与する行為、又は４）異常領域３０やその周辺の組織を採取する行為などを行いうる。そこで、例えばこのような行為を、上記所定行為とする。

上記１）から４）の行為は、ユーザが内視鏡システムなどに対して所定の入力操作を行うことによって行われる。例えば一般の内視鏡システムでは、カメラが設けられているスコープに、光を照射する機構（光源など）、色素や染色液を噴射する機構、水や薬を投与する機構、及び組織を採取するための機構などが設けられている。そして、これらの機構はユーザが内視鏡視システムに対して行う所定の入力操作に応じて動作する。言い換えれば、前述した各種の行為が行われる際には、その行為を実現する機構を動作させるための入力操作が行われる。

そこで、例えば判定部２０４０は、これらの機構を動作させるための入力操作が行われたことを検出することで、ユーザによって上記所定の行為が行われたことを検出する。例えば判定部２０４０は、内視鏡システムなどから上記入力操作が行われたことを示す通知を受信することで、上記入力操作が行われたことを検出する。

ここで、判定部２０４０は、この入力操作が検出されたタイミングにおいてディスプレイ装置２０に表示されている動画フレーム１４の所定範囲１６に含まれる異常領域３０（カメラ１０によって撮影されている異常領域３０）を、ユーザの所定行為の対象とされた異常領域３０として扱う。言い換えれば、判定部２０４０は、生成時点が上記入力操作の検出時点の直近である動画フレーム１４の所定範囲１６に含まれる異常領域３０を、ユーザの所定行為の対象とされた異常領域３０として扱う。

なお、１）から４）の行為を判定部２０４０が検出する方法は、上述した入力操作を検出する方法に限定されない。例えば判定部２０４０は、動画データ１２を画像解析することにより、上述の行為を検出してもよい。例えば判定部２０４０は、第１の動画フレーム１４から第２の動画フレーム１４までの各動画フレーム１４について明るさの分布や色の分布を比較することで、カメラ１０の撮像範囲の明るさや色の変化を検出する。こうすることで判定部２０４０は、カメラ１０の撮像範囲を照らしている光の色や強度が変更されたことや、染色液が噴射されたことを検出する。

このように画像解析を利用する場合、例えば判定部２０４０は、明るさや色が変化したと判定された動画フレーム１４の所定範囲１６に含まれる異常領域３０を、ユーザの所定行為の対象とされた異常領域３０として扱う。

＜所定条件の例３＞
ここでは、所定範囲１６が動画フレーム１４の画像領域全体であるとする。さらに、動画フレーム１４の中に、所定範囲１６よりも小さい第２所定範囲１８が設定されているとする。図６は、第２所定範囲１８が設定されている動画フレーム１４を例示する図である。例えば第２所定範囲１８は、その中心位置が動画フレーム１４の中心位置にあり、動画フレーム１４と同じ形状であり、なおかつその面積が動画フレーム１４の８０％であるという範囲である。

所定範囲１６内であって第２所定範囲１８の外である領域は、カメラ１０の撮像範囲の中心から外れている部分と言える。ここで一般に、ディスプレイ装置に表示される動画を閲覧する場合、表示画面の中心に近い領域ほどユーザが認識しやすい。そのため、所定範囲１６内であって第２所定範囲１８の外にある領域は、ユーザが認識しにくい領域であると言える。よって、所定範囲１６の中に入らなかった異常領域３０は、ユーザに認識されていない蓋然性が高い。

そこで、例えば所定条件を、「第１動画フレームと第２動画フレームとの間に生成された１つ以上の動画フレーム１４のうち、少なくとも１つの動画フレーム１４の第２所定範囲１８から異常領域３０が検出される」という条件にする。この所定条件によれば、異常領域３０が所定範囲１６に入ったものの、第２所定範囲１８には入らないまま所定範囲１６の外に出た場合に、通知部２０６０による第１通知が行われる。よって、ユーザが異常領域３０を認識していない蓋然性が高い状況下で、通知部２０６０による第１通知が行われる。そのため、異常領域３０がユーザに見逃されてしまうことを防ぐことができる。

図７は、動画データ１２における異常領域３０の動きを例示する図である。図７（ａ）において、異常領域３０は、所定範囲１６に入った後、第２所定範囲１８を通過して、所定範囲１６から出ている。よってこの場合、通知部２０６０による通知は行われない。

一方、図７（ｂ）において、異常領域３０は、所定範囲１６に入った後、第２所定範囲１８に入ることなく、所定範囲１６から出ている。よってこの場合、通知部２０６０による通知が行われる。

なお、画像に含まれるオブジェクトが画像内の所定範囲に含まれるかどうかを判定する技術には、既存の技術を利用することができる。

＜＜所定条件の組み合わせ＞＞
判定部２０４０は、上述した所定条件のいずれか１つのみを利用してもよいし、いずれか２つ以上を利用してもよい。後者の場合、例えば判定部２０４０は、複数の所定条件の少なくとも１つが満たされている場合に「所定条件が満たされている」と判定し、複数の所定条件のいずれもが満たされていない場合に「所定条件が満たされていない」と判定する。このケースでは、複数の所定条件のいずれもが満たされていない場合に第１通知が行われる。

その他にも例えば、判定部２０４０は、複数の所定条件の全てが満たされている場合に「所定条件が満たされている」と判定し、複数の所定条件のいずれか一つでも満たされていない場合に「所定条件が満たされていない」と判定する。このケースでは、複数の所定条件のいずれか一つでも満たされていない場合に第１通知が行われる。

その他にも例えば、判定部２０４０は、複数の所定条件のうち、満たされている所定条件の数が所定値以上である場合に「所定条件が満たされている」と判定し、満たされている所定条件の数が所定値未満である場合に「所定条件が満たされていない」と判定する。このケースでは、満たされている所定条件の数が所定値未満である場合に第１通知が行われる。

＜通知部２０６０による第１通知：Ｓ１１２＞
上述した所定条件が満たされていない場合（Ｓ１１０：ＮＯ）、通知部２０６０による第１通知が行われる（Ｓ１１２）。通知部２０６０による第１通知には、様々なものを採用できる。以下、その具体例について説明する。

＜＜第１通知の例１＞＞
通知部２０６０は、第１通知として、ビープ音や音声メッセージなどの所定の音声をスピーカから出力させる。この場合、情報処理装置２０００にはスピーカが接続されている。この所定の音声は、通知部２０６０に予め設定されていてもよいし、通知部２０６０からアクセス可能な記憶装置に記憶されていてもよい。

＜＜第１通知の例２＞＞
通知部２０６０は、第１通知として、動画データ１２を強調させる表示をディスプレイ装置２０に行わせる。例えば動画データ１２の強調表示は、動画データ１２を囲う枠線を表示させたり、既に表示されている動画データ１２の枠線を太くしたりする表示である。その他にも例えば、動画データ１２の強調表示は、動画データ１２やその枠線を点滅させる表示である。

図８は、動画データ１２の強調表示を例示する図である。図８（ａ）は、第１通知が行われる前のディスプレイ装置２０である。一方、図８（ｂ）は、第１通知が行われた後のディスプレイ装置２０である。図８（ｂ）では、動画データ１２を囲う枠線の太さが、図８（ａ）の場合よりも太くなっている。

＜＜第１通知の例３＞＞
通知部２０６０は、第１通知として、ディスプレイ装置２０に、第１動画フレーム以降の動画データ１２の所定範囲１６内において異常領域３０が最後に検出された位置を示す表示を行わせてもよい。図９は、異常領域３０が最後に検出された所定範囲１６内の位置を示す表示を例示する図である。図９において、所定範囲１６は動画フレーム１４の画像領域全体である。図９（ａ）は、動画データ１２における異常領域３０の移動の軌跡を表している。図９（ｂ）は、図９（ａ）に示す軌跡で異常領域３０が移動した場合において行われる第１通知を例示している。

異常領域３０が所定範囲１６から出たときの異常領域３０の位置は、位置８０である（図９（ａ）参照）。そこで、通知部２０６０は、位置８０を示す表示９０をディスプレイ装置２０に表示させている。

＜＜第１通知の例４＞＞
通知部２０６０は、第１通知として、所定範囲１６から出た異常領域３０を再び所定範囲１６の中に入れるためのガイドとなる表示をディスプレイ装置２０に表示させてもよい。図１０は、上述のガイドを例示する図である。図１０（ａ）は、動画データ１２における異常領域３０の移動の軌跡を表している。図１０（ｂ）は、図１０（ａ）に示す軌跡で異常領域３０が移動した場合において行われる第１通知を例示している。

所定範囲１６の外へ異常領域３０が移動した場合、その異常領域３０の動きを追跡すれば、異常領域３０を再度所定範囲１６の中に入れることができる。よってユーザは、異常領域３０が移動した方向と同じ方向へカメラ１０の撮像範囲を動かせ、異常領域３０を所定範囲１６の中に入れることができる。

図１０（ａ）において、所定範囲１６から外で出たときの異常領域３０の移動方向は方向１００で表される。そこで図１０（ｂ）において、通知部２０６０は、方向１００を表すガイド１１０（第１通知）をディスプレイ装置２０に表示させている。こうすることで、ユーザは、異常領域３０を再度所定範囲１６に入れるための操作を容易に行うことができる。このガイドの表示は、所定範囲１６が動画フレーム１４の画像領域全体であるケースにおいて特に有効である。このケースでは、所定範囲１６の外にある異常領域３０がディスプレイ装置２０に表示されないためである。

ここで、動画データから検出されるオブジェクトの移動方向を算出する技術には、例えばオプティカルフローを算出する方法などの既存技術を利用することができる。

＜＜第１通知の例５＞＞
通知部２０６０は、第１通知として、第１動画フレームと第２動画フレームの間の動画フレーム１４であって異常領域３０が所定範囲１６の中に含まれるものをディスプレイ装置２０に表示させてもよい。図１１は、異常領域３０が所定範囲１６の中に含まれる動画フレーム１４が第１通知として表示される様子を例示する図である。図１１（ａ）は、動画データ１２における異常領域３０の軌跡を表している。異常領域３０は、時点 t1 と時点 t2 の間において所定範囲１６の中に含まれている。そこで通知部２０６０は、時点 t1 と時点 t2 の間に生成された動画フレーム１４の内の一つを、ディスプレイ装置２０に表示させる。図１１（ｂ）は、時点 t1 と時点 t2 の間に生成された動画フレーム１４がディスプレイ装置２０に表示されている様子を示している。図１１（ｂ）において、情報処理装置２０００は、第１通知として表示される動画フレーム１４を、ディスプレイ装置２０の第１領域２２に表示させている。また、情報処理装置２０００は、動画データ１２を、ディスプレイ装置２０の第２領域２４に表示させている。

動画データ１２を見ながら検査を行っているユーザの視点からすると、第１領域２２に表示される動画フレーム１４は、ユーザによって認識されなかった蓋然性が高い異常領域３０を含む過去の動画フレーム１４であると言える。このようにユーザによって認識されなかった蓋然性が高い異常領域３０を含む動画フレーム１４を、動画データ１２と共にディスプレイ装置２０に表示させることにより、ユーザは、ディスプレイ装置２０の第１領域２２を見ることで後からその異常領域３０を認識することができる。よって、ユーザが異常部位を見逃してしまうことを防ぐことができる。

ここで、通知部２０６０が第１領域２２に表示させる動画フレーム１４を決定する方法は様々である。以下、その方法を具体的に例示する。

＜＜＜生成時点を利用する方法＞＞＞
通知部２０６０は、第１動画フレームと第２動画フレームとの間に生成された動画フレーム１４のうち、異常領域３０が含まれる最後の（最も新しい）動画フレーム１４を、第１領域２２に表示させる動画フレーム１４として決定する。この方法によれば、ユーザは、異常領域３０がカメラ１０によって撮像されていた最後の位置を把握することができる。

＜＜＜異常を表す確度を利用する方法＞＞＞
通知部２０６０は、第１動画フレームと第２動画フレームとの間に生成された各動画フレーム１４について、異常領域３０を表す画像領域が体内の異常を表す確度を特定する。例えば特徴量マッチングやテンプレートマッチングで動画フレーム１４から異常領域３０を検出する場合、異常領域３０を表す画像領域が体内の異常を表す確度は、その画像領域と、予め定義しておいた特徴量やテンプレートとの類似度の高さで表される。通知部２０６０は、この確度が最も高い動画フレーム１４を、第１領域２２に表示させる動画フレーム１４として決定する。

動画フレーム１４に含まれる異常領域３０が体内の異常を表す確度が高いほど、その動画フレーム１４に含まれる異常領域３０が体内の異常をよく表していると言える。そのため、異常領域３０が体内の異常を表す確度が高い動画フレーム１４を第１領域２２に表示させることで、被検者の体内にある異常をユーザがより正確に把握できるようになる。

＜＜＜異常領域３０の位置を利用する方法＞＞＞
通知部２０６０は、第１動画フレームと第２動画フレームとの間に生成された各動画フレーム１４の中から、異常領域３０の位置が動画フレーム１４の中心位置に最も近いものを特定し、特定された動画フレーム１４を、第１領域２２に表示させる動画フレーム１４とする。具体的には、通知部２０６０は、各動画フレーム１４について、動画フレーム１４に含まれる異常領域３０と動画フレーム１４の中心座標との距離を算出する。そして、通知部２０６０は、その距離が最も小さい動画フレーム１４を、第１領域２２に表示させる動画フレーム１４として決定する。

一般に、カメラによって生成される画像に含まれる物は、その物が画像の中心付近にあるほど見やすい。そのため、このように異常領域３０の位置が動画フレーム１４の中心位置に近い動画フレーム１４を第１領域２２に表示させることで、ユーザにとって異常領域３０が見やすくなる。

＜＜＜動画フレーム１４全体のコントラストを利用する方法＞＞＞
通知部２０６０は、第１動画フレームと第２動画フレームとの間に生成された各動画フレーム１４のうち、動画フレーム１４全体のコントラストが最も大きいものを、第１領域２２に表示させる動画フレーム１４として決定する。具体的には、通知部２０６０は、各動画フレーム１４について、動画フレーム１４全体のコントラストを表す指標値を算出する。そして通知部２０６０は、算出した指標値を比較することにより、コントラストが最も大きい動画フレーム１４を特定し、特定された動画フレーム１４を、第１領域２２に表示させる動画フレーム１４とする。なお、コントラストを表す指標値には、例えば Michelson コントラストなどを利用することができる。

一般に、画像のコントラストが大きいほど、その画像に含まれる個々の物を判別しやすい。そのため、このように動画フレーム１４全体のコントラストが大きい動画フレーム１４を第１領域２２に表示させることで、ユーザにとって異常領域３０が見やすくなる。

＜＜＜異常領域３０を表す画像領域のコントラストを利用する方法＞＞＞
通知部２０６０は、動画フレーム１４全体のコントラストではなく、異常領域３０を表す画像領域のコントラストを利用してもよい。つまり、通知部２０６０は、第１動画フレームから第２動画フレームの間に生成された各動画フレーム１４について、異常領域３０を表す画像領域のコントラストの指標値を算出する。そして、通知部２０６０は、算出された指標値を比較することにより、異常領域３０を表す画像領域のコントラストが最も大きい動画フレーム１４を特定し、この特定した動画フレーム１４を第１領域２２に表示させる。

この方法によれば、コントラストが大きい異常領域３０がディスプレイ装置２０に表示されるため、異常領域３０の中がユーザにとって見やすくなる。

＜動画フレーム１４の記憶＞
通知部２０６０は、前述した第１領域２２に表示させる動画フレーム１４を、第１領域２２に表示させると共に、又は第１領域２２に表示させることに代えて、記憶装置に記憶させてもよい。以下、動画フレーム１４を記憶させる記憶装置を画像記憶部１２０と呼ぶ。図１２は、画像記憶部１２０と接続されている情報処理装置２０００を例示する図である。なお、画像記憶部１２０は、情報処理装置２０００の内部に設けられていてもよい。

画像記憶部１２０に記憶させる動画フレーム１４を決定する方法は、前述した第１領域に表示させる動画フレーム１４を決定する方法と同様である。

通知部２０６０は、画像記憶部１２０に記憶させる動画フレーム１４を適宜加工してもよい。例えば通知部２０６０は、異常領域３０の位置が分かる画像（後述する重畳マーク６０など）を重畳させた動画フレーム１４を画像記憶部１２０に記憶させる。こうすることで、動画フレーム１４のどこに異常領域３０があるかを容易に把握することができる。その他にも例えば、通知部２０６０は、動画フレーム１４と、その動画フレーム１４に含まれる異常領域３０の位置を特定する情報とを対応づけて、画像記憶部１２０に記憶させる。

ここで前述したように、ユーザがキーボードやシャッターボタンなどを操作することで、動画フレーム１４を記憶装置に記憶させることがある。例えば一般に、内視鏡システムではシャッターボタンが設けられており、そのシャッターボタンをユーザが押すことで、その押されたタイミングでカメラによって生成された動画フレームが記憶装置に記憶される。

情報処理装置２０００は、このようにユーザの操作に応じ、その操作で指定された動画フレーム１４を画像記憶部１２０に記憶させてもよい。以下、このようにユーザの操作に応じて画像記憶部１２０に記憶される動画フレーム１４を、指定保存フレームと呼ぶ。一方、通知部２０６０によって画像記憶部１２０に記憶された動画フレーム１４（情報処理装置２０００が自動的に画像記憶部１２０に記憶させた動画フレーム１４）を、自動保存フレームと呼ぶ。

指定保存フレームと自動保存フレームは、画像記憶部１２０に記憶される契機や、これらがユーザにとって持つ意味が異なる。例えば、指定保存フレームは、ユーザによって認識された蓋然性が高い異常領域３０を含む動画フレーム１４である一方、自動保存フレームは、ユーザによって認識されていない蓋然性が高い異常領域３０を含む動画フレーム１４である。このような違いから、指定保存フレームと自動保存フレームは、互いに識別可能な態様で画像記憶部１２０に記憶されることが好ましい。

指定保存フレームと自動保存フレームを識別可能に画像記憶部１２０に記憶させる方法は任意である。例えば、情報処理装置２０００は、動画フレーム１４と対応づけて、その動画フレーム１４が指定保存フレームと自動保存フレームのどちらであるかを表すフラグを画像記憶部１２０に記憶させる。図１３は、画像記憶部１２０に記憶される情報のフォーマットをテーブル形式で例示する図である。図１３に示されるテーブルをテーブル２００と表記する。テーブル２００は、動画フレーム２０２及び種別フラグ２０４という２つの列を有する。動画フレーム２０２は、動画フレーム１４自体を表す。種別フラグ２０４は、動画フレーム２０２に示される動画フレーム１４が指定保存フレームと自動保存フレームのどちらであるかを表す。

なお、指定保存フレームと自動保存フレームとを識別可能に記憶させる方法は、前述したフラグを設ける方法に限定されない。例えば情報処理装置２０００は、指定保存フレームと自動保存フレームを、互いに異なる記憶装置に記憶させるようにしてもよい。

＜異常領域３０を表す表示＞
情報処理装置２０００は、ディスプレイ装置２０に表示される動画フレーム１４について、その動画フレーム１４に含まれる異常領域３０を表す表示を行う機能を有していてもよい。こうすることで、ユーザが動画フレーム１４に含まれる異常領域３０を容易に把握することができるようになる。以下、この表示を第１表示と呼ぶ。

第１表示としては、様々なものを採用することができる。例えば情報処理装置２０００は、第１領域２２に表示される動画フレーム１４の異常領域３０に重畳するように、所定のマークを異常領域３０に表示させる。以下、このマークを重畳マークと呼ぶ。そしてこの例では、重畳マークが第１表示である。図１４は、異常領域３０に重畳される種々の重畳マーク６０を例示する図である。

その他にも例えば、情報処理装置２０００は、動画フレーム１４の付近に、異常領域３０を指し示す第１表示（以下、指示マーク）を行ってもよい。図１５は、異常領域３０を指し示す指示マーク７０を例示する図である。

［実施形態２］
図１６は、実施形態２の情報処理装置２０００を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様である。

実施形態２の情報処理装置２０００は第２通知部２０８０を有する。第２通知部２０８０は、第２動画フレームよりも後に生成された動画フレーム１４の所定範囲１６から、第１通知の対象となった異常領域３０が検出された場合に、所定の通知を行う。この所定の通知を第２通知と呼ぶ。

ここで、「第２動画フレームよりも後に生成された動画フレーム１４の所定範囲１６から、第１通知の対象となった異常領域３０が検出された」ことは、ユーザに認識されないまま或る異常領域３０が所定範囲１６の外に出た蓋然性が高い状況において、その異常領域３０が再度所定範囲１６の中に入ったことを意味する。通知部２０６０による第１通知を受けたユーザは、カメラ１０を操作して、第１通知の対象となった異常領域３０が所定範囲１６に入れようとすると考えられる。そのため、その異常領域３０が所定範囲１６に入ったことは、ユーザが意図通りにカメラ１０を操作できたことを意味する。よって、このことをユーザが認識できるように、ユーザへ何らかの通知を行うと、ユーザにとって情報処理装置２０００の利便性が高くなる。そこで本実施形態の情報処理装置２０００は、上述の第２通知を行う。

実施形態１で説明したように、情報処理装置２０００は、動画データ１２から検出される各異常領域３０について、その異常領域３０が検出された第１動画フレームよりも後に生成された第２動画フレームからその異常領域３０が検出されず、なおかつ所定条件が満たされない場合に、その異常領域３０を対象とした第１通知を行う。本実施形態の通知部２０６０は、この第１通知を行った際に、第１通知の対象とした異常領域３０を特定するための情報を記憶装置に記憶させておく。この情報を履歴情報と呼ぶ。

第２通知部２０８０は、動画フレーム１４から異常領域３０が検出された場合に、その異常領域３０が履歴情報に示されているか否かを判定する。その異常領域３０が履歴情報に示されている場合、第２通知部２０８０は、その異常領域３０を対象として第２通知を行う。一方、その異常領域３０が履歴情報に示されていない場合、第２通知部２０８０は、その異常領域３０を対象とした第２通知を行わない。

＜処理の流れ＞
図１７は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示する図である。図１７に示される一連の処理は、検出部２０２０によって動画フレーム１４から異常領域３０が検出された後（Ｓ１０６：ＹＥＳ）に実行される。

第２通知部２０８０は、検出部２０２０によって検出された異常領域３０が、履歴情報に含まれるか否かを判定する（Ｓ２０２）。異常領域３０が履歴情報に含まれる場合（Ｓ２０２：ＹＥＳ）、第２通知部２０８０は、その異常領域３０を対象として第２通知を行う（Ｓ２０４）。一方、異常領域３０が履歴情報に含まれない場合（Ｓ２０２：ＮＯ）、図１７の処理は終了する。

＜第２通知の態様＞
第２通知としては、様々なものを採用できる。以下、その具体例を説明する。

＜＜第２通知の例１＞＞
第２通知部２０８０は、第２通知として、所定の音声をスピーカから出力させる。通知として所定の音声を利用する方法については、「第１通知の例１」として実施形態１で説明した通りである。なお、第１通知も音声とする場合、第１通知と第２通知には、互いに異なる音声を利用することが好適である。

＜＜第２通知の例２＞＞
第２通知部２０８０は、第２通知として、動画データ１２を強調させる表示をディスプレイ装置２０に行わせる。動画データ１２を強調させる方法については、「第１通知の例２」として実施形態１で説明した通りである。なお、第１通知も動画データ１２を強調させる表示とする場合、第１通知と第２通知とで、動画データ１２を強調させる態様に差異をつけることが好適である。例えば、第１通知は、動画データ１２の枠線を太くする表示とし、第２通知は、動画データ１２を点滅させる表示とする。

＜＜第２通知の例３＞＞
前提として、「第１通知の例５」として説明したように、第１通知として「第１動画フレームと第２動画フレームの間の動画フレーム１４であって異常領域３０が所定範囲１６の中に含まれるもの」がディスプレイ装置２０の第１領域２２に表示されるとする。つまり、ユーザが認識していない蓋然性が高い異常領域３０が所定範囲１６に含まれる動画フレーム１４が、第１領域２２に表示されるケースである。

このケースにおいて、例えば第２通知部２０８０は、第２通知として、第１領域２２に表示されている動画フレーム１４のうち、第２通知の対象とする異常領域３０が含まれる動画フレーム１４を強調する表示を行う。

図１８は、第１領域２２に表示されている動画フレーム１４を強調表示させる第２通知を例示する図である。図１８において、第１領域２２には２つの動画フレーム１４（動画フレーム１４−１及び動画フレーム１４−２）が表示されている。そして、これらの動画フレーム１４に含まれる異常領域３０は互いに異なる。これは、ユーザによって認識されていない異常領域３０が複数あることを意味する。

ここで、第２領域に表示されている動画フレーム１４−３（カメラ１０によって生成された最新の動画フレーム１４）の所定範囲１６から、異常領域３０−３が検出されている。そして、この異常領域３０は、動画フレーム１４−２に含まれる異常領域３０−２と同じであるとする。

そこで第２通知部２０８０は、第２通知として、動画フレーム１４−２の枠線を太くする強調表示を行わせている。こうすることで、ユーザは、カメラ１０の撮像範囲の所定範囲１６に含まれている異常領域３０が、動画フレーム１４−２に含まれる異常領域３０と同じものであることを把握することができる。言い換えれば、ユーザは、自分が認識していなかった異常領域３０のうち、どの異常領域３０を動画データ１２で現在確認しているのかを把握することができる。

＜履歴情報について＞
通知部２０６０は、第１通知の対象となった異常領域３０を特定できる情報を履歴情報に記憶させておく。例えばこの情報は、異常領域３０を表す画像領域の特徴量（例えばその画像領域の色、形状、又は模様を表すパラメタ）である。以下、履歴情報の構成の具体例を示す。

図１９は、履歴情報をテーブル形式で例示する図である。図１９に示されるテーブルをテーブル３００と呼ぶ。テーブル３００は、異常領域識別子３０２及びデータ３０４という２つの列を持つ。異常領域識別子３０２は、異常領域３０に割り当てる識別子である。データ３０４は、「異常領域３０の特徴量、その異常領域３０が検出された動画フレーム１４の識別子」という組を示す。通知部２０６０は、第１通知を行う際、第１通知の対象となった異常領域３０について、「その異常領域３０の特徴量、その異常領域３０が検出された動画フレーム１４の識別子」という組をデータ３０４に示すレコードを生成して、テーブル３００に格納する。

第２通知部２０８０は、動画フレーム１４の所定範囲１６から検出された異常領域３０の特徴量と類似する特徴量を示すレコードを、テーブル３００から検索する。そして、第２通知部２０８０は、動画フレーム１４から検出された異常領域３０の特徴量と類似する特徴量を示すレコードがあった場合、第２通知を行う。一方、そのようなレコードがなかった場合、第２通知部２０８０は第２通知を行わない。

例えば、検出部２０２０によって動画フレーム１４の所定範囲１６から検出された異常領域３０の特徴量が v6 であるとする。そして、この v6 が、図１９のテーブル３００に示されている特徴量 v3 に類似するとする。この場合、第２通知部２０８０が v6 に類似する特徴量をテーブル３００から検索すると、その結果として、図１９のテーブル３００の３行目のレコードが見つかる。よって、第２通知部２０８０は、第２通知を行う。例えば、img3 という識別子を持つ動画フレーム１４がディスプレイ装置２０の第１領域２２に表示されている場合、第２通知部２０８０は、この動画フレーム１４を強調表示させる第２通知を行う。

なお、通知部２０６０は、同じ異常領域３０を表す複数の動画フレーム１４から得られる情報を、履歴情報の１つのレコードに格納してもよい。例えば前述したように、第１動画フレームから検出された異常領域３０がその後に生成された各動画フレーム１４でトラッキングされる場合、その異常領域３０が複数の動画フレーム１４から検出されうる。そこで、第１通知の対象である異常領域３０が検出された複数の動画フレーム１４それぞれについての「異常領域３０の特徴量、動画フレーム１４の識別子」という組を、テーブル３００の１つのレコードに格納しておく。

異常領域３０の特徴量は、異常領域３０が撮像された角度などによって異なりうる。そのため、第１通知の対象となった異常領域３０について複数の特徴量を記憶させておくことで、第２通知の対象とすべき異常領域３０をより高い精度で特定できる。

＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 体内が撮影された動画から前記体内の異常領域を検出する検出手段と、
前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定手段と、
前記所定条件が満たされていないと判定された場合に第１通知を行う通知手段と、を有する情報処理装置。
２． 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体である、１．に記載の情報処理装置。
３． 前記所定条件は、前記第１動画フレームと前記第２動画フレームの間に生成されたいずれか１つ以上の動画フレームにおいて、前記所定範囲に含まれなおかつ前記所定範囲よりも小さい第２所定範囲から前記異常領域が検出されることである、２．に記載の情報処理装置。
４． 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体よりも小さい領域である、１．に記載の情報処理装置。
５． 前記所定条件は、前記第１動画フレームから前記第２動画フレームまでの動画において、前記所定範囲に含まれる前記異常領域の移動速度が所定値以下であることである、２．又は４．に記載の情報処理装置。
６． 前記所定条件は、前記第１動画フレームの所定範囲から前記異常領域が検出された後、前記第２動画フレームの所定範囲から前記異常領域が検出されないと判定されるまでの間に、前記異常領域に対するユーザによる所定の行為が検出されることである、２．又は４．に記載の情報処理装置。
７． 前記動画はディスプレイ装置に表示されており、
前記通知手段は、前記所定条件が満たされていないと判定された前記異常領域を含む動画フレームを前記ディスプレイ装置に表示させる、１．乃至６に記載の情報処理装置。
８． 前記第１通知の対象となった前記異常領域が検出された前記第２動画フレームよりも後に生成された動画フレームからその異常領域が検出された場合に、第２通知を行う第２通知手段を有する、１．乃至７．いずれか一つに記載の情報処理装置。
９． 前記第２通知は、ディスプレイ装置に表示されておりなおかつ前記第２通知の対象となる前記異常領域が含まれる動画フレームに対する強調表示である、８．に記載の情報処理装置。

１０． コンピュータによって実行される制御方法であって、
体内が撮影された動画から前記体内の異常領域を検出する検出ステップと、
前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定ステップと、
前記所定条件が満たされていないと判定された場合に第１通知を行う通知ステップと、を有する制御方法。
１１． 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体である、１０．に記載の制御方法。
１２． 前記所定条件は、前記第１動画フレームと前記第２動画フレームの間に生成されたいずれか１つ以上の動画フレームにおいて、前記所定範囲に含まれなおかつ前記所定範囲よりも小さい第２所定範囲から前記異常領域が検出されることである、１１．に記載の制御方法。
１３． 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体よりも小さい領域である、１０．に記載の制御方法。
１４． 前記所定条件は、前記第１動画フレームから前記第２動画フレームまでの前記動画において、前記所定範囲に含まれる前記異常領域の移動速度が所定値以下であることである、１１．又は１３．に記載の制御方法。
１５． 前記所定条件は、前記第１動画フレームの所定範囲から前記異常領域が検出された後、前記第２動画フレームの所定範囲から前記異常領域が検出されないと判定されるまでの間に、前記異常領域に対するユーザによる所定の行為が検出されることである、１１．又は１３．に記載の制御方法。
１６． 前記動画はディスプレイ装置に表示されており、
前記通知ステップは、前記所定条件が満たされていないと判定された前記異常領域を含む動画フレームを前記ディスプレイ装置に表示させる、１０．乃至１５に記載の制御方法。
１７． 前記第１通知の対象となった前記異常領域が検出された前記第２動画フレームよりも後に生成された前記動画の動画フレームからその異常領域が検出された場合に、第２通知を行う第２通知ステップを有する、１０．乃至１６．いずれか一つに記載の制御方法。
１８． 前記第２通知は、ディスプレイ装置に表示されておりなおかつ前記第２通知の対象となる前記異常領域が含まれる動画フレームに対する強調表示である、１７．に記載の制御方法。

１９． １０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１７年５月２５日に出願された日本出願特願２０１７−１０３３４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (19)

1. 体内が撮影された動画から前記体内の異常領域を検出する検出手段と、
   前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定手段と、
   前記所定条件が満たされていないと判定された場合に第１通知を行う通知手段と、を有する情報処理装置。
2. 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体である、請求項１に記載の情報処理装置。
3. 前記所定条件は、前記第１動画フレームと前記第２動画フレームの間に生成されたいずれか１つ以上の動画フレームにおいて、前記所定範囲に含まれなおかつ前記所定範囲よりも小さい第２所定範囲から前記異常領域が検出されることである、請求項２に記載の情報処理装置。
4. 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体よりも小さい領域である、請求項１に記載の情報処理装置。
5. 前記所定条件は、前記第１動画フレームから前記第２動画フレームまでの動画において、前記所定範囲に含まれる前記異常領域の移動速度が所定値以下であることである、請求項２又は４に記載の情報処理装置。
6. 前記所定条件は、前記第１動画フレームの所定範囲から前記異常領域が検出された後、前記第２動画フレームの所定範囲から前記異常領域が検出されないと判定されるまでの間に、前記異常領域に対するユーザによる所定の行為が検出されることである、請求項２又は４に記載の情報処理装置。
7. 前記動画はディスプレイ装置に表示されており、
   前記通知手段は、前記所定条件が満たされていないと判定された前記異常領域を含む動画フレームを前記ディスプレイ装置に表示させる、請求項１乃至６に記載の情報処理装置。
8. 前記第１通知の対象となった前記異常領域が検出された前記第２動画フレームよりも後に生成された動画フレームからその異常領域が検出された場合に、第２通知を行う第２通知手段を有する、請求項１乃至７いずれか一項に記載の情報処理装置。
9. 前記第２通知は、ディスプレイ装置に表示されておりなおかつ前記第２通知の対象となる前記異常領域が含まれる動画フレームに対する強調表示である、請求項８に記載の情報処理装置。
10. コンピュータによって実行される制御方法であって、
    体内が撮影された動画から前記体内の異常領域を検出する検出ステップと、
    前記動画の第１動画フレームの所定範囲内から前記異常領域が検出され、なおかつ前記第１動画フレームよりも後に生成された前記動画の第２動画フレームの前記所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する判定ステップと、
    前記所定条件が満たされていないと判定された場合に第１通知を行う通知ステップと、を有する制御方法。
11. 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体である、請求項１０に記載の制御方法。
12. 前記所定条件は、前記第１動画フレームと前記第２動画フレームの間に生成されたいずれか１つ以上の動画フレームにおいて、前記所定範囲に含まれなおかつ前記所定範囲よりも小さい第２所定範囲から前記異常領域が検出されることである、請求項１１に記載の制御方法。
13. 前記動画の各動画フレームの前記所定範囲はその動画フレーム全体よりも小さい領域である、請求項１０に記載の制御方法。
14. 前記所定条件は、前記第１動画フレームから前記第２動画フレームまでの前記動画において、前記所定範囲に含まれる前記異常領域の移動速度が所定値以下であることである、請求項１１又は１３に記載の制御方法。
15. 前記所定条件は、前記第１動画フレームの所定範囲から前記異常領域が検出された後、前記第２動画フレームの所定範囲から前記異常領域が検出されないと判定されるまでの間に、前記異常領域に対するユーザによる所定の行為が検出されることである、請求項１１又は１３に記載の制御方法。
16. 前記動画はディスプレイ装置に表示されており、
    前記通知ステップは、前記所定条件が満たされていないと判定された前記異常領域を含む動画フレームを前記ディスプレイ装置に表示させる、請求項１０乃至１５に記載の制御方法。
17. 前記第１通知の対象となった前記異常領域が検出された前記第２動画フレームよりも後に生成された前記動画の動画フレームからその異常領域が検出された場合に、第２通知を行う第２通知ステップを有する、請求項１０乃至１６いずれか一項に記載の制御方法。
18. 前記第２通知は、ディスプレイ装置に表示されておりなおかつ前記第２通知の対象となる前記異常領域が含まれる動画フレームに対する強調表示である、請求項１７に記載の制御方法。
19. 請求項１０乃至１８いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images