JP7641920B2 - 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム - Google Patents

Description

本技術は、内視鏡用プロセッサ、情報処理方法及びコンピュータプログラムに関する。

内視鏡の挿入管の先端部に対物光学系及び撮像素子を内蔵した電子内視鏡と、該電子内視鏡から出力される映像信号を処理してモニタに表示可能なビデオ信号を生成する電子内視鏡用プロセッサとを備えた電子内視鏡装置が、被検者の診断等に広く利用されている。電子内視鏡用プロセッサにおいては、例えば、撮像画像に対して、歪補正や傷補正等の画像処理、γ補正やホワイトバランス調整、強調処理等の各種信号処理を施し、医師の診断に適した高画質の画像を提供する。医師は、これらの画像をもとに診断を行う。

電子内視鏡装置では、その他にも対物光学系及び撮像素子の制御、各種操作要求の受付など多くの処理が実行されており、これらの処理を遅延なく実行することが要求される。特許文献１には、高価なＣＰＵを用いることなく、プロセッサのオペレーティングシステムの負荷増大、動作遅延、データロスを防止することができる電子内視鏡システム等が開示されている。

特開２０１８－７９２８号公報

内視鏡の検査においては、内視鏡の施術中に当医師により診断が行われる場合と、記録された画像に基づき後日診断が行われる場合とがある。後日診断が行われる場合には、保存された１枚絵の静止画を基に診断されることが主であるため、診断を行う医師においては高い技量及び経験が求められる。しかし、検査の開始から終了までの動画を施術時の静止画と同等の画質で記録することは、容量が増大してしまうという問題がある。

本開示の目的は、内視鏡により撮影される所定の時間長に限られた動画像を取得する内視鏡用プロセッサ、情報処理方法及びコンピュータプログラムを提供することにある。

本開示の一態様に係る内視鏡用プロセッサは、内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部とを備える。

本開示によれば、内視鏡により撮影される所定の時間長に限られた動画像を取得することができる。

第１実施形態における内視鏡システムの全体構成を説明する模式図である。 内視鏡用プロセッサの構成例を示すブロック図である。 画像ＤＢに記憶される情報の内容例を示す図である。 内視鏡用プロセッサの機能ブロック図である。 学習モデルの構成を説明する説明図である。 内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。 第２実施形態における内視鏡用プロセッサの機能ブロック図である。 内視鏡用プロセッサで実行される連結処理手順の一例を示すフローチャートである。

本発明をその実施の形態を示す図面を参照して具体的に説明する。

（第１実施形態）
図１は、第１実施形態における内視鏡システムの全体構成を説明する模式図である。第１実施形態における内視鏡システムは、内視鏡１、内視鏡用プロセッサ２及び表示装置３を含む。内視鏡１は、被検体の内部に挿入され、被検体の内部を撮影した画像の画像データを内視鏡用プロセッサ２に出力する。内視鏡用プロセッサ２は、内視鏡１から入力された画像データに画像処理を施し、画像処理を施した画像データを表示装置３に出力する。表示装置３は、内視鏡用プロセッサ２から入力された画像データの画像を表示する。各装置はコネクタを介して電気信号、映像信号等の送受信を行う。

内視鏡１は、例えば上部消化管用の内視鏡または大腸内視鏡である。内視鏡１は、被検体である被検者の管腔臓器に挿入される挿入部１１と、該挿入部１１に操作部１２及びユニバーサルコード１３を介して連結されたスコープコネクタ１４とを備え、スコープコネクタ１４により内視鏡用プロセッサ２に接続して使用される。挿入部１１の先端部分には撮像装置１５が内蔵されている。

挿入部１１は、操作部１２に連結されて比較的に長く形成された可撓管１１１と、可撓管１１１と同軸上に連結されて比較的に短く形成された湾曲自在な湾曲部１１２とを有する。湾曲部１１２における湾曲機構は、一般的な内視鏡に組み込まれている周知の機構であり、操作部１２の操作に連動した操作ワイヤの牽引によって湾曲部１１２が湾曲するように構成されている。先端部分の方向が上記操作による湾曲動作に応じて変わることにより、撮像装置１５による撮影領域が移動する。

撮像装置１５は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子及び結像用の対物光学系を備える。撮像装置１５を駆動するためのドライバ回路は、内視鏡用プロセッサ２との接続部分（スコープコネクタ１４の内部）等に配置され、ＣＰＵ（Central Processing Unit）、タイミングジェネレータ（ＴＧ）、アナログ信号処理回路（ＡＥＦ）などを備える。ドライバ回路は、ＴＧから出力されるクロック信号に応じて、固体撮像素子から出力されるＲＧＢ各色の信号を取り込み、ノイズ除去、増幅、ＡＤ変換など、必要な処理を施して得られるデジタル形式の画像データを内視鏡用プロセッサ２へ出力する。

操作部１２は、操作者により把持されて各種の操作を行うために設けてあり、静止画及び高画質動画を含む画像を記録するための制御ボタン１２１が設けられている。制御ボタン１２１が押下操作されたタイミングにて、内視鏡１は静止画及び所定の時間長の高画質動画を撮影する。操作部１２には、制御ボタン１２１に加え、操作者の各種の操作を受け付けるための他の操作ボタンが設けられていてよい。操作部１２は、操作部１２で行われた操作を示す操作信号を内視鏡用プロセッサ２に出力する。

別の実施形態では、操作部１２は、静止画撮影操作と高画質動画撮影操作とを独立して受け付ける構成であってよい。例えば、制御ボタン１２１は、静止画撮影操作と高画質動画撮影操作との２段階の押下操作が検出可能に構成されている。制御ボタン１２１は、１段階の押下操作により静止画撮影操作を受け付け、さらにもう１段階押し下げられることにより高画質動画撮影操作を受け付ける。なお、制御ボタン１２１は複数設けられ、異なる制御ボタン１２１により静止画撮影操作と高画質動画撮影操作とを受け付ける構成であってもよい。

内視鏡用プロセッサ２は、内視鏡１の撮像装置１５により撮影され、ユニバーサルコード１３を通じて伝送される画像データを処理するための情報処理装置である。内視鏡用プロセッサ２にて処理された画像データは表示装置３へ出力される。

表示装置３は、例えば液晶表示装置又は有機ＥＬ（Electro Luminescence）表示装置であり、内視鏡用プロセッサ２から出力された画像データ等を表示する。

図２は、内視鏡用プロセッサ２の構成例を示すブロック図である。内視鏡用プロセッサ２は、制御部２１、記憶部２２、入力部２３、出力部２４、光源２５などを含む。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ(Random Access Memory)等を有する。制御部２１が有するＣＰＵは、ＲＯＭ又は記憶部２２に格納されたプログラム２ＰをＲＡＭ上に展開して実行することにより、内視鏡用プロセッサ２を本実施の形態における内視鏡用プロセッサ２として機能させる。

なお、制御部２１は上記の構成に限定されるものではない。制御部２１は、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路又は制御回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測の開始指示を与えてから計測の終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有していてもよい。

記憶部２２は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリ、若しくはハードディスクを備えた記録装置により構成されている。記憶部２２は、プログラム２Ｐを記憶するほか、制御部２１が参照する他のプログラム及びデータを記憶する。記憶部２２は複数の記憶装置により構成されていてもよく、内視鏡用プロセッサ２に接続された外部記憶装置であってもよい。別の実施形態では、記憶部２２は、ＵＳＢメモリ又はＳＤカード等の可搬型の記録媒体であり、内視鏡用プロセッサ２に対して着脱可能であってもよい。

プログラム２Ｐは、プログラム２Ｐを読み取り可能に記録した記録媒体２Ａを用いて、内視鏡用プロセッサ２に提供されてもよい。記録媒体２Ａは、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ（登録商標）等の可搬型メモリである。この場合、制御部２１は、不図示の読取部を介して記録媒体２Ａからプログラム２Ｐを読み取り、読み取ったプログラム２Ｐを記憶部２２にインストールしてもよい。更に、内視鏡用プロセッサ２が外部装置と通信する通信部を備える場合、プログラム２Ｐは、通信部を介した通信によって、内視鏡用プロセッサ２に提供されてもよい。この場合、制御部２１は、通信部を通じてプログラム２Ｐを取得し、取得したプログラム２Ｐを記憶部２２にインストールしてもよい。

記憶部２２はさらに、学習モデル２Ｍ及び画像ＤＢ２２２（Data Base ：データベース）２２２を記憶する。画像ＤＢ２２２は、内視鏡により撮影された画像に関する画像情報を登録するデータベースである。学習モデル２Ｍは、内視鏡により撮影された画像における病変を識別する識別器であり、機械学習により生成された学習モデルである。学習モデル２Ｍは、その定義情報によって定義される。学習モデル２Ｍの定義情報は、例えば、学習モデル２Ｍの構造情報や層の情報、各層が備えるノードの情報、学習済みのパラメータを含む。記憶部２２には、学習モデル２Ｍに関する定義情報が記憶される。

入力部２３は、例えばタッチパネル、キーボード、各種スイッチ等の入力装置を接続する接続インタフェースを備える。入力部２３は、これら入力装置に対する外部からの操作に応じて発生した入力信号を制御部２１に入力する。

出力部２４は、表示装置３を接続する接続インタフェースを備える。出力部２４の出力インタフェースは、アナログ形式の映像信号を出力する出力インタフェースであってもよく、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）などのデジタル形式の映像信号を出力する出力インタフェースであってもよい。出力部２４は、制御部２１の制御の下で、表示用の画像信号を表示装置３に出力し、画像を表示させる。

光源２５は、観察対象の照明に用いる照明光を発する光源を備える。光源２５は、例えば、波長域が異なる複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ等である。光源２５の点灯、消灯および明るさの変更は、制御部２１により制御される。なお、本実施形態では、内視鏡用プロセッサ２が光源一体型であるが、これに限定されるものではない。例えば、内視鏡用プロセッサ２は、光源装置と分離する光源分離型であってもよい。

さらに内視鏡用プロセッサ２は、通信部を備えていてもよい。内視鏡用プロセッサ２は、画像データ等を外部装置へ送信し、これらの情報を外部装置に蓄積させてもよい。

本実施形態では、内視鏡用プロセッサ２は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させてもよく、または仮想マシンにより構成されていてもよい。

図３は、画像ＤＢ２２２に記憶される情報の内容例を示す図である。制御部２１は、内視鏡１から取得した撮像画像データに基づく静止画及び動画を生成し画像ＤＢ２２２に記憶する。画像ＤＢ２２２には、画像ファイルを識別するための画像ＩＤに対応付けて、画像、時間情報、被検体ＩＤ、及び開始条件等が記憶されている。

画像は、内視鏡１の検査において取得した画像を含んでよい。本実施形態において、画像には、静止画及び動画が含まれており、さらに動画には低画質動画及び高画質動画が含まれている。すなわち、動画には、同一の撮像装置により撮影された、同時点における同一の撮像対象に対する異なる画質の動画が含まれている。静止画は、操作者の指示に応じて取得され記録される画像である。低画質動画は、内視鏡１の検査の開始から終了に亘って撮影され低い解像度で記録される画像である。高画質動画は、所定の開始条件に応じて取得され高い解像度で記録される画像である。なお、内視鏡１から取得した撮像画像データに基づき生成される画像には、上記の他に内視鏡１の検査の開始から終了に亘って取得され表示装置３に表示される内視鏡画像が含まれる。時間情報は、各画像の記録時間を示す情報を含み、例えばタイムスタンプが記憶されている。被検体ＩＤは、各撮像画像データの撮影対象である被検体を識別する情報を含み、例えば被検体ＩＤ（患者ＩＤ）が記憶されている。開始条件は、例えば開始操作の受け付け、病変の検出、移動量が所定値以下等の、高画質動画の撮影を開始するに至った開始条件を示す情報を含む。図３の例では、開始条件は、１から３の種類コードにより正規化して登録される。開始条件の詳細については後述する。なお、図３は一例であり、画像ＤＢ２２２の記憶内容は限定されない。

通常の内視鏡検査においては、内視鏡用プロセッサ２の記憶容量の問題上、所定の検査箇所において撮影される高い解像度の静止画と、施術中の全ての時間において撮影される低い解像度の動画とが保存されることが一般的である。医師が後日診断を行う場合には、保存された静止画に基づき診断を行う。１枚絵である静止画からの診断は、熟練の技術が必要とされる。そこで本内視鏡システムでは、所定の時間長に限られた高い解像度の動画をさらに保存することで、保存データを基に診断を行う場合であっても、高画質で記録された静止画及び動画による多くの情報の提供を可能とする。

図４は、内視鏡用プロセッサ２の機能ブロック図である。内視鏡用プロセッサ２の制御部２１は、記憶部２２に記憶してあるプログラム２Ｐを実行することにより、画像処理部２１１、受付部２１２、病変検出部２１３、移動量検出部２１４、判定部２１５、識別情報取得部２１６、静止画取得部２１７、低画質動画取得部２１８、及び高画質動画取得部２１９として機能するように構成されている。

画像処理部２１１には、内視鏡１のドライバ回路から、ノイズ除去等の各種処理が施された１フレーム分の画像情報が、撮像画像データとして入力される。画像処理部２１１は、内視鏡検査が開始された場合、開始から終了に亘って所定間隔にて出力される制御信号に従い、撮像画像データを静止画取得部２１７、低画質動画取得部２１８、病変検出部２１３、及び移動量検出部２１４へ出力する。また画像処理部２１１は、判定部２１５から指示されるタイミングにて、撮像画像データを静止画取得部２１７及び高画質動画取得部２１９へ出力する。

受付部２１２は、内視鏡１の操作者による高画質動画の取得開始を指示する開始操作を受け付ける。高画質動画の取得開始を指示する開始操作は、例えば、制御ボタン１２１の押下操作である。本実施形態では、内視鏡用プロセッサ２は、制御ボタン１２１の押下操作により静止画と同時に高画質動画を取得する。内視鏡１の制御ボタン１２１が押下操作された場合、その旨を示す操作信号が受付部２１２に入力される。受付部２１２は、開始操作の受け付けを示す情報を判定部２１５へ出力する。
なお、内視鏡用プロセッサ２は不図示のマイクロフォン等の音声入力部を備え、受付部２１２は、該音声入力部を介して音声により開始操作を受け付けてもよい。受付部２１２は、入力部２３を介して、例えばタッチパネル、キーボード等の操作により開始操作を受け付けてもよい。

病変検出部２１３は、画像処理部２１１から出力される撮像画像データに基づき、撮像画像データにおける病変を出力する。病変検出部２１３は、指定された画像データを入力した場合に、該画像データにおける病変を出力するように学習されている学習モデル２Ｍとしての機能を含む。学習モデル２Ｍについては、後述する。病変検出部２１３は、病変検出結果を示す情報を判定部２１５へ出力する。なお、病変検出部２１３は、撮像画像データに各種の画像処理を施した画像データを用いて病変を検出してもよい。病変検出部２１３は、後述の静止画取得部２１７から出力される静止画データを取得するものであってもよい。

移動量検出部２１４は、画像処理部２１１から出力される撮像画像データに基づき、内視鏡１の移動量を検出する。具体的には、移動量検出部２１４は、撮像画像データに含まれる撮影領域の移動量に基づき、内視鏡１における挿入部１１の先端部分の移動量を検出する。移動量検出部２１４は、検出時点における撮像画像データのフレーム及び該検出時点の直前におけるフレームを取得し、取得した２枚のフレームに含まれる同一領域における移動量を演算することにより、内視鏡１の移動量を検出する。移動量検出部２１４は、移動量検出結果を示す情報を判定部２１５へ出力する。なお、移動量検出部２１４は、撮像画像データに各種の画像処理を施した画像データを用いて移動量を検出してもよい。移動量検出部２１４は、後述の静止画取得部２１７から出力される静止画データを取得するものであってもよい。

なお、移動量の検出方法は上記の例に限定されるものではない。移動量検出部２１４は、その他機械学習の手法を用いて撮像画像に基づき内視鏡１の移動量を検出してもよい。移動量検出部２１４は、例えば内視鏡１に設けられる加速度センサ、磁気センサ等の検出センサを用いて取得した検出値により内視鏡１の移動量を検出してもよい。また、移動量検出部２１４は、内視鏡１の移動量に代えて操作量の変化を検出してもよい。例えば、移動量検出部２１４は、操作部１２に設けられている操作ボタンの操作信号等の、内視鏡１の操作に関する操作データを取得し、取得した操作データのログに基づき内視鏡１の操作量の履歴を検出してもよい。

判定部２１５は、静止画及び高画質動画の記録を行うタイミングであるか否かを判定し、判定結果を画像処理部２１１へ出力する。静止画データを記憶するタイミングは、内視鏡１の操作者によって制御ボタン１２１が押下操作された直後のタイミングである。内視鏡１の制御ボタン１２１が押下操作された場合、その旨を示す操作信号が判定部２１５に入力される。判定部２１５は、制御ボタン１２１が押下操作されたことを示す操作信号が入力された場合、撮像画像データを静止画取得部２１７へ出力する制御信号を画像処理部２１１へ付与する。なお判定部２１５は、受付部２１２を介して操作信号（開始操作）の受付を示す情報を取得してもよい。
高画質動画データを記憶するタイミングは、所定の開始条件が満たされた直後のタイミングである。開始条件とは、高画質動画の撮影を開始する条件であり、当該条件を満たすタイミングにて撮影される画像をもとに診断が行われる可能性が高い場合が含まれる。判定部２１５は、開始条件を満たすと判定した場合、撮像画像データを高画質動画取得部２１９へ出力開始する制御信号を画像処理部２１１へ付与する。

開始条件の第１例は、操作者による動画の撮影開始を指示するボタン操作等の開始操作の受け付けである。判定部２１５は、受付部２１２から出力された開始操作の受け付けを示す情報に基づき、開始操作が受け付けられたか否かを判定する。判定部２１５は、開始操作の受け付けを示す情報を取得した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。

開始条件の第２例は、内視鏡画像における病変の検出である。判定部２１５は、病変検出部２１３から出力された病変検出結果を示す情報に基づき、病変が検出されたか否かを判定する。判定部２１５は、病変が検出されたことを示す病変検出結果を取得した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。

開始条件の第３例は、内視鏡１の移動量が所定値以下であることの検出である。判定部２１５は、移動量検出部２１４から出力された移動量検出結果を示す情報に基づき、内視鏡１の移動量が所定値以下か否かを判定する。すなわち判定部２１５は、操作者が同一箇所での観察を続けていることにより内視鏡１の挿入、回転操作等が停止しているか否かを判定する。内視鏡１が同一箇所に留まっている場合には、当該箇所における撮影対象に病変等が含まれる可能性が高い。判定部２１５は、内視鏡１の移動量が所定値以下であると判定した場合、開始条件を満たすと判定し高画質動画データの取得開始を指示する。

上述のように、開始条件は複数の条件を含む。判定部２１５は、いずれかの開始条件を満たすと判定した場合、撮像画像データの出力を開始する制御信号を画像処理部２１１へ付与する。

識別情報取得部２１６は、例えば被検体ＩＤ等の被検体識別情報を取得する。識別情報取得部２１６は、例えばキーボード、タッチパネル等の入力操作を受け付けることにより、入力部２３を介して被検体識別情報を取得する。識別情報取得部２１６は、取得した被検体識別情報を静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９へ出力する。

静止画取得部（静止画像取得部）２１７は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得する。静止画取得部２１７は、取得した撮像画像データに、ガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行ない操作者が目視しやすい状態にした内視鏡画像を生成する。静止画取得部２１７は、生成した内視鏡画像を出力部２４により表示装置３へ順次出力する。表示装置３の表示画面には、リアルタイムで被検体の映像が表示され、操作者は内視鏡画像に基づき観察を行う。
さらに、静止画取得部２１７は、判定部２１５の指示に応じたタイミングにて画像処理部２１１から出力される撮像画像データを取得する。静止画取得部２１７は、識別情報取得部２１６から出力される被検体識別情報を取得する。静止画取得部２１７は、取得した撮像画像データに所定の画像処理を施した静止画を生成し、静止画データとして取得する。なお静止画データは、同時点において取得した内視鏡画像データであってもよい。静止画データは、例えば１９８０×１０８０（フルＨＤ）等の、高い解像度を有する画像データである。静止画取得部２１７は、取得した静止画データを、例えばＪＰＥＧ、ＴＩＦＦ等の所定のファイル形式による静止画ファイルとして記憶部２２に記憶させる。この場合において、静止画取得部２１７は、静止画データに被検体識別情報を関連付けて記憶部２２に記憶する。

低画質動画取得部（第２動画像取得部）２１８は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得する。低画質動画取得部２１８は、識別情報取得部２１６から出力される被検体識別情報を取得する。低画質動画取得部２１８は、取得した撮像画像データに解像度の変更を含む所定の画像処理を施し、所定の動画圧縮方式で圧縮した低画質動画を生成し、低画質動画データとして取得する。低画質動画データは、静止画データ及び高画質動画データより低い解像度を有する。低画質動画取得部２１８は、取得した低画質動画データを、例えばＭＰ４、ＭＸＦ等の所定のファイル形式による低画質動画ファイルとして画像ＤＢ２２２に記憶させる。この場合において、低画質動画取得部２１８は、低画質動画データに被検体識別情報を関連付けて記憶部２２に記憶する。

高画質動画取得部（動画像取得部）２１９は、判定部２１５の指示に応じたタイミングにて画像処理部２１１から出力される撮像画像データを取得する。高画質動画取得部２１９は、識別情報取得部２１６から出力される被検体識別情報を取得する。高画質動画取得部２１９は、取得開始のタイミングから所定時間分の撮像画像データを取得する。高画質動画取得部２１９が撮像画像データを取得する時間は、例えば１秒から７秒であり、好ましくは５秒から７秒である。高画質動画の取得時間が１秒から７秒である場合には、例えばフレームレートが３０ｆｓｐであっても数十メガバイトから数百メガバイトの記憶容量で画像データを保存できる。従って、記憶容量が過度に逼迫することを抑制しつつ、操作者へ提供する情報の有用性を向上させることが可能となる。内視鏡用プロセッサ２は、例えばタッチパネルに表示される設定画面等を用いて、操作者により予め高画質動画の撮影時間の設定入力を受け付けることにより、高画質動画データの取得時間を取得する。なお、高画質動画を取得する時間長は、高画質動画データの容量の下限値または上限値に基づき決定されてもよい。すなわち、高画質動画取得部２１９は、特定の容量分の高画質動画データの取得を開始するものであってよい。例えば、内視鏡用プロセッサ２は、予め設定される取得容量に応じて、高画質動画の解像度及び時間長を導出し、導出した時間長の動画データを取得してもよい。なお、内視鏡用プロセッサ２は、所定の容量に応じた高画質動画データを取得するにあたり、例えば低画質動画データより低いフレームレートで画像データを取得してもよい。フレームレートを下げることにより、データ容量を抑制しつつ高画質動画の取得時間を増加させることができる。

高画質動画取得部２１９は、取得した所定時間分の撮像画像データに解像度の変更を含む所定の画像処理を施し、所定の動画圧縮方式で圧縮した高画質動画を生成し、高画質動画データとして取得する。高画質動画データは、例えば１９８０×１０８０（フルＨＤ）等の、静止画データと同等以上の高い解像度を有する画像データである。高画質動画取得部２１９は、取得した高画質動画データを、例えばＭＰ４、ＭＸＦ等の所定のファイル形式による高画質動画ファイルとして画像ＤＢ２２２に記憶させる。この場合において、高画質動画取得部２１９は、高画質動画データに被検体識別情報を関連付けて記憶部２２に記憶する。

別の実施形態では、高画質動画取得部２１９は、検査の開始から終了に亘って所定間隔にて画像処理部２１１から出力される撮像画像データを取得しており、判定部２１５の指示に応じて、所定時間に限られた高画質動画ファイルを生成してもよい。高画質動画取得部２１９は、例えば、判定部２１５の指示を取得したタイミングから開始して所定時間分の撮像画像データに基づき高画質動画データを取得する。あるいは、高画質動画取得部２１９は、判定部２１５の指示を取得したタイミングから所定の時間長を遡って取得した所定時間分の撮像画像データに基づき高画質動画データを取得してもよい。

なお上記の各画像ファイルが、電子カルテシステム等に出力され保存される場合においては、当該電子カルテシステムに応じた形式で各画像ファイルが記憶されることが望ましい。各画像ファイルは、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で記憶されてよい。

ここで、学習モデル２Ｍについて詳細を説明する。図５は、学習モデル２Ｍの構成を説明する説明図である。学習モデル２Ｍは予め、内視鏡用プロセッサ２又は外部装置において、ニューラルネットワークを用いた深層学習によって、生成され、学習される。学習アルゴリズムは、例えばＣＮＮ（Convolution Neural Network）である。

図５に示す例では、学習モデル２Ｍは、画像データを入力する入力層と、病変の有無の識別結果を出力する出力層と、特徴量を抽出する中間層（隠れ層）とを備える。中間層は、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。入力層に、画像データが入力された場合、学習済みパラメータによって中間層で演算が行なわれ、出力層から、病変の有無を示す出力情報が出力される。

学習モデル２Ｍの出力層からは、病変の有無の識別結果である出力情報が出力される。出力層は、設定されている識別結果である病変有及び病変無に各々対応するノードを含み、病変有及び病変無夫々に対する確度をスコアとして出力する。制御部２１は、スコアが高い識別結果、あるいはスコアが閾値以上である識別結果を出力層の出力値とすることができる。なお出力層は、それぞれの識別結果の確度を出力する複数の出力ノードを有する代わりに、最も確度の高い識別結果を出力する１個の出力ノードを有してもよい。

制御部２１は、過去に実施された大量の内視鏡検査の画像データ及び診断結果を収集したデータを用いて学習を行う。制御部２１は、これまでに実施された内視鏡検査から得られる入力情報に、既知の診断結果である病変の有無を示す情報が付与された情報群を訓練データとして予め収集して学習モデル２Ｍを学習する。制御部２１は、内視鏡画像データに応じた病変の有無を示す出力情報を出力するよう、例えば誤差逆伝播法を用いて、学習モデル２Ｍを構成する各種パラメータ及び重み等を学習する。

上記では学習モデル２ＭがＣＮＮである例を説明したが、学習モデル２ＭはＣＮＮに限定されるものではない。時系列データを取得した場合にはＣＮＮ以外のニューラルネットワーク、例えばリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）ネットワークを用いてもよい。学習モデル２Ｍは、病変部の領域を抽出するセグメンテーションネットワークであってもよい。またニューラルネットワークを用いないサポートベクタマシン、回帰木等、他のアルゴリズムによって学習されたモデルであってもよい。

本実施形態では、病変検出部２１３は学習モデル２Ｍを用いて内視鏡画像における病変の有無を検出する例を説明したが、病変の検出方法は限定されるものではない。病変検出部２１３は、例えばパターンマッチング、エッジ検出等の手法を用いて、内視鏡画像の特徴量と予め記憶する病変部の特徴量とに基づき、内視鏡画像に病変が含まれるか否かを判定してもよい。

図６は、内視鏡用プロセッサ２で実行される処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２の制御部２１は、内視鏡画像の生成、低画質動画の生成等の処理と並行して、図６に示す処理を実行する。制御部２１は、例えば、自装置に接続されている入力部２３からの入力内容に基づき以下の処理を実行する。

制御部２１は、例えばキーボード、タッチパネル等の入力操作を受け付けることにより、入力部２３を介して被検体識別情報を取得する（ステップＳ１１）。

制御部２１は、内視鏡１から撮像画像データを取得する（ステップＳ１２）。ついで制御部２１は、開始条件を満たすか否かを判定する。制御部２１は、第１開始条件として、開始操作を受け付けたか否かを判定する（ステップＳ１３）。制御部２１は、受付部２１２によって制御ボタン１２１の押下操作による操作信号を取得し、開始操作の受け付けを示す情報を出力する処理を実行する。開始操作の受け付けを示す情報が取得され、開始操作を受け付けたと判定した場合（ステップＳ１３：ＹＥＳ）、制御部２１は、第１開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
開始操作の受け付けを示す情報が取得されておらず、開始操作を受け付けていないと判定した場合（ステップＳ１３：ＮＯ）、制御部２１は、第１開始条件を満たさないと判定し、ステップＳ１４及びステップＳ１５における他の開始条件の判定へ処理を進める。

制御部２１は、第２開始条件として、撮像画像から病変が検出されたか否かを判定する
（ステップＳ１４）。制御部２１は、病変検出部２１３によって病変検出結果を示す情報を出力する処理を実行する。具体的には、制御部２１は、撮像画像データを学習モデル２Ｍに入力して、出力される病変検出結果を特定する。学習モデル２Ｍに入力される画像データは、撮像画像データに各種の処理を施した画像データであってもよく、あるいは内視鏡画像データであってもよい。病変有りを示す病変検出結果を取得し、病変が検出されたと判定した場合（ステップＳ１４：ＹＥＳ）、制御部２１は、第２開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
一方、病変無しを示す病変検出結果を取得し、病変が検出されないと判定した場合（ステップＳ１４：ＮＯ）、制御部２１は、第２開始条件を満たさないと判定し、処理をステップＳ１３へ戻し開始条件を満たすまで待機する。

制御部２１は、サブプロセスを発生させ、ステップＳ１４の処理に並行してステップＳ１５の処理を行う。制御部２１は、これら２つのプロセスにおいてプロセス間通信を行うことにより、処理の同期を図るものであってもよい。制御部２１は、第３開始条件として、内視鏡１の移動量が所定値以下であるか否かを判定する（ステップＳ１５）。制御部２１は、撮像画像データに基づき、移動量検出部２１４によって移動量検出結果を示す情報を出力する処理を実行する。制御部２１は、取得した移動量検出結果の移動量と、予め設定されている閾値との大小関係を判定する。移動量が所定値以下であると判定した場合（ステップＳ１５：ＹＥＳ）、制御部２１は、第３開始条件を満たすと判定し、ステップＳ１６の高画質動画データの取得開始へ処理を進める。
一方、移動量が所定値以下でないと判定した場合（ステップＳ１５：ＮＯ）、制御部２１は、第３開始条件を満たさないと判定し、処理をステップＳ１３へ戻し開始条件を満たすまで待機する。

第１開始条件から第３開始条件のいずれかを満たすと判定した場合、制御部２１は、高画質動画データの取得を開始する（ステップＳ１６）。制御部２１は、取得開始のタイミングから操作者による入力を受け付ける等により設定された所定時間分の撮像画像データを取得する。高画質動画データの取得時間を取得する。制御部２１は、取得した撮像画像データに所定の画像処理を施し、所定の動画圧縮方式で圧縮した高画質動画を生成し、高画質動画データとして取得する。制御部２１は、高画質動画データと被検体識別情報とを関連付けて画像ＤＢに記憶する（ステップＳ１７）。

制御部２１は、処理を終了するか否かを判定する（ステップＳ１８）。例えば、操作者により内視鏡検査の終了が指示された場合、または、内視鏡１が内視鏡用プロセッサ２から取り外された場合等に、制御部２１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ１８：ＮＯ）、制御部２１は処理をステップＳ１２に戻し、撮像画像データの取得を継続する。この場合において、制御部２１は、所定の時間長の高画質動画の取得が終了したタイミングにて次の撮像画像データを取得してよい。あるいは制御部２１は、高画質動画の取得が終了する前に次の撮像画像データを取得し、開始条件の判定処理を進めてもよい。処理を終了すると判定した場合（ステップＳ１８：ＹＥＳ）、制御部２１は一連の処理を終了する。

なお、上記の実施形態で説明した各処理シーケンスは限定されるものではなく、その性質に反しない限り、手順の変更を許容し得る。上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更してもよく、複数の処理ステップを同時に実行させてもよく、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。制御部２１は、上述の第１開始条件から第３開始条件の判定を同時に実行してもよい。すなわち、制御部２１は、ステップＳ１３の処理に並行してステップＳ１４及びステップＳ１５の処理を行ってもよい。

また上記では、制御部２１は、第１開始条件から第３開始条件までの全ての開始条件について判定する例を説明したが、本実施形態は限定されるものではない。例えば、制御部２１は、第１開始条件から第３開始条件までのいずれの開始条件について判定するかの選択を受け付け、選択された開始条件のみについて判定してもよい。制御部２１は、例えば入力部２３を介してキーボード、タッチパネル等の入力操作を受け付けることにより、各開始条件に対する判定の要否を取得する。制御部２１は、選択された開始条件のみについて、開始条件を満たすか否かの判定処理を実行し、選択された開始条件を満たす場合に高画質動画を取得する。

さらにまた、制御部２１は、例えば検査毎に開始条件に対する閾値の選択を受け付け、選択された閾値を含む開始条件に応じて高画質動画を取得する構成であってもよい。例えば、制御部２１は、ステップＳ１５の第３開始条件の判定において、予め操作者により選択され設定された移動量の閾値との大小関係を判定する。さらに、制御部２１は、ステップＳ１４の第２開始条件の判定においても、病変検出の確度に対する閾値との大小関係を含んで判定するものであってよい。制御部２１は、ステップＳ１４において、病変検出結果として病変の有無及び検出の確度を取得する。検出の確度は、例えば学習モデル２Ｍの出力情報のスコアに基づき決定される。制御部２１は、病変検出結果が病変有りであり、且つ取得した検出の確度が予め設定された閾値よりも大きい場合には、第２開始条件を満たすと判定し、高画質動画を取得する。
操作者は、検査実施時又は後日の診断内容に応じて、取得する情報量を選択することが可能である。

本実施形態によれば、内視鏡用プロセッサ２において、従来の静止画及び低画質動画に加えて高画質動画が取得される。高画質動画は、静止画と同等以上の解像度にて所定の時間長に限られて記録されるため、１回の検査に対するデータ容量を限定して保存することが可能となる。医師は後日診断を行う場合であっても、高画質にて記録された静止画と必要な時間分のみに限られた高画質動画とに基づき診断を行うことが可能となり、効率的に、且つ精度の高い診断を実施することができる。

高画質動画は、操作者の指示に応じて静止画と同時に取得される以外に、所定の開始条件に基づき自動で取得される。従って画像の取り忘れ、病変の見逃し等を防止し、誤診の発生する確率を軽減することができる。さらに、病変の可能性が高い対象部を高い解像度にて記録した高画質動画を限定的に収集することができるため、例えば病変に関する情報を出力する機械学習モデルの訓練データ等に利用可能な情報を効率的に収集することができる。

（第２実施形態）
第２実施形態では、複数の高画質動画を連結された１個の動画として提供する構成について説明する。以下では、第２実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第２実施形態の内視鏡システムと同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

図７は、第２実施形態における内視鏡用プロセッサ２の機能ブロック図である。第２実施形態では、内視鏡用プロセッサ２の制御部２１は、記憶部２２に記憶してあるプログラム２Ｐを実行することにより、さらに連結部２２０として機能するように構成されている。

第２実施形態では、判定部２１５は、静止画データ、低画質動画データ及び高画質動画データ等の各画像データを取得すると判定したタイミングで、画像処理部２１１へ撮像画像データの出力開始を指示すると共に、撮像画像データが出力された時点を示すタイムスタンプを発行する。判定部２１５は、発行したタイムスタンプを静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々へ出力する。なお判定部２１５は、画像処理部２１１へタイムスタンプを出力し、画像処理部２１１がタイムスタンプを静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々へ出力してもよい。静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９夫々は、取得したタイムスタンプを各画像ファイルに関連付けて画像ＤＢ２２２に記憶させることにより、各画像ファイルにタイムスタンプを付与する。または、静止画取得部２１７、低画質動画取得部２１８、高画質動画取得部２１９は、生成する各画像ファイルにタイムスタンプを埋め込むことにより、各画像ファイルにタイムスタンプを付与する構成であってもよい。なお、時間情報は、各画像ファイルに含まれているものに限定されず、各画像に時間情報が関連付けられて画像ＤＢ２２２に記憶されていればよい。例えば、時間情報のデータが画像ファイルに関連付けて画像ＤＢ２２２に記憶されていてもよい。

さらに、判定部２１５は、高画質動画データの出力開始の指示とともに、判定の根拠となる開始条件を示す情報を高画質動画取得部２１９へ出力する。高画質動画取得部２１９は、取得した開始条件を示す情報を高画質動画データに関連付けて記憶部２２に記憶する。

連結部２２０は、同一の被検体について撮影された複数の高画質動画データを連結し１個の連結動画データを生成する。連結部２２０は、画像ＤＢ２２２を参照し、同一の被検体識別情報が関連付けられている複数の高画質動画データを取得する。連結部２２０は、取得した各高画質動画データに関連付けられる時間情報に基づき、複数の高画質動画データを時系列に配列する。連結部２２０は、時系列で隣接する高画質動画データ間において、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを連結し、１個の連結動画データを生成する。

上述の前後のフレームを連結する場合において、連結部２２０は前後のフレーム間を補間して連結してもよい。例えば、同一の開始条件に基づき同一の対象箇所を撮像した複数の高画質動画が取得された場合においては、これら複数の動画のフレーム補間を施し、滑らかな動画データとして表示されることが好ましい。連結部２２０は、同一の被検体について取得した複数の高画質動画データから、さらに同一の開始条件が関連付けられている高画質動画データを取得する。連結部２２０は、同一の開始条件が関連付けられている高画質動画データ間において前後のフレーム補間を行う。この場合において、連結部２２０は、前後のフレームの取得時間差が例えば０．１秒から１秒等の所定値以下であるときにフレーム補間を実行してもよい。前後のフレームにおける取得時間の間隔が所定値より大きいときは、両方のフレームに同一の撮像対象を含まない可能性が高いため、連結部２２０はフレームを補間しないものであってよい。

連結部２２０は、例えば前後のフレームに基づき中間フレームを生成する補間を行う。または、連結部２２０は、静止画データ又は低画質動画データに基づき中間フレームを生成する補間を行ってもよい。連結部２２０は、前後のフレーム間における時点に取得された静止画データが記憶される場合には、該静止画データを中間フレームとして用いてよい。あるいは、前後のフレーム間における時点に取得された低画質動画データのフレームが記憶される場合には、該低画質動画データのフレームを中間フレームとして用いてよい。連結部２２０は、静止画データ又は低画質動画データに関連付けられる時間情報及び被検体識別情報に基づき、中間フレームに用いる静止画データ又は低画質動画データを特定するとよい。

図８は、内視鏡用プロセッサ２で実行される連結処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２の制御部２１は、例えば、自装置に接続されている入力部２３からの入力内容に基づき以下の処理を実行する。制御部２１は、検査が実施され新たな高画質動画データが記憶されたタイミングで以下の処理を実行してもよい。

制御部２１は、画像ＤＢ２２２を参照し、同一の被検体識別情報が関連付けられた複数の高画質動画データを取得する（ステップＳ２１）。制御部２１は、取得した各高画質動画データに関連付けられる時間情報に基づき、複数の高画質動画データを時系列に配列する。

制御部２１は、時系列で隣接する高画質動画データにおいて、同一の開始条件に基づき取得されたか否かを判定する（ステップＳ２２）。連続する高画質動画データの開始条件が一致しておらず、同一の開始条件でないと判定した場合（ステップＳ２２：ＮＯ）、制御部２１は、ステップＳ２３のフレーム補間処理をスキップする。

連続する高画質動画データの開始条件が一致しており、同一の開始条件であると判定した場合（ステップＳ２２：ＹＥＳ）、制御部２１は、フレームを補間する（ステップＳ２３）。具体的には、制御部２１は、時系列に隣接する高画質動画データにおいて、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを補間する。制御部２１は、同一の開始条件を有し時系列に連続する複数の高画質動画データ間において、上記の処理を実行する。

制御部２１は、同一の被検体識別情報が関連付けられた複数の高画質動画データにおいて、時系列に配列した高画質動画データ夫々における、前の時点における高画質動画データの最後のフレームと、後の時点における高画質動画データの最初のフレームとを連結し、１個の連結動画データを生成する（ステップＳ２４）。制御部２１は、生成した連結動画データを、出力部２４を介して表示装置３に表示し、一連の処理を終了する。制御部２１は、生成した連結動画データを記憶部２２に記憶するものであってもよい。

本実施形態によれば、同一の被検体について取得した動画が一連の連結動画として表示されるため、よりスムーズな診断が可能となる。また、同一の開始条件である動画においてはフレーム補間が行われることにより、医師はフレームの欠落を感じることなく診断することができる。

上記の各実施形態では、内視鏡１は人である被検体に用いられる医療用内視鏡の例を説明したが、内視鏡１は、例えば配管等の検査に使用される工業用内視鏡であってもよい。

なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。

１ 内視鏡
２ 内視鏡用プロセッサ
２１ 制御部
２２ 記憶部
２Ｐ プログラム
２Ａ 記録媒体
２Ｍ 学習モデル
２２２ 画像ＤＢ
２１１ 画像処理部
２１２ 受付部
２１３ 病変検出部
２１４ 移動量検出部
２１５ 判定部
２１６ 識別情報取得部
２１７ 静止画取得部
２１８ 低画質動画取得部
２１９ 高画質動画取得部
２２０ 連結部

Claims (14)

1. 内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、
   前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部と、
   前記動画像の取得開始を指示する開始操作を受け付ける受付部とを備え、
   前記判定部は、前記受付部によって開始操作が受け付けられたことにより前記開始条件を満たすと判定し、
   前記開始条件は、前記受付部によって開始操作が受け付けられたこと以外の他の開始条件を含み、
   前記判定部は、前記受付部によって開始操作が受け付けられていない場合、前記他の開始条件を満たすか否かを判定する
   内視鏡用プロセッサ。
2. 前記静止画像における病変を検出する病変検出部を備え、
   前記判定部は、前記病変検出部によって病変が検出されることにより前記開始条件を満たすと判定する
   請求項１に記載の内視鏡用プロセッサ。
3. 前記静止画像に基づき前記内視鏡の移動量を検出する移動量検出部を備え、
   前記判定部は、前記移動量検出部が検出した前記移動量が所定値以下であることにより前記開始条件を満たすと判定する
   請求項１又は請求項２に記載の内視鏡用プロセッサ。
4. 内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定する判定部と、
   前記判定部が前記開始条件を満たすと判定した場合、前記動画像の取得を開始する動画像取得部と、
   前記静止画像に基づき前記内視鏡の移動量を検出する移動量検出部とを備え、
   前記判定部は、前記移動量検出部が検出した前記移動量が所定値以下であることにより前記開始条件を満たすと判定する
   内視鏡用プロセッサ。
5. 前記動画像と前記内視鏡により撮影される被検体の被検体識別情報とを関連付けて記憶する記憶部を備える
   請求項１から請求項４のいずれか１項に記載の内視鏡用プロセッサ。
6. 前記記憶部は、前記動画像に前記開始条件を関連付けて記憶する
   請求項５に記載の内視鏡用プロセッサ。
7. 前記記憶部に記憶されている同一の被検体識別情報が関連付けられた複数の動画像を、時系列に連結する連結部を備える
   請求項５又は請求項６に記載の内視鏡用プロセッサ。
8. 同一の開始条件に基づき連続して取得された複数の動画像を連結する場合、前記連結部は複数の動画像間のフレームを補間して連結する
   請求項７に記載の内視鏡用プロセッサ。
9. 前記内視鏡により撮影される第２動画像を前記内視鏡による検査の開始から終了に亘って取得する第２動画像取得部を備え、
   前記動画像は、前記第２動画像よりも高い解像度を有する
   請求項１から請求項８のいずれか１項に記載の内視鏡用プロセッサ。
10. 前記動画像の解像度はハイビジョン以上である
    請求項１から請求項９のいずれか１項に記載の内視鏡用プロセッサ。
11. 内視鏡用プロセッサが、
    内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    前記開始条件を満たすと判定した場合、前記動画像の取得を開始し、
    前記動画像の取得開始を指示する開始操作が受け付けられたことにより前記開始条件を満たすと判定し、
    前記開始条件は、前記開始操作が受け付けられたこと以外の他の開始条件を含み、
    前記開始操作が受け付けられていない場合、前記他の開始条件を満たすか否かを判定する
    処理を実行する情報処理方法。
12. 内視鏡用プロセッサが、
    内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    前記開始条件を満たすと判定した場合、前記動画像の取得を開始し、
    前記静止画像に基づき検出した前記内視鏡の移動量が所定値以下であることにより前記開始条件を満たすと判定する
    処理を実行する情報処理方法。
13. 内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    前記開始条件を満たすと判定した場合、前記動画像の取得を開始し、
    前記動画像の取得開始を指示する開始操作が受け付けられたことにより前記開始条件を満たすと判定し、
    前記開始条件は、前記開始操作が受け付けられたこと以外の他の開始条件を含み、
    前記開始操作が受け付けられていない場合、前記他の開始条件を満たすか否かを判定する
    処理をコンピュータに実行させるコンピュータプログラム。
14. 内視鏡により撮影される静止画像と同等以上の解像度を有する所定の時間長に限られた動画像の取得を開始する開始条件を満たすか否かを判定し、
    前記開始条件を満たすと判定した場合、前記動画像の取得を開始し、
    前記静止画像に基づき検出した前記内視鏡の移動量が所定値以下であることにより前記開始条件を満たすと判定する
    処理をコンピュータに実行させるコンピュータプログラム。

Images