JP7100505B2 - 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。

従来、カプセル型内視鏡により時系列順に取得された複数の画像を含む体内画像群を取得し、当該体内画像群から病変が写る画像等の所定の特徴を有する画像を検出する画像処理装置が知られている（例えば、特許文献１参照）。

特許文献１の画像処理装置によれば、検出した画像を静止画により表示装置に一覧表示させることにより、医師等のユーザによる観察の効率を向上させることができる。

また、特許文献１には、カプセル型内視鏡が撮像した体内画像群やそのダイジェストを動画により表示装置に表示させることも記載されている。

国際公開第２００９／００８１２５号

しかしながら、検出した画像の枚数が多い場合には、検出した画像を動画により表示装置に表示させた方が、短時間で画像を閲覧することができるため、ユーザによる観察の効率がよい場合がある。

一方、検出した画像を一様に動画により表示装置に表示させると、例えば、検出した画像の枚数が少ない場合に、動画の再生時間が短いため、ユーザが十分に画像を観察できないことにより、ユーザによる観察の効率がよくない場合がある。

本発明は、上記に鑑みてなされたものであって、ユーザによる観察の効率を向上させることができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、少なくとも１つの病変画像群を含む医療用撮像装置が撮像した画像群を取得する取得部と、前記病変画像群の特性に基づいて定まる枚数が第１の閾値以上であるか否かを判定する判定部と、前記判定部における判定結果に基づいて、前記病変画像群を動画又は静止画により表示装置に表示させる表示制御部と、を備えることを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記判定部は、前記病変画像群の枚数が第１の閾値以上である場合には、当該病変画像群を動画により前記表示装置に表示させると判定し、前記病変画像群の枚数が第１の閾値未満である場合には、当該病変画像群を静止画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記病変画像群の各画像が視認性のよい画像であるか否かを判定する画像判定部を備え、前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、視認性のよい画像の枚数が第２の閾値以上である場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記表示制御部は、視認性のよい画像のみを前記表示装置に表示させることを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記病変画像群に対して、病変画像であると認識した尤度を算出する尤度算出部を備え、前記判定部は、前記病変画像群の枚数が第１の閾値未満であり、前記尤度が尤もらしい基準を満たす場合に限り、当該病変画像群を静止画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記病変画像群に含まれる各画像間の類似度を算出する類似度算出部を備え、前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記類似度が類似している基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記医療用撮像装置は、カプセル型内視鏡であり、前記病変画像群に含まれる画像がそれぞれ撮像された際の前記カプセル型内視鏡の姿勢情報を取得する姿勢取得部と、前記病変画像群に含まれる各画像間における前記姿勢情報を比較して統計値を算出する姿勢算出部と、を備え、前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記統計値が前記カプセル型内視鏡の姿勢が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記医療用撮像装置は、カプセル型内視鏡であり、前記病変画像群に含まれる画像がそれぞれ撮像された際の前記カプセル型内視鏡の位置情報を取得する位置取得部と、前記病変画像群に含まれる各画像間における前記位置情報を比較して統計値を算出する位置算出部と、を備え、前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記統計値が前記カプセル型内視鏡の位置が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記表示制御部は、前記判定部における判定結果に応じた情報を前記表示装置に表示させることを特徴とする。

また、本発明の一態様に係る画像処理装置は、前記表示制御部は、画像群における前記病変画像群に対応する範囲に関する情報を前記表示装置に表示させることを特徴とする。

また、本発明の一態様に係る画像処理装置の作動方法は、取得部が、少なくとも１つの病変画像群を含む医療用撮像装置が撮像した画像群を取得する取得ステップと、判定部が、前記病変画像群の特性に基づいて定まる枚数が第１の閾値以上であるか否かを判定する判定ステップと、表示制御部が、判定ステップにおける判定結果に基づいて、前記病変画像群を動画又は静止画により表示装置に表示させる表示ステップと、を含むことを特徴とする。

また、本発明の一態様に係る画像処理装置の作動プログラムは、取得部が、少なくとも１つの病変画像群を含む医療用撮像装置が撮像した画像群を取得する取得ステップと、判定部が、前記病変画像群の特性に基づいて定まる枚数が第１の閾値以上であるか否かを判定する判定ステップと、表示制御部が、判定ステップにおける判定結果に基づいて、前記病変画像群を動画又は静止画により表示装置に表示させる表示ステップと、を画像処理装置に実行させることを特徴とする。

本発明によれば、ユーザによる観察の効率を向上させることができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。

図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システム全体を示す模式図である。 図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。 図３は、図２に示した画像処理装置の動作を示すフローチャートである。 図４は、画像群から病変画像群を取得する様子を表す図である。 図５は、表示画面に代表画像を表示する様子を表す図である。 図６は、表示画面に動画を表示する様子を表す図である。 図７は、表示画面に静止画を表示する様子を表す図である。 図８は、表示画面に静止側を表示する様子を表す図である。 図９は、表示画面に代表画像を表示する様子を表す図である。 図１０は、表示画面に病変画像群が撮像された範囲を表示する様子を表す図である。 図１１は、表示画面に病変画像群が撮像された範囲を表示する様子を表す図である。 図１２は、実施の形態２に係る画像処理装置のブロック図である。 図１３は、図１２に示した画像処理装置の動作を示すフローチャートである。 図１４は、病変画像群の各画像が視認性のよい画像であるか否かを判定する様子を表す図である。 図１５は、表示画面に静止側を表示する様子を表す図である。 図１６は、表示画面に静止側を表示する様子を表す図である。 図１７は、実施の形態３に係る画像処理装置のブロック図である。 図１８は、図１７に示した画像処理装置の動作を示すフローチャートである。 図１９は、実施の形態４に係る画像処理装置のブロック図である。 図２０は、図１９に示した画像処理装置の動作を示すフローチャートである。 図２１は、実施の形態５に係る画像処理装置のブロック図である。 図２２は、図２１に示した画像処理装置の動作を示すフローチャートである。 図２３は、カプセル型内視鏡が姿勢を維持しながらポリープを撮像する様子を表す図である。 図２４は、カプセル型内視鏡が姿勢を変えながらポリープを撮像する様子を表す図である。 図２５は、実施の形態６に係る画像処理装置のブロック図である。 図２６は、図２５に示した画像処理装置の動作を示すフローチャートである。

以下に、図面を参照して本発明に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、医療用撮像装置が撮像した複数の画像に画像処理を施す画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。

また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含む内視鏡システム全体を示す模式図である。内視鏡システム１は、飲み込み型の医療用撮像装置としてのカプセル型内視鏡２を用いて、被検体Ｈ内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。この内視鏡システム１は、図１に示すように、カプセル型内視鏡２の他、受信装置３と、画像処理装置４と、記録媒体５と、入力装置６と、表示装置７と、を備える。

記録媒体５は、受信装置３と画像処理装置４との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置３及び画像処理装置４に対してそれぞれ着脱可能に構成されている。

カプセル型内視鏡２は、被検体Ｈの臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体Ｈの臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡２は、撮像することにより生成した画像データを順次、送信する。

受信装置３は、複数の受信アンテナ３ａ～３ｈを備え、これら複数の受信アンテナ３ａ～３ｈのうち少なくとも一つを介して被検体Ｈ内部のカプセル型内視鏡２からの画像データを受信する。そして、受信装置３は、当該受信装置３に挿着された記録媒体５内に、受信した画像データを蓄積する。なお、受信アンテナ３ａ～３ｈは、図１に示したように被検体Ｈの体表上に配置されていてもよいし、被検体Ｈに着用させるジャケットに配置されていてもよい。また、受信装置３が備える受信アンテナ数は、１つ以上であればよく、特に８つに限定されない。

図２は、図１に示す記録媒体が画像処理装置に接続された状態のブロック図である。図２に示すように、画像処理装置４は、リーダライタ４１と、記録部４２と、制御部４３と、を備える。

リーダライタ４１は、外部から処理対象となる画像データを取得する画像取得部としての機能を有する。具体的には、リーダライタ４１は、当該リーダライタ４１に記録媒体５が挿着された際に、制御部４３による制御のもと、記録媒体５に保存された画像データ（カプセル型内視鏡２により時系列で撮像（取得）された複数の体内画像を含む体内画像群）を取り込む。また、リーダライタ４１は、取り込んだ体内画像群を制御部４３に転送する。そして、制御部４３に転送された体内画像群は、記録部４２に記憶される。

記録部４２は、制御部４３から転送された体内画像群を記憶する。また、記録部４２は、制御部４３が実行する各種プログラム（画像処理プログラムを含む）や制御部４３の処理に必要な情報等を記憶する。記録部４２は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、及び内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。

制御部４３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成されている。制御部４３は、記録部４２に記憶されたプログラム（画像処理プログラムを含む）を読み出し、当該プログラムに従って内視鏡システム１全体の動作を制御する。

また、制御部４３は、記録部４２に体内画像群を記憶させる際に、病変画像群を検出して記憶させる。病変画像群は、カプセル型内視鏡２が撮像した体内画像群から病変が写っている画像を検出した画像群である。病変画像の検出は、種々の公知の技術を用いて行うことができるが、例えば、各画像の色情報に基づいて、出血や発赤を病変として検出することができる。また、制御部４３は、病変の写った画像のデータに対して機械学習又は深層学習を行うことにより病変画像を検出してもよい。さらに、ユーザが体内画像を閲覧して病変画像を選択してもよい。制御部４３は、図２に示すように、取得部４３ａと、判定部４３ｂと、表示制御部４３ｃと、を備える。

取得部４３ａは、少なくとも１つの病変画像群を含むカプセル型内視鏡２が撮像した画像群を記録部４２から取得する。具体的には、取得部４３ａは、記録部４２から制御部４３が検出した病変画像群を読み出す。

判定部４３ｂは、病変画像群の特性に基づいて定まる枚数が第１の閾値以上であるか否かを判定する。具体的には、判定部４３ｂは、病変画像群の枚数が第１の閾値以上であるか否かを判定する。第１の閾値は、特に限定されないが、例えば数枚から数百枚である。

判定部４３ｂは、病変画像群の枚数が第１の閾値以上である場合には、当該病変画像群を動画により表示装置７に表示させると判定する。一方、判定部４３ｂは、病変画像群の枚数が第１の閾値未満である場合には、当該病変画像群を静止画により表示装置７に表示させると判定する。

表示制御部４３ｃは、記録部４２に記憶されている画像に所定の画像処理を施し、表示装置７における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、各画像を表示装置７に表示させる。表示制御部４３ｃは、判定部４３ｂにおける判定結果に基づいて、病変画像群を動画又は静止画により表示装置７に表示させる。

入力装置６は、キーボード及びマウス等を用いて構成されており、ユーザによる操作を受け付ける。

表示装置７は、液晶ディスプレイ等を用いて構成されており、表示制御部４３ｃによる制御のもと、代表画像等を含む画像を表示する。

次に、画像処理装置４による画像処理について説明する。図３は、図２に示した画像処理装置の動作を示すフローチャートである。図３に示すように、はじめに、取得部４３ａは、記録部４２から病変画像群を取得する（ステップＳ１）。図４は、画像群から病変画像群を取得する様子を表す図である。図４に示すように、取得部４３ａは、体内画像群ＧＡから病変画像群Ｇ１及びＧ２を取得する。以下において、病変画像群Ｇ１の枚数を１５枚、病変画像群Ｇ２の枚数を２枚、第１の閾値を１０枚として説明する。

続いて、表示制御部４３ｃは、取得部４３ａが取得した病変画像群Ｇ１及びＧ２の代表画像を表示装置７に表示させる（ステップＳ２）。代表画像の選択方法は特に限定されないが、代表画像は、例えば時間的に最初、中間、又は最後の画像であってよい。図５は、表示画面に代表画像を表示する様子を表す図である。図５に示すように、表示制御部４３ｃは、表示装置７の表示画面７１に病変画像群Ｇ１の代表画像ＧＲ１及び病変画像群Ｇ２の代表画像ＧＲ２を表示させる。

そして、ユーザは、代表画像ＧＲ１又は代表画像ＧＲ２のうち、閲覧する方の代表画像を選択する（ステップＳ３）。具体的には、ユーザは、表示画面７１に表示された代表画像ＧＲ１又は代表画像ＧＲ２に対して、入力装置６のマウス等により所定の入力を行うことにより、代表画像ＧＲ１又は代表画像ＧＲ２のいずれかを選択する。

すると、判定部４３ｂは、選択された病変画像群Ｇ１又はＧ２の枚数が第１の閾値以上であるか否かを判定する（ステップＳ４）。

判定部４３ｂが、選択された病変画像群Ｇ１又はＧ２の枚数が第１の閾値以上であると判定した場合（ステップＳ４：Ｙｅｓ）、判定部４３ｂは、選択された病変画像群Ｇ１又はＧ２を動画により表示装置７に表示させると判定する。

そして、表示制御部４３ｃは、判定部４３ｂにおける判定結果に基づいて、選択された病変画像群Ｇ１又はＧ２を動画により表示装置７に表示させる（ステップＳ５）。具体的には、ユーザが病変画像群Ｇ１を選択した場合、病変画像群Ｇ１の枚数は第１の閾値以上であるから、表示制御部４３ｃは、病変画像群Ｇ１を動画により表示装置７に表示させる。

図６は、表示画面に動画を表示する様子を表す図である。図６に示すように、表示制御部４３ｃは、病変画像群Ｇ１の各画像Ｇ１ａを順次切り替えて動画により表示装置７の表示画面７１に表示させる。なお、表示制御部４３ｃは、動画で表示されている各画像Ｇ１ａを１つ前の画像に戻すボタン７２ａや、１つ後の画像に進めるボタン７２ｂを表示画面７１に表示させてもよい。

一方、判定部４３ｂが、選択された病変画像群Ｇ１又はＧ２の枚数が第１の閾値未満であると判定した場合（ステップＳ４：Ｎｏ）、判定部４３ｂは、選択された病変画像群Ｇ１又はＧ２を静止画により表示装置７に表示させると判定する。

そして、表示制御部４３ｃは、判定部４３ｂにおける判定結果に基づいて、選択された病変画像群Ｇ１又はＧ２を静止画により表示装置７に表示させる（ステップＳ５）。具体的には、ユーザが病変画像群Ｇ２を選択した場合、病変画像群Ｇ１の枚数は第１の閾値未満であるから、表示制御部４３ｃは、病変画像群Ｇ２を静止画により表示装置７に表示させる。

図７は、表示画面に静止画を表示する様子を表す図である。図７に示すように、表示制御部４３ｃは、病変画像群Ｇ２の画像Ｇ２１及びＧ２２を一覧表示の静止画により表示装置７の表示画面７１に表示させる。

以上説明したように、画像処理装置４によれば、病変画像群の枚数に応じて、病変画像群を動画又は静止画により表示するため、観察効率がよい。また、病変画像群の枚数が少ない場合に病変画像群が動画により再生され、動画がすぐに終了してしまいユーザが病変画像群を十分に観察することができないことが防止される。

（変形例１－１）
図８は、表示画面に静止側を表示する様子を表す図である。図８に示すように、表示制御部４３ｃは、図５に示す代表画像ＧＲ１及びＧＲ２よりも、病変画像群の画像Ｇ２１及びＧ２２を表示画面７１に大きく表示させてもよい。その結果、ユーザは、病変画像群をより観察しやすくなる。さらに、表示制御部４３ｃは、病変画像群の枚数に応じて、表示画面７１に表示させる各画像がなるべく大きくなるように、大きさを変えて表示してもよい。

（変形例１－２）
図９は、表示画面に代表画像を表示する様子を表す図である。図９に示すように、表示制御部４３ｃは、判定部４３ｂにおける判定結果に応じた情報を表示装置７に表示させる。具体的には、表示制御部４３ｃは、判定部４３ｂにおける判定結果に応じた情報として、病変画像群Ｇ１を動画により表示することを表す動画アイコン７３ａと、病変画像群Ｇ２を静止画により表示することを表す静止画アイコン７３ｂと、を表示画面７１に表示させる。その結果、ユーザは、代表画像ＧＲ１又はＧＲ２を選択する前に動画により表示されるか、静止画により表示されるかを認識することができるため、観察効率がよい。

（変形例１－３）
図１０、図１１は、表示画面に病変画像群が撮像された範囲を表示する様子を表す図である。図１０、図１１に示すように、表示制御部４３ｃは、画像群における病変画像群に対応する範囲に関する情報を表示装置７に表示させる。具体的には、表示制御部４３ｃは、画像群における病変画像群に対応する範囲に関する情報として、体内画像群ＧＡ全体における時間や位置時間を表すバー７４ａと、病変画像群Ｇ１の時間や位置を表す指標７４ｂと、を表示画面７１に表示させる。なお、表示制御部４３ｃは、図１０に示すように、代表画像ＧＲ１又はＧＲ２を選択する画面において、バー７４ａ及び指標７４ｂを表示させてもよいが、図１１に示すように、病変画像群Ｇ１を動画により表示する画面において、バー７４ａ及び指標７４ｂを表示させてもよい。図１０の場合には、入力装置６のマウス等により操作されるポインタＰが代表画像ＧＲ１上に位置する場合に、病変画像群Ｇ１の時間や位置に対応する指標７４ｂを表示し、ポインタＰが代表画像ＧＲ２上に位置する場合に、病変画像群Ｇ２の時間や位置に対応する指標を表示してもよい。

（実施の形態２）
図１２は、実施の形態２に係る画像処理装置のブロック図である。図１２に示すように、画像処理装置４Ａの制御部４３Ａは、病変画像群の各画像が視認性のよい画像であるか否かを判定する画像判定部４３Ａｄを備える。

判定部４３ｂは、病変画像群の枚数が第１の閾値以上であり、視認性のよい画像の枚数が第２の閾値以上である場合に限り、当該病変画像群を動画により表示装置７に表示させると判定する。

図１３は、図１２に示した画像処理装置の動作を示すフローチャートである。図１３に示すように、ステップＳ４において、判定部４３ｂが、病変画像群の枚数が第１の閾値以上であると判定した場合（ステップＳ４：Ｙｅｓ）、画像判定部４３Ａｄは、病変画像群の各画像が視認性のよい画像であるか否かを判定する（ステップＳ１１）。図１４は、病変画像群の各画像が視認性のよい画像であるか否かを判定する様子を表す図である。図１４に示すように、判定部４３ｂは、病変画像群Ｇ１の各画像がそれぞれ視認性のよい画像Ｇ１１であるか、視認性のよくない画像Ｇ１２であるかを判定する。なお、視認性のよくない画像Ｇ１２とは、例えば泡や残渣が所定の面積以上写っている画像、受信装置３がカプセル型内視鏡２から信号を受信する際のノイズを多く含む画像等である。また、判定部４３ｂは、画像間の動きがなく前の画像と略同一の画像、被検体Ｈがカプセル型内視鏡２を嚥下する前に撮像された体外画像等の観察に有用ではない画像を視認性のよくない画像Ｇ１２に含めてもよい。これらの視認性のよくない画像Ｇ１２は、各画像の色味の情報等に基づいて検出することができる。

その後、判定部４３ｂは、病変画像群のうち視認性のよい画像の枚数が第２の閾値以上であるか否かを判定する（ステップＳ１２）。

判定部４３ｂが、病変画像群のうち視認性のよい画像の枚数が第２の閾値以上であると判定した場合（ステップＳ１２：Ｙｅｓ）、判定部４３ｂは、当該病変画像群を動画により表示装置７に表示させると判定する。

一方、判定部４３ｂが、病変画像群のうち視認性のよい画像の枚数が第２の閾値未満であると判定した場合（ステップＳ１２：Ｎｏ）、判定部４３ｂは、当該病変画像群を静止画により表示装置７に表示させると判定する。図１５は、表示画面に静止側を表示する様子を表す図である。図１５に示すように、視認性のよくない画像Ｇ１２が多い場合、病変画像群を静止画により表示した方が観察効率がよい。視認性のよくない画像Ｇ１２が多い場合に、病変画像群を動画により再生すると、視認性のよい画像Ｇ１１を閲覧する時間が短いためである。

（変形例２－１）
図１６は、表示画面に静止側を表示する様子を表す図である。図１６に示すように、表示制御部４３ｃは、視認性のよくない画像Ｇ１２が多い場合には、視認性のよい画像Ｇ１１のみを表示装置７に表示させる。その結果、図１５の例よりも視認性のよい画像Ｇ１１を閲覧しやすくなり、観察効率がよい。なお、表示制御部４３ｃは、視認性のよくない画像Ｇ１２が少ない場合にも、視認性のよい画像Ｇ１１のみを表示装置７に表示させてもよい。

（実施の形態３）
図１７は、実施の形態３に係る画像処理装置のブロック図である。図１７に示すように、画像処理装置４Ｂの制御部４３Ｂは、病変画像群に対して、病変画像であると認識した尤度を算出する尤度算出部４３Ｂｅを備える。

判定部４３ｂは、病変画像群の枚数が第１の閾値未満であり、尤度が尤もらしい基準を満たす場合に限り、当該病変画像群を静止画により表示装置７に表示させると判定する。具体的には、判定部４３ｂは、病変画像群の尤度が閾値以上であるか否かを判定することにより、尤度が尤もらしい基準を満たすか否かを判定する。

図１８は、図１７に示した画像処理装置の動作を示すフローチャートである。図１８に示すように、ステップＳ４において、判定部４３ｂが、病変画像群の枚数が第１の閾値未満であると判定した場合（ステップＳ４：Ｎｏ）、尤度算出部４３Ｂｅは、病変画像群に対して、病変画像であると認識した尤度を算出する（ステップＳ２１）。なお、尤度算出部４３Ｂｅは、例えば病変画像群の各画像の尤度を算出し、算出した各画像の尤度に基づいた統計値（平均値や中央値、最頻値等）を算出することにより、病変画像群の尤度を算出する。また、本明細書においては、尤度が高いほど、各画像が病変画像として尤もらしいことを意味するものとする。

その後、判定部４３ｂは、算出した病変画像群の尤度が閾値以上であるか否かを判定する（ステップＳ２２）。

判定部４３ｂが、尤度が閾値未満であると判定した場合（ステップＳ２２：Ｎｏ）、判定部４３ｂは、当該病変画像群を動画により表示装置７に表示させると判定する。

一方、判定部４３ｂが、尤度が閾値以上であると判定した場合（ステップＳ２２：Ｙｅｓ）、判定部４３ｂは、当該病変画像群を静止画により表示装置７に表示させると判定する。

以上説明したように、画像処理装置４Ｂによれば、尤度が閾値未満である場合、病変画像群を動画により再生する。その結果、病変画像群の病変画像である尤もらしさが低い場合に、病変画像群を動画により短時間で閲覧することができるため、観察効率がよい。

（実施の形態４）
図１９は、実施の形態４に係る画像処理装置のブロック図である。図１９に示すように、画像処理装置４Ｃの制御部４３Ｃは、病変画像群に含まれる各画像間の類似度を算出する類似度算出部４３Ｃｆを備える。

判定部４３ｂは、病変画像群の枚数が第１の閾値以上であり、類似度が類似している基準を満たす場合に限り、当該病変画像群を動画により表示装置７に表示させると判定する。具体的には、判定部４３ｂは、病変画像群の類似度が閾値以上であるか否かを判定することにより、類似度が類似している基準を満たすか否かを判定する。

図２０は、図１９に示した画像処理装置の動作を示すフローチャートである。図２０に示すように、ステップＳ４において、判定部４３ｂが、病変画像群の枚数が第１の閾値以上であると判定した場合（ステップＳ４：Ｙｅｓ）、類似度算出部４３Ｃｆは、病変画像群に含まれる各画像間の類似度を算出する（ステップＳ３１）。なお、類似度算出部４３Ｃｆは、例えば病変画像群の各画像間の類似度を算出し、算出した各画像間の類似度に基づいた統計値（平均値や中央値、最頻値等）を算出することにより、病変画像群の類似度を算出する。また、本明細書においては、類似度が高いほど、各画像が類似していることを意味するものとする。

その後、判定部４３ｂは、算出した病変画像群の類似度が閾値以上であるか否かを判定する（ステップＳ３２）。

判定部４３ｂが、類似度が閾値以上であると判定した場合（ステップＳ３２：Ｙｅｓ）、判定部４３ｂは、当該病変画像群を動画により表示装置７に表示させると判定する。

一方、判定部４３ｂが、類似度が閾値未満であると判定した場合（ステップＳ３２：Ｎｏ）、判定部４３ｂは、当該病変画像群を静止画により表示装置７に表示させると判定する。

以上説明したように、画像処理装置４Ｂによれば、類似度が閾値未満である場合、病変画像群を静止画により再生する。その結果、病変画像群の各画像間の連続性が低く、動画により再生すると観察しづらい病変画像群を静止画により閲覧することができるため、観察効率がよい。

（実施の形態５）
図２１は、実施の形態５に係る画像処理装置のブロック図である。図２１に示すように、画像処理装置４Ｄの制御部４３Ｄは、病変画像群に含まれる画像がそれぞれ撮像された際のカプセル型内視鏡２の姿勢情報を取得する姿勢取得部４３Ｄｇと、病変画像群に含まれる各画像間における姿勢情報を比較して統計値を算出する姿勢算出部４３Ｄｈと、を備える。

判定部４３ｂは、病変画像群の枚数が第１の閾値以上であり、統計値がカプセル型内視鏡２の姿勢が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により表示装置７に表示させると判定する。

図２２は、図２１に示した画像処理装置の動作を示すフローチャートである。図２２に示すように、ステップＳ４において、判定部４３ｂが、病変画像群の枚数が第１の閾値以上であると判定した場合（ステップＳ４：Ｙｅｓ）、姿勢取得部４３Ｄｇは、病変画像群に含まれる画像がそれぞれ撮像された際のカプセル型内視鏡２の姿勢情報を取得する（ステップＳ４１）。具体的には、姿勢取得部４３Ｄｇは、例えばカプセル型内視鏡２に設けられたジャイロセンサから受信装置３を経由して姿勢情報を取得する。

そして、姿勢算出部４３Ｄｈは、病変画像群に含まれる各画像間における姿勢情報を比較して統計値を算出する（ステップＳ４２）。なお、姿勢算出部４３Ｄｈは、例えば病変画像群の各画像間の姿勢の差を算出し、算出した姿勢の差に基づいた統計値（平均値や中央値、最頻値等）を算出することにより、病変画像群の姿勢の差を算出する。

その後、判定部４３ｂは、算出した病変画像群の姿勢の差が閾値以上であるか否かを判定する（ステップＳ４３）。

判定部４３ｂが、姿勢の差が閾値未満であると判定した場合（ステップＳ４３：Ｎｏ）、判定部４３ｂは、当該病変画像群を動画により表示装置７に表示させると判定する。

図２３は、カプセル型内視鏡が姿勢を維持しながらポリープを撮像する様子を表す図である。図２３に示すように、消化管Ｇ内において、カプセル型内視鏡２が姿勢を維持しながらポリープＰ１及びＰ２を撮像し、各画像間の姿勢の差が小さい場合、各画像の連続性が高いので動画の方が閲覧しやすい。

一方、判定部４３ｂが、姿勢の差が閾値以上であると判定した場合（ステップＳ４３：Ｙｅｓ）、判定部４３ｂは、当該病変画像群を静止画により表示装置７に表示させると判定する。

図２４は、カプセル型内視鏡が姿勢を変えながらポリープを撮像する様子を表す図である。図２４に示すように、消化管Ｇ内において、カプセル型内視鏡２が姿勢を変えながらポリープＰ１及びＰ２を撮像し、各画像間の姿勢の差が大きい場合、各画像の連続性が低いので静止画の方が閲覧しやすい。

（実施の形態６）
図２５は、実施の形態６に係る画像処理装置のブロック図である。図２５に示すように、画像処理装置４Ｅの制御部４３Ｅは、病変画像群に含まれる画像がそれぞれ撮像された際のカプセル型内視鏡２の位置情報を取得する位置取得部４３Ｅｉと、病変画像群に含まれる各画像間における位置情報を比較して統計値を算出する位置算出部４３Ｅｊと、を備える。

判定部４３ｂは、病変画像群の枚数が第１の閾値以上であり、統計値がカプセル型内視鏡２の位置が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により表示装置７に表示させると判定する。

図２６は、図２５に示した画像処理装置の動作を示すフローチャートである。図２６に示すように、ステップＳ４において、判定部４３ｂが、病変画像群の枚数が第１の閾値以上であると判定した場合（ステップＳ４：Ｙｅｓ）、位置取得部４３Ｅｉは、病変画像群に含まれる画像がそれぞれ撮像された際のカプセル型内視鏡２の位置情報を取得する（ステップＳ４１）。具体的には、位置取得部４３Ｅｉは、例えば受信装置３の受信アンテナ３ａ～３ｈが受信する信号強度に基づいて、カプセル型内視鏡２の位置情報を算出する。

そして、位置算出部４３Ｅｊは、病変画像群に含まれる各画像間における位置情報を比較して統計値を算出する（ステップＳ４２）。なお、位置算出部４３Ｅｊは、例えば病変画像群の各画像間の位置の差を算出し、算出した位置の差に基づいた統計値（平均値や中央値、最頻値等）を算出することにより、病変画像群の位置の差を算出する。

その後、判定部４３ｂは、算出した病変画像群の位置の差が閾値以上であるか否かを判定する（ステップＳ４３）。

判定部４３ｂが、位置の差が閾値未満であると判定した場合（ステップＳ４３：Ｎｏ）、判定部４３ｂは、当該病変画像群を動画により表示装置７に表示させると判定する。カプセル型内視鏡２が位置を維持しながら撮像し、各画像間の位置の差が小さい場合、各画像の連続性が高いので動画の方が閲覧しやすい。

一方、判定部４３ｂが、位置の差が閾値以上であると判定した場合（ステップＳ４３：Ｙｅｓ）、判定部４３ｂは、当該病変画像群を静止画により表示装置７に表示させると判定する。

カプセル型内視鏡２が位置を変えながら撮像し、各画像間の位置の差が大きい場合、各画像の連続性が低いので静止画の方が閲覧しやすい。

なお、カプセル型内視鏡２による検査が緊急検査である場合、判定部４３ｂは、病変画像群を動画により表示装置７に表示させると判定してもよい。緊急検査の場合には、病変画像群を動画により短時間で閲覧した方がよいためである。

また、病変画像群の枚数が多い場合、例えば病変画像群を時間ごとに複数のグループに分割してもよい。このとき、表示制御部４３ｃは、各グループを代表する副代表画像を表示装置７に表示させる。そして、ユーザは副代表画像から閲覧したい画像を選択し、表示制御部４３ｃは、選択されたグループを動画により表示装置７に表示させる。なお、選択されたグループの画像の枚数が多い場合には、再度グループに分割してもよい。このように、病変画像群を複数のグループに分割することにより、病変画像群の再生時間が長くなりすぎることを防止することができる。

また、表示制御部４３ｃが病変画像群を動画により表示装置７に表示させる場合、表示制御部４３ｃは、病変画像群より所定の枚数遡った画像から動画の再生を開始してもよい。その結果、ユーザは、病変以外の正常な組織の画像と病変画像群とを比較することができ、観察効率がよい。

また、表示制御部４３ｃは、病変画像群に基づいて算出された尤度が閾値より低い場合、病変画像群の前後の所定の枚数を含めて動画又は静止画を表示装置７に表示させてもよい。その結果、尤度が低い場合に、病変画像が見落とされることを防止することができる。

また、表示制御部４３ｃは、病変画像群に基づいて算出された尤度が閾値より低い場合、病変画像群が撮像された範囲内に含まれる全ての画像を含めて動画又は静止画を表示装置７に表示させてもよい。図４を参照すると、体内画像群ＧＡから病変画像群Ｇ１及びＧ２を検出する際に、病変画像ではない画像は病変画像群Ｇ１又はＧ２に含まれない。従って、病変画像群Ｇ１の最初に撮像された画像と最後に撮像された画像との間には、病変画像群Ｇ１に含まれなかった画像があるが、尤度が低い場合にはこれらの画像を含めて動画又は静止画を表示装置７に表示させる。その結果、尤度が低い場合に、病変画像が見落とされることを防止することができる。

さらに、表示制御部４３ｃは、病変画像群に基づいて算出された尤度が閾値より低い場合、病変画像群の前後の所定の枚数と、病変画像群が撮像された範囲内に含まれる全ての画像とを含めて動画又は静止画を表示装置７に表示させてもよい。

また、表示制御部４３ｃが病変画像群を動画により表示装置７に表示させる場合、表示制御部４３ｃは、再生が終了すると、図５に示す代表画像を一覧表示する画像を表示装置７に表示させてもよいその結果、再生が終了した際に、速やかに他の病変画像群を観察可能とすることができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

１ 内視鏡システム
２ カプセル型内視鏡
３ 受信装置
３ａ～３ｈ 受信アンテナ
４、４Ａ、４Ｂ、４Ｃ、４Ｄ、４Ｅ 画像処理装置
５ 記録媒体
６ 入力装置
７ 表示装置
４１ リーダライタ
４２ 記録部
４３、４３Ａ、４３Ｂ、４３Ｃ、４３Ｄ、４３Ｅ 制御部
４３ａ 取得部
４３ｂ 判定部
４３ｃ 表示制御部
４３Ａｄ 画像判定部
４３Ｂｅ 尤度算出部
４３Ｃｆ 類似度算出部
４３Ｄｇ 姿勢取得部
４３Ｄｈ 姿勢算出部
４３Ｅｉ 位置取得部
４３Ｅｊ 位置算出部

Claims (11)

1. 医療用撮像装置が撮像した画像群に含まれる病変画像群の枚数が第１の閾値以上であるか否かを判定する判定部と、
   前記判定部における判定結果に基づいて、前記病変画像群を動画又は静止画により表示装置に表示させる表示制御部と、
   を備え、
   前記判定部は、
   前記病変画像群の枚数が第１の閾値以上である場合には、当該病変画像群を動画により前記表示装置に表示させると判定し、
   前記病変画像群の枚数が第１の閾値未満である場合には、当該病変画像群を静止画により前記表示装置に表示させると判定することを特徴とする画像処理装置。
2. 前記病変画像群の各画像が視認性のよい画像であるか否かを判定する画像判定部を備え、
   前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、視認性のよい画像の枚数が第２の閾値以上である場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御部は、視認性のよい画像のみを前記表示装置に表示させることを特徴とする請求項２に記載の画像処理装置。
4. 前記病変画像群に対して、病変画像であると認識した尤度を算出する尤度算出部を備え、
   前記判定部は、前記病変画像群の枚数が第１の閾値未満であり、前記尤度が尤もらしい基準を満たす場合に限り、当該病変画像群を静止画により前記表示装置に表示させると判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記病変画像群に含まれる各画像間の類似度を算出する類似度算出部を備え、
   前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記類似度が類似している基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする請求項１に記載の画像処理装置。
6. 前記医療用撮像装置は、カプセル型内視鏡であり、
   前記病変画像群に含まれる画像がそれぞれ撮像された際の前記カプセル型内視鏡の姿勢情報を取得する姿勢取得部と、
   前記病変画像群に含まれる各画像間における前記姿勢情報を比較して統計値を算出する姿勢算出部と、を備え、
   前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記統計値が前記カプセル型内視鏡の姿勢が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする請求項１に記載の画像処理装置。
7. 前記医療用撮像装置は、カプセル型内視鏡であり、
   前記病変画像群に含まれる画像がそれぞれ撮像された際の前記カプセル型内視鏡の位置情報を取得する位置取得部と、
   前記病変画像群に含まれる各画像間における前記位置情報を比較して統計値を算出する位置算出部と、を備え、
   前記判定部は、前記病変画像群の枚数が第１の閾値以上であり、前記統計値が前記カプセル型内視鏡の位置が大きく動いていない基準を満たす場合に限り、当該病変画像群を動画により前記表示装置に表示させると判定することを特徴とする請求項１に記載の画像処理装置。
8. 前記表示制御部は、前記判定部における判定結果に応じた情報を前記表示装置に表示させることを特徴とする請求項１～７のいずれか１つに記載の画像処理装置。
9. 前記表示制御部は、画像群における前記病変画像群に対応する範囲に関する情報を前記表示装置に表示させることを特徴とする請求項１～８のいずれか１つに記載の画像処理装置。
10. 医療用撮像装置が撮像した画像群に含まれる病変画像群の枚数が第１の閾値以上であるか否かを判定し、前記病変画像群の枚数が第１の閾値以上である場合には、当該病変画像群を動画により表示装置に表示させると判定し、前記病変画像群の枚数が第１の閾値未満である場合には、当該病変画像群を静止画により前記表示装置に表示させると判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて、前記病変画像群を動画又は静止画により前記表示装置に表示させる表示ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
11. 医療用撮像装置が撮像した画像群に含まれる病変画像群の枚数が第１の閾値以上であるか否かを判定し、前記病変画像群の枚数が第１の閾値以上である場合には、当該病変画像群を動画により表示装置に表示させると判定し、前記病変画像群の枚数が第１の閾値未満である場合には、当該病変画像群を静止画により前記表示装置に表示させると判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて、前記病変画像群を動画又は静止画により前記表示装置に表示させる表示ステップと、
    を画像処理装置に実行させることを特徴とする画像処理装置の作動プログラム。

Images