JP5085370B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、時系列画像を順次表示する画像処理装置および画像処理プログラムに関するものである。

近年、内視鏡の分野において、被検体内部の画像を撮像する撮像機能や、撮像部によって撮像された画像データを無線送信する送信機能等がカプセル形状のケース内に収容されて構成された、飲込み型のカプセル型内視鏡が提案されている。このカプセル型内視鏡は、検査のため被検体である患者の口から飲込まれて被検体内部に導入され、自然排出されるまでの間、体内の例えば食道や胃、小腸、大腸等の臓器内部をその蠕動運動に従って移動する。そして、体内を移動中に、例えば２〜４（frame／sec）で体内の画像を順次撮像し、撮像した画像データを体外の受信装置に無線送信する。このカプセル型内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。

このカプセル型内視鏡は、膨大な枚数の画像を撮像する。このため、診断用のワークステーション等では、時系列で近傍する画像間の類似度をもとに画像間の変化を検出し、変化が激しければ表示時間を長く、変化が緩やかであれば表示時間を短くして各画像の表示時間を調整することによって観察者による画像の観察にかかる負担を軽減している。この種の技術としては、画像内に複数の画素領域を設定し、時系列で連続する画像間での各画素領域の動きベクトルを求めることによって画像の類似度を判定する技術が知られている。例えば、求めた各動きベクトルの向きが揃っているか否かによって画像間の類似度を判定し、類似度の高い画像の表示をスキップまたは高速に表示する手法が知られている（特許文献１参照）。

特開２００６−２８０７９２号公報

ところで、カプセル型内視鏡の被検体内での移動方向は一定ではなく、右方向にスライド（平行移動）していたカプセル型内視鏡がそのスライド方向を左方向に変えたり、後進移動していたカプセル型内視鏡が奥へ落ち込んで前進移動したりと、その方向を変えながら移動する。このため、撮像される画像の動き方向も変化する。この画像の動き方向の変化点では、他の画像よりも遅い表示速度で観察したいという要望があった。特に長時間の時系列画像の観察では、画像の動き方向が急激に変化するとその変化に対する認識が遅れてしまい、重要な情報を見逃してしまう事態が生じる可能性があるからである。またこのため、観察者は、見逃していないか遡って画像を見直して確認する等の作業を行っており、観察効率が低下してしまうという問題もあった。

本発明は、上記に鑑み為されたものであって、時系列画像を表示する場合の観察者による表示内容の見逃しの防止を図るとともに、観察効率を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、時系列画像を順次表示する画像処理装置において、前記時系列画像を構成する画像間の動きを検出し、該検出した画像間の動きをもとに動き方向が変化する画像を抽出する動き方向変化画像抽出手段と、前記動き方向変化画像抽出手段によって抽出された画像および該画像の近傍画像の表示速度を、他の画像の表示速度に比べて相対的に低く制御する表示速度制御手段と、を備えることを特徴とする。

また、本発明にかかる画像処理プログラムは、時系列画像を順次表示する表示部を備えたコンピュータに、前記時系列画像を構成する画像間の動きを検出し、該検出した画像間の動きをもとに動き方向が変化する画像を抽出する動き方向変化画像抽出ステップと、前記動き方向変化画像抽出ステップによって抽出された画像および該画像の近傍画像の表示速度を、他の画像の表示速度に比べて相対的に低く制御する表示速度制御ステップと、を実行させることを特徴とする。

本発明に係る画像処理装置によれば、動き方向が変化する画像およびその近傍画像の表示速度を、他の画像の表示速度に比べて相対的に低く制御することができるので、観察者による表示内容の見逃しが発生する事態を防止できる。したがって、時系列画像の内容を効率良く把握することができ、観察効率が向上するという効果を奏することができる。

以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１における画像処理装置７０を含む画像処理得システムの全体構成を示す概略模式図である。なお、実施の形態１では、体内の管空内を移動するカプセル型内視鏡によって撮像された時系列画像を処理して表示する場合について説明する。図１に示すように、画像処理システムは、被検体１の体内の管空内の画像を撮像するカプセル型内視鏡１０、カプセル型内視鏡１０から無線送信される画像データを受信する受信装置３０、受信装置３０によって受信された画像を画像処理する画像処理装置７０等を備える。受信装置３０と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５０が使用される。

カプセル型内視鏡１０は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体１の口から飲込まれて被検体１内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の画像を所定の撮像レートで順次撮像して取得し、体外に無線送信する。このカプセル型内視鏡１０によって撮像される画像には、粘膜や、体腔内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。また、体内でのカプセル型内視鏡１０の通過速度は一定ではなく、撮像される時系列画像も大きく変化する画像が続いたり類似する画像が続いたりと様々である。なお、カプセル型内視鏡１０によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

受信装置３０は、複数の受信用アンテナＡ１〜Ａｎを備え、各受信用アンテナＡ１〜Ａｎを介してカプセル型内視鏡１０から無線送信される画像データを受信する。この受信装置３０は、可搬型記録媒体５０の着脱が自在に構成されており、受信した画像データを可搬型記録媒体５０に逐次保存する。このようにして、受信装置３０は、カプセル型内視鏡１０が撮像した被検体１内部の画像を時系列順に可搬型記録媒体５０に蓄積する。

受信用アンテナＡ１〜Ａｎは、例えばループアンテナで構成され、図１に示すように、被検体１の体表上の所定位置に分散配置される。具体的には、例えば、被検体１内におけるカプセル型内視鏡１０の通過経路に対応する体表上の位置に分散配置される。なお、受信用アンテナＡ１〜Ａｎは、被検体１に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信用アンテナＡ１〜Ａｎは、被検体１がこのジャケットを着用することによって、被検体１内におけるカプセル型内視鏡１０の通過経路に対応する被検体１の体表上の所定位置に配置される。また、受信用アンテナは、被検体１に対して１つ以上配置されればよく、その数は限定されない。

画像処理装置７０は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体５０の着脱が自在に構成される。この画像処理装置７０は、可搬型記録媒体５０に保存された時系列画像を取得し、取得した時系列画像を順次ＬＣＤやＥＬＤ等のディスプレイに表示する。

図２は、実施の形態１における画像処理装置７０の機能構成を説明するブロック図である。実施の形態１では、画像処理装置７０は、外部インターフェース７１０と、入力部７２０と、表示部７３０と、記憶部７４０と、演算部７５０と、画像処理装置７０全体の動作を制御する制御部７６０とを備える。

外部インターフェース７１０は、カプセル型内視鏡１０で撮像され、受信装置３０で受信した時系列画像の画像データを取得するためのものであり、例えば可搬型記録媒体５０を着脱自在に装着し、この可搬型記録媒体５０に保存された画像データを読み出すリーダ装置で構成される。この外部インターフェース７１０によって読み取られた時系列画像の画像データは、記憶部７４０に保持され、演算部７５０によって処理されて制御部７６０の制御のもと表示部７３０に順次表示される。なお、カプセル型内視鏡１０によって撮像された時系列画像の取得は、可搬型記録媒体５０を用いた構成に限定されるものではない。例えば、可搬型記録媒体５０のかわりに別途サーバを設置し、このサーバに時系列画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、時系列画像を取得することとしてもよい。あるいは、記憶部７４０内にカプセル型内視鏡１０によって撮像された時系列画像を予め保存しておき、記憶部７４０から読み出して時系列画像を取得する構成としてもよい。

入力部７２０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力された指示情報を制御部７６０に出力する。表示部７３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部７６０の制御によって、時系列画像の表示画面を含む各種画面を表示する。

記憶部７４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置７０の動作に係るプログラムや、画像処理装置７０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、時系列画像を処理して順次表示部７３０に表示させるための画像処理プログラム７４１が格納される。

演算部７５０は、カプセル型内視鏡１０によって撮像された時系列画像を処理し、連続する画像間の動き方向の変化を検出するための種々な演算処理を行う。この演算部７５０は、連続する画像間の動きを検出してその動き方向が変化する画像（以下、「動き方向変化画像」と呼ぶ。）を抽出する動き方向変化画像抽出手段としての動き方向変化画像抽出部７５１を含む。この動き方向変化画像抽出部７５１は、画像間の動きベクトルをブロック毎に算出する動きベクトル算出手段としての動きベクトル算出部７５２と、画像間の動きベクトルの向きに従って動きパターンを分類する動きパターン判定手段としての動きパターン分類部７５４と、画像間の動き方向の変化を判定する動き方向変化判定部７５５とで構成される。また、動きベクトル算出部７５２は、画像を複数のブロックにブロック分割（領域分割）するブロック分割手段としてのブロック分割部７５３を有する。

制御部７６０は、ＣＰＵ等のハードウェアによって実現される。この制御部７６０は、外部インターフェース７１０を介して取得される時系列画像の画像データや入力部７２０から入力される操作信号、記憶部７４０に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。また、制御部７６０は、時系列画像を構成する各画像を表示部７３０に順次表示する制御を行う画像表示制御部７６１と、演算部７５０の動き方向変化画像抽出部７５１によって抽出された動き方向変化画像およびその近傍画像の表示速度を、その他の画像の表示速度に比べて相対的に低く制御する表示速度制御手段としての表示速度制御部７６３とを含む。

次に、実施の形態１の画像処理装置７０が行う処理手順について、図３に示すフローチャートを参照して説明する。なお、ここで説明する処理は、記憶部７４０に格納された画像処理プログラム７４１に従って画像処理装置７０の各部が動作することによって実現される。

図３に示すように、実施の形態１の画像処理装置では、先ず演算部７５０が、処理対象の画像の時系列順序を識別するための画像番号ｎを初期化する（ステップａ１）。そして、演算部７５０は、外部インターフェース７１０を介して取得されて記憶部７４０に格納された時系列画像の中から、画像番号ｎ−１の画像Ｉ（ｎ−１）と、画像番号ｎの画像Ｉ（ｎ）とを取得する（ステップａ３）。

続いて、ブロック分割部７５３が、画像Ｉ（ｎ−１），Ｉ（ｎ）の各画像データの画素空間を複数のブロック（画素領域）にブロック分割する（ステップａ５）。各ブロックのサイズや数等は、予め設定しておくこととしてもよいし、ユーザ操作等によって設定変更可能に構成してもよいが、このブロック分割によって、各ブロックを画素空間上に均等に配置する。例えば、画像Ｉ（ｎ−１），Ｉ（ｎ）の各画像データの画素空間を、４×４の１６個のブロックにブロック分割する。

次に、動きベクトル算出部７５２が、画像Ｉ（ｎ−１），Ｉ（ｎ）間での動きベクトルを、対応するブロック毎に算出する（ステップａ７）。例えば、動きベクトル算出部７５２は、画像Ｉ（ｎ−１），Ｉ（ｎ）のＧ成分の正規化相互相関を用いて動きベクトルを算出する。Ｇ成分を用いるのは、ＲＧＢ成分でＧ成分の感度が最も良く、輝度成分の差が出やすいためである。図４−１，４−２は、動きベクトルの算出方法を説明するための図であり、図４−１は、画像Ｉ（ｎ−１）の画素空間を示し、図４−２は、画像Ｉ（ｎ）の画素空間を示している。ここで、図４−１の画像Ｉ（ｎ−１）の画素空間は、図３のステップａ５の処理によって１６個のブロック１１０にブロック分割されている。また、図４−２の画像Ｉ（ｎ）の画素空間も同様にして、１６個のブロック１２０にブロック分割されている。動きベクトルの算出に際しては、動きベクトル算出部７５２は、画像Ｉ（ｎ−１）中のテンプレート領域１１１と、画像Ｉ（ｎ）中のマッチング領域１２１との対応付けをブロック単位で行う。

すなわち先ず、動きベクトル算出部７５２は、図４−１に示すように、画像Ｉ（ｎ−１）の各ブロック１１０にテンプレート領域１１１を設定する。例えば、各ブロック１１０の中央に、その中心を中心座標（ｘ_i，ｙ_i）とした領域であって、各ブロック１１０よりも小さいサイズ（ｔｘ，ｔｙ）の領域をテンプレート領域１１１として設定する。ｉはテンプレート領域番号であり、ここではブロック１１０の数が１６個なので、ｉ＝１〜１６である。

次に、動きベクトル算出部７５２は、画像Ｉ（ｎ−１）の各ブロック１１０のテンプレート領域１１１の画素データを用い、画像Ｉ（ｎ）の対応するブロック１２０内で正規化相互相関によるマッチングを行う。図５は、マッチングについて説明する図であり、テンプレート領域１１１ａの画素データを用い、画像Ｉ（ｎ）中の対応するブロック１２０ａ内でマッチング領域１２１ａを検出する様子を示している。このマッチングでは、ブロック１２０ａの中からテンプレート領域１１１ａと最も類似する領域を探索し、その正規化相互相関値を求める。そして、テンプレート領域１１１ａと最もマッチングする、すなわち正規化相互相関値が高い領域をマッチング領域１２１ａとして検出する。ここで、検出したマッチング領域１２１ａの中心座標を（ｘ_a，ｙ_a）とする。ａはマッチング領域番号であり、ここではブロック１２０ａの数が１６個なので、ａ＝１〜１６である。

より具体的には、動きベクトル算出部７５２は、テンプレート領域とマッチング領域のＧ成分の分散値を用いてマッチングを行い、次式（１）に従って正規化相互相関値Ｅを算出する。ｆ（ｎ，ｘ，ｙ）は画像番号ｎの画像データである。

以上のようにし、図４−２に示すように、動きベクトル算出部７５２は各ブロック１２０それぞれについてマッチングを行い、マッチング領域１２１を検出する。

そして、動きベクトル算出部７５２は、画像Ｉ（ｎ−１）の各ブロック１１０のテンプレート領域１１１と、画像Ｉ（ｎ）の対応するブロック１２０内のマッチング領域１２１との間で、中心座標（ｘ_i，ｙ_i），（ｘ_a，ｙ_a）の変化を動きベクトルとして算出する。得られたマッチング結果のデータは、記憶部７４０に保持される。具体的には、各テンプレート領域番号と対応付けて、得られたマッチング領域の中心座標やその正規化相互相関値Ｅ、動きベクトル等が記憶される。

動きベクトルを算出したならば、図３に示すように、続いて動きパターン分類部７５４が、動きパターン分類処理を実行して画像Ｉ（ｎ）の動きパターンを分類する（ステップａ９）。この画像Ｉ（ｎ）の動きパターンの分類は、画像Ｉ（ｎ−１），Ｉ（ｎ）間の動きベクトルをもとに動きパターンを「平行移動上」「平行移動左上」「平行移動左」「平行移動左下」「平行移動下」「平行移動右下」「平行移動右」「平行移動右上」「前進移動」「後進移動」「左回転移動」「右回転移動」「その他」のいずれかに分類することによって行う。図６は、動きパターン分類処理の詳細な処理手順を示すフローチャートである。

すなわち先ず、動きパターン分類部７５４は、図３のステップａ７で行ったマッチングの結果得られた正規化相互相関値Ｅを画像Ｉ（ｎ−１），Ｉ（ｎ）間の動きベクトルの信頼度とし、信頼度の低い動きベクトルについてはマッチング失敗として、動きパターンの分類に用いる動きベクトルから除外する処理を行う（ステップａ９１１）。続いて、動きパターン分類部７５４は、動きパターンの分類を行うか否かを判定する。例えば、動きパターン分類部７５４は、信頼度の低い動きベクトルを除外した結果、動きパターンの分類に使用可能な動きベクトル数が動きベクトルの総数の半数以下（実施の形態１では８個以下）の場合には、動きパターンの分類を行わないと判定し（ステップａ９１３：Ｎｏ）、ステップａ９２７に移行して画像Ｉ（ｎ）の動きパターンを「その他」に分類する。これは、マッチング失敗数が多く、動きパターンの分類を行っても結果に信頼性が得られないと考えられるためである。図７は、画像Ｉ（ｎ）の一例を示す図であり、図７中において、画像Ｉ（ｎ−１）との間で設定された動きパターンの分類に使用可能な動きベクトル１３１を示している。例えば、時系列の前後でカプセル型内視鏡１０の撮像位置が大きく変わり、画像の見え方が大きく変わると、マッチングの結果得られた正規化相互相関値Ｅが低くなる。このため、図７に示す画像Ｉ（ｎ）のように、動きベクトルの信頼度が低いと判定される箇所１３３が多く発生する。このような場合には、動きパターンは、「その他」に分類される。なお、動きパターンの分類に使用可能な動きベクトルが半数以下の場合に動きパターンを「その他」に分類することとしたが、半数以下である必要はなく、閾値は適宜設定してよい。

一方、動きパターンの分類を行う場合には（ステップａ９１３：Ｙｅｓ）、動きパターン分類部７５４は、画像Ｉ（ｎ）の動きパターンを「平行移動」に分類する処理（平行移動分類処理）を行う（ステップａ９１５）。動きパターンが「平行移動」の場合、画像Ｉ（ｎ−１），Ｉ（ｎ）間の動きベクトルは全て同じような向きを持つ。このため、動きパターン分類部７５４は、各動きベクトルの向きが略同一の方向を向いている場合には、画像Ｉ（ｎ）の動きパターンを「平行移動」に分類する。具体的には、動きパターン分類部７５４は、各動きベクトルの向きの分散を求め、得られた分散の値が所定の閾値よりも小さければ動きパターンを「平行移動」に分類する。図８は、画像Ｉ（ｎ）の一例を示す図であり、図８中において、画像Ｉ（ｎ−１）との間で設定された動きパターンの分類に使用可能な動きベクトル１４１を示している。図８に示す画像Ｉ（ｎ）のように、各動きベクトル１４１がほぼ同一方向を向いている場合、動きパターンは「平行移動」に分類される。動きパターンを「平行移動」に分類した場合には、動きパターン分類部７５４は、続いて、各動きベクトルの向きの平均を求め、「上」「左上」「左」「左下」「下」「右下」「右」「右上」のいずれかに分類する。これによって、「平行移動」に分類された画像Ｉ（ｎ）の動きパターンが、さらにそれぞれ移動方向が異なる「平行移動上」「平行移動左上」「平行移動左」「平行移動左下」「平行移動下」「平行移動右下」「平行移動右」「平行移動右上」のいずれかに分類される。

続いて、図６に示すように、画像Ｉ（ｎ）の動きパターンが「平行移動」に分類されたか否かを判定し、分類された場合には（ステップａ９１７：Ｙｅｓ）、本処理を終了して図３のステップａ９にリターンする。一方、分類されない場合には（ステップａ９１７：Ｎｏ）、動きパターン分類部７５４は、画像Ｉ（ｎ）の動きパターンを「前進移動」または「後進移動」に分類する処理（前進／後進移動分類処理）を行う（ステップａ９１９）。

図９は、画像Ｉ（ｎ）の一例を示す図であり、図９中において、画像Ｉ（ｎ−１）との間で設定された動きパターンの分類に使用可能な動きベクトル１５１を示している。「前進移動」または「後進移動」の分類では、動きパターン分類部７５４は、図９中に破線で示すように、各動きベクトル１５１に沿った直線１５３をそれぞれ設定し、設定した直線１５３同士が交わる位置に投票点１５５を設定する。そして、動きパターン分類部７５４は、設定した投票点１５５が例えば予め設定される所定サイズの座標範囲内に集中している場合に、動きパターンを「前進移動」または「後進移動」に分類する。例えば、画像Ｉ（ｎ）上を走査して所定の基準投票点数以上の投票点が含まれる座標範囲１５７を探索し、探索された場合に「前進移動」または「後進移動」に分類する。基準投票点数としては、例えば投票点の総数の半数以上等、適宜設定することができる。そして、「前進移動」または「後進移動」に分類した場合には、動きパターン分類部７５４は、探索された座標範囲内の各投票点の例えば平均位置に対して、各動きベクトルの向きが平均位置の方向を向いていれば「前進移動」とし、反対の方向を向いていれば「後進移動」とする。例えば、図９の例では、各動きベクトル１５１は、投票点１５５が集中する座標範囲１５７と反対の方向を向いており、「後進移動」に分類される。なお、実際にはカプセル型内視鏡１０の位置は移動していないが、消化管の粘膜が蠕動運動によって収縮し、カプセル型内視鏡１０が前進または後進したような画像が得られた場合にも、「前進移動」または「後進移動」に分類される。

続いて、図６に示すように、画像Ｉ（ｎ）の動きパターンが「前進移動」または「後進移動」に分類されたか否かを判定し、分類された場合には（ステップａ９２１：Ｙｅｓ）、本処理を終了して図３のステップａ９にリターンする。一方、分類されない場合には（ステップａ９２１：Ｎｏ）、動きパターン分類部７５４は、画像Ｉ（ｎ）の動きパターンを「回転移動」に分類する処理（回転移動分類処理）を行う（ステップａ９２３）。

図１０は、画像Ｉ（ｎ）の一例を示す図であり、図１０中において、画像Ｉ（ｎ−１）との間で設定された動きパターンの分類に使用可能な動きベクトル１６１を示している。「回転移動」の分類では、動きパターン分類部７５４は、図１０中に破線で示すように、各動きベクトル１６１に対して直交する直線１６３をそれぞれ設定し、設定した直線１６３同士が交わる位置に投票点１６５を設定する。そして、動きパターン分類部７５４は、設定した投票点１６５が例えば予め設定される所定サイズの座標範囲内に集中している場合に、動きパターンを「回転移動」に分類する。例えば、画像Ｉ（ｎ）上を走査して所定の基準投票点数以上の投票点が含まれる座標範囲１６７を探索し、探索された場合に「回転移動」に分類する。基準投票点数としては、例えば投票点の総数の半数以上等、適宜設定することができる。そして、「回転移動」に分類した場合には、動きパターン分類部７５４は、続いて、探索された座標範囲内の各投票点の例えば平均位置を回転中心位置とする。そして、動きパターン分類部７５４は、各動きベクトルそれぞれについて、その始点および終点をそれぞれ回転中心位置と結んだ各直線のなす角度を算出し、求めた角度が正の値か負の値かによって回転方向を「左」「右」のいずれかに分類する。図１１−１，１１−２は、回転方向の判定方法を説明する図である。図１１−１に示すように、回転中心位置１７１を動きベクトル１７３の始点１７５と結んだ直線と、回転中心位置１７１を動きベクトル１７３の終点１７７と結んだ直線とのなす角度θが正の値の場合には、回転方向を「左」とする。一方、図１１−２に示すように、回転中心位置１８１を動きベクトル１８３の始点１８５と結んだ直線と、回転中心位置１８１を動きベクトル１８３の終点１８７と結んだ直線とのなす角度θが負の値の場合には、回転方向を「右」とする。これによって、「回転移動」に分類された画像Ｉ（ｎ）の動きパターンが、さらにそれぞれ回転方向が異なる「左回転移動」「右回転移動」のいずれかに分類される。

続いて、図６に示すように、画像Ｉ（ｎ）の動きパターンが「回転移動」に分類されたか否かを判定し、分類された場合には（ステップａ９２５：Ｙｅｓ）、本処理を終了して図３のステップａ９にリターンする。一方、分類されない場合には（ステップａ９２５：Ｎｏ）、動きパターン分類部７５４は、ステップａ９２７に移行して、画像Ｉ（ｎ）の動きパターンを「その他」に分類する。すなわち、動きパターン分類部７５４は、画像Ｉ（ｎ）中の各動きベクトルの向きに規則性がなく、画像Ｉ（ｎ−１），Ｉ（ｎ）間の動きパターンが「平行移動」「前進移動」「後進移動」「回転移動」のいずれにも分類されない場合に、ステップａ９２７において画像Ｉ（ｎ）の動きパターンを「その他」に分類し、図３のステップａ９にリターンする。この動きパターン分類処理によって分類された画像Ｉ（ｎ）の動きパターンは、記憶部７４０に保持される。

図３に示すように、動きパターン分類処理を実行したならば、演算部７５０が画像番号ｎをインクリメントしてｎ＝ｎ＋１とし（ステップａ１１）、ｎの値が時系列画像を構成する画像総数Ｎと一致するか否かによって、次に処理対象とする画像の有無を判定する。ｎ＝Ｎでないならば（ステップａ１３：Ｎｏ）、ステップａ３に戻る。一方、ｎ＝Ｎの場合には（ステップａ１３：Ｙｅｓ）、演算部７５０は、画像番号ｎを再度初期化する（ステップａ１５）。そして、動き方向変化判定部７５５が、画像Ｉ（ｎ−１），Ｉ（ｎ）の動きパターンを記憶部７４０から読み出して取得する。そして、動き方向変化判定部７５５は、取得した動きパターンを比較し、動き方向の変化を判定する（ステップａ１７）。動き方向が変化しない場合には（ステップａ１９：Ｎｏ）、ステップａ２３に移行する。

一方、動き方向が変化した場合には（ステップａ１９：Ｙｅｓ）、動き方向変化画像抽出部７５１が、画像Ｉ（ｎ）を動き方向変化画像として抽出し（ステップａ２１）、ステップａ２３に移行する。具体的には、動き方向変化判定部７５５は、画像Ｉ（ｎ−１），Ｉ（ｎ）の動きパターンが異なる場合に、その類似度を判定する。そして、動き方向変化判定部７５５は、動きパターンが類似している場合には動き方向は変化していないと判定し、動きパターンが非類似の場合に動き方向が変化したと判定する。例えば、「平行移動上」と「平行移動左上」、「平行移動左上」と「平行移動左」、「平行移動左」と「平行移動左下」、「平行移動左下」と「平行移動下」、「平行移動下」と「平行移動右下」、「平行移動右下」と「平行移動右」、「平行移動右」と「平行移動右上」、「平行移動右上」と「平行移動上」をそれぞれ類似する類似動きパターンとして予め定義しておき、画像Ｉ（ｎ−１），Ｉ（ｎ）の動きパターンの組み合わせがいずれかの類似動きパターンと合致する場合には、動き方向は変化していないと判定する。抽出した動き方向変化画像のデータ（画像番号）は、記憶部７４０に保持される。

そして、ステップａ２３では、演算部７５０が画像番号ｎをインクリメントしてｎ＝ｎ＋１とし、続いてｎの値が時系列画像を構成する画像総数Ｎと一致するか否かによって、次に処理対象とする画像の有無を判定する。ｎ＝Ｎでないならば（ステップａ２５：Ｎｏ）、ステップａ１７に戻る。一方、ｎ＝Ｎの場合には（ステップａ２５：Ｙｅｓ）、続いて画像表示制御部７６１が時系列画像を構成する各画像を時系列順に順次表示する制御を行うが、このとき、表示速度制御部７６３が、ステップａ２１で抽出された動き方向変化画像を中心にして前後に連続する所定数の画像を近傍画像とし、動き方向変化画像および近傍画像の表示速度を、その他の画像の表示速度に比べて相対的に低くする制御を行う（ステップａ２７）。

以上説明したように、実施の形態１によれば、時系列画像を構成する画像間の動きベクトルをもとに各画像の動きパターンを分類し、この動きパターンをもとに動き方向が変化した画像を抽出することができる。そして、時系列画像を順次表示する際に、動き方向が変化した画像およびその近傍画像の表示速度を、その他の画像の表示速度に比べて相対的に低くする制御を行うことができるので、時系列画像を観察する際、観察者は、動き方向が変化する画像を他と比べて遅い表示速度で観察することができる。また、観察者としては、観察時に表示速度が遅くなった場合に、画像の動き方向が変化すると予測できるという効果もある。これによれば、観察者による表示内容の見逃しが発生する事態を防止できる。したがって、時系列画像の内容を効率良く把握することができ、観察効率が向上するという効果を奏することができる。

なお、実施の形態１では、動き方向が変化した画像を動き方向変化画像として抽出する場合について説明したが、同じ動きパターンの画像が所定数続いた後、画像の動き方向が変化した場合に、この動き方向が変化した画像を動き方向変化画像として抽出することとしてもよい。図１２は、本変形例における画像処理装置の処理手順を示すフローチャートである。なお、実施の形態１において図３に示して説明した処理工程と同一の処理工程については、同一の符号を付している。

図１２に示すように、本変形例の画像処理装置では、動き方向変化判定部が、ステップａ１７において画像Ｉ（ｎ−１），Ｉ（ｎ）の動きパターンを比較して動き方向の変化を判定した結果、動き方向が変化した場合に（ステップａ１９：Ｙｅｓ）、続いて画像Ｉ（ｎ−１）から遡って、画像Ｉ（ｎ−１）と同じ動きパターンの画像が所定数続いているか否かを判定する（ステップｂ２０）。ここで、所定数としては、２以上の値が予め設定され、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。そして、続いていない場合には（ステップｂ２０：Ｎｏ）、ステップａ２３に移行する。一方、続いている場合には（ステップｂ２０：Ｙｅｓ）、ステップａ２１に移行して動き方向変化画像抽出部が画像Ｉ（ｎ）を動き方向変化画像として抽出した後、ステップａ２３に移行する。

図１３は、本変形例における動き方向変化画像の抽出処理について説明する図であり、図１３中の奥側から手前側に向けて連続する時系列画像を示している。図１３に示すように、動きパターンが「前進移動」である所定数以上の画像が画像Ｉ（ｎ−１）まで続いた後、画像Ｉ（ｎ）で動きパターンが「平行移動右」に変化した場合に、画像Ｉ（ｎ）が動き方向変化画像として抽出される。そしてこの場合、画像Ｉ（ｎ）および前後に連続する所定数の画像の表示速度が減速される。本変形例によれば、同じ動きパターンの画像が続いた後で動き方向が変化した場合に、この変化した画像を他と比べて遅い表示速度で観察することができる。したがって、画像の動き方向の急激な変化に対する認識の遅れや、認識の遅れに伴って重要な情報を見逃してしまうといった事態を防止することができる。

（実施の形態２）
次に、実施の形態２について説明する。図１４は、実施の形態２における画像処理装置７０ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２では、画像処理装置７０ｂは、外部インターフェース７１０と、入力部７２０と、表示部７３０と、記憶部７４０ｂと、演算部７５０ｂと、画像処理装置７０ｂ全体の動作を制御する制御部７６０とを備える。記憶部７４０ｂには、画像処理プログラム７４１ｂが格納される。

また、演算部７５０ｂは、動き方向変化画像抽出部７５１ｂを含み、動き方向変化画像抽出部７５１ｂは、ブロック分割部７５３を有する動きベクトル算出部７５２と、動きパターン分類部７５４と、グループ化手段としてのグループ化部７５６と、グループ判定手段としてのグループ判定部７５７と、動き方向変化判定部７５８とで構成される。グループ化部７５６は、動きパターンが同じと判定された時系列で連続する画像群をグループ化する。グループ判定部７５７は、グループ化された隣接するグループが、所定の基準画像数以上の画像で構成されるグループか否かを判定する。本実施の形態では、基準画像数として、隣接する時系列で前のグループに適用する基準前画像数と、後ろのグループに適用する基準後画像数とが予め設定されている。動き方向変化判定部７５８は、グループ間の動き方向の変化を判定する。そして、動き方向変化画像抽出部７５１ｂは、動き方向変化判定部７５８によって動き方向が変化したと判定されたグループ内において時系列で先頭の画像を動き方向変化画像として抽出する。

図１５は、実施の形態２における画像処理装置７０ｂが行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部７４０ｂに格納された画像処理プログラム７４１ｂに従って画像処理装置７０ｂの各部が動作することによって実現される。また、実施の形態１において図３に示して説明した処理工程と同一の処理工程については、同一の符号を付している。

図１５に示すように、実施の形態２の画像処理装置７０ｂでは、ステップａ１３においてｎ＝Ｎと判定した場合に（ステップａ１３：Ｙｅｓ）、続いてグループ化部７５６がグループ化処理を実行する（ステップｃ１５）。図１６は、グループ化処理を説明する図であり、図１６中の最も奥側を先頭（画像番号１）の画像Ｉ（１）とし、手前側に向けて連続する時系列画像を示している。グループ化処理では、動きパターンが同じと判定された時系列で連続する画像群をグループ化する。図１６の例では、動きパターンが「平行移動右」に分類された画像Ｉ（１）〜Ｉ（４）の画像群がグループＧ（１）としてグループ化されている。そして、グループＧ（１）の次に画像パターンが「平行移動左上」に分類された４枚の画像がグループＧ（２）としてグループ化され、グループＧ（２）の次に画像パターンが「平行移動右」に分類された３枚の画像がグループＧ（３）としてグループ化され、グループＧ（３）の次に画像パターンが「右回転移動」に分類されてグループＧ（４）としてグループ化された画像が続いている。

図１７は、グループ化処理の詳細な処理手順を示すフローチャートである。グループ化処理では、グループ化部７５６は、先ず画像番号ｎを再度初期化し（ステップｄ１）、画像Ｉ（ｎ−１）を先頭のグループに登録する（ステップｄ３）。続いて、グループ化部７５６は、図１５のステップａ９で分類された画像Ｉ（ｎ−１），Ｉ（ｎ）の動きパターンを記憶部７４０ｂから読み出して取得する（ステップｄ５）。そして、グループ化部７５６は、取得した動きパターンを比較し、動きパターンが同一の場合には（ステップｄ７：Ｙｅｓ）、画像Ｉ（ｎ−１）が登録されたグループに画像Ｉ（ｎ）を追加登録する（ステップｄ９）。一方、動きパターンが異なる場合には（ステップｄ７：Ｎｏ）、グループ化部７５６は、新たにグループを作成して画像Ｉ（ｎ）を登録する（ステップｄ１１）。そして、グループ化部７５６は、画像番号ｎをインクリメントしてｎ＝ｎ＋１とし（ステップｄ１３）、ｎの値が時系列画像を構成する画像総数Ｎと一致するか否かによって、次に処理対象とする画像の有無を判定する。ｎ＝Ｎでないならば（ステップｄ１５：Ｎｏ）、ステップｄ５に戻る。一方、ｎ＝Ｎの場合には（ステップｄ１５：Ｙｅｓ）、先頭のグループから順に各グループに通し番号を付与し（ステップｄ１７）、図１５のステップｃ１５にリターンする。グループ化された各グループのデータ（グループ情報）は、記憶部７４０ｂに保持される。具体的には、各グループに付与された通し番号と対応付けて、グループ内の最後尾の画像番号や、その動きパターン（グループを構成する画像の動きパターン）等が記憶される。

そして、図１５に示すように、グループ化処理を実行したならば、続いてグループ判定部が、処理対象のグループを識別するためのグループ番号ｍを初期化する（ステップｃ１７）。そして、グループ判定部７５７は、グループＧ（ｍ−１），Ｇ（ｍ）のグループ情報を記憶部７４０ｂから読み出して取得する（ステップｃ１９）。

続いて、グループ判定部７５７は、グループＧ（ｍ−１）を構成する画像数が基準前画像数以上か否かを判定する。グループＧ（ｍ−１）を構成する画像数は、例えばグループＧ（ｍ−１）内の最後尾の画像番号からグループＧ（ｍ−２）内の最後尾の画像番号を差し引くことによって求まる。そして、基準前画像数以上の場合には（ステップｃ２１：Ｙｅｓ）、グループ判定部７５７は、続いてグループＧ（ｍ）を構成する画像数が基準後画像数以上か否かを判定する。グループＧ（ｍ）を構成する画像数は、例えばグループＧ（ｍ）内の最後尾の画像番号からグループＧ（ｍ−１）内の最後尾の画像番号を差し引くことによって求まる。ここで、基準前画像数および基準後画像数には、それぞれ１以上の値が予め設定される。基準前画像数および基準後画像数の各値は、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。

そして、基準後画像数以上の場合には（ステップｃ２３：Ｙｅｓ）、グループ判定部７５７は、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンを比較し、動き方向の変化を判定する（ステップｃ２４）。そして、図１５に示すように、動き方向が変化しない場合には（ステップｃ２５：Ｎｏ）、ステップｃ２７に移行する。なお、このとき、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンが「その他」の場合に、後段のステップｃ２６の処理を行わずにステップｃ２７に移行することとしてもよい。一方、動き方向が変化した場合には（ステップｃ２５：Ｙｅｓ）、動き方向変化画像抽出部７５１ｂが、グループＧ（ｍ）内の時系列で先頭の画像を動き方向変化画像として抽出し（ステップｃ２６）、ステップｃ２７に移行する。

図１８−１〜３は、動き方向の変化の判定方法を説明する図である。本判定方法では、動きパターンのうち、「平行移動」「回転移動」「前進移動」「後進移動」「その他」を親パターンとする。そして、「平行移動上」「平行移動左上」「平行移動左」「平行移動左下」「平行移動下」「平行移動右下」「平行移動右」「平行移動右上」を親パターン「平行移動」に対する子パターンとする。また、「左回転移動」「右回転移動」を親パターン「回転移動」に対する子パターンとする。例えば、図１８−１に示すように、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンの親パターンが「平行移動」と「回転移動」とで異なる場合には、動き方向が変化したと判定する。したがって、時系列画像の表示の際には、グループＧ（ｍ）内の時系列で先頭の画像１９１および前後に連続する所定数の画像の表示速度が減速される。一方、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンの親パターンが「平行移動」であり、動きパターンの変化が移動方向の変化である場合には、子パターンの移動方向が類似するか否かを判定する。例えば、予め「上」と「左上」、「左上」と「左」、「左」と「左下」、「左下」と「下」、「下」と「右下」、「右下」と「右」、「右」と「右上」、「右上」と「上」を類似する移動方向として定義しておく。そして、図１８−２に示すように、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンの子パターンが「平行移動右」と「平行移動左上」であり、移動方向が非類似の場合には、動き方向が変化したと判定する。したがって、時系列画像の表示の際には、グループＧ（ｍ）内の時系列で先頭の画像１９３および前後に連続する所定数の画像の表示速度が減速される。これに対し、図１８−３に示すように、グループＧ（ｍ−１），Ｇ（ｍ）の動きパターンの子パターンが「平行移動右」と「平行移動右上」であり、移動方向が類似する場合には、動き方向が変化しないと判定する。したがって、時系列画像の表示の際には、グループＧ（ｍ）内の時系列で先頭の画像１９５および前後に連続する所定数の画像の表示速度は減速されない。

そして、グループ判定部７５７は、グループ番号ｍをインクリメントしてｍ＝ｍ＋１とし（ステップｃ２７）、ｍの値がグループ総数Ｍと一致するか否かによって、次に処理対象とするグループの有無を判定する。ｍ＝Ｍでないならば（ステップｃ２９：Ｎｏ）、ステップｃ１９に戻る。一方、ｍ＝Ｍの場合には（ステップｃ２９：Ｙｅｓ）、続いてステップａ２７に移行し、画像表示制御部７６１が時系列画像を構成する各画像を時系列順に順次表示する制御を行うが、このとき、表示速度制御部７６３が、ステップｃ２６で抽出された動き方向変化画像およびこの動き方向変化画像と前後に連続する所定数の画像の表示速度を、その他の画像の表示速度に比べて相対的に低くする制御を行う。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏することができる。また、時系列画像を構成する各画像のうち、動きパターンが同じと判定された時系列で連続する画像群をグループ化し、グループ単位で動き方向の変化を判定することができる。そして、動き方向の変化だけでなく、動きパターンの変化の前後で同じ動きパターンが所定数連続しているかどうかを条件として、動き方向変化画像を抽出することができる。

なお、上記の実施形態では、カプセル型内視鏡１０により撮像された被検体内部の画像を表示する場合について説明したが、これに限定されるものではなく、複数の画像で構成される時系列画像を順次表示させる場合であれば同様に適用することができる。

実施の形態１における画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。 実施の形態１における画像処理装置の機能構成を説明するブロック図である。 実施の形態１における画像処理装置が行う処理手順を示すフローチャートである。 動きベクトルの算出方法を説明するための図である。 動きベクトルの算出方法を説明するための図である。 マッチングについて説明する図である。 動きパターン分類処理の詳細な処理手順を示すフローチャートである。 画像Ｉ（ｎ）の一例を示す図である。 画像Ｉ（ｎ）の一例を示す図である。 画像Ｉ（ｎ）の一例を示す図である。 画像Ｉ（ｎ）の一例を示す図である。 回転方向の判定方法を説明する図である。 回転方向の判定方法を説明する図である。 変形例における画像処理装置の処理手順を示すフローチャートである。 変形例における動き方向変化画像の抽出処理について説明する図である。 実施の形態２における画像処理装置の機能構成を説明するブロック図である。 実施の形態２における画像処理装置が行う処理手順を示すフローチャートである。 グループ化処理を説明する図である。 グループ化処理の詳細な処理手順を示すフローチャートである。 動き方向の変化の判定方法を説明する図である。 動き方向の変化の判定方法を説明する図である。 動き方向の変化の判定方法を説明する図である。

符号の説明

１０ カプセル型内視鏡
３０ 受信装置
Ａ１〜Ａｎ 受信用アンテナ
５０ 可搬型記録媒体
７０，７０ｂ 画像処理装置
７１０ 外部インターフェース
７２０ 入力部
７３０ 表示部
７４０，７４０ｂ 記憶部
７４１，７４１ｂ 画像処理プログラム
７５０，７５０ｂ 演算部
７５１，７５１ｂ 動き方向変化画像抽出部
７５２ 動きベクトル算出部
７５３ ブロック分割部
７５４ 動きパターン分類部
７５５，７５８ 動き方向変化判定部
７５６ グループ化部
７５７ グループ判定部
７６０ 制御部
７６１ 画像表示制御部
７６３ 表示速度制御部
１ 被検体

Claims (11)

1. 時系列画像を順次表示する画像処理装置において、
   前記時系列画像を構成する画像間の動きを検出し、該検出した画像間の動きをもとに動き方向が変化する画像を抽出する動き方向変化画像抽出手段と、
   前記動き方向変化画像抽出手段によって抽出された画像および該画像の近傍画像の表示速度を、他の画像の表示速度に比べて相対的に低く制御する表示速度制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記動き方向変化画像抽出手段は、
   前記時系列画像を構成する画像間の動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段によって算出された動きベクトルをもとに動きパターンを判定する動きパターン判定手段と、
   を有し、前記動きパターン判定手段によって分類された動きパターンが変化した画像を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記動きパターン判定手段は、前記動きベクトル算出手段によって算出された動きベクトルの向きに従って前記動きパターンを判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記動きパターン判定手段は、前記動きパターンを、移動方向別の平行移動、回転移動、前進移動、後進移動およびその他のいずれかに分類することを特徴とする請求項２に記載の画像処理装置。
5. 前記動き方向変化画像抽出手段は、前記動きパターンの変化が平行移動の移動方向の変化の場合であって、該変化した移動方向が類似する場合には、前記動きパターンが変化した画像を抽出しないことを特徴とする請求項４に記載の画像処理装置。
6. 前記動き方向変化画像抽出手段は、前記時系列画像において、同じ動きパターンの画像が所定数続いた後、画像の動きパターンが変化した場合に、該動きパターンが変化した画像を抽出することを特徴とする請求項２に記載の画像処理装置。
7. 前記動き方向変化画像抽出手段は、前記時系列画像において、一の動きパターンの画像が所定数続いた後、前記一の動きパターンとは別の他の動きパターンの画像が所定数続いた場合に、動きパターンが前記他の動きパターンへと変化した画像を抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記動き方向変化画像抽出手段は、
   動きパターンが同じと判定された時系列で連続する画像群をグループ化するグループ化手段と、
   前記グループ化手段によってグループ化された隣接するグループが、それぞれ予め設定される基準画像数以上の画像で構成されるグループか否かを判定するグループ判定手段と、
   を有し、
   前記グループ判定手段によって前記基準画像数以上の画像で構成されると判定された隣接する各グループの動きパターンをもとに、動き方向が変化したグループ内において時系列で先頭の画像を抽出することを特徴とする請求項７に記載の画像処理装置。
9. 前記基準画像数として、時系列で前のグループに適用する基準前画像数と、時系列で後のグループに適用する基準後画像数とが予め設定されており、
   前記グループ判定手段は、前記隣接するグループのうち、時系列で前のグループについて前記基準前画像数以上の画像で構成されるグループか否かを判定し、時系列で後のグループについて前記基準後画像数以上の画像で構成されるグループか否かを判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記表示速度制御手段は、前記近傍画像として、前記動き方向変化画像抽出手段によって抽出された画像を中心にして前後に連続する所定数の画像の表示速度を他の画像の表示速度に比べて相対的に低くすることを特徴とする請求項１に記載の画像処理装置。
11. 時系列画像を順次表示するための画像処理プログラムであって、
    前記時系列画像を構成する画像間の動きを検出し、該検出した画像間の動きをもとに動き方向が変化する画像を抽出し、
    前記抽出した画像および該画像の近傍画像の表示速度を、他の画像の表示速度に比べて相対的に低く制御すること、
    をコンピュータに実行させる命令を含むことを特徴とする画像処理プログラム。
    

Images