JP4699014B2 - 画像表示装置、画像表示方法および画像表示プログラム - Google Patents

Description

この発明は、フレーム番号がそれぞれ付与された複数の画像の中における所定画像を表示する画像表示装置、画像表示方法および画像表示プログラムに関する。

近年、内視鏡の分野においては、飲込み型のカプセル型内視鏡が提案されている。このカプセル型内視鏡には、撮像機能と無線通信機能とが設けられている。カプセル型内視鏡は、観察（検査）のために被検体の口から飲込まれた後、自然排出されるまでの間、体腔内、たとえば、胃、小腸などの臓器の内部をその蠕動運動にしたがって移動し、移動にともない、たとえば０．５秒間隔で被検体内画像の撮像を行う機能を有する。

体腔内を移動する間、カプセル型内視鏡によって撮像された画像データは、順次無線通信により外部に送信され、外部に設けられたメモリに蓄積される。無線通信機能とメモリ機能とを備えた受信機を携帯することにより、被検体は、カプセル型内視鏡を飲込んだ後、排出されるまでの間にわたって、自由に行動できる。カプセル型内視鏡が排出された後、医者もしくは看護師においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる（特許文献１参照）。

特開２００３−１９１１１号公報

ところで、近年、カプセル型内視鏡によって撮像された画像の中から、画像処理によって、たとえば出血部位を含む可能性が高い特徴画像を抽出する技術が提案されている。この抽出技術においては、画像内に赤色領域が含まれる割合を数値化した赤色レベル値を求める。そして、従来の抽出技術において、所定の閾値を超えた赤色レベル値を有する画像を、出血部位を含む可能性が高い特徴画像として抽出する。従来の画像表示装置では、カプセル型内視鏡によって撮像された画像を順次表示する際に、抽出された特徴画像に所定のマーキング等を付して表示していた。ユーザである医師もしくは看護師は、このマーキング等の有無によって、表示された画像が出血部位を含む可能性が高い特徴画像であるか否かを判断し、診察を行っていた。しかしながら、カプセル型内視鏡は、通常の内視鏡と異なり被検者が飲込んで自然に排出されるまでの期間、各臓器を撮像するため、観察（検査）時間が長時間に及び、膨大な枚数の画像を撮像する。ユーザは、このような膨大な画像をディスプレイに表示し一枚ずつ確認することによって、特徴画像を見つけ出していた。したがって、ユーザは、特徴画像の確認に多くの時間を費やしており、特徴画像の確認および特徴画像前後の正常部位が撮像された画像と特徴画像との比較を容易に行うことができず、ユーザにとって特徴画像確認は大きな負担であった。

この発明は、上記した従来技術の欠点に鑑みてなされたものであり、ユーザによる特徴画像の確認の容易化を可能とする画像表示装置、画像表示方法および画像表示プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、この発明にかかる画像表示装置は、フレーム番号がそれぞれ付された複数の画像の中における所定画像が表示される所定画像表示領域を備えた表示手段と、前記所定画像表示領域に表示された前記所定画像の中から所望の前記所定画像を選択する選択手段と、前記複数の画像の中から、前記選択手段によって選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像である周辺画像とを抽出する抽出手段と、前記選択手段によって選択された前記所定画像に代えて、前記抽出手段によって抽出された前記選択画像と前記周辺画像とを前記表示手段に表示させる制御手段と、を備えたことを特徴とする。

また、この発明にかかる画像表示装置は、前記制御手段は、前記選択画像と前記周辺画像とを前記フレーム番号順にしたがって表示させることを特徴とする。

また、この発明にかかる画像表示装置は、前記抽出手段は、前記周辺画像として、前記選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、連続または所定間隔で画像を抽出することを特徴とする。

また、この発明にかかる画像表示装置は、前記抽出手段は、前記選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する所定数の画像の中から前記周辺画像を抽出することを特徴とする。

また、この発明にかかる画像表示装置は、前記抽出手段は、前記選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、前記選択画像のフレーム番号から離れるにしたがって抽出間隔を長くして前記周辺画像を抽出することを特徴とする。

また、この発明にかかる画像表示装置は、前記複数の画像の画像ごとに所定の特徴を表す特徴量を取得し、前記複数の画像の中から所定の閾値に基づく前記特徴量を有する画像を前記所定画像として設定する取得手段をさらに備えたことを特徴とする。

また、この発明にかかる画像表示装置は、前記抽出手段は、前記周辺画像として、前記選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、前記選択画像における前記取得手段によって取得された前記特徴量に対応した抽出間隔で抽出することを特徴とする。

また、この発明にかかる画像表示装置は、前記表示手段は、前記所定画像を各所定画像における前記取得手段によって取得された前記特徴量にしたがって前記所定画像表示領域に表示することを特徴とする。

また、この発明にかかる画像表示装置は、前記表示手段は、前記所定画像を縮小して表示することを特徴とする。

また、この発明にかかる画像表示装置は、前記所定画像表示領域に表示された前記所定画像の中から所望の前記所定画像の拡大表示を指示する指示手段をさらに備え、前記抽出手段は、前記指示手段によって拡大表示を指示された前記所定画像である指示画像と、該指示画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する所定数の画像である近傍画像とを抽出し、前記制御手段は、所定の拡大画像表示領域に、前記所定画像表示領域に表示させた前記所定画像よりも大きな画像で、前記抽出手段によって抽出された前記指示画像と前記近傍画像とをフレーム番号順にしたがって前記表示手段に表示させることを特徴とする。

また、この発明にかかる画像表示装置は、前記複数の画像は、被検体内部を撮像した画像であることを特徴とする。

また、この発明にかかる画像表示方法は、フレーム番号がそれぞれ付された複数の画像の中における所定画像を表示する第１の表示ステップと、前記第１の表示ステップにおいて表示された前記所定画像の中から所望の前記所定画像を選択する選択ステップと、前記複数の画像の中から、前記選択ステップにおいて選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像である周辺画像とを抽出する抽出ステップと、前記選択ステップにおいて選択された前記所定画像に代えて、前記抽出ステップにおいて抽出された前記選択画像と前記周辺画像とを表示させる第２の表示ステップと、を含むことを特徴とする。

また、この発明にかかる画像表示プログラムは、フレーム番号がそれぞれ付された複数の画像の中における所定画像を表示する第１の表示手順と、前記第１の表示手順において表示された前記所定画像の中から所望の前記所定画像を選択する選択手順と、前記複数の画像の中から、前記選択手順において選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像である周辺画像とを抽出する抽出手順と、前記選択手順において選択された前記所定画像に代えて、前記抽出手順において抽出された前記選択画像と前記周辺画像とを表示させる第２の表示手順と、を含むことを特徴とする。

本発明によれば、選択手段によって選択された所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する周辺画像とを抽出し、選択手段によって選択された所定画像に代えて、抽出された選択画像と周辺画像とを表示させている。このため、本発明によれば、ユーザによる所定画像の確認および該所定画像と該抽出画像の周辺画像との比較を容易化し、ユーザの画像確認時の負担を低減するという効果を奏する。

以下、図面を参照して、この発明の実施の形態である画像表示装置について説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、本実施の形態にかかる画像表示装置として、カプセル型内視鏡を用いた被検体内情報取得システムにおける画像表示装置を例として説明する。

まず、実施の形態にかかる画像表示装置について説明する。本実施の形態にかかる画像表示装置は、所定の抽出条件で抽出された特徴画像の縮小画像がユーザによって選択された場合、選択された縮小画像に代えて、縮小画像と該縮小画像の前後の画像とを順次コマ送り表示することによって、ユーザによる特徴画像の確認および特徴画像と該特徴画像の前後画像との比較を容易化する。

図１は、本実施の形態における被検体内情報取得システムの全体構成を示す模式図である。図１に示すように、本実施の形態における被検体内情報取得システムは、受信機能を有する受信装置２と、被検体１の体内に導入され、体腔内画像を撮像して受信装置２に対してデータ送信を行うカプセル型内視鏡３とを備える。また、被検体内情報取得システムは、受信装置２が受信したデータに基づいて体腔内画像を表示する画像表示装置４と、受信装置２と画像表示装置４との間のデータ受け渡しを行うための携帯型記録媒体５とを備える。受信装置２は、被検体１によって着用される受信ジャケット２ａと、受信ジャケット２ａを介して送受信される無線信号の処理等を行う外部装置２ｂとを備える。

画像表示装置４は、カプセル型内視鏡３によって撮像された体腔内画像を表示するためのものであり、携帯型記録媒体５によって得られるデータに基づいて画像表示を行うワークステーション等を有する。画像表示装置４は、カプセル型内視鏡３が撮像した複数の静止画像の中から所定の抽出条件で抽出された特徴画像を表示する。

携帯型記録媒体５は、外部装置２ｂおよび画像表示装置４に対して着脱可能であって、両者に対する挿着時に情報の出力または記録が可能な構造を有する。具体的には、携帯型記録媒体５は、カプセル型内視鏡３が被検体１の体腔内を移動している間は外部装置２ｂに挿着されてカプセル型内視鏡３から送信されるデータを記録する。そして、カプセル型内視鏡３が被検体１から排出された後、つまり、被検体１の内部の撮像が終った後には、外部装置２ｂから取り出されて画像表示装置４に挿着され、画像表示装置４によって記録したデータが読み出される構成を有する。外部装置２ｂと画像表示装置４との間のデータの受け渡しは、コンパクトフラッシュ（登録商標）メモリ等の携帯型記録媒体５によって行う構成以外にも、外部装置２ｂと画像表示装置４との間が有線接続された構成をとることも可能である。

ここで、図２を参照して画像表示装置４について説明する。図２は、図１に示す画像表示装置４の概略構成を示すブロック図である。図２に示すように、画像表示装置４は、入力部２０、表示部３０、記憶部４０、制御部５０を備える。

入力部２０は、キーボードやマウスなどのポインティングデバイスなどによって実現され、画像表示装置４の動作指示および画像表示装置４が行なう処理の指示情報を入力し、各指示情報を制御部５０に送出する。入力部２０は、表示部３０の特徴画像表示領域に表示された特徴画像の中から所望の特徴画像を選択する選択情報を入力する。たとえば、入力部２０のマウスを操作し、画面上に表示されたカーソルを所望の特徴画像上に移動させた場合、入力部２０は、この特徴画像を選択する選択情報を入力する。また、入力部２０は特徴画像表示領域に表示された特徴画像の中から所望の特徴画像の拡大表示を指示する
指示情報を入力する。たとえば、入力部２０のマウスを操作し、画面上のカーソルを所望の特徴画像上に移動させた状態でマウスの左ボタンがダブルクリックされた場合に、入力部２０は、所望の特徴画像の拡大表示を指示する指示情報を入力する。

表示部３０は、ＣＲＴディスプレイ、液晶ディスプレイ等によって実現され、入力部２０の指示情報あるいは指示結果などを表示する。表示部３０は、記憶部４０のフォルダＦ１に格納された画像群Ｐａにおける特徴画像の縮小画像が表示される所定の特徴画像表示領域と、指示情報によって指示された特徴画像が拡大表示される拡大画像表示領域とを有する。

記憶部４０は、たとえばハードディスク装置などによって実現され、各種画像などを保持する。たとえば、フォルダＦ１内には、カプセル型内視鏡３によって撮像された画像群Ｐａが格納される。フォルダＦ１に格納された画像群Ｐａには、画像ごとに、受信装置２における画像データの受信順にしたがってフレーム番号が付与されている。また、フォルダＦ２内には、画像処理部５１によって生成された特徴画像情報が格納される。たとえば、フォルダＦ２には、画像群Ｐａの各画像のフレーム番号と赤色レベル値などの特徴量とを対応させたテーブルＴａが格納される。

制御部５０は、入力部２０、表示部３０、記憶部４０の各処理または動作を制御する。制御部５０は、画像処理部５１と、表示制御部５２と、画像抽出部５３とを備える。画像処理部５１は、画像群Ｐａに含まれる画像等を処理し、画像群Ｐａの画像ごとに所定の特徴を示す特徴量を取得する。画像処理部５１は、特願２００４−１２０３６７に示すように、画像情報の中に所定の色情報に該当する領域が含まれていた場合、この所定の色情報が含まれる領域の割合を数値化した特徴量を取得する。画像処理部５１は、取得した各画像の特徴量をもとに、所定の閾値に基づく特徴量を有する画像を特徴画像として設定する。たとえば、画像処理部５１は、画像情報の色情報のうち、赤色情報の有無および分布をもとに画像全体に占める赤色情報の割合を求め、この割合を数値化した赤色レベル値を特徴量として取得する。そして、画像処理部５１は、取得した各画像の赤色レベル値が所定の閾値を超えていた場合には、この画像に出血部がある可能性が高いと判断し、特徴画像として設定する。この場合、図２に示すように、画象処理部５１は、画像群Ｐａの各画像のフレーム番号と赤色レベル値などの特徴量とを対応させたテーブルＴａを生成する。また、画像処理部５１は、このテーブルＴａに、特徴画像として設定した画像のフレーム番号に特徴画像である旨を示すフラグを付与し、出力する。たとえば、テーブルＴａにおいて、フラグ「１」は、特徴画像であることを示し、フラグ「０」は、特徴画像でないことを示す。

表示制御部５２は、表示部３０における表示処理を制御する機能を有する。表示制御部５２は、フォルダＦ１に格納された画像群ＰａおよびフォルダＦ２に格納されたテーブルＴａをもとに、表示部３０に対して、所定の特徴画像表示領域に画像群Ｐａにおける特徴画像を表示させる。表示制御部５２は、表示部３０に対して、特徴画像表示領域における特徴画像を特徴量にしたがって表示させる。たとえば、表示制御部５２は、特徴画像表示領域における特徴画像を、画像処理部５１が取得した赤色レベル値の高い順に表示させる。表示制御部５２は、表示部３０に対して、特徴画像表示領域に特徴画像を縮小表示させる。また、表示制御部５２は、入力部２０から選択情報が入力された場合、表示部３０に対して、選択情報において選択された特徴画像に代えて、画像抽出部５３によって抽出された画像をフレーム番号順にしたがって縮小表示させる。また、表示制御部５２は、入力部２０から指示情報が入力された場合、表示部３０に対して、所定の拡大画像表示領域に、特徴画像表示領域に縮小表示させた特徴画像よりも大きな画像で、画像抽出部５３が抽出した画像をフレーム番号順にしたがって表示させる。

画像抽出部５３は、入力部２０から選択情報が入力された場合、フォルダＦ１に格納された画像群Ｐａの中から、選択情報において選択された特徴画像である選択画像とともに、この選択画像よりも前のフレーム番号および後のフレーム番号を有する周辺画像を抽出する。この場合、画像抽出部５３は、周辺画像として、選択画像よりも前のフレーム番号および後のフレーム番号を有する所定数の画像の中から、連続または所定間隔で画像を抽出する。また、画像抽出部５３は、選択画像よりも前のフレーム番号および後のフレーム番号を有する所定数の画像の中から、選択画像のフレーム番号から離れるにしたがって抽出間隔を長くして周辺画像を抽出する。そして、表示制御部５２は、表示部３０に対して、選択情報によって選択された特徴画像に代えて、画像抽出部５３によって抽出された選択画像と周辺画像とをフレーム番号順にしたがって縮小表示させる。

また、画像抽出部５３は、入力部２０から所望の特徴画像の拡大を指示する指示情報が入力された場合、この指示情報によって拡大表示を指示された特徴画像である指示画像と、この指示画像よりも前のフレーム番号および後のフレーム番号を有する所定数の近傍画像とを抽出する。この場合、画像抽出部５３は、選択情報が入力された場合と異なり、選択画像よりも前のフレーム番号および後のフレーム番号を有する所定数の画像を全て抽出する。そして、表示制御部５２は、表示部３０に対して、所定の拡大画像表示領域に、特徴画像表示領域に縮小表示された特徴画像よりも大きな画像で、画像抽出部５３によって抽出された指示画像と近傍画像とをフレーム番号順にしたがって表示させる。

つぎに、図３を参照して、制御部５０による画像表示処理手順について説明する。図３において、まず、表示制御部５２は、入力部２０から、画像群Ｐａにおける特徴画像の縮小画像表示を指示する指示情報を受信したか否かを判断する（ステップＳ１０２）。表示制御部５２は、特徴画像の縮小画像表示を指示する指示情報があるまでステップＳ１０２の判断を繰り返す。

表示制御部５２は、特徴画像の縮小画像表示を指示する指示情報があったと判断した場合（ステップＳ１０２：Ｙｅｓ）、フォルダＦ２に格納されたテーブルＴａを参照し、フォルダＦ１に格納された画像群Ｐａの中から特徴画像を抽出する（ステップＳ１０４）。この場合、表示制御部５２は、テーブルＴａにおけるフラグの種類をもとに画像群Ｐａのうち特徴画像のフレーム番号を求め、このフレーム番号を用いて画像群Ｐａの中から特徴画像を抽出する。その後、表示制御部５２は、テーブルＴａにおける各特徴画像の特徴量にしたがって、抽出した特徴画像を並び換える（ステップＳ１０６）。そして、表示制御部５２は、表示部３０に対して、所定の特徴画像表示領域に、並び換えた順で特徴画像を縮小表示させる（ステップＳ１０８）。

その後、制御部５０は、入力部２０から出力された選択情報を受信したか否かを判断する（ステップＳ１１０）。制御部５０が選択情報を受信しないと判断した場合（ステップＳ１１０：Ｎｏ）、ステップＳ１０８に進み、表示制御部５２は、表示部３０に対して、特徴画像の縮小表示を継続させる。一方、制御部５０が選択情報を受信したと判断した場合（ステップＳ１１０：Ｙｅｓ）、画像抽出部５３は、フォルダＦ１に格納された画像群Ｐａの中から、選択情報によって選択された特徴画像である選択画像と、この選択画像に対応する周辺画像とを抽出する（ステップＳ１１４）。この場合、画像抽出部５３は、周辺画像として、選択画像よりも前のフレーム番号および後のフレーム番号を有する所定数の画像の中から、連続または所定間隔で画像を抽出する。そして、表示制御部５２は、表示部３０に対して、選択情報によって選択された特徴画像に代えて、画像抽出部５３によって抽出された選択画像と周辺画像とをフレーム番号順にしたがって順次縮小表示させるコマ送り縮小表示処理を行う（ステップＳ１１６）。

その後、制御部５０は、入力部２０から出力された特徴画像の拡大を指示する指示情報を受信したか否かを判断する（ステップＳ１１８）。制御部５０が特徴画像の拡大を指示する指示情報を受信しないと判断した場合（ステップＳ１１８：Ｎｏ）、ステップＳ１０８に進み、表示制御部５２は、表示部３０に対して、特徴画像の縮小表示を継続させる。一方、制御部５０が特徴画像の拡大を指示する指示情報を受信したと判断した場合（ステップＳ１１８：Ｙｅｓ）、画像抽出部５３は、画像群Ｐａの中から、この指示情報によって指示された特徴画像に対応する拡大表示用の画像を抽出する（ステップＳ１２０）。画像抽出部５３は、拡大表示用の画像として、指示情報によって指示された特徴画像である指示画像と、この指示画像の前のフレーム番号および後のフレーム番号を有する所定数の近傍画像とを全て抽出する。その後、表示制御部５２は、表示部３０に対して、所定の拡大画像表示領域に、特徴画像表示領域に縮小表示された特徴画像よりも大きな画像で、画像抽出部５３によって抽出された指示画像と近傍画像とをフレーム番号順にしたがって順次表示させる拡大表示処理を行う（ステップＳ１２２）。

その後、表示制御部５２は、画像の表示終了を指示する指示情報を受信したか否かを判断し（ステップＳ１２４）、この指示情報を受信したと判断した場合には（ステップＳ１２４：Ｙｅｓ）、表示部３０における画像表示を終了させる。これに対し、表示制御部５２は、画像の表示終了を指示する指示情報を受信しないと判断した場合（ステップＳ１２４：Ｎｏ）、表示部３０が、拡大表示を指示された指示画像および近傍画像の最終画像まで表示したか否かを判断する（ステップＳ１２６）。表示制御部５２は、表示部３０が、指示画像および近傍画像の最終画像まで表示したと判断した場合（ステップＳ１２６：Ｙｅｓ）、表示部３０における指示画像および近傍画像の拡大表示を終了する。その後、表示制御部５２は、入力部２０から入力された指示情報にしたがって、画像表示の終了や特徴画像の縮小表示の継続等の表示処理を行う。一方、表示制御部５２は、指示画像および近傍画像の最終画像まで表示していないと判断した場合（ステップＳ１２６：Ｎｏ）、ステップＳ１２２に進み、表示部３０に対して、指示画像および近傍画像のうち次に表示対象となる画像を拡大表示させる。

つぎに、図４を参照して、表示部３０の表示画面上において表示された特徴画像に対する画像表示処理について説明する。図４は、表示部３０の表示画面の一例を示す図であり、表示部３０の表示画面には、ウィンドウＷが表示される。ウィンドウＷには、大きくは、特徴画像表示領域Ａ１、拡大画像表示領域Ａ２が設けられる。拡大画像表示領域Ａ２は、特徴画像表示領域Ａ１の左側領域に設けられ、再生ボタン２４などの動画表示制御ボタンは、拡大画像表示領域Ａ２の下部に設けられる。

特徴画像表示領域Ａ１には、フォルダＦ１に格納された画像群Ｐａにおける特徴画像が縮小表示される。これらの特徴画像は、特徴量にしたがって表示される。たとえば、図４では、特徴量のもととなる赤色領域が画像全体に占める割合が大きい順に上から下へと特徴画像が表示された場合を示す。赤色領域Ｓ１２が最も大きい特徴画像Ｐｅ１２が特徴画像表示領域Ａ１の最上部に表示され、次に赤色領域Ｓ６が大きい特徴画像Ｐｅ６が特徴画像Ｐｅ１２の下に示される。このように、特徴画像表示領域Ａ１には、赤色領域Ｓ１２，Ｓ６，Ｓ１５，Ｓ９が画像全体に占める割合が大きい順に、特徴画像Ｐｅ１２，Ｐｅ６，Ｐｅ１５，Ｐｅ９が表示されている。ユーザは、入力部２０のマウスなどを操作し、スライダーＳａを上下に移動させることによって特徴画像表示領域Ａ１に表示される特徴画像を変更する。また、拡大画像表示領域Ａ２には、特徴画像表示領域Ａ１に表示された特徴画像のうち、拡大表示を指示された特徴画像である指示画像および近傍画像が、特徴画像表示領域Ａ１に表示される特徴画像よりも大きな画像で表示される。図４では、拡大表示の指示前の表示部３０の表示画面の一例を示している。図４に示すように、拡大表示の指示前には、特徴画像表示領域Ａ１には、画像が表示されていない。

特徴画像表示領域Ａ１に表示された特徴画像のうち、特徴画像Ｐｅ６を選択した場合について説明する。たとえば再生ボタン２４をクリックすることによって特徴画像の縮小画像表示を指示する指示情報が入力部２０から出力される。この結果、画像抽出部５３による特徴画像抽出処理（ステップＳ１０４）、表示制御部５２による並び換え処理（ステップＳ１０６）、特徴画像縮小表示処理（ステップＳ１０８）によって、特徴画像の縮小画像が特徴量にしたがって並び換えられた状態で特徴画像表示領域に表示される。

そして、図４に示すように、ユーザは、マウスを操作し、カーソル２３を所望の特徴画像Ｐｅ６上に移動させる。この結果、入力部２０は、特徴画像Ｐｅ６を選択する選択情報を制御部５０に入力する。この選択情報を受け、画像抽出部５３は、選択情報によって選択された特徴画像Ｐｅ６とともに、特徴画像Ｐｅ６に対応する周辺画像とを抽出する（ステップＳ１１４）。

ここで、画像抽出部５３による周辺画像の抽出について説明する。図５は、画像抽出部５３における周辺画像の抽出方法を説明する図である。図５では、画像群Ｐａ全体を撮像した撮像時間を示すタイムバーＴｂを示す。このタイムバーＴｂは、画像群Ｐａ全体の撮像時間が８時間である場合について示し、タイムバーＴｂにおける期間Ｔｅ６は、特徴画像Ｐｅ６と特徴画像Ｐｅ６に対応する周辺画像とが抽出される画像群ＰＥ６が撮像された期間である。画像群ＰＥ６には、特徴画像Ｐｅ６が含まれるとともに、特徴画像Ｐｅ６よりも前のフレーム番号および後のフレーム番号を有する所定数の画像が含まれる。画像抽出部５３は、この画像群ＰＥ６から、特徴画像Ｐｅ６と特徴画像Ｐｅ６に対応する周辺画像とを抽出する。画像抽出部５３は、画像群ＰＥ６の中から、周辺画像として、連続または所定間隔で画像を抽出する。この場合、画像抽出部５３は、特徴画像Ｐｅ６のフレーム番号から離れるにしたがって抽出間隔を長くしている。

具体的に、画像抽出部５３の抽出処理について説明する。ここで、画像群ＰＥ６を、特徴画像Ｐｅ６のフレーム番号との間隔に応じて、画像群Ｆ１〜Ｆ５に分割する。画像群ＰＥ６のうち、画像群Ｆ３は、特徴画像Ｐｅ６と特徴画像Ｐｅ６の前後２枚の画像を含む。画像抽出部５３は、この特徴画像Ｐｅ６を含む画像群Ｆ３から、全画像を抽出する。また、画像群Ｆ２，Ｆ４は、特徴画像Ｐｅ６を含む画像群Ｆ３の前または後のフレーム番号を有する画像を含む。画像抽出部５３は、この画像群Ｆ２，Ｆ４からは、画像群Ｆ３における画像抽出間隔よりも長い抽出間隔で画像を抽出する。たとえば、画像抽出部５３は、画像群Ｆ２，Ｆ４からは、４フレーム毎に画像を抽出する。さらに、画像群Ｆ２，Ｆ４の前または後のフレーム番号を有する画像を含む画像群Ｆ１，Ｆ５からは、画像群Ｆ２，Ｆ４における画像抽出間隔よりも長い抽出間隔で画像を抽出する。たとえば、画像抽出部５３は、画像群Ｆ１，Ｆ５からは、７フレーム毎に画像を抽出する。すなわち、画像抽出部５３は、画像群ＰＥ６のうち、特徴画像Ｐｅ６を含む部分については、連続で画像を抽出する。そして、画像抽出部５３は、特徴画像Ｐｅ６のフレーム番号に近いフレーム番号を有する部分に対しては、画像の抽出間隔を狭くし、特徴画像Ｐｅ６のフレーム番号から離れたフレーム番号を有する部分に対しては、画像の抽出間隔を広くしている。このように、画像抽出部５３は、図５に示すように、画像群ＰＥ６の中から、コマ送り用画像群ＰＥＳ６を抽出する。したがって、画像抽出部５３は、画像群ＰＥ６から、特徴画像Ｐｅ６を抽出するとともに、画像群Ｆ１〜Ｆ５からは、特徴画像Ｐｅ６のフレーム番号との間隔に応じた枚数ごとに画像を抽出する。

そして、表示制御部５２は、画像抽出部５３が抽出したコマ送り画像群ＰＥＳ６を用いて、ステップＳ１１６に示すコマ送り縮小表示処理を行う。この場合、図６に示すように、表示制御部５２は、特徴画像表示領域Ａ２に表示された特徴画像のうち、ユーザによって選択された特徴画像Ｐｅ６に代えて、コマ送り画像Ａｅ６を表示させる。このコマ送り画像Ａｅ６は、画像抽出部５３が抽出したコマ送り画像群ＰＥＳ６を、フレーム番号順にしたがって、順次表示したものである。また、図６に示すように、表示制御部５２は、他の特徴画像と同等の大きさで、コマ送り画像Ａｅ６を表示している。すなわち、表示制御部５２は、コマ送り画像Ａｅ６を縮小表示させている。

このように、画像表示装置４においては、ユーザが所望の特徴画像上にカーソルを移動させた場合、この特徴画像が表示されていた箇所で、この特徴画像と周辺画像とが順次コマ送り表示される。特徴画像の前の画像から順次コマ送り表示されるため、ユーザは、特徴量が低い正常部位を撮像した正常部画像を確認してから、出血部などが含まれる可能性が高い特徴画像を確認することができる。この結果、ユーザは、出血部などの把握、正常部位と出血部位との比較など、特徴画像の確認および特徴画像と該特徴画像の周辺画像との比較を容易に行うことが可能になる。また、画像表示装置４では、画像群ＰＥ６から連続または所定間隔で抽出したコマ送り用画像群ＰＥＳ６をコマ送り画像Ａｅ６として表示している。この結果、ユーザは、画像群ＰＥ６全ての画像をコマ送り表示した場合と比較し、選択した特徴画像の概要の把握と、特徴画像と周辺画像との比較とを短期間で行うことができる。したがって、画像表示装置４は、ユーザによる特徴画像確認の負担を軽減することができる。

また、表示制御部５２は、ステップＳ１１６において、ユーザが選択した特徴画像に対応するコマ送り画像を表示させる場合、画像抽出部５３が抽出したコマ送り用画像群の最初の画像が表示されてからユーザが選択した特徴画像が表示されるまでの時間を、一定とさせてもよい。表示制御部５２は、ユーザが選択した特徴画像がいずれであっても、また、画像抽出部５３が抽出したコマ送り用画像群の枚数が一定でない場合であっても、コマ送り画像を表示させる場合には、画像の表示レートを調整することによって、コマ送り画像の最初の画像を表示させてから特徴画像を表示させるまでの期間を一定とする。この結果、ユーザは、所望の特徴画像を選択後、コマ送り画像の表示時における特徴画像表示までの期間を把握することができるため、特徴画像に対して予め注意を向け、特徴画像を確実に確認することが可能となる。

さらに、ユーザが特徴画像表示領域Ａ１に表示された特徴画像のうち、所望の特徴画像をさらに詳細に確認したい場合について、図７を参照して説明する。図７では、特徴画像表示領域Ａ１に表示された特徴画像のうち、Ｐｅ６を詳細に確認する場合を例示する。

ユーザは、特徴画像表示領域Ａ１に表示された特徴画像Ｐｅ６上に、入力部２０であるマウスを操作することによって、カーソル２３を移動させ、マウスの左ボタンをダブルクリックする。この場合、制御部５０には、入力部２０から、特徴画像Ｐｅ６の拡大表示を指示する指示情報が入力される。この指示情報を受け、画像抽出部５３は、指示情報によって指示された特徴画像Ｐｅ６と、この特徴画像Ｐｅ６よりも前のフレーム番号および後のフレーム番号を有する所定数の近傍画像とを間引くことなく抽出する拡大表示用の画像抽出処理を行う（ステップＳ１２０）。具体的には、画像抽出部５３は、図５に示す期間Ｔｅ６に対応する画像群ＰＥ６の全ての画像を抽出する。この画像群ＰＥ６は、上述したように、特徴画像Ｐｅ６を含むとともに、特徴画像Ｐｅ６よりも前のフレーム番号および後のフレーム番号を有する所定数の近傍画像を含む。

その後、表示制御部５２は、表示部３０に対して、図７に示す拡大画像表示領域Ａ２に、画像抽出部５３が抽出した画像群ＰＥ６をフレーム番号順にしたがって順次表示させたコマ送り画像ＡＥ６を表示させる。このコマ送り画像ＡＥ６は、特徴画像表示領域Ａ１に表示された特徴画像Ｐｅ６よりも大きな画像で表示されている。このように、特徴画像Ｐｅ６と特徴画像Ｐｅ６の前後の画像が拡大表示されるため、ユーザは、この拡大表示された画像をもとに、特徴画像Ｐｅ６と特徴画像Ｐｅ６の前後の画像を詳細に確認することができる。また、コマ送り画像ＡＥ６は、画像を間引くことなく抽出された画像群ＰＥ６をもととしており、画像群ＰＥ６の全ての画像をコマ送り再生したものである。このため、ユーザは、特徴画像Ｐｅ６と、特徴画像Ｐｅ６の前後の画像との相違点をさらに詳細に比較することができる。

このように、実施の形態にかかる画像表示装置４は、ユーザが選択した特徴画像を含む画像群であって、特徴画像のフレーム番号との間隔に対応させて連続または所定間隔で抽出した画像群を縮小してコマ送り表示させる。このため、ユーザは、特徴画像の確認および特徴画像前後の正常部位が撮像された画像と特徴画像との比較を容易かつ短時間に行うことができる。さらに、画像表示装置４は、ユーザが指示した特徴画像を含む画像群を拡大してコマ送り表示させることもできるため、ユーザは、特徴画像の詳細を容易に確認することができる。

なお、画像抽出部５３は、ステップＳ１１４における特徴画像と周辺画像との抽出処理において、特徴画像および前後画像における特徴量に対応した抽出間隔で画像を抽出してもよい。このステップＳ１１４における画像抽出処理の他の例について、図８を参照し、具体的に説明する。

図８は、画像抽出部５３における画像抽出処理を説明する図である。図８では、図５と同様に、図４に示す特徴画像Ｐｅ６を選択する選択情報が入力部２０から出力された場合について示す。さらに、図８では、画像処理部５１は、複数の閾値を用いて特徴画像を設定する場合について示す。たとえば、図８における特徴量とフレーム番号との関係グラフに示すように、画像処理部５１は、第１の閾値であるＬ１と、第２の閾値であるＬ２（＜Ｌ１）とを用いて、特徴画像を設定する。第１の閾値Ｌ１を超えた特徴量を有する画像は、出血部などの異常部が高い確率で存在する。これに対し、第１の閾値Ｌ１以下であり第２の閾値Ｌ２を超えた特徴量を有する画像は、出血部などの異常部が存在する可能性があると考えられる画像である。画像抽出部５３は、第１の閾値であるＬ１を超えた特徴量を有する特徴画像Ｐｅ６に対しては、図５と同様に、特徴画像Ｐｅ６を含む画像群Ｆ１３からは連続して全フレームを抽出し、画像群Ｆ１３の前後画像である画像群Ｆ１２，Ｆ１４からは、２フレーム毎に画像を密に抽出し、特徴画像Ｐｅ６から離れた画像群Ｆ１５からは、画像群Ｆ１２，１４における抽出間隔よりも抽出間隔を長くして、４フレーム毎に疎に画像を抽出し、特徴画像Ｐｅ６の概要の確認の確実化と短縮化を図る。さらに、第１の閾値Ｌ１よりも小さな値である第２の閾値であるＬ２を超えた特徴量を有する画像Ｐｅ６２を含む画像群Ｆ２１では、画像Ｐｅ６２とともに、画像Ｐｅ６２の前後の画像から２フレーム毎に抽出する。画像抽出部５３は、閾値Ｌ１よりも小さな値である閾値Ｌ２を超えた画像Ｐｅ６２周辺では抽出間隔を長くする。したがって、表示制御部５２は、ステップＳ１１６において特徴画像表示領域Ａ１に表示されるコマ送り画像では、画像Ｐｅ６２前後の画像は、画像Ｐｅ６２の特徴量よりも大きな特徴量を有する画像Ｐｅ６と比較し、疎に表示される。この結果、ユーザは、特徴量に応じて抽出された画像を確認することによって、各特徴画像の傾向を迅速に把握することができる。

また、実施の形態では、表示制御部５２は、特徴画像表示領域における特徴画像を、画像処理部５１が取得した赤色レベル値の高い順に表示させるとして説明したが、これに限ることはない。表示制御部５２は、画像処理部５１が複数の閾値を設け、各閾値に基づいて特徴画像を抽出する場合、各閾値に対応させて特徴画像を表示してもよい。たとえば、第１の閾値に基づく特徴画像を特徴画像表示領域の上部に表示し、第２の閾値に基づく特徴画像を第１の閾値に基づく特徴画像の下部に表示する。また、表示制御部５２は、所定数量の画像の中に含まれる特徴画像の枚数を求め、この枚数が多い順に表示させてもよい。このように、表示制御部５２は、画像処理部５１が取得した特徴量にしたがって特徴画像を特徴画像表示領域に表示すればよい。特徴量にしたがって特徴画像が表示されるため、ユーザは、特徴画像の表示順によって各特徴画像の特徴量の傾向を把握することが可能となり、特徴画像の確認を容易に行うことができる。

また、実施の形態では、画像処理部５１は、赤色レベル値を特徴量として取得した場合について説明したが、これに限らず、画像における凹凸部が分布する領域の広さを数値化した凹凸レベル値を特徴量として取得してもよい。この場合、画像処理部５１は、画像における陰影の強弱、輪郭形状等をもとに凹凸部を求め、凹凸部の分布領域の広さをもとに凹凸レベル値を取得する。画像処理部５１は、取得した凹凸レベル値のうち、所定の閾値に基づく凹凸レベル値を有する画像を特徴画像として設定する。表示制御部５２は、各特徴量の種別にしたがって、特徴画像を特徴画像表示領域に表示してもよい。また、画像抽出部５３は、特徴量の種別に応じた抽出間隔で周辺画像を抽出してもよい。

また、実施の形態として、画像抽出部５３は、ステップＳ１１４およびステップＳ１２０における画像抽出処理において、選択または指示された特徴画像よりも前のフレーム番号および後のフレーム番号を有する画像を抽出する場合について説明したが、これに限らず、特徴画像よりも前のフレーム番号の画像あるいは特徴画像よりも後のフレーム番号の画像を抽出してもよい。画像抽出部５３は、特徴画像と、この特徴画像周辺の画像との比較方法に応じて、周辺画像として抽出する抽出間隔を変更してもよい。

また、上記実施の形態で説明した画像表示装置４は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。以下、上記実施の形態で説明した画像表示装置と同様の機能を有する画像表示プログラムを実行するコンピュータシステムについて説明する。

図９は、上述した実施の形態を用いたコンピュータシステムの構成を示すシステム構成図であり、図１０は、このコンピュータシステムにおける本体部の構成を示すブロック図である。図９に示すように、本実施の形態にかかるコンピュータシステム１００は、本体部１０１と、本体部１０１からの指示によって表示画面１０２ａに画像などの情報を表示するためのディスプレイ１０２と、このコンピュータシステム１００に種々の情報を入力するためのキーボード１０３と、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するためのマウス１０４とを備える。

また、このコンピュータシステム１００における本体部１０１は、図１０に示すように、ＣＰＵ１２１と、ＲＡＭ１２２と、ＲＯＭ１２３と、ハードディスクドライブ（ＨＤＤ）１２４と、ＣＤ−ＲＯＭ１０９を受け入れるＣＤ−ＲＯＭドライブ１２５と、フレキシブルディスク（ＦＤ）１０８を受け入れるＦＤドライブ１２６と、ディスプレイ１０２、キーボード１０３並びにマウス１０４を接続するＩ／Ｏインターフェース１２７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）１０６に接続するＬＡＮインターフェース１２８とを備える。

さらに、このコンピュータシステム１００には、インターネットなどの公衆回線１０７に接続するためのモデム１０５が接続されるとともに、ＬＡＮインターフェース１２８およびＬＡＮ／ＷＡＮ１０６を介して、他のコンピュータシステム（ＰＣ）１１１、サーバ１１２、プリンタ１１３などが接続される。

そして、このコンピュータシステム１００は、所定の記録媒体に記録された画像表示プログラムを読み出して実行することで画像表示装置を実現する。ここで、所定の記録媒体とは、フレキシブルディスク（ＦＤ）１０８、ＣＤ−ＲＯＭ１０９、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）１２４や、ＲＡＭ１２２、ＲＯＭ１２３などの「固定用の物理媒体」、さらに、モデム１０５を介して接続される公衆回線１０７や、他のコンピュータシステム１１１並びにサーバ１１２が接続されるＬＡＮ／ＷＡＮ１０６などのように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」など、コンピュータシステム１００によって読み取り可能な画像表示プログラムを記録する、あらゆる記録媒体を含むものである。

すなわち、画像表示プログラムは、上記した「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」などの記録媒体に、コンピュータ読み取り可能に記録されるものであり、コンピュータシステム１００は、このような記録媒体から画像表示プログラムを読み出して実行することで画像表示装置および画像表示方法を実現する。なお、画像表示プログラムは、コンピュータシステム１００によって実行されることに限定されるものではなく、他のコンピュータシステム１１１またはサーバ１１２が画像表示プログラムを実行する場合や、これらが協働して画像表示プログラムを実行するような場合にも、本発明を同様に適用することができる。

実施の形態における被検体内情報取得システムの全体構成を示す模式図である。 実施の形態にかかる画像表示装置の概略構成を示すブロック図である。 図２に示す制御部による画像表示処理手順を示すフローチャートである。 図２に示す表示部の表示画面の一例を示す図である。 図２に示す画像抽出部における画像の抽出を説明する図である。 図２に示す表示部の表示画面の一例を示す図である。 図２に示す表示部の表示画面の一例を示す図である。 図２に示す画像抽出部における画像の抽出を説明する図である。 実施の形態を用いたコンピュータシステムの構成を示す構成図である。 図１０に示したコンピュータシステムにおける本体部の構成を示すブロック図である。

符号の説明

１ 被検体
２ 受信装置
２ａ 受信ジャケット
２ｂ 外部装置
４ 画像表示装置
５ 携帯型記録媒体
２０ 入力部
３０ 表示部
４０ 記憶部
５０ 制御部
５１ 画像処理部
５２ 表示制御部
５３ 画像抽出部
２３ カーソル
２４ 再生ボタン
１００ コンピュータシステム
１０１ 本体部
１０２ ディスプレイ
１０２ａ 表示画面
１０３ キーボード
１０４ マウス
１０５ モデム
１０６ ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）
１０７ 公衆回線
１０８ フレキシブルディスク（ＦＤ）
１０９ ＣＤ−ＲＯＭ
１１１ 他のコンピュータシステム（ＰＣ）
１１２ サーバ
１１３ プリンタ
１２１ ＣＰＵ
１２２ ＲＡＭ
１２３ ＲＯＭ
１２４ ハードディスクドライブ（ＨＤＤ）
１２５ ＣＤ−ＲＯＭドライブ
１２６ ＦＤドライブ
１２７ Ｉ／Ｏインターフェース
１２８ ＬＡＮインターフェース

Claims (9)

1. フレーム番号がそれぞれ付された複数の画像の中における所定画像が表示される所定画像表示領域を備えた表示手段と、
   前記複数の画像の画像ごとに所定の特徴を表す特徴量を取得し、前記複数の画像の中から所定の閾値に基づく前記特徴量を有する画像を前記所定画像として設定する取得手段と、
   前記所定画像表示領域に表示された前記所定画像の中から所望の前記所定画像を選択する選択手段と、
   前記選択手段によって選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、前記選択画像における前記特徴量であって、前記取得手段によって取得された前記特徴量に対応した抽出間隔の周辺画像とを抽出する抽出手段と、
   前記選択手段によって選択された前記所定画像に代えて、前記抽出手段によって抽出された前記選択画像と前記周辺画像とを前記表示手段に前記フレーム番号順に対応してコマ送り表示させる制御手段と、
   を備えたことを特徴とする画像表示装置。
2. 前記抽出手段は、前記選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する所定数の画像の中から前記周辺画像を抽出することを特徴とする請求項１に記載の画像表示装置。
3. 前記特徴量に対応した抽出間隔は、前記所定画像から離れるにしたがって長くなることを特徴とする請求項１または２に記載の画像表示装置。
4. 前記表示手段は、前記所定画像を各所定画像における前記取得手段によって取得された前記特徴量の大きさに応じた順にしたがって前記所定画像表示領域に表示することを特徴とする請求項１〜３のいずれか一つに記載の画像表示装置。
5. 前記表示手段は、前記所定画像を縮小して表示することを特徴とする請求項１〜４のいずれか一つに記載の画像表示装置。
6. 前記所定画像表示領域に表示された前記所定画像の中から所望の前記所定画像の拡大表示を指示する指示手段をさらに備え、
   前記表示手段は、前記所定画像を拡大表示する拡大画像表示領域を有し、
   前記制御手段は、少なくとも前記指示手段によって拡大表示を指示された前記所定画像を、前記所定画像表示領域に表示させた前記所定画像よりも大きな画像で、前記拡大画像表示領域に表示させることを特徴とする請求項１〜５のいずれか一つに記載の画像表示装置。
7. 前記複数の画像は、被検体内部を撮像した画像であることを特徴とする請求項１〜６のいずれか一つに記載の画像表示装置。
8. 複数の画像の画像ごとに所定の特徴を表す特徴量を取得し、前記複数の画像の中から所定の閾値に基づく前記特徴量を有する画像を所定画像として設定する取得ステップと、
   フレーム番号がそれぞれ付された前記複数の画像の中における前記所定画像を表示する第１の表示ステップと、
   前記第１の表示ステップにおいて表示された前記所定画像の中から所望の前記所定画像を選択する選択ステップと、
   前記選択ステップにおいて選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、前記選択画像における前記特徴量であって、前記取得ステップによって取得された前記特徴量に対応した抽出間隔の周辺画像とを抽出する抽出ステップと、
   前記選択ステップにおいて選択された前記所定画像に代えて、前記抽出ステップにおいて抽出された前記選択画像と前記周辺画像とを前記フレーム番号順に対応してコマ送り表示させる第２の表示ステップと、
   を含むことを特徴とする画像表示方法。
9. 複数の画像の画像ごとに所定の特徴を表す特徴量を取得し、前記複数の画像の中から所定の閾値に基づく前記特徴量を有する画像を所定画像として設定する取得手順と、
   フレーム番号がそれぞれ付された前記複数の画像の中における前記所定画像を表示する第１の表示手順と、
   前記第１の表示手順において表示された前記所定画像の中から所望の前記所定画像を選択する選択手順と、
   前記選択手順において選択された前記所定画像である選択画像と、該選択画像よりも前のフレーム番号および後のフレーム番号の少なくとも一方を有する画像の中から、前記選択画像における前記特徴量であって、前記取得手順によって取得された前記特徴量に対応した抽出間隔の周辺画像とを抽出する抽出手順と、
   前記選択手順において選択された前記所定画像に代えて、前記抽出手順において抽出された前記選択画像と前記周辺画像とを前記フレーム番号順に対応してコマ送り表示させる第２の表示手順と、
   をコンピュータに実行させることを特徴とする画像表示プログラム。

Images