JP5911294B2 - 医用画像処理システム - Google Patents

Description

本発明の実施形態は、医用画像撮影装置により取得された医用画像の画像データを処理する医用画像処理システムの技術に関する。

医療用内視鏡として、その形状をカプセル形状にして挿入部を不要とした、カプセル内視鏡なるものがある。このカプセル内視鏡は、撮像機能と無線通信機能とを有している。カプセル内視鏡は、観察（検査）のために患者の口から飲込まれた後、人体から自然排出されるまでの観察期間中に、胃、小腸等の臓器を順次撮像する。撮像により得られた画像情報（画像を表現する電子データ）は、順次外部に無線送信される。

このようにして無線送信された画像情報は、患者の体外に設けられた受信機により受信され所定のメモリに蓄積されるようになっている。この画像情報を、必要に応じて読み出し、読み出された画像情報を表示装置に表示等することにより、医師の診断等に利用することができるようになっている。

また、上記のようにして、カプセル内視鏡から送信された画像に対し画像処理を施し、病変の疑いのある画像を自動的に抽出する医用画像処理システムがある。

特開２００６−３０４９９３号公報 特開２００６−３０４９９５号公報 特開２００６−３３４１１５号公報

一方で、カプセル内視鏡により一度の検査で取得される画像は数万枚にわたり、その量は膨大である。そのため、このような膨大な画像を全て読み出すと、その読み出しの処理に要する時間が、画像を参照する際の操作性を阻害する要因となり得る。また、取得された画像を参照する端末には、必ずしも前述した膨大な量の画像を全て読み出せるだけの記憶領域が備わっているとは限らない。

そこで、この発明の実施形態は、病変の疑いのある画像を選択的に読み出し可能な医用画像処理システムを提供することを目的とする。

上記目的を達成するために、この実施形態は、画像取得部と、第１の記憶部と、第２の記憶部と、検出部と、管理部と、備えた医用画像処理システムである。画像取得部は、一の検査においてカプセル内視鏡により被検体内部を撮像して得られた複数の画像を、順を追って次々に取得する。第１の記憶部は、第１の装置に設けられている。第２の記憶部は、第１の装置にネットワークを介して接続されている。検出部は、取得された画像それぞれから異常候補領域を検出する。管理部は、検出部による検出結果に基づいて、異常候補領域を含む画像及び当該画像に隣接する所定枚数の画像を第１の記憶部に読み出し可能に記憶させ、異常候補領域を含まない画像を第２の記憶部に読み出し可能に記憶させる。

本実施形態に係る医用画像処理システムのブロック図である。 管理部の処理を説明するための図である。 操作画面の一例である。 本実施形態に係る医用画像処理システムの一連の動作を示したフローチャートである。 変形例に係る医用画像処理システムのブロック図である。 管理情報のデータ構造の一例である。

本実施形態に係る医用画像処理システムについて図１を参照しながら説明する。医用画像処理システムは、画像処理サーバー１と、第１の記憶部２０を備えたクライアント２と、第２の記憶部３０とを含んで構成されている。画像処理サーバー１と、クライアント２と、第２の記憶部３０とは、ネットワークＮを介して接続されている。以降は、これらの間で情報を送受信する場合には、特に記述しない場合においても、ネットワークＮを介して情報の送受信を行うものとする。

画像処理サーバー１は、データ取得部１１と、異常候補検出部１２と、管理部１３と、出力先指定部１４とを含んで構成される。

データ取得部１１は、カプセル内視鏡から順次送信される画像データを受信する。この画像データには、画像自体を示すデータと、その画像に関する付帯情報を示すデータとで構成される。これらの画像データは、検査ごとに一連のデータとして、付帯情報を基に関連付けられる。また、順次送信される各画像データの付帯情報には、その画像データが撮像された時刻を示す情報（以降では、「撮像時刻」と呼ぶ）が含まれている。即ち、この撮像時刻を基に、各画像データを時系列に沿って並べることが可能となる。データ取得部１１は、これらの画像データを、受信した順（つまり、撮像時刻の順）に異常候補検出部１２に遂次出力する。なお、カプセル内視鏡により送信された画像データを記憶部に記憶させ、データ取得部１１は、この記憶部から画像データを読み出すように構成してもよい。

異常候補検出部１２は、データ取得部１１から画像データを遂次受ける。異常候補検出部１２は、受けた画像データに画像処理を施すことで、その撮像された画像を解析し、病変の疑いがある領域（例えば、出血やポリープ等）を異常候補領域として抽出する。この抽出方法の一例としては、画像を構成するピクセルの色を示す情報を用いる方法が挙げられる。例えば、出血している部分は、正常な部分と色が異なる。そのため、異常候補検出部１２は、まず、画像を構成するピクセルが示す色の情報を基に、ピクセル間の色の平均値を算出する。異常候補検出部１２は、各ピクセルが示す色の情報と、算出された平均値とを比較し、値間で所定値以上の乖離があるピクセルを含む領域を異常候補領域として抽出する。また、上記した方法に限らず、例えば、異常候補検出部１２は、輪郭抽出等により異常候補領域を抽出してもよい。また、異常候補検出部１２は、抽出された異常候補領域を識別可能に表示させるために、その領域にアノテーションを付加してもよい。

異常候補検出部１２は、画像処理が施された画像データを、管理部１３に遂次出力する。このとき、異常候補検出部１２は、出力される画像データが、画像中に異常候補領域を含むか否かを管理部１３に通知する。

また、異常候補検出部１２は、その画像データが画像中に異常候補領域を含むか否かを識別できれば、必ずしも全ての異常候補領域を抽出する必要は無い。例えば、処理対象の画像でデータに、異常候補領域が所定ピクセル以上含まれることが認識できた時点で、異常候補検出部１２は、その画像データが異常候補領域を含むと判断してもよい。

管理部１３は、異常候補検出部１２から画像データを受ける。このとき、管理部１３は、その画像データが、画像中に異常候補領域を含むか否かを異常候補検出部１２から通知される。管理部１３は、受けた画像データが、画像中に異常候補領域を含む画像データか否かにより、その画像データの出力先を切り替える。管理部１３は、異常候補領域を含む画像データの出力先として、第１の記憶部２０を含むクライアント２を示す情報（例えば、アドレス）をあらかじめ記憶している。また、管理部１３は、異常候補領域を含まない画像データの出力先として、第２の記憶部３０を示す情報とをあらかじめ記憶している。第１の記憶部２０、クライアント２、及び第２の記憶部３０については後述する。なお、以降では、画像中に異常候補領域を含む画像データを「注目画像データ」と呼び、画像中に異常候補領域を含まない画像データを「非注目画像データ」と呼ぶ場合がある。

管理部１３は、受けた画像データが注目画像データの場合には、その画像データをクライアント２に出力する。また、管理部１３は、受けた画像データが非注目画像データの場合には、その画像データを第２の記憶部３０に記憶させる。

例えば、図２は、１つの検査で取得された画像データを示している。画像データ群Ｇ１は、１つの検査で取得された画像データ全体を示している。また、画像データ群Ｇ２は、注目画像データの群を示しており、画像データ群Ｇ１Ａ及びＧ１Ｂは、非注目画像データの群を示している。この場合には、管理部１３は、画像データ群Ｇ２に含まれる画像データをクライアント２に出力し、画像データ群Ｇ１Ａ及びＧ１Ｂに含まれる画像データを第２の記憶部３０に記憶させる。

また、非注目画像データを第２の記憶部３０に記憶させた場合、その記憶先（例えば、アドレス）をクライアント２に通知する。これにより、クライアント２は、第２の記憶部３０の場所を特定し、特定された第２の記憶部３０から非注目画像データを読み出すことが可能となる。

また、出力先を指定するためのインタフェースとして、出力先指定部１４を設けてもよい。出力先指定部１４は、操作者により指定された注目画像データの出力先と、非注目画像データの出力先とを受ける。出力先指定部１４は、これらの出力先を管理部１３に通知する。これにより、管理部１３は、注目画像データ及び非注目画像データのそれぞれを、指定された出力先に出力する。

クライアント２は、第１の記憶部２０と、制御部２１と、表示部２２とを含んで構成される。また、クライアント２の外部には、第２の記憶部３０が設けられている。

第１の記憶部２０は、画像データを読み出し可能に記憶させる記憶領域である。第１の記憶部２０は、制御部２１が参照可能に構成されている。本実施形態では、第１の記憶部２０は、クライアント２の内部に設けられている。

また、第１の記憶部２０とは異なる記憶領域として、第２の記憶部３０が設けられている。第２の記憶部３０は、管理部１３から画像データを受けて、この画像データを読み出し可能に記憶する。

制御部２１は、管理部１３から注目画像データを受ける。制御部２１は、受けた注目画像データを第１の記憶部２０に記憶させる。また、制御部２１は、非注目画像の記憶先（即ち、第２の記憶部３０）を示す情報を管理部１３から受ける。この情報により、制御部２１は、非注目画像データが記憶された第２の記憶部３０の場所を特定する。

次に、制御部２１は、操作者から検査の指定とともに、その検査で撮像された画像の表示に係る指示を受けて、その検査に該当する画像データを第１の記憶部２０から読み出す。制御部２１は、読み出された画像データを基に画像を生成する。また、制御部２１は、生成された画像を表示させるための操作画面を生成する。制御部２１は、生成された操作画面を表示部２２に表示させ、その操作画面上に生成された画像を表示させる。

また、操作者から、非注目画像データに相当する画像の表示が指示された場合、制御部２１は、管理部１３からの通知を基に第２の記憶部３０の場所を特定し、特定された第２の記憶部３０から該当する画像データを読み出す。このとき、制御部２１は、第２の記憶部３０に記憶された各画像データの付帯情報を参照し、該当する検査の画像データを第２の記憶部３０から読み出す。検査を示す情報は、注目画像データの付帯情報を基に特定してもよいし、最初に操作画面を表示する際に管理部１３から取得してもよい。制御部２１は、読み出された非注目画像データを基に画像を生成し、操作画面上に表示させる。

次に、操作画面について図３を参照しながら説明する。図３は、操作画面の一例である。図３に示すように、操作画面１００は、画像表示部１１０と、画像指定部１２０と、指定手段１３０とを含んで構成される。

画像表示部１１０は、画像データを基に生成された画像を表示させるための表示領域である。画像表示部１１０に画像を表示させる際には、例えば、画像データに付帯されたアノテーションの情報を基にマーカー１１１をあわせて表示させてもよい。

画像指定部１２０は、１つの検査の時間幅を模式的に示した入力インタフェースである。画像指定部１２０の長軸方向の一端は、検査開始の時刻に関連付けられており、他端は最後に画像データが取得された時刻に関連付けられている。画像指定部１２０の長軸方向の座標は、検査開始から最後に画像データが取得されるまでの時間帯に含まれる時刻と関連付けられている。操作画面１００は、指定手段１３０を用いて、画像指定部１２０の長軸方向の一部を指定可能に構成されている。これにより、操作者は、指定手段１３０を用いて、検査開始から最後に画像データが取得されるまでの間で、所望の時刻を指定することが可能である。

また、画像指定部１２０には、注目画像データが取得された時間帯を示す領域１２１と、非注目画像データが取得された時間帯を示す領域１２２とが表示されている。制御部２１は、注目画像データ及び非注目画像データに付帯された撮像時刻を基に、検査開始から最後に画像データが取得されるまでの時間帯に対する、注目画像データが取得された時間帯の相対的な位置を算出する。制御部２１は、算出された位置に基づき、画像指定部１２０に領域１２１を表示させることで、画像指定部１２０を領域１２１と領域１２２とに分けて表示させる。換言すると、制御部２１は、一連の画像データ中における、注目画像データの位置と非注目画像データの位置とを識別可能に表示させる。

指定手段１３０により領域１２１の座標が指定された場合には、制御部２１は、その座標に対応する注目画像データを第１の記憶部２０から読み出す。制御部２１は、読み出された注目画像データを基に画像を生成し、画像表示部１１０に表示させる。

また、指定手段１３０により領域１２２の座標が指定された場合には、制御部２１は、その座標に対応する非注目画像データを第２の記憶部３０から読み出す。制御部２１は、読み出された非注目画像データを基に画像を生成し、画像表示部１１０に表示させる。

以上のように、制御部２１は、第１の記憶部２０に記憶された注目画像データを優先的に読み出して画像を生成し、生成された画像を表示部２２に表示させる。これにより、異常候補領域（即ち、病変の疑いがある領域）を含む画像を表示させる場合に、制御部２１は、第１の記憶部２０のみを参照すればよい。これにより、制御部２１は、検査で取得された一連の画像データを全て読み出す必要が無くなるため、ディスクアクセスが高速化する。

なお、管理部１３は、注目画像データに加え、各画像データを撮影時刻の順に並べたときに、その注目画像データに隣接する所定枚数分の画像データをクライアント２に出力するように動作させてもよい。これにより、注目画像データに加え、隣接する画像データを読み出す際においても、第２の記憶部３０を参照する必要が無くなる。また、第２の記憶部３０に、非注目画像データ及び注目画像データの双方、即ち、検査ごとの一連の画像データ全てを記憶させてもよい。

（動作）
次に、本実施形態に係る医用画像処理システムの一連の動作について、図４を参照しながら説明する。図４は、本実施形態に係る医用画像処理システムの一連の動作を示したフローチャートである。

（ステップＳ１１）
データ取得部１１は、カプセル内視鏡から順次送信される画像データを受信する。データ取得部１１は、これらの画像データを、受信した順に異常候補検出部１２に遂次出力する。

（ステップＳ１２）
異常候補検出部１２は、データ取得部１１から画像データを遂次受ける。異常候補検出部１２は、受けた画像データに画像処理を施すことで、その取得された画像を解析し、病変の疑いがある領域を異常候補領域として抽出する。異常候補検出部１２は、画像処理が施された画像データを、管理部１３に遂次出力する。このとき、異常候補検出部１２は、出力される画像データが、画像中に異常候補領域を含むか否かを管理部１３に通知する。

（ステップＳ１３）
管理部１３は、異常候補検出部１２から画像データを受ける。このとき、管理部１３は、その画像データが、画像中に異常候補領域を含むか否かを異常候補検出部１２から通知される。管理部１３は、受けた画像データが、画像中に異常候補領域を含む画像データか否かにより、その画像データの出力先を切り替える。

（ステップＳ１４）
管理部１３は、受けた画像データが注目画像データの場合には（ステップＳ１３、Ｙ）、その画像データをクライアント２に出力する。クライアント２の制御部２１は、この注目画像データを第１の記憶部２０に記憶させる。

制御部２１は、第１の記憶部２０に記憶された画像データを読み出し、この画像データを基に画像を生成する。また、制御部２１は、生成された画像を表示させるための操作画面を生成する。制御部２１は、生成された操作画面を表示部２２に表示させ、その操作画面上に生成された画像を表示させる。

（ステップＳ１５）
また、管理部１３は、受けた画像データが非注目画像データの場合には（ステップＳ１３、Ｎ）、その画像データを第２の記憶部３０に記憶させる。

（ステップＳ１６）
医用画像処理システムは、検査が終了し全ての画像データについて処理が終了するまで（ステップＳ１６、Ｎ）、上述した処理を繰り返す。検査が終了し全ての画像データについて処理が完了した場合（ステップＳ１６、Ｙ）、医用画像処理システムは一連の処理を終了する。

以上のように、本実施形態に係る医用画像処理システムでは、注目画像データを第１の記憶部２０に記憶させ、非注目画像データを第２の記憶部３０に記憶させる。このとき、制御部２１は、まず第１の記憶部２０に記憶された注目画像データを読み出して画像を生成し、生成された画像を表示部２２に表示させる。そのため、異常候補領域（即ち、病変の疑いがある領域）を含む画像を表示させる場合に、制御部２１は、第１の記憶部２０のみを参照すればよい。これにより、制御部２１は、検査で取得された一連の画像データを全て読み出す必要が無くなるため、ディスクアクセスが高速化する。また、第１の記憶部２０には、注目画像データのみを記憶させるため、記憶領域の容量が小さい端末をクライアント２として動作させることが可能となる。

（変形例）
次に前述した実施形態の変形例について、図５を参照しながら説明する。図５は、変形例に係る医用画像処理システムのブロック図である。前述した実施形態では、クライアント２に第１の記憶部２０を設けて動作させる場合について説明した。変形例に係る医用画像処理システムでは、第１の記憶部２０をクライアント２の外部に設けている。以降では、変形例に係る医用画像処理システムについて、前述した実施形態と異なる部分に着目し説明する。

変形例に係る第１の記憶部２０は、クライアント２の外部に設けられている。第１の記憶部２０は、画像処理サーバー１と、クライアント２と、第２の記憶部３０と、ネットワークＮを介して接続されている。

データ取得部１１及び異常候補検出部１２の動作は、前述した実施形態と同様である。即ち、データ取得部１１は、カプセル内視鏡から順次送信される画像データを受信する。データ取得部１１は、これらの画像データを、受信した順に異常候補検出部１２に遂次出力する。異常候補検出部１２は、データ取得部１１から画像データを遂次受ける。異常候補検出部１２は、受けた画像データに画像処理を施すことで、取得された画像を解析し、病変の疑いがある領域を異常候補領域として抽出する。異常候補検出部１２は、画像処理が施された画像データを、管理部１３に遂次出力する。このとき、異常候補検出部１２は、出力される画像データが、画像中に異常候補領域を含むか否かを管理部１３に通知する。

管理部１３は、異常候補検出部１２から画像データを受ける。このとき、管理部１３は、その画像データが、画像中に異常候補領域を含むか否かを異常候補検出部１２から通知される。管理部１３は、受けた画像データが、画像中に異常候補領域を含む画像データか否かにより、その画像データの出力先を切り替える。管理部１３は、異常候補領域を含む画像データの出力先として、第１の記憶部２０を示す情報（例えば、アドレス）をあらかじめ記憶している。また、管理部１３は、異常候補領域を含まない画像データの出力先として、第２の記憶部３０を示す情報とをあらかじめ記憶している。また、前述した実施形態と同様に、出力先指定部１４により、これらの出力先を指定可能に構成してもよい。

管理部１３は、受けた画像データが注目画像データの場合には、その画像データをクライアント２に出力する。また、管理部１３は、受けた画像データが非注目画像データの場合には、その画像データを第２の記憶部３０に記憶させる。

また、変形例に係る管理部１３は、検査ごとに取得された一連の画像データを示す検査識別子と注目画像データの出力先及び非注目画像データの出力先とを関連付けて、管理情報として管理情報記憶部１５に記憶させる。図６は、管理情報のデータ構造の一例である。図６に示すように、管理情報Ｄ１は、検査識別子Ｄ１１と、注目画像データの出力先Ｄ１２と、非注目画像データの出力先Ｄ１３とを含んで構成される。検査識別子Ｄ１１は、検査ごとに取得された一連の画像データを識別するための識別子である。また、注目画像データの出力先Ｄ１２には、例えば、第１の記憶部２０のアドレスを示している。図６の例では、第１の記憶部２０のアドレスとして「ｘｘｘ／ｙｙｙ／ｚｚｚｚｚ」が登録されている。また、非注目画像データの出力先Ｄ１３には、例えば、第２の記憶部３０のアドレスを示している。図６の例では、第２の記憶部３０のアドレスとして「ａａａ／ｙｙｙ／ｚｚｚｚｚ」を示している。また、注目画像データの出力先Ｄ１２及び非注目画像データの出力先Ｄ１３には、各記憶部内における、その画像データが記憶された場所を示す情報（例えば、論理情報としてのディレクトリ、または物理情報としての番地）を含めてもよい。このように、管理情報記憶部１５に管理情報を記憶させることで、この管理情報を基にあらかじめ取得された画像の出力先を特定し、特定された出力先からその画像を読み出すことが可能となる。

変形例に係る管理部１３は、制御部２１から、検査ごとに取得された一連の画像データを識別するための検査識別子を受けるとともに、各画像の出力先の通知を依頼される。管理部１３は、この依頼を受けると、受けた検査識別子に該当する管理情報を管理情報記憶部１５から抽出する。これにより、その検査識別子が示す検査で取得された注目画像データの出力先Ｄ１２と、非注目画像データの出力先Ｄ１３とを特定する。管理部１３は、特定された注目画像データの出力先Ｄ１２と、非注目画像データの出力先Ｄ１３とを制御部２１に通知する。

変形例に係る制御部２１は、検査ごとに取得された一連の画像データを識別するための検査識別子の指定を受けるととともに、その検査識別子が示す画像データの表示が指示される。これを受けて、制御部２１は、指定された検査識別子を管理部１３に送信し、注目画像データの出力先Ｄ１２及び非注目画像データの出力先Ｄ１３の通知を依頼する。この依頼の応答として、制御部２１は、注目画像データの出力先Ｄ１２及び非注目画像データの出力先Ｄ１３を管理部１３から受ける。

制御部２１は、通知された注目画像データの出力先Ｄ１２を基に、第１の記憶部２０の場所を特定し、通知された非注目画像データの出力先Ｄ１３を基に、第２の記憶部３０の場所を特定する。

制御部２１は、特定された第１の記憶部２０から指定された検査に対応する注目画像データを読み出す。制御部２１は、読み出された注目画像データを基に画像を生成する。また、制御部２１は、生成された画像を表示させるための操作画面を生成する。制御部２１は、生成された操作画面を表示部２２に表示させ、その操作画面上に生成された画像を表示させる。以降の動作は、前述した実施形態と同様である。

以上のように、変形例に係る医用画像処理システムは、注目画像データ及び非注目画像データを、クライアント２の外部に設けられた第１の記憶部２０及び第２の記憶部３０にそれぞれ記憶させる。また、この際に医用画像処理システムは、管理情報を作成し、注目画像データ及び非注目画像データの出力先を、この管理情報により管理する。このような構成とすることで、変形例に係る医用画像処理システムでは、画像データの取得から第１の記憶部２０及び第２の記憶部３０までの処理と、取得された画像の参照に係る処理とを非同期的に動作させることが可能となる。これにより、例えば、あらかじめ取得され記憶された画像データを、後日、所望のクライアントから参照するといった態様で動作させることが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載されたその均等の範囲に含まれる。

１ 画像処理サーバー
１１ データ取得部
１２ 異常候補検出部
１３ 管理部
１４ 出力先指定部
１５ 管理情報記憶部
２ クライアント
２０ 第１の記憶部
２１ 制御部
２２ 表示部
３０ 第２の記憶部

Claims (2)

1. 一の検査においてカプセル内視鏡により被検体内部を撮像して得られた複数の画像を、順を追って次々に取得する画像取得部と、
   第１の装置に設けられた第１の記憶部と、
   前記第１の装置にネットワークを介して接続された第２の記憶部と、
   取得された前記画像それぞれから異常候補領域を検出する検出部と、
   前記検出部による検出結果に基づいて、前記異常候補領域を含む画像及び当該画像に隣接する所定枚数の画像を前記第１の記憶部に読み出し可能に記憶させ、前記異常候補領域を含まない画像を前記第２の記憶部に読み出し可能に記憶させる管理部と、
   を備えた医用画像処理システム。
2. 表示部を備え、
   前記検出結果に基づいて、前記複数の画像中における前記異常候補領域を含む画像の位置と他の画像の位置とを識別可能に、前記表示部に表示させることを特徴とする請求項１に記載の医用画像処理システム。

Images