JP4390127B2 - 画像処理装置及び方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理技術に関し、特に医療分野における放射線撮影画像の処理に好適な画像処理技術に関する。
【０００２】
【従来の技術】
Ｘ線に代表される放射線の物質透過能力を用いて、その透過強度分布を画像化する技術は、近代医療技術発展の基本となるものである。Ｘ線の発見以来、その強度分布の画像化については、Ｘ線強度分布を蛍光体により可視光に変換した後、銀塩フィルムで潜像を作り現像するという方法が採られてきた。近年、Ｘ線画像をデジタル化する際に輝尽性蛍光体を用い、Ｘ線照射による輝尽性蛍光体上の蓄積エネルギ分布としての潜像をレーザ光で励起して読み出し、デジタル画像化する、いわゆるイメージングプレートを用いる方法も一般化してきた。さらに、半導体技術の進歩により人体の大きさをカバーできる大判の固体撮像素子、いわゆるフラットパネルディテクタも開発され、潜像をつくることなく直接にＸ線画像をデジタル化し、効率のよい診断が行えるようになって来た。
【０００３】
また一方、光電子増倍管（イメージインテンシファイア）に代表される高感度の撮像素子により微弱なＸ線による蛍光を画像化し、人体内部の動態を観察することも可能であり、一般に用いられてきている。最新のフラットパネルディテクタは、そのようなイメージインテンシファイアにも匹敵する感度を持ち、人体の広範囲における動態を撮影することも可能になってきている。
【０００４】
一般に、医療用のＸ線撮影で最も有効であるのは人体の胸部撮影である。腹部を含む胸部の広範囲を撮影すれば、肺疾患を含む多くの疾病の発見に役立つため、通常の健康診断では胸部Ｘ線撮影は不可欠なものになっている。また、近年、健康診断のために撮影された膨大な量の胸部Ｘ線画像を効率よく診断するため、胸部デジタルＸ線画像に対して計算機を用いて画像解析を行い、医師の初期診断を補助するいわゆる計算機支援診断（ＣＡＤ：Computer Aided Diagnosis）も実用化されつつある。
なお、尚、放射線画像に現われる異常陰影を検出する異常陰影検出装置が特許文献１及び特許文献２において知られている。
【０００５】
【特許文献１】
特許第２５８２６６５号公報
【特許文献２】
特許第２５８２６６６号公報
【０００６】
【発明が解決しようとする課題】
さて、健康診断で胸部Ｘ線撮影等により何らかの疾病の疑いがあるとの所見が得られた場合は、いわゆる精密診断により確定診断が行われる。このような精密診断には、多くの場合ＣＴ、ＭＲスキャンが行われる。このＣＴスキャンやＭＲスキャンは、通常のＸ線撮影と比して数倍の診断コストがかかるものである。このような精密診断により初期の診断が誤診であり何の疾病も無いという場合も多く見られるが、このような誤診は無駄な医療費を費やすものであり、医療費高騰の一因ともなっている。これを防ぐには、初期診断である健康診断の正確度を向上させることが重要である。
【０００７】
コスト上昇を抑えて診断の正確度を向上させる方法としては、前述の大判のフラットパネルディテクタを用いて、呼吸などにより動態を示す胸部動画像を取得し、動態観察を行うことが有効である。動態観察では従来の静止画を観察する場合とは異なり、画像を時系列で切り換えて観察することになる。しかしながら、このような動態観察では、静止画観察に比べて観察者の主観に依存するところが多く、あいまいな点が残りやすい。また、多大な観察時間も費やされることになるため、診断効率も悪い。
【０００８】
本発明は上記の課題に鑑みてなされたものであり、動態画像に基づいて診断に有効な画像を生成することを１つの目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
対象物の動態画像を構成する複数の画像の各々から、設定された直線に沿って並ぶ画素列を取得する取得手段と、
前記取得手段により前記複数の画像から取得された複数の画素列を、前記動態画像のうち最初に撮像された画像の前記直線で分割された一方の側の部分画像と前記動態画像のうち最後に撮像された画像の前記直線で分割された他方の側の部分画像とをつなぐように配置することにより画像を生成する生成手段とを備える。
【００１０】
［第１実施形態］
上述した課題を解決するために、本実施形態では、時系列的に連続して取得された動態画像（本実施形態では呼吸動態画像）を、時間方向を奥行きに取った「時空間３次元画像」として扱い、その横断像、矢状断像(sagittal plane)を作成し、観察可能に表示する。これにより、動態画像の、ひいては医療用動画像の静的な観察および解析を可能にする。
【００１１】
図１は第１実施形態による呼吸動態撮影装置の構成を模式的に示すブロック図である。図１において、１はＸ線強度を画像化するＸ線画像センサであり、連続的な画像取得が可能である。Ｘ線画像センサ１としてはフラットパネルディテクタを用いることができる。２はＸ線発生装置でありＸ線を発生し、被検体に照射する。３は制御装置であり、Ｘ線画像センサ１およびＸ線発生装置２を制御し、Ｘ線発生と画像取得の適切な同期をとる。４は被写体（被検体）としての人体を示している。
【００１２】
５は連続画像取得ユニットであり、Ｘ線画像センサ１から出力される画像データを連続的に取得する。６は動画表示ユニットであり、連続画像取得ユニット５によって連続的に取得される人体の胸部画像を実時間でディスプレイ上に表示する。７はストレージ装置であり、連続画像取得ユニット５で取得された画像を格納する。なお、動画像表示ユニット６はストレージ装置７から随時データを引き出し、順次参照することが可能である。すなわち、動画像表示ユニット６は、実時間での動画的表示や、録画再生のように連続的に取得された画像を後に動画的表示させることができる。
【００１３】
８は時空間３次元画像作成ユニットであり、連続画像取得ユニット５により連続的に取得された時系列画像から時間方向を奥行きとして３次元画像を作成する。断面作成指示ＵＩユニット９は、時空間３次元画像作成ユニット８によって作成された３次元画像において、表示すべき断面を指示するためのユーザインターフェース（ＵＩ）を提供する。１０は断面作成ユニットであり、時空間３次元画像作成ユニット８によって生成された時空間３次元画像の、時間方向（奥行き方向）を含む任意の断面（この断面は断面作成指示ＵＩユニット９により指定される）を作成する。１１は断面表示ユニットであり、断面作成ユニット１０によって生成された断面をディスプレイに表示する。なお、動画像表示ユニット６及び断面表示ユニット１１が表示に用いるディスプレイは共通のものであってもよい。
【００１４】
本システムで得られる呼吸動態画像は複数の人体胸部Ｘ線画像である。以下、実施形態ではこのような動態画像を構成する複数の画像の各々をフレーム画像という。図２では仮に５つのフレーム画像が存在するものとして、各タイミングＴ１〜Ｔ５で得られたフレーム画像を並べて示している。図２のように動画像のフレーム画像を並べて示すことは各フレーム画像を精査する場合は有効である。しかしながら、一般に多数のフレーム画像を並べなければならないため、診断には不適切である。したがって、通常はフレームサイズの画面にフレーム画像を連続して切り換え表示し、動画像として観察する。このように動画像として観察する方法が、観察者に直感的に動態を把握させるのに有利であることは明らかであるが、動画観察には時間を要する。また動画像の場合には客観的な診断記録を残すのが困難である。すなわち、動画像は多くの情報をもっているが、動的に表示して観察しなければならないため、書類などに客観的診断記録を残すことが困難である。これに対し、静止画であれば、従来どおり誰でも、いつでも観察できるし、マーキングなども容易なため、客観的な記録をのこすことが可能である。
【００１５】
そこで、本実施形態では、動的な様子を客観的に示すために、たとえば図２のＡの横ライン上の各フレーム画像の画素値を取り出して画素列を得て、取り出された画素列を取り出し元のフレーム画像の時系列順で並べ直し、図３に示すように一つの画像を形成する。図３では下からＴ１、Ｔ２、…、Ｔ５というように並べ直して画像を形成している。このような図３の画像によれば、図２のＳ１で示される陰影の時間的な動き・変動が１つの画像として得られることになる。
【００１６】
上記のような画像によれば、たとえば、図２のＳ１が腫瘍陰影であるとして、Ｓ１が向かって左側の胸壁に癒着しているのかどうかという解剖学的判断が容易に行える（図２、図３の例では左胸壁に癒着していないことがわかる）。このような判断は１枚の静止画像からでは、撮影の方向・タイミングなどさまざまな要因があって、通常は判断し難いものである。図３の画像のように、あるタイミングでの撮影で、癒着がないことが確認できることは医学的に重要であり、図３に示すような画像表示の診断への貢献度は高い。また、さらに、このような１枚の画像を形成すれば、診断した様子の記録を容易に残すことができる。
【００１７】
同様に、図２のＢで示される縦ライン上の各フレーム画像の画素列を時系列順に並べ直し、図４に示すような１枚の画像に表し、観察、記録することで、陰影Ｓ１とＳ２が１つの陰影ではなく、離れた２つの陰影であることが確認できる。なお、図４では、左から右へＴ１からＴ５の順に各フレーム画像から取得された画素列を並べている。
【００１８】
以上説明した図３、図４に示される画像は、時系列的に連続した複数の画像を時間方向を奥行きに取った「時空間３次元画像（図５、図６により詳述する）」として扱うことにより得られた３次元画像の横断面像及び縦断面像に相当する。以下、図３、図４のような画像を時系列断面画像と称する。
【００１９】
通常、上述したような癒着等の診断はＣＴスキャン等による人体の３次元的な情報からのみ得られるものであったが、本方式のような時系列断面画像を観察することで、それに相当するような診断も可能になる。
【００２０】
なお、上記では図示及び説明の都合で５つのフレーム画像を示したが、このような少ないフレーム数ではなく、少なくとも３０フレーム以上ある動画像を対象とするものとする。また、指定されたライン上の１画素列を配置する際に、画素列間に１つ又は複数の補間画素列を挿入して図３或いは図４のような時系列断面画像を形成してもよい。また、ライン上の画素列を含む複数画素列を各フレームより抽出し、これらを用いて、図３、図４に示すような時系列断面画像を並べて生成、表示するようにしてもよい。
【００２１】
断面作成指示ＵＩユニット９では、例えば、図２に示すように複数枚のフレーム画像を並べて表示し、ラインＡの位置をポインティングデバイス或いはキーボードからの指示によって移動させ、所望の断面位置を指定するようにすればよい。また、ラインＢを指定する場合には、図２に示すように各フレーム画像にラインＢを示す表示を行なえばよい。この場合例えば１つのフレーム画像中のラインＢ（例えばＴ１のラインＢ）を移動すると、他のフレーム画像中のラインＢも同じ量だけ移動する。或いは、ラインＢの指定時には各フレーム画像を縦方向に並べて表示し、ラインＢを設定させるようにしてもよい。なお、このようなＵＩでは、特に時空間３次元画像作成ユニット８によって作成された時空間３次元画像は用いなくてよいので、時空間３次元画像作成ユニット８は省略することも可能である。
【００２２】
さて、以上のようにして断面を指定するＵＩを構成することも可能であるが、本実施形態では、さらに、このような断面を医師もしくは機器操作者が画像を観察しながら容易に形成できるＵＩを提案する。このＵＩでは、時空間３次元画像作成ユニット８によって作成された３次元画像を表示させ、所望の断面をユーザに指定させる。
【００２３】
図５は、時空間３次元画像作成ユニット８により作成された時空間３次元画像を表し、通常の２次元画像のＸ，Ｙ方向に加えて、奥行きに時間軸であるＴ方向が加えられて３次元空間を構成している。したがって、図５に示される空間の１つの点は（ｘ,ｙ,Ｔ)の３つの値で表現できるものになる。３次元画像の表示方法としては、レイトレーシングによる半透明な物体としての表現、後ろの画像を前面の画像で覆い隠すような表現方法などがある。
【００２４】
図１の断面作成指示ＵＩユニット９では、図５のような３次元画像が表示され、ユーザはこの表示を見ながら自分の所望する断面像を得るため、断面の指示を行う。たとえば、断面の方程式として
Ｔ＝Ｃ ； Ｃは定数 （数式１）
という平面を選択し、Ｃを可変にすれば、通常の各フレーム画像が観察可能になる。
【００２５】
また、断面の方程式として
Ｙ＝Ａ ； Ａは定数 （数式２）
という平面を選択すれば、図６のＡで示すようなＸ−Ｔ平面に平行な平面の断面像が得られる。すなわち、図３で示したような断面像が得られて、観察・診断・記録が可能になる。
【００２６】
また、断面の方程式として
Ｘ＝Ｂ ； Ｂは定数 （数式３）
という図６のＢで示すような平面を選択すれば、Ｙ−Ｔ平面に平行な平面の断面像が得られる。すなわち、図４で説明したような断面画像が得られて観察・診断・記録が可能になる。
【００２７】
一般にユーザは、任意の平面が選択でき、その平面は下記のような一般的な方程式、
Ｔ＝Ｋｘ・Ｘ＋Ｋｙ・Ｙ＋Ｋ１；Ｋｘ，Ｋｙ，Ｋ１は定数 （数式４）
もしくは、同値でありながら、別の表現で表記できる２つの方程式、
Ｘ＝Ｋｙ・Ｙ＋Ｋｔ・Ｔ＋Ｋ２；Ｋｙ，Ｋｔ，Ｋ２は定数 （数式５）
Ｙ＝Ｋｘ・Ｘ＋Ｋｔ・Ｔ＋Ｋ３；Ｋｘ，Ｋｔ，Ｋ３は定数 （数式６）
で表される。
【００２８】
操作者は、３次元画像を観察しながら、たとえばマウス操作により画面に表示された平面（例えば、図６の平面ＡやＢ）を平行、回転移動させることにより、所望の断面を選択できる。
【００２９】
図７は本実施形態の呼吸動態撮影装置における時系列断面画像の生成処理を示すフローチャートである。
【００３０】
まず、ステップＳ１１において、時空間３次元画像作成ユニット８はストレージ装置７に格納された時間的に連続する複数のＸ線画像群を用いて図５に示すような時空間３次元画像を生成する。断面作成指示ＵＩユニット９はこれを不図示のディスプレイに表示する。なお、時空間３次元画像の生成においては、各フレーム画像間に補間フレーム画像を生成して挿入してもよい。
【００３１】
ステップＳ１２において、ユーザはこの３次元表示を参照しながら、当該３次元画像の所望の断面を指定するべく切り出し用平面を設定する。切り出し用平面は、図６に示したＡ及びＢの平面の他に、図８に示すようなＸ、Ｙ、Ｔの各軸に対して傾いた平面を設定することも可能である。切り出し用平面の移動、回転等の操作はマウスにより行なうものとするが、このような３次元画像と平面の表示処理は当業者には明らかであろう。
【００３２】
ステップＳ１２による切り出し用平面の設定により、数式４〜６のいずれかにおける各定数が決定され、処理はステップＳ１３へ進む。ステップＳ１３では、各フレーム画像から、フレーム画像と切り出し用平面との交線を取得し、当該交線に沿った画素列を取得する。この様子を図９に示す。図９では、切り出し用平面９１と各フレーム画像（Ｔ１〜Ｔ４）との交線として、Ｌ１、Ｌ２、Ｌ３、Ｌ４が示されている。なお、これらの交線はステップＳ１２で決定された切り出し用平面の式を用いることで取得できる。
【００３３】
続いてステップＳ１４において、切り出し元のフレーム画像の時系列順に従ってステップＳ１３で取得した画素列を配置して時系列断面画像（図９の９２）を生成する。なお画素列の配置としては、時系列順に下→上、上→下、左→右、右→左等をユーザが設定可能とすればよい。なお、上述したように時系列断面画像の生成においては、取得された画素列間に補間画素列を生成して挿入してもよい。
【００３４】
以上のようにして生成された時系列断面画像９２は断面表示ユニット１１によってディスプレイ上に表示される。
【００３５】
［第２実施形態］
断面の表現方法は、第１実施形態で示した図３や図４の形態に限られるものではない。例えば、図１０に示すような形態を用いることも可能である。図１０では、時系列断面として１０３が指定された場合の第２実施形態による時系列断面画像の表示方法を説明する図である。フレームＴ１の指定された断面より上側の部分画像１０１とフレームＴＮの指定された断面より下側の部分画像１０２を離間させて表示し、部分画像１０１と部分画像１０２をつなぐように断面画像１０３を配置、表示する。
【００３６】
図１１の（ａ）は図３に相当する横断面の画像を図１０に示した方法に従って表現したものである。また、図１１の（ｂ）は図４に相当するような縦断面を図１０に示した方法に従って表現したものである。このような３次元的な表示により、観察者は実際にどの断面の時間的変化を観察しているのかをより明確に把握しながら観察することができ、この画像を記録することにより、より客観的な診断記録の保存が可能になる。
【００３７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００３８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、当該プログラムコード、及び当該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００３９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明の実施態様に含まれることは言うまでもない。
【００４１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明の実施態様に含まれることは言うまでもない。
【００４２】
【発明の効果】
以上説明したように本発明によれば、動態画像に基づいて診断に有効な画像を生成することができる。
【図面の簡単な説明】
【図１】本発明を実施した第１の実施形態のブロック図である。
【図２】胸部動態画像の各フレームを模式的に表した図である。
【図３】特定横ラインの時間変動を画像化した図である。
【図４】特定縦ラインの時間変動を画像化した図である。
【図５】時空間３次元画像の模式図である。
【図６】時空間３次元画像の平面断面を示す図である。
【図７】本実施形態の呼吸動態撮影装置における時系列断面画像の生成処理を示すフローチャートである。
【図８】切り出し用平面による時空間３次元画像の断面の設定を説明する図である。
【図９】各フレームから時系列断面上の画素列を取得し、時系列断面画像を生成する様子を説明する図である。
【図１０】第２実施形態による時系列断面画像の表示形態を説明する図である。
【図１１】第２実施形態による時系列断面画像の表示例を示す図である。

Claims (15)

1. 対象物の動態画像を構成する複数の画像の各々から、設定された直線に沿って並ぶ画素列を取得する取得手段と、
   前記取得手段により前記複数の画像から取得された複数の画素列を、前記動態画像のうち最初に撮像された画像の前記直線で分割された一方の側の部分画像と前記動態画像のうち最後に撮像された画像の前記直線で分割された他方の側の部分画像とをつなぐように配置することにより画像を生成する生成手段とを備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記複数の画素列を、取得元の画像の時系列順に基づいて並べることを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記複数の画像を時間軸に沿って並べた時空間３次元空間に設定された平面と前記複数の画像の各々との交線に沿って並ぶ画素列を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記平面を操作者による入力に基づいて設定する設定手段を備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、前記時空間３次元空間における前記動態画像及び前記平面の２次元的表現を与える表示手段を含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記動態画像は、前記対象物を透過した放射線の強度分布に基づいて生成されたものであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 請求項１乃至６のいずれかに記載の画像処理装置と、対象物の動態を撮影する撮影装置とを備えることを特徴とするシステム。
8. 対象物の動態画像を構成する複数の画像の各々から、設定された直線に沿って並ぶ画素列を取得する取得工程と、
   前記取得工程において前記複数の画像から取得された複数の画素列を、前記動態画像のうち最初に撮像された画像の前記直線で分割された一方の側の部分画像と前記動態画像のうち最後に撮像された画像の前記直線で分割された他方の側の部分画像とをつなぐように配置することにより画像を生成する生成工程とを備えることを特徴とする画像処理方法。
9. 前記生成工程において、前記複数の画素列が、取得元の画像の時系列順に基づいて並べられることを特徴とする請求項８に記載の画像処理方法。
10. 前記取得工程において、前記複数の画像を時間軸に沿って並べた時空間３次元空間に設定された平面と前記複数の画像の各々との交線に沿って並ぶ画素列が取得されることを特徴とする請求項８に記載の画像処理方法。
11. 前記平面を操作者による入力に基づいて設定する設定工程を備えることを特徴とする請求項１０に記載の画像処理方法。
12. 前記設定工程は、前記時空間３次元空間における前記動態画像及び前記平面の２次元的表現を与える表示工程を含むことを特徴とする請求項１１に記載の画像処理方法。
13. 前記動態画像は前記対象物を透過した放射線の強度分布に基づいて生成されたものであることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理方法。
14. 請求項８乃至１３のいずれか１項に記載の方法をコンピュータに実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images