JP3917690B2

JP3917690B2 - 三次元画像構成装置

Info

Publication number: JP3917690B2
Application number: JP25818996A
Authority: JP
Inventors: 尚子中村; 良洋後藤; 朋洋永尾
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1996-09-30
Filing date: 1996-09-30
Publication date: 2007-05-23
Anticipated expiration: 2016-09-30
Also published as: JPH1099322A

Description

【０００１】
【発明の属する技術分野】
本発明は、特に三次元原画像の内視鏡的映像化に好適な三次元画像構成装置に関するものである。
【０００２】
【従来の技術】
医用画像には種々あるが、そのうちＸ線ＣＴ像、ＭＲＩ像（ボリューム画像）あるいは超音波断層像等の断層像（ボリューム画像を含む）からは、疑似三次元画像を得ることが可能である。疑似三次元画像（三次元画像ともいう）は、Ｘ線ＣＴ像ではそれを複数枚積み上げることにより、またＭＲＩ像ではその三次元的な画像データを複数枚の二次元画像として配列処理することにより得られる三次元原画像から、例えば次のように構成される。すなわち、視点と投影面とを与え、それら相互間に置かれた三次元原画像を、あたかも視点から見たように投影面に投影し、必要によりその投影像に陰影付け等を施して構成（再構成ともいう）される。
【０００３】
ここで、投影面への投影方法には、平行投影法と中心投影法が知られているが、投影対象内部を内視鏡で見ているような内視鏡的映像を得るためには、視点を投影対象内部に設定できる中心投影法が好適である。この内視鏡的映像を得るに好適な中心投影法としては、本出願人による特願平６−３４９２号及び特願平６−８９７７０号等の出願に係るものがある。
【０００４】
上記出願に係る中心投影法を適用した三次元画像構成方法によれば、内視鏡的映像を得ることができるが、それは予め設定された範囲の複数の画像（三次元原画像）に対して、予め設定された視点位置や視線方向等のパラメータを用いて得られるものであった。
【０００５】
また視点位置を、例えば管状臓器の内部において奥行方向に順次ずらした位置に設定して各々疑似三次元画像を構成すれば、それにより得られた複数の疑似三次元画像を連続して表示（動画表示）することが可能である。これによれば、内視鏡を管状臓器の内部において奥行方向に移動させながら見ているような動画像が得られるが、上記中心投影法を適用した三次元画像構成装置においては、このような場合に動画表示専用のプログラムを他のプログラム、例えば三次元画像構成プログラム等とは何ら関係なく独立使用するものであった。
【０００６】
【発明が解決しようとする課題】
上記中心投影法を適用した従来の三次元画像構成方法及び装置では、上述したように、内視鏡的映像は予め設定された複数の画像に対して、予め設定されたパラメータで得られるに過ぎず、また、各々そのように得られた複数の疑似三次元画像の表示（動画表示を含む）に当たっても他のプログラムと何ら関係をもたない専用のプログラムを使用するものであった。すなわち、そこに備わる各機能は相互に関連がなく、各々分離独立し、また固定的なものであった。そのため、複数の画像（三次元原画像）の選択から疑似三次元画像（投影処理を含む）の構成・表示に至るまでの処理において、各種機能の中の所望機能の選択操作の統一性、同一機能中における選択，設定の柔軟性等において問題があり、使い勝手のよいものとはいえないという問題点があった。
【０００７】
本発明の目的は、内視鏡的映像等の疑似三次元画像構成を、任意に選択された複数の画像（三次元原画像）に対して、任意のパラメータを設定して行うことができる等、画像選択，パラメータ設定に柔軟性をもち、また複数の画像の選択から疑似三次元画像の構成・表示に至るまでの処理における各種機能の中の所望機能の選択操作に統一性をもつ使い勝手のよい三次元画像構成装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記本発明の目的は、ボリューム画像を含む複数の断層像を用い、これらの断層像に対して任意の位置に視点を設定し、この視点位置から前記断層像を投影面に投影して疑似三次元画像を構成する構成手段と、カーソルを移動させる位置入力装置並びに該カーソルにより指定されるＧＵＩ機能を操作する操作手段と、を備えた三次元画像構成装置であって、
前記三次元構成に必要な視点位置、視線方向、ＣＴ値のしきい値、演算領域を含むパラメータ並びに前記三次元構成に必要な複数の断層像とを入力するための画像選択機能と、前記パラメータを設定するためのパラメータ設定機能と、三次元画像構成機能と、画像表示機能とを選択及び起動するためのＧＵＩ画像を、前記構成手段によって構成された疑似三次元画像と併せて表示する表示手段と、
前記表示手段に表示された画像選択機能ＧＵＩを用いて複数の断層像を任意に選択する画像選択手段と、
前記表示手段によって表示されたパラメータ設定機能ＧＵＩを用いて三次元画像構成演算に必要なパラメータを任意に設定するパラメータ設定手段と、
前記表示手段に表示された三次元画像構成機能ＧＵＩを用いて前記選択された複数の断層像の三次元再構成演算を実行する再構成演算手段とを具備し、
前記操作手段が、前記ＧＵＩ機能を用い前記画像選択手段により複数の断層像を選択し、該選択した複数の断層像のパラメータを前記パラメータ設定手段により設定し、該設定したパラメータを用いて再構成演算手段により前記選択された複数の断層像の三次元再構成演算を指示することを特徴とする。
【０００９】
更に本発明の目的は、同上三次元画像構成装置において、前記表示手段によって表示されるＧＵＩ画像は画像補間処理機能ＧＵＩを含むこと、同上何れかの三次元画像構成装置において、前記パラメータ設定手段が、前記表示手段の画面に各種パラメータ設定用の表又はスケールを表示させる表／スケール表示手段と、前記表示手段の画面上を位置入力装置の操作により任意に移動するカーソルを用いて前記表又はスケールの所望位置を指示することによりその指示位置に応じたパラメータが設定されるパラメータ設定制御手段とを具備すること、同上何れかの三次元画像構成装置において、前記再構成演算後、表示手段の画面に表示された疑似三次元画像を用いて視点位置を再定義し、その再定義された視点位置での疑似三次元画像を得る再構成演算を行わせる視点更新手段を具備することにより達成される。
【００１０】
更に本発明の目的は、同上何れかの三次元画像構成装置において、複数の疑似三次元画像の再構成演算に用いられた各視点位置の座標から、それら座標間を補間処理して得られた座標位置を視点位置とした疑似三次元画像を得る補間処理手段を具備すること、同上何れかの三次元画像構成装置において、複数の疑似三次元画像を表示手段の画面に連続表示させる動画表示手段を具備すること、同上三次元画像構成装置において、前記動画表示手段が、表示手段の画面に連続表示させる複数の疑似三次元画像の範囲の設定及び一方向の繰返し表示又は往復表示の選択と実行とを行うことにより達成される。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態による三次元画像構成装置の動作を示すフローチャートである。
【００１２】
この図１において、
ステップ１は、画像選択機能の実行ステップで、ここでは複数の断層像（ボリューム画像を含む）の中から三次元画像の再構成処理（再構成演算）に用いる断層像（データ）を選択する。以下、上記断層像がＸ線ＣＴ像である場合を例に採って説明する。
【００１３】
ステップ２は、パラメータ設定機能の実行ステップで、ここでは上記三次元画像再構成の演算処理を行うために必要なパラメータを任意に設定する。ここで、パラメータとしては、視点位置、視線方向（角度）、ＣＴ値（輝度ないし画素値）のしきい値（上限及び下限）、演算領域等があるが、ここでは視点位置、画素値のしきい値等が該当する。
【００１４】
ステップ３は、三次元画像再構成演算機能の実行ステップである。ここでの再構成演算には前記特願平６−３４９２号あるいは特願平６−８９７７０号等の出願に係る手法が適用される。
【００１５】
ステップ４は、画像表示機能の実行ステップで、ここではステップ３で再構成された三次元画像の表示を行う。
【００１６】
ステップ５は、視点更新（視点移動）の処理を行う（ＹＥＳ）か否（ＮＯ）かの判定ステップである。視点更新を行うと判定された場合はステップ６へ移り、行わないと判定された場合はステップ７へ移る。
【００１７】
ステップ６は、視点更新機能の実行ステップである。ここでは、後述マウス（その他の位置入力装置あるいはキーボード）の操作で移動するカーソルによる視点位置指定、あるいは数値入力等によって入力された値を用いて視点の位置座標を算出し、それをステップ３に与える。
【００１８】
ステップ７は、ステップ３〜６の繰り返しによって得られた視点位置座標を用いて再構成三次元画像間の補間処理を行うか否かの判定ステップである。補間処理を行うと判定された場合はステップ８へ移り、行わないと判定された場合はステップ９へ移る。
【００１９】
ステップ８は、補間処理機能の実行ステップで、ここではステップ３〜６の繰り返しによって得られた視点位置座標を用いて、その座標間を補間処理し、算出された座標値を用いて再構成演算を行う。これは、より滑らかな視点移動の動画表示を行うために必要になる。ここでの補間方法としてはスプライン補間法あるいは他の補間方法（一般的な線形補間法等）が用いられる。
【００２０】
ステップ９は、再構成した複数枚の疑似三次元画像を動画表示するか否かの判定ステップである。動画表示をすると判定された場合はステップ１０へ進み、しないと判定された場合は処理の終了あるいは処理の一時停止（待機）の状態となる。
【００２１】
ステップ１０は、画像表示（ここでは動画表示）機能の実行ステップで、再構成された複数枚の疑似三次元画像を連続して表示することにより動画表示する。
【００２２】
図２は、本発明による三次元画像構成装置の一実施形態を示すブロック図である。この図２において、２０は磁気ディスク、２１は主メモリ、２２はＣＰＵ（中央処理装置）、２３は表示メモリ、２４はＣＲＴモニタ、２５はキーボード、２６はマウス、２７はマウスコントローラ、２８は共通バスである。
【００２３】
この場合、磁気ディスク２０は、再構成対象である複数の断層像（ボリューム画像を含む）、図１に示す各機能の実行プログラム、後述ＧＵＩ（グラフィカルユーザインタフェース）機能の実行プログラム及びオペレーションプログラム等を格納するものである。ここで、図１に示す各機能の実行プログラムとは、上記画像選択機能（ステップ１参照）、パラメータ設定機能（ステップ２参照）、三次元画像再構成機能（ステップ３参照）、画像表示（動画表示を含む）機能（ステップ４，１０参照）、視点更新機能（ステップ６参照）及び補間処理機能（ステップ８参照）の各実行プログラムを指す。またこの磁気ディスク２０は、各種プログラムの実行により得られる各種データ、例えば再構成三次元画像（疑似三次元画像）等も格納する。主メモリ２１はプログラム実行時に種々のプログラム、データを一時的に格納するものである。ＣＰＵ２２はプログラム実行時に必要な演算，処理及び装置各部の制御を行うものである。
【００２４】
表示メモリ２３は断層像や再構成三次元画像のデータ、ＧＵＩの利用に必要な文字，数字，アイコン，グラフィックあるいはマウスカーソルの表示用データ等を格納する。ＣＲＴモニタ２４は表示メモリ２３に格納されたデータを画像として表示するものである。すなわちＣＲＴモニタ２４には、各種プログラムの実行に伴って、断層像や再構成三次元画像、ＧＵＩの利用に必要な文字，アイコンあるいはマウスカーソル等が表示される。
【００２５】
キーボード２５は各種の操作指令を入力するものである。マウス２６は例えば視点等の位置入力、メニュー（機能）選択等を行うもので、マウスコントローラ２７はそのマウス２６を制御するものである。共通バス２８は以上の装置各部を接続するものである。
【００２６】
以上の構成において、ＣＰＵ２２はキーボード２５やマウス２６、主としてマウス２６の操作により図１に示す処理フローを演算，実行し、三次元画像の再構成，表示（動画表示を含む）を行う。なお、ＧＵＩ機能の実行プログラム、ＣＲＴモニタ２４及びマウス２６は、ＧＵＩが適用された操作手段の主構成をなす。
【００２７】
図３は、図１中のステップ１（画像選択機能の実行ステップ）での処理内容の具体例を示すフローチャート、図４はそのステップ（機能）起動の際の操作画面（画像選択操作画面）の一例を示す図である。図４において、２６はマウス、ＭはＣＲＴモニタ２４の画面、Ｌはモニタ画面Ｍに表示された画像ファイルリスト（一覧表）、ＭＣは同じくマウスカーソルである。
【００２８】
図３，図４において、
ステップ１０１では、断層像（データ）のリスト（画像ファイルリスト）Ｌをモニタ画面Ｍに表示する。
ステップ１０２では、操作者のマウス２６，マウスカーソルＭＣを用いた指示により再構成処理を行う断層像が選択される。
ステップ１０３では、選択された断層像が処理可能か否か判断し、可能であればステップ１０５へ移り、不可能であればステップ１０４でその旨のメッセージをモニタ画面Ｍに出力し、ステップ１０２に戻って操作者の次の選択操作を待つ。
ステップ１０５では、選択された断層像（データ）を再構成処理に用いる画像（処理画像）としてＣＰＵ２２が認識する。
【００２９】
上記ステップ１０２〜１０５は複数の断層像の中から所望枚数選択されるまで繰り返される。複数の断層像の中のどの断層像からどの断層像までというような範囲を指定するようにしてもよい。ＭＲＩ像（ボリューム画像）の場合には、１つの画像ファイル中に複数の断層像が含まれているとみなせるので、ファイル選択操作は１回ですむ。
【００３０】
図５は、図１中のステップ２（パラメータ設定機能の実行ステップ）での処理内容の具体例を示すフローチャート、図６はそのステップ（機能）起動の際の操作画面（パラメータ設定操作画面）の一例を示す図である。図６において、Ｄはモニタ画面Ｍに表示された断層像、Ｓ1は同じくしきい値スケール、Ｓ2は同じくスライス枚数スケール、Ｉは同じくモード入力表である。その他は図４と同様である。
【００３１】
図５，図６において、
ステップ２０１では、図３中のステップ１０５で認識した画像（データ）をＣＰＵ２２が読み込み、モニタ画面Ｍに表示する。この時、図６のスライス枚数スケールＳ2を用いて任意の断層像が表示できる。
ステップ２０２では、モニタ画面Ｍに表示された断層像Ｄ上のどこに視点を置くかがマウス２６で指定される。
ステップ２０３では、しきい値スケールＳ1を用いて表示画像の中心レベル（ウィンドウの中心ＣＴ値）とウィンドウ幅（中心ＣＴ値からのＣＴ値範囲）がマウス２６で変化され、再構成演算のためのしきい値が設定される。
ステップ２０４では、陰影の付け方や拡大，縮小等のモードを設定する。陰影の付け方には、デプス法等、陰影付け方法の種別の他、同種の陰影付け方法におけるパラメータの相違も含む。ここでは、陰影付け方法としてデプス法を用いており、その際の、距離：輝度における重み付けが変えられるようになされている。拡大，縮小とは、ここでは視点の、各断層像（三次元原画像）あるいは投影面に対する距離の違いによる拡大，縮小を指すが、再構成された三次元画像（疑似三次元画像）に対しての拡大，縮小であってもよい。
【００３２】
図７（ａ），（ｂ）は、図１中のステップ６（視点更新機能の実行ステップ）起動の際の操作画面（視点更新操作画面）の一例を示す図である。図７（ａ），（ｂ）において、Ｒはモニタ画面Ｍに表示された再構成三次元画像（再構成画像ともいう）、Ｔは移動距離表である。その他は図４と同様である。
【００３３】
図７（ａ）は、奥行方向に視点移動せず、同一平面上で視点を平行移動させる場合の視点更新操作画面の例で、この場合は、モニタ画面Ｍに表示された再構成画像Ｒに対し、マウスカーソルＭＣの移動及びその後のマウス２６のボタン操作で位置（次の再構成画像Ｒの中央にもってくる現表示再構成画像の位置）が指定される。図７（ｂ）は、奥行方向に視点を進める場合の視点更新操作画面の例で、この場合は、マウス２６のボタン操作で移動距離を選択する移動距離表Ｔが表示され、マウスカーソルＭＣの移動及びその後のマウス２６のボタン操作でその中の所望の数値が選択される。数値はマウス２６の１回のクリック操作で進む距離を示している。視点の位置座標の算出方法としては、例えば特願平８−９９６７４号に記載の手法が適用される。
ここでは、いずれの場合にあっても、再構成画像Ｒがモニタ画面Ｍに表示されている状態での最初のマウスボタン操作でＣＰＵ２２へ視点更新処理を行う旨が指示される（ステップ５におけるＹＥＳ判定がなされる）。
【００３４】
図８は、図１中のステップ８（補間処理機能の実行ステップ）での処理内容の具体例を示すフローチャートである。
図８において、
ステップ３０１では、上述視点更新（図１中のステップ６）で得られた視点位置座標（データ）をＣＰＵ２２が読み込む。
ステップ３０２では、ステップ３０１で読み込んだ視点位置座標を用い、それら座標相互間を補間処理する。補間方法としては、スプライン補間法が好適であるが、それ以外の補間方法を用いてもよい。
ステップ３０３では、ステップ３０２での補間処理によって得られた座標位置を視点位置とした三次元画像の再構成演算を行う。
図９は、図１中のステップ１０（動画表示機能の実行ステップ）での処理内容の具体例を示すフローチャート、図１０はそのステップ（機能）起動の際の操作画面（動画表示操作画面）の一例を示す図である。図１０において、Ｒはモニタ画面Ｍに表示された再構成画像（疑似三次元画像）、Ｃは同じく動画コントロール表である。その他は図４と同様である。
【００３５】
図９，図１０において、
ステップ４０１では、表示する再構成画像の範囲（複数の再構成画像の中のどの再構成画像からどの再構成画像までというような範囲）が設定される。
ステップ４０２では、動画コントロール表Ｃを用いて、動画表示モードが設定される。ここでは、一方向の繰返し表示又は往復表示の選択設定が可能である。
ステップ４０３では、動画コントロール表Ｃを用いて、表示スピードが設定される。
ステップ４０４では、上記設定に従って動画表示を行う。
【００３６】
図１１は上記画像選択機能、パラメータ設定機能、三次元画像再構成機能、画像表示（動画表示を含む）機能及び補間処理機能の各機能の選択，起動操作を行う画面（機能選択，起動操作画面）の一例を示す図である。
【００３７】
この図１１から分かるように、上述装置においては、上記各機能はモニタ画面Ｍの上部に表示されたメニューバーＭＢ上の該当する機能表示領域へマウスカーソルＭＣを移動した後、マウス２６のボタンを操作することで選択，起動できるようになっている。すなわち、上記各機能の選択，起動はＧＵＩが適用されたメニューバーＭＢ及びマウス２６等の位置入力装置の操作により可能である。
【００３８】
【発明の効果】
以上述べた如く本発明によれば、内視鏡的映像等の疑似三次元画像構成を、任意に選択された複数の画像（三次元原画像）に対して、任意のパラメータを設定して行うことができる等、画像選択，パラメータ設定に柔軟性をもち、また複数の画像の選択から疑似三次元画像の構成・表示に至るまでの処理における各種機能の中の所望機能の選択操作に統一性をもつ使い勝手のよい三次元画像構成装置を提供することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態による三次元画像構成装置の動作を示すフローチャートである。
【図２】本発明の一実施形態による三次元画像構成装置の構成を示すブロック図である。
【図３】図１中の画像選択機能の実行ステップでの処理内容の具体例を示すフローチャートである。
【図４】画像選択操作画面の一例を示す図である。
【図５】図１中のパラメータ設定機能の実行ステップでの処理内容の具体例を示すフローチャートである。
【図６】パラメータ設定操作画面の一例を示す図である。
【図７】視点更新操作画面の一例を示す図である。
【図８】図１中の補間処理ステップでの処理内容の具体例を示すフローチャートである。
【図９】図１中の動画表示機能の実行ステップでの処理内容の具体例を示すフローチャートである。
【図１０】動画表示操作画面の一例を示す図である。
【図１１】機能選択，起動操作画面の一例を示す図である。

Claims

ボリューム画像を含む複数の断層像を用い、これらの断層像に対して任意の位置に視点を設定し、この視点位置から前記断層像を投影面に投影して疑似三次元画像を構成する構成手段と、カーソルを移動させる位置入力装置並びに該カーソルにより指定されるＧＵＩ機能を操作する操作手段と、を備えた三次元画像構成装置であって、
前記三次元構成に必要な視点位置、視線方向、ＣＴ値のしきい値、演算領域を含むパラメータ並びに前記三次元構成に必要な複数の断層像とを入力するための画像選択機能と、前記パラメータを設定するためのパラメータ設定機能と、三次元画像構成機能と、画像表示機能とを選択及び起動するためのＧＵＩ画像を、前記構成手段によって構成された疑似三次元画像と併せて表示する表示手段と、
前記表示手段に表示された画像選択機能ＧＵＩを用いて複数の断層像を任意に選択する画像選択手段と、
前記表示手段によって表示されたパラメータ設定機能ＧＵＩを用いて三次元画像構成演算に必要なパラメータを任意に設定するパラメータ設定手段と、
前記表示手段に表示された三次元画像構成機能ＧＵＩを用いて前記選択された複数の断層像の三次元再構成演算を実行する再構成演算手段とを具備し、
前記操作手段が、前記ＧＵＩ機能を用い、前記画像選択手段により複数の断層像を選択し、該選択した複数の断層像のパラメータを前記パラメータ設定手段により設定し、該設定したパラメータを用いて再構成演算手段により前記選択された複数の断層像の三次元再構成演算を指示することを特徴とする三次元画像構成装置。
前記表示手段によって表示されるＧＵＩ画像は画像補間処理機能ＧＵＩを含むことを特徴とする請求項１に記載の三次元画像構成装置。
前記パラメータ設定手段は、前記表示手段の画面に各種パラメータ設定用の表又はスケールを表示させる表／スケール表示手段と、前記表示手段の画面上を位置入力装置の操作により任意に移動するカーソルを用いて前記表又はスケールの所望位置を指示することによりその指示位置に応じたパラメータが設定されるパラメータ設定制御手段とを具備することを特徴とする請求項１又は２に記載の三次元画像構成装置。
前記再構成演算後、表示手段の画面に表示された疑似三次元画像を用いて視点位置を再定義し、その再定義された視点位置での疑似三次元画像を得る再構成演算を行わせる視点更新手段を具備することを特徴とする請求項１又は２又は３に記載の三次元画像構成装置。
複数の疑似三次元画像の再構成演算に用いられた各視点位置の座標から、それら座標間を補間処理して得られた座標位置を視点位置とした疑似三次元画像を得る補間処理手段を具備することを特徴とする請求項１乃至４何れかに記載の三次元画像構成装置。
複数の疑似三次元画像を表示手段の画面に連続表示させる動画表示手段を具備することを特徴とする請求項１乃至５何れかに記載の三次元画像構成装置。
前記動画表示手段が、表示手段の画面に連続表示させる複数の疑似三次元画像の範囲の設定及び一方向の繰返し表示又は往復表示の選択と実行とを行うことを特徴とする請求項６に記載の三次元画像構成装置。