{第1実施形態}
以下、第1実施形態に係るX線画像表示装置について説明する。ここでは、X線画像表示装置がX線撮影装置の表示装置として一体的に組合わされた例を説明する。
<全体構成について>
図1はX線撮影装置10の全体構成を示す概略図である。X線撮影装置10は、撮影本体部20と、X線画像処理装置40と、タブレット端末装置60とを備える。X線撮影装置10はX線照射指令操作部20Aも備える。撮影本体部20は、X線撮影(ここでは、X線CT撮影)を実行して、投影データを収集する装置である。X線画像処理装置40は、撮影本体部20において収集した投影データを処理して、各種画像を生成する装置である。X線画像処理装置40は表示部41を備えていてもよく、表示部41には投影データに基づいて生成された画像など、各種画像を表示してもよいので、X線画像処理装置40はX線画像表示装置としての機能も備える。タブレット端末装置60は、投影データに基づき生成された各種画像を表示する装置である。本実施形態は、X線画像処理装置40とタブレット端末装置60とがX線画像表示装置12を構成する例である。なお、X線撮影装置10は、X線CT撮影(Computed Tomography)だけではなく、単純透過X線撮像、X線トモシンセシス撮像も実行可能に構成されている。
撮影本体部20中にX線画像処理装置40の構成要素の全部または一部が内蔵されていてもよい。販売形態として考えると、X線撮影装置10は必ずしもX線画像処理装置40を伴わずとも、撮影本体部20だけが独立したX線撮影装置として販売されることもある。
より具体的には、撮影本体部20は、X線発生部22と、X線検出部23と、旋回アーム24と、昇降部26と、支柱28と、本体制御部30とを備えている。
X線発生部22は、被写体M1に向けてX線の束で構成されるX線ビームを出射可能に構成されている。X線発生部22内部には、X線管XTを有するX線発生器22Aと、X線発生器22AのX線検出部23に対向する側の近傍にあってX線発生器22Aから発生したX線の一部の通過を許容しその通過範囲の外を遮蔽してX線検出部23に進むX線ビームを形成する図示しないX線規制部が備えられる。X線検出部23は、X線検出器23Aを備え、X線発生部22から照射され、被写体M1を通過したX線(X線ビーム)を検出可能に構成されている。X線検出器23Aは、X線撮影による投影データを得る。
旋回アーム24は、下向きに開口するU字状に形成された部材であり、両端部のそれぞれに、X線発生部22及びX線検出部23が対向状態で支持されている。支柱28は、重力方向(鉛直方向)に沿って延びるように立設されており、この支柱28に昇降部26が昇降駆動可能に支持されている。図1に図示の状態では、昇降部26は支柱28の概ね上半分側に位置している。昇降部26は、支柱28に対して一方側に突出している。旋回アーム24は、昇降部26に対して吊下げ状態で、重力方向に沿って延びる旋回軸周りに回転可能に支持されている。そして、昇降部26の昇降移動によって、旋回アーム24が昇降移動する。また、昇降部26には、旋回アーム24を回転駆動するモータ等からなる回転駆動部が組込まれており、その回転駆動部の回転駆動によって旋回アーム24が回転する。旋回アーム24はシャフトRSを介して昇降部26に支持されている。旋回アーム24はシャフトRSの軸心AC(前記旋回軸)を回転中心として回転するよう構成される。シャフトRSは、昇降部26内にある周知の2次元移動機構2DDにより、旋回中心RCの軸方向と直交する2次元の方向に移動可能となっている。
例えば、2次元移動機構2DDによってシャフトRSを所望の位置に移動させて固定し、軸心ACを旋回アーム24の旋回中心RCと定め、旋回アーム24を軸心ACの周りに回転させてX線CT撮影またはX線トモシンセシス撮影を行うこと、2次元移動機構2DDによるシャフトRSの移動と旋回アーム24の軸心AC周りの回転の合成運動によってシャフトRSと別の箇所に旋回アーム24の旋回中心RCを生じさせてX線CT撮影またはX線トモシンセシス撮影を行うこと、2次元移動機構2DDによるシャフトRSの移動と旋回アーム24の軸心AC周りの回転の合成運動によってパノラマ撮影を行うことなどが可能である。
そして、旋回アーム24の両端部の間に被写体M1、厳密には被写体M1の撮影対象領域を位置させた状態で、旋回アーム24を回転させることでX線発生部22及びX線検出部23を被写体M1周りに回転させることによって、X線CT撮影を行い、X線CT撮影データを得ることができる。例えば、このX線CT撮影データは、前述の投影データの1つであり、旋回アーム24が移動しつつ、その微小な各移動タイミングで得たフレームデータが集合したフレームデータ群で構成される。この微小な移動ごとの投影データには、微小旋回角度ごとの投影データも含まれる。また、旋回アーム24の回転を停止させた状態で、単純透過X線撮影を行い、これを被写体M1周りの複数位置で行うことで、被写体M1を複数方向から撮影した複数の単純透過X線画像データを得ることができる。この単純透過X線画像データは、旋回アーム24がある角度にあるときと別の角度にあるとき(例えば基準角度から0°のときと90°のとき)の間の各タイミングで得る2以上の単純透過X線画像データが組となったフレームデータであり、これも投影データの1つである。さらに、X線CT撮影を行う場合よりも小さい旋回アーム24の回転範囲内でX線トモシンセシス撮影を行うことで、X線トモシンセシス撮影データを得ることもできる。X線トモシンセシス撮影については後述する。
本体制御部30は、撮影本体部20の各動作を制御可能に構成され、例えば、旋回アーム24内に組込まれている。
撮影本体部20の上記各部は、防X線室29内に収容されている。この防X線室29の壁の外側には、X線の照射指令操作を受け付けるX線照射指令操作部20Aが固定されており、X線照射指令操作部20Aには各種情報を表示する液晶モニタ等で構成された表示部38と、本体制御部30に対して各種の指令入力を実現するためのボタン等で構成された操作パネル39とが取り付けられている。操作パネル39は、生体器官等の撮影領域の位置等を指定すること等にも用いられる。また、X線撮影には各種のモード(CT撮影、単純透過X線撮影等)があるが、操作パネル39の操作によって、モードの選択を可能にしてよい。
なお、本実施形態では、X線発生部22及びX線検出部23は、U字状の旋回アーム24の両端部を構成しているが、X線発生部及びX線検出部は、環状部材によって対向状態に支持されていてもよい。また、本実施形態では、X線発生部22及びX線検出部23は、鉛直軸周りに回転可能に支持されているが、鉛直方向に対して直交する水平方向に沿った軸、又は、鉛直方向及び水平方向のいずれに対しても交差する傾斜方向に沿った軸の周りに回転可能に支持されていてもよい。
X線画像処理装置40は、図2に示すように、例えばコンピュータやワークステーション等で構成された情報処理本体部50を備えており、通信ケーブルによって撮影本体部20との間で各種データを送受信することができる。ただし、撮影本体部20とX線画像処理装置40との間で、無線通信でデータの送受が行われてもよい。
X線画像処理装置40には、例えば液晶モニタ等のディスプレイ装置で構成される表示部41、および、キーボードやマウス等で構成される操作部42が接続されている。オペレータは、表示部41に表示された文字や画像の上で、マウス等を介したポインタ操作等によって、情報処理本体部50に対して各種指令を与えることができる。なお、表示部は、タッチパネルで構成することも可能であり、この場合は、表示部が操作部の機能の一部または全部を備えることとなる。
タブレット端末装置60は、携帯可能なコンピュータであり、液晶表示部等の画像表示部61を備えており、上記X線画像処理装置40と、無線通信等によって通信可能に接続されている。タブレット端末装置60とX線画像処理装置40とがケーブル等によって有線接続されていてもよい。X線画像処理装置40が、投影データに基づき生成した各種画像が本画像表示部61に表示される。ここでは、タブレット端末装置60は、カメラ等の撮像部62を備えており、本撮像部62によってタブレット端末装置60の利用者を撮像可能に構成されている。撮像部62は、赤外線カメラ等であってもよい。
<各部のハードウェア構成及び機能的構成について>
図2はX線撮影装置10の電気的構成を示すブロック図であり、図3はX線撮影装置10の機能ブロック図である。
撮影本体部20の本体制御部30は、撮影本体部20のX線撮影動作を制御するものであり、CPU(Central Processing Unit)31、RAM(Random Access Memory)32、記憶部33、入出力部34a、34b、操作入力部35及び画像出力部36等が、バスライン37を介して相互接続された一般的な装置制御用コンピュータによって構成されている。記憶部33は、フラッシュメモリ、あるいは、ハードディスク装置等の不揮発性の記憶装置によって構成されており、撮影本体部20がX線撮影を行う際の撮影プログラム33a等を格納している。RAM32は、CPU31が所定の処理を行う際の作業領域として供される。入出力部34aは、本撮影本体部20の旋回アーム24を旋回、移動等させるモータ等(図2では駆動部27として記載)、X線発生部22(具体的にはX線発生器22A)及びX線検出部23(具体的にはX線検出器23A)に接続されており、入出力部34bは、X線画像処理装置40と接続されている。また、操作入力部35は操作パネル39に接続されており、画像出力部36は表示部38に接続されている。
この本体制御部30では、撮影プログラム33aに記述された手順及び操作入力部35を通じて入力された指示に従って、CPU31が演算処理を行うことにより、駆動部27及びX線発生部22、X線検出部23を駆動制御し、被写体M1を照射したX線ビームをX線検出部23で検出した検出結果を得ることができる。例えば、X線発生部22及びX線検出部23を被写体周りに回転させつつX線発生部22からのX線の照射及びX線検出部23でのX線の検出を行ってX線CT撮影を行うことにより、X線CT撮影データを生成するのに適した検出結果を得ることができる。このように、撮影本体部20は、被写体M1をX線撮影して、タブレット端末装置60の画像表示部61に表示するための元となる撮影データを生成する。なお、別途GPU(Graphics Processing Unit)が設けられ、画像処理の一部又は全部が当該GPUにおいて処理されてもよい。
X線画像処理装置40は、撮影本体部20からの撮影データに基づいて表示方向設定用画像データ53dを生成すると共に、当該表示方向設定用画像データ53dに基づいてタブレット端末装置60の画像表示部61に表示するためX線画像を生成するものであり、情報処理本体部50は、CPU51、RAM52、記憶部53、入出力部54、操作入力部55及び画像出力部56、無線通信部57等が、バスライン58を介して相互接続された一般的なコンピュータによって構成されている。
記憶部53は、フラッシュメモリ、あるいは、ハードディスク装置等の不揮発性の記憶装置によって構成されており、記憶用画像処理プログラム53a、表示用画像処理プログラム53b及びX線画像データ53c、表示方向設定用画像データ53d等を格納している。
記憶用画像処理プログラム53aは、撮影本体部20からの撮影データに基づいて表示方向設定用画像データ53dを生成するためのものであり、表示用画像処理プログラム53bは、タブレット端末装置60の画像表示部61に表示するためのX線画像(端末表示X線画像61i)を表示方向設定用画像データ53dに基づいて生成するものである。記憶用画像処理プログラム53aと表示用画像処理プログラム53bとが画像処理プログラム53iを構成する。
記憶部53には、表示方向設定用画像データ53dと被写体M1の特定情報等を対応付けた管理データが格納されていてもよい。RAM52は、CPU51が所定の処理を行う際の作業領域として供される。入出力部54は、撮影本体部20と接続されており、当該入出力部54を介して撮影本体部20で得られたX線撮影データが入力される。入出力部54は、図示のように、入出力部34bと接続されていてよい。また、操作入力部55は操作部42に接続されており、画像出力部56は表示部41に接続されている。無線通信部57は、タブレット端末装置60との間で無線通信を行う無線通信インターフェースである。
画像処理は、記憶用の画像処理と表示用の画像処理を含む。そのため、画像処理プログラム53Iには前述の記憶用画像処理プログラム53aと表示用画像処理プログラム53bが含まれ、画像処理部40Iには記憶用画像処理部43と表示用画像処理部45が含まれる。例えば、CPU51は画像処理部40Iとして機能する回路を備える。記憶用画像処理プログラム53aおよびCPU51中の記憶用画像処理を実行する回路が記憶用画像処理部43であり、表示用画像処理プログラム53bおよびCPU51中の表示用画像処理を実行する回路が表示用画像処理部45である。X線CT撮影を例に取り、情報処理本体部50では、記憶用画像処理プログラム53aに従って、CPU51が、演算処理を行うことにより、撮影本体部20で得られたX線撮影データ、具体的には投影データ(複数方向から取得したX線画像データ)を、必要な場合は記憶用に加工したり、投影データに基づいてX線吸収度合(係数)の3次元分布を示すX線CT画像データ(局所CT撮影の場合には、局所X線CT画像データ)を生成する記憶用画像処理部43としての処理を実行する。X線CT画像データは画像データの一例である表示方向設定用画像データ53dとして生成される。画像データは、表示用のX線画像を生成するためのデータである。画像データは、複数方向から取得した複数のX線画像データを含むものである場合、具体的には、複数の単純透過X線画像データのそれぞれに撮影角度(視野方向)を対応付けたデータである場合もある。表示用画像処理プログラム53bがX線CT画像データの生成の一部または全部を受け持つようにしてもよい。
ここでは、記憶部53は、X線CT撮影データに基づくX線画像データ53c(後述する)を記憶し、X線CT画像データを画像データの一例である表示方向設定用画像データ53dとして記憶する。なお、記憶部53は、表示方向設定用画像データ53dを記憶した後は、必ずしもX線画像データ53cを記憶する必要は無い。
また、情報処理本体部50では、表示用画像処理プログラム53bに従って、CPU51が、演算処理を行うことにより、撮像部62の撮像画像に基づいて画像表示部61に対する画像表示部61の観察者の相対的位置を判断して、その観察者の視線方向を決定する視線方向決定部44としての機能と、当該観察者の視線方向に応じて、表示方向設定用画像データ53dに基づいてX線画像(端末表示X線画像61i)を生成し、このX線画像を画像表示部61に表示させる表示用画像処理部45としての機能とを実行する。
なお、X線画像データ53c、表示方向設定用画像データ53dは、X線画像処理装置40側の記憶部53のほか、撮影本体部20側の記憶部33にも記憶されるように構成されてもよい。そのように構成しておくことにより、仮にX線画像処理装置側に何らかの支障が生じても、支障が解消した後に記憶部33から保存していたデータを送出すればよく、再度のX線撮影が不要となる。
タブレット端末装置60は、画像表示部61の観察者を撮像すると共に、表示用画像処理部45で生成されたX線画像を画像表示部61に表示するものであり、CPU71、RAM72、記憶部73、画像表示部61、タッチパネル入力部75、撮像部62及び無線通信部77がバスライン78を介して相互接続された一般的な携帯型コンピュータによって構成されている。タブレット端末装置60は、スマートフォンのように、より小型な携帯型コンピュータであってもよい。記憶部73は、フラッシュメモリ等の不揮発性の記憶装置によって構成されており、タブレット端末装置60がX線画像を画像表示部61に表示する際の処理を記述した表示用プログラム73a等を格納している。
表示用プログラム73aは、例えば、画像表示部61に表示するX線画像のサイズ、輝度、レイアウトの制御などを行うように構成できる。
上記表示用画像処理プログラム53b及び表示用プログラム73aが、X線画像表示装置12における表示を制御するX線画像表示制御プログラムIPを構成する。
RAM72は、CPU71が所定の処理を行う際の作業領域として供される。画像表示部61は、X線画像等を表示するものであり、タブレット端末装置60の一方主面に設けられている。タッチパネル入力部75は、画像表示部61に表示された操作画面と相俟って諸指示の入力を受付ける。
画像表示部61は、X線画像等を表示するときと、ボタンやアイコンの操作要素を表示するときとがある。操作要素を表示するときは、タッチパネル入力部75の入力要素としても機能する。1画面を分割して、画像表示部61としてのスペースとタッチパネル入力部75としてのスペースの双方を持たせるようにしてもよい。
撮像部62は、CCD(Charge-Coupled Device)センサ等の固体撮像素子等によって構成されており、画像表示部61の観察者を撮像可能に構成されている。ここでは、撮像部62は、タブレット端末装置60の一方主面に設けられている。より具体的には、撮像部62は、タブレット端末装置60の一方主面であって、画像表示部61の周辺部(例えば、上側の幅方向中央部)に、タブレット端末装置60の正面側を向くように取付けられている。このため、撮像部62で撮像された画像において、観察者の位置を認識することによって、タブレット端末装置60の撮像者の相対的な位置を決定することができる。無線通信部77は、X線画像処理装置40との間で無線通信を行う無線通信インターフェースである。
本X線撮影装置10を機能的に説明すると、図3に示すように、撮影本体部20で得られた撮影データが必要に応じて記憶用に加工されてX線画像データ53cとして記憶部53に記憶され、X線画像処理装置40の記憶用画像処理部43で画像処理されて、X線CT画像データ(表示方向設定用画像データ53d)が生成され、この表示方向設定用画像データ53dがX線画像を生成するための画像データとして記憶部53に記憶される。X線画像データ53cは例えばフレーム画像データであり、X線投影画像データ53cと言い換えてもよい。
また、タブレット端末装置60のタッチパネル入力部75を通じてX線画像の表示指令が与えられると、撮像部62に撮像指令が与えられ、撮像部62が画像表示部61の前方画像を撮像し、その撮像画像を視線方向決定部44に与える。視線方向決定部44は、当該撮像画像に基づいて観察者の視線方向を決定し、視線方向を表示用画像処理部45に与える。本実施形態においては、撮像部62及び視線方向決定部44が、画像表示部61を観察する観察者が、観察者の視線方向を取得する視線方向取得部である。画像表示部を観察する観察者が視線方向を変更しようとする動作としては、観察者が自己の顔を画像表示部61に対して横に姿勢変更又は移動させる第1の動作、縦に姿勢変更又は移動させる第2の動作が想定される。
もう少し具体的に述べる。
タブレット端末装置60に上下左右の方向が定まるとする。すなわち、タブレット端末装置60の画像表示部61を正面視した状態で、タブレット端末装置60の右側に見える方をタブレット端末装置60の左側であるとし、タブレット端末装置60の左側に見える方をタブレット端末装置60の右側であるとする。タブレット端末装置60の下側に見える方はタブレット端末装置60の下側であり、タブレット端末装置60の上側に見える方はタブレット端末装置60の上側である。
したがって、タブレット端末装置60の画像表示部61を正面視した状態で、視線の右側に画像表示部61の画面の左端があり、視線の左側に画像表示部61の画面の右端があり、視線の上側に画像表示部61の画面の上端があり、視線の下側に画像表示部61の画面の下端があることになる。
前述の第1の動作は、観察者があるタイミングの観察状態の視点の位置を画像表示部61に対して右か左に移動させる動作であり、第2の動作は、観察者があるタイミングの観察状態の視点位置を画像表示部61に対して上か下に移動させる動作である。
本実施形態は、第1の動作を想定したものである。第2の動作を想定した実施形態については、第3実施形態で説明する。なお、第2の実施形態では、画像表示部61の姿勢変更に応じてX線画像を生成する付加的な構成を説明する。
表示用画像処理部45は、記憶部53に記憶された表示方向設定用画像データ53dに基づいて、その視線方向に応じたX線画像(端末表示X線画像61i)を生成し、そのX線画像をタブレット端末装置60に与える。これにより、タブレット端末装置60の画像表示部61には、表示方向設定用画像データ53dを処理した視線方向に応じたX線画像が表示される。
なお、上記各プログラムは、通常、予め記憶部33、53、73に格納されているものであるが、CD−ROMあるいはDVD−ROM、外部のフラッシュメモリ等の記録媒体に記録された形態で提供され、あるいは、ネットワークを介した外部サーバからのダウンロードなどにより提供されることもあり得る。もっとも、上記各部において実現される一部あるいは全部の機能は、専用の論理回路等でハードウェア的に実現されてもよい。
<各部の処理について>
X線画像処理装置40及びタブレット端末装置60における処理について説明する。なお、以下では、X線撮影装置10において、事前にX線CT撮影が行われ、記憶部53には、X線CT撮影データを処理したX線CT画像データが、表示方向設定用画像データ53dとして記憶されているとして説明する。
図4は、X線画像処理装置40及びタブレット端末装置60における各処理を示すフローチャートである。以下では、図4のフローチャートを基本として、各説明用の図面を参照しつつX線画像処理装置40及びタブレット端末装置60における各処理を説明する。
初期状態において、タブレット端末装置60では表示用プログラム73aが実行され、X線画像処理装置40では表示用画像処理プログラム53bが実行されているとする。
この状態で、図5に示すように、観察者Pがタブレット端末装置60を持つ。通常、観察者Pは、目の前にタブレット端末装置60の画像表示部61が配置され、かつ、その持った姿勢における画像表示部61の中央が2つの目の中央に位置するように当該タブレット端末装置60を持つ。
タブレット端末装置60側の処理について説明すると、ステップS1において、タブレット端末装置60において、X線画像表示の操作の有無が判定される。この際のX線画像表示の操作は、例えば、図6に示すように、タブレット端末装置60の画像表示部61に「表示開始」ボタンが表示され、観察者Pが当該「表示開始」ボタンをタッチすることで受付けられる。ステップS1において、X線画像表示の操作無しと判定されると、ステップS1の処理を繰返し、操作有りと判定されると、ステップS2に進む。
ステップS2では、タブレット端末装置60は、X線画像処理装置40に対して表示指令を送信する。これにより、X線画像処理装置40において、デフォルトX線画像が生成される。
次ステップS3では、タブレット端末装置60は、X線画像処理装置40からデフォルトX線画像を受信したか否かを判定する。デフォルトX線画像を受信するまでステップS3を繰返し、デフォルトX線画像を受信すると、ステップS4に進む。
ステップS4では、図7に示すように、タブレット端末装置60は、画像表示部61にデフォルトX線画像を表示する。デフォルトX線画像は、被写体の撮像部分を予め設定された所定方向から撮像したX線画像を含むデータである。デフォルトX線画像の例については後で説明する。
次ステップS5では、タブレット端末装置60は、動き追従モードの操作の有無を判定する。この際の動き追従モードの操作は、例えば、図7に示すように、タブレット端末装置60の画像表示部61に「動き追従」ボタンが表示され、観察者Pが当該「動き追従」ボタンをタッチすることで受付けられる。ステップS5において、動き追従モードの操作無しと判定されると、同判定ステップを繰返し(従って、デフォルトX線画像が表示されたままとなる)、動き追従モードの操作有りと判定されると、ステップS6に進む。
ステップS6では、タブレット端末装置60は、X線画像処理装置40に対して動き追従モード指令を送信する。これにより、X線画像処理装置40において、動き追従モードを実行するための処理が開始される。
次ステップS7では、タブレット端末装置60は、撮像部62に撮像指示を与える。これにより、撮像部62は、タブレット端末装置60の前方、すなわち、観察者Pを含む画像を撮像する。
次ステップS8では、タブレット端末装置60は、撮像部62で撮像された撮像データを、X線画像処理装置40に送信する。これにより、X線画像処理装置40において、観察者Pの視線方向が決定されると共に、記憶部53に記憶された表示方向設定用画像データ53dに基づいて、その視線方向に応じたX線画像が生成される。
次ステップS9では、タブレット端末装置60は、X線画像処理装置40からX線画像を受信したか否かを判定する。X線画像を受信したと判定されるまでステップS9が繰返され、X線画像を受信したと判定されると、ステップS10に進む。
ステップS10では、図8に示すように、タブレット端末装置60は、画像表示部61に、受信したX線画像を表示する。ここで表示されるX線画像は、デフォルトX線画像とは異なり、観察者Pの視線方向に応じた画像となっている。
ステップS11では、タブレット端末装置60は、表示終了の操作の有無を判定する。この際の表示終了の操作は、例えば、図8に示すように、タブレット端末装置60の画像表示部61に「表示終了」ボタンが表示され、観察者Pが当該「表示終了」ボタンをタッチすることで受付けられる。ステップS11において、表示終了の操作無しと判定されると、ステップS7に戻り、ステップS7以降の、視線方向に応じた画像を表示する処理を繰返す。ステップS11において、表示終了の操作有りと判定されると、ステップS12に進む。
ステップS11において、表示終了の操作無しと判定された後に、ステップS5の直前に戻り、動き追従モードの操作の有無を判定しなおすように変形してもよい。
ステップS12では、タブレット端末装置60は、X線画像処理装置40に表示終了指令を送信し、処理を終了する。
X線画像処理装置40側の処理について説明すると、ステップS21において、X線画像処理装置40は、タブレット端末装置60から表示指令を受信したか否かを判定する。表示指令を受信したと判定されるまでステップS21の処理が繰返され、表示指令を受信したと判定されると、ステップS22に進む。
ステップS22では、X線画像処理装置40は、デフォルトX線画像を生成する。デフォルトX線画像の生成例については後述する。
次ステップS23では、X線画像処理装置40は、デフォルトX線画像をタブレット端末装置60に送信する。これにより、タブレット端末装置60において、デフォルトX線画像が表示される。
次ステップS24では、X線画像処理装置40は、タブレット端末装置60から動き追従モード指令を受信したか否かを判定する。動き追従モード指令を受信したと判定されるまでステップS24の処理が繰返され、動き追従モード指令を受信したと判定されると、ステップS25に進む。
ステップS25では、X線画像処理装置40は、タブレット端末装置60から撮像部62による撮像データを受信したか否かを判定する。撮像データを受信したと判定されるまで、ステップS25の処理が繰返され、撮像データを受信したと判定されると、ステップS26に進む。
ステップS26では、X線画像処理装置40は、撮像データに基づき視線方向を決定し、その後、ステップS27に進む。撮像データに基づき視線方向を決定する処理例については後述する。
ステップS27では、X線画像処理装置40は、記憶部53に記憶された表示方向設定用画像データ53dに基づいて、その視線方向に応じたX線画像を生成する。視線方向に応じたX線画像を生成する処理例については後述する。
次ステップS28では、X線画像処理装置40は、タブレット端末装置60に、生成したX線画像を送信する。これにより、タブレット端末装置60の画像表示部61に、観察者Pの視線方向に応じたX線画像が表示される。
次ステップS29では、X線画像処理装置40は、タブレット端末装置60から表示終了指示を受信したか否かを判定する。表示指令を受信していないと判定されると、ステップS25に戻り、ステップS26以降の、視線方向に応じたX線画像を生成する処理を繰返す。表示指令を受信したと判定されると、処理を終了する。
上記各処理におけるデフォルトX線画像の生成処理例、視線方向の決定処理例、視線方向に応じたX線画像の生成処理例について説明する。
<デフォルトX線画像の生成処理例>
上記ステップS22において生成されるデフォルトX線画像は、表示用画像処理部45において、記憶部53に記憶された表示方向設定用画像データ53dに基づいて予め設定されたデフォルト視線方向からのX線画像として生成されたものであることが想定される。
まず、図9及び図10に示すように、デフォルト視線方向が、表示対象箇所における歯列弓の接線に対して直交し、外側から内側を向く方向として設定されている例を説明する。
記憶部53における表示方向設定用画像データ53dとして、図9の丸囲み部分のように、局所CT撮影データを処理した局所CT画像データが記憶されている場合を想定する。今、丸囲み部分を局所領域LAとする。局所領域LAの局所CT画像データは、歯列弓80における位置情報と共に記憶部53に記憶されている。また、記憶部53には、歯列弓において複数の歯が並ぶ方向を示す一般的なカーブモデル82が記憶されている。そして、表示用画像処理部45が局所CT画像データに基づくデフォルトX線画像を生成する際には、歯列弓80における、局所CT画像データに含まれる1つ又は複数の歯の位置を特定すると共に、カーブモデル82に基づいて、1つ又は複数の歯の位置(好ましくは中心)におけるカーブモデル82の接線83を求める。撮影対象となっていた歯の位置は、表示方向設定用画像データ53dに対応付けられたデータベースの医療情報又は撮影時のパノラマスカウト画面におけるスカウト位置等に基づいて決定することができる。そして、当該接線83に対して直交し、かつ、外側から内側を向く方向をデフォルト視線方向84とする。そして、表示用画像処理部45は、局所CT撮影データを処理した局所CT画像データである表示方向設定用画像データ53dに基づいて、当該デフォルト視線方向84からのX線画像を生成する。生成されるX線画像は、局所CT画像データに含まれるCT値の3次元分布を、デフォルト視線方向84において加算して投影するRay-Sum法によって生成されたX線画像である場合、CT値の3次元分布において、デフォルト視線方向84における最大値を投影したMIP(Maximum Intensity Projection)法によって生成されたX線画像である場合等があり得る。Ray-Sum法によって生成されたX線画像は、一般的なX線投影画像に近い画像となる。
本実施例の場合、局所領域を正視するようにデフォルト視線方向84からのX線画像を生成している。すなわち、被写体の上下左右と、画面の上下左右が一致またはほぼ一致した対応関係となるようにしてある。
カーブモデル82の座標データ、接線83の座標データ、デフォルト視線方向84を、その都度、幾何学的に演算してもよいが、歯の位置とデフォルト視線方向とを対応付けたテーブルを事前に準備しておき、指定された歯の位置ごとにデフォルト視線方向84を呼び出すようにしてもよい。
記憶部53における表示方向設定用画像データ53dとして、歯列弓の全体等を含む広域CT撮影データが記憶されている場合には、タブレット端末装置60又はX線画像処理装置40において、歯列弓の全体を表示し、その歯列弓において表示対象箇所を指定することによって、上記と同様に、デフォルト視線方向84を決定してデフォルトX線画像を生成することができる。
上記カーブモデル及びテーブルは、表示対象の位置に対するデフォルト視線方向84を規定しているため、表示対象の位置及びカーブモデル又はテーブル等を参照して、デフォルト視線方向84を決定した場合でも、当該デフォルト視線方向84は予め設定されているといえる。もっとも、デフォルト視線方向は、表示を行う都度、観察者によって設定されてもよい。
図11は、他のデフォルト視線方向84Ba、84Bbの設定例を示す図である。ここでは、デンタルフィルム88Fa、88Fbを用いて歯列弓80をX線透過撮影する際に、歯列弓80に対して如何なる位置及び姿勢でデンタルフィルム88Fa、88Fbが配設されるかが想定されている。ここでは、歯列弓80の前部の内側位置に、左右方向に沿う姿勢で仮想のデンタルフィルム88Faが配設されることが想定されている。このため、歯列弓80の前部に位置する歯群に対しては、デンタルフィルム88Faに直交し、前方から後方に向う方向がデフォルト視線方向84Baとして設定されている。歯列弓80の側部に位置する歯群に対しては、デンタルフィルム88Fbに直交し、前方斜め外側から後方斜め内側に向う方向がデフォルト視線方向84Bbとして設定されている。そして、表示対象となる歯の位置に応じて、デフォルト視線方向84Ba、84Bbが決定される。
断層面の位置については、例えば上記の仮想のデンタルフィルム88Faの場合、デフォルト視線方向84Baと逆の方向に向かって仮想のデンタルフィルム88Faの検出面を平行移動させた位置に設定するなどの設定が可能である。どの程度の距離の平行移動をするかは一般的な骨格の顎の歯列弓のサイズや形状から、該当歯列のパノラマ断層付近になるように設定することができる。
なお、上記デフォルト視線方向は、画像表示部61に表示された歯列弓等において、手動で設定されてもよい。
<視線方向の決定処理例>
ここでは、観察者Pの視線方向を取得する処理について説明する。ここでは、視線方向取得部は、画像表示部61の観察者Pを撮像可能な撮像部62と、撮像部62の撮像画像に基づいて画像表示部61に対する観察者Pの相対的位置を判断して、その観察者Pの視線方向を決定する視線方向決定部44とを備える。
図12はタブレット端末装置60に対する観察者Pの観察位置及び視線方向85を示す説明図である。なお、タブレット端末装置60の正面の観察者Pを“Pa”、観察者Paの視線方向85を“85a”、タブレット端末装置60の正面からずれた観察者Pを“Pb”、観察者Pbの視線方向85を“85b”で区別する場合がある。
同図に示すように、観察者Paがタブレット端末装置60の真正面から画像表示部61を観察する場合、当該観察者Paはタブレット端末装置60の画像表示部61の中央延長線上に存在する。このため、視線方向85aは、画像表示部61に対して直交し、当該画像表示部61の前方から画像表示部61に向う方向となる。また、観察者Pbがタブレット端末装置60の斜め側方から画像表示部61を観察する場合、当該観察者Pbはタブレット端末装置60の画像表示部61の中央から斜め側方に存在する。このため、視線方向85bは、画像表示部61に対して斜行し(ここでは、視線方向85bは、視線方向85aに対して角度αをなしている)、当該画像表示部61の斜め前方から画像表示部61に向う方向となる。
タブレット端末装置60の画像表示部61の中央部に撮像部62が設けられ、当該撮像部62がタブレット端末装置60の真正面を中心とする領域を撮像するとする。
この場合、図13に示すように、観察者Paは、撮像画像の幅方向中央の位置に観察される。また、図14に示すように、観察者Pbは、撮像画像のいずれかの側方に偏った位置に観察される。このため、撮像画像において観察者Pa、Pb(顔)を画像認識し、当該観察者Pa、Pbが撮像画像のいずれの位置に認識されるかに基づいて、視線方向85a、85bを決定することができる。観察者の顔、腕、体等の位置から、視線方向を決定してもよい。
例えば、撮像画像に基づいてパターン認識を行い、観察者Pa、Pbの2つの眼の位置を特定する。そして、2つの眼の位置の中央を観察者Pa、Pbの位置とする。そして、撮像画像の幅方向中央ラインLに対する観察者Pa、Pbの位置(左右のいずれに位置するか)、観察者Pa、Pbの位置と撮像画像の幅方向中央ラインLとの距離等に基づいて視線方向85a、85bを決定する。例えば、観察者Paの幅方向中央ラインLとの距離が予め設定された第1閾値を下回ると判定されると、視線方向85aは、画像表示部61に対して直交し、当該画像表示部61の前方から画像表示部61に向う方向であると決定する。また、例えば、観察者Pbと幅方向中央ラインLとの距離L1が予め設定された第1閾値を超えると判定された場合(第1閾値と同じである場合には、いずれに判定してもよい)、観察者Pbが幅方向中央ラインLに対して右又は左に位置するかを判定し、当該判定された側から画像表示部61の中央に向う方向が視線方向85bであると判定する。
また、観察者Pa、Pbの位置を、画像認識によって検出した頭部の中央より少し上と定めるようにしてもよい。
上記デフォルト視線方向84、84Ba、84Bbは、歯列弓80の接線に対して直交する方向に設定され、又は、デンタルフィルム88Fa、88Fbに対して直交する方向に設定されており、視線方向85a、85bは、デフォルト視線方向84、84Ba、84Bbを基準とする傾き方向、角度等を規定している。このため、X線画像は、デフォルトX線画像のデフォルト視線方向84、84Ba、84Bbを基準として、観察者Pの視線方向85a、85bに基づいて生成されることになる(図9及び図10参照)。
上記例では、視線方向85a、85bが、タブレット端末装置60の真正面から画像表示部61に向う視線方向85a、タブレット端末装置60の正面右寄りの位置又は左寄りの位置から画像表示部61に向う視線方向85b、85bの3つである例で説明したが、幅方向中央ラインLに対する観察者Pa、Pbの距離に応じて、視線方向がより多段階に対応付けられていてもよい。また、幅方向中央ラインLに対する観察者Pa、Pbの距離に対して予め設定された所定の係数を乗じる等の所定の関係式に基づく演算が行われて、視線方向が決定されてもよい。なお、観察者Pa、Pbと画像表示部61との間の距離は、撮像画像に映り込む観察者Pa、Pbの位置に影響を与える。しかしながら、通常、観察者Pa、Pbと画像表示部61との間の距離は、ある程度限定された範囲であるため、幅方向中央ラインLに対する観察者Pa、Pbの距離に応じて、画像表示部61の法線方向に対する観察者Pの視線方向の角度をある程度の精度で把握することも可能である。また、例えば、幅方向中央ラインLに対する観察者Pa、Pbの距離(例えば、観察者Pa、Pbの2つの眼間の距離、顔の大きさ等に基づいて算出できる。)をも考慮して(例えば、当該距離に応じて異なるテーブルを準備する、或いは、距離をも変数とする関係式に基づいて角度を算出する等)、画像表示部61の法線方向に対する観察者Pの視線方向の角度を決定するようにしてもよい。
もっとも、観察者Pa、Pbの位置を、画像認識によって検出した両眼の中央と定めた場合や、画像認識によって検出した頭部の中央より少し上と定めた場合などは、その地点さえ特定すれば図12に示す角度αまたは距離L1は定まる。
また、観察者Pの位置は、撮像画像において認識された顔の他の部位(鼻、口等)を基準としてもよいし、撮像画像において認識された顔の中心を基準としてもよい。タブレット端末装置60に、複数の撮像部が設けられ、当該複数の撮像部からの撮像データに基づいて観察者の3次元画像を撮像し、当該3次元画像に基づいてタブレット端末装置60に対する観察者の位置を認識して、視線方向(画像表示部61の法線方向に対する角度)を決定するようにしてもよい。
<視線方向に応じたX線画像の生成処理例>
上記のように決定された視線方向85a、85bに応じたX線画像の生成処理例について説明する。
まず、視線方向とX線画像における歯の見え方との関係について説明しておく。
図15に示すように、歯列弓80における一部の歯90のX線投影画像を撮像する場合を想定する。下顎の歯列弓の左側にある歯90は、歯列弓80の接線に対して直交する方向に並ぶ2つの歯根92a、92bを有している。歯90のX線投影画像を撮像する場合、当該歯90の奥側にX線デンタルフィルム88(又はイメージングプレート)を配設し、歯90の外側からX線を照射することになる。X線撮影としては、通常の口内法撮影によるものとする。
X線発生源を歯列弓80の接線に対して直交する方向側に配設し、X線の照射方向を歯列弓80の接線に対して直交する方向とした正放射投影で撮像すると、正放射画像が得られる。この場合、図16(a)に示すように、X線は、2つの歯根92a、92bを通ってX線デンタルフィルム88に投影されるため、正放射画像では、2つの歯根92a、92bは重なって観察される(図7参照)。また、X線の照射方向を歯列弓80の接線に対して直交する方向とした正放射投影で撮像すると、正放射画像が得られる。この場合、図16に示すように、X線は、投影方向に沿って2つの歯根92a、92bを通ってX線デンタルフィルム88に投影されるため、正放射画像では、2つの歯根92a、92bは重なって観察される(図7参照)。
X線発生源を、歯列弓80の中心寄りに配設し、X線の出射方向を歯列弓80の中心側から外側に傾けた偏近心投影で撮像すると、偏近心画像が得られる。この場合、図17(a)に示すように、X線は、投影方向に沿って、別々の箇所で2つの歯根92a、92bを通ってX線デンタルフィルム88に投影されるため、偏近心画像では、2つの歯根92a、92bは別々の位置に観察される(図8参照)。
X線発生源を、歯列弓80の端寄りに配設し、X線の出射方向を歯列弓80の外側から中心側に傾けた偏遠心投影で撮像すると、偏遠心画像が得られる。この場合、図18(a)に示すように、X線は、投影方向に沿って、別々の箇所で2つの歯根92a、92bを通ってX線デンタルフィルム88に投影されるため、偏遠心画像では、2つの歯根92a、92bは別々の位置に観察される。もっとも、偏近心画像と偏遠心画像とでは、2つの歯根92a、92bの位置関係は逆となる。
上記例では、2つの歯根92a、92bを有する歯90について説明したが、歯列弓80の奥側の歯94のように、3つの歯根94a、94b、94cを有する歯94について検討すると、当該歯94を偏近心画像及び偏遠心画像の両方で観察する意義はより明らかとなる。
すなわち、歯94が多数の歯根94a、94b、94cを有していると、ある方向からのX線投影画像において歯根94a、94b、94cは重なって観察され易い。
例えば、図19に示すように、歯94を偏遠心投影で撮像すると、図20に示すように、歯根94b、94cが重なって投影されてしまい、歯根94b、94cを別々に観察することは困難となる。
これに対して、図21に示すように歯94をほぼ正放射投影、または若干偏近心投影で撮像すると、図22に示すように、歯根94a、94b、94cは別々に投影され、それらを別々に観察することができる。
ここで、表示方向設定用画像データ53dが、下記の手法で複数方向から取得した複数のX線画像データが各撮影角度(視野方向)と対応付けられた画像データであるとする。
この場合、X線デンタルフィルム88(又はイメージングプレート)で取得した複数方向からのX線画像は、スキャンなどが施されてX線画像データとして記憶部53に記憶される。このX線画像データはそのまま、または必要に応じた加工がされて撮影角度と対応付けられた単純透過X線画像群データとしての表示方向設定用画像データ53dとして記憶部53に記憶される。
上記デフォルト視線方向84、84Ba、84Bbを、歯列弓80の接線に対して直交する方向に設定し、又は、デンタルフィルム88Fa、88Fbに対して直交する方向に設定すると、デフォルトX線画像として正放射画像が生成され、画像表示部61に表示される。なお、デフォルトX線画像が正放射画像に対して傾く姿勢であり、これを、視線方向に基づいて傾けて正放射画像を生成する又はさらに傾けた画像を生成するものであってもよい。
そして、その後、表示用画像処理部45は、記憶部53に記憶された表示方向設定用画像データ53dに基づいて、視線方向決定部44で決定された視線方向85a、85bに応じた撮影角度のX線画像データ(表示方向設定用画像データ53dに含まれる)に基づいてX線画像を生成する。このX線画像が画像表示部61に表示される。なお、表示方向設定用画像データ53dは、上述のように複数のX線照射方向ごとに得られたX線画像データが撮影角度と対応付けられて、ワンセットになって表示方向設定用画像データ53dとして準備される。
上述の例ではX線デンタルフィルム88(又はイメージングプレート)を検出器として通常の口内法撮影で撮影する構成を示したが、電気的な口腔内用のX線センサを用いてもよい。
この場合、例えば被写体M1を図1に示す撮影本体部20に位置付けて、旋回アーム24を旋回させつつ、X線発生器22AからX線照射をして口腔内のX線センサが透過X線を受光するようにしてもよい。この方法によると、X線照射の回数を多数とするか、連続照射するようにして、X線センサでの検出回数を増やし、多数の透過画像を得ることができ、より細かい角度ごとのX線画像を準備することができる。
X線CT撮影またはX線トモシンセシス撮影を行って、画像処理で同様の結果を得るようにしてもよい。
具体的には、X線撮影装置10を用いて、少なくとも歯90を含む領域のX線CT撮影またはX線トモシンセシス撮影を行う。得られる投影データを処理して、図16(b)のように、X線センサの検出面に平行な断層画像を頬舌方向に並べて複数生成する(断層画像SC1、SC2、SC3・・・SCN)。この複数の断層画像の並びを、図16(c)、図17(b)、図18(b)に示すように、図16(a)、図17(a)、図18(a)のそれぞれに図示したX線の照射方向に沿った並びとして合成し、X線デンタルフィルム88(又はイメージングプレート)に結像した像と同様の像を口外法撮影によって生成することができる。X線トモシンセシス撮影については後述する。
局所CT画像データを処理する場合について、追記する。
今、図56に示すように、仮に、被写体M1の頭部MHの上下方向をZ1方向とし、頭部の左右方向をX1方向とし、頭部の前後方向をY1方向であるとする。
局所CT撮影においては、図57に示すように、被写体M1が撮影本体部20に対して固定的に位置付けされる。具体的には、被写体M1の頭部MHが昇降部26にあるチンレストなどの頭部固定部26Fに載置されて固定され、位置付けされる。
図58に示すように、頭部MHにおいて、図9について述べたカーブモデル82は、一般的な骨格の頭部のデータを基に、チンレスト26Fに対する特定の位置に設定されている。
カーブモデル82の位置は、X1Y1Z1の座標で3次元に特定できる。
図9に示す局所領域LAは円筒形のCTにおける視野(FOV…Field of View)とされ、X線CT撮影中、X線規制部で形成されたX線コーンビームの照射対象となる。
今、カーブモデル82の曲面に接している面TS1が定まるとする。カーブモデル82と面TS1をZ1方向から平面視すると、図59に示すように、面TS1が接線TLに見える幾何学関係にあるとする。
カーブモデル82と接線TLの接点TPを立体的に斜視すると図58に示すように、局所領域LAの中心軸CXとなる。
図60(a)に示すように、図9に示されるデフォルト視線方向84からのX線画像が、面TS1の断層面のX線画像(X線CT画像)TS1iとしてX線CT画像データから切出され、画像表示部61に表示される。
図60(a)に示すように、仮に、観察対象歯の根管RC1、RC2が面TS1から外れる位置にある場合、図60(b)に示すように、X線画像TS1i中に根管RC1、RC2は表示されない。
図61(a)に示すように、図9に示される視線方向85bが定まった場合、被観察面は中心軸CXを回転中心に回動し、新たな面TS2の断層面のX線画像(X線CT画像)TS2iがX線CT画像データから切出され、生成される。
根管RC1、RC2が面TS2と位置的に一致する場合、図61(b)に示すように、X線画像TS2i中に根管RC1、RC2が表示される。
このように、被観察面の回動軸は、自動的に定まってもよいが、オペレータの入力の受付によって定まってもよい。例えば、局所領域LAのX線CT画像を一旦表示部41に表示して、オペレータが表示されたX線CT画像に回動などの操作を加え、マニュアルで新たな回動軸をX線CT画像に対して入力し、受付がなされるようにしてもよい。
タブレット端末装置60の画像表示部61上の表示において、表示上、上記の被観察面の回動軸をどこに設定するかは任意である。
例えば、タブレット端末装置60の画像表示部61の画面が矩形の画面であるとする。
図示は略するが、画像表示部61の画面の左上隅をDS1とし、右上隅をDS2とし、左下隅をDS3とし、右下隅をDS4とする。地点DS1と地点DS2の左右の中央地点をM12とし、地点DS3と地点DS4の左右の中央地点をM34とする。地点M12と地点M34を結ぶ線を想定し、線LVとする。表示上、線LVと上述の被観察面の回動軸を一致させるようにしてよく、別の箇所に設定してもよい。観察者が任意に設定できるようにしてもよい。
画像表示部61の画面の奥に3次元の広がりがあるように表示内容を設定して、画面より奥に被観察面の回動軸があるような画像処理をしてもよい。
図62にX線トモシンセシス撮影を図解しておく。
図示の例では、図9と同じ歯列領域が撮影対象となっている。X線発生器22AとX線検出器23Aは撮影対象領域の中央の一点TCを旋回中心として旋回し、X線発生器22Aは撮影開始位置TMS1から中間位置TMM1を経て撮影終了位置TME1まで旋回し、X線検出器23Aは撮影開始位置TMS2から中間位置TMM2を経て撮影終了位置TME2まで旋回する。
旋回の角度は180°未満であり、例えば、60°または90°のように選択できるようにしてもよく、60°から90°の間で合計3以上、段階的に選択できるようにしてもよく、60°〜90°の間で無段階に決定できるようにしてもよい。
画像を生成する対象の断層の角度はある程度任意に設定でき、撮影開始位置と撮影終了位置のちょうど中間の位置におけるX線入射方向に沿った視線方向T84をデフォルトの視線方向とし、観察者の視点に視線方向を追従させてもよい。図示の視線方向T85bは、追従の結果、視線方向T84よりも若干近心方向に寄った視線方向が定まった場合の例である。
視線方向T84には略直交する断層LY1が、視線方向T85bには略直交する断層LY2がそれぞれ定められる。
断層LY1、LY2はX線透過方向に前後の情報を含んだ断層厚みを有する。また、その断層厚みは一定範囲で可変設定可能である。X線トモシンセシス撮影で得たX線トモシンセシス撮影データを加工して生成したX線トモシンセシス画像データは表示方向設定用画像データ53dの1つである。
<効果等>
以上のように構成されたX線画像表示装置12、X線撮影装置10、X線画像表示制御プログラム53b、73a及びX線画像表示装置12の作動方法によると、観察者Pが立体物の視線方向を変更しようとするような自然な動作を行うと、画像表示部61の観察者Pに対する、画像表示部61の位置関係、すなわち、画像表示部61の観察者Pの視線方向85a、85bを取得する。そして、表示用画像処理部45は、取得された視線方向に応じて、表示方向設定用画像データ53dに基づいて、X線画像を生成する。このX線画像が画像表示部61に表示される。このため、複数方向から取得したX線画像データを処理した又は複数方向から取得したX線画像データを含む表示方向設定用画像データ53dに基づいてX線画像を表示する際に、表示されるX線画像の視線方向を容易に設定できる。
特に、撮像部62によってタブレット端末装置60の画像表示部61の観察者Pを撮像し、その撮像画像に基づいて画像表示部61に対する観察者Pの相対的位置を判断して、その観察者Pの視線方向85a、85bを決定するため、撮像部62を利用して容易に視線方向85a、85bを決定できる。
また、表示用画像処理部45は、表示方向設定用画像データ53dに基づいて予め設定されたデフォルト視線方向84Ba、84BbからのデフォルトX線画像を生成し、これを画像表示部61に表示させた後、デフォルト視線方向84Ba、84Bbを基準として、取得された視線方向85a、85bに基づいてX線画像を生成し、これを画像表示部61に表示させるため、デフォルトX線画像(例えば、正放射画像)のデフォルト視線方向84Ba、84Bbを中心として、これから傾けたX線画像(例えば、偏遠心画像、偏近心画像)を表示させることができる。
また、記憶部53が、表示方向設定用画像データ53dとして、X線CT画像データを含むと、各種方向からのX線画像を容易に生成することができる。表示方向設定用画像データ53dは、X線トモシンセシス画像データであってもよい。また、表示方向設定用画像データ53dは、複数方向から撮影された複数の単純透過X線画像データ(例えば、正放射画像、偏遠心画像、偏遠心画像を含むデータ)であってもよい。この場合、上記したように、複数の単純透過X線画像データと視線方向(撮影角度)とを対応付けて記憶部に記憶し、決定された視線方向に基づいて1つの単純透過X線画像を選択して、画像表示部に表示させるようにするとよい。
また、画像表示部61は、タブレット端末装置60の画像表示部であるため、視線方向85a、85bに応じたX線画像を、持つことが容易なタブレット端末装置60の画像表示部61に表示させることができ、観察者Pは、当該X線画像を容易に観察することができる。
また、上記X線画像表示装置12は、X線撮影装置10に組込まれ、当該X線撮影装置10の表示装置として備えられているため、X線撮影装置10によってX線撮影を行った後等に、観察者は、当該X線撮影装置10の一部である画像表示部61で容易に各種視線方向からのX線画像を容易に観察することができる。
<第1実施形態に関する変形例>
上記第1実施形態を前提として各種変形例について説明する。
<第1変形例>
上記第1実施形態では、視線方向決定部44としての処理ステップ(ステップS26参照)がX線画像処理装置40の表示用画像処理プログラム53bに組込まれ、従って、X線画像処理装置40が視線方向決定部44を有する例で説明したが、必ずしもその必要は無い。
図23に示す第1変形例のX線画像表示装置112のように、タブレット端末装置60に対応するタブレット端末装置160に、視線方向決定部44に対応する処理ステップ(ステップS26参照)がタブレット端末装置160の表示用プログラムに組込まれ、従って、タブレット端末装置160が視線方向決定部144を有する構成であってもよい。この場合、タブレット端末装置160の視線方向決定部144で決定された視線方向が無線通信等を介してX線画像処理装置40に対応するX線画像処理装置140に送信され、上記第1実施形態と同様に、当該視線方向に応じたX線画像が生成される。
<第2変形例>
また、上記実施形態では、X線画像表示装置12がX線画像処理装置40とタブレット端末装置60とで構成されている例で説明したが、図24及び図25に示す第2変形例のように、タブレット端末装置260のみで構成されていてもよい。
すなわち、タブレット端末装置260は、上記タブレット端末装置60と同様に、CPU71、RAM72、記憶部73、画像表示部61、タッチパネル入力部75、撮像部62及び無線通信部77がバスライン78を介して相互接続された一般的な携帯型コンピュータによって構成されている。記憶部73には、X線画像表示制御プログラム273a及び表示方向設定用画像データ253dが記憶されている。表示方向設定用画像データ253dは、上記第1実施形態における表示方向設定用画像データ53dと同様のデータであり、別途X線撮影装置で撮影されたデータに基づき事前に生成されて、記憶部73に記憶されている。なお、この場合においても、上記X線画像処理装置40のようなサーバコンピュータにおいて、表示方向設定用画像データ253dと被写体M1の特定情報等を対応付けた管理データが格納されていることが好ましい。タブレット端末装置260に対する表示方向設定用画像データ253dの提供は、無線通信を介してなされてもよいし、別途フラッシュメモリ等の記録媒体を介して提供されてもよい。X線画像表示制御プログラム273aは、上記表示用画像処理プログラム53bに記述された処理及び表示用プログラム73aに記述された処理を、タブレット端末装置260のCPUが実行するための処理として記述されたプログラムである。
本タブレット端末装置260を機能的に説明すると、タッチパネル入力部75を通じてX線画像の表示指令が与えられると、撮像部62に撮像指令が与えられ、撮像部62が画像表示部61の前方画像を撮像し、その撮像画像を視線方向決定部270に与える。視線方向決定部270は、当該撮像画像に基づいて観察者の視線方向を決定し、視線方向を画像処理部272に与える。視線方向決定部270は、上記視線方向決定部44に対応しており、画像処理部272は、表示用画像処理部45に対応している。
画像処理部272は、記憶部73に記憶された表示方向設定用画像データ253dに基づいて、その視線方向に応じたX線画像を生成し、そのX線画像を画像表示部61に表示させる。
記憶部73に、第1実施形態におけるX線画像データ53cと同様の、図示しないX線画像データを記憶させて、画像処理部272内で表示方向設定用画像データ253dを生成させるようにしてもよい。
図26はタブレット端末装置260における各処理を示すフローチャートである。基本的には、図4に示すフローチャートで示された各処理をタブレット端末装置260で処理するようにしたフローが示されている。
すなわち、ステップS41において、タブレット端末装置260において、X線画像表示の操作の有無が判定され、操作有りと判定されると、ステップS42に進む。
ステップS42では、タブレット端末装置260は、デフォルトX線画像を生成する。
次ステップS43において、タブレット端末装置260は、画像表示部61にデフォルトX線画像を表示する。
次ステップS44において、タブレット端末装置260は、動き追従モードの操作の有無を判定し、操作無しと判定されるとステップS44の処理を繰返し(デフォルトX線画像が表示された状態が継続する)、動き追従モードの操作有りと判定されると、ステップS45に進む。
ステップS45では、タブレット端末装置260は、撮像部62に撮像指示を与える。これにより、撮像部62は、タブレット端末装置260の前方、すなわち、観察者Pを含む画像を撮像する。
次ステップS46では、タブレット端末装置260は、撮像データに基づき視線方向を決定し、その後、ステップS47に進む。
ステップS47では、タブレット端末装置260は、記憶部73に記憶された表示方向設定用画像データ253dに基づいて、その視線方向に応じたX線画像を生成する。
次ステップS48では、タブレット端末装置260は、画像表示部61に、生成されたX線画像を表示する。
ステップS49では、タブレット端末装置260は、表示終了の操作の有無を判定する。ここで、表示終了の操作無しと判定されると、ステップS45に戻り、ステップS45以降の、視線方向に応じた画像を表示する処理を繰返す。ステップS49において、表示終了の操作有りと判定されると、処理を終了する。
このように、タブレット端末装置260が単独で、X線画像処理装置を構成するものであってもよい。
<第3変形例>
また、上記第1実施形態、第1及び第2変形例におけるタブレット端末装置60、160、260の機能は、図27に示す第3変形例のように、コンピュータやワークステーション等で構成された情報処理端末装置361に、撮像部362、液晶モニタ等のディスプレイ装置で構成される画像表示部363、キーボードやマウス等で構成される操作部364を接続した端末装置360によって実現されていてもよい。この場合でも、上記撮像部362によって観察者を撮像して視線方向を決定し、画像表示部363でデフォルトX線画像、視線方向に応じたX線画像を表示し、操作部364で各種操作を受付けることで、上記タブレット端末装置60、160、260と同様の処理、表示を実現することができる。
<第4変形例>
また、上記第1実施形態、第1から第3変形例において、視線方向決定部44、144、270は、逐次、観察者Pの視線方向85a、85bを決定し、決定された視線方向85a、85bに基づいてX線画像を生成してこれを表示する例で説明したが、必ずしもその必要は無い。
これを、第2変形例のフローチャート(図25)をさらに変形して説明すると、図28に示す第4変形例のように、ステップS45とステップS46との間に、ステップS51を追加し、ステップS51において、タブレット端末装置260の視線方向決定部270が、撮像部62の撮像画像に基づいて画像表示部61に対する前記画像表示部の観察者の相対的位置の変化を検出するようにしてもよい。この判定は、例えば、撮像部62が静止画を撮像する場合には、撮像画像における観察者の位置を、前回撮像時における撮像画像における観察者の位置と比較して、その位置の変化が予め設定された所定距離を超える又は以上であるときに、変化有りと判定することができる。なお、デフォルトX線画像を表示する前又は後に、撮像部62によって撮像画像を得ておけば、ステップS51が初回の場合にも、観察者の変化の有無を判定することができる。デフォルトX線画像を表示する前又は後に、撮像部62によって撮像画像を得ない場合、初回のステップS51を飛ばすようにしてもよい。
そして、ステップS51において、観察者の相対的位置の変化無しと判定されると、ステップS49に進む。つまり、視線方向に応じたX線画像を生成せずに元のX線画像の表示を継続する。一方、ステップS51において、観察者の相対的位置の変化有りと判定されると、ステップS46に進み、以降の処理、すなわち、その変化後の画像表示部61の観察者の視線方向に基づいてX線画像を生成し、これを画像表示部61に表示させるステップS46からS48を実行する。
これにより、画像生成処理による負担をなるべく少なくしつつ、観察者Pの相対的位置の変化が検出されたときに、その変化後の視線方向に対応した適切なX線画像を表示することができる。
上記第1実施形態、第1〜第4変形例から理解できるように、X線画像表示装置は、1つのコンピュータによって実現することもできるし、各機能を複数のコンピュータに分散させて実現することもできる。また、X線画像表示装置を複数のコンピュータによって実現する場合、各機能はいずれのコンピュータによって処理されてもよい。
<第5変形例>
また、第4変形例において、撮像部62は、観察者を動画で撮像するものであってもよい。この場合、動画における観察者の動きを検出し、当該観察者の動きが所定量を超える又は以上であるときに、観察者の変化の有りと判定するとよい。これにより、動画像に基づいて、観察者の相対的位置の変化を適切に検出できる。
また、上記第1実施形態及び各変形例において、画像表示部と観察者との相対的距離を求め、当該相対的距離に応じてX線画像の拡大率を調整してもよい。
これを第2変形例のタブレット端末装置260を前提とする第5変形例として説明すると、図29に示すように、タブレット端末装置260Bは、撮像部62の撮像画像に基づいて画像表示部61と観察者との相対的距離を求める距離特定部262Bをさらに備える。そして、タブレット端末装置260Bは、距離特定部262Bで特定された相対的距離に応じて、X線画像の拡大率を調整して、画像表示部61に表示する。
タブレット端末装置260Bの処理を、図30に示すフローチャートを参照して説明する。図30に示すフローチャートでは、第2変形例のフローチャート(図25)において、ステップS47とステップS48との間に、ステップS52及びS53が追加されている。
タブレット端末装置260Bは、ステップS47の後、ステップS52において、画像表示部61と観察者との相対的距離を求める。画像表示部61と観察者との相対的距離は、例えば、図31に示すように、撮像画像における観察者Pの2つの眼の距離に基づいて求めることができる。撮像画像において、相対的距離が小さければ、2つの眼の距離は大きくなり、相対的距離が大きければ、2つの眼の距離は小さくなるため、例えば、撮像画像における観察者Pの2つの眼の距離に相対的距離を対応付けたテーブルを事前に作成してき、または、2つの眼の距離を変数として逆相関関係を示す関係式を事前に設定しておくことで、撮像画像における観察者Pの2つの眼の距離に基づいて画像表示部61と観察者との相対的距離を求めることができる。タブレット端末装置260Bに、複数の撮像部が設けられ、当該複数の撮像部からの撮像データに基づいて観察者の3次元画像を撮像し、当該3次元画像に基づいて画像表示部61と観察者との相対的距離を求めてもよい。
次ステップS53では、タブレット端末装置260Bは、相対的距離に基づいて拡大率を設定する。例えば、相対的距離が小さくなるほど、拡大率を大きくするように設定する。拡大率の設定は、例えば、予め設定された相対的距離と拡大率とを対応付けたテーブルを予め作成しておき、当該テーブルに基づいてなされてもよいし、或は、相対的距離を変数として事前に設定された関係式に基づいてなされてもよい。
次ステップS54では、ステップS47で生成されたX線画像を、ステップS53で設定された拡大率で拡大して、画像表示部61に表示する。これにより、観察者Pが画像表示部61に近づけば、図32に示すように、歯が大きく拡大された画像が表示される。
逆に、観察者Pが画像表示部61から遠ざかると歯が大きく拡大されて、遠くからでも観察しやすくするようにしてもよい。
この変形例によると、画像表示部61と観察者Pとの相対的距離に応じて、X線画像の拡大率を容易に調整できる。
<第6変形例>
また、第1実施形態及び各変形例において、任意方向への視線方向の設定操作を受付け可能な視線方向操作受付部を付加し、当該視線方向受付部での設定操作受付に応じて、X線画像を生成し、当該X線画像を画像表示部に表示するようにしてもよい。
これを第2変形例のタブレット端末装置260を前提とする第6変形例として説明すると、図33及び図34に示すように、タブレット端末装置260Cは、任意方向への視線方向の設定操作を受付け可能な視線方向操作受付部262Cを備える。視線方向操作受付部262Cは、例えば、中央に設けられた選択スイッチ262Caと、選択スイッチ262Caの周囲に設けられ、回転操作量を検出可能な回転操作キー262Cbとを備えている。そして、回転操作キーを操作することにより、視線方向の調整がなされ、その後、選択スイッチ262Caを押動操作することにより、当該調整された視線方向が設定された任意方向への視線方向として受付けられる。
そして、画像処理部272は、視線方向操作受付部262Cを通じて視線方向の設定操作が受付けられると、視線方向決定部270で決定された視線方向の代りに、視線方向操作受付部262Cを通じて設定された視線方向に応じて、表示方向設定用画像データ253dに基づいて、X線画像を生成し、このX線画像を画像表示部61に表示させる。
なお、視線方向受付部は、タッチパネル入力部75を通じて視線方向を受付けるものであってもよいし、その他の機械的なボタン、例えば、キーボード操作、マウス操作等で視線方向を受付けるものであってもよい。
この変形例によると、任意の視線方向でのX線画像を画像表示部61に表示させることができる。例えば、撮像部62を介した視線方向設定をさせながら、マニュアル操作の視線方向操作を割り込ませることができる。
<第7変形例>
また、上記第1実施形態等では、主に、画像処理部は、視線方向取得部で取得した視線方向に応じた方向に投影した画像を生成する例で説明したが、次のようにしてもよい。すなわち、第1実施形態及び各変形例において、X線画像データとして、X線CT撮影データ、X線トモシンセシス撮影データの少なくとも一種を含む場合において、画像処理部等において、X線CT撮影データ、X線トモシンセシス撮影データの少なくとも一種を加工してCT値または濃度値の3次元分布等を示す画像データとする。この3次元分布等の画像データを3次元メッシュデータと呼んでもよい。そして、画像処理部が、前記画像データに基づいて、視線方向取得部で取得した視線方向に応じた断層方向にスライスした断層画像を前記X線画像として生成して、前記画像表示部に表示させる処理を実行する。これに代えてあるいは加えて、画像処理部が、前記画像データに基づいて、視線方向取得部で取得した前記視線方向に応じた方向に向けた3次元の非透明画像または半透明画像であるボリュームレンダリング画像をX線画像として生成する処理の少なくとも一方を実行する構成としてもよい。
これを、第2変形例のタブレット端末装置260を前提とする第7変形例として説明すると、例えば、図35に示すように,タブレット端末装置260Dの画像表示部61に、「投影」表示を行う旨のボタン261a、「断層」表示を行う旨のボタン261b、「VR」(ボリュームレンダリング)表示を行う旨のボタン261cが表示される。そして、観察者Pがボタン261a、261b、261cのいずれかをタッチして、「表示開始」ボタンをタッチすると、上記第1実施形態で説明した処理において、デフォルト画像、又は、決定された視線方向応じてX線画像を生成する際には、視線方向に応じた投影画像、視線方向に応じた断層方向(視線方向に見る断層画像)にスライスした断層画像(図36参照)、記視線方向に応じた方向に向けた3次元のボリュームレンダリング画像(図37参照、対象領域となる歯等を示す表面又は半透明によりその内部をも示す画像)のいずれかを生成する処理が実行され、生成された画像が画像表示部61に表示される。
また、断層画像を表示させる際には、図38及び図39に示すように、タブレット端末装置260Daは、関心断層の断層厚みの設定を受付け可能な断層厚み受付部262Dを備える構成とすることが好ましい。断層厚み受付部262Dは、例えば、画像表示部61に、歯列弓270D及び関心断層領域272Dを表示すると共に、関心断層領域272Dの厚みを指定する入力設定欄274Dを表示し、当該入力設定欄274Dに関心断層厚みを入力することで、関心断層領域272Dの断層厚みの設定を受付ける構成とすることができる。例えば、X線CT画像は、1ピクセル分の厚みのある断層像として生成することもできるが、複数ピクセル分の厚みのある断層画像として生成することもできる。
そして、画像処理部272は、初期画面等において、関心断層厚みの設定操作が受付けられている場合等において、デフォルトX線画像を生成する際、又は、決定された視線方向応じてX線画像を生成する際には、当該関心断層厚みに応じた空間において、CT値の3次元分布を示す画像データに基づいて、Ray-Sum法、MIP法等によってX線画像を生成する。そして、このX線画像を画像表示部61に表示させる。3次元メッシュデータをスライスした断層画像は断面位置が定まってからスライスしてもよいが、複数の視線方向ごとにスライスした断層画像を生成して一群のスライス画像にまとめ、画像データとして準備するようにして、断面位置が定まってから選択的にX線画像として表示するようにしてもよい。また、一定の方向に3次元メッシュデータを多数スライスした断層画像を生成し、一群のスライス画像にまとめ、画像データとして準備するようにして、断面位置が定まってから選択的にX線画像として表示するようにしてもよい。この場合、一群のスライス画像は、複数の方向にそれぞれ多数スライスし、各方向ごとにまとめたものを1つの集合体とすることができ、各視線方向の奥行き方向の断面位置の変更に対応が可能である。
断層厚み受付部は、機械的なボタン、例えば、キーボード操作、マウス操作等で断層厚みの設定操作を受付けるものであってもよい。
この変形例によると、所望の断層厚みのX線画像を観察することができる。
<その他の変形例>
なお、上記撮像部62に複数の観察者が認識された場合、撮像画像の中心に最も近い観察者を基準としてもよいし、最も大きく映り込む観察者を基準としてもよいし、複数の観察者に基づく平均値を基準としてもよい。
また、上記実施形態では、歯の観察位置を幅方向に変えた場合を想定して説明したが、歯の観察位置を上下方向に変えた場合でも適用できる。例えば、画像表示部に対する観察者の位置が画像表示部に表示された下(又は上)の歯を上方から覗き込むような位置である場合には、画像表示部には、当該下(又は上)の歯を斜め上方から視た視線方向に応じて、当該歯を斜め上方から視たX線画像を生成し、これを画像表示部61に表示させるようにしてもよい。また、画像表示部に対する観察者の位置が画像表示部に表示された下(又は上)の歯を下方から見上げるような位置である場合には、画像表示部には、当該下(又は上)の歯を斜め下方から見上げるような視線方向に応じて、当該歯を斜め下方から視たX線画像を生成し、これを画像表示部61に表示させるようにしてもよい。
なお、上記第1実施形態で説明した構成と、上記各変形例で説明した構成は、適宜組合わせることができる。例えば、距離特定部、視線方向操作受付部及び断層厚み受付部を複数組合わせて、X線画像表示装置に実装してもよい。
{第2実施形態}
第2実施形態に係るX線画像表示装置について説明する。ここでは、まず、上記第1実施形態と同様に、X線画像表示装置がX線撮影装置の表示装置として一体的に組合わされた例を説明する。なお、本実施の形態の説明において、第1実施形態等で説明したものと同様構成要素については同一符号を付してその説明を省略し、主に上記第1実施形態との相違点について説明する。
図40はX線撮影装置510の電気的構成を示すブロック図であり、図41はX線撮影装置510の機能ブロック図である。
本実施形態では、上記第1実施形態で説明したX線画像表示装置12に対して、画像表示部61の姿勢を取得する姿勢取得部としてのジャイロセンサ570及び加速度センサ572をさらに備えており、表示用画像処理部が画像表示部61の姿勢に応じて、表示方向設定用画像データ53dに基づいてX線画像を生成する処理をも実行可能に構成されている。
すなわち、X線撮影装置510の全体構成は、上記X線撮影装置10と同様であり、撮影本体部20と、X線画像処理装置540と、タブレット端末装置560とを備える。
タブレット端末装置560は、上記タブレット端末装置60において、ジャイロセンサ570及び加速度センサ572をさらに備える。ジャイロセンサ570は、振動型ジャイロセンサ等であり、物体の角速度又は角加速度等を検出するセンサである。加速度センサ572は、半導体式加速度センサ等であり、物体の加速度を検出するセンサである。
また、タブレット端末装置560の記憶部73には、上記表示用プログラム73aにおいて、ジャイロセンサ570及び加速度センサ572による出力結果を取得する指示及びその出力結果を送信するようにした表示用プログラム573aが格納されている。
X線画像処理装置540の記憶部には、上記表示用画像処理プログラム53bにおいて、撮像部62による撮像データに基づいて視線方向を決定することに加えて、ジャイロセンサ570及び加速度センサ572の出力結果に基づいて、画像表示部61において表示されるべきX線画像の視線方向を決定するようにした表示用画像処理プログラム553bが格納されている。これにより、X線画像処理装置540は、撮像部62による撮像データに基づいて視線方向を決定するだけではなく、ジャイロセンサ570及び加速度センサ572の出力結果に基づいて、X線画像として表示すべき視線方向を決定する視線方向決定部544としての機能を備える。
なお、図42に示すように、タブレット端末装置560の画像表示部61には、画像表示部61に表示すべきX線画像の視線方向を、観察者Pの実際の視線方向に基づいたものにすべきか、画像表示部61の傾きに応じたものにすべきかの選択操作を受付けるため、「視線方向」ボタン561a、「姿勢」ボタン561bが表示されている。観察者Pは、「視線方向」ボタン561a、「姿勢」ボタン561bを選択的にタッチすることで、画像表示部61に表示すべきX線画像の視線方向を上記のいずれにするかのモードにするかを選択することができる。
X線画像処理装置540及びタブレット端末装置560における処理としては、図43に示すように、まず、ステップT1において、モード設定の有無が判定される。モード設定無しと判定されると、ステップT1を繰返し、観察者Pが「視線方向」ボタン561a、「姿勢」ボタン561bを選択的にタッチすると、モード設定有りと判定され、ステップT2に進む。
ステップT2では、受付けられたモード設定の内容がX線画像処理装置540に送信される。
次ステップT3では、視線方向モードが受付けられた場合には、ステップT4に進み、姿勢モードが受付けられた場合には、ステップT5に進む。
ステップT4の視線変更モード処理は、上記第1実施形態で説明した処理である。ステップT5の姿勢モード処理については、後述する。
また、X線画像処理装置540では、ステップT11において、タブレット端末装置560からのモード設定の内容の受信の有無が判定され、受信無しと判定されると、ステップT11を繰返し、受信有りと判定されると、ステップT12に進む。
次ステップT12では、視線方向モードが受付けられた場合には、ステップT13に進み、姿勢モードが受付けられた場合には、ステップT14に進む。
ステップT13の視線変更モード処理は、上記第1実施形態で説明した処理である。ステップT14の姿勢モード処理については、後述する。
姿勢モードが受付けられた場合のX線画像処理装置540及びタブレット端末装置560における処理について説明する。この場合の処理は、次に述べる点を除いて、第1実施形態で図4を参照して説明した処理と同様であり、図44に示すようになる。相違点は、ステップS7の代りに、ジャイロセンサ570及び加速度センサ572による出力結果を取得するステップS61を実行し、ステップS8の代りに、出力データを送信するステップS62を実行し、ステップS25の代りに、出力データを受信したか否かを判定するステップS63を実行し、ステップS26の代りに、ジャイロセンサ570及び加速度センサ572による出力結果に基づいて生成すべきX線画像の視線方向を決定するステップS64を実行することである。
以下では、視線方向決定部544において、ジャイロセンサ570及び加速度センサ572の出力結果に基づいて、視線方向を決定する処理(ステップS64)の例についてより具体的に説明する。
すなわち、タブレット端末装置560には、ジャイロセンサ570及び加速度センサ572が設けられている。このため、加速度センサ572の出力結果に基づいて重力方向を検出でき、ジャイロセンサ570の出力結果に基づいて、タブレット端末装置560の傾きを検出することができる。従って、例えば、タブレット端末装置560の画像表示部61が重力方向に対して垂直な水平姿勢を基準として、画像表示部61の傾きを検出することができる。そこで、視線方向決定部544は、ジャイロセンサ570及び加速度センサ572の出力結果に基づいて視線方向を決定することができる。なお、ジャイロセンサ570及び加速度センサ572の出力結果は、タブレット端末装置560において、画像表示部61の傾きを表す出力として演算された後、視線方向決定部544に与えられてもよいし、ジャイロセンサ570及び加速度センサ572の出力結果がそのまま視線方向決定部544に与えられ、視線方向決定部544において、画像表示部61の傾きを表す値に演算されてもよい。
例えば、タブレット端末装置560は平板な形状であることが多いため、机上などに上向きで置かれることが多いので、観察者Pは、通常、画像表示部61の幅方向を重力方向に対して垂直な水平姿勢で画像表示部61を観察する。そこで、画像表示部61の幅方向が水平方向であれば、視線方向決定部544は、生成されるべきX線画像の視線方向585は、画像表示部61の幅方向に対する法線方向であるとする。
ここで、観察者Pが立体物の観察方向を変更するため、観察者Pが自己の視線方向を変更するのではなく、画像表示部61の傾きを変更する動作としては、次の動作が措定される。1つ目は、画像表示部61に立体物が固定的に存在すると想定して観察者Pが自己の顔に対して画像表示部61を姿勢変更する動作である。2つ目は、画像表示部61の反対側に仮想的な撮像部が設けられ、当該仮想的な撮像部で撮像された立体物が画像表示部に表示されていると想定して、画像表示部61を姿勢変更又は移動させる動作である。
両動作を想定した場合で、タブレット端末装置560の傾きに応じて反対側に傾けて視線方向を決定する。
説明を簡単にするため、図45に示すように、直角二等辺三角形を底辺とする三角柱形状の立体物590を考える。立体物590の周りの3つの側面のうち直角部分を挟む一方の第1側面591、他方の第2側面592を考える。以下の各図では、第1側面591に斜線模様を付し、第2側面592に格子模様を付する。この場合、図46に示すように、立体物590を、直角部分側から正面視すると(視線方向Da)、立体物590を示す方形形状イメージIaにおいて、その左半分に第1側面591が観察され、右半分に第2側面592が観察される。立体物590を、左寄りの位置から観察すると(視線方向Db)、立体物590を示す方形形状イメージIbにおいて、その左側の第1側面591が、右側の第2側面592よりも大きい領域で観察される。立体物590を、右寄りの位置から観察すると(視線方向Dc)、立体物590を示す方形形状イメージIcにおいて、その左側の第1側面591が、右側の第2側面592よりも小さい領域で観察される。
画像表示部61に立体物590が固定的に存在すると想定して観察者Pが立体物590を正面から観察する場合には、図47に示すように、観察者Pの位置(図では眼のみ図示)は、画像表示部61の法線方向延長上正面に位置し、観察者Pの実際の視線方向585Rは、重力方向に沿っている。画像表示部61に表示される立体物590の視線方向585は当該立体物590を正面から視る方向である。
上記状態から、観察者Pが実際の視線方向585Rを図47に示す方向に保ったまま、観察者Pが立体物590を第1側面591側から観察しようとすると、図48に示すように、観察者Pは、タブレット端末装置560を+α度(なお、各図において時計回りを正の回転方向、反時計回りを負の回転方向とする)傾ける動作を行うことになる。この想定による場合、観念的には立体物590は画像表示部61に対して固定されているので、画像表示部61を例えば傾動させると、立体物590はその分傾動する。観察者Pは傾動した立体物590を視線方向585から見ることになる。この場合、視線方向決定部544は、立体物590の正面方向に対して−α度傾く方向を視線方向585と決定すればよいことがわかる。
図48とは逆に、観察者Pが立体物590を第2側面592側から観察しようとすると、観察者Pは、タブレット端末装置560を−α度傾ける動作を行うことになる。この場合、視線方向決定部544は、立体物590の正面方向に対してα度傾く方向を視線方向と決定すればよい。
画像表示部61の反対側に仮想的な撮像部が設けられ、当該仮想的な撮像部で撮像された立体物が画像表示部に表示されていると想定して、画像表示部61を姿勢変更又は移動させる動作を想定した場合、観察者Pが立体物590を正面から観察すると、図47と同様となる。
上記状態から観察者Pが立体物590を第1側面591側から観察しようとすると、図49に示すように、観察者Pは、タブレット端末装置560の背面側の一定位置に立体物590が一定姿勢で存在することを想定し、タブレット端末装置560の背面側を立体物590の第1側面591側に向けるため、タブレット端末装置560を−α度傾ける動作を行うことになる。この想定による場合、図示の62rが仮想的な撮像部であるとして、画像表示部61を例えば傾動させると、仮想的な撮像部62rはタブレット端末装置560の画像表示部61の反対側すなわち背面側に固設されているので、その分傾動する。仮想的な撮像部62rは自らが傾動した状態で立体物590を視線方向585で撮像することになる。この場合、視線方向決定部544は、立体物590の正面方向に対して−α度傾く方向を視線方向585と決定すればよいことがわかる。
逆に、図49に示す状態から観察者Pが立体物590を第2側面592側から観察しようとすると、観察者Pは、タブレット端末装置560を正面視の状態から+α度傾ける動作を行うことが想定される。この場合、視線方向決定部544は、立体物590の正面方向に対して+α度傾く方向を視線方向と決定すればよい。
これにより、タブレット端末装置60の傾きに基づき決定された視線方向に応じて、表示方向設定用画像データ53dに基づいて、X線画像を生成し、これを画像表示部61に表示させることができる。タブレット端末装置60の傾き+α(又は-α)に対して、視線方向をいずれの方向に傾けるように設定してもよく、観察者Pの操作設定により選択できることが好ましい。
本実施形態によると、画像表示部61の姿勢に応じて、表示されるX線画像の視線方向を容易に設定できる。
なお、上記第2実施形態では、ジャイロセンサ570及び加速度センサ572の両方を備える構成で説明したが、画像表示開始時等の姿勢等を基準として、ジャイロセンサ570の検出結果に基づいて画像表示部61の傾きを検出し、その検出結果に基づいて視線方向を決定してもよい。また、画像表示開始時等の姿勢等を基準として、加速度センサ572の検出結果に基づいて画像表示部61の変位を検出し、その変位に基づいて視線方向を決定してもよい。すなわち、加速度センサ572とジャイロセンサ570の少なくとも一方を備えるようにする。
<第2実施形態に関する変形例>
本第2実施形態においても、上記第1実施形態に関する変形例として説明した内容は、矛盾しない限り、単独で又は組合わせて適用可能である。
例えば、本第2実施形態においても、上記第1変形例と同様に、視線方向決定部としての処理ステップがタブレット端末装置のプログラムに組込まれ、従って、タブレット端末装置が視線方向決定部としての機能部分を有していてもよい。
また、上第2変形例と同様に、図50の第8変形例のように、タブレット端末装置560に対応するタブレット端末装置560Bの記憶部73に表示方向設定用画像データ53dが記憶され、視線方向決定部544としての処理ステップ(ステップS64参照)がタブレット端末装置560Bのプログラムに組込まれ、従って、タブレット端末装置560Bが視線方向決定部544Bを有する構成であってもよい。
また、上記第6変形例と同様に、タブレット端末装置に、任意方向への視線方向の設定操作を受付け可能な視線方向操作受付部を付加し、当該視線方向受付部での設定操作受付に応じて、X線画像を生成し、当該X線画像を画像表示部に表示するようにしてもよい。
さらに、第7変形例と同様に、画像データとして、X線CT撮影データ、X線トモシンセシス撮影データの少なくとも一種を含む場合において、タブレット端末装置が関心断層の断層厚みの設定を受付け可能な断層厚み受付部をさらに備え、画像処理部は、断層厚み受付部で受付けられた関心断層の断層厚みに基づいて、X線画像を生成して、前記画像表示部に表示させる構成としてもよい。
{第3実施形態}
第3実施形態に係るX線画像表示装置について説明する。ここでは、まず、上記第1実施形態と同様に、X線画像表示装置がX線撮影装置の表示装置として一体的に組合わされた例を説明する。なお、本実施の形態の説明において、第1実施形態等で説明したものと同様構成要素については同一符号を付してその説明を省略し、主に上記第1実施形態との相違点について説明する。
図51はX線撮影装置710の電気的構成を示すブロック図であり、図52はX線撮影装置710の機能ブロック図である。本実施形態では、視線方向取得部として、画像表示部61の観察者を観察可能な撮像部62(第1実施形態参照)と、画像表示部61の姿勢を取得する姿勢取得部としてのジャイロセンサ770及び加速度センサ772(第2実施形態参照)と、これら撮像部62、ジャイロセンサ770及び加速度センサ772の検出結果に基づいて視線方向を決定する視線方向決定部744とを備える。そして、視線方向決定部744で決定された視線方向に応じて、上記第1又は第2実施形態と同様に、表示方向設定用画像データ53dに基づいて当該視線方向からのX線画像を生成する。
すなわち、X線撮影装置710の全体構成は、上記X線撮影装置10と同様であり、撮影本体部20と、X線画像処理装置740と、タブレット端末装置760とを備える。
タブレット端末装置760は、上記タブレット端末装置60において、ジャイロセンサ770及び加速度センサ772を追加的に備える。
また、タブレット端末装置760の記憶部73には、上記表示用プログラム73aにおいて、撮像部62に対する撮像指示及び撮像データを送信することに加えて、ジャイロセンサ770及び加速度センサ772による出力結果を取得する指示及びその出力結果を送信するようにした表示用プログラム773aが格納されている。
X線画像処理装置740の記憶部には、上記表示用画像処理プログラム53bにおいて、撮像部62による撮像データ、ジャイロセンサ770及び加速度センサ772の出力結果に基づいて、視線方向を決定するようにした表示用画像処理プログラム753bが格納されている。これにより、X線画像処理装置740は、撮像部62の撮像データ、ジャイロセンサ770及び加速度センサ772の出力結果に基づいて、視線方向を決定する視線方向決定部744としての機能を備える。
X線画像処理装置740及びタブレット端末装置760における処理の概略的な内容は、ステップS7において、ジャイロセンサ770及び加速度センサ772による出力結果を取得し、ステップS8において、ジャイロセンサ770及び加速度センサ772による出力結果をも送信し、ステップS25において、撮像部62の撮像データ、ジャイロセンサ770及び加速度センサ772による出力結果に基づいて視線方向を決定することを除いて、第1実施形態で図4を参照して説明した処理と同様である。
以下では、視線方向決定部744において、撮像部62の撮像データ、ジャイロセンサ770及び加速度センサ772による出力結果に基づいて視線方向を決定する処理例についてより具体的に説明する。
視線方向決定部744では、撮像部62の撮像データに基づいて、観察者の実際の視線方向を決定することができる(第1実施形態参照)。また、視線方向決定部744は、ジャイロセンサ770及び加速度センサ772の少なくも一方の出力結果に基づいて、画像表示部61の傾きを取得することができる。観察者の実際の視線方向及び画像表示部61の傾きに基づいて、表示方向設定用画像データ53dから生成すべきX線画像の視線方向を決定する処理としては、種々の処理が考えられるが、ここでは、観察者の実際の視線方向及び画像表示部61の傾きに基づいて、観察者の実際の視線方向の絶対的な方向(重力方向である鉛直方向に対する角度)を、生成すべきX線画像の視線方向と決定する。具体的には、画像表示部61の法線方向に対する観察者の実際の視線方向の傾きに画像表示部61の水平方向に対する傾きを加算した角度を、X線画像の視線方向の傾きとする。
すなわち、画像表示部61が重力方向に対して直交する姿勢である場合において、観察者Pが、画像表示部61の幅方向を重力方向に対して垂直な水平姿勢で画像表示部61を観察する場合は、上記図47に示す場合と同様である(ただし、立体物は画像表示部61に固定的に存在すると想定されておらず、画像表示部61から分離して従動しないように想定されている。)。視線方向決定部744は、観察者Pの実際の視線方向785Rは、0度の傾きを持つ方向であること、及び、画像表示部61は傾いていないことから、0度の傾きを持つ方向が視線方向785であると決定し、従って、正放射画像等のデフォルトX線画像を表示し続ける。
上記状態から、図53に示すように、観察者Pが真下を観察したまま、タブレット端末装置760を+α度傾けたとする。すると、ジャイロセンサ770及び加速度センサ772による出力結果に基づいて、画像表示部61の傾き+α度が得られる。また、撮像部62による撮像データから、観察者Pの実際の視線方向785Rは、−α度傾いていることが検出される。そこで、視線方向決定部744は、−α度に+α度を加算した0度が視線方向785の角度であると決定する。これにより、タブレット端末装置760を傾けたにも拘わらず、画像表示部61には、立体物590を正面から視た画像が表示される。
なお、図53の例においては、図49と同様、タブレット端末装置760の画像表示部61の反対側すなわち背面に図49と同様な仮想的な撮像部62rが設けられていると想定する。
また、図53に示す状態から、図54に示すように、観察者Pが視線方向785Rを、重力方向に対して+α度傾けたとする。すると、撮像部62による撮像データから、観察者Pによる視線方向は、画像表示部61の法線方向に一致していると演算される。このため、視線方向決定部744は、0度に+α度を加算した+α度が視線方向785の角度であると決定する。これにより、タブレット端末装置760の画像表示部61には、立体物590を、その正面から+α度傾けた方向からの画像が表示される。
また、図55に示すように、タブレット端末装置760の画像表示部61を重力方向に対して垂直な水平姿勢にすると共に、観察者Pが視線方向785Rを、重力方向に対して+α度傾けたとする。すると、ジャイロセンサ770及び加速度センサ772による出力結果に基づいて、画像表示部61の傾き0度が得られる。また、撮像部62による撮像データから、観察者Pによる視線方向785Rは、画像表示部61の法線方向に対して+α度傾いていると演算される。このため、視線方向決定部744は、+α度に0度を加算した+α度が視線方向785の角度であると決定する。これにより、タブレット端末装置760の画像表示部61には、正面から+α度傾けた視線方向からの立体物590の画像が表示される。
なお、観察者Pの実際の視線方向を上記と逆に−α度に傾けた場合には、図54及び図55に示す各場合とは逆方向からの立体物590が表示される。
勿論、上記例では、画像表示部61の傾きの大きさと、観察者Pの視線方向785Rの実際の傾きの大きさとが同じである例で説明したが、これらの大きさが異なる場合でも、上記したように、画像表示部61の法線方向に対する観察者の実際の視線方向の傾きに画像表示部61の水平方向に対する傾きを加算した角度を、X線画像の視線方向の傾きとすることができる。
この第3実施形態によると、撮像部62で撮像された観察者Pの実際の視線方向及び画像表示部の姿勢に応じて、表示されるX線画像の視線方向を容易に設定することができる。
特に、上記例によると、画像表示部61の法線方向に対する観察者の視線方向の傾きに画像表示部61の水平方向に対する傾きを加算した角度を、X線画像の視線方向の傾きとしているため、重力方向等のより絶対的な方向を基準としてX線画像の視線方向の傾きを決定することができる。このため、タブレット端末装置760の画像表示部61が傾いていても、観察者Pの視線方向が画像表示部61の法線方向に対して斜めであり重力方向に沿っていれば、画像表示部61には、立体物590を正面から視たX線画像が表示される。これにより、立体物590を正面から見た画像を、タブレット端末装置760に対して斜め方向から観察することも可能となる。一方、観察者Pの観察方向が重力方向等のより絶対的な方向を基準にして傾くと、X線画像として表示される立体物590の視線方向が変わる。このため、観察者Pの視線方向に応じて、X線画像として表示される立体物590の視線方向が変わることもできるため、観察者Pは立体感を掴みやすい。
以上、視線方向からのX線画像の表示は、例えば、X線CT画像がボリュームレンダリング画像のようなものであれば、立体的画像データをどの方向から見た画像とするかの問題であり、スライス画像であれば、どの方向にスライスするかの問題である。
図49、図53のように、観察者Pが画像表示部61を正視できない場合、表示される画像が、斜めから見る分、見かけ上の左右の幅が画像表示部61を正視した場合に比べて狭く見えるので、見かけの倍率が図47のように正視した場合と同じようになるように補正をかけてもよい。この補正をかける場合、例えば画面の左右の中心を補正の起点とするようにしてよい。
図45〜図49、図53〜図55のように、X線CT画像データやX線トモシンセシス画像データのような立体物の3次元画像データを仮想的に画像表示部61に配置して立体物の被観察方向を演算する処理を仮想3次元画像データ表示処理と称し、図48のように、立体物の3次元画像データが画像表示部61と固定的な位置関係にあり、画像表示部61に従動するとみなす構成を固定的仮想3次元画像データ表示処理と称し、立体物の3次元画像データが画像表示部61と分離した位置関係にあり、画像表示部61に従動しないとみなす構成を非固定的仮想3次元画像データ表示処理と称することとしてもよい。
固定的仮想3次元画像データ表示処理と非固定的仮想3次元画像データ表示処理の双方を可能とし、選択可能なように構成してもよい。
{その他の変形例}
上記実施形態では、歯を撮像した画像データに適用した例を説明したが、その他の人体部位(頭部、耳、胸部)等を撮影対象とした画像データについても、同様に適用することができる。
以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。