以下、添付図面を参照して、報知装置、報知方法及び医用画像診断装置の実施形態を詳細に説明する。なお、以下では、立体画像を利用者に表示する画像処理システムに報知装置が含まれる場合を例に説明する。ただし、これに限定されるものではなく、報知装置は、立体画像を利用者に表示する画像処理システムとは独立した別個の装置であっても良い。
(第1の実施形態)
まず、第1の実施形態における画像処理システムの構成例について説明する。図1は、第1の実施形態における画像処理システムの構成例を説明するための図である。
図1に示すように、第1の実施形態における画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140と、報知装置150とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となる。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。なお、以下では、説明の便宜上、立体画像を利用者に表示する端末装置140と併せて報知装置150が用いられる場合を例に説明する。ただし、これに限定されるものではなく、報知装置150は、任意の装置とともに用いられて良い。例えば、ワークステーション130が立体画像を利用者に表示する場合には、報知装置150は、ワークステーション130と併せて用いられることになる。
画像処理システム1は、医用画像診断装置110により生成されたボリュームデータに基づいて、立体画像を表示するための視差画像を生成し、立体画像を表示可能なモニタに生成した視差画像を表示することで、病院内に勤務する医師や検査技師に立体画像を提供する。
ここで、「立体画像」は、複数の視点から撮影された視差角の異なる複数の視差画像を表示することで利用者に表示される。言い換えると、「視差画像」は、複数の視点から撮影された視差角の異なる画像であって、利用者に立体画像を表示するための画像である。また、立体画像を表示するための視差画像は、例えば、ボリュームデータに対してボリュームレンダリング処理を行うことで生成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数を示す。また、「視差角」とは、視差画像各々の視点の位置各々の間隔とボリュームデータの位置とにより定まる角度のことである。
以下に詳細に説明するように、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行い、立体画像を表示するための視差画像を生成する。また、ワークステーション130及び端末装置140は、立体画像を表示可能なモニタを有し、ワークステーション130にて生成された視差画像をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像を取得し、取得したボリュームデータや視差画像に対して任意の画像処理を実行したり、視差画像をモニタに表示したりする。
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、医用画像診断装置110は、ボリュームデータを生成する。
具体的には、第1の実施形態における医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集する。そして、医用画像診断装置110は、収集したデータに基づいて被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110が、500枚のアキシャル面の医用画像を再構成した場合を用いて説明する。この場合、医用画像診断装置110により再構成された500枚のアキシャル面の医用画像群がボリュームデータとなる。
また、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
画像保管装置120は、医用画像を保管するデータベースである。具体的には、画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、画像保管装置120は、ワークステーション130によってボリュームデータから生成された視差画像を受信し、受信した視差画像を所定の記憶部に保管する。なお、画像保管装置120とワークステーション130とを統合して一つの装置としても良い。
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像を画像保管装置120から取得する。なお、画像保管装置120とワークステーション130とを統合して一つの装置としても良い。
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、ワークステーション130は、画像保管装置120からボリュームデータを取得する。そして、ワークステーション130は、取得したボリュームデータに対して種々のレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。例えば、ワークステーション130は、2視差の立体画像を利用者に表示する場合には、視差角が異なる2つの視差画像を生成する。また、例えば、ワークステーション130は、9視差の立体画像を利用者に表示する場合には、視差角が異なる9つの視差画像を生成する。
また、ワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像を生成し、生成した視差画像を立体表示モニタに表示することで、利用者に立体画像を表示する。この結果、ワークステーション130の利用者は、立体表示モニタに表示された立体画像を確認しながら、視差画像を生成するための操作を行うことが可能となる。
また、ワークステーション130は、生成した視差画像を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像を送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を併せて送信する。この際、ワークステーション130は、モニタの解像度は様々であることを踏まえ、視差画像の枚数や解像度を示す付帯情報を併せて送信しても良い。解像度とは、例えば、「466画素×350画素」などが該当する。
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させる端末である。具体的には、端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像を取得し、取得した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。また、例えば、端末装置140は、ワークステーション130から視差画像を受信すると、受信した視差画像を立体表示モニタに表示することで、立体画像を利用者に表示する。この結果、利用者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。端末装置140は、例えば、立体表示モニタを有する汎用PC(Personal Computer)やタブレット端末、携帯電話などが該当する。また、端末装置140は、例えば、外部装置としての立体表示モニタと接続された任意の情報処理端末が該当する。
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。立体表示モニタとしては、例えば、2つの視差画像を表示することで、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像(両眼視差画像)を表示するものがある。
図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行う立体表示モニタを例に示した。図2に示す例では、モニタを観察する利用者は、立体視用メガネとしてシャッターメガネを装着する。図2に示す例では、立体表示モニタは、2つの視差画像を交互に出射する。例えば、図2の(A)に示す立体表示モニタは、左目用の視差画像と右目用の視差画像とを120Hzにて交互に出射する。また、立体表示モニタは、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部が、視差画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
また、図2の(A)に示すように、シャッターメガネの赤外線受光部は、赤外線出射部により出射された赤外線を受光する。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。
ここで、シャッターメガネのシャッターにおける透過状態及び遮光状態の切り替え処理について説明する。シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
このことを踏まえ、立体表示モニタの赤外線出射部は、例えば、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、シャッターメガネの赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となる結果、利用者の左目にのみ左目用の画像が入射する。一方、立体表示モニタの赤外線出射部は、例えば、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、シャッターメガネの赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態となる結果、利用者の右目にのみ右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、立体画像を利用者に表示する。
また、立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差の立体画像を利用者が裸眼の利用者に表示するものもある。この場合、立体表示モニタは、両眼視差による立体視を可能とし、更に、利用者の視点移動に合わせて利用者によって観察される映像が変化する運動視差を有する立体画像を表示可能となる。
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタは、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタは、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられる。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
図3に示す例では、表示面200は、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す例では、立体表示モニタは、視差角が異なる9つの視差画像を所定フォーマット(例えば格子状)に配置した上で、表示面200に出力する。すなわち、図3に示す立体表示モニタは、視差角が異なる9つの視差画像において同一位置にある9つの画素それぞれが、9列の画素202それぞれに割り振られた中間画像を表示する。9列の画素202は、視差角の異なる9つの画像を同時に表示する単位画素群203となる。なお、図3に示す例では、中間画像が格子状となる場合を示したが、これに限定されるものではなく、任意の形状であって良い。
表示面200において単位画素群203として同時に出力された視差角が異なる9つの視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9つの視差画像の各画素の光が多方向に放射されることにより、利用者の右目及び左目に入射する光は、利用者の位置(視点の位置)に連動して変化する。すなわち、利用者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる視差画像となる。この結果、利用者は、例えば、図3に示す9つの位置それぞれにおいて、異なる視野角から撮影対象を見る立体画像を視認できる。また、利用者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す例では一例であり、これに限定されるものではない。例えば、図3に示す例では、横ストライプ(RRR…、GGG…、BBB…)液晶と縦レンズとの組み合わせを用いた場合を例に示したが、これに限定されるものではなく、例えば、縦ストライプ(RGBRGB…)液晶と斜めレンズとの組み合わせを用いても良い。
ここまで、第1の実施形態における画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用しても良い。この場合、画像保管装置120は、電子カルテを保管するデータベースとなる。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用しても良い。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更しても良い。
次に、第1の実施形態におけるワークステーション130の構成例について図4を用いて説明する。図4は、第1の実施形態におけるワークステーションの構成例を説明するための図である。
ワークステーション130は、画像処理等に適した高性能なコンピュータである。図4に示す例では、ワークステーション130は、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を利用者から受け付ける。具体的には、入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態における表示部132は、利用者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体画像等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。また、例えば、通信部133は、利用者によって端末装置140に入力されたレンダリング条件を端末装置140から受信する。
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理が行われた視差画像等とその付帯情報(視差数、解像度など)等を記憶する。
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
例えば、制御部135は、表示部132に対するGUIの表示や立体画像の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行われるボリュームデータや視差画像の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像の記憶部134への格納を制御する。
ワークステーション130の制御部135は、レンダリング処理部136によるレンダリング処理を制御し、レンダリング処理部136と協働することで、視差画像を生成する。
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像を生成する。具体的には、レンダリング処理部136は、記憶部134からボリュームデータを読み込み、読み込んだボリュームデータに対して前処理を行う。そして、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行うことで、立体画像を表示するための視差画像を生成する。そして、レンダリング処理部136は、生成した視差画像を記憶部134に格納する。
また、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像を生成し、生成したオーバーレイ画像を視差画像に重畳しても良い。この場合、レンダリング処理部136は、オーバーレイ画像が重複された視差画像を記憶部134に格納する。
なお、レンダリング処理とは、ボリュームデータに対して行う画像処理全体を示し、ボリュームレンダリング処理とは、レンダリング処理のうち、被検体の3次元の情報が反映された医用画像を生成する処理を示す。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。以下に詳細に説明するように、前処理部1361は、ボリュームデータに対する前処理を行う。3次元画像処理部1362は、前処理後のボリュームデータから視差画像を生成する。2次元画像処理部1363は、立体画像に各種情報が重畳された視差画像を生成する。
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う。図5に示す例では、前処理部1361は、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う。図5に示す例では、画像補正処理部1361aは、歪み補正処理部1361bと、体動補正処理部1361cと、画像間位置合わせ処理部1361dとを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。また、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
ここで、画像補正処理部1361aの歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行われた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
3次元物体フュージョン部1361eは、画像間位置合わせ処理部1361dにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
3次元物体表示領域設定部1361fは、利用者により指定された表示対象臓器に対応する表示領域を設定する。図5に示す例では、3次元物体表示領域設定部1361fは、セグメンテーション処理部1361gを有する。3次元物体表示領域設定部1361fのセグメンテーション処理部1361gは、利用者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する。
なお、セグメンテーション処理部1361gは、利用者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部1361gは、利用者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した利用者の微調整要求により再度実行される場合もある。
3次元画像処理部1362は、前処理部1361が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。図5に示す例では、3次元画像処理部1362は、ボリュームレンダリング処理を行う処理部として、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
投影方法設定部1362aは、立体画像を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する。図5に示す例では、3次元幾何変換処理部1362bは、平行移動処理部1362cと、回転処理部1362dと拡大縮小処理部1362eとを有する。3次元幾何変換処理部1362bの平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する。また、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する。また、拡大縮小処理部1362eは、立体画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する。
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362gと、3次元物体不透明度処理部1362hと、3次元物体材質処理部1362iと3次元仮想空間光源処理部1362jとを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、利用者の要求に応じて、視差画像を表示することで利用者に表示される立体画像の表示状態を決定する。
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する。また、3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像において描出されない。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像において描出されない。
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する。仮想光源の種類としては、無限遠から平行光線を照射する光源や、視点から放射状の光線を照射する光源等があげられる。
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
ここで、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、受け付けたレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。レンダリング条件は、入力部131を介して利用者から受け付けたり、初期設定されたり、通信部133を介して端末装置140から受け付けたりする。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定し、3次元仮想空間レンダリング部1362kは、決定された各種情報を用いて立体画像を生成する。
なお、例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「立体画像の拡大」、「立体画像の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。
図6は、第1の実施形態におけるボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行光線を照射する光源を設定する。
あるいは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。この場合、3次元仮想空間レンダリング部1362kは、視点移動する平面上に存在するボリュームデータの切断面の重心を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。言い換えると、3次元的な体積の重心ではなく、2次元的な切断面の重心を中心に回転移動して、9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であっても良い。
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行っても良い。
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、9つの視差画像を生成する。
なお、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行うことで、ボリュームデータからMPR画像を再構成する機能も有する。また、3次元仮想空間レンダリング部1362kは、MPRとして「Curved MRP」を行う機能や、「Intensity Projection」を行う機能も有する。
また、3次元画像処理部1362がボリュームデータから生成した視差画像は、アンダーレイ(Underlay)として用いた上で、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ画像をオーバーレイ(Overlay)として重畳しても良い。この場合、2次元画像処理部1363は、オーバーレイとなるオーバーレイ画像とアンダーレイとなる視差画像に対して画像処理を行うことで、オーバーレイ画像が重畳された視差画像を生成する。図3に示す例では、2次元画像処理部1363は、2次元物体描画部1363aと、2次元幾何変換処理部1363bと、輝度調整部1363cとを有する。なお、各種情報の描画処理コスト低減のため、オーバーレイを1枚だけ描画しておき、1枚のオーバーレイをアンダーレイとなる9枚の視差画像それぞれに重畳することで、オーバーレイ画像が重畳された9枚の視差画像を生成しても良い。
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する。また、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする。また、輝度調整部1363cは、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する。また、輝度調整部1363cは、例えば、レンダリング画像に対する輝度変換処理を行う。
レンダリング処理部136により生成された視差画像は、例えば、制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。その後、例えば、端末装置140は、画像保管装置120からオーバーレイ画像が重畳された視差画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示することで、利用者である医師や検査技師に、各種情報(目盛り、患者名、検査項目等)が描出された立体画像を表示可能となる。
図7は、第1の実施形態における報知装置の構成の一例を示すブロック図である。報知装置150は、立体画像を表示可能なモニタと併せて用いられる。例えば、報知装置150は、端末装置140が設置された部屋にて端末装置140と併せて用いられ、ワークステーション130が設置された部屋にてワークステーション130の表示部132と併せて用いられる。図7に示すように、報知装置150は、方向部材151と、照射部材152と、制御部153とを有する。
方向部材151は、制御部153と接続される。方向部材151は、任意の方向や領域の広さを示すことが可能な部材である。方向部材151は、例えば、任意の方向を示すことが可能であり、幅を任意に変更可能であるアンテナが該当する。方向部材151は、「報知部材」とも称する。
方向部材151は、制御部153による制御に基づいて、任意の方向や領域を利用者に示す。例えば、方向部材151は、向きを変えることで利用者に方向を示す。また、例えば、方向部材151は、水平方向における幅を変更することで、報知装置150を基点とする扇形の領域の大きさを利用者に示す。図8〜図12を用いて、第1の実施形態における方向部材の一例を示す。図8〜図12では、説明の便宜上、方向部材151に加えて端末装置140を併せて示した。図8〜図12に示した方向部材151の形状は、一例であり、これに限定されるものではない。例えば、図8〜図12に示す例では、方向部材151が3つの方向を示すことが可能である場合を示したが、これに限定されるものではなく、任意の数であって良い。なお、図8〜図12において、x方向は水平方向を示し、y方向は垂直方向を示し、z方向は奥行き方向を示す。
図8や図9は、方向部材が端末装置の正面を示す場合の一例を示す図である。図10や図11は、方向部材が端末装置の正面と左右とをそれぞれ示す場合の一例を示す図である。図12は、水平方向における幅が変更された方向部材の一例を示す図である。図12に示すように、方向部材151は、水平方向における幅を任意に変更可能である。後述するように、方向部材151により示される方向や幅は、制御部153により制御される。
照射部材152は、制御部153と接続される。照射部材152は、任意の領域を照射可能な部材である。例えば、照射部材152は、端末装置140が設置された部屋において、任意の領域を任意の光で照射することで、光が照射された領域と光が照射されなかった領域とが利用者によって区別可能となる。照射部材152は、制御部153による制御に基づいて、任意の領域を照射する。照射部材152は、「報知部材」とも称する。
制御部153は、方向部材151と照射部材152と接続される。制御部153は、例えば、CPUやMPU、GPU等の電子回路、ASICやFPGA等の集積回路である。図7に示す例では、制御部153は、受付部1531と、報知部1532とを有する。
受付部1531は、立体表示されている被検体の立体画像の視差数を受け付ける。また、受付部1531は、立体表示されている被検体の立体画像を表示するための視差画像各々の視差角を受け付ける。
ここで、受付部1531は、例えば、視差数やコンテンツに関する情報を、立体画像を利用者に表示している立体画像表示装置から受信する。例えば、受付部1531は、端末装置140から受信する。ただし、これに限定されるものではなく、受付部1531は、立体画像を表示するための視差画像を生成して立体画像表示装置に出力する装置から受信しても良い。
視差画像を生成して端末装置140に出力するワークステーション130から受信するのではなく、立体画像を利用者に表示している端末装置140から視差数やコンテンツに関する情報を受信する利点について簡単に説明する。例えば、ワークステーション130が9つの視差画像を生成し、端末装置140が視差画像を表示することで立体画像を利用者に表示している場合を用いて説明する。この場合、端末装置140は、9つの視差画像を用いて9視差の立体画像を利用者に表示することもでき、9つの視差画像のうち2枚の視差画像を交互に表示することで2視差の立体画像を利用者に表示することもできる。言い換えると、ワークステーション130により出力された視差画像の視差数と、端末装置140により表示された視差画像の視差数とは、同一とならない場合がある。このことを踏まえ、受付部1531は、立体画像を利用者に表示している端末装置140から視差数やコンテンツに関する情報を受信することで、実際に利用者に表示されている立体画像についての情報を受け付け可能となる。
例えば、受付部1531は、端末装置140やワークステーション130に立体画像の視差数の送信を要求することで、端末装置140やワークステーション130から視差数を受信する。また、視差画像各々の視差角については、視差画像の付帯情報に視差角が含まれている場合には、例えば、受付部1531は、利用者に表示されている立体画像を表示するための視差画像各々を受け付けることで、視差画像各々に含まれる視差角各々を受け付ける。
ただし、受付部1531による受け付け手法は、端末装置140やワークステーション130に要求する手法に限定されるものではなく、任意の手法を用いて良い。例えば、受付部1531は、端末装置140を監視することで、立体画像の視差数を取得しても良い。より詳細な一例をあげて説明すると、受付部1531は、端末装置140により表示されている画像の変化を監視し、2つの視差画像を交互に表示しているとの監視結果が得られた場合には、「2視差」としても良い。
報知部1532は、報知部材により示される方向が、受付部151により受け付けられた視差数により決定される方向であって、他の方向と比較して立体画像の立体感が強くなる立体感方向になるように制御することで、立体感方向を報知する報知する。具体的には、報知部1532は、立体画像を立体表示しているモニタにより一意に決定される視差数に応じた立体感方向に加えて、モニタにより一意に決定される視差数に応じた他の領域と比較して立体画像の立体感が強くなる立体感領域を併せて報知する。
例えば、報知部1532は、方向部材151により示される方向及び領域が、立体感方向及び立体感領域となるように制御することで、立体感方向及び立体感方向を報知する。また、例えば、報知部1532は、照射部材152により照射される方向及び領域が立体感方向及び立体感領域となるように制御することで、立体感方向及び立体感方向を報知する。
報知部1532により報知される方向と領域との一例を示す。図13を用いて、視差数が「9視差」である場合について説明する。言い換えると、端末装置140が、レンチキュラーレンズ等の光線制御子を用いることで、9視差の立体画像を利用者が裸眼の利用者に表示する場合について説明する。図13は、第1の実施形態における報知部により報知される方向と領域との一例を示す図である。この場合、端末装置140により表示される立体画像は、運動視差を有する。言い換えると、利用者の位置によって、利用者の左右の目が視認する2つの視差画像の組み合わせが変化する。
図13に示すモニタの例では、視差数が「9視差」である場合には、他の方向と比較して立体画像の立体感が強くなる立体感方向は、端末装置140の正面方向と、+−60度の方向各々とになる。このことを踏まえ、報知部1532は、「9視差」である場合には、正面方向と、+−60度の方向各々とを報知する。
立体画像を裸眼にて利用者が認識可能な立体画像を利用者に表示する場合、データの粗密によって、立体画像の立体感がウィークポイントと比較して強くなるスイートスポットと、立体画像の立体感がスイートスポットと比較して弱くなるウィークポイントとが存在する。例えば、レンチキュラーレンズを有するモニタのサイズが20インチであり、画素数が4K2Kであり、モニタから9視差の立体画像をハイビジョン画質にて表示する場合を例に説明する。この場合、例えば、モニタの正面と±60度方向にスイートスポットが存在し、スイートスポットの範囲は±60度方向から±15度となる。このことを踏まえ、報知部1532は、「9視差」である場合には、正面方向と、+−60度の方向各々とを報知するとともに、報知した方向各々を中心とする30度程度の範囲に含まれる領域を報知する。なお、スイートスポットを「立体感領域」とも記載する。
図14〜図17は、スイートスポットとウィークスポットとの一例に示す図である。図14〜図17に示す例では、9視差の立体画像をレンチキュラーレンズを用いて立体表示する場合を用いて説明する。
図14〜図16に示す例では、説明の便宜上、画素311〜画素319と、画素321〜画素329と、画素331〜画素339とは、それぞれ、異なる単位画素群に含まれる画素である場合を用いて説明する。また、画素311〜画素319と、画素321〜画素329と、画素331〜画素339とは、それぞれ、別のレンチキュラーレンズ301〜303が前面に設けられている場合を用いて説明する。
図14に示すように、単位画素群から出力される光は、単位画素群の正面に設けられたレンチキュラーレンズを介して、モニタの正面方向で観測される。例えば、画素321〜画素329により出力される光は、レンチキュラーレンズ302を介して、モニタの正面で観測される。すなわち、図14に示すモニタの正面の領域341は、スイートスポットとなる。
また、図15や図16に示すように、単位画素群から出力される光は、隣接する単位画素群の正面に設けられたレンチキュラーレンズを介して、モニタのサイド方向にて観測される。図15に示す例では、画素331〜画素339により出力される光は、隣接するレンチキュラーレンズ302を介して、モニタから見て右方向にて観測される。同様に、図16に示す例では、画素311〜画素319により出力される光は、隣接するレンチキュラーレンズ302を介して、モニタから見て左方向にて観測される。すなわち、図15や図16に示すモニタの左右方向にある領域341及領域342は、スイートスポットとなる。
ここで、モニタの全単位画素群から出力される光を観測可能なスイートスポットについて検討する。この場合、図17の351に示すように、全単位画素群から出力される光を、単位画素群各々の正面に設けられたレンチキュラーレンズを介して観測可能となる領域は、領域361となる。また、同様に、図17の352や353に示すように、全単位画素群から出力される光を、隣接するレンチキュラーレンズを介して観測可能となる領域は、領域362や領域363となる。この結果、図17の354に示すように、モニタの正面と±60度方向にスイートスポットが存在することとなる。
ここで、立体感方向と立体感領域の広さについて補足する。立体感方向と立体感領域の広さは、視差数や、モニタの前面に設けられたレンチキュラーレンズや視差数によって変化する。また、立体画像を表示する表示モニタには様々なものがあり、モニタの前面に設けられたレンチキュラーレンズも様々なものがある。この結果、視差数が同一であったとしても、立体感方向や立体感領域の広さは、モニタによって異なる場合がある。図14〜図17に示す例を用いて更に説明する。レンチキュラーレンズの凹凸の角度が変わると、単位画素群から出力される光の照射方向や範囲が変化する。この結果、モニタの全単位画素群から出力される光を観測可能なスイートスポットの方向や広さも変化する。言い換えると、立体感方向や立体感領域の広さが変化する。
このことを踏まえ、報知部1532は、立体画像を立体表示しているモニタにより一意に決定される視差数に応じた立体感方向に加えて、モニタにより一意に決定される立体感領域を併せて報知する。例えば、報知部1532は、モニタごとに、立体感方向や立体感領域の広さを視差数に対応付けて保持しておき、受付部1531により受け付けられた視差数に対応する立体感方向や立体感領域の広さのうち、立体画像を立体表示しているモニタに対応する立体感方向や立体感領域の広さを報知する。
なお、上述した説明では、視差角を受け付けた上で立体感領域や立体感方向を報知する場合について説明したが、これに限定されるものではなく、他の要素を用いて立体感領域を報知しても良い。例えば、受付部1531が、モニタを識別する識別情報と視差数とを受け付けた上で、報知部1532が立体感方向や立体感領域の広さを報知しても良い。
視差数が「2視差」である場合について説明する。言い換えると、端末装置140が、立体視用メガネ等の専用機器を装着した利用者に2視差の立体画像を表示している場合について説明する。この場合、利用者は、利用者の位置に関係なく、端末装置140により表示される2つの視差画像を視認する。このことを踏まえ、例えば、報知部1532は、方向として正面を報知する。
報知部1532は、任意の方向を示すことが可能な方向部材151により示される方向が立体感方向になるように制御することで、立体感方向を報知する。また、報知部1532は、幅を任意に変更可能な方向部材151により示される幅を変更することで、立体感領域を利用者に報知する。例えば、報知部1532は、2視差である場合には、図8や図9に示すように、方向部材151により示される方向が正面となるように制御することで、立体感方向として正面を報知する。また、例えば、報知部1532は、9視差である場合には、図10や図11に示すように、方向部材151により示される方向が正面と+−60度の方向となるように制御することで、立体感方向として正面と+−60度の方向とを報知する。また、報知部1532は、9視差である場合には、図12に示すように、視差画像各々の視差角や3Dモニタの性能に基づいて決定される立体感領域の広さに応じて、方向部材151の幅の広さを制御することで、立体感領域を報知する。
また、報知部1532は、任意の領域を照射可能な照射部材152により照射される方向及び領域が立体感方向及び立体感領域となるように制御することで、立体感方向を報知する。例えば、報知部1532は、床面や天井に光線を照射することで、立体感方向や立体感領域を報知する。
(第1の実施形態による処理)
図18は、第1の実施形態における報知装置による処理の流れの一例を示すフローチャートである。図18に示すように、報知装置では、受付部1531が、被検体の立体画像の視差数を受け付けると(ステップS101肯定)、報知部1532が、立体画像の立体感が強くなる立体感方向を報知する(ステップS102)。
ただし、図18に示す処理の流れは一例であって、これに限定されるものではない。例えば、受付部1531は、更に、立体画像を表示するための視差画像の視差角各々を受け付け、報知部1532が、立体感領域を報知しても良い。
(第1の実施形態による効果)
上述したように、第1の実施形態によれば、立体表示されている被検体の立体画像の視差数を受け付けると報知部材により示される方向が、受け付けられた視差数により決定される方向であって、他の方向と比較して立体画像の立体感が強くなる立体感方向になるように制御することで、立体感方向を報知する。この結果、立体画像を視認できる方向を把握可能である。
また、第1の実施形態によれば、どの方向から立体画像が見えるかをどこからでも確認可能となる。例えば、術者に立体画像が見えるようにする場合、スタッフが3Dモニタの位置を調整することになる。ここで、方向部材151が立体感方向を報知することで、3Dモニタの裏側からでも、側面からでも、どこからでも立体感方向を把握可能となり、適切な向きに調整することが可能となる。
また、第1の実施形態によれば、報知部1532は、立体画像を立体表示しているモニタにより一意に決定される視差数に応じた立体感方向に加えて、モニタにより一意に決定される視差数に応じた他の領域と比較して立体画像の立体感が強くなる立体感領域を併せて報知する。この結果、立体画像を視認できる場所を把握可能となる。
すなわち、医療分野で用いられる3Dモニタでは、奥行きのある立体画像が表示されることになる。しかしながら、立体画像の視差数によっては、視野角が狭くなり、利用者の位置によっては立体画像として見にくい場合がある。このことを踏まえ、立体感方向や、コンテンツによって決定される立体感領域を報知することで、利用者が実際に立体画像を見える場所を把握可能となる。
また、立体感方向や立体感領域が報知されることで、立体感方向や立体感領域を利用者が簡単に把握することができ、立体感方向や立体感領域から3Dモニタを見るように誘導することも可能となる。
また、第1の実施形態によれば、報知部材は、向きを変更可能な方向部材151であって、報知部1532は、方向部材151により示される方向及び領域が、立体感方向及び立体感領域となるように制御することで、立体感方向及び立体感領域を報知することを特徴とする。この結果、どの方向から立体画像が見えるかをどこからでも確認可能となる。
また、第1の実施形態によれば、報知部材は、任意の領域に照射可能な照射部材152であって、報知部1532は、照射部材152により照射される方向及び領域が立体感方向及び立体感領域となるように制御することで、立体感方向及び立体感領域を報知する。この結果、どの方向から立体画像が見えるかをどこからでも確認可能となる。
(第2の実施形態)
さて、上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
(モニタにて報知)
例えば、立体感領域や立体感方向をモニタに表示することで報知しても良い。また、任意の方法を用いて立体感領域や立体感方向を報知して良い。
(立体感方向及び立体感領域)
例えば、立体感方向及び立体感領域のうち、いずれか一方のみを報知しても良い。
(システム構成)
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報(図1〜15)については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしても良い。
(その他)
なお、本実施形態で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、ブルーレイなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
(実施形態の効果)
以上述べた少なくとも一つの実施形態の画像処理装置によれば、立体表示されている被検体の立体画像の視差数を受け付け、受け付けられた視差数により決定される方向であって、他の方向と比較して立体画像の立体感が強くなる立体感方向を報知する。この結果、立体画像を視認できる方向を把握可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。