JP5572437B2 - ３次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム - Google Patents

Description

本発明は、３次元医用画像から立体視用画像を生成する装置および方法、並びにプログラムに関するものである。

３次元医用画像データに基づいて立体視表示を行う技術が知られている。

例えば、ＣＴ等による複数の断層画像に基づいて、左右両眼の位置から被検物体の断面を見た２つの視差画像を生成し、生成された視差画像を２つのディスプレイに表示させる断層写真立体表示装置が提案されている。ここで、視差画像は、左右各々の視点について、視点と投影面とを結ぶ視線上にある断層画像の各画素の濃淡値を積算し、必要に応じて陰影づけや着色を行うことによって得られる。この装置によって表示された視差画像を、観察者がステレオビューワを介して両眼で同時に観察すれば、被検物体を立体的に観察することができる（例えば、特許文献１）。

また、仮想内視鏡画像の立体視表示手法も提案されている。具体的には、ボリュームレンダリング法等を用いて左右両目の各視点からの中心投影による視差画像を生成し、左目用の視差画像は左目のみ、右目用の視差画像は右目のみで見られるように構成されたヘッドマウンテッド・ディスプレイに表示させることにより、観察者は仮想内視鏡画像のステレオ視を行うことができる（例えば、特許文献２）。

一方、被検眼の眼底を表す左右の視差画像を撮影し、これらの視差画像を用いて立体視表示された画像の一部を拡大表示したい場合において、一方の視差画像を表示し、表示された視差画像中で所望の拡大範囲の設定を受け付け、設定された拡大範囲に対応する範囲を他方の視差画像にも自動設定し、両視差画像で設定された範囲を切り出し、拡大して立体視表示する手法が提案されている（例えば、特許文献３）。

特開昭６２−１６７４１号公報 特開平７−２１０７０４号公報 特開２００７−１５１９８３号公報

しかしながら、立体視表示された画像を見る実質的な視線と個々の視差画像における視線とではその方向が異なっているので、特許文献３に記載の手法のように一方の視差画像に対して範囲設定操作を行った場合には、立体視表示された画像を見る実質的な視線と、範囲設定操作が行われた視差画像における視線の方向の違いにより、範囲設定の操作の際に違和感が生じたり、設定された範囲が立体視表示された画像における所望の範囲と異なっていたりすることがありうる。とはいえ、特許文献３の手法では、立体視表示のもとになる画像は、撮影で得られた２つの視差画像のみであり、範囲設定操作において他の画像を用いることができない。

また、立体視表示を行うには、それに対応した表示装置が必要となるが、実際の医療現場では、医用画像を出力するすべての装置において立体視表示が可能であるとは限らないし、その必要があるとも限らない。

本発明は上記事情に鑑みてなされたものであり、３次元医用画像から立体視用の画像を生成する装置および方法、並びにプログラムを、立体視出力が不適切な場合や不要な場合にも柔軟かつ適切に対応できるようにすることを目的とするものである。

本発明の立体視用画像生成装置は、被検体を表す３次元医用画像を入力として、所与の画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成する立体視用画像生成手段と、前記３次元医用画像と前記立体視用画像の生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成する非立体視用画像生成手段とを設けたことを特徴とする。

本発明の立体視用画像生成方法は、被検体を表す３次元医用画像を入力として、所与の画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成するステップと、前記３次元医用画像と前記立体視用画像の生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成するステップとを有することを特徴とする。

本発明の立体視用画像生成プログラムは、コンピュータに上記方法を実行させるためのものである。

本発明において、「立体視用画像」の具体例としては、異なる視点から見た被検体を表す複数の視差画像が挙げられる。この視差画像は、視差画像における視点から被検体に向かう視線上の複数の点における画素値の少なくとも１つを投影することによって得られた投影画像としてもよい。また、この投影画像は、例えばボリュームレンダリング法等の手法によって得られる、被検体の奥行き方向の情報が表された疑似３次元画像としてもよい。さらに、立体視用画像は、立体視表示のための立体視用領域と非立体視表示のための非立体視用領域とを含んでいてもよい。

「所与の（立体視用）画像生成条件」とは、どのような立体視用画像を生成するかを決定するためのものであり、例えば、視差画像の数、視点位置、視線方向、投影方法（平行投影・中心投影等）、画像生成手法（ボリュームレンダリング、ＭＩＰ、ＭｉｎＩＰ、ＭＰＲ等）等が挙げられる。

一方、「非立体視用画像」は、立体視用画像による立体視出力と等価な出力を、立体視を行わないで出力するための画像である。具体例としては、立体視用画像である複数の視差画像における複数の視点と等価な単一の視点（等価視点）から見た被検体を表す画像が挙げられる。ここで、等価視点は、例えば、複数の視差画像における複数の視点を結ぶ線分の中点のように各視点から等距離にある点としてもよいし、各視点までの距離が所定の比率となる点としてもよい。また、立体視用画像と同様に、この非立体視用画像も、等価視点から被検体に向かう視線上の複数の点における画素値の少なくとも１つを投影することによって得られた投影画像としてもよいし、投影画像は、例えばボリュームレンダリング法等の手法によって得られる、被検体の奥行き方向の情報が表された疑似３次元画像としてもよい。

なお、立体視用画像や非立体視用画像を投影画像として生成する場合、その投影方法は平行投影であってもよいし、中心投影であってもよい。ここで、平行投影の場合、立体視用画像の視点や非立体視用画像の等価視点は各々の視線方向の無限遠方に配置されたと解釈することができる。

本発明の立体視用画像生成装置において、前記立体視用画像と前記非立体視用画像とを、所定の出力画像選択条件に基づいて選択的に出力する選択的出力手段をさらに設けてもよい。ここで、選択的出力手段は、出力画像選択条件に基づいて、立体視用画像生成手段と非立体視用画像生成手段のいずれか一方に画像を生成させるようにし、生成された画像を出力するようにしてもよいし、出力画像選択条件にかかわらず、立体視用画像生成手段と非立体視用画像生成手段の各々が画像を生成するようにし、選択的出力手段が、出力画像選択条件に応じて、生成された画像から、出力する画像を選択するようにしてもよい。

また、本発明の立体視用画像生成方法においても同様に、前記立体視用画像と前記非立体視用画像とを、所定の出力画像選択条件に基づいて選択的に出力するステップをさらに設けてもよい。あるいは、所定の出力画像選択条件に基づいて、前記立体視用画像と前記非立体視用画像のいずれか一方を選択的に生成するようにし、前記選択的に生成された画像を出力するステップをさらに設けてもよい。

さらに、本発明の立体視用画像生成プログラムにおいても同様に、コンピュータに上記方法のいずれかの態様を実行させるようにしてもよい。

ここで、「出力画像選択条件」は、出力先の装置に対して、立体視用画像と非立体視用画像のいずれか一方または両方を出力するための条件を定義したものであり、いずれの画像も出力しない条件を含んでいてもよい。

具体的には、「出力画像選択条件」は、立体視用画像または非立体視用画像の出力先の装置に応じて定義するようにしてもよい。例えば、出力先の装置が立体視用画像を表示可能な表示装置の場合には立体視用画像を出力させ、出力先の装置が医用画像を保管する画像保管装置の場合には非立体視用画像を出力させるように定義してもよいし、出力先の装置が立体視用画像を提示可能な装置の場合には立体視用画像を出力させ、出力先の装置が立体視用画像を提示不可能な 装置の場合には非立体視用画像を出力させるように定義してもよい。ここで、立体視用画像を提示不可能な装置の具体例としては、医用画像のハードコピー出力を行う装置が挙げられる。

あるいは、出力先の装置は、立体視用画像に基づく立体視表示と非立体視用画像に基づく非立体視表示とを選択的に行うことが可能な表示装置とし、「出力画像選択条件」は、出力先の表示装置によって立体視表示された立体視用画像に対して、入力手段による立体視用画像中の所望の位置の指定を伴う操作が行われることを検知した場合には、非立体視用画像を出力させるように定義してもよい。この場合、出力先の表示装置は、立体視表示と非立体視表示とを表示画面中に混在させた表示がさらに可能な装置としてもよい。さらに、３次元医用画像に基づいて、被検体の所与の断面を非立体視するための断面画像を生成し、生成された断面画像と、立体視用画像または非立体視用画像とを表示画面中に混在させて表示装置に表示させるようにしてもよい。

また、本発明において、立体視用画像を立体視表示可能な表示装置に表示させるとともに、表示装置に立体視表示された立体視用画像に対して、入力手段による立体視用画像中の所望の位置の指定を伴う操作が行われた場合に、非立体視用画像を用いて、指定された位置を特定するようにしてもよい。

本発明によれば、３次元医用画像を入力として、立体視用画像の生成条件に基づいて、立体視用画像を生成するだけでなく、立体視用画像と等価な非立体視用画像も生成することができるので、立体視出力が不適切な場合や不要な場合にも柔軟かつ適切に対応できるようになる。

その際、本発明では、入力として３次元医用画像を用いるようにしたので、再撮影を行うことなく、より容易かつ柔軟に、立体視用画像に等価な非立体視用画像を生成することができる。

また、所定の出力画像選択条件に基づいて、立体視用画像と非立体視用画像とを選択的に出力するようにすれば、立体視用画像の出力を状況や用途に応じてより柔軟かつ適切に行うことが可能になる。

ここで、選択的な出力の具体例として、出力先の装置が立体視用画像を提示可能な装置の場合には立体視用画像を出力させ、出力先の装置が立体視用画像を提示不可能な装置や医用画像保管装置の場合には非立体視用画像を出力させるようにすれば、立体視出力が可能あるいは必要な装置にのみ、立体視用画像を出力することが可能になり、出力装置との接続互換性が向上する。

また、出力先の表示装置によって立体視表示された立体視用画像に対して、入力手段による立体視用画像中の所望の位置の指定を伴う操作が行われることを検知した場合には、非立体視用画像を出力させるようにすれば、立体視用画像に等価な非立体視用画像に対して上記操作を行うことが可能になり、上記操作の際に立体視のための視差画像の一方を出力させた場合のように、立体視表示された画像を見る実質的な視線との相違による違和感を覚えたり、上記操作において、ユーザの所望する位置とは異なる位置が指定されたりすることがなくなるので、操作性が向上する。

本発明の実施の形態となる立体視用画像生成装置が導入された医用画像診断システムの概略構成図 本発明の第１の実施形態における立体視用画像生成機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第１の実施形態における立体視用画像生成処理の流れを表したフローチャート 立体視対応ディスプレイの１つの表示画素の構成を模式的に表した図 ３次元医用画像中の被検体と左右各眼の視差画像の視点や両視点に等価な単一の視点との位置関係を平面的に表した図 出力画像選択条件テーブルの構成と設定内容の一例を示した図 本発明の第１の実施形態の変形例となる立体視用画像生成処理の流れを表したフローチャート（前半） 本発明の第１の実施形態の変形例となる立体視用画像生成処理の流れを表したフローチャート（後半） 本発明の第２の実施形態における立体視用画像生成機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の第２の実施形態における立体視用画像生成処理の流れを表したフローチャート 立体視対応ディスプレイに表示される画面の構成の一例を模式的に表した図 左眼用表示画面における左眼用の視差画像と直交３断面画像のレイアウトの一例を示す図 右眼用表示画面における右眼用の視差画像と直交３断面画像のレイアウトの一例を示す図 直交３断面画像の非立体視とボリュームレンダリング画像の立体視の混在表示の一例を模式的に表した図 各眼用表示画面における非立体視用画像と直交３断面画像のレイアウトの一例を示す図 ボリュームレンダリング画像と直交３断面画像の非立体視表示の一例を模式的に表した図 各眼用表示画面における直交３断面画像のレイアウトの一例を示す図 直交３断面画像のみの非立体視表示の一例を模式的に表した図 左眼用表示画面における左眼用の視差画像と直交３断面画像のレイアウトの他の一例を示す図 右眼用表示画面における右眼用の視差画像と直交３断面画像のレイアウトの他の一例を示す図 直交３断面画像の非立体視とボリュームレンダリング画像の立体視の混在表示の他の一例を模式的に表した図 立体視表示された画像に対して視線方向の切断を行うための断面を設定する際の画像表示例を表した図 立体視表示された画像に対して局所領域の拡大表示を行うための注目領域を設定する際の画像表示例を表した図 非立体視表示された断面画像中のアノテーションと立体視表示されたボリュームレンダリング画像中のアノテーションの連動表示例を表した図 ポインティングデバイスのポインタとサブメニューの立体視表示例を表した図 被検体の向きを表すアイコンの一例を表す図

以下、本発明の実施の形態となる立体視用画像生成装置が導入された医用画像診断システムについて説明する。

図１は、この医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、読影レポートサーバ３と、画像処理ワークステーション４と、プリンタ５とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。

画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション４での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。また、画像保管サーバ２は、画像処理ワークステーション４からの閲覧要求に応じてデータベースの検索を行い、抽出された画像データを要求元の画像処理ワークステーション４に送信する。

読影レポートサーバ３は、画像処理ワークステーション４で作成された読影レポートのデータをデータベースに保存・管理するコンピュータである。また、読影レポートサーバ３は、画像処理ワークステーション４や他のワークステーション等（図示なし）からの閲覧要求に応じてデータベースの検索を行い、抽出された読影レポートのデータを要求元の画像処理ワークステーション４に送信する。ここで、読影レポートには、読影対象の画像に対する読影者の所見の他、その所見が現れている画像や参考画像等の添付画像が含まれる。

画像処理ワークステーション４は、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（ポインティングデバイス、キーボード等）、データバス等の周知のハードウェア構成を備えたコンピュータであり、特に本発明の実施形態では、立体視対応ディスプレイ４ａを備えている。また、画像処理ワークステーション４は、周知のオペレーティングシステムやアプリケーション・ソフトウェア等がインストールされたものである。本発明の実施形態では、アプリケーション・ソフトウェアとして、公知のオーダリングシステムと連携して画像保管サーバ２から医用画像データを取得するための画像検索・取得アプリケーションや、各種画像処理を行うための画像処理アプリケーション、読影レポートの作成・編集や、読影レポートサーバ３からの読影レポートの取得を行うための読影レポート・アプリケーション、本発明の立体視用画像生成処理を行うためのアプリケーション等がインストールされている。これらのアプリケーション・ソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。これらのアプリケーション・ソフトウェアの実行により、画像処理ワークステーション４で上記各処理が実行される。

また、本発明の実施形態では、立体視対応ディスプレイ４ａとして、立体視表示と非立体視表示の混在が可能なディスプレイを用いている（詳細については、上原 伸一・重村 幸治、「高画質2D/3Dディスプレイ」、NEC技報、日本、日本電気株式会社、2009年4月、Vol.62, No.2、pp.48-52、［2010年1月14日検索］、インターネット〈URL：http://www.nec.co.jp/techrep/ja/journal/g09/n02/090210.pdf〉参照）。具体的には、図４に模式的に示したように、立体視対応ディスプレイ４ａの１つの表示画素PXは、左側に配置された右眼用画素PX_Rと右側に配置された左眼用画素PX_Lから構成されており、横方向のストライプをなすカラーフィルタにより、各眼用の画素PX_R、PX_Lは、赤色の表示領域PX_RR、PX_LR、緑色の表示領域PX_RG、PX_LG、青色の表示領域PX_RB、PX_LBに分割されている。立体視対応ディスプレイ４ａは、この表示画素PXをマトリックス状に配列し、レンチキュラレンズや視差バリア等の光学素子を組み合わせた構成となっている。そして、右眼用画素PX_Rによるマトリックスには右眼で見るための視差画像、左眼用画素PX_Lによるマトリックスには左眼で見るための視差画像を表示させることによって、ユーザの裸眼による立体視を実現している。また、右眼用画素PX_Rによるマトリックスと左眼用画素PX_Lによるマトリックスの両方に同じ画像を表示させることによって、非立体視表示を行うことも可能である。したがって、表示画面中の一部の領域では各眼用の画素に視差画像を表示させ、他の領域では表示画素毎に各眼用の画素に同一の画像を表示させることによって、立体視と非立体視の混在表示が実現される。

画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。

図２は、画像処理ワークステーション４の機能のうち、本発明の第１の実施形態となる立体視用画像生成処理に関連する部分を示すブロック図である。図に示すように、本発明の第１の実施形態となる立体視用画像生成処理は、立体視用画像生成部１１、非立体視用画像生成部１２、選択的出力部１３によって実現される。また、３次元医用画像Ｖ、左眼視点位置VP_L、右眼視点位置VP_R、左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_R、非立体視用画像Ｉ_M、出力画像選択条件テーブルSCは、各々、上記各処理部によって、画像処理ワークステーション４の所定のメモリ領域に対して読み書きされるデータである。

図３は、本発明の第１の実施形態となる立体視用画像生成処理ソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートである。

まず、公知の画像検索システム、あるいは、公知のオーダリングシステムにおける画像検索・取得処理により、画像処理ワークステーション４は、画像保管サーバ２から処理対象の３次元医用画像Ｖの画像データを取得する(#1)。

次に、立体視用画像生成部１１が、３次元医用画像Ｖ、および、左眼視点位置VP_L、右眼視点位置VP_Rに基づいて、被検体の立体視出力を行うための左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_Rを生成するとともに(#2)、非立体視用画像生成部１２が、左眼視点位置VP_Lと右眼視点位置VP_Rから、上記立体視出力と等価な１つの視点を決定し、３次元医用画像Ｖに基づいて、上記立体視出力と等価な非立体視出力を行うための非立体視用画像Ｉ_Mを生成する(#3)。

ここで、選択的出力部１３は、出力画像選択条件テーブルSCを参照して、画像の表示先である画像処理ワークステーション４のディスプレイが立体視に対応しているかどうかを表す情報を取得する(#4)。本実施形態のように、表示先のディスプレイが立体視に対応している場合には(#4; 立体視対応)、選択的出力部１３は左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rを表示先のディスプレイに出力し、ディスプレイでは、左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_Rによる立体視表示が行われる(#5)。表示先のディスプレイが立体視に対応していない場合には(#4; 立体視非対応)、選択的出力部１３は非立体視用画像Ｉ_Mを表示先のディスプレイに出力し、ディスプレイには非立体視用画像Ｉ_Mが表示される(#6)。

ユーザが、画像処理ワークステーション４のディスプレイに表示された画像の観察等を行った後、画像処理ワークステーション４のキーボードやポインティングデバイスを操作して、観察した画像の出力（保存、印刷）先を指定すると(#7)、選択的出力部１３は、出力画像選択条件テーブルSCを参照して、画像の出力先に対して、立体視用の左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rと、非立体視用画像Ｉ_Mのどちら、あるいは、両方を出力すべきであるかを特定し(#8)、選択的出力部１３は、出力対象の画像が立体視用画像と出力画像選択条件テーブルSCに設定されていた場合には(#8; 立体視のみ)、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rをその出力先に出力し(#9)、出力対象の画像が非立体視用画像と設定されていた場合には(#8; 非立体視のみ)、非立体視用画像Ｉ_Mをその出力先に出力し(#10)、出力対象の画像が立体視用画像と非立体視用画像の両方と設定されていた場合には(#8; 両方)、左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_R、非立体視用画像Ｉ_Mをその出力先に出力する(#11)。

次に、各処理部で行われる処理の詳細について説明する。

立体視用画像生成部１１は、３次元医用画像Ｖ、および、左眼視点位置VP_L、右眼視点位置VP_Rに基づいて、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rを生成する。図５は、３次元医用画像中の被検体と左右両眼の視点の位置関係を模式的に表したものである。図に示したように、立体視用画像生成部１１は、ボリュームレンダリング法により、左眼視点位置VP_Lと被検体SBJを結ぶ視線上の画素を投影することによって、左眼用視差画像Ｉ_Lを生成し、右眼視点位置VP_Rと被検体SBJを結ぶ視線上の画素を投影することによって、右眼用視差画像Ｉ_Rを生成する。ここで、左眼視点位置VP_L、右眼視点位置VP_Rは、プログラムの起動パラメータとして定義しておくなどして、予め設定しておいてもよいし、各視点位置VP_L、VP_Rを設定するためのユーザインターフェース（例えば図５のような設定画面）を設けておき、ユーザの手動操作によって各視点位置VP_L、VP_Rを設定できるようにしたり、例えば左右視差の個人差を調整するために、予め設定された視点位置を、修正できるようにしたりしてもよい。また、図５は各視点位置VP_L、VP_Rからの中心投影を表しているが、各視点が被検体SBJから各視線方向の無限遠方にあると想定して、各視点位置VP_L、VP_Rと被検体SBJの中心とを結ぶ視線の向きでの平行投影により各視差画像Ｉ_L、Ｉ_Rを生成するようにしてもよい。

非立体視用画像生成部１２は、まず、左眼視点位置VP_L、右眼視点位置VP_Rに基づいて、左右各眼を各眼の視点位置に位置づけて被検体を見た場合と等価な単一の視点位置（等価視点位置）を決定する。具体的には、図５に示したように、左眼視点位置VP_Lと右眼視点位置VP_Rとを結ぶ線分の中点を非立体視用画像の等価視点位置VP_Mに決定する。ここで、等価視点位置VP_Mは、左右両視点から等距離にある他の点としてもよいし、左右視差の個人差等を考慮して、左眼視点位置VP_Lと右眼視点位置VP_Rの重みづけ平均位置、すなわち、左右両視点を結ぶ線分を所定の比（例えば3:2等）で内分する位置に決定するようにしてもよい。また、左右両視点を結ぶ線分上ではなく、例えば、被検体SBJの重心を中心とし、左右各視点を通る円弧上に等価視点位置VP_Mを決定するようにしてもよい。

次に、非立体視用画像生成部１２は、ボリュームレンダリング法により、等価視点位置VP_Mと被検体SBJを結ぶ視線上の画素を投影することによって、非立体視用画像Ｉ_Mを生成する。ここで、具体的な投影方法（中心投影・平行投影）は、立体視用画像生成部１１と同じ方法を用いればよい。

なお、立体視用画像生成部１１と非立体視用画像生成部１２において、ボリュームレンダリング法により、設定済みの視点位置と被検体とを結ぶ視線上の画素を投影した画像を生成する処理は共通モジュールとして構成し、非立体視用画像Ｉ_Mの等価視点位置VP_Mと視線方向を決定する処理モジュールを別途設け、共通モジュールには、生成対象の画像に応じた視点位置の情報を処理パラメータとして与えることによって、共通モジュールが、与えられた処理パラメータに応じて、立体視用の視差画像Ｉ_L、Ｉ_Rと非立体視用画像Ｉ_Mを生成するようにしてもよい。

選択的出力部１３は、出力画像選択条件テーブルSCに基づいて、各眼用視差画像Ｉ_L、Ｉ_Rと、非立体視用画像Ｉ_Mとを選択的に出力する。

図６は、出力画像選択条件テーブルSCの構成と設定内容の一例を示したものである。図に示したように、出力画像選択条件テーブルSCは、個別の出力先の装置毎に、立体視用画像（各眼用視差画像Ｉ_L、Ｉ_R）と非立体視用画像Ｉ_Mのそれぞれを出力するかどうか（Y:出力、N:非出力）を定義したものである。すなわち、図５では、立体視対応ディスプレイ４ａには各眼用視差画像Ｉ_L、Ｉ_R、立体視非対応ディスプレイ、読影レポートサーバ３、および、プリンタ５には非立体視用画像Ｉ_Mのみ、画像保管サーバ２には各眼用視差画像Ｉ_L、Ｉ_R、および、非立体視用画像Ｉ_Mの両方を、選択的出力部１３が出力するように設定されている。選択的出力部１３は、プログラムの起動パラメータとして与えられた、または、ユーザの指定操作によって与えられた、出力先の装置の情報に基づいて出力画像選択条件テーブルSCを参照し、出力先の装置に出力すべき画像の種類を特定し、特定された画像を出力する。

ここで、選択的出力部１３によって、各眼用視差画像Ｉ_L、Ｉ_Rが立体視対応ディスプレイ４ａに出力されると、立体視対応ディスプレイ４ａでは、左眼用画素PX_Lから構成されるマトリックスには左眼用視差画像Ｉ_Lが表示され、右眼用画素PX_Rから構成されるマトリックスには右眼用視差画像Ｉ_Rが表示される。

以上のように、本発明の第１の実施形態では、３次元医用画像Ｖを入力として、立体視用画像生成部１１によって生成された各眼用視差画像Ｉ_L、Ｉ_Rと、非立体視用画像生成部１２によって生成された非立体視用画像Ｉ_Mとを、選択的出力部１３が出力画像選択条件テーブルSCに基づいて選択的に出力するので、立体視用および非立体視用の画像の出力を用途に応じてより柔軟かつ適切に行うことが可能になる。

具体的には、立体視用の画像を提示可能な立体視対応ディスプレイ４ａには立体視用の画像を出力させ、立体視用の画像を提示不可能な立体視非対応ディスプレイには非立体視用の画像を出力させるように出力画像選択条件テーブルSCが設定されているので、画像処理ワークステーション４に接続されたディスプレイの種類に応じて、適切な画像を出力することが可能になる。また、読影レポートは、立体視対応ディスプレイ４ａが接続された画像処理ワークステーション４以外の他のワークステーションでも参照され得ることに鑑みて、読影レポートサーバ３に対しては、非立体視用の添付画像を出力させるように出力画像選択条件テーブルSCを設定しておいた場合には、立体視対応ディスプレイ４ａのような特別なディスプレイでなくても読影レポートを参照することが可能になる。同様に、プリンタ５によって紙やフィルム等にハードコピー出力される場合には立体視は想定されないのであれば、プリンタ５に対しては、非立体視用の画像を出力させるように出力画像選択条件テーブルSCの設定を行っておくことにより、プリンタ５からは観察に適切な画像が出力される。一方、画像保管サーバ２には、各眼用視差画像Ｉ_L、Ｉ_R、および、非立体視用画像Ｉ_Mの両方を出力させるように出力画像選択条件テーブルSCの設定をしておけば、様々なワークステーション等からの検索要求に応じて適切な画像を提供することが可能になる。なお、上記の出力画像選択条件テーブルSCの設定は一例であり、例えば、画像保管サーバ２には非立体視用画像Ｉ_Mのみを出力させるように設定するなど、画像の用途やシステムの構成等に応じて、適宜設定を行えばよい。

また、入力として３次元医用画像Ｖを用いるようにしたので、再撮影を行うことなく、より容易かつ柔軟に、立体視用画像に等価な非立体視用画像Ｉ_Mを生成することができる。

さらに、非立体視用画像Ｉ_Mは、左眼視点位置と右眼視点位置とから被検体を見た場合と等価な単一の視点から被検体を見た画像であるから、各眼用視差画像Ｉ_L、Ｉ_Rによる立体視出力と非立体視用画像Ｉ_Mによる非立体視出力との間で、実質的な視線の相違による違和感を覚えることがなくなる。

上記実施形態では、立体視用の各眼用視差画像Ｉ_L、Ｉ_R、および、非立体視用画像Ｉ_Mを予め生成するようにしていたが、図７Ａおよび図７Ｂのフローチャートに示したように、出力時に必要に応じて生成するようにしてもよい。

すなわち、画像処理ワークステーション４において、処理対象の３次元医用画像Ｖの画像データを取得した後(#21)、選択的出力部１３が、出力画像選択条件テーブルSCを参照して、画像処理ワークステーション４のディスプレイが立体視に対応かどうかを表す情報を取得する(#22)。ここで、選択的出力部１３は、表示先のディスプレイが立体視対応の場合には(#22; 立体視対応)、立体視用画像生成部１１に左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rとを生成させ(#23)、表示先のディスプレイが立体視非対応の場合には(#22; 立体視非対応)、非立体視用画像生成部１２に非立体視用画像Ｉ_Mを生成させ(#24)、生成された画像をディスプレイに出力して表示させる(#25)。

そして、ユーザが、表示された画像の観察等を行った後、観察した画像の出力（保存、印刷）先を指定すると(#26)、選択的出力部１３は、出力画像選択条件テーブルSCを参照して、指定された出力先に対して出力すべき画像の種類を特定し(#27)、出力対象の画像が立体視用画像と設定されていた場合(#27; 立体視のみ)、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rが作成済みでなければ(#28; NO)、立体視用画像生成部１１に左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rとを生成させ(#29)、ステップ#23(#28; YESの場合)または#29で生成された左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rをその出力先に出力し(#30)、出力対象の画像が非立体視用画像と設定されていた場合には(#27; 非立体視のみ)、非立体視用画像Ｉ_Mが作成済みでなければ(#31; NO)、非立体視用画像生成部１２に非立体視用画像Ｉ_Mを生成させ(#32)、ステップ#24(#31; YESの場合)または#32で生成された非立体視用画像Ｉ_Mをその出力先に出力し(#33)、出力対象の画像が立体視用画像と非立体視用画像の両方と設定されていた場合には(#27; 両方)、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rが作成済みでなければ(#34; NO)、立体視用画像生成部１１に左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rとを生成させ(#35)、非立体視用画像Ｉ_Mが作成済みでなければ(#36; NO)、非立体視用画像生成部１２に非立体視用画像Ｉ_Mを生成させ(#37)、ステップ#23(#34; YESの場合)または#35で生成された左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_R、および、ステップ#24(#36; YESの場合)または#37で生成された非立体視用画像Ｉ_Mをその出力先に出力する(#38)。

このように、選択的出力部１３が、必要に応じて立体視用画像および／または非立体視用画像を生成させるようにすれば、画像処理ワークステーション４の処理効率が向上する。特に、ステップ#25において、画像処理ワークステーション４のディスプレイに表示されている画像に対して、視点位置の変更等の操作を可能にし、その操作に応じて、立体視用画像生成部１１または非立体視用画像生成部１２が表示対象の画像を再生成し、ディスプレイに表示される画像を更新するようにした場合に有効である。すなわち、図３のフローチャートの場合、例えば、ステップ#5で立体視表示された画像に対して視点位置の変更を行うと、立体視用の各視差画像Ｉ_L、Ｉ_Rだけでなく、ステップ#3において予めセットで生成された非立体視用画像Ｉ_Mも再生成することになり、先のステップ#3で生成された非立体視用画像Ｉ_Mが無駄になってしまう。これに対して図７Ａおよび図７Ｂのフローチャートでは、ステップ#25の時点で視点位置の変更操作が繰り返されたとしても、ステップ#26の時点で、必要に応じて立体視用の各視差画像Ｉ_L、Ｉ_Rに対応する非立体視用画像Ｉ_Mを１度生成すればよいだけなので、処理効率がよい。

次に、本発明の第２の実施形態として、図１に示した医用画像診断システムにおいて、画像処理ワークステーション４に接続された立体視対応ディスプレイ４ａに対して、立体視表示と非立体視表示の切替えを行う形態について説明する。

図８は、画像処理ワークステーション４の機能のうち、本発明の第２の実施形態となる立体視用画像生成処理に関連する部分を示すブロック図である。図に示すように、本発明の第２の実施形態となる立体視用画像生成処理は、立体視用画像生成部１１、非立体視用画像生成部１２、断面画像生成部１４、表示制御部１５によって実現される。また、３次元医用画像Ｖ、左眼用視点位置VP_L、右眼視点位置VP_R、左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_R、非立体視用画像Ｉ_Mや、アキシャル断面画像Ｉ_A、コロナル断面画像Ｉ_C、サジタル断面画像Ｉ_S（以下、特に区別する必要がない場合には、まとめて直交３断面画像と呼ぶ）、左眼用表示画面SC_L、右眼用表示画面SC_Rは、各々、上記各処理部によって、画像処理ワークステーション４の所定のメモリ領域に対して読み書きされるデータである。

図９は、本発明の第２の実施形態となる立体視用画像生成処理ソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートである。

まず、公知の画像検索システム、あるいは、公知のオーダリングシステムにおける画像検索・取得処理により、画像処理ワークステーション４は、画像保管サーバ２から処理対象の３次元医用画像Ｖの画像データを取得する(#41)。

次に、立体視用画像生成部１１が、３次元医用画像Ｖ、および、左眼視点位置VP_L、右眼視点位置VP_Rに基づいて、被検体の立体視出力を行うための左眼用視差画像Ｉ_L、右眼用視差画像Ｉ_Rを生成するとともに(#42)、非立体視用画像生成部１２が、左眼視点位置VP_Lと右眼視点位置VP_Rから、上記立体視出力と等価な１つの視点を決定し、３次元医用画像Ｖに基づいて、上記立体視出力と等価な非立体視出力を行うための非立体視用画像Ｉ_Mを生成し(#43)、さらに、断面画像生成部１４が、被検体の所与の点で直交する３つの断面（アキシャル断面、コロナル断面、サジタル断面）を非立体視するための直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sを生成する(#44)。

表示制御部１５は、所定の表示プロトコル（初期表示条件）に基づいて、左眼用視差画像Ｉ_L、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sを含む左眼用表示画面SC_Lと、右眼用視差画像Ｉ_R、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sを含む右眼用表示画面SC_Rとを生成し、各眼用の表示画面SC_L、SC_Rを立体視対応ディスプレイ４ａに出力する。これにより、立体視対応ディスプレイ４ａでは、左眼用視差画像Ｉ_Lと右眼用視差画像Ｉ_Rによる立体視表示と、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sの非立体視表示が混在して行われる(#45、図１１Ａから図１１Ｃ参照)。

ここで、ユーザが、画像処理ワークステーション４のキーボードやポインティングデバイスを操作して、立体視表示と非立体視表示の切替えや、表示される画像の切替え等を指示すると(#46)、表示制御部１５は、その操作による指示内容に応じて、各眼用の表示画面SC_L、SC_Rを再構成して立体視対応ディスプレイ４ａに出力し、立体視対応ディスプレイ４ａでの表示が更新される(#47)。

次に、各処理部で行われる処理の詳細について説明する。なお、立体視用画像生成部１１と非立体視用画像生成部１２は、第１の実施形態と同様である。

断面画像生成部１４は、公知のＭＰＲ手法により、３次元医用画像Ｖと被検体の所与の点の位置情報とに基づいて、その点を通るアキシャル、コロナル、サジタルの直交３断面による断面画像Ｉ_A、Ｉ_C、Ｉ_Sを生成する。ここで、断面の位置の基準となる被検体中の点は、プログラムの起動パラメータとして定義しておくなどして、予め設定しておいてもよいし、断面の位置を設定するためのユーザインターフェースを設けておき、ユーザの手動操作によって設定できるようにしたり、予め設定された位置を修正できるようにしたりしてもよい。

表示制御部１５は、所与の表示条件に応じて、各眼用の視差画像Ｉ_L、Ｉ_Rと、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sとから表示対象の画像を適宜選択して、各眼用の表示画面SC_L、SC_Rを生成し、生成された各眼用の表示画面SC_L、SC_Rを立体視対応ディスプレイ４ａに出力する。すなわち、表示制御部１５は、本発明の選択的出力手段の実装形態の一例となっており、表示条件は本発明の出力画像選択条件に相当する。なお、表示条件は、プログラムの起動パラメータとして与えられる場合と、後述のユーザインターフェース（図１０のユーザインターフェース領域２２）におけるユーザの手動操作によって設定される場合とがある。

図１０は、表示画面の構成の一例を模式的に示したものであり、各眼用の表示画面SC_L、SC_Rで共通の構成となっている。図に示したように、各眼用の表示画面SC_L、SC_Rは、画像表示領域２１とユーザインターフェース領域２２とから構成されている。画像表示領域２１は、個々の画像が割り当てられる小領域２１ａ，２１ｂ，２１ｃ，２１ｄからなり、４つの画像を２×２のマトリックス状に並べて表示できるようになっている。一方、ユーザインターフェース領域２２には、表示される画像の切替えや画像の編集等を行うためのユーザインターフェースから構成されている。具体的には、表示画像の選択・切替えを行うためのユーザインターフェースとして、直交断面画像Ｉ_A、Ｉ_C、Ｉ_Sと、ボリュームレンダリング画像、すなわち、立体視のための各眼用の視差画像Ｉ_L、Ｉ_R、および、非立体視用画像Ｉ_Mの表示・非表示を選択するためのチェックボックス２２ａが設けられている。また、ボリュームレンダリング画像を立体視するかどうかを選択するためのチェックボックス２２ｂや、画像表示領域２１のレイアウトを変更するためのラジオボタン２２ｃ、矢印、マーキング、コメント挿入を行うためのアノテーションボタン２２ｄ、視線方向の切断や注目領域の拡大等の画像編集を行うための画像編集ボタン２２ｅも設けられている。

図１１Ａおよび図１１Ｂは、各々、各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示と、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sによる非立体視表示とを混在させて行う場合の各眼用の表示画面SC_L、SC_Rの設定例を表しており、図１１Ｃは、この表示画面SC_L、SC_Rに基づいて立体視対応ディスプレイ４ａに表示される画面を模式的に表したものである。これは、図９のフローチャートのステップ#45で行われる初期表示条件に基づく表示の場合や、図１０のように、表示画面２０中のユーザインターフェース領域２２の直交断面画像およびボリュームレンダリング画像のチェックボックス２２ａ、さらに、立体視表示のチェックボックス２２ｂのすべてにチェックが入っている場合に相当する。

図１１Ａおよび図１１Ｂに示したように、左眼用表示画面SC_Lと右眼用表示画面SC_Rのいずれにも、小領域２１ａ，２１ｂ，２１ｃには、各々、アキシャル断面画像Ｉ_A、コロナル断面画像Ｉ_C、サジタル断面画像Ｉ_Sがレイアウトされているので、立体視対応ディスプレイ４ａの小領域２１ａ，２１ｂ，２１ｃに相当する表示画素では、その表示画素内の左眼用画素と右眼用画素に同じ画素値に基づく表示が行われる。その結果、図１１Ｃのように、立体視対応ディスプレイ４ａには、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sが非立体視表示される。一方、左眼用表示画面SC_Lの小領域２１ｄには左眼用視差画像Ｉ_L、右眼用表示画面SC_Rの小領域２１ｄには右眼用視差画像Ｉ_Rがレイアウトされているので、立体視対応ディスプレイ４ａの小領域２１ｄに相当する表示画素では、左眼用画素には左眼用視差画像Ｉ_Lの画素値に基づく表示が行われ、右眼用画素には右眼用視差画像Ｉ_Rの画素値に基づく表示が行われる。その結果、図１１Ｃのように、立体視対応ディスプレイ４ａには、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rによるボリュームレンダリング画像の立体視表示が行われる。

図１２Ａは、立体視表示を行わずに、非立体視用画像Ｉ_Mによるボリュームレンダリング画像の非立体視表示と、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sによる非立体視表示とを行う場合の各眼用の表示画面SC_L、SC_Rの設定例を表しており、図１２Ｂは、この表示画面SC_L、SC_Rに基づいて立体視対応ディスプレイ４ａに表示される画面を模式的に表したものである。これは、図１０の表示画面２０中のユーザインターフェース領域２２において、直交断面画像およびボリュームレンダリング画像のチェックボックス２２ａにはチェックを入れ、立体視表示のチェックボックス２２ｂのチェックを外した場合に相当する。

図１２Ａに示したように、左眼用表示画面SC_Lと右眼用表示画面SC_Rのいずれにも、小領域２１ａ，２１ｂ，２１ｃには、各々、アキシャル断面画像Ｉ_A、コロナル断面画像Ｉ_C、サジタル断面画像Ｉ_Sがレイアウトされ、小領域２１ｄには非立体視用画像Ｉ_Mがレイアウトされているので、立体視対応ディスプレイ４ａの各小領域２１ａ，２１ｂ，２１ｃ，２１ｄに相当する表示画素では、その表示画素内の左眼用画素と右眼用画素に同じ画素値に基づく表示が行われる。その結果、図１２Ｂのように、立体視対応ディスプレイ４ａには、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_S、および、非立体視用画像Ｉ_Mが非立体視表示される。なお、第１の実施形態で説明したように、非立体視用画像Ｉ_Mの表示は、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rによるボリュームレンダリング画像の立体視表示と等価な非立体視表示となっている。

図１３Ａは、立体視表示を行わずに、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sによる非立体視表示のみを行う場合の各眼用の表示画面SC_L、SC_Rの設定例を表しており、図１３Ｂは、この表示画面SC_L、SC_Rに基づいて立体視対応ディスプレイ４ａに表示される画面を模式的に表したものである。これは、図１０の表示画面２０中のユーザインターフェース領域２２において、直交断面画像のチェックボックス２２ａ（上側）にはチェックを入れ、ボリュームレンダリング画像のチェックボックス２２ａ（下側）、および、立体視表示のチェックボックス２２ｂのチェックを外した場合に相当する。

図１３Ａに示したように、左眼用表示画面SC_Lと右眼用表示画面SC_Rのいずれにも、小領域２１ａ，２１ｂ，２１ｃには、各々、アキシャル断面画像Ｉ_A、コロナル断面画像Ｉ_C、サジタル断面画像Ｉ_Sがレイアウトされているので、立体視対応ディスプレイ４ａの各小領域２１ａ，２１ｂ，２１ｃに相当する表示画素では、その表示画素内の左眼用画素と右眼用画素に同じ画素値に基づく表示が行われる。その結果、図１３Ｂのように、立体視対応ディスプレイ４ａには、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sのみが非立体視表示される。

図１４Ａから図１４Ｃは、図１０の表示画面２０中のユーザインターフェース領域２２の設定状態において、画像表示領域２１のレイアウトを変更するためのラジオボタン２２ｃの選択が、左側に示されたレイアウトから中央に示されたレイアウトに変更された場合を表している。図１４Ａおよび図１４Ｂに示したように、画像表示領域２１のレイアウトが、２×２のマトリックス状に均等に分割されたレイアウトから、３分割された左半分の領域と右半分の領域の４つの領域からなるレイアウトに変更され、画像表示領域２１の左半分の３つの小領域には、左眼用表示画面SC_L、右眼用表示画面SC_Rともに、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sがレイアウトされ、左眼用表示画面SC_Lの右半分の領域には左眼用視差画像Ｉ_L、右眼用表示画面SC_Rの画像表示領域２１の右半分の領域には右眼用視差画像Ｉ_Rがレイアウトされている。これにより、立体視対応ディスプレイ４ａの画像表示領域２１の左半分に相当する表示画素では、その表示画素内の左眼用画素と右眼用画素に同じ画素値に基づく表示が行われ、図１４Ｃのように、立体視対応ディスプレイ４ａには、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sが非立体視表示される。一方、左眼用表示画面SC_Lの画像表示領域２１の右半分の領域には左眼用視差画像Ｉ_L、右眼用表示画面SC_Rの画像表示領域２１の右半分の領域には右眼用視差画像Ｉ_Rがレイアウトされているので、立体視対応ディスプレイ４ａの画像表示領域２１の右半分の領域に相当する表示画素では、左眼用画素には左眼用視差画像Ｉ_Lの画素値に基づく表示が行われ、右眼用画素には右眼用視差画像Ｉ_Rの画素値に基づく表示が行われ、図１４Ｃのように、立体視対応ディスプレイ４ａには、左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rによるボリュームレンダリング画像の立体視表示が行われる。

図１５は、立体視表示された画像に対して視線方向の切断を行うための画像編集ボタン２２ｅ（左側）が押下された場合の表示例を示したものである。図に示したように、ユーザのポインティングデバイス等の操作によって、視線方向の切断を行うための画像編集ボタン２２ｅ（左側）が押下された場合、図１１Ｃに示された、各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示と、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sによる非立体視表示との混在表示から、図１２Ｂに示された、非立体視用画像Ｉ_Mと直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sの非立体視表示に切り替えられる。ユーザは、非立体視表示された小領域２１ｄ中の非立体視用画像Ｉ_Mに対して、ポインティングデバイスの操作により、切断面CLを設定することができる。断面画像生成部１４は、設定された切断面CLを通り、非立体視用画像Ｉ_Mの視線方向（図５のVL_M）に平行な断面による断面画像を生成し、表示制御部１５は、例えば、図１０とは異なる画面表示ウィンドウを新たに生成し、そのウィンドウ内に、生成された切断面CLに基づく断面画像を表示させる。

図１６は、立体視表示された画像に対して注目領域の拡大表示を行うための画像編集ボタン２２ｅ（右側）が押下された場合の表示例を示したものである。図に示したように、ユーザのポインティングデバイス等の操作によって、注目領域の拡大表示を行うための画像編集ボタン２２ｅ（右側）が押下された場合にも、図１１Ｃに示された、各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示と、直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sによる非立体視表示との混在表示から、図１２Ｂに示された、非立体視用画像Ｉ_Mと直交３断面画像Ｉ_A、Ｉ_C、Ｉ_Sの非立体視表示に切り替えられる。ユーザは、非立体視表示された小領域２１ｄ中の非立体視用画像Ｉ_Mに対して、ポインティングデバイスの操作により、注目領域ZRを設定することができる。画像処理ワークステーションの立体視用画像生成部１１は、設定された注目領域ZRに対応する３次元医用画像Ｖ中の３次元領域を入力データとして、左眼視点位置VP_L、右眼視点位置VP_Rに基づいて、先に表示された左眼用視差画像Ｉ_Lおよび右眼用視差画像Ｉ_Rより高解像度で各眼用の拡大視差画像を生成し、表示制御部１５は、例えば、図１０とは異なる画面表示ウィンドウを新たに生成し、そのウィンドウ内に、生成された各眼用の拡大視差画像に基づいて、注目領域ZRに対応する領域を拡大して立体視表示させる。

このように、表示制御部１５は、ユーザによる、図１０のユーザインターフェース領域２２に設けられた各種インターフェースでの操作に応じて、表示画像の種類や表示方法（立体視・非立体視）、表示レイアウトを切り替えて立体視対応ディスプレイ４ａに表示させることができる。なお、表示態様の切替えは、例えば、画像処理ワークステーション４ａのポインティングデバイスによって操作されるポインタが、立体視表示されている領域（図１１Ａから図１１Ｃの例では、小領域２１ｄ）内に移動した場合には、左眼用表示画面SC_L、および、右眼用表示画面SC_Rの立体視表示されている領域内の各眼用の視差画像Ｉ_L、Ｉ_Rを非立体視用画像Ｉ_Mに変更し、その領域中の画像の表示を立体視表示から非立体視表示に切り替えるようにしたり、逆に、ポインタが、非立体視用画像Ｉ_Mが表示されている領域（図１２Ａおよび図１２Ｂの例では、小領域２１ｄ）外に移動した場合には、左眼用表示画面SC_L、および、右眼用表示画面SC_Rのその領域内の非立体視用画像Ｉ_Mを、非立体視用画像Ｉ_Mに対応する各眼用の視差画像Ｉ_L、Ｉ_Rに変更し、その領域中の画像の表示を非立体視表示から立体視表示に切り替えるようにしたりしてもよい。

以上のように、本発明の第２の実施形態では、立体視用画像生成部１１によって生成された各眼用視差画像Ｉ_L、Ｉ_Rと、非立体視用画像生成部１２によって生成された非立体視用画像Ｉ_Mとを、表示制御部１５が、初期表示条件や、ユーザの操作に基づいて設定される表示条件に基づいて選択的に出力するので、立体視用および非立体視用の画像の出力を状況や用途に応じてより柔軟かつ適切に行うことが可能になる。

具体的には、視線方向の切断を行うための切断面の設定や、局所的な拡大表示を行うための注目領域の設定等を立体視表示された画像に対して行おうとした際には、非立体視用画像Ｉ_Mを表示させるようにすれば、立体視用画像に等価な非立体視用画像Ｉ_Mに対して上記操作を行うことが可能になり、上記操作の際に立体視のための視差画像Ｉ_L、Ｉ_Rの一方を出力させた場合のように、立体視表示された画像を見る実質的な視線との相違による違和感を覚えたり、上記操作において、ユーザの所望する位置とは異なる位置が指定されたりすることがなくなるので、操作性が向上する。

なお、第１の実施形態と同様に、第２の実施形態においても、表示制御部１５が、立体視用の各眼用視差画像Ｉ_L、Ｉ_R、および、非立体視用画像Ｉ_Mを、必要に応じて生成させるようにしてもよい。

また、第２の実施形態において、ステップ#45の初期表示条件は、図１１Ａから図１１Ｃで示した表示のためのものに限定されず、例えば、図１２Ａおよび図１２Ｂで示した表示のためのものや、図１３Ａおよび図１３Ｂで示した表示のためのものや、図１４Ａから図１４Ｃで示した表示のためのものであってもよい。

上記の第２の実施形態では、図１５で示した視線方向の切断や図１６で示した注目領域の拡大の際には、小領域２１ｄ中の表示を、各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示から非立体視用画像Ｉ_Mによる非立体視表示に切り替えるようにしていたが、図１２Ａに示した非立体視用画像Ｉ_Mを用いた表示画面の情報をポインティングデバイスの位置制御用に所定のメモリ領域に格納しておき、小領域２１中の表示は各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示を続けつつ、ポインティングデバイスによる、ポインタの移動操作および切断面CLや注目領域ZRの設定操作は、ポインティングデバイスの位置制御用の表示画面情報の非立体視用画像Ｉ_Mを用いて、ポインタや切断面CL、注目領域ZRの位置を内部的に特定するようにしてもよい。

具体的には、ポインティングデバイスのポインタの位置を位置制御用の表示画面情報の非立体視用画像Ｉ_M上で検知し、３次元医用画像Ｖの座標空間において非立体視用画像Ｉ_Mが投影された投影面上における、検知された位置に対応する位置を特定し、その投影面上での対応位置と等価視点位置VP_Mとを結ぶ視線上を等価視点位置VP_Mから３次元医用画像Ｖに向かって探索し、レイキャスティング処理による不透明度の積算値が所定の閾値以上になった点を、３次元医用画像Ｖの座標空間におけるポインタの位置（３次元位置）に決定することができる。ここで、探索の際に、不透明度や画素値が所定の閾値以上に急激に変化する点や不透明度や画素値が所定の閾値以上となる点を検出してポインタの３次元位置としてもよい。また、ＭＩＰ法によって非立体視用画像Ｉ_Mを生成している場合には、画素値が最大となる点をポインタの３次元位置とすればよい。また、ポインタの３次元位置と左眼視点位置VP_Lとを通る視線上の画素が投影される投影面上の位置を特定し、その特定された位置に対応する左眼用視差画像Ｉ_L中の位置にポインタ（矢印マーク等）が表示されるようにし、同様に、ポインタの３次元位置と右眼視点位置VP_Rとを通る視線上の画素が投影される投影面上の位置を特定し、その特定された位置に対応する右眼用視差画像Ｉ_R中の位置にポインタが表示されるようにすれば、小領域２１中でのポインタの立体視表示が可能になる。なお、上記のポインタの３次元位置の決定方法では、３次元医用画像Ｖのうち被検体が存在しない領域では、不透明度や画素値が上記の閾値条件を満たさないこともありうるが、この場合には、ポインタを表示しないようにしてもよい。あるいは、位置制御用の非立体視用画像Ｉ_M中でのポインタの位置に基づいてポインタを非立体視表示してもよい。その際、ポインタの色や形状等の表示態様を立体視表示と非立体視表示とで変えて表示するようにしてもよい。

このように、小領域２１中の表示は各眼用の視差画像Ｉ_L、Ｉ_Rによる立体視表示を続けつつ、ポインティングデバイスによるポインタの移動操作および切断面CLや注目領域ZRの設定操作では、ポインティングデバイスの位置制御用の表示画面情報の非立体視用画像Ｉ_Mを用いて、ポインタや切断面CL、注目領域ZRの位置を内部的に特定するようにし、ポインタ等の位置も立体視表示するようにした場合には、立体視表示により、被検体内の構造物の奥行き方向の位置関係をより正確に把握しながら、その奥行き方向に対してもポインティングデバイスによる各種操作が可能になり、例えば、奥にある血管を指定するつもりが、その手前にある別の構造物を指定しまうといった、ユーザの意図に反する操作が起こりにくくなり、操作性の向上に資する。

なお、ポインティングデバイスのポインタは、位置制御用の非立体視用画像Ｉ_M中でのポインタの位置に基づいて常に非立体視表示されるようにしてもよい。この場合も、非立体視用画像Ｉ_M中の被検体が存在する領域と被検体が存在しない領域とでポインタの表示態様を変えて表示するようにしてもよい。

また、表示制御部１５は、例えば図１１Ｃのような立体視表示を含む画面表示において、ユーザが図１０のアノテーションボタン２２ｄを用いて非立体視表示された断面画像のいずれかに対してアノテーションを付加する操作を行った際に、付加されたアノテーションの３次元医用画像Ｖ中での位置を特定し、他の断面画像や立体視表示された画像中の対応する位置にも同様のアノテーションを付加して表示させるようにしてもよい。図１７は、アキシャル断面画像Ｉ_Aに矢印形状のアノテーションＭ_Aを付加する操作に応じて、コロナル断面画像Ｉ_Cおよび立体視表示された画像中の対応する位置に、各々、矢印形状のアノテーションＭ_C、Ｍ_Xを付加した表示例である。ここで、アノテーションＭ_Xは、立体視表示のもととなる各眼用の視差画像Ｉ_L、Ｉ_R中の対応する位置に付加することによって、立体視表示されている。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、システム構成については、上記の実施形態では、図２および図８に示された各処理が１台の画像処理ワークステーション４で行われるように説明したが、複数台のワークステーションに各処理を分散して協調処理するように構成してもよい。

また、ハードウェア構成については、立体視表示の方式は上記の方式に限定されず、特許文献１に記載のステレオビューワ等の特殊な光学特性を有する眼鏡を用いるものであってもよいし、３次元の表示画素配列を用いたものであってもよい。また、上記実施形態では立体視表示で用いられる視差画像は左右各眼１つずつとしたが、左右の各側に多数の視差画像を表示させるようにしてもよい（例えば、http://www.tuat.ac.jp/~e-takaki/study/display/display.html参照）。

さらに、立体視表示と非立体視表示の切替えは、上記第２の実施形態のように画面に表示されたユーザインターフェースでの操作によってソフトウェア的に行ってもよいし、ディスプレイ側のスイッチ等でハードウェア的に行ってもよい。

処理フローについては、図３のフローチャートのステップ#2および#3、図９のフローチャートのステップ#42から#44の各種画像の生成処理は、各フローチャートのように並列的に行ってもよいし、直列的に順次行ってもよく、各生成処理の処理順序を入れ替えてもよい。

モジュール構成については、第１の実施形態と第２の実施形態とを組み合わせた構成にし、立体視表示用ディスプレイ４ａでの立体視表示と非立体視表示の切替え（第２の実施形態参照）と出力先の装置毎の立体視用出力と非立体視用出力の切替え（第１の実施形態参照）の両方を実装してもよい。

具体的処理内容については、立体視用画像生成部１１および非立体視用画像生成部１２は、ＭＩＰ法やＭｉｎＩＰ法、ＭＰＲ法等の、ボリュームレンダリング法以外の手法で画像を生成してもよい。すなわち、生成される画像は、奥行き方向の情報を有する疑似３次元画像であってもよいし、２次元の画像であってもよい。また、立体視用の左右両眼の視差画像Ｉ_L、Ｉ_R中に立体視用の領域と非立体視用の領域を設けてもよい。例えば、被検体の心臓を表す３次元医用画像Ｖに基づいて、立体視の対象とする冠動脈を公知の方法で抽出し、抽出された冠動脈のみ左右の各視点VP_L、VP_Rの視差画像を生成し、冠動脈以外の心臓部分は左右の視差画像とも等価視点位置VP_Mからみた画像を生成し、生成された冠動脈の視差画像の各々と心臓部分の画像とを重畳させることによって、左右の視差画像Ｉ_L、Ｉ_Rを生成すれば、心臓全体を表す画像について、冠動脈の立体視表示と冠動脈以外の心臓部分の非立体視表示とが可能になる。

また、異なる時相における３次元医用画像Ｖを入力とし、これに基づいて左右両眼の視差画像Ｉ_L、Ｉ_Rや、非立体視用画像Ｉ_Mを各時相で生成し、生成された各画像を時系列順に切り替えて表示するようにすれば、動画的な表示も可能になる。特に、左右の視差画像Ｉ_L、Ｉ_Rの同期を取って切替表示することにより、立体視を伴う動画表示が実現される。

さらに、表示制御部１５は、立体視表示の際、被検体を表す画像だけでなく、例えば図１８に示したように、立体視表示された画像上で画像処理ワークステーション４のポインティングデバイスの右クリック操作を行った際に表示されるサブメニューや、図１９に示したような、表示された画像における被検体の向き（H=頭側(Head)、A=前側(Anterior)、R=右側(Right)）を表すアイコンもあわせて立体視表示させるようにしてもよい。

１ モダリティ
２ 画像保管サーバ
３ 読影レポートサーバ
４ 画像処理ワークステーション
４ａ 立体視対応ディスプレイ
５ プリンタ
９ ネットワーク
１１ 立体視用画像生成部
１２ 非立体視用画像生成部
１３ 選択的出力部
１４ 断面画像生成部
１５ 表示制御部

Claims (15)

1. 被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成する立体視用画像生成手段と、
   前記３次元医用画像と前記立体視用画像の画像生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成する非立体視用画像生成手段と、
   前記立体視用画像と前記非立体視用画像とを、所定の出力画像選択条件に基づいて選択的に出力する選択的出力手段とを備えた立体視用画像生成装置であって、
   前記選択的出力手段による出力先は、前記立体視用画像に基づく立体視表示と前記非立体視用画像に基づく非立体視表示とを選択的に行うことが可能な表示装置であり、
   前記出力画像選択条件は、前記表示装置によって立体視表示された前記立体視用画像に対して、入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われることを検知した場合には、前記非立体視用画像を出力させるものであり、
   前記操作が、前記３次元医用画像の一部を立体視出力する位置の指定を行うための操作、または、前記３次元医用画像から断面画像を生成する位置の指定を行うための操作のいずれかであり、
   前記３次元医用画像と位置情報とに基づいて断面画像を生成する断面画像生成手段をさらに備え、
   前記選択的出力手段が、前記検知後に出力された前記非立体視用画像上で前記所望の位置の指定を受付けた後、前記操作に応じて、前記立体視用画像生成手段によって前記指定された位置に対応する立体視用画像を生成、または、前記断面画像生成手段によって前記指定された位置に対応する断面画像を生成して前記表示装置に出力するものであることを特徴とする立体視用画像生成装置。
2. 前記表示装置は、立体視表示と非立体視表示とを表示画面中に混在させた表示がさらに可能なものであることを特徴とする請求項１に記載の立体視用画像生成装置。
3. 前記３次元医用画像に基づいて、前記被検体の所与の断面を非立体視するための断面画像を生成する断面画像生成手段をさらに備え、
   前記選択的出力手段が、前記断面画像と、前記立体視用画像または前記非立体視用画像とを表示画面中に混在させて前記表示装置に表示させるものであることを特徴とする請求項２に記載の立体視用画像生成装置。
4. 被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成する立体視用画像生成手段と、
   前記３次元医用画像と前記立体視用画像の画像生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成する非立体視用画像生成手段と、
   前記立体視用画像を立体視表示可能な表示装置に表示させる表示制御手段と、
   前記表示装置に立体視表示された前記立体視用画像に対して、入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われた場合に、前記非立体視用画像を用いて前記指定された位置を特定する手段とを備え、
   前記表示制御手段が、前記立体視用画像生成手段を用いて生成した前記特定された位置に対応する立体視用画像を前記表示装置に表示させることを特徴とする立体視用画像生成装置。
5. 前記立体視用画像は、異なる視点から見た前記被検体を表す複数の視差画像であることを特徴とする請求項１から４のいずれか１項に記載の立体視用画像生成装置。
6. 前記視差画像は、該視差画像における視点から前記被検体に向かう視線上の複数の点における画素値の少なくとも１つを投影することによって得られた投影画像であることを特徴とする請求項５に記載の立体視用画像生成装置。
7. 前記視差画像は、前記被検体の奥行き方向の情報が表された疑似３次元画像であることを特徴とする請求項６に記載の立体視用画像生成装置。
8. 前記非立体視用画像は、前記複数の視差画像における複数の視点に等価な単一の視点から見た前記被検体を表す画像であることを特徴とする請求項５から７のいずれか１項に記載の立体視用画像生成装置。
9. 前記非立体視用画像は、前記単一の視点から前記被検体に向かう視線上の複数の点における画素値の少なくとも１つを投影することによって得られた投影画像であることを特徴とする請求項８に記載の立体視用画像生成装置。
10. 前記非立体視用画像は、前記被検体の奥行き方向の情報が表された疑似３次元画像であることを特徴とする請求項９に記載の立体視用画像生成装置。
11. 前記立体視用画像は、立体視表示のための立体視用領域と非立体視表示のための非立体視用領域とを含むものであることを特徴とする請求項１から１０のいずれか１項に記載の立体視用画像生成装置。
12. 立体視用画像生成手段と、非立体視用画像生成手段と、選択的出力手段と、入力手段と、検知手段と、断面画像生成手段とを備えた立体視用画像生成装置の作動方法であって、
    前記立体視用画像生成手段が、被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成するステップと、
    前記非立体視用画像生成手段が、前記３次元医用画像と前記立体視用画像の画像生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成するステップと、
    前記選択的出力手段が、前記立体視用画像と前記非立体視用画像とを、所定の出力画像選択条件に基づいて選択的に出力するステップとを有する立体視用画像生成装置の作動方法であって、
    前記選択的に出力するステップによる出力先は、前記立体視用画像に基づく立体視表示と前記非立体視用画像に基づく非立体視表示とを選択的に行うことが可能な表示装置であり、
    前記出力画像選択条件は、前記表示装置によって立体視表示された前記立体視用画像に対して、前記入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われることを前記検知手段が検知した場合には、前記非立体視用画像を出力させるものであり、
    前記操作が、前記３次元医用画像の一部を立体視出力する位置の指定を行うための操作、または、前記３次元医用画像から断面画像を生成する位置の指定を行うための操作のいずれかであり、
    前記断面画像生成手段が、前記３次元医用画像と位置情報とに基づいて断面画像を生成するステップをさらに備え、
    前記選択的に出力するステップが、前記検知後に出力された前記非立体視用画像上で行われた前記所望の位置の指定を受付けた後、前記操作に応じて、前記立体視用画像生成手段によって前記指定された位置に対応する立体視用画像を生成、または、前記断面画像生成手段によって前記指定された位置に対応する断面画像を生成して前記表示装置に出力するものであることを特徴とする立体視用画像生成装置の作動方法。
13. 立体視用画像生成手段と、非立体視用画像生成手段と、表示制御手段と、位置特定手段と、入力手段とを備えた立体視用画像生成装置の作動方法であって、
    前記立体視用画像生成手段が、被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成するステップと、
    前記非立体視用画像生成手段が、前記３次元医用画像と前記立体視用画像の画像生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成するステップと、
    前記表示制御手段が、前記立体視用画像を立体視表示可能な表示装置に表示させるステップと、
    前記位置特定手段が、前記表示装置に立体視表示された前記立体視用画像に対して、前記入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われた場合に、前記非立体視用画像を用いて前記指定された位置を特定するステップと、
    前記表示制御手段が、前記立体視用画像生成手段を用いて生成した前記特定された位置に対応する立体視用画像を前記表示装置に表示させるステップとを有することを特徴とする立体視用画像生成装置の作動方法。
14. コンピュータに、
    被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成するステップと、
    前記３次元医用画像と前記立体視用画像の生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成するステップと、
    前記立体視用画像と前記非立体視用画像とを、所定の出力画像選択条件に基づいて選択的に出力するステップとを実行させる立体視用画像生成プログラムであって、
    前記選択的に出力するステップによる出力先は、前記立体視用画像に基づく立体視表示と前記非立体視用画像に基づく非立体視表示とを選択的に行うことが可能な表示装置であり、
    前記出力画像選択条件は、前記表示装置によって立体視表示された前記立体視用画像に対して、入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われることを検知した場合には、前記非立体視用画像を出力させるものであり、
    前記操作が、前記３次元医用画像の一部を立体視出力する位置の指定を行うための操作、または、前記３次元医用画像から断面画像を生成する位置の指定を行うための操作のいずれかであり、
    前記検知後に出力された前記非立体視用画像上で行われた前記所望の位置の指定を受付けた後、前記操作に応じて、前記画像生成条件に基づいて前記３次元医用画像から前記指定された位置に対応する立体視用画像を生成、または、前記３次元医用画像から前記指定された位置に対応する断面画像を生成して前記表示装置に出力するステップをさらに実行させることを特徴とする立体視用画像生成プログラム。
15. コンピュータに、
    被検体を表す３次元医用画像を入力として、立体視画像用の視差画像の数、立体視画像の視点位置、立体視画像の視線方向、平行投影または中心投影の投影方法、および、画像生成手法を含む画像生成条件に基づいて、該被検体の立体視出力を行うための立体視用画像を生成するステップと、
    前記３次元医用画像と前記立体視用画像の生成条件とに基づいて、前記立体視出力と等価な非立体視出力を行うための非立体視用画像を生成するステップと、
    前記立体視用画像を立体視表示可能な表示装置に表示させるステップと、
    前記表示装置に立体視表示された前記立体視用画像に対して、入力手段による該立体視用画像中の所望の位置の指定を伴う操作が行われた場合に、前記非立体視用画像を用いて前記指定された位置を特定するステップと、
    前記画像生成条件に基づいて前記特定された位置に対応する立体視用画像を生成して、前記表示装置に表示させるステップとを実行させる立体視用画像生成プログラム。