JP5695524B2 - 立体視画像表示装置および方法並びにプログラム - Google Patents

Description

本発明は、右目用画像および左目用画像の２枚の画像を用いて立体視画像を表示する立体視画像表示装置および方法並びにプログラムに関するものである。

従来、右目用画像および左目用画像の２枚の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視できる画像（以下、立体視画像またはステレオ画像という）は、同一の被写体を異なる位置から撮影して取得された互いに視差のある複数の画像に基づいて生成される。

そして、このような立体視画像の生成は、デジタルカメラやテレビなどの分野だけでなく、放射線画像撮影の分野においても利用されている。すなわち、被験者に対して互いに異なる方向から放射線を照射し、その被験者を透過した放射線を放射線画像検出器によりそれぞれ検出して互いに視差のある複数の放射線画像を取得し、これらの放射線画像に基づいて立体視画像を生成することが行われている。そして、このように立体視画像を生成することによって奥行感のある放射線画像を観察することができ、より診断に適した放射線画像を観察することができる。（例えば特許文献１参照）

特開２０１０−１１０５７１号公報

上記のような立体視画像は、３次元的な画像情報があるのではなく、右目用画像および左目用画像の２枚の画像に基づいて視差を利用した虚像を浮かび上がらせて立体視させているため、被写体の境界が曖昧となり、複数の被写体が近接したり重なって写っている場合には被写体同士の前後の位置関係が曖昧になることがある。特に放射線画像の場合は透過映像であるため、通常の写真と比べて上記の問題がさらに顕著になる。

ここで、透過立体視画像の一例を示す。図５は透過立体視画像のイメージ図、図６は図５に示す透過立体視画像中の物体の位置関係を示す仮想上面図である。

図５に示すように透過性がある円形の物体Ａと方形の物体Ｂが表示された場合、実際には図６に示すように物体Ａが前方（ユーザー側）にあるのだが、図５に示すような透過立体視画像をそのまま観察しているだけでは、物体Ａと物体Ｂのどちらが前方（ユーザー側）にあるか判断するのが難しい場合がある。

このように被写体同士の前後の位置関係が曖昧になった場合、立体視画像を前後反転および／または左右反転させて被写体同士の位置関係を変化させて表示することにより、ユーザーに被写体同士の位置関係を把握させやすくすることができる。例えば、上記の図５に示す透過立体視画像の場合には、前後反転させて図６の状態から図９の状態に切り替えると、物体Ａが後方に、物体Ｂが前方に移動するため、このような変化が生じることにより被写体の境界が曖昧な場合でも互いの位置関係が把握できるようになる場合がある。

また、ユーザーが画像上の特定の被写体を指定できるようにするために、立体視画像中に３次元的に移動可能なカーソルを表示することが考えられているが、一般的にこのようなカーソルについては図８に示すように立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーで処理が行なわれ、最終的に画像レイヤーとカーソルレイヤーが合成されて表示される。

そのため、立体視画像を前後反転および／または左右反転させると、例えば図９（前後反転の例）に示すようにカーソルだけが取り残されて、本来指していた対象から離れてしまい、ユーザーが混乱してしまうという問題がある。

本発明は、上記の事情に鑑み、右目用画像および左目用画像の２枚の画像を用いて立体視画像を表示する立体視画像表示装置および方法並びにプログラムにおいて、上記問題を解消したものを提供することを目的とする。

本発明の立体視画像表示装置は、被写体が撮像された互いに視差のある右目用画像および左目用画像から構成される立体視画像を立体視可能に表示する立体視画像表示装置であって、立体視画像が表す三次元空間内の位置を入力可能な入力手段により特定された位置にカーソルを表示するカーソル表示手段と、立体視画像を前後反転および／または左右反転させる画像処理手段と、立体視画像を前後反転および／または左右反転させた際に、被写体に対するカーソルの相対位置が変わらないように、カーソルの位置を調整するカーソル位置調整手段とを備えてなることを特徴とするものである。

ここで、「立体視画像を前後反転させる」とは、右目用画像をユーザーの左目に対して表示し、左目用画像をユーザーの右目に対して表示することにより、立体視画像中の被写体の位置関係を前後反転させる処理を意味する。

また、「立体視画像を左右反転させる」とは、右目用画像および左目用画像を各々個別に左右反転して表示することにより、立体視画像中の被写体の位置関係を左右反転させる処理を意味する。

これらの前後反転処理および左右反転処理は、立体視画像に対して両方同時に行ってもよいし、いずれか一方のみ行なってもよい。

本発明の立体視画像表示装置において、カーソル位置調整手段は、右目用画像および左目用画像の各々にカーソルの画像を投影した後、立体視画像を前後反転および／または左右反転させるものとしてもよい。

また、カーソル表示手段は、カーソルについて立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーで処理するものとし、カーソル位置調整手段は、立体視画像が前後反転および／または左右反転された際に、カーソルレイヤーについて立体視画像と同様に前後反転および／または左右反転させるものとしてもよい。

本発明の立体視画像表示方法は、被写体が撮像された互いに視差のある右目用画像および左目用画像から構成される立体視画像を立体視可能に表示する立体視画像表示方法であって、立体視画像が表す三次元空間内の位置を入力可能な入力手段により特定された位置にカーソルを表示し、立体視画像を前後反転および／または左右反転させた際に、被写体に対するカーソルの相対位置が変わらないように、カーソルの位置を調整することを特徴とするものである。

また、本発明による立体視画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の立体視画像表示装置および方法並びにプログラムによれば、被写体が撮像された互いに視差のある右目用画像および左目用画像から構成される立体視画像を立体視可能に表示する立体視画像表示装置において、立体視画像が表す三次元空間内の位置を入力可能な入力手段により特定された位置にカーソルを表示し、立体視画像を前後反転および／または左右反転させた際に、被写体に対するカーソルの相対位置が変わらないように、カーソルの位置を調整するようにして、立体視画像を前後反転および／または左右反転させた場合も、被写体に対するカーソルの相対位置が変わらないようにしたので、ユーザーを混乱させることなく、画像表示の切替えを行なうことができる。

本発明の立体視画像表示装置において、カーソル位置調整手段を、右目用画像および左目用画像の各々にカーソルの画像を投影した後、立体視画像を前後反転および／または左右反転させるものとするか、カーソル表示手段を、カーソルについて立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーで処理するものとし、カーソル位置調整手段を、立体視画像が前後反転および／または左右反転された際に、カーソルレイヤーについて立体視画像と同様に前後反転および／または左右反転させるものとすれば、簡単な処理で本発明を実現させることができる。

本発明の立体視画像表示装置の一実施の形態を用いた乳房用立体視画像撮影表示システムの概略構成図 図１に示す乳房用立体視画像撮影表示システムのアーム部を図１の右方向から見た図 図１に示す乳房用立体視画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図 立体視画像に対するカーソル投影について説明するための図 透過立体視画像のイメージ図 図５に示す透過立体視画像中の物体の位置関係を示す仮想上面図 図５に示す透過立体視画像について本発明の処理により前後反転させた場合の仮想上面図 図５に示す透過立体視画像について個別のレイヤーでカーソル表示処理を行う場合の図 図５に示す透過立体視画像について従来の処理により前後反転させた場合の仮想上面図

以下、図面を参照して本発明の立体視画像表示装置の一実施の形態を用いた乳房用立体視画像撮影表示システムについて説明する。まず、本実施の形態の乳房用立体視画像撮影表示システム全体の概略構成について説明する。図１は乳房用立体視画像撮影表示システムの概略構成を示す図、図２は図１に示す乳房用立体視画像撮影表示システムのアーム部を図１の右方向から見た図、図３は図１に示す乳房用立体視画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図である。

本実施形態の乳房用立体視画像撮影表示システム１は、図１に示すように、乳房画像撮影装置１０と、乳房画像撮影装置１０に接続されたコンピュータ８と、コンピュータ８に接続されたモニタ９および入力部７とを備えている。

そして、乳房画像撮影装置１０は、図１に示すように、基台１１と、基台１１に対し上下方向（Ｚ方向）に移動可能であり、かつ回転可能な回転軸１２と、回転軸１２により基台１１と連結されたアーム部１３を備えている。なお、図２には、図１の右方向から見たアーム部１３を示している。

アーム部１３はアルファベットのＣの形をしており、その一端には撮影台１４が、その他端には撮影台１４と対向するように放射線照射部１６が取り付けられている。アーム部１３の回転および上下方向の移動は、基台１１に組み込まれたアームコントローラ３１により制御される。

撮影台１４の内部には、フラットパネルディテクタ等の放射線画像検出器１５と、放射線画像検出器１５からの電荷信号の読み出しを制御する検出器コントローラ３３が備えられている。また、撮影台１４の内部には、放射線画像検出器１５から読み出された電荷信号を電圧信号に変換するチャージアンプや、チャージアンプから出力された電圧信号をサンプリングする相関２重サンプリング回路や、電圧信号をデジタル信号に変換するＡＤ変換部などが設けられた回路基板なども設置されている。

また、撮影台１４はアーム部１３に対し回転可能に構成されており、基台１１に対してアーム部１３が回転したときでも、撮影台１４の向きは基台１１に対し固定された向きとすることができる。

放射線画像検出器１５は、放射線画像の記録と読出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線画像検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線画像検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、ＴＦＴ（thin film transistor）スイッチをオン・オフされることによって放射線画像信号が読みだされる、いわゆるＴＦＴ読出方式のものや、読取光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。

放射線照射部１６の中には放射線源１７と、放射線源コントローラ３２が収納されている。放射線源コントローラ３２は、放射線源１７から放射線を照射するタイミングと、放射線源１７における放射線発生条件（管電流、管電圧、時間等）を制御するものである。

また、アーム部１３の中央部には、撮影台１４の上方に配置されて乳房Ｍを押さえつけて圧迫する圧迫板１８と、その圧迫板１８を支持する支持部２０と、支持部２０を上下方向（Ｚ方向）に移動させる移動機構１９が設けられている。圧迫板１８の位置、圧迫圧は、圧迫板コントローラ３４により制御される。

コンピュータ８は、中央処理装置（ＣＰＵ）および半導体メモリやハードディスクやＳＳＤ等のストレージデバイスなどを備えており、これらのハードウェアによって、図３に示すような制御部８ａ、データ記憶部８ｂおよび画像処理部８ｃが構成されている。

制御部８ａは、各種のコントローラ３１〜３４に対して所定の制御信号を出力し、システム全体の制御を行うものである。具体的な制御方法については後で詳述する。データ記憶部８ｂは、放射線画像検出器１５によって取得された撮影角度毎の放射線画像データ等を記憶するものである。画像処理部８ｃは、立体視画像中にカーソルを表示させるカーソル表示手段としての機能や、立体視画像を前後反転および／または左右反転させる画像処理手段としての機能や、立体視画像を前後反転および／または左右反転させた際に、被写体に対するカーソルの相対位置が変わらないように、カーソルの位置を調整するカーソル位置調整手段としての機能を有する他、種々の画像処理を施すためのものである。

入力部７は、例えば、キーボードやマウスなどのポインティングデバイスから構成されたものであり、カーソルの移動操作や、撮影条件や操作指示等の入力を受け付けるためのものである。

モニタ９は、コンピュータ８から出力された２つの放射線画像信号を用いて、撮影方向毎の放射線画像をそれぞれ２次元画像として表示することにより、立体視画像を表示するように構成されたものである。

立体視画像を表示する構成としては、たとえば、２つの画面を用いて２つの放射線画像信号に基づく放射線画像をそれぞれ表示させて、これらをハーフミラーや偏光グラスなどを用いることで一方の放射線画像は観察者の右目に入射させ、他方の放射線画像は観察者の左目に入射させることによって立体視画像を表示する構成を採用することができる。

または、たとえば、２つの放射線画像を所定の視差量だけずらして重ね合わせて表示し、これを偏光グラスで観察することで立体視画像を生成する構成としてもよいし、もしくはパララックスバリア方式およびレンチキュラー方式のように、２つの放射線画像を立体視可能な３Ｄ液晶に表示することによって立体視画像を生成する構成としてもよい。

また、立体視画像を表示する装置と２次元画像を表示する装置とは別個に構成するようにしてもよいし、同じ画面上で表示できる場合には同じ装置として構成するようにしてもよい。

次に、本実施形態の乳房用立体視画像撮影表示システムの作用について説明する。図４は立体視画像に対するカーソル投影について説明するための図、図５は透過立体視画像のイメージ図、図６は図５に示す透過立体視画像中の物体の位置関係を示す仮想上面図、図７は図５に示す透過立体視画像について本発明の処理により前後反転させた場合の仮想上面図である。

まず、撮影の際の動作について説明する。

最初に撮影台１４の上に乳房Ｍが設置され、圧迫板１８により乳房Ｍが所定の圧力によって圧迫される。

次に、入力部７おいて、２つの異なる撮影方向がなす角度（以下、輻輳角θという）および輻輳角θを構成する撮影角度θ'の組み合わせを含む種々の撮影条件が入力された後、撮影開始の指示が入力される。

そして、入力部７において撮影開始の指示があると、乳房Ｍの立体視画像の撮影が行われる。具体的には、まず、制御部８ａが、輻輳角θと輻輳角θを構成する撮影角度θ'の情報をアームコントローラ３１に出力する。なお、本実施形態においては、このときの輻輳角θの情報としてθ＝４°、輻輳角θを構成する撮影角度θ’の組み合わせとしてθ’＝±２°の組み合わせが設定されているものとするが、これに限られるものではなく、撮影者は入力部７において任意の輻輳角θを設定可能である。

アームコントローラ３１において、制御部８ａから出力された撮影角度θ’の情報が受け付けられ、アームコントローラ３１は、この撮影角度θ’の情報に基づいて、まず右目用の放射線画像を撮影するためにアーム部１３を検出面１５ａに垂直な方向に対して＋２°傾く撮影角度θ'となる制御信号を出力する。

アームコントローラ３１から出力された制御信号に応じてアーム部１３が＋２°の位置まで回転する。続いて制御部８ａは、放射線源コントローラ３２および検出器コントローラ３３に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源１７から放射線が照射され、乳房Ｍを撮影角度θ'が＋２°の方向から撮影した放射線画像が放射線検出器１５によって検出され、検出器コントローラ３３によって放射線画像信号が読み出され、コンピュータ８のデータ記憶部８ｂに記憶される。

続いて、まず左目用の放射線画像を撮影するためにアーム部１３を検出面１５ａに垂直な方向に対して−２°傾く撮影角度θ'となる制御信号を出力する。

アームコントローラ３１から出力された制御信号に応じてアーム部１３が−２°の位置まで回転する。続いて制御部８ａは、放射線源コントローラ３２および検出器コントローラ３３に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源１７から放射線が照射され、乳房Ｍを撮影角度θ'が−２°の方向から撮影した放射線画像が放射線検出器１５によって検出され、検出器コントローラ３３によって放射線画像信号が読み出され、コンピュータ８のデータ記憶部８ｂに記憶される。

次に、立体視画像表示の際の動作について説明する。

まず、コンピュータ８のデータ記憶部８ｂに記憶された右目用放射線画像および左目用放射線画像の２つの放射線画像信号がデータ記憶部８ｂから読み出された後、モニタ９に出力され、モニタ９において乳房Ｍの透過立体視画像が表示される。

なお、ここでの説明では、処理の内容を分かりやすく説明するために、乳房Ｍの透過立体視画像の代わりに、図５に示すように円形の物体Ａと方形の物体Ｂが写っている透過立体視画像を一例として用いて説明するが、処理の内容については乳房Ｍが写っている透過立体視画像の場合でも同様である。

立体視画像中にはカーソルＣが表示される。ここで立体視画像中にカーソルＣを表示する際の処理について詳細に説明する。カーソルＣは、モニタ９の表示面に対して３次元的に移動可能なものであり、入力部７において３次元的な位置が指定されると、画像処理部８ｃにおいて、図４に示すように、放射線画像検出器１５の検出面に対する相対位置を求めてこの位置にカーソルＣを仮想的に配置し、まず、右目用放射線画像撮影時の撮影角度θ’において放射線画像検出器１５の検出面上にカーソルＣが投影される位置を求め、右目用放射線画像の投影位置にカーソルＣの投影像を画像処理により合成することにより、カーソルＣの画像を含む右目用放射線画像を得ることができる。同様に、左目用放射線画像撮影時の撮影角度θ’において放射線画像検出器１５の検出面上にカーソルＣが投影される位置を求め、左目用放射線画像の投影位置にカーソルＣの投影像を画像処理により合成することにより、カーソルＣの画像を含む左目用放射線画像を得ることができる。

上記のようにして得られたカーソルＣの画像が合成された右目用放射線画像および左目用放射線画像に基づいて、モニタ９において立体視画像を表示することにより、カーソルＣを含む立体視画像を表示することができるが、例えば図５に示す透過立体視画像のように、実際には図６に示すように物体Ａが前方（ユーザー側）にあるのだが、図５に示すような透過立体視画像をそのまま観察しているだけでは、物体Ａと物体Ｂのどちらが前方（ユーザー側）にあるか判断するのが難しい場合がある。

このように被写体同士の前後の位置関係が曖昧になった場合、立体視画像を前後反転および／または左右反転させて被写体同士の位置関係を変化させて表示することにより、ユーザーに被写体同士の位置関係を把握させやすくすることができる。この立体視画像の前後反転処理および／または左右反転処理は、ユーザーからの指示入力に基づいて行われる。

本実施の形態においては、上記で説明したように立体視画像中にカーソルＣを表示するための処理として、立体視画像を構成する右目用放射線画像および左目用放射線画像に対してカーソルＣの投影像を画像処理により合成している。

そのため、立体視画像を前後反転させる場合に、カーソルＣの投影像が合成された右目用放射線画像をユーザーの左目に対して表示し、カーソルＣの投影像が合成された左目用放射線画像をユーザーの右目に対して表示するようにすれば、図７に示すように、被写体（物体Ａ、Ｂ）に対するカーソルＣの相対位置が変わらないようにすることができる。

また、立体視画像を左右反転させる場合も同様に、カーソルＣの投影像が合成された右目用放射線画像および左目用放射線画像を各々個別に左右反転して表示すれば、被写体（物体Ａ、Ｂ）に対するカーソルＣの相対位置が変わらないようにすることができる。

これらの前後反転処理および左右反転処理は、立体視画像に対して両方同時に行ってもよいし、いずれか一方のみ行なってもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上記実施の形態に限定されるものではない。

例えば、立体視画像中にカーソルを表示する処理として、図８に示すように、立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーでカーソル表示処理を行ない、最終的に画像レイヤーとカーソルレイヤーを合成して表示するようにした場合には、立体視画像を前後反転および／または左右反転する際に、カーソルレイヤーについても立体視画像と同様に前後反転および／または左右反転させるようにすれば、上記実施の形態と同様に、被写体に対するカーソルの相対位置が変わらないようにすることができる。

また、上記実施の形態の説明では、本発明の立体視画像表示装置の一実施の形態として、乳房用立体視画像撮影表示システムに適用した例を示したが、本発明は乳房用立体視画像撮影表示システムに限定されるものではなく、立体視画像を表示可能な立体視画像表示装置であればどのような装置にも適用することができる。

また、上記以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。

１ 乳房用立体視画像撮影表示システム
７ 入力部
８ コンピュータ
８ａ 制御部
８ｂ データ記憶部
８ｃ 画像処理部
９ モニタ
１０ 乳房画像撮影装置
１１ 基台
１２ 回転軸
１３ アーム部
１４ 撮影台
１５ 放射線画像検出器
１６ 放射線照射部
１７ 放射線源
１８ 圧迫板
３１ アームコントローラ
３２ 放射線源コントローラ
３３ 検出器コントローラ
３４ 圧迫板コントローラ

Claims (3)

1. 被写体が撮像された互いに視差のある右目用画像および左目用画像から構成される立体視画像を立体視可能に表示する立体視画像表示装置であって、
   前記立体視画像が表す三次元空間内の位置を入力可能な入力手段により特定された位置にカーソルを表示するカーソル表示手段と、
   前記立体視画像を前後反転および／または左右反転させる画像処理手段と、
   前記立体視画像を前後反転および／または左右反転させた際に、前記被写体に対する前記カーソルの相対位置が変わらないように、前記カーソルの位置を調整するカーソル位置調整手段とを備え、
   前記カーソル表示手段が、前記カーソルについて前記立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーで処理するものであり、
   前記カーソル位置調整手段が、前記立体視画像が前後反転および／または左右反転された際に、前記カーソルレイヤーについて前記立体視画像と同様に前後反転および／または左右反転させるものである
   ことを特徴とする立体視画像表示装置。
2. 被写体が撮像された互いに視差のある右目用画像および左目用画像から構成される立体視画像を立体視可能に表示する立体視画像表示方法であって、
   前記立体視画像が表す三次元空間内の位置を入力可能な入力手段により特定された位置にカーソルを表示し、
   前記立体視画像を前後反転および／または左右反転させた際に、前記被写体に対する前記カーソルの相対位置が変わらないように、前記カーソルの位置を調整する際に、
   前記カーソルについて前記立体視画像を処理する画像レイヤーとは異なるカーソルレイヤーで処理し、
   前記立体視画像が前後反転および／または左右反転された際に、前記カーソルレイヤーについて前記立体視画像と同様に前後反転および／または左右反転させる
   ことを特徴とする立体視画像表示方法。
3. 請求項２記載の立体視画像表示方法をコンピュータに実行させるためのプログラム。