WO2014057618A1 - 3次元表示装置、3次元画像処理装置および3次元表示方法 - Google Patents

3次元表示装置、3次元画像処理装置および3次元表示方法 Download PDF

Info

Publication number
WO2014057618A1
WO2014057618A1 PCT/JP2013/005666 JP2013005666W WO2014057618A1 WO 2014057618 A1 WO2014057618 A1 WO 2014057618A1 JP 2013005666 W JP2013005666 W JP 2013005666W WO 2014057618 A1 WO2014057618 A1 WO 2014057618A1
Authority
WO
WIPO (PCT)
Prior art keywords
blood vessel
dimensional image
unit
dimensional
image
Prior art date
Application number
PCT/JP2013/005666
Other languages
English (en)
French (fr)
Inventor
加藤 弓子
小澤 順
井上 剛
透 中田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014514664A priority Critical patent/JP5873982B2/ja
Publication of WO2014057618A1 publication Critical patent/WO2014057618A1/ja
Priority to US14/297,018 priority patent/US9807361B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 3次元画像を表示する3次元表示装置(10)は、ユーザの注視点の位置を取得する注視点取得部(11)と、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部(12)と、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように、3次元画像を補正する補正部(13)と、補正された3次元画像を表示する表示部(14)とを備える。

Description

3次元表示装置、3次元画像処理装置および3次元表示方法
 本発明は、3次元医用画像を表示または処理する技術に関する。
 3次元画像(例えば、左眼用画像および右眼用画像)に対して視点変換(例えば、回転やズーム)を行った場合、3次元画像に含まれる複数のオブジェクト間あるいはオブジェクトの部分間における奥行き方向の位置関係が変化する。その結果、例えば、奥側に位置するオブジェクトが手前側に位置するオブジェクトによって隠蔽されてしまい、3次元画像の視認性が低下する場合がある。
 これに対して、特許文献1は、奥行きに応じて3次元画像に含まれるオブジェクトの透明度を調節する方法を開示している。これにより、手前側に位置するオブジェクトを透かして奥側に位置するオブジェクトが表示されるようにすることができる。
 また、特許文献2は、3次元画像をズームする際に、焦点距離に応じて左眼用画像と右眼用画像と間の視差量を調整して立体感を維持する方法を開示している。
特開2001-84409号公報 特開2011-248693号公報
 しかしながら、上記従来の方法では、ユーザあるいは3次元画像の状態によっては3次元画像の視認性が低下してしまう場合がある。
 そこで、本発明は、ユーザあるいは3次元画像の状態に適応して3次元画像の視認性を向上させることができる3次元表示装置を提供する。
 本発明の一態様に係る3次元表示装置は、3次元画像を表示する3次元表示装置であって、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記融合領域の外側において前記3次元画像に含まれるオブジェクトの表示が抑制されるように、前記3次元画像を補正する補正部と、補正された前記3次元画像を表示する表示部とを備える。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本発明の一態様に係る3次元表示装置によれば、ユーザあるいは3次元画像の状態に適応して3次元画像の視認性を向上させることができる。
図1は、3次元表示された血管画像の一例を示す模式図である。 図2は、実施の形態1における3次元表示装置の機能構成を示すブロック図である。 図3は、実施の形態1における3次元表示装置の処理動作を示すフローチャートである。 図4は、実施の形態1における3次元表示装置の処理動作を説明するための模式図である。 図5は、実施の形態1における3次元表示装置によって表示される3次元画像の一例を示す図である。 図6は、実施の形態2における3次元表示装置の機能構成を示すブロック図である。 図7は、実施の形態2における画像情報の一例を示す図である。 図8Aは、実施の形態2におけるセンサの一例を示す模式図である。 図8Bは、実施の形態2におけるセンサの他の一例を示す模式図である。 図9は、実施の形態2におけるセンサの他の一例を示す模式図である。 図10は、実施の形態2におけるセンサの他の一例を示す模式図である。 図11は、実施の形態2における座標系の一例を示す模式図である。 図12は、実施の形態2における融合領域情報の一例を示す図である。 図13は、実施の形態2における3次元表示装置の処理動作を示すフローチャートである。 図14は、実施の形態2における視点変換部の処理動作を示すフローチャートである。 図15は、実施の形態2における座標変換の一例を示す模式図である。 図16は、実施の形態2における補正処理決定部の処理動作を示すフローチャートである。 図17は、実施の形態2における画像処理部の処理動作を示すフローチャートである。 図18は、実施の形態2における3次元表示装置によって表示される3次元画像の一例を示す図である。 図19は、実施の形態2の変形例における視点変換を説明するための模式図である。 図20は、実施の形態3における3次元表示装置の機能構成を示すブロック図である。 図21は、実施の形態3における画像情報の一例を示す図である。 図22は、実施の形態3における分岐番号の決定方法の一例を示す模式図である。 図23は、実施の形態3における3次元表示装置の処理動作を示すフローチャートである。 図24は、実施の形態3における血管連関情報抽出部の詳細な機能構成を示すブロック図である。 図25は、実施の形態3における血管重要度計算部の詳細な機能構成を示すブロック図である。 図26は、実施の形態3における血管重要度計算部の処理動作を示すフローチャートである。 図27Aは、実施の形態3における点数変換テーブルの一例を示す図である。 図27Bは、実施の形態3における点数変換テーブルの一例を示す図である。 図27Cは、実施の形態3における点数変換テーブルの一例を示す図である。 図28は、実施の形態3における領域分割部の詳細な機能構成を示すブロック図である。 図29は、実施の形態3における分割テーブルの一例を示す図である。 図30は、実施の形態4における3次元表示装置の機能構成を示すブロック図である。 図31は、実施の形態4における血管重要度計算部の詳細な機能構成を示すブロック図である。 図32は、実施の形態4における器具情報の一例を示す図である。 図33は、実施の形態4における画像情報の一例を示す図である。 図34Aは、実施の形態4における点数変換テーブルの一例を示す図である。 図34Bは、実施の形態4における点数変換テーブルの一例を示す図である。 図34Cは、実施の形態4における点数変換テーブルの一例を示す図である。 図34Dは、実施の形態4における点数変換テーブルの一例を示す図である。 図34Eは、実施の形態4における点数変換テーブルの一例を示す図である。 図35は、実施の形態5における3次元表示装置の機能構成を示すブロック図である。 図36は、実施の形態5における3次元表示装置の処理動作を示すフローチャートである。 図37は、実施の形態6における3次元画像処理装置の機能構成を示すブロック図である。
 (本発明の基礎となった知見)
 表示されている3次元画像が変化したとき、あるいは、ユーザの注視点の位置が変化したときに、ユーザが注視しているオブジェクトおよびオブジェクトの部分(以下、これらを「注視部分」と呼ぶ)よりも手前側に飛び出して表示されるオブジェクトおよびオブジェクトの部分(以下、これらを「手前側部分」と呼ぶ)と奥側に引っ込んで表示されるオブジェクトおよびオブジェクトの部分(以下、これらを「奥側部分」と呼ぶ)との関係が変化する。このとき、手前側部分および奥側部分の位置あるいは模様などによって注視部分の視認性が低下する。例えば、手前側部分が注視部分と奥行き方向に重なる場合、注視部分は手前側部分によって隠蔽されてしまう。
 これに対して、特許文献1の方法によれば、手前側部分の透明度を調整することにより注視部分の視認性を向上させることができる。しかしながら、特許文献1の方法では、ユーザが3次元画像中のオブジェクトあるいはオブジェクトの部分に対して透明度をマニュアルで調整しなければならない。つまり、特許文献1の方法では、ユーザあるいは3次元画像の状態が変化するたびに、ユーザがオブジェクトあるいはオブジェクトの部分の透明度をマニュアルで調整しなければならない。
 また、特許文献2の方法では、焦点距離に応じて自動的に視差量を調節することができるが、注視部分の視認性を向上させることはできない。
 ここで、3次元画像中の手前側部分によって注視部分が隠蔽される状態の一例を、血管の3次元画像(以下、単に「血管画像」と呼ぶ)を用いて詳細に説明する。
 図1は、3次元表示された血管画像の一例を示す。
 図1の(a)では、血管が表示画面に沿って表示されている。ここで、図1の(a)で表示されている血管画像を回転させた場合、例えば、図1の(b)のように血管画像が表示される。ここでは、画面中心を通る鉛直方向の軸を回転軸として血管画像が回転されている。
 図1の(a)に表示された血管は、画面の左側と右側とに2つの湾曲部を有する。ユーザは、左側の湾曲部を別の角度から見るために血管画像を回転させるための操作を行う。図1の例では、画面の左側のオブジェクトが画面より手前に移動し、画面の右側のオブジェクトが画面より奥へ移動するように回転させている。
 このとき、図1の(b)のように、ユーザが見ようとする湾曲部(注視部分)は画面より手前側の3次元位置に表示される。しかしながら、図1の(a)において注視部分よりさらに左側に表示されていた部分が、注視部分よりさらに手前に表示される。その結果、注視部分よりも手前側に表示される部分(手前側部分)が注視部分を隠してしまう。
 さらに、血管が奥行方向に沿って配置されることで、手前側の端部と奥側の端部との間で奥行きに大きな差ができる。これにより、ユーザは、注視部分の近傍以外においてオブジェクトが二重に見えてしまう。
 3次元画像の奥行きは左眼用画像と右眼用画像との間の視差によって表現される。そのため、奥行きが大きく異なる部分を有する3次元画像には、視差が大きく異なる領域が存在する。
 3次元画像を見る際、人は、視差に合わせて左右の眼の角度(輻輳角)を調整する。その結果、人は、左眼および右眼から得られた2つの画像を1つの画像として重ね合わせることができ、オブジェクトを立体視することが可能となる。このように両眼から得られた2つの画像を1つの画像として重ね合わせることを、両眼融合(binocular fusion)あるいは単に融合(fusion)という。
 例えば、3次元画像が、視差が互いに大きく異なる2つのオブジェクトを有する場合、2つのオブジェクトの一方の視差に合わせて輻輳角が調整されれば、その輻輳角は、2つのオブジェクトの他方の視差に適合しない。その結果、輻輳角が視差に適合しないオブジェクトは、二重像(diplopia)となってしまう。つまり、融合領域の外側では二重像が発生してしまう。
 図1の(a)では、注視部分とその他の部分と間で奥行きの変化が小さい。したがって、3次元画像内における視差の差異も小さい。そのため、注視部分の視差に適合するように輻輳角を調整することで、二重像は発生しない。
 一方、図1の(b)では、血管が表示される奥行き方向の3次元位置は、血管の部分によって大きく異なる。したがって、例えば手前側部分の視差は、注視部分の視差よりも大きい。ここで、注視部分の視差にあわせて輻輳角が調整された場合、その輻輳角で融合が可能な視差(すなわち奥行き)は、注視部分の視差(すなわち奥行)に限定されるのではなく、ある程度の幅を持っていることが知られている。
 この両眼融合が可能な範囲を融合領域(fusional area / fusional limits of depth perception)という。融合領域は、視野の中心部では視角で数分程度であり、周縁部よりも非常に狭い(Panumの融合領域)。また、融合領域は、注視部分が奥行き方向の手前側に位置するほど狭くなり、奥側に位置するほど広くなる。したがって、注視部分が手前側に位置する場合に、二重像が発生する可能性が高くなる。
 そこで、本発明の一態様に係る3次元表示装置は、3次元画像を表示する3次元表示装置であって、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記融合領域の外側において前記3次元画像に含まれるオブジェクトの表示が抑制されるように、前記3次元画像を補正する補正部と、補正された前記3次元画像を表示する表示部とを備える。
 この構成によれば、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように3次元画像を補正することができる。したがって、融合領域の外側において発生する二重像の視覚的な影響を抑制することができる。その結果、3次元画像内のユーザが注視しているオブジェクトの視認性を向上させることができる。
 さらに、この構成によれば、注視点の位置に応じて自動的に決定された融合領域を用いて、3次元画像を補正することができる。したがって、ユーザが表示を抑制するオブジェクトを指定しなくてもよく、ユーザの利便性を向上させることもできる。
 例えば、前記補正部は、前記3次元画像に含まれるオブジェクトであって前記融合領域より手前側に位置するオブジェクトを削除することにより、前記3次元画像を補正してもよい。
 この構成によれば、融合領域より手前側に位置するオブジェクトを3次元画像から削除することができる。したがって、融合領域より手前側の領域における二重像の発生を防ぐことができる。さらに、ユーザが注視しているオブジェクトが他のオブジェクトによって隠蔽されることを防ぐことができる。その結果、3次元画像内のユーザが注視しているオブジェクトの視認性をさらに向上させることが可能となる。
 例えば、前記補正部は、前記3次元画像に含まれるオブジェクトであって前記融合領域よりも奥側に位置するオブジェクトをぼかすことにより、前記3次元画像を補正してもよい。
 この構成によれば、融合領域より奥側に位置するオブジェクトをぼかすことができる。したがって、融合領域より奥側の領域において発生する二重像の視覚的な影響を抑制することができる。
 例えば、前記3次元表示装置は、さらに、前記3次元画像に含まれるオブジェクトであって前記注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、前記3次元画像の視点変換を行う視点変換部を備え、前記補正部は、視点変換が行われた前記3次元画像を補正してもよい。
 この構成によれば、注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように3次元画像の視点変換を行うことができる。したがって、ユーザは、輻輳角を変化させなくても同一のオブジェクトを注視し続けることができ、ユーザの負荷を軽減させることできる。
 例えば、前記視点変換は、前記注視点の位置を中心とする前記3次元画像の回転処理であってもよい。
 この構成によれば、注視点の位置を中心とする3次元画像の回転処理を行うことができる。その結果、注視点の位置に表示されているオブジェクトの表示位置が変化しないように、3次元画像の視点変換を行うことができる。
 例えば、前記3次元表示装置は、さらに、複数の注視点の奥行き方向の位置と、前記複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を記憶している融合領域情報記憶部を備え、前記融合領域決定部は、前記融合領域情報を参照することにより、取得された前記注視点の位置に対応する前記融合領域を決定してもよい。
 この構成によれば、融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を容易に決定することができる。
 例えば、前記3次元画像は、複数の血管を表す複数の血管オブジェクトを含み、前記3次元表示装置は、さらに、前記注視点に位置する血管オブジェクトと、前記3次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する連関情報取得部と、前記融合領域と前記連関情報とに基づいて、前記3次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する血管重要度計算部とを備え、前記補正部は、前記重要度が低い血管オブジェクトほど表示が抑制されるように、前記3次元画像を補正してもよい。
 この構成によれば、融合領域と連関情報とに基づいて算出された重要度が低い血管オブジェクトほど表示が抑制されるように3次元画像を補正することができる。したがって、注視点に位置する血管オブジェクトとの接続関係に応じて血管オブジェクトの表示を抑制することが可能となる。
 例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトが前記融合領域に含まれる場合に当該血管オブジェクトが前記融合領域に含まれない場合よりも重要度が高くなるように、前記重要度を算出してもよい。
 この構成によれば、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、重要度を算出することができる。したがって、融合領域に含まれない血管オブジェクトの表示を抑制することが可能となる。
 例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、前記重要度を算出してもよい。
 この構成によれば、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように重要度を算出することができる。したがって、注視点に位置する血管オブジェクトと多くの分岐を経由して接続されている血管オブジェクトの表示を抑制することができ、注視点に位置する血管オブジェクトの視認性を向上させることが可能となる。
 例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、前記重要度を算出してもよい。
 この構成によれば、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように重要度を算出することができる。したがって、注視点に位置するオブジェクトとの空間距離が大きい血管オブジェクトの表示を抑制することができ、注視点に位置する血管オブジェクトの視認性を向上させることが可能となる。
 例えば、前記3次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも1つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、前記3次元表示装置は、さらに、前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部を備え、前記補正部は、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記3次元画像を補正してもよい。
 この構成によれば、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように3次元画像を補正することができる。したがって、器具オブジェクトの進行する可能性がある血管オブジェクトの表示を優先することができ、有用な3次元画像を表示することが可能となる。
 また、本発明の一態様に係る3次元画像処理装置は、3次元画像を処理する3次元表示装置であって、前記3次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも1つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、前記3次元画像処理装置は、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部と、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記3次元画像を補正する補正部とを備える。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、以下において必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 (実施の形態1)
 <構成>
 図2は、実施の形態1における3次元表示装置10の機能構成を示すブロック図である。3次元表示装置10は、3次元画像を表示する。つまり、3次元表示装置10は、画像を立体的に表示する。具体的には、3次元表示装置10は、メガネ式の立体表示方式により3次元画像を表示する。メガネ式の立体表示方式とは、メガネ(例えば、液晶シャッタメガネまたは偏光メガネなど)を着用したユーザに対して、視差を有する左眼用画像および右眼用画像を表示する方式である。また例えば、3次元表示装置10は、裸眼式の立体表示方式により3次元画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式(例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など)である。
 図2に示すように、3次元表示装置10は、注視点取得部11と、融合領域決定部12と、補正部13と、表示部14とを備える。
 注視点取得部11は、ユーザの注視点の位置を取得する。具体的には、注視点取得部11は、例えば、ユーザの眼電位あるいは眼球の画像に基づいて注視点の3次元位置を検出する。なお、注視点取得部11は、注視点の位置を検出しなくてもよい。例えば、注視点取得部11は、3次元表示装置10の外部に設けられたセンサなどから注視点の位置を示す情報を取得することにより、注視点の位置を取得してもよい。
 融合領域決定部12は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。具体的には、融合領域決定部12は、例えば、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を決定する。また例えば、融合領域決定部12は、注視点の位置から融合領域を算出するための数式を用いて融合領域を決定してもよい。
 補正部13は、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように、3次元画像を補正する。オブジェクトの表示を抑制するとは、オブジェクトの表示レベルを下げることを意味する。例えば、オブジェクトの透明度を上げる、または、オブジェクトの鮮明度を下げることにより、オブジェクトの表示を抑制することができる。なお、オブジェクトの表示を抑制するには、オブジェクトを非表示(透明)にすることが含まれる。
 具体的には、補正部13は、例えば、3次元画像に含まれるオブジェクトであって融合領域より手前側に位置するオブジェクトを削除することにより、3次元画像を補正する。また例えば、補正部13は、3次元画像に含まれるオブジェクトであって融合領域よりも奥側に位置するオブジェクトをぼかすことにより、3次元画像を補正してもよい。
 より具体的には、補正部13は、例えば、3次元画像に含まれる複数のオブジェクトをそれぞれ示す複数の3次元モデルが配置された仮想的な3次元空間において、融合領域に対応する領域の内側に位置する3次元モデルのみを用いて、左眼用画像および右眼用画像をレンダリングする。また例えば、補正部13は、融合領域に対応する領域の外側に位置する3次元モデルの透明度を増加させた後に、左眼用画像および右眼用画像をレンダリングしてもよい。
 表示部14は、補正された3次元画像を表示する。具体的には、表示部14は、例えば、画面に左眼用画像と右眼用画像とを交互に表示することにより、補正された3次元画像を表示する。また例えば、表示部14は、例えば、画面に行列状に配列された複数の画素のうち、左眼に対応する画素を用いて左眼用画像を表示し、右眼に対応する画素を用いて右眼用画像を表示する。
 なお、表示部14は、画面を有しなくてもよい。この場合、表示部14は、3次元表示装置10の外部の表示装置を介して3次元画像を表示してもよい。
 次に、以上のように構成された3次元表示装置10の各種動作について説明する。
 <動作>
 図3は、実施の形態1における3次元表示装置10の処理動作を示すフローチャートである。
 まず、注視点取得部11は、ユーザの注視点の位置を取得する(S11)。続いて、融合領域決定部12は、注視点の位置に基づいて融合領域を決定する(S12)。そして、補正部13は、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように3次元画像を補正する(S13)。最後に、表示部14は、補正された3次元画像を表示する(S14)。
 図4および図5を用いて、3次元表示装置10の処理動作をさらに詳細に説明する。
 図4は、実施の形態1における3次元表示装置10の処理動作を説明するための模式図である。具体的には、図4の(a)は、3次元画像に含まれるオブジェクト40、41、42の位置関係を示す図である。また、図4の(b)は、二重像の説明図である。
 図5は、実施の形態1における3次元表示装置10によって表示される3次元画像の一例を示す図である。具体的には、図5の(a)は、補正されていない3次元画像を示す。また、図5の(b)は、補正された3次元画像を示す。
 図4の(a)に示すように、オブジェクト40よりも手前側にオブジェクト41が表示されており、オブジェクト40より奥側にオブジェクト42が表示されている。また、図4の(b)に示すように、オブジェクト40の視差D1は、オブジェクト41の視差D2よりも小さく、オブジェクト42の視差よりも大きい。
 ここで、注視点の位置がオブジェクト40の表示位置とすると、融合領域は、オブジェクト40の近傍領域となる。このとき、オブジェクト41は、融合領域の外側(手前側)に位置する。つまり、ユーザの輻輳角がオブジェクト41の視差に適合しないので、二重像41dが発生する。また、オブジェクト42も、融合領域の外側(奥側)に位置する。つまり、ユーザの輻輳角がオブジェクト42の視差に適合しないので、二重像42dが発生する。つまり、ユーザは、図5の(a)に示すように3次元画像を知覚する。
 この場合、特に、注視オブジェクトであるオブジェクト40の手前側の二重像41dがオブジェクト40の視認性を低下させる。そこで、補正部13は、例えば、3次元画像においてオブジェクト41を削除することにより、オブジェクト41の表示が抑制されるように3次元画像を補正する。その結果、図5の(b)に示すように、オブジェクト40の手前側の二重像41dが削除され、オブジェクト40の視認性が向上する。
 また、例えば、オブジェクト40とオブジェクト42とが同様の模様を有する場合などに、オブジェクト40の奥側の二重像42dもオブジェクト40の視認性を低下させる。そこで、補正部13は、例えば、3次元画像においてオブジェクト42をぼかすことにより、オブジェクト42の表示が抑制されるように3次元画像を補正する。その結果、二重像42dよりもオブジェクト40が強調され、オブジェクト40の視認性が向上する。
 <効果等>
 以上のように、本実施の形態によれば、3次元表示装置10は、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように3次元画像を補正することができる。したがって、3次元表示装置10は、融合領域の外側において発生する二重像の視覚的な影響を抑制することができる。その結果、3次元表示装置10は、3次元画像内のユーザが注視しているオブジェクトの視認性を向上させることができる。
 さらに、本実施の形態によれば、3次元表示装置10は、注視点の位置に応じて自動的に決定された融合領域を用いて、3次元画像を補正することができる。したがって、ユーザが表示を抑制するオブジェクトを指定しなくてもよく、3次元表示装置10は、ユーザの利便性を向上させることもできる。
 (実施の形態2)
 次に、実施の形態2について具体的に説明する。本実施の形態では、表示されている3次元画像の視点変換が行われる場合について説明する。
 <構成>
 図6は、実施の形態2における3次元表示装置100の機能構成を示すブロック図である。
 3次元表示装置100は、画像情報記憶部101と、視点入力部102と、視点変換部103と、奥行計算部104と、センサ105と、注視点検出部106と、画像変換中心決定部107と、融合領域情報記憶部108と、融合領域決定部109と、領域分割部110と、補正処理決定部111と、画像処理部112と、表示部113とを備える。
 画像情報記憶部101は、例えばハードディスクドライブあるいは半導体メモリである。画像情報記憶部101は、表示する3次元画像に関する情報である画像情報101aを記憶している。具体的には、画像情報記憶部101は、例えば、3次元画像に含まれる各オブジェクトの3次元モデルを画像情報101aとして記憶している。
 本実施の形態では、画像情報記憶部101は、それぞれが血管を表す複数の血管オブジェクトに関する情報を画像情報101aとして記憶している。画像情報101aは、例えば図7に示すように、血管オブジェクト上の点の座標および表示色を含む。
 視点入力部102は、表示画像に対する視点変換(例えば、回転またはズーム)のための操作を入力するインタフェースである。視点入力部102は、例えばマウス、リモコンまたはジェスチャ検出デバイス等である。ここで、視点変換とは、3次元画像に含まれるオブジェクトに対する視点位置および視線方向(仮想カメラの位置および方向)を変換する処理を意味する。例えば、視点位置がオブジェクトに近付くように3次元画像が視点変換されれば、オブジェクトは拡大される。
 視点変換部103は、視点入力部102によって受け付けられた視点変換のための操作に基づいて、画像情報記憶部101に記憶された画像情報101aを用いて3次元画像の視点変換を行う。このとき、視点変換部103は、3次元画像に含まれるオブジェクトであって注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、3次元画像の視点変換を行う。
 視点変換は、例えば、注視点の位置を中心とする3次元画像の回転処理である。具体的には、視点変換部103は、画像変換中心決定部107によって決定される中心位置を視点変換の中心位置として用いて3次元画像の視点変換を行う。例えば、視点変換部103は、画像変換中心決定部107によって決定される中心位置を通る鉛直方向の軸回りに3次元画像を回転させる。
 奥行計算部104は、視点変換部103によって視点変換された3次元画像に含まれるオブジェクトの奥行きを計算する。
 センサ105は、3次元画像を観視するユーザの眼球の動きをセンシングする。センサ105は、例えば図8Aまたは図8Bに示すようなユーザの眼球を撮像する可視光カメラあるいは赤外線カメラである。また例えば、センサ105は、図9に示すような皮膚に接触させた電極から眼球の動きに伴う電位変化を記録する眼電位計測手段あるいは筋電位計測手段であってもよい。また例えば、センサ105は、図10に示すような眼球表面に接触させたコイルから眼球運動および眼球の虹彩の動きや水晶体の動きに伴う電位変化を記録するサーチコイルであってもよい。
 注視点検出部106は、センサ105によりセンシングされたユーザの眼球の動きの情報を用いて、ユーザの注視点の位置(3次元位置)を計算する。このとき、3次元位置を表すための座標系は、例えば図11に示すような3次元表示座標系である。図11の3次元表示座標系では、画面表面の中央が原点であり、画面平面上の水平方向がX軸であり、画面平面上の鉛直方向がY軸であり、画面平面に垂直な方向がZ軸である。
 つまり、本実施の形態では、センサ105と注視点検出部106とによって、ユーザの注視点の位置が取得される。なお、センサ105および注視点検出部106は、3次元表示装置100に含まれなくてもよい。この場合、3次元表示装置100は、センサ105および注視点検出部106によって検出されたユーザの注視点の位置を取得すればよい。
 画像変換中心決定部107は、注視点検出部106で検出されたユーザの注視点の位置を、現在表示している3次元画像の視点変換(回転またはズーム)の中心位置として決定する。
 融合領域情報記憶部108は、注視点の奥行きに応じた融合領域を得るための融合領域情報108aを記憶している。融合領域情報108aは、例えば図12に示すように、注視点の奥行きと、当該奥行きに対応する手前側融合限界および奥側融合限界とを示す。つまり、融合領域情報108aは、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す。
 ここでの融合領域は、眼球を動かさずに(すなわち輻輳角を変化させることなく)、同時に両眼融合可能な範囲を示す。この融合領域は、パナム(Panum)の融合領域として知られている。
 融合領域決定部109は、融合領域情報108aを参照することにより、注視点検出部106によって検出された注視点の位置に対応する融合領域を決定する。具体的には、融合領域決定部109は、例えば、図12の融合領域情報108aを参照して、注視点の奥行きに対応する手前側融合限界および奥側融合限界を取得する。そして、融合領域決定部109は、手前側融合限界および奥側融合限界によって特定される奥行き方向の範囲に含まれる領域を融合領域として決定する。
 領域分割部110は、奥行計算部104の出力と融合領域決定部109によって決定された融合領域とを用いて、3次元画像を奥行き方向に領域分割する。本実施の形態では、領域分割部110は、融合領域と、融合領域よりも手前側の領域と、融合領域よりも奥側の領域との3つの領域に3次元画像を分割する。
 補正処理決定部111は、領域分割部110が分割した領域ごとに画像処理方法を決定する。具体的には、補正処理決定部111は、例えば、オブジェクトの表示が抑制される画像処理方法を、融合領域よりも手前側および奥側の領域の画像処理方法として決定する。
 画像処理部112は、補正処理決定部111が決定した画像処理方法に従って分割された領域ごとに画像処理を実行する。
 このように、補正処理決定部111と画像処理部112とによって、融合領域の外側において3次元画像に含まれるオブジェクトの表示が抑制されるように3次元画像を補正する処理が行われる。つまり、補正処理決定部111および画像処理部112は、補正部に相当する。
 表示部113は、画像処理部112が処理した3次元画像を表示する。表示部113は、例えば専用メガネを利用しない(裸眼)あるいは専用メガネを利用する3次元ディスプレイ、またはヘッドマウントディスプレイである。表示部113は、左眼用画像を左眼だけに提示し、右眼用画像を右眼だけに提示することで3次元表示を行う。
 <動作>
 次に、以上のように構成された3次元表示装置100の処理動作について説明する。
 図13は、実施の形態2における3次元表示装置100の処理動作を示すフローチャートである。3次元表示装置100は、例えば、図示しない表示開始入力手段により受け付けられたユーザからの表示開始指示に従って、以下の処理を開始する。
 視点入力部102は、ユーザの視点操作の入力を受け付ける(S110)。ステップS110は、ユーザの視点操作の入力が受け付けられるまで繰り返される。ステップS110において視点操作の入力が受け付けられた場合、注視点検出部106は、センサ105により取得されたユーザの眼球の動きに基づいて、ユーザが3次元画像内で注視している注視点の3次元画像座標を検出する(S120)。注視点検出の方法については後述する。
 画像変換中心決定部107は、ステップS120で検出された注視点の3次元画像座標を、視点変換の中心点の3次元画像座標として決定する(S130)。視点変換の中心点とは、視点変換する際に、表示位置を変更しない点である。3次元画像座標は、画像情報101aにおいて3次元モデルを定義するための標準座標に変換される。
 視点変換部103は、現在表示している3次元画像の画像情報101aを画像情報記憶部101から抽出する。そして、視点変換部103は、ステップS130で決定された視点変換の中心点と、ステップS110で受け付けられた視点操作の入力により特定される視点とを用いて、表示されている3次元画像の視点を変換する(S140)。
 奥行計算部104は、ステップS140で変換された3次元画像に含まれるオブジェクトについて、図11に示す3次元座標系における奥行きを計算する(S150)。
 融合領域決定部109は、融合領域情報108aを参照して、ステップS120で検出された注視点の奥行き方向の位置に対応する融合領域を決定する。そして、領域分割部110は、3次元画像に含まれるオブジェクトを、ステップS150で求められた奥行きに従って、ユーザから見て融合領域よりも奥側の領域、融合領域内、および融合領域よりも手前側の領域の3つの領域に分割する(S160)。
 補正処理決定部111は、ステップS160で分割された3つの領域に対して、それぞれ補正処理を割り当てる(S170)。
 画像処理部112は、ステップS140で視点変換された3次元画像に対して、ステップS170で決定された領域ごとの補正処理を行う(S180)。そして、画像処理部112は、表示部113へ補正処理後の3次元画像を出力する。
 表示部113は、画像処理部112より出力された3次元画像を表示する(S190)。
 このように、視点変換部103は、ユーザの注視点を中心点として3次元画像の視点変換行うことにより、ユーザが注視しているオブジェクトが移動しないように視点変換を行うことができる。したがって、視点変換部103は、視点変換によってユーザが注視するオブジェクトを見失うことを防ぐことができ、ユーザの負荷を低減することができる。
 これまでの3次元画像の視点変換では、画像情報を3次元座標軸上に固定し、固定された中心点(例えば固定座標の原点)を中心に回転やズームが行われていた。これは、3次元画像を2次元に写像して表示する方法の場合は有効である。なぜなら、表示画面内の座標とユーザが存在する座標とは独立しており、ユーザは箱の中を覗く様に表示画面を観視し、視点変換は箱ごと回したり、近づけたり遠ざけたりしてみることと同等であるためである。一方、ステレオ画像を3次元表示する場合、ステレオ画像の3次元軸は、ユーザが存在する空間の座標軸と同一である。したがって、視点変換が行われる場合、あたかもユーザの周りの景色を変換するかのような状態となる。本来ユーザの視点変換の欲求は、ユーザが対象物に対して場所を移動し、ユーザの眼の位置を変化させて、同じものを別の角度からみるということである。対象物の周りを歩いて回りこむように見る場合、ユーザの視界の中では、注視している対象物は視界の中心で移動せず、ユーザの視界を構成する座標軸が回転あるいは伸縮する。ステレオ視による3次元画像表示ではユーザの目の位置を変化させることなく、この歩いて回り込む場合のような注視点を中心とした座標軸の変換を行う必要がある。そこで、本実施の形態のように、ユーザの注視点を中心点として3次元画像の視点変換行うことにより、3次元画像の視点変換を適切に行うことができる。
 <注視点検出>
 以下、ステップS120においてユーザの注視点を検出する方法を具体的に説明する。
 眼球運動情報は、センサ105の種類によって異なる。そして、眼球運動情報により、注視点の検出方法が異なる。ここでは注視点検出の例として、(a)センサ105が、画面を含むディスプレイの筐体等に設置された固定カメラの場合と、(b)センサ105が、ユーザの頭部に設置する近接カメラの場合と、(c)センサ105が、皮膚に接触させた電極より眼球の角膜網膜電位差から眼球の動きを計測する眼電位計測手段の場合と、(d)センサ105が、コイル付コンタクトの場合との、それぞれについて注視点の検出方法を説明する。
 センサ105が図8Aのようにディスプレイに取り付けられた固定カメラである場合、カメラは、ディスプレイの正面を中心に撮像する。注視点検出部106は、撮像された画像において顔検出を行うことにより、ディスプレイを観視するユーザの顔画像を抽出する。注視点検出部106は、抽出された顔画像からさらにユーザの両眼画像を抽出する。そして、注視点検出部106は、両眼画像において瞳孔または虹彩位置を特定して、瞳孔間距離を計算する。注視点検出部106は、顔検出時の顔の向きおよび両眼中点の向きにより画面に水平な平面上における注視点の位置を求め、瞳孔間距離により注視点の奥行方向の位置を求める。
 センサ105が図8Bのようにメガネあるいはゴーグルに取り付けられたカメラである場合、左右のカメラは、それぞれ左右の眼球を撮像する。注視点検出部106は、撮像された左右の画像から左右の眼球の向きをそれぞれ求める。注視点検出部106は、それぞれの眼球の向きを示す直線が交わる点を注視点として求める。あるいは、注視点検出部106は、左右の眼球の瞳孔の位置をそれぞれ求め、両眼に共通する瞳孔の位置の上下左右の偏り成分に基づいて、画面に水平な平面における注視点の位置を求め、両眼間距離から注視点の奥行き方向の位置を求めてもよい。
 センサ105が図9のように眼電位計測手段である場合、眼電位を計測するための電極が、それぞれの眼の両脇と少なくとも片目の上の額と下の頬とに接触させて装着される。そして、眼電位計測手段は、眼の両脇に眼を挟んで装着された2つの電極から水平方向の眼球運動に伴う電位変化を計測する。そして、眼電位計測手段は、眼の上下に装着された2つの電極から垂直方向の眼球運動に伴う電位変化を計測する。注視点検出部106は、両眼に共通する電位変化の成分から画面に水平な平面における注視点の位置を求め、両眼間で拮抗する水平方向の電位変化の成分から注視点の奥行き方向の位置を求める。
 センサ105が、両眼に装着された、図10のようなコイル付コンタクトである場合、センサ105は、コイルにより眼球の運動に伴う電位の分布の変化を左右それぞれの眼について計測する。注視点検出部106は、両眼に共通する電位変化の成分から画面に水平な平面における注視点の位置を求め、両眼間で拮抗する水平方向の電位変化の成分から注視点の奥行き方向の位置を求める。
 なお、注視点の検出方法は、上記の方法に限られない。例えば、注視点検出部106は、眼球周辺の筋肉の動きを皮膚に接触させた電極から計測する筋電位計測手段をセンサ105として用いて、注視点を求めてもよい。また、注視点検出部106は、磁気コイルを埋め込んだコンタクトレンズによって誘導される、瞳孔の運動に伴う電位に基づいて、注視点を検出してもよい。また、注視点検出部106は、磁気コイルで誘導される、水晶体の調節運動に伴う電位から、注視点を検出してもよい。また、注視点検出部106は、これらの複数の検出方法のうちのいくつかの組み合わせを用いて、注視点を検出してもよい。
 <視点変換>
 図14は、実施の形態2における視点変換部103の処理動作を示すフローチャートである。すなわち、図14は、ステップS140の詳細を示す。以下、ステップS140において3次元画像の視点変換を行う方法の一例を具体的に説明する。
 3次元画像は、図7に示すように、3次元空間を表現する標準座標系における点の位置を示す座標とその点の表示色とが対となった画像情報101aを用いて生成される。画像情報101aは、少なくともオブジェクトの表面上の点の位置を示す座標の情報を含む。
 画像生成の処理では、例えばポリゴンレンダリングが用いられる。ポリゴンレンダリングでは、3次元の形状データは、多角形の集まりで表現される。また、多角形の頂点座標で表現された図7のような画像情報101aを用いて描画処理を行うことで3次元画像が生成される。ポリゴンレンダリングでは、オブジェクトは、3点が成す三角形の平面によって表現される。例えば図15の(a)に示すように、オブジェクトは、標準座標系において三角形を配置して表現される。1つ1つの三角形の頂点座標と平面とが処理単位となる。ポリゴンレンダリングは、3次元グラフィックスの方法として一般的である。
 視点変換部103は、まず、ステップS110で入力された視点操作とステップS130で決定された変換中心点とに基づいて、標準座標系において、ユーザの左右の眼を結んだ線分の中点にあたる位置を決定する(S141)。視点変換部103は、図15の(a)に示すように、両眼の中点を入力された視点に設定する。次に、視点変換部103は、両眼の位置を決定する。視点変換部103は、ユーザの左右の眼の間の距離を例えば6.5cmと設定する。視点変換部103は、ステップS141で決定した位置が両眼の中心になるように、表示画像の水平軸(すなわち図11のX軸)に平行な直線上に両眼の位置を決定する。視点変換部103は、図15の(b)のように標準座標の軸を回転して3次元表示座標の軸の向きにあわせる。
 視点変換部103は、両眼のそれぞれの位置からステップS130で決定された変換中心点への向きと、それぞれの眼の視野角とを決定し、オブジェクトの表示サイズを決定する(S142)。ステップS110で入力された視点変換操作にズーム操作が含まれる場合には、視点変換部103は、オブジェクトの表示サイズを変換する。その際に、視点変換部103は、画像を見るユーザの両眼の位置を変更しない。
 さらに、視点変換部103は、ステップS141で求めた両眼中心の位置とステップS130で決定された変換中心点とを結ぶ直線が図11のZ軸に平行になるように座標を変換する(S143)。視点変換部103は、ユーザが画面正面から画像を見ると仮定して座標変換を行う。
 視点変換部103は、ステップS143で変換された座標において、両眼のそれぞれの位置と方向に対して画面に投影可能な範囲(サイズ)を決定する(S144)。
 <補正処理決定>
 図16は、実施の形態2における補正処理決定部111の処理動作を示すフローチャートである。すなわち、図16は、ステップS170の詳細を示す。
 補正処理決定部111は、ステップS160における分割の結果として得られた3つの領域の各々の補正処理を決定する。すなわち、補正処理決定部111は、ステップS140で視点変換された3次元画像に含まれるオブジェクトの表面上の各点の補正処理を決定する。なお、本実施の形態では、領域分割は、図11の座標系におけるZ軸座標の値を融合領域と比較することで行われる。
 まず、補正処理決定部111は、3次元画像に含まれるオブジェクトの表面上の点が、手前側融合限界の値より小さい奥行き値を有する領域に含まれるか否かを判定する(S171)。すなわち、補正処理決定部111は、点の図11の座標系におけるZ軸座標の値が手前側融合限界のZ軸座標の値よりユーザの目に近い側の位置を示す値であるか否かを判定する。
 ここで、点のZ軸座標の値が手前側融合限界のZ軸座標の値よりユーザの眼に近い側の位置を示す値である場合(S171においてYes)、補正処理決定部111は、当該点の補正処理を非表示と決定する(S172)。非表示とは、その点を表示範囲から除外することを示す。この場合、点によって形成されるオブジェクトの表面は、あたかも透明になったかのように取り扱われる。
 一方、点のZ軸座標の値が手前側融合限界のZ軸座標の値と等しいか、またはユーザの眼から遠い側の位置を示す値である場合(S171においてNo)、補正処理決定部111は、点のZ軸座標の値が奥側融合限界のZ軸座標の値よりユーザの眼から遠い側の位置を示す値であるか否かを判定する(S174)。
 ここで、点のZ軸座標の値が奥側融合限界のZ軸座標の値よりユーザの眼から遠い側の位置を示す値である場合(S174においてYes)、補正処理決定部111は、当該点の補正処理をぼかし処理と決定する(S175)。一方、点のZ軸座標の値が奥側融合限界のZ軸座標の値と等しいか、よりユーザの眼に近い側の位置を示す値である場合(S174においてNo)、補正処理決定部111は、当該点に補正処理を行わないと決定する(S176)。
 なお、ぼかし処理は、具体的には例えば、対象領域に低域通過フィルタをかけ、空間周波数を低下させる処理である。低域通過周波数が低いほど、ぼかす度合いが大きくなる。ぼかし処理の他の例は、右目用画像と左目用画像の異なる画像Aと画像Bとを混合してぼかして表示する処理である、ぼかし処理として、例えば対象領域の座標点ごとの色情報の値を、画像Aの色情報と画像Bの色情報の中間色を用いてぼかす処理を利用することが可能である。ぼかす度合は、一方の画像に他方の画像の色を混合する比率によって決定する。混合比が1対1の場合が最もぼかす度合いが大きくなる。
 <画像処理>
 図17は、実施の形態2における画像処理部112の処理動作を示すフローチャートである。すなわち、図17は、ステップS180の詳細を示す。
 画像処理部112は、手前側融合限界を通る平面であって表示画面に平行な平面より手前側に位置するオブジェクトを非表示にする(S181)。ポリゴンレンダリングにおいては、当該領域内の点を画像生成範囲から除外することで、オブジェクトを非表示にすることができる。また、血管の内部の点のデータが画像情報101aに含まれていれば、画像処理部112は、血管断面および血管内部の画像を生成することができる。
 次に、画像処理部112は、ステップS140で視点変換された3次元画像(3次元モデル)ポリゴンレンダリングを行うことにより、右眼用画像と左眼用画像とを生成する。つまり、画像処理部112は、融合領域より手前側の領域に含まれるオブジェクトを非表示化した3次元モデルに、表示座標軸上で固定の位置と属性とを持つ光源によるライティングを行う(S182)。
 画像処理部112は、固定光源の光と画像情報101aに含まれる座標点ごとの表示色とを用いて、各座標点の色を決定する。続いて、画像処理部112は、ポリゴンを構成する三角形を生成して、その三角形をピクセルで塗りつぶす。塗りつぶしは、各頂点の色をもとに補間してピクセルごとの色を決定する(S183)。画像処理部112は、生成された各ピクセルに対して、融合領域より奥側の領域(すなわちユーザから遠い側の領域)に含まれる点によって生成されたピクセルに対して、低域通過フィルタリングによりぼかし処理を行う(S184)。
 融合領域より奥側に位置するオブジェクトも2重像を発生させる。しかし、注視点より奥側に位置するオブジェクトは、注視点に位置するオブジェクトを隠すことはない。したがって、注視点に位置するオブジェクトを見ることに対して大きな邪魔にはならないが、2重像が見えるのは不快である。
 オブジェクトの視差は、奥行きが大きくなっても無限に大きくなるわけではない。人間の両眼は対象物を見るために輻輳するが、遠くを見る逆向きの動き(開散)では、左右の眼がそれぞれ外側を見る角度まで動くことはない。開散の最大値の状態は、左右の視線が平行な状態である。したがって、3次元画像中の奥側における奥行きの変化に対応する視差の変化は、手前側における奥行きの変化に対応する視差の変化に比べて小さい。そのため、二重像も、奥側では、手前側で起る二重像のように大きく離れない。
 そこで、画像処理部112は、ステップS184において、例えばフィルタリング処理により空間周波数を低くする等の方法により、融合領域の奥側に位置するオブジェクトをぼかすことにより、背景画像として許容できる状態にする。
 画像処理部112は、ステップS180において、右眼用画像および左眼用画像の両方について処理を行うことで、ステレオ立体視画像を生成する。
 図18は、実施の形態2における3次元表示装置100によって表示される3次元画像の一例を示す。具体的には、図18の(a)は、補正されていない3次元画像を示す。また、図18の(b)は、補正された3次元画像を示す。
 図18に示すように、図1の(b)のように血管が手前から奥へ伸びるように表示されている場合に、3次元表示装置100は、図18の(a)のように血管の手前側部分が2重に見えることを防ぐことができる。さらに、3次元表示装置100は、図18の(b)に示すように、手前融合限界の平面に沿って切り取られた断面の画像を表示することができる。これにより、3次元表示装置100は、削除された手前側部分と融合領域内の部分との接合部分が自然に見えるようにすることができる。
 <効果等>
 以上のように、本実施の形態における3次元表示装置100によれば、視点変換部103は、ユーザの注視点を視点変換の中心点として視点変換を行うことで、注視点に対して回り込むような視点移動を実現することができる。さらに、3次元表示装置100は、注視点の位置に応じて融合領域を決定し、融合領域より手前側に位置するオブジェクトを削除し、融合領域より奥側に位置するオブジェクトをぼかすことができる。これにより、融合領域の外側に位置するオブジェクトによって二重像が発生することを抑制することができる。さらに、3次元表示装置100は、注視点に位置するオブジェクトを遮蔽する手前側のオブジェクトを削除して、注視点に位置するオブジェクトの視認性を向上させることができる。また、3次元表示装置100は、融合領域より奥側に位置するオブジェクトをぼかすことにより、不鮮明ではあるが背景画像としてオブジェクトの存在がわかるように3次元画像を補正することができる。これにより、3次元表示装置100は、視点変換後の画像から、視点変換前の画像から切り出したような違和感が生じることを避けることができる。以上により、3次元表示装置100は、3次元画像を視点変換しても、注視点に位置するオブジェクトの移動がなく、注視点に位置するオブジェクトの見易さを確保し、かつ、画像全体の自然さを保つことができる。
 なお、本実施の形態では、融合領域情報108aは、融合領域情報記憶部108に事前に記憶されていた。眼球を動かさずに融合できる範囲には個人差がある可能性がある。また、本実施の形態で説明している血管画像を確認するときには、血管の前後関係を確実に確認できる必要があるため、より狭い融合領域が適する。また、同一の個人であっても疲労等により融合領域が時間とともに変化する可能性もある。そこで、融合領域決定部109は、ユーザが3次元映像を確認しているときの融合領域の時系列データを融合領域情報記憶部108に蓄積し、蓄積された融合領域より狭い融合領域を決定してもよい。特に、長時間の手術等を実施している場合には、より狭い融合領域を用いて補正することが有効である。
 なお、本実施の形態では、3次元画像は、血管を表す血管オブジェクトを含んでいたが、血管オブジェクトを含まなくてもよい。例えば、3次元画像は、例えば腹部、胸部、あるいは頭部の組織のオブジェクトを含んでもよい。このように3次元画像が血管とは異なる部位のオブジェクトを含むことにより、3次元表示装置100は、手術準備用あるいは教育用の手術シミュレータに適用することができる。
 手術シミュレータは、例えば、特許文献3(国際公開第2010/021309号)のように、患者の身体の3次元画像データを弾性データ等と合わせて記憶し、切開等の手術操作にあわせて画像のポリゴンモデルを変形して表示する。手術シミュレータにおいても、例えば患者の腹部のシミュレーション画像を見ている場合、視点を患者の横から頭側へ移動すると、ユーザが注視している腹部臓器より手前側に胸部や頭部が位置する。このような場合、手前側に位置する身体部分は、2重像となり、注視点の臓器を隠蔽するだけでなく、ちらつき等により不快さをユーザに与える。
 そこで、本実施の形態における3次元表示装置100を手術シミュレータに適用することにより、融合領域の外側に位置するオブジェクトの表示を抑制することにより、各臓器の配置の情報を残しながら違和感なく3次元画像を表示することができる。
 なお、本実施の形態では視点変換の例として、血管画像を回転する場合を例に3次元表示装置100の動作を説明したが、視点変換は、ズーム等の回転以外の処理であってもよい。血管画像をズーム処理する場合であっても3次元表示装置100の動作は画像の回転を行う場合と同様である。ステップS110でズーム処理の入力があった場合、ステップS120でユーザの注視点が検出され、ステップS130でユーザの注視点がズーム処理をする際の中心点として設定される。ステップS140で両眼中心位置を注視点に近づける、あるいは注視点から遠ざけることによりズーム処理が行われることにより、3次元画像の視点変換が行われる。
 図19は、実施の形態2の変形例における視点変換を説明するための模式図である。具体的には、図19は、ズーム処理を模式的に示す図である。図19の(a)は、標準座標系における視点の移動方向とズーム処理(拡大または縮小)との関係を示す。標準座標系で視点の座標が対象物の座標に近づくと、表示される対象物の画像は拡大される。標準座標系で視点の座標が対象物の座標から遠ざかると、表示される対象物の画像は縮小される。
 図19の(b)は、拡大処理の場合の3次元表示座標系での表示の変化を模式的に示す図である。ドットが付された円柱が視点変換前のオブジェクトであり、白い円柱が拡大処理後のオブジェクトである。拡大処理により、円柱の手前側はユーザの観視位置により近づき、奥側はより遠ざかる。
 図19の(c)は、縮小処理の場合の3次元表示座標での表示の変化を模式的に示す図である。図19の(b)と同様に、ドットが付された円柱が視点変換前のオブジェクトであり、白い円柱が縮小処理後のオブジェクトである。縮小処理により、円柱の手前側はユーザの観視位置から遠ざかり、奥側は手前に近づく。
 図19の例のように、ズーム処理の場合も、オブジェクトの奥行きの範囲が変化する。そこで、回転処理の場合と同様に融合領域に基づいて画像処理を行うことにより、回転処理の場合と同様の効果を奏することができる。
 (実施の形態3)
 本実施の形態では、3次元画像は、複数の血管を表す複数の血管オブジェクトを含む。3次元表示装置は、各血管オブジェクトの重要度に基づいて3次元画像を補正する。
 図20は、実施の形態3における3次元表示装置200の機能構成を示すブロック図である。
 3次元表示装置200は、画像情報記憶部201と、視点入力部102と、視点変換部103と、奥行計算部104と、センサ105と、注視点検出部106と、画像変換中心決定部107と、融合領域情報記憶部108と、融合領域決定部109と、血管連関情報抽出部202と、血管重要度計算部203と、領域分割部204と、補正処理決定部205と、画像処理部206と、表示部113とを備える。
 画像情報記憶部201は、例えばハードディスクドライブあるいは半導体メモリである。画像情報記憶部201は、表示する3次元画像に関する情報である画像情報201aを記憶している。
 画像情報201aは、血管オブジェクトの3次元モデルを表す情報と、血管オブジェクト同士の接続関係を示す連関情報とを含む。具体的には、画像情報201aは、例えば図21に示すように、血管オブジェクト上の点の座標、表示色、血管ID、および分岐番号を含む。
 血管連関情報抽出部202は、連関情報取得部の一例である。血管連関情報抽出部202は、画像情報201aを参照して、注視点に位置する血管オブジェクトと、3次元画像に含まれる複数の血管オブジェクトの各々との接続関係を示す連関情報を取得する。具体的には、血管連関情報抽出部202は、注視点検出部106で検出されたユーザの注視点の座標情報と、現在表示されている3次元画像上の血管オブジェクトの位置とに基づいて、ユーザが注視している血管オブジェクトと他の血管オブジェクトとの連関情報を、画像情報201aから抽出する。
 血管重要度計算部203は、融合領域決定部109により決定された融合領域と、血管連関情報抽出部202により抽出された連関情報と、各血管オブジェクトの奥行き情報とに基づいて、3次元画像中の各血管オブジェクトの重要度を計算する。
 具体的には、血管重要度計算部203は、複数の血管オブジェクトの各々について、当該血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、重要度を算出する。
 また、血管重要度計算部203は、例えば、複数の血管オブジェクトの各々について、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、重要度を算出してもよい。ここで、血管の分岐数とは、2つの血管オブジェクトの一方から他方へ最短経路で血管内をたどったときに現れる血管の分岐および結合の数である。
 また、血管重要度計算部203は、例えば、複数の血管オブジェクトの各々について、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、重要度を算出してもよい。
 領域分割部204は、血管重要度計算部203が算出した各血管オブジェクトの重要度に従って、3次元画像を奥行き方向に領域分割する。
 補正処理決定部205は、領域分割部204が分割した領域ごとに3次元画像の処理方法を決定する。
 つまり、補正処理決定部205と画像処理部112とによって、重要度が低い血管オブジェクトほど表示が抑制されるように3次元画像を補正する処理が行われる。
 図21に例示した画像情報201aは、血管オブジェクト上の点の座標、表示色、血管IDおよび分岐番号を含む。この座標は、標準座標系で表現されている。表示色は、対応する点の表示色を示す。血管IDは、3次元画像中で血管ごとに一意に付された記号もしくは番号である。
 分岐番号は、血管同士の接続関係を示す番号であり、予め定められた規則に従って血管IDごとに付される。つまり、分岐番号は、連関情報に相当する。例えば図22に示すように、画像中の血管起始部に分岐番号「0」が付され、分岐番号「0」の血管から直接分岐する血管に順に1桁の番号が付される。さらに、血管が分岐するたびに分岐番号の桁が増やされる。このように分岐番号が付された場合、分岐番号の桁数は、起始部からの分岐の回数を示す。すなわち、分岐番号は、血管同士の接続関係を示す。
 なお、分岐情報の表現は、上記の表現に限定されるものではない。各血管オブジェクトがどの血管オブジェクトから分岐したものであるかを判断可能な表現であれば、分岐情報(連関情報)の表現は、上記以外の表現でもかまわない。
 図23は、実施の形態3における3次元表示装置200の処理動作を示すフローチャートである。
 ステップS110~ステップS150の処理が行われた後に、血管連関情報抽出部202は、ステップS120で検出されたユーザの注視点の位置を示す座標と、現在表示されている3次元画像と、画像情報201aの標準座標とを用いて、ユーザが注視している血管オブジェクトを特定する(S210)。さらに血管連関情報抽出部202は、画像情報201aを参照して、ユーザが注視している血管オブジェクトと、3次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を抽出する(S220)。
 血管重要度計算部203は、ステップS220で抽出された連関情報と、融合領域とに基づいて、3次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する(S230)。領域分割部204は、ステップS230で算出された重要度に基づいて、3次元画像を複数の領域に分割する(S260)。領域分割部204は、分割した領域ごとに重要度を付して出力する。
 補正処理決定部205は、ステップS260で分割された各領域に対して、補正処理を決定する(S270)。補正処理は、重要度に従って決定される。
 図24は、実施の形態3における血管連関情報抽出部202の詳細な機能構成を示すブロック図である。血管連関情報抽出部202は、座標変換部202aと、座標照会部202bと、連関情報抽出部202cとを備える。
 ステップS220において、まず、座標変換部202aは、画像処理部206から、現在表示されている3次元画像と、その3次元画像の座標情報とを取得する。さらに、座標変換部202aは、画像情報記憶部201から、現在表示されている3次元画像に対応する画像情報201aを取得する。さらに、座標変換部202aは、画像情報201aに含まれる標準座標を現在表示されている3次元画像の表示座標に変換する。次に、座標照会部202bは、注視点検出部106からユーザの注視点座標を取得する。そして、座標照会部202bは、現在表示中の3次元画像の表示座標に変換された血管オブジェクトとユーザの注視点とを比較する。座標照会部202bは、注視点に最も近い座標位置にある血管オブジェクトをユーザが注視する血管オブジェクトとして特定する。さらには、座標照会部202bは、注視点から予め定められた距離以内の血管オブジェクトを近接する血管オブジェクトとして抽出する。連関情報抽出部202cは、ユーザが注視する血管オブジェクトとして特定された血管オブジェクトにつながる血管オブジェクトを、画像情報201aに含まれる血管IDおよび分岐番号に基づいて抽出する。例えば、連関情報抽出部202cは、ユーザが注視する血管オブジェクトの血管IDと同一の血管IDを持つデータのうち、分岐番号の一番左の数字が同一のデータを抽出することで、血管起始部から第1番目の分岐の位置が同一である血管オブジェクトを抽出する。
 図25は、実施の形態3における血管重要度計算部203の詳細な機能構成を示すブロック図である。
 血管重要度計算部203は、融合判定部203aと、距離計算部203bと、血管分岐距離計算部203cと、点数変換テーブル203dと、加算部203eとを備える。
 図26は、実施の形態3における血管重要度計算部203の処理動作を示すフローチャートである。
 まず、融合判定部203aは、ステップS150で計算された各オブジェクト上の点の表示座標系における奥行き(すなわちZ座標値)と、ステップS120で求められた手前側融合限界の奥行位置と奥側融合限界の奥行位置とを用いて、血管オブジェクト上の各点が、融合領域より手前側に位置するか、融合領域内に位置するか、融合領域より奥側に位置するかを判定する(S231)。
 距離計算部203bは、ステップS220で抽出された血管オブジェクト上の各点について、当該点と注視点とのユークリッド距離を計算する(S232)。
 血管分岐距離計算部203cは、ステップS220で抽出された各血管オブジェクトについて、ステップS210で特定されたユーザが注視している血管オブジェクトとの分岐距離を計算する(S233)。分岐距離は分岐数を示す。分岐距離は、例えば、分岐番号から算出される。具体的には、血管分岐距離計算部203cは、各血管オブジェクトの分岐番号と注視している血管オブジェクトの分岐番号とを比較し、分岐番号の1番左の数字の差に10000を掛け、左から2番目の数字の差に1000を掛け、左から3番目の数字の差に100を掛け、左から4番目の数字の差に10を掛けたものを足し合わせることにより分岐距離を算出する。血管分岐距離計算部203cは、一方の分岐番号の桁が足りない場合は、比較する桁の数字が0であるものとして計算する。
 なお、分岐距離の計算方法は上記の方法に限るものではない。血管オブジェクト上の2点が、どこまで分岐をさかのぼると同一の血管オブジェクトになるかを量的に判断できる計算方法であればよい。
 加算部203eは、点数変換テーブル203dを参照して、ステップS231の判定結果と、ステップS232で計算された空間距離と、ステップS233で計算された分岐距離とにそれぞれ対応する点数を取得する(S234)。点数変換テーブル203dは、例えば図27A~図27Cに示すように、血管重要度を判断する要素に対応する点数(加点あるいは減点)を含む。
 加算部203eは、例えば、図27Aに示す第1点数変換テーブルを参照して、ステップS231の判定結果に対応する点数(-1500、0、または-600)を取得する。同様に、加算部203eは、例えば、図27Bに示す第2点数変換テーブルを参照して、ステップS232で計算されたユークリッド距離に対応する点数を取得する。また、加算部203eは、例えば、図27Cに示す第3点数変換テーブルを参照して、ステップS233で計算された分岐距離に対応する点数を取得する。
 各点数変換テーブルに含まれる点数は、例えば統計学習等によってあらかじめ定められた点数である。
 第1点数変換テーブルでは、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、点数が定められている。また第1点数変換テーブルでは、血管オブジェクトが融合領域の奥側に位置する場合に当該血管オブジェクトが融合領域の手前側に位置する場合よりも重要度が高くなるように点数が定められている。
 第2点数変換テーブルでは、血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように点数が定められている。
 第3点数変換テーブルでは、血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数(分岐距離)が少ないほど重要度が高くなるように点数が定められている。
 さらに加算部203eは、ステップS234で取得された点数を血管オブジェクト上の点ごとに加算することにより重要度を算出する(S235)。
 なお、本実施の形態では、加算部203eは、点数変換テーブルを参照して点数を取得しているが、あらかじめ定められた変換関数を用いて点数を取得してもよい。
 図28は、実施の形態3における領域分割部204の詳細な機能構成を示すブロック図である。
 領域分割部204は、分割テーブル204aと分割処理部204bとを備える。
 ステップS260において、まず、分割処理部204bは、ステップS230で算出された血管オブジェクトの重要度に従って分割テーブル204aを参照して3次元画像を複数の領域に分割する。
 例えば、分割処理部204bは、図29に示す分割テーブル204aを参照することにより、融合領域より手前側の領域を2つの領域に分割し、融合領域より奥側の領域を3つの領域に分割する。なお、図29に示す分割テーブル204aは一例である。領域分割部204は、さらに多くの領域に分割するための分割テーブル204aを備えてもよい。また、領域分割部204は、融合領域を複数の領域に分割してもよい。また、本実施の形態では、領域分割するための重要度の境界値は、固定値であったが、重要度の分布あるいは3次元画像の奥行きの分布に応じて適応的に変更されてもよい。
 なお、本実施の形態では、領域の分割数は、固定であったが、3次元画像の奥行きの分布範囲や、表示範囲の大きさ、あるいは表示画面の大きさに応じて変更されてもよい。
 ステップS270では、補正処理決定部205は、ステップS260で分割された領域ごとに、分割テーブル204aを参照して補正処理方法を決定する。
 ステップS180では、画像処理部206は、ステップS270で決定された領域ごとの補正処理にしたがって左眼用画像と右眼用画像とを生成する。半透明の補正処理が決定された領域については、オブジェクトの頂点座標を生成する際に表示色が半透明にされる。一方、ぼかし1からぼかし3の補正処理が決定された領域については、ピクセル生成を行った後に、フィルタリングによるぼかし処理が行われる。ぼかし1からぼかし3では、ローパスフィルタの制限周波数が異なる。本実施の形態では、ぼかし1の制限周波数が最も低く、ぼかし3の制限周波数が最も高い。
 このように、血管の重要度によって補正処理を変更することで、融合領域より手前側に位置する血管オブジェクトであっても、ユーザにとって有用な血管オブジェクトについては、完全に非表示にはしないことができる。また、融合領域より奥側に位置する血管オブジェクトのうちユーザにとって有用な血管オブジェクトについては、ぼかし量を少なくすることができる。したがって、3次元表示装置200は、血管オブジェクトの、奥行きのみでなく、重要度にしたがって補正処理を決定することで、注視点に位置する血管オブジェクトにつながる重要な血管オブジェクトの情報が失われることを抑制しつつ、3次元画像の視認性を向上させることができる。
 <効果>
 以上のように、本実施の形態における3次元表示装置200によれば、ユーザが注視する血管オブジェクトに空間距離が近いだけでなく、ユーザが注視する血管オブジェクトに対する接続性が高い血管オブジェクトの視認性を向上させることができる。したがって、ユーザにとってより有用な血管オブジェクトの視認性を向上させることができる。例えば、融合領域の外側に位置している血管オブジェクトであっても、注視している血管オブジェクトと関連が大きな血管オブジェクトの情報が欠落することを抑制することができる。
 なお、本実施の形態において、ステップS230で求めた重要度に従って、ステップS260で領域分割が行われたが、領域分割は行われなくてもよい。この場合、重要度を画像処理パラメータに変換して画像処理を行うことで、3次元画像の補正が行われてもよい。
 (実施の形態4)
 実施の形態4は、血管の重要度を、カテーテル等の医療器具の状態を加味して決定する点が実施の形態3と異なる。
 図30は、実施の形態4における3次元表示装置300の機能構成を示すブロック図である。
 3次元表示装置300は、画像情報記憶部303と、視点入力部102と、視点変換部103と、奥行計算部104と、センサ105と、注視点検出部106と、画像変換中心決定部107と、融合領域情報記憶部108と、融合領域決定部109と、血管連関情報抽出部202と、血管重要度計算部305と、領域分割部204と、補正処理決定部205と、画像処理部206と、表示部113と、器具情報記憶部302と、器具進行方向判断部304と、画像・器具情報入力部301とを備える。
 画像・器具情報入力部301は、カテーテル等の医療器具が血管内に挿入されたときの血管および医療器具の画像と医療器具の情報(器具情報)との入力を受付け、器具情報記憶部302と画像情報記憶部303とに出力する。画像は、図示しないカメラもしくはX線撮像機等の撮像機器または録画機器から入力される。器具情報は、図示しない器具の制御機器、または器具の画像から器具情報を取得する画像処理システム等から入力される。
 器具情報記憶部302は、カテーテル等の血管内を進行する医療器具の先端部の位置を時系列で示す器具情報302aを記憶している。また、画像情報記憶部303は、画像情報303aを記憶している。画像情報303aは、血管オブジェクトおよび器具オブジェクトの3次元モデルを時系列で表す情報と、血管オブジェクト同士の接続関係を示す連関情報とを含む。
 図32は、実施の形態4における器具情報302aの一例を示す図である。図32に示すように、器具情報302aは、時間情報、標準座標系における血管オブジェクトおよび器具オブジェクト上の点の座標、表示色、および器具オブジェクトの先端部の位置を示す先端情報を含む。
 図33は、実施の形態4における画像情報303aの一例を示す図である。図33に示すように、画像情報303aは、時間情報、標準座標系における血管オブジェクトおよび器具オブジェクト上の点の座標、表示色、血管IDおよび血管の分岐番号の情報を含む。
 ここでは、画像情報303aに含まれる点の座標は、器具情報302aに含まれる点の座標と同一である。また、画像情報303aは、器具情報302aと時間的に同期している。なお、器具情報302aと画像情報303aとは、時系列情報でなく、任意の時刻の情報であってもよい。つまり、3次元画像は、動画ではなく、静止画であってもよい。
 器具進行方向判断部304は、特定部の一例である。器具進行方向判断部304は、器具情報302aが示す器具オブジェクトの先端部の位置に基づいて、器具オブジェクトと各血管オブジェクトとの関係を判断する。具体的には、器具進行方向判断部304は、複数の血管オブジェクトの中で、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトを特定する。
 図31は、実施の形態4における血管重要度計算部305の詳細な機能構成を示すブロック図である。
 血管重要度計算部305は、融合判定部203aと、距離計算部203bと、血管分岐距離計算部203cと、点数変換テーブル305dと、加算部305eとを備える。
 血管重要度計算部305は、融合領域決定部109により決定された融合領域と、奥行計算部104により計算された血管オブジェクトの奥行きと、血管連関情報抽出部202により抽出された連関情報と、器具進行方向判断部304により判断された器具の移動の情報に基づいて、血管オブジェクトの重要度を計算する。
 本実施の形態における3次元表示装置300において、器具進行方向判断部304の動作と、器具進行方向判断部304の出力を用いる血管重要度計算部305の動作とが実施の形態2と異なる。
 器具進行方向判断部304は、まず、血管オブジェクトと同様に、器具オブジェクトの座標を変換する。そして、器具進行方向判断部304は、器具オブジェクトの先端部の位置に最も近い血管オブジェクトを器具が挿入されている血管オブジェクトとして特定する。
 例えば、図32では、時間00:12:54.06の座標(22,18,173)に器具オブジェクトの先端がある。図33では、時間00:12:54.06の座標(22,18,173)に血管ID「A01」の分岐番号「111」の血管オブジェクトが表示されていることが示されている。
 器具進行方向判断部304は、画像情報303aと、器具情報302aとを参照して、器具オブジェクトの先端部が存在する血管オブジェクトの血管IDと分岐番号とを取得する。器具進行方向判断部304は、現在表示している3次元画像の時点から一定時間(例えば30秒)さかのぼった時点の器具情報302aを参照し、一定時間さかのぼった時点での器具オブジェクトの先端部の位置の座標を取得する。一定時間さかのぼった時点での器具オブジェクトの先端部の位置の座標と画像情報303aとから、一定時間さかのぼった時点での器具オブジェクトの先端部があった血管オブジェクトを特定する。
 例えば図32では、器具進行方向判断部304は、時間00:12:54.06から30秒さかのぼった00:12:24.06の器具情報302aを参照して、30秒前の器具オブジェクトの先端部の位置を示す座標(21,19,187)を特定する。そして、器具進行方向判断部304は、図33の画像情報303aを参照して、時間00:12:24.06での座標(21,19,187)における血管オブジェクトの血管ID「A01」および分岐番号「11」を取得する。器具進行方向判断部304は、過去に器具オブジェクトの先端部が存在した血管オブジェクト(図33の例では血管ID「A01」および分岐番号「11」を有する血管オブジェクト)と、現在器具オブジェクトの先端部が存在する血管オブジェクト(図33の例では血管ID「A01」および分岐番号「111」を有する血管オブジェクト)とを抽出し、2つの時点の間で器具オブジェクトの先端部が既に通過した血管オブジェクトの血管IDと分岐番号とを特定する。図33の例では、器具オブジェクトの先端部が既に通過した血管オブジェクトは、血管ID「A01」および分岐番号「11」を有する血管オブジェクトと、血管ID「A01」および分岐番号「111」を有する血管オブジェクトである。
 さらに器具進行方向判断部304は、特定された血管IDと分岐番号とを用いて、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは関係のない血管オブジェクトとを決定する。器具オブジェクトの通過と関係のない血管オブジェクトとは、器具オブジェクトが通過しない血管オブジェクトである。すなわち、器具オブジェクトの通過と関係のない血管オブジェクトとは、器具オブジェクトが通過する可能性がない血管オブジェクトである。
 血管IDと分岐番号には、例えば図22のように、各血管オブジェクトがどの血管オブジェクトから分岐したものであるかが判断できる情報が含まれている。図22の例では、器具オブジェクトは、血管ID「A01」および分岐番号「11」を有する血管オブジェクトと血管ID「A01」および分岐番号「111」を有する血管オブジェクトとを通過している。したがって、器具オブジェクトは、血管起支部から分岐番号が増加する方向へ進んでいることが判定できる。
 したがって、器具進行方向判断部304は、血管ID「A01」と、上3桁が「111」である分岐番号とを有する血管オブジェクトを、今後器具オブジェクトが通過する可能性のある血管オブジェクトと決定する。また、器具進行方向判断部304は、これ以外の血管オブジェクトを、器具オブジェクトの通過と関係のない血管オブジェクトと決定する。器具進行方向判断部304は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとを示す情報を血管重要度計算部305に出力する。
 血管重要度計算部305は、融合領域決定部109から融合領域を取得し、血管連関情報抽出部202から連関情報を取得し、奥行計算部104から血管オブジェクトの奥行きを取得する。さらに、血管重要度計算部305は、器具進行方向判断部304から器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトとを示す情報を取得する。
 血管分岐距離計算部305cは、実施の形態3のステップS233と同様に、分岐距離を計算する。さらに血管分岐距離計算部305cは、器具進行方向判断部304から出力された器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトとを示す情報を、分岐距離が計算された血管オブジェクトに付与する。
 加算部305eは、点数変換テーブル305dを参照して、点数を取得する。ここで、加算部305eは、器具オブジェクトの先端部が既に通過した血管オブジェクトと器具オブジェクトの通過とは無関係の血管オブジェクトについては点数を下げ、今後器具オブジェクトが通過する可能性のある血管オブジェクトについては点数を上げる処理を行う。
 図34A~図34Eは、実施の形態4における点数変換テーブル305dの一例を示す図である。点数変換テーブル305dには、例えば、融合領域に関する第1点数変換テーブルと、空間距離に関する第2点数変換テーブルと、器具オブジェクトの通過との関係により3つに区分された、分岐距離に関する第3~第5点数変換テーブルとが含まれる。
 図34Aに示す第1点数変換テーブルは、図27Aに示す第1点数変換テーブルと同一である。また、図34Bに示す第2点数変換テーブルは、図27Bに示す第2点数変換テーブルと同一である。
 第4点数変換テーブルは、例えば、今後器具オブジェクトが通過する可能性のある血管オブジェクトの分岐距離に関するテーブルである。また、第3点数変換テーブルは、器具オブジェクトが既に通過した血管オブジェクトの分岐距離に関するテーブルである。また、第5点数変換テーブルは、器具オブジェクトの通過とは無関係の血管オブジェクトの分岐距離に関するテーブルである。
 加算部305eは、図26のステップS231の判定結果と、ステップS232で計算された空間距離と、血管分岐距離計算部305cにより計算された分岐距離と、器具オブジェクトの通過状況に基づく分類の情報とを用いて点数変換テーブル305dを参照して血管オブジェクト上の点ごとに点数を取得する。
 図34Dに示すように、今後器具オブジェクトが通過する可能性のある血管オブジェクトに関する第4点数変換テーブルでは、分岐距離に対して比較的高い点数が対応付けられている。これに対して、図34Cに示すように、器具オブジェクトが既に通過した血管オブジェクトに関する第3点数変換テーブルでは、分岐距離に対して、第4点数変換テーブルよりも低い点数が対応付けられている。また図34Eに示すように、器具オブジェクトの通過とは無関係の血管オブジェクトに関する第5点数変換テーブルでは、分岐距離に対して、第3および第4点数変換テーブルよりも低い点数が対応付けられている。例えば、このような点数変換テーブルを用いて分岐距離に対応する点数が取得されることにより、加算部305eは、器具オブジェクトの先端部が既に通過した血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトの分岐距離に対する点数を下げ、今後器具オブジェクトが通過する可能性のある血管オブジェクトの分岐距離に対する点数を上げることができる。
 以上のように本実施の形態における3次元表示装置300によれば、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように3次元画像を補正することができる。したがって、3次元表示装置300は、器具オブジェクトの進行する可能性がある血管オブジェクトの表示を優先することができ、有用な3次元画像を表示することが可能となる。
 なお、本実施の形態では、器具進行方向判断部304は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとを特定していたが、これらの3種類の血管オブジェクトを特定しなくてもよい。つまり、器具進行方向判断部304は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとの少なくとも1つを特定すればよい。
 また、本実施の形態では、3次元表示装置は、融合領域内のオブジェクトに対しては補正を行わなかったが、融合領域内で重要度が特に高い血管オブジェクトについては強調処理を行ってもよい。強調処理は、例えば、コントラスト強調、エッジ強調、あるいは表示色の変更等によって実現できる。
 これにより、カテーテル等の医療器具が血管内に挿入されているときに撮影された3次元画像を表示する場合に、3次元表示装置は、医療器具の進行方向の領域の画像の表示を優先あるいは強調することができる。さらに、3次元表示装置は、すでに医療器具が通過した領域については優先度を下げて画像の処理を行うことができる。これにより、3次元表示装置は、単に3次元表示上の位置のみでなく、ユーザが見る必要のある血管オブジェクトをより自然にはっきりと見ることができるよう表示することができる。
 (実施の形態5)
 図35は、実施の形態5における3次元表示装置500の機能構成を示すブロック図である。
 3次元表示装置500は、注視点取得部510と、融合領域決定部520と、血管連関情報取得部530と、血管重要度計算部540と、補正部550とを備える。
 注視点取得部510は、ユーザの注視点を取得する。注視点取得部510は、例えば、マウスやタッチパネルのようなポインティングデバイスに代表される入力手段である。ユーザは、表示される3次元画像中でユーザの注視点を指し示す。注視点取得部510は、ユーザが指し示した画像中の点を注視点として取得する。また、注視点取得部510は、例えば、視線検出により注視点を取得しても良い。なお、注視点取得部510は、上記以外の方法で注視点を取得しても良い。
 融合領域決定部520は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。具体的には、融合領域決定部520は、例えば、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を保持する。この場合、融合領域決定部520は、融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を決定する。
 血管連関情報取得部530は、例えば、血管連関情報を記憶する記憶部(図示せず)あるいは3次元画像より血管の連関情報を生成する認識部(図示せず)より、3次元画像中の血管オブジェクトの連関情報を取得する。
 血管重要度計算部540は、融合領域決定部520により決定された融合領域と、血管連関情報取得部530が取得した血管の連関情報と、各血管オブジェクトの奥行き情報とに基づいて、3次元画像中の各血管オブジェクトの重要度を計算する。
 補正部550は、血管重要度計算部540が出力した血管オブジェクトの重要度に従って表示される画像の補正を行う。
 図36は、実施の形態5における3次元表示装置500の処理動作を示すフローチャートである。3次元表示装置500は、例えば、図示しない表示開始入力手段により受け付けられたユーザからの表示開始指示に従って、以下の処理を開始する。
 まず、注視点取得部510は、ユーザが3次元画像内で注視している3次元画像座標を取得する(S510)。血管連関情報取得部530は、ステップS510で取得されたユーザの注視点の位置を示す座標と、現在表示されている3次元画像とを用いて、ユーザが注視している血管オブジェクトを特定する(S520)。さらに、血管連関情報取得部530は、ユーザが注視している血管オブジェクトと、3次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する(S530)。血管重要度計算部540は、ステップS530で取得された連関情報と、予め定められた融合領域とに基づいて、3次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する(S540)。補正部550は、ステップS540で算出された重要度に基づいて、3次元画像を複数の領域に分割する(S550)。補正部550は、分割した領域ごとに3次元画像を補正する(S560)。
 以上のように、本実施の形態における3次元表示装置500によれば、ユーザが注視する血管オブジェクトに空間距離が近いだけでなく、ユーザが注視する血管オブジェクトに対する接続性が高い血管オブジェクトの視認性を向上させることができる。したがって、ユーザにとってより有用な血管オブジェクトの視認性を向上させることができる。例えば、融合領域の外側に位置している血管オブジェクトであっても、注視している血管オブジェクトと関連が大きな血管オブジェクトの情報が欠落することを抑制することができる。
 なお、本実施の形態において血管重要度計算部540は、血管連関情報と、融合領域とに基づいて、血管オブジェクトの重要度を算出したが、重要度の算出の際に、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、当該血管オブジェクトの重要度を算出しても良い。これにより、3次元表示装置500は、融合領域内の血管が欠落しにくい自然な画像を表示することができる。
 (実施の形態6)
 図37は、実施の形態6における3次元画像処理装置600の機能構成を示すブロック図である。
 3次元画像処理装置600は、注視点取得部510と、融合領域決定部520と、特定部610と、補正部650とを備える。
 注視点取得部510は、ユーザの注視点を取得する。注視点取得部510は、表示される3次元画像中の点をユーザの注視点として取得する。画像中の注視点を取得する方法は、例えば、ポインティングデバイスによる点の指定や視線検出による点の指定のように、ユーザの行動に基づいて注視点を取得する方法や、画面の中央の点を注視点として取得する方法がある。また、特定部610により特定される医療機器の先端部を注視点として取得する方法もある。注視点の取得方法については、これ以外の方法でも良い。
 融合領域決定部520は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。
 特定部610は、表示される3次元画像中の器具オブジェクトの先端部の位置に基づいて、器具オブジェクトと各血管オブジェクトとの関係を判断する。具体的には、特定部610は、複数の血管オブジェクトの中で、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトを特定する。
 補正部650は、融合領域決定部520の出力と、特定部610の出力を取得する。補正部650は、融合領域外の血管オブジェクトの表示を抑制し、さらに、特定部610が表示される3次元画像中で特定した、器具オブジェクトが既に通過した血管オブジェクトの表示を抑制するように画像の補正を行う。
 以上のように、本実施の形態における3次元画像処理装置600によれば、ユーザの注視点に空間距離が近い血管オブジェクトの視認性が高い画像に補正するだけではなく、カテーテル等の医療器具がすでに通過した血管オブジェクトの表示を抑制し、かつ、医療器具がこれから通過する可能性のある血管オブジェクトの視認性を向上することができる。
 (他の実施の形態)
 以上、1つまたは複数の態様に係る3次元表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、1つまたは複数の態様の範囲内に含まれてもよい。
 例えば、上記実施の形態2~4において、視点入力部102からの視点変換入力があった場合に、3次元表示装置が一連の動作を行っていたが、注視点の一定以上の移動の入力があった場合に、3次元表示装置が一連の動作を行ってもよい。これにより、注視点の移動に応じて、3次元画像を適切に補正することができ、ユーザの操作入力なくても3次元画像の視認性を向上させることができる。
 また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、3次元画像を表示する3次元表示方法であって、ユーザの注視点の位置を取得する注視点取得ステップと、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定ステップと、前記融合領域の外側において前記3次元画像に含まれるオブジェクトの表示が抑制されるように、前記3次元画像を補正する補正ステップと、補正された前記3次元画像を表示する表示ステップとを含む3次元表示方法を実行させる。
 本発明の一態様に係る3次元画像装置は、3次元画像または3次元映像を表示する表示装置として有用であり、特に、テレビ、コンピュータ、あるいはゲーム機等に有用である。
 10、100、200、300、500 3次元表示装置
 11、510 注視点取得部
 12、109、520 融合領域決定部
 13、550、650 補正部
 14、113、560 表示部
 101、201、303 画像情報記憶部
 101a、201a、303a 画像情報
 102 視点入力部
 103 視点変換部
 104 奥行計算部
 105 センサ
 106 注視点検出部
 107 画像変換中心決定部
 108 融合領域情報記憶部
 108a 融合領域情報
 110、204 領域分割部
 111、205 補正処理決定部
 112、206 画像処理部
 202 血管連関情報抽出部
 202a 座標変換部
 202b 座標照会部
 202c 連関情報抽出部
 203、305、540 血管重要度計算部
 203a 融合判定部
 203b 距離計算部
 203c、305c 血管分岐距離計算部
 203d、305d 点数変換テーブル
 203e、305e 加算部
 204a 分割テーブル
 204b 分割処理部
 301 器具情報入力部
 302 器具情報記憶部
 302a 器具情報
 304 器具進行方向判断部
 530 血管連関情報取得部
 600 3次元画像処理装置
 610 特定部

Claims (14)

  1.  3次元画像を表示する3次元表示装置であって、
     ユーザの注視点の位置を取得する注視点取得部と、
     取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
     前記融合領域の外側において前記3次元画像に含まれるオブジェクトの表示が抑制されるように、前記3次元画像を補正する補正部と、
     補正された前記3次元画像を表示する表示部とを備える
     3次元表示装置。
  2.  前記補正部は、前記3次元画像に含まれるオブジェクトであって前記融合領域より手前側に位置するオブジェクトを削除することにより、前記3次元画像を補正する
     請求項1に記載の3次元表示装置。
  3.  前記補正部は、前記3次元画像に含まれるオブジェクトであって前記融合領域よりも奥側に位置するオブジェクトをぼかすことにより、前記3次元画像を補正する
     請求項1または2に記載の3次元表示装置。
  4.  前記3次元表示装置は、さらに、
     前記3次元画像に含まれるオブジェクトであって前記注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、前記3次元画像の視点変換を行う視点変換部を備え、
     前記補正部は、視点変換が行われた前記3次元画像を補正する
     請求項1~3のいずれか1項に記載の3次元表示装置。
  5.  前記視点変換は、前記注視点の位置を中心とする前記3次元画像の回転処理である
     請求項4に記載の3次元表示装置。
  6.  前記3次元表示装置は、さらに、
     複数の注視点の奥行き方向の位置と、前記複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を記憶している融合領域情報記憶部を備え、
     前記融合領域決定部は、前記融合領域情報を参照することにより、取得された前記注視点の位置に対応する前記融合領域を決定する
     請求項1~5のいずれか1項に記載の3次元表示装置。
  7.  前記3次元画像は、複数の血管を表す複数の血管オブジェクトを含み、
     前記3次元表示装置は、さらに、
     前記注視点に位置する血管オブジェクトと、前記3次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する連関情報取得部と、
     前記融合領域と前記連関情報とに基づいて、前記3次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する血管重要度計算部とを備え、
     前記補正部は、前記重要度が低い血管オブジェクトほど表示が抑制されるように、前記3次元画像を補正する
     請求項1~6のいずれか1項に記載の3次元表示装置。
  8.  前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトが前記融合領域に含まれる場合に当該血管オブジェクトが前記融合領域に含まれない場合よりも重要度が高くなるように、前記重要度を算出する
     請求項7に記載の3次元表示装置。
  9.  前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、前記重要度を算出する
     請求項7または8に記載の3次元表示装置。
  10.  前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、前記重要度を算出する
     請求項7~9のいずれか1項に記載の3次元表示装置。
  11.  前記3次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも1つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
     前記3次元表示装置は、さらに、
     前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部を備え、
     前記補正部は、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記3次元画像を補正する
     請求項1に記載の3次元表示装置。
  12.  3次元画像を表示する3次元表示方法であって、
     ユーザの注視点の位置を取得する注視点取得ステップと、
     取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定ステップと、
     前記融合領域の外側において前記3次元画像に含まれるオブジェクトの表示が抑制されるように、前記3次元画像を補正する補正ステップと、
     補正された前記3次元画像を表示する表示ステップとを含む
     3次元表示方法。
  13.  請求項12に記載の3次元表示方法をコンピュータに実行させるためのプログラム。
  14.  3次元画像を処理する3次元画像処理装置であって、
     前記3次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも1つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
     前記3次元処理装置は、
     ユーザの注視点の位置を取得する注視点取得部と、
     取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
     前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部と、
     前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記3次元画像を補正する補正部とを備える
     3次元画像処理装置。
PCT/JP2013/005666 2012-10-09 2013-09-25 3次元表示装置、3次元画像処理装置および3次元表示方法 WO2014057618A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014514664A JP5873982B2 (ja) 2012-10-09 2013-09-25 3次元表示装置、3次元画像処理装置および3次元表示方法
US14/297,018 US9807361B2 (en) 2012-10-09 2014-06-05 Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-224565 2012-10-09
JP2012224565 2012-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/297,018 Continuation US9807361B2 (en) 2012-10-09 2014-06-05 Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method

Publications (1)

Publication Number Publication Date
WO2014057618A1 true WO2014057618A1 (ja) 2014-04-17

Family

ID=50477102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005666 WO2014057618A1 (ja) 2012-10-09 2013-09-25 3次元表示装置、3次元画像処理装置および3次元表示方法

Country Status (3)

Country Link
US (1) US9807361B2 (ja)
JP (1) JP5873982B2 (ja)
WO (1) WO2014057618A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015228095A (ja) * 2014-05-30 2015-12-17 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP2016087272A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016087273A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016087271A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016087275A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016165649A (ja) * 2016-06-23 2016-09-15 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
WO2017203818A1 (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9881368B2 (en) 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP2018507432A (ja) * 2014-12-30 2018-03-15 ノキア テクノロジーズ オサケユイチア 個人的コンテンツの表示法
JP2018110397A (ja) * 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
WO2021124709A1 (ja) * 2019-12-19 2021-06-24 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2021515947A (ja) * 2018-03-14 2021-06-24 マジック リープ, インコーポレイテッドMagic Leap,Inc. コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
WO2022158292A1 (ja) * 2021-01-21 2022-07-28 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP2023511966A (ja) * 2020-11-26 2023-03-23 上▲海▼商▲湯▼智能科技有限公司 目標表示方法及びその装置、電子機器、記憶媒体並びにプログラム
JP7454627B2 (ja) 2015-08-18 2024-03-22 マジック リープ, インコーポレイテッド 仮想および拡張現実システムならびに方法
US11966059B2 (en) 2016-03-25 2024-04-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
DE102014204800A1 (de) * 2014-03-14 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
JP6115880B2 (ja) * 2014-03-24 2017-04-19 パナソニックIpマネジメント株式会社 プロジェクタ制御装置、プロジェクタシステムおよびプロジェクタ制御方法
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
EP3001680A1 (en) * 2014-09-24 2016-03-30 Thomson Licensing Device, method and computer program for 3D rendering
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
CN108352393B (zh) 2015-07-23 2022-09-16 光程研创股份有限公司 高效宽光谱传感器
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
EP3709362B1 (en) 2015-08-04 2021-07-14 Artilux Inc. Germanium-silicon light sensing method
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10353219B1 (en) 2015-08-20 2019-07-16 Verily Life Sciences Llc Device, method and system to provide accommodation during a stereoscopic display
AU2016310451B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
WO2017066296A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
DE112017002665T5 (de) * 2016-05-24 2019-03-14 Sony Corporation Wiedergabevorrichtung, Wiedergabeverfahren, Informationserzeugungsvorrichtung und Informationserzeugungsverfahren
KR101817436B1 (ko) * 2016-08-02 2018-02-21 연세대학교 산학협력단 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10922897B2 (en) * 2018-01-15 2021-02-16 Canon Medical Systems Corporation Medical information processing apparatus, X-ray diagnostic system, and medical information processing method
JP6975341B2 (ja) 2018-02-23 2021-12-01 アーティラックス・インコーポレイテッド 光検出装置およびその光検出方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
JP7212062B2 (ja) 2018-04-08 2023-01-24 アーティラックス・インコーポレイテッド 光検出装置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084409A (ja) * 1999-09-13 2001-03-30 Toshiba Iyo System Engineering Kk 三次元画像処理方法及び三次元画像処理装置
WO2010021309A1 (ja) * 2008-08-22 2010-02-25 国立大学法人奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
JP2011248693A (ja) * 2010-05-28 2011-12-08 Sony Corp 画像処理装置、画像処理方法および画像処理プログラムならびに撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3089306B2 (ja) 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
EP0641132B1 (en) 1993-08-26 1999-04-14 Matsushita Electric Industrial Co., Ltd. Stereoscopic image pickup apparatus
JP3478606B2 (ja) * 1994-10-12 2003-12-15 キヤノン株式会社 立体画像表示方法および装置
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
EP0817123B1 (en) 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
JP3504111B2 (ja) 1996-06-27 2004-03-08 株式会社東芝 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US8471844B2 (en) * 2008-01-18 2013-06-25 Sony Corporation Streaming geometry for use in displaying and editing 3D imagery
EP2574065B1 (en) * 2011-01-26 2016-09-07 FUJIFILM Corporation Image processing device, image-capturing device, reproduction device, and image processing method
JP5899792B2 (ja) * 2011-10-20 2016-04-06 富士通株式会社 情報生成プログラム、情報生成方法、および情報生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084409A (ja) * 1999-09-13 2001-03-30 Toshiba Iyo System Engineering Kk 三次元画像処理方法及び三次元画像処理装置
WO2010021309A1 (ja) * 2008-08-22 2010-02-25 国立大学法人奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
JP2011248693A (ja) * 2010-05-28 2011-12-08 Sony Corp 画像処理装置、画像処理方法および画像処理プログラムならびに撮像装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015228095A (ja) * 2014-05-30 2015-12-17 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
US9996928B2 (en) 2014-11-07 2018-06-12 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
US9836836B2 (en) 2014-11-07 2017-12-05 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP2016087271A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016087275A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2016087272A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US9818183B2 (en) 2014-11-07 2017-11-14 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
US10055844B2 (en) 2014-11-07 2018-08-21 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP2016087273A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US9881368B2 (en) 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP2018507432A (ja) * 2014-12-30 2018-03-15 ノキア テクノロジーズ オサケユイチア 個人的コンテンツの表示法
JP7454627B2 (ja) 2015-08-18 2024-03-22 マジック リープ, インコーポレイテッド 仮想および拡張現実システムならびに方法
US11966059B2 (en) 2016-03-25 2024-04-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2017203818A1 (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10834382B2 (en) 2016-05-23 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
JP2016165649A (ja) * 2016-06-23 2016-09-15 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2018110397A (ja) * 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
JP2021515947A (ja) * 2018-03-14 2021-06-24 マジック リープ, インコーポレイテッドMagic Leap,Inc. コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
JP7356995B2 (ja) 2018-03-14 2023-10-05 マジック リープ, インコーポレイテッド コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2021124709A1 (ja) * 2019-12-19 2021-06-24 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2023511966A (ja) * 2020-11-26 2023-03-23 上▲海▼商▲湯▼智能科技有限公司 目標表示方法及びその装置、電子機器、記憶媒体並びにプログラム
JP7412579B2 (ja) 2020-11-26 2024-01-12 上▲海▼商▲湯▼智能科技有限公司 目標表示方法及びその装置、電子機器、記憶媒体並びにプログラム
WO2022158292A1 (ja) * 2021-01-21 2022-07-28 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US9807361B2 (en) 2017-10-31
JP5873982B2 (ja) 2016-03-01
US20140285641A1 (en) 2014-09-25
JPWO2014057618A1 (ja) 2016-08-25

Similar Documents

Publication Publication Date Title
JP5873982B2 (ja) 3次元表示装置、3次元画像処理装置および3次元表示方法
US11579694B2 (en) Eye image selection
Hoffman et al. Focus information is used to interpret binocular images
TW201432312A (zh) 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
Blum et al. The effect of out-of-focus blur on visual discomfort when using stereo displays
EP3001681B1 (en) Device, method and computer program for 3d rendering
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
US11931292B2 (en) System and method for improved electronic assisted medical procedures
US11956415B2 (en) Head mounted display apparatus
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
TWI589150B (zh) 3d自動對焦顯示方法及其系統
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
US10255676B2 (en) Methods and systems for simulating the effects of vision defects
CN104887316A (zh) 基于主动立体显示技术的虚拟立体内窥镜显示方法
US20230071841A1 (en) System and method for improved electronic assisted medical procedures
JP6806062B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012065851A (ja) 多視点裸眼立体内視鏡システム
KR20160041403A (ko) 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
Dunkin et al. 3d in the minimally invasive surgery (mis) operating room: Cameras and displays in the evolution of mis
WO2014175778A1 (ru) Способ реализации адаптивного видео
EP4167826A1 (en) Visual assistance

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014514664

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13845060

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13845060

Country of ref document: EP

Kind code of ref document: A1