JP5665761B2 - 医用三次元画像の表示向き調整装置および調整プログラム - Google Patents

医用三次元画像の表示向き調整装置および調整プログラム Download PDF

Info

Publication number
JP5665761B2
JP5665761B2 JP2011540497A JP2011540497A JP5665761B2 JP 5665761 B2 JP5665761 B2 JP 5665761B2 JP 2011540497 A JP2011540497 A JP 2011540497A JP 2011540497 A JP2011540497 A JP 2011540497A JP 5665761 B2 JP5665761 B2 JP 5665761B2
Authority
JP
Japan
Prior art keywords
image
medical
display
dimensional
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011540497A
Other languages
English (en)
Other versions
JPWO2011058948A1 (ja
Inventor
漢俊 金
漢俊 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagnosis Inc
Original Assignee
Imagnosis Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagnosis Inc filed Critical Imagnosis Inc
Priority to JP2011540497A priority Critical patent/JP5665761B2/ja
Publication of JPWO2011058948A1 publication Critical patent/JPWO2011058948A1/ja
Application granted granted Critical
Publication of JP5665761B2 publication Critical patent/JP5665761B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/501Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B6/51
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Description

この発明は、医用三次元画像の表示向きを調整するための装置およびプログラムに関する。
歯科または形成外科分野で顎のゆがみを伴う顎変形症治療などを行う際に、顎顔面の機能上および審美上の問題を把握する上で、顎顔面形態の診断は重要である。従来においては、頭部規格X線写真が顎顔面の形態診断の主要な資料であったが、X線写真では像の拡大やゆがみなどを生じるという問題がある。顔側面のX線写真では、左右対称の構造物の中線をとることによって、左右構造物投影像の拡大率の違いを補完できるため、大きな問題は生じない。しかし、顔正面のX線写真では、前後方向にX線を照射するため、左右構造物の拡大率の違いを補完することができず、頭位の誤差により撮影の度に撮影画像は左右拡大率の異なる像となり、顔の左右対称性の評価が困難であった。
また、頭部X線規格撮影法では、イヤロッドと呼ばれる棒を左右外耳道にあてて頭位を規格した状態で撮影を行うが、左右の耳が必ずしも左右対称であるとは限らないため、左右耳が顔の正面向きを決定するための絶対的な要素であるとはいえない。しかし、従来の撮影法では、イヤロッドを用いる以外の頭位の位置決め手段がなく、イヤロッドに基づく正面向きしか規格できないという問題がある。
特開平8−131403号公報 特開2002−360564号公報 特開2007−130240号公報
近年、三次元CT(Computed Tomography)データを元に立体構築したCT画像を、顔の正面評価に応用する試みがなされている。しかし、CT撮影は規格撮影ではないため、CT画像を用いて顔の左右対称性を評価する際には、まず、臨床的再現性および根拠性の低い撮影時のCT画像の座標系をそのまま用いるのでなく、形態評価に望ましい正面向きに、座標系を位置決めし直す必要があった。座標系を位置決めし直すための位置決め手段としては、できるだけ、顎顔面上にある解剖学特徴点(以下、「ランドマーク」という)を多数反映でき、多様な正面向きを設定できる位置決め手段か必要となる。本発明者は、CT画像上のランドマークに基づき、解剖学上または形態学上の基準面を設定することにより、顔の正面向きを設定する方法や、一度設定された顔の正面向きを、更に所望のランドマークを参考点として用いて修正する方法を既に開発し、特許出願している(前記特許文献2,3参照)。これらの方法により、CT画像を形態診断に活用する際に求められる再現性、根拠性の高い、あらゆる向きの設定が可能となっている。
しかし、ランドマークの多くがX線写真上での形態計測用として定義されたものであるため、この二次元的に定義されたランドマークを三次元的に特定する際に誤差が生じたり、例えば顔頬部などのように、形状上、ランドマークを設定できない領域を位置決めに反映することが困難であるなどの問題がある。加えて、CT撮影データの最小構成単位(ボクセル)の一辺の長さは最小でも0.5mm程度であるため、CT撮影データ上でランドマークを高精度に指定することは不可能である。そのため、ランドマーク指定に依存しない位置決め方法や、ランドマーク指定による位置決め誤差を補正する方法が求められる。
また、過去にCT画像の評価向きの位置決めが行われた同一患者に対して新たにCT撮影を行い、その間の変化を定量評価するためには、過去に行われた位置決め向きを高精度に再現できる方法が求められる。また、患者自身が認識または希望する顔の向きをカメラまたは三次元カメラで撮影しておき、CT画像を用いて顎顔面骨格の対称性を評価する際、CT画像の向きをカメラ撮影した向きと高精度に一致させることができる方法が求められる。このように、CT画像を形態診断に活用すればするほど、より多様な向きの設定が求められる。
本発明の目的は、医用三次元画像の位置決めのバリエーション、精度、操作性をさらに高めることにより、更なる診断、治療の的確性を高めることにある。
請求項1記載の発明は、所定の三次元基準座標系(Xo,Yo,Zo)に従う医用三次元画像データに基づいて医用三次元画像(11)を表示手段(2)に表示させる手段(1)と、前記医用三次元画像の表示向きの調整に参考となる参考画像(12)を前記表示手段に表示させる手段(1)と、前記表示手段に表示されている表示画像の観察方向を変化させるための観察方向変更指令を入力するための観察方向変更指令入力手段(4,50)と、前記観察方向変更指令入力手段によって入力された観察方向変更指令に応じて、前記医用三次元画像および前記参考画像を含む表示画像全体を移動させる観察方向変更手段(1)と、前記表示手段に表示されている前記医用三次元画像および前記参考画像のうち、前記医用三次元画像のみを、前記三次元基準座標系の画像基準軸のうちから指定された第1画像基準軸を中心に回転移動させるための指令を入力するための表示向き変更指令入力手段(4,60)と、前記表示向き変更指令入力手段によって入力された表示向き変更指令に応じて、前記医用三次元画像のみを前記第1画像基準軸を中心に、回転移動させる表示向き変更手段(1)と、前記表示向き変更手段による前記医用三次元画像の回転移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第1修正手段(1)と、を含む医用三次元画像の表示向き調整装置である。なお、括弧内の英数字は後述の実施形態における対応構成要素等を表す。以下、この項において同じ。
請求項1記載の発明では、所定の三次元基準座標系に従う医用三次元画像データに基づいて医用三次元画像が表示手段に表示されるとともに、医用三次元画像の表示向きを調整する際に参考となる参考画像が表示手段に表示される。参考画像としては、例えば、参考画像を表示するために設定または指定された画像基準軸(以下、「第3画像基準軸」という)に直交する、平面、マス目または顔対称モデル外形線、第3画像基準軸方向に投影した等高線やモアレ等を用いることができる。
第3画像基準軸に直交する平面上に、患者本人の顔写真またはその顔写真から抽出した顔特徴外形線を参考画像として表示するようにしてもよい。また、以前に撮影されかつ表示向きの位置決めが行われた画像であって、今回撮影された医用三次元画像に対して第3画像基準軸に直交する向きの画像を、当該画像基準軸に直交する平面上に表示するようにしてもよい。なお、参考画像を第3画像基準軸に直交する平面上に表示するのではなく、医用三次元画像の観察方向に対応した向きの参考画像(たとえば、写真、二次元画像、外形線等)を、その観察方向(視点方向)に直交する平面上に表示させるようにしてもよい。
観察方向変更指令が入力されると、入力された観察方向変更指令に応じて、医用三次元画像および参考画像を含む表示画像全体が移動される。表示向き変更指令が入力されると、表示向き変更手段によって、入力された表示向き変更指令に応じて、医用三次元画像のみが、指定された画像基準軸(第1画像基準軸)を中心として回転移動される。表示向き変更手段による医用三次元画像の回転移動に応じて、三次元基準座標系の医用三次元画像データが修正される。
この発明によれば、医用三次元画像の表示向きの調整に参考となる参考画像が表示されるので、医用三次元画像の表示向きの調整を行いやすくなる。例えば、頭部画像の顔の正面向きを調整する場合には、顔の前後方向にのびる画像基準軸(Yo軸)に直交する、平面、マス目または顔対称モデル外形線、当該画像基準軸方向に投影した等高線やモアレ等を、参考画像として表示することにより、顔の左右対称性に基づいた、顔の正面向きの調整が行ないやすくなる。
また、この発明によれば、複数の観察方向から、医用三次元画像の表示向きを調整することができるので、表示向きをより正確に調整することができる。さらに、この発明によれば、表示向き変更手段による医用三次元画像の回転移動に応じて、三次元基準座標系に従う医用三次元画像データが修正されるので、正確に指定することが困難なランドマークを指定する必要がない。
請求項2記載の発明は、前記第1修正手段は、前記第1画像基準軸と、前記表示向き変更手段による前記医用三次元画像の回転移動の方向および大きさとに基づいて、前記指定された1つの画像基準軸を除く他の2つの画像基準軸を修正するものである請求項1に記載の医用三次元画像の表示向き調整装置である。請求項2記載の発明では、前記第1画像基準軸と、表示向き変更手段による医用三次元画像の回転移動の方向および大きさとに基づいて、指定された1つの画像基準軸を除く他の2つの画像基準軸が修正される。
請求項3記載の発明は、前記表示手段に表示されている前記医用三次元画像を、前記三次元画像基準軸のうちから指定された第2画像基準軸に対して相対的に平行移動させるための平行移動指令を入力するための平行移動指令入力手段(4,60)と、前記平行移動指令入力手段によって入力された平行移動指令に応じて、前記表示手段に表示されている前記医用三次元画像を、前記第2画像基準軸に対して相対的に平行移動させる平行移動手段(1)と、前記平行移動手段による平行移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第2修正手段(1)と、をさらに含む請求項1または2に記載の医用三次元画像の表示向き調整装置である。
請求項3記載の発明では、平行移動指令が入力されると、平行移動手段によって、入力された平行移動指令に応じて、表示手段に表示されている医用三次元画像が、指定された画像基準軸(第2画像基準軸)に対して相対的に平行移動される。そして、平行移動手段による平行移動に応じて、三次元基準座標系の医用三次元画像データが修正される。例えば第2画像基準軸がYo軸である場合には、Yo軸が通る原点を、Xo−Zo平面上で、医用三次元画像に対して相対的に移動させることができる。同様に、第2画像基準軸がZo軸である場合には、Zo軸が通る原点を、Xo−Yo平面上で、医用三次元画像に対して相対的に移動させることができ、第2画像基準軸がXo軸である場合には、Xo軸が通る原点を、Yo−Zo平面上で、医用三次元画像に対して相対的に移動させることができる。この発明によれば、医用三次元画像を指定した画像基準軸に対して平行移動させることにより、表示向きの調整を行なうことができる。
請求項4記載の発明は、コンピュータ(1)を、所定の三次元基準座標系(Xo、Yo、Zo)に従う医用三次元画像データに基づいて医用三次元画像(11)を表示手段(2)に表示させる手段、前記医用三次元画像の表示向きの調整に参考となる参考画像(12)を前記表示手段に表示させる手段、所与の観察方向変更指令に応じて、前記医用三次元画像および前記参考画像を含む表示画像全体を移動させる観察方向変更手段、所与の表示向き変更指令に応じて、前記表示手段に表示されている前記医用三次元画像および前記参考画像のうち、前記医用三次元画像のみを、前記三次元基準座標系の画像基準軸のうちから指定された第1画像基準軸を中心に回転移動させる表示向き変更手段、ならびに前記表示向き変更手段による前記医用三次元画像の回転移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第1修正手段、として機能させるための医用三次元画像の表示向き調整プログラムである。請求項4記載の発明においても、請求項1記載の発明と同様な作用効果が得られる。
請求項5記載の発明は、前記第1修正手段は、前記第1画像基準軸と、前記表示向き変更手段による前記医用三次元画像の回転移動の方向および大きさとに基づいて、前記第1画像基準軸を除く他の2つの画像基準軸を修正するものである請求項4に記載の医用三次元画像の表示向き調整プログラムである。請求項5記載の発明においても、請求項2記載の発明と同様な作用効果が得られる。
請求項6記載の発明は、コンピュータを、所与の平行移動指令に応じて、前記表示手段に表示されている前記医用三次元画像を、前記三次元画像基準軸のうちから指定された第2画像基準軸に対して相対的に平行移動させる平行移動手段、および前記平行移動手段による平行移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する手段、として機能させるためのプログラムをさらに含む請求項4または5に記載の医用三次元画像の表示向き調整プログラムである。請求項6記載の発明においても請求項3記載の発明と同様な作用効果が得られる。
この発明によれば、医用三次元画像の表示向きを調整できるようになる。
この発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 表示器に表示される医用三次元画像の一例を示す模式図である。 顔の正面向きの調整処理手順を示すフローチャートである。 平行移動による正面向き調整操作に基づく平行移動処理を説明するための模式図である。 回転移動による正面向き調整操作に基づく回転移動処理を説明するための模式図である。 観察方向変更操作に基づく回転移動処理と、回転移動による正面向き調整操作に基づく回転移動処理とを説明するための模式図である。 図6の回転移動による正面向き調整操作に基づく回転移動処理を説明するための模式図である。 回転移動による正面向き調整操作に基づく回転移動処理の他の例を示す模式図である。 観察方向変更操作に基づく回転移動処理と、回転移動による正面向き調整操作に基づく回転移動処理の他の例を示す模式図である。 図9の回転移動による正面向き調整操作に基づく回転移動処理を説明するための模式図である。
以下、図面を参照して、この発明の実施形態について説明する。
図1は、この発明の一実施形態に係る画像処理装置の構成を示している。
画像処理装置は、たとえば、パーソナルコンピュータ(PC)等のコンピュータによって実現される。画像処理装置は、CPU、ROM、RAMおよびハードディスク等を備えた制御部1を含んでいる。制御部1には、表示器(モニタ)2、キーボード3、マウス4等が接続されている。制御部1のハードディスクには、たとえば、この発明の一実施形態に係る表示向き調整プログラムが記憶された記憶媒体5等から、当該表示向き調整プログラムがインストールされる。
また、ハードディスクには、所定の三次元基準座標系(ボティ座標系:三次元図形のどこかに基準点をおき、それを原点とする座標系)に従う医用三次元画像データが格納されている。この実施形態では、所定の三次元基準座標系に従う医用三次元画像データは、例えば、CT(Computed Tomography)データから作成され、かつ画像内の解剖学的特徴点(ランドマーク)を基準として定義された三次元基準座標系に従う三次元画像データまたは後述する表示向き調整処理によって修正された三次元画像データである。三次元基準座標系の各座標軸を基準軸(画像基準軸)といい、Xo、Yo、Zoで表す。
なお、所定の三次元基準座標系に従う医用三次元画像データは、三次元CTデータがもつ座標系(撮影時に構築された座標系)を三次元基準座標系とするデータであってもよいし、撮影時に構築された座標系のデータをランドマークや基準面等を用いて修正された座標系を三次元基準座標系とするデータであってもよい。また、所定の三次元基準座標系に従う医用三次元画像データは、撮影マーカに基づき構築されたマーカ座標系など、システムが読み込むCTデータそのものがもつ座標系を、三次元基準座標系とするデータであってもよい。
図2は、図1に示す表示器2に表示される医用三次元画像の一例を示している。図2に示す医用三次元画像は、人体頭部を表している。図2には、この三次元画像の方向および基準座標系の座標軸である基準軸Xo、Yo、Zoが一緒に表示されている。図2に示す基準軸Xo、Yo、Zoは、ランドマークに基づいて設定されている。
ランドマークに基づく基準軸Xo、Yo、Zoの設定方法は、例えば、特許文献1(特開平8−131403号公報)に開示されている方法を用いることができる。特許文献1では、原点を左右の耳孔を結ぶ線分の中点、Xo軸を左右眼球中心を通る直線に平行な直線、Yo軸を左右眼球中心を通る直線とZ軸に垂直な直線、Zo軸を左右眼球中心を通り、原点を通る面に垂直な直線、とするルールに従って、基準軸Xo、Yo、Zoが設定される。これにより、基準軸Xoは人体頭部をほぼ左右方向に貫通した直線となり、基準軸Yoは人体頭部をほぼ前後方向に貫通した直線となり、基準軸Zoは人体頭部をほぼ上下方向に貫通した直線となる。
基準軸であるXo軸、Yo軸、Zo軸を、前述のように、ランドマークに基づいて設定することにより、その基準軸に従って表示される医用三次元画像は、複数の画像を評価する際に、各画像をほぼ同じ向きに向けることができ、計測や評価が正しく行えるという利点がある。
ところで、歯列の正中を顔の正中に合わせる際や、顔の左右対称性を診断、治療する際には、顔の正面向きの設定が重要となる。顔の皮膚上のランドマークを指定することにより、顔の正面向きを設定するのが一般的である。しかし、ランドマークの多くがX線写真上での形態計測用として定義されたものであるため、この二次元的に定義されたランドマークを三次元的に特定する際に誤差が生じたり、例えば顔頬部などのように、形状上、ランドマークを設定できない領域を位置決めに反映することが困難であるなどの問題がある。加えて、CT撮影データの最小構成単位(ボクセル)の一辺の長さは最小でも0.5mm程度であるため、CT撮影データでランドマークを高精度に指定することは不可能である。このため、ランドマークの指定のみによって、顔の正面向きを正確に設定することは困難である。
そこで、本実施形態では、次のようにして、顔の正面向きを調整するようにしている。まず、三次元基準座標系(Xo、Yo、Zo)に従う医用三次元画像データに基づいて、人体頭部の医用三次元画像(以下、「頭部画像」という)を基準軸とともに表示器2に表示するとともに、顔の正面向きを調整する際に参考となる参考画像を表示器2に表示させる。ユーザは、表示器2に表示された頭部画像、参考画像および基準軸を含む表示画像全体を、表示画面に垂直または平行となるように設定された画面表示軸(画面表示軸)Xd、Yd、Zdを中心として、回転移動させることが可能となっている。これは、様々な視点方向から見た三次元画像に基づいて、顔の正面の向きの調整を行えるようにするためである。
なお、この実施形態では、画面表示軸Xd、Yd、Zdは、次のように設定されている。Yd軸は、医用三次元画像を表示するための表示領域(以下、「画像表示領域」という、図4に符号41で示す領域)の中心を通りかつ画像表示領域の奥行き方向(画面に直交する方向)にのびる直線と一致するように設定される。Xd軸は、画像表示領域の中心を通りかつ画像表示領域の横方向にのびる直線に対して平行となるように設定される。Zd軸は、画像表示領域の中心を通りかつ画像表示領域の縦方向にのびる直線に対して平行となるように設定される。
ユーザは、平行移動の基準となる軸として指定された1つの基準軸(以下、「平行移動用指定基準軸」という」)に対して、医用三次元画像のみを平行移動させたり、回転中心軸として指定された1つの基準軸(以下、「回転移動用指定基準軸」という」)を中心として、医用三次元画像のみを回転移動させたりすることにより、顔の正面の向きを調整する。顔の正面向きが調整されると、その調整結果に応じて、三次元基準座標系の三次元画像データが修正される。言い換えれば、三次元画像に対する基準軸Xo,Yo,Zoの位置が修正される。
図4は、人体頭部の医用三次元画像の表示器2への表示例を示している。
表示器2の表示画面領域40には、頭部画像(医用三次元画像)を表示するための画像表示領域41と、画像表示領域41の左側に配置されかつ各種操作ボタンが表示される操作領域42とが設けられている。操作領域42には、観察方向を変更するための観察方向変更用操作部50、画像基準軸に対する平行移動または回転を伴う表示向きの変更を行なうための表示向き変更用操作部60、調整終了ボタン70等が設けられている。
観察方向変更用操作部50は、画面表示軸Xd,Yd,Zdのうちから、表示画像全体を回転させる中心となる画面表示軸をユーザに指定させるための画面表示軸指定用ボタン51,52,53と、指定された画面表示軸を中心として反時計方向に表示画像全体を所定量だけ回転させるための第1観察方向変更ボタン54と、選択された画面表示軸を中心として時計方向に画像全体を所定量だけ回転させるための第2観察方向変更ボタン55とを含んでいる。なお、反時計方向および時計方向は、たとえば、指定された画面表示軸を正方向に見た場合の回転方向をいう。3つの画面表示軸指定用ボタン51,52,53のうち、いずれか1つのボタンが指定された状態となっている。したがって、第1観察方向変更ボタン54または第2観察方向変更ボタン55がクリックされると、指定されている画面表示軸を中心として、クリックされた観察方向変更ボタンに応じた回転方向に、表示画像全体が回転される。
表示向き変更用操作部60は、3つの基準軸Xo,Yo,Zoのうちから、画像を平行移動または回転移動させるための基準となる基準軸をユーザに指定させるための基準軸指定用ボタン61,62,63と、回転移動モードまたは平行移動モードをユーザに指定させるための移動モード指定用ボタン64,65と、4つの表示向き変更ボタン66〜69とを含んでいる。一方の移動モード指定用ボタン64は回転移動モードを指定するためのボタンであり、他方の移動モード指定用ボタン65は平行移動モードを指定するためのボタンである。3つの基準軸指定用ボタン61,62,63のうちのいずれか一つが指定された状態となっているとともに、2つの移動モード選択ボタン64,65のうちいずれか一方が指定された状態となっている。
4つの表示向き変更ボタン66〜69は、平行移動モード時において、平行移動用指定基準軸に対して頭部画像を平行移動する際の移動方向を指定するために用いられる。例えば、Yo軸に対して頭部画像を平行移動する際には、移動方向として、+Xo,−Xo,+Zo,−Zoの4方向を、それぞれ表示向き変更ボタン66〜69によって指定できる。また、表示向き変更ボタン66,67は、回転移動モード時において、回転移動用指定基準軸を中心として頭部画像を回転移動させるためにも用いられる。一方の表示向き変更ボタン66が操作されると、回転移動用指定基準軸を中心として、頭部画像が反時計方向に所定量だけ回転され、他方の表示向き変更ボタン67が操作されると、回転移動用指定基準軸を中心として、頭部画像が時計方向に所定量だけ回転される。
図3は、顔の正面向きの調整処理手順を示している。
制御部1は、例えば、図4(a)に示すように、まず、調整対象の頭部画像11と、頭部画像11の基準軸Xo,Yo,Zoと、頭部画像11の顔の正面向きの調整に参考となる参考画像12とを表示器2の画像表示領域41に表示させる(ステップS1)。調整対象の頭部画像11は、例えば、ハードディスクに記憶されている医用三次元画像データのうちから、ユーザによって選択された医用三次元画像データに基づいて表示される。
調整対象の頭部画像11を表示器2に表示する場合には、制御部1は、まず、ハードディスクから該当する医用三次元画像データをRAM等の作業用メモリ内の所定の領域(以下「基準座標系データ記憶領域」という)に読み込む。次に、制御部1は、基準座標系データ記憶領域に読み込んだ基準座標系Xo、Yo、Zoの三次元画像データに基づいて、当該基準座標系Xo、Yo、Zoの三次元画像データを図示しない視点座標系Xs,Ys,Zsのデータに変換する。これにより、視点座標系Xs,Ys,Zsで頭部画像が定義される。そして、制御部1は、視点座標系で定義された頭部画像を所定の表示面(スクリーン面)に投影する。この処理を「投影処理」ということにする。これにより、三次元画像データが二次元画像データに変換される。得られた二次元画像データを、表示面に表示する。
視点座標系Xs,Ys,Zsは、視点を原点とした座標系であり、視線方向にZs軸がとられ、Zs軸に直交する方向に、Xs軸およびYs軸がとられているものとする。視点座標系において、前述した画面表示軸Ydは、視点座標軸Zsと平行となっているかまたは同軸上にあり、前述した画面表示軸Xd,Zdは、視点座標軸Xs,Ys軸にそれぞれ平行となっているものとする。
図4(a)の例では、頭部画像11の基準座標系Xo、Yo、Zoによって規定される正面観の画像が表示されている。つまり、図4(a)の例では、頭部画像11は、その基準軸Yo,Xo,ZoのYo軸が、視点座標系の視線方向軸Zsと一致し、基準軸Xo,Zoが視点座標軸Xs,Ysとそれぞれ平行となるような姿勢で表示されている。ステップS1で頭部画像が表示されたときには、作業メモリの基準座標系データ記憶領域内の基準座標系Xo、Yo、Zoの医用三次元画像データは、未修正状態である。
顔の正面向きを調整するための参考画像12は、頭部画像11をほぼ前後方向に貫通する基準軸Yoに直交する半透明な色付きの平面であって、その平面と頭部画像の顔表面との交点が等高線として現れている。この実施形態では、全ての基準軸Xo,Yo,Zoが画像表示領域41に表示されるようになっている。
この状態において、ユーザは、表示画像の観察方向を変更するために、表示画像全体(頭部画像11、参考画像12および基準軸Xo,Yo,Zo)を、画面表示軸Xd,Yd,Zdを中心として回転移動させるための操作(以下、「観察方向変更操作」という)を行うことが可能である。
また、ユーザは、顔の正面向きを調整するために、ユーザが指定した基準軸(平行移動用指定基準軸)に対して、頭部画像11を平行移動させるための操作(以下、「平行移動による正面向き調整操作」という)を行うことが可能である。
また、ユーザは、顔の正面向きを調整するために、ユーザが指定した基準軸(回転移動用指定基準軸)を中心として、頭部画像11のみを回転移動させるための操作(以下、「回転移動による正面向き調整操作」という)を行うことが可能である。さらに、正面向きの調整操作が終了したことを制御部1に通知するための調整終了操作を行なうことが可能である。
制御部1は、観察方向変更操作が行なわれたか否か(ステップS2)、平行移動による正面向き調整操作が行なわれたか否か(ステップS3)、回転移動による正面向き調整操作が行なわれたか否か(ステップS4)、調整終了操作が行なわれたか否か(ステップS5)を監視する。
前記ステップS2の観察方向変更操作が行なわれたか否かは、観察方向変更ボタン54または55がクリックされたか否かに基づいて判別される。前記ステップS3の平行移動による正面向き調整操作が行なわれたか否かは、平行移動モードを指定するための移動モード指定用ボタン65が指定されている状態において、いずれかの表示向き変更ボタン66〜69がクリックされたか否かに基づいて判別される。前記ステップS4の回転移動による正面向き調整操作が行なわれたか否かは、回転移動モードを指定するための移動モード指定用ボタン64が指定されている状態において、表示向き変更ボタン66または67がクリックされたか否かに基づいて判別される。前記ステップS5の調整終了操作が行なわれたか否かは、調整終了ボタン70がクリックされたか否かに基づいて判別される。
ユーザによる観察方向変更操作が行なわれた場合には(ステップS2でYES)、制御部1は、表示軸指定用ボタン51,52,53によって指定されている画面表示軸を中心として、表示画像全体を観察方向変更操作に応じた方向に所定量だけ回転移動させる(ステップS6)。このような回転移動は、視点座標系において、三次元図形全体を、指定された画面表示軸を中心として回転移動させた後、前記投影処理を行なうことにより、達成される。そして、ステップS3に移行する。
平行移動による正面向き調整操作が行なわれた場合には(ステップS3でYES)、制御部1は、頭部画像11のみを、基準軸指定用ボタン61,62,63によって指定されている基準軸(平行移動用指定基準軸)を基準として、当該調整操作に応じた方向に所定量だけ平行移動させる(ステップS7)。このような平行移動は、視点座標系において、頭部画像を平行移動用指定基準軸に対して指定された方向に所定量だけ平行移動させた後、前記投影処理を行なうことによって達成される。
この場合には、制御部1は、平行移動用指定基準軸、指定された平行移動方向および平行移動量に基づいて、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データを修正する(ステップS8)。これにより、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データが更新される。この場合、基準座標系の医用三次元画像データの修正結果は、頭部画像を固定しておき、頭部画像を平行移動した方向と反対方向に、前記平行移動用指定基準軸を所定量だけ平行移動させたことと等価となる。
回転移動による正面向き調整操作が行なわれた場合には(ステップS4でYES)、制御部1は、頭部画像11のみを、基準軸指定用ボタン61,62,63によって指定されている画像基準軸(回転移動用指定基準軸)を中心として、当該調整操作に応じた方向に所定量だけ回転移動させる(ステップS9)。このような回転移動は、視点座標系において、頭部画像を回転移動用指定基準軸を中心として、指定された方向に所定量だけ回転移動させた後、前記投影処理を行なうことによって達成される。
この場合には、制御部1は、回転移動用指定基準軸、指定された回転移動方向および回転移動量に基づいて、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データを修正する(ステップS10)。これにより、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データが更新される。この場合、基準座標系の医用三次元画像データの修正結果は、頭部画像を固定しておき、回転移動用指定基準軸以外の他の2つの基準軸を、回転移動用指定基準軸を中心として、頭部画像を回転させた方向と反対方向に所定量だけ回転移動させたことと等価となる。
調整終了操作が行なわれた場合には(ステップS5でYES)、制御部1は、基準座標系データの更新処理を行なう(ステップS11)。具体的には、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データを、ハードディスク内の元の医用三次元画像データと置き換える。これにより、ハードディスク内の対応する基準座標系の医用三次元画像データが更新される。そして、今回の処理を終了する。
前記ステップS7の頭部画像の平行移動処理について具体的に説明する。表示器2の画像表示領域41には、例えば、図4(a)に示すような画像が表示されているものとする。ユーザは、参考画像12によって表示されている等高線を参考にして、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるように、頭部画像をYo軸に対して平行移動させるための指令を入力する。より具体的には、ユーザは、基準軸指定用ボタン62をクリックすることによってYo軸を指定するととともに、移動モード指定用ボタン65によって平行移動モードを指定する。そして、表示向き調整ボタン66〜69をクリックする。
図4(a)の頭部画像11では、Yo軸が鼻の左右中心に対し正面から見て右側にずれた位置にある。そこで、鼻の左右中心をYo軸と一致させるため、頭部画像11を、Yo軸に対して右方向(+Xo方向)に平行移動させる必要がある。そこで、ユーザは、表示向き調整ボタンボタン67をクリックする。すると、頭部画像11のみが、Yo軸に対して右方向(+Xo方向)に所定量だけ平行移動される。また、表示向き調整ボタン66をクリックすると、頭部画像11のみが、Yo軸に対して左方向(−Xo方向)に所定量だけ平行移動される。ユーザは、このような操作を繰り返し行うことにより、つまり、ステップS3,S7,S8の処理が繰り返し行なわれることにより、図4(b)に示すように、鼻の左右中心をYo軸と一致させる。この場合、ステップS8の処理により、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データは、平行移動による正面向き調整後の頭部画像11と基準軸Xo,Yo,Zoとの位置関係(図4(b)に示される位置関係)に対応した、医用三次元画像データに修正される。
ステップS9の頭部画像11の回転移動処理について具体的に説明する。まず、Yo軸を中心として頭部画像を回転させることによって、顔の正面向きを調整する場合について説明する。
表示器2の画像表示領域41には、例えば、図5(a)に示すような画像が表示されているものとする。ユーザは、参考画像12によって表示されている等高線を参考にして、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるように、頭部画像をYo軸を中心として、時計方向または反時計方向に回転させるための指令を入力する。より具体的には、ユーザは、基準軸指定用ボタン62をクリックすることによってYo軸を指定するととともに、移動モード指定用ボタン64によって回転移動モードを指定する。そして、表示向き調整ボタン66または67をクリックする。
ボタン66がクリックされると、頭部画像11のみが、Yo軸を中心として反時計方向に所定量だけ回転移動される。また、ボタン67がクリックされると、頭部画像11のみが、Yo軸を中心として時計方向に所定量だけ回転移動される。ユーザは、このような操作を繰り返し行うことにより、つまり、ステップS4,S9,S10の処理が繰り返し行なわれることにより、図5(b)に示すように、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるようにする。この場合、ステップS10の処理により、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データは、回転移動による正面向き調整後の頭部画像11と基準軸Xo,Yo,Zoとの位置関係(図5(b)に示される位置関係)に対応した医用三次元画像データに修正される。この結果、頭部画像に対して、回転移動用指定基準軸Yo以外の2つの基準軸Xo,Zoの位置が修正されたことになる。
観察方向を変更した後に、Yo軸を中心として頭部画像を回転させることにより、顔の正面向きを調整する場合について、具体的に説明する。
表示器2の画像表示領域41には、例えば、図5(a)に示すような画像が表示されているものとする。ユーザは、観察方向を変更させたい場合には、観察方向変更用操作部50内のボタンを操作する。例えば、ユーザが表示軸指定用ボタン51をクリックすることにより画面表示軸Xdを指定した後、第1の観察方向変更ボタン54をクリックしたとする。この場合には、ステップS6では、表示画像全体(頭部画像11、参考画像12および基準軸Xo,Yo,Zo)が画面表示軸Xdを中心として反時計方向に所定量だけ回転移動される。これにより、表示画像は、例えば、図6(a)に示すような画像となる。図6(a)では、基準軸Xoの図示が省略されている。この例では、頭部画像11は、顔の前方斜め下方位置から、顔を見たような画像となる。
ユーザは、参考画像12によって表示されている等高線を参考にして、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるように、頭部画像をYo軸を中心として、時計方向または反時計方向に回転させるための指令を入力する。より具体的には、ユーザは、基準軸指定用ボタン62をクリックすることによってYo軸を指定するとともに、移動モード指定用ボタン64によって回転移動モードを指定する。そして、表示向き調整ボタン66または67をクリックする。
ボタン66がクリックされると、頭部画像11のみが、Yo軸を中心として反時計方向に所定量だけ回転移動される。また、ボタン67がクリックされると、頭部画像11のみが、Yo軸を中心として時計方向に所定量だけ回転移動される。ユーザは、このような操作を繰り返し行うことにより、つまり、ステップS4,S9,S10の処理が繰り返し行なわれることにより、図6(b)に示すように、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるようにする。なお、図6(b)では、基準軸Xoの図示が省略されている。
なお、図6(a)のように観察方向が変化した場合には、回転移動用指定基準軸Yoは、図7に示すように、画面に対して垂直ではなく傾斜した状態となる。図7内のYdは、画面に垂直な画面表示軸Ydを表している。
次に、Zo軸を中心として頭部画像を回転させることによって、顔の正面向きを調整する場合について説明する。
表示器2の画像表示領域41には、例えば、図8(a)に示すような画像が表示されているものとする。ユーザは、参考画像12によって表示されている等高線を参考にして、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるように、頭部画像をZo軸を中心として、時計方向または反時計方向に回転させるための指令を入力する。より具体的には、ユーザは、基準軸指定用ボタン63をクリックすることによってZo軸を指定するととともに、移動モード指定用ボタン64によって回転移動モードを指定する。そして、表示向き調整ボタン66または67をクリックする。
ボタン66がクリックされると、頭部画像11のみが、Zo軸を中心として反時計方向に所定量だけ回転移動される。また、ボタン67がクリックされると、頭部画像11のみが、Zo軸を中心として時計方向に所定量だけ回転移動される。ユーザは、このような操作を繰り返し行うことにより、つまり、ステップS4,S9,S10の処理が繰り返し行なわれることにより、図8(b)に示すように、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるようにする。この場合、ステップS10の処理により、作業メモリの基準座標系データ記憶領域内の基準座標系の医用三次元画像データは、回転移動による正面向き調整後の頭部画像11と基準軸Xo,Yo,Zoとの位置関係(図8(b)に示される位置関係)に対応した医用三次元画像データに修正される。この結果、頭部画像に対して、回転移動用指定基準軸Zo以外の2つの基準軸Xo,Yoの位置が修正されたことになる。
観察方向を変更した後に、Zo軸を中心として頭部画像を回転させることにより、顔の正面向きを調整する場合について、具体的に説明する。
表示器2の画像表示領域41には、例えば、図8(a)に示すような画像が表示されているものとする。ユーザは、観察方向を変更させたい場合には、観察方向変更用操作部50内のボタンを操作する。例えば、ユーザが表示軸指定用ボタン51をクリックすることにより画面表示軸Xdを指定した後、第1の観察方向変更ボタン54をクリックしたとする。この場合には、ステップS6では、表示画像全体が画面表示軸Xdを中心として反時計方向に所定量だけ回転移動される。これにより、表示画像は、例えば、図9(a)に示すような画像となる。図9(a)では、基準軸Xo,Yoの図示が省略されている。この例では、頭部画像11は、顔の前方斜め下方位置から、顔を見たような画像となる。
ユーザは、参考画像12によって表示されている等高線を参考にして、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるように、頭部画像をZo軸を中心として、時計方向または反時計方向に回転させるための指令を入力する。より具体的には、ユーザは、基準軸指定用ボタン63をクリックすることによってZo軸を指定するとともに、移動モード指定用ボタン64によって回転移動モードを指定する。そして、表示向き調整ボタン66または67をクリックする。
ボタン66がクリックされると、頭部画像11のみが、Zo軸を中心として反時計方向に所定量だけ回転移動される。また、ボタン67がクリックされると、頭部画像11のみが、Zo軸を中心として時計方向に所定量だけ回転移動される。ユーザは、このような操作を繰り返し行うことにより、つまり、ステップS4,S9,S10の処理が繰り返し行なわれることにより、図9(b)に示すように、Zo軸を中心として顔の左右(左右両側の等高線)が対称に現れるようにする。なお、図9(b)では、基準軸Xo,Yoの図示が省略されている。
なお、図9(a)のように観察方向が変化した場合には、回転移動用指定基準軸Zoは、図10に示すように、画面に平行ではなく傾斜した状態となる。図10内のZdは、画面に平行な画面表示軸Zdを示している。
図示はしていないが、ユーザは、基準軸Xoを中心として頭部画像11のみを回転させることができる。具体的には、ユーザは、基準軸指定用ボタン61をクリックすることによってXo軸を指定するととともに、移動モード指定用ボタン64によって回転移動モードを指定する。そして、表示向き調整ボタン66または67をクリックすればよい。基準軸Xoを中心として頭部画像11を回転させた場合には、頭部画像に対して、回転移動用指定基準軸Xo以外の2つの基準軸Yo,Zoの位置が修正されることになる。
前記実施形態によれば、頭部画像(医用三次元画像)11の顔の正面向きを調整する際には、顔の前後方向にのびる基準軸(Yo軸)に直交する平面等の参考画像12が表示されるので、頭部画像11の顔の正面向きの調整を行いやすくなる。
また、前記実施形態によれば、複数の観察方向から、頭部画像11の顔の正面向きを調整することができるので、顔の正面向きをより正確に調整することができる。つまり、正面、上面、下面に限られた向きだけでなく、観察方向を変えて、斜め下、斜め上などから、頭部画像と参考画像とを比較できるので、凹凸のある顎顔面形態のすべての形状を参考にし、頭部画像を的確に位置決めすることができる。
正面、左側面、右側面、上面、下面等の画面軸に直交する向きが基本的な観察向きとなるが、立体像は、凹凸があり、視点方向により、必要な部位が隠れて位置決めに利用できない等の問題がある。しかし、前記実施形態では、観察向きを頭部画像と参考画像とともに、自由に移動させることができるので、この問題を解消することができる。
調整対象のデータは三次元画像データであっても、画面に表示される画像は二次元画像であるため、左右同時に表示される向きは、正面と、上面と、下面しかない。この三方向で頭部画像を位置決めする際に、参考にできる領域は限られる。そこで、前記実施形態では、頭部画像を自由に360度回転させることにより、複数の視点方向で頭部画像と参考画像を観察できるようになるから、真に立体的な位置決めが可能となる。第3画像基準軸方向に投影した等高線またはモアレは、頭部画像のみを平行移動または回転移動させた際に、等高線またはモアレ形状が変化することで、等高線またはモアレ形状が最も対称となる位置、向きを参考に、頭部画像が最も左右対称となるように頭部画像の位置決めをすることができる。
さらに、前記実施形態によれば、平行移動用指定基準軸に対する頭部画像11の平行移動結果や、回転移動用指定基準軸を中心とした頭部画像11の回転移動結果に基づいて、指定回転中心軸を除く他の2つの基準軸が修正されるので、正確に指定することが困難なランドマークを指定する必要がない。ランドマークの指定が不要であるので、頭部画像の解像度、ランドマークを指定する際の誤差、ランドマークを定義できない領域を位置決めに使えない等の問題を解消できる。
以上、この発明の一実施形態について説明したが、この発明はさらに他の形態で実施することもできる。たとえば、観察方向を変えるために表示画像全体を画面表示軸を中心として回転移動させるための手段が設けられているが、それに代えてまたはそれに加えて表示画像全体を画面表示軸に対して平行移動させる手段を設けるようにしてもよい。
また、参考画像として、参考画像のために設定または指定された所定の画像基準軸(以下、第3画像基準軸という,顔の正面向きを調整する場合にはYo軸)に直交する参考平面の他、第3画像基準軸に直交するマス目、顔対称モデル外形線、第3画像基準軸方向に投影した等高線やモアレなどを用いることができる。
また、第3画像基準軸に直交する平面、マス目等の参考画像を、第3画像基準軸に対して平行移動させることができるようにすることが好ましい。また、参考画像の透明度や色を変更できるようにすることが好ましい。このようにすると、参考画像と頭部画像との位置関係が分かりやすくなるように、参考画像の位置や表示形態を調整することが可能となる。参考画像の位置や表示形態の調整後に、参考平面と頭部画像との重なる領域の形状やマス目、左右対称モデル外形線を参考にすることにより、頭部画像が最も左右対称となる位置を特定することができる。
また、第3画像基準軸に直交する平面上に、患者本人の顔写真またはその顔写真から抽出した顔特徴外形線を参考画像として表示するようにしてもよい。これにより、顔写真を撮影した際の顔の向きに頭部画像を位置決めすることが可能となる。同様に、以前に撮影しかつ位置決めしたCT像に基づいて、第3画像基準軸に直交する向きの画像を平面に表示するようにしてもよい。これにより、以前に評価した表示向きに頭部画像を位置決めできるようになるから、その間の変化を定量評価することができる。
また、予め、正面写真、左右側面写真とは別に、正面から右10度斜め、20度斜め、30度斜め、左10度斜め、20度斜め、30度斜めなどの複数方向の写真と、その写真向きを登録しておき、頭部画像の観察方向が指定された際に、その視点方向に直交する平面上に、その観察方向に対応する向きの写真を、参考画像として表示するようにしてもよい。これにより正面、側面方向の写真だけでなく、斜めの方向からも参考図との位置関係を確認しながら、位置決めできるので、より立体的な向きの調整が可能となる。なお、この場合にも、参考画像の透明度や色を変更できるようにすることが好ましい。また、参考となる写真画像から外形線抽出等の画像処理を施し、抽出した外形線を参考画像として表示するようにしてもよい。
さらに、前記写真の代わりに、以前撮影したCT像データや、MRIデータ、または三次元カメラ写真データなどの三次元情報を活用するようにしてもよい。この場合、予め参考資料として登録された三次元情報から、頭部画像の観察方向に一致する方向の画像を二次元画像として作成し、頭部画像の観察方向に直交する平面上に当該二次元画像を参考画像として表示することができる。この方法は、過去の診断評価で既に位置決めされた同じ患者のCT像等がある場合、また、三次元カメラ像など、立体形状情報を持った参考資料がある場合に有効である。
参考画像が表示される、第3画像基準軸に直交する平面または観察方向に直交する平面は、第3画像基準軸または観察方向に沿って平行移動させたり、その平面に表示されるCT像、3D写真像等の参考資料の色や透明度を調整させたり、できるようにすることが好ましい。また、参考資料の外形線を抽出して前記平面に表示するようにしてもよい。このようにすると、頭部画像と参考画像との位置関係をわかりやすくすることができる。なお、参考資料が三次元情報であっても、参考画像として表示されるのは二次元画像であるので、前述した参考画像の色や透明度の調整や外形線抽出等の操作が容易であり、処理時間も短くて済む。
三次元画像同士をそのまま重ね合わせた場合には、重なり合う部分の奥行領域が(手前にある領域が表示され、その奥の像は隠れ、奥行きの重なりが分かりにくい)見えなくなるため、2つの像の奥行き方向の位置関係がぴったりなのか、ルーズなのかなどの把握が難しく、正確な位置決めが困難であった。前述した方法では、観察方向が指定されることによって、その視点方向に対応した参考画像が作成され、その参考画像が観察方向に直交した平面に二次元画像として表示される。このように、三次元画像である頭部画像と二次元画像である参考画像との重ね合わせを複数方向で行っているため、三次元画像同士を重ね合わせるときに生じる問題が解消され、立体的にかつ正確な位置決めを行うことができる。
頭部画像の顔の正面向きの設定により、対称性評価は変わるため、その向きの設定が治療結果を決定する重要事項である。そのため、正面向きのあらゆる定義に対応できる的確性と、繰り返し再現できる正確性が重要となる。そこで、患者自身が、鏡を前で希望正面向きを決定し、その向きでの対称性の達成を希望する場合、その向きで撮影された3次元カメラ写真を撮影し、そのデータを位置決め参考画像作成用の参考資料として用いるようにしてもよい。これにより、頭部画像を、3次元カメラ写真と一致した向きに、正確に位置決めすることができるようになる。この場合、正面、側面、上下面は、その向きの画像が画面に平行な平面に表示されるのは勿論のこと、参考資料は立体情報をもっているため、それ以外の視点方向でも参考画像を作成することができる。したがって、観察方向が決定されるに応じて、その視点方向の二次元顔写真(参考画像)を作成し、観察方向に直交する平面に表示することができる。これにより、CT画像等の三次元画像撮影時には、難しい患者希望の正面向きを、他の手段、例えば患者実体上で位置決めされた三次元資料を基に、位置決めすることが可能となる。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
1 制御部
2 表示器
3 キーボード
4 マウス
5 記憶媒体
11 頭部画像
12 参考画像
50 観察方向変更用操作部
60 表示向き変更用操作部

Claims (6)

  1. 所定の三次元基準座標系に従う医用三次元画像データに基づいて医用三次元画像を表示手段に表示させる手段と、
    前記医用三次元画像の正面向きの調整に参考となる参考画像を前記表示手段に表示させる手段と、
    前記表示手段に表示されている表示画像の観察方向を変化させるための観察方向変更指令を入力するための観察方向変更指令入力手段と、
    前記観察方向変更指令入力手段によって入力された観察方向変更指令に応じて、前記医用三次元画像および前記参考画像を含む表示画像全体を移動させる観察方向変更手段と、
    前記表示手段に表示されている前記医用三次元画像および前記参考画像のうち、前記医用三次元画像のみを、前記三次元基準座標系の画像基準軸のうちから指定された第1画像基準軸を中心に回転移動させるための指令を入力するための表示向き変更指令入力手段と、
    前記表示向き変更指令入力手段によって入力された表示向き変更指令に応じて、前記医用三次元画像のみを前記第1画像基準軸を中心に、回転移動させる表示向き変更手段と、
    前記表示向き変更手段による前記医用三次元画像の回転移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第1修正手段と、を含む医用三次元画像の表示向き調整装置。
  2. 前記第1修正手段は、前記第1画像基準軸と、前記表示向き変更手段による前記医用三次元画像の回転移動の方向および大きさとに基づいて、前記第1画像基準軸を除く他の2つの画像基準軸を修正するものである請求項1に記載の医用三次元画像の表示向き調整装置。
  3. 前記表示手段に表示されている前記医用三次元画像を、前記三次元画像基準軸のうちから指定された第2画像基準軸に対して相対的に平行移動させるための平行移動指令を入力するための平行移動指令入力手段と、
    前記平行移動指令入力手段によって入力された平行移動指令に応じて、前記表示手段に表示されている前記医用三次元画像を、前記第2画像基準軸に対して相対的に平行移動させる平行移動手段と、
    前記平行移動手段による平行移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第2修正手段と、をさらに含む請求項1または2に記載の医用三次元画像の表示向き調整装置。
  4. コンピュータを、所定の三次元基準座標系に従う医用三次元画像データに基づいて医用三次元画像を表示手段に表示させる手段、前記医用三次元画像の正面向きの調整に参考となる参考画像を前記表示手段に表示させる手段、所与の観察方向変更指令に応じて、前記医用三次元画像および前記参考画像を含む表示画像全体を移動させる観察方向変更手段、所与の表示向き変更指令に応じて、前記表示手段に表示されている前記医用三次元画像および前記参考画像のうち、前記医用三次元画像のみを、前記三次元基準座標系の画像基準軸のうちから指定された第1画像基準軸を中心に回転移動させる表示向き変更手段、ならびに前記表示向き変更手段による前記医用三次元画像の回転移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する第1修正手段、として機能させるための医用三次元画像の表示向き調整プログラム。
  5. 前記第1修正手段は、前記第1画像基準軸と、前記表示向き変更手段による前記医用三次元画像の回転移動の方向および大きさとに基づいて、前記第1画像基準軸を除く他の2つの画像基準軸を修正するものである請求項4に記載の医用三次元画像の表示向き調整プログラム。
  6. コンピュータを、所与の平行移動指令に応じて、前記表示手段に表示されている前記医用三次元画像を、前記三次元画像基準軸のうちから指定された第2画像基準軸に対して相対的に平行移動させる平行移動手段、および前記平行移動手段による平行移動に応じて、前記三次元基準座標系の医用三次元画像データを修正する手段、として機能させるためのプログラムをさらに含む請求項4または5に記載の医用三次元画像の表示向き調整プログラム。
JP2011540497A 2009-11-13 2010-11-08 医用三次元画像の表示向き調整装置および調整プログラム Expired - Fee Related JP5665761B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011540497A JP5665761B2 (ja) 2009-11-13 2010-11-08 医用三次元画像の表示向き調整装置および調整プログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009260077 2009-11-13
JP2009260077 2009-11-13
JP2009268620 2009-11-26
JP2009268620 2009-11-26
JP2011540497A JP5665761B2 (ja) 2009-11-13 2010-11-08 医用三次元画像の表示向き調整装置および調整プログラム
PCT/JP2010/069837 WO2011058948A1 (ja) 2009-11-13 2010-11-08 医用三次元画像の表示向き調整装置および調整プログラム

Publications (2)

Publication Number Publication Date
JPWO2011058948A1 JPWO2011058948A1 (ja) 2013-04-04
JP5665761B2 true JP5665761B2 (ja) 2015-02-04

Family

ID=43991607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540497A Expired - Fee Related JP5665761B2 (ja) 2009-11-13 2010-11-08 医用三次元画像の表示向き調整装置および調整プログラム

Country Status (6)

Country Link
US (1) US20120235993A1 (ja)
EP (1) EP2499972B1 (ja)
JP (1) JP5665761B2 (ja)
KR (1) KR20120093977A (ja)
CN (1) CN102665561A (ja)
WO (1) WO2011058948A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9788759B2 (en) * 2010-12-27 2017-10-17 Joseph Ralph Ferrantelli Method and system for postural analysis and measuring anatomical dimensions from a digital three-dimensional image on a mobile device
US9801550B2 (en) 2010-12-27 2017-10-31 Joseph Ralph Ferrantelli Method and system for measuring anatomical dimensions from a digital photograph on a mobile device
CA2794898C (en) 2011-11-10 2019-10-29 Victor Yang Method of rendering and manipulating anatomical images on mobile computing device
US20140063220A1 (en) * 2012-08-29 2014-03-06 Ossur Hf Method and Device for Ordering a Custom Orthopedic Device
JP6369078B2 (ja) * 2014-03-20 2018-08-08 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
US10779743B2 (en) 2014-05-06 2020-09-22 Peacs B.V. Estimating distribution, fluctuation and/or movement of electrical activity through a heart tissue
US11172860B2 (en) * 2014-05-06 2021-11-16 Peacs Investments B.V. Estimating distribution fluctuation and/or movement of electrical activity through a heart tissue
KR101581785B1 (ko) * 2015-03-05 2016-01-04 재단법인차세대융합기술연구원 3차원 생물학적 정보 처리 방법 및 그 시스템
US11289207B2 (en) 2015-07-09 2022-03-29 Peacs Investments B.V. System for visualizing heart activation
US11458320B2 (en) 2016-09-06 2022-10-04 Peacs Investments B.V. Method of cardiac resynchronization therapy
EP3558131B1 (en) * 2016-12-22 2022-10-19 Trophy A dental imaging apparatus with improved patient positioning
US11314981B2 (en) 2017-05-17 2022-04-26 Sony Corporation Information processing system, information processing method, and program for displaying assistance information for assisting in creation of a marker
US11017547B2 (en) 2018-05-09 2021-05-25 Posture Co., Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
US11610305B2 (en) 2019-10-17 2023-03-21 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a radiographic image using machine learning
WO2023234757A1 (ko) * 2022-06-03 2023-12-07 주식회사 링커버스 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002360564A (ja) * 2001-06-05 2002-12-17 Imagunooshisu Kk 医用三次元画像の表示制御装置および表示用プログラム
JP2003265475A (ja) * 2002-03-19 2003-09-24 Toshiba Medical System Co Ltd 超音波診断装置、画像処理装置、及び画像処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454371A (en) * 1993-11-29 1995-10-03 London Health Association Method and system for constructing and displaying three-dimensional images
JPH08131403A (ja) 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6245017B1 (en) * 1998-10-30 2001-06-12 Kabushiki Kaisha Toshiba 3D ultrasonic diagnostic apparatus
ATE518215T1 (de) * 1999-06-30 2011-08-15 Han-Joon Kim Dreidimensionale bildanzeigevorrichtung, anzeigeverfahren und programm
US6563941B1 (en) * 1999-12-14 2003-05-13 Siemens Corporate Research, Inc. Model-based registration of cardiac CTA and MR acquisitions
US6599244B1 (en) * 1999-12-23 2003-07-29 Siemens Medical Solutions, Usa, Inc. Ultrasound system and method for direct manipulation interface
KR100910186B1 (ko) * 2001-10-31 2009-07-30 이마그노시스 가부시키가이샤 의료용 화상처리장치, 방법 및 처리프로그램
US6991605B2 (en) * 2002-12-18 2006-01-31 Siemens Medical Solutions Usa, Inc. Three-dimensional pictograms for use with medical images
JP4638330B2 (ja) 2005-11-10 2011-02-23 イマグノーシス株式会社 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP4732925B2 (ja) * 2006-03-09 2011-07-27 イマグノーシス株式会社 医用画像の表示方法およびそのプログラム
EP2074595A1 (en) * 2006-10-17 2009-07-01 Koninklijke Philips Electronics N.V. Visualization of 3d images in combination with 2d projection images
US20100328304A1 (en) * 2006-12-14 2010-12-30 Imagnosis Inc. Display direction correcting device, correcting method, and correction program for medical 3d image
US8340375B2 (en) * 2007-02-02 2012-12-25 Kabushiki Kaisha Toshiba Medical diagnostic imaging apparatus, medical image processing method, and computer program product
WO2008120136A1 (en) * 2007-03-30 2008-10-09 Koninklijke Philips Electronics N.V. 2d/3d image registration
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
US20080300477A1 (en) * 2007-05-30 2008-12-04 General Electric Company System and method for correction of automated image registration
WO2009040681A2 (en) * 2007-09-04 2009-04-02 Lg Electronics Inc. System and method for changing orientation of an image in a display device
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002360564A (ja) * 2001-06-05 2002-12-17 Imagunooshisu Kk 医用三次元画像の表示制御装置および表示用プログラム
JP2003265475A (ja) * 2002-03-19 2003-09-24 Toshiba Medical System Co Ltd 超音波診断装置、画像処理装置、及び画像処理プログラム

Also Published As

Publication number Publication date
EP2499972A4 (en) 2015-07-01
EP2499972B1 (en) 2017-10-11
KR20120093977A (ko) 2012-08-23
WO2011058948A1 (ja) 2011-05-19
CN102665561A (zh) 2012-09-12
US20120235993A1 (en) 2012-09-20
EP2499972A1 (en) 2012-09-19
JPWO2011058948A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5665761B2 (ja) 医用三次元画像の表示向き調整装置および調整プログラム
US11918292B2 (en) Orthopedic fixation control and manipulation
JP4607399B2 (ja) 三次元画像の表示装置および表示方法
CN109419524B (zh) 医学成像系统的控制
CN106572829B (zh) 医学成像系统的扫描区域的定位的控制
US11154379B2 (en) Method for implant surgery using augmented visualization
JP7098485B2 (ja) 撮像で使用する仮想位置合わせ画像
JP4638330B2 (ja) 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP4786685B2 (ja) X線画像表示方法、x線撮影装置、及びx線画像表示装置
WO2014120909A1 (en) Apparatus, system and method for surgical navigation
JPWO2007102509A1 (ja) 医用画像の処理方法
CN113298745B (zh) Cta三维重建镜像数据图像投影方法、图像处理方法及装置
JP4603195B2 (ja) 医用三次元画像の表示制御装置および表示用プログラム
JP4429709B2 (ja) X線断層撮影装置
KR20150083338A (ko) 엑스선 영상처리장치 및 엑스선 촬영시스템
JPH03231643A (ja) 画像表示装置
TWI754259B (zh) 神經檢測方法及裝置
JP2022526540A (ja) 整形外科的固定制御及び可視化
JP2013169359A (ja) X線ct装置
JP6298859B2 (ja) 医用画像立体表示処理装置及びプログラム
JP2001101449A (ja) 三次元画像表示装置
US11893737B2 (en) Hinge detection for orthopedic fixation
JPH0542134A (ja) 3次元画像処理方法
JP6373937B2 (ja) X線ct装置及び画像表示装置
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141209

R150 Certificate of patent or registration of utility model

Ref document number: 5665761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees