JP7121740B2 - 歯科用観察装置及び歯科用画像の表示方法 - Google Patents

歯科用観察装置及び歯科用画像の表示方法 Download PDF

Info

Publication number
JP7121740B2
JP7121740B2 JP2019545546A JP2019545546A JP7121740B2 JP 7121740 B2 JP7121740 B2 JP 7121740B2 JP 2019545546 A JP2019545546 A JP 2019545546A JP 2019545546 A JP2019545546 A JP 2019545546A JP 7121740 B2 JP7121740 B2 JP 7121740B2
Authority
JP
Japan
Prior art keywords
image
display
imaging
dental
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019545546A
Other languages
English (en)
Other versions
JPWO2019065700A1 (ja
Inventor
英基 吉川
知行 定兼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Publication of JPWO2019065700A1 publication Critical patent/JPWO2019065700A1/ja
Application granted granted Critical
Publication of JP7121740B2 publication Critical patent/JP7121740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • A61C19/041Measuring instruments specially adapted for dentistry for measuring the length of the root canal of a tooth
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • A61B6/51
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C5/00Filling or capping teeth
    • A61C5/40Implements for surgical treatment of the roots or nerves of the teeth; Nerve needles; Methods or instruments for medication of the roots
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Description

本発明は、例えば、口腔領域における所望の撮像箇所を撮像する可視光画像と、前記撮像箇所に対応する三次元画像情報に基づく対応画像とを表示する歯科用観察装置及び歯科用画像の表示方法に関する。
従来より、歯科医療分野等において、例えば、歯牙に対する根管治療の際には、一般に、口腔内カメラと呼ばれる光学カメラや歯科用顕微鏡で口腔内や歯牙を撮像(観察)して治療することで精密な根管治療等の歯科治療を行うようになってきている。
しかしながら、光学カメラや歯科用顕微鏡によって撮像した可視光画像は、可視光による咬合面方向の歯牙表面の画像であり、歯牙内部の根管の形態等の不可視部分については、可視光画像からは確認が難しかった。
そのような問題に対して、特許文献1に記載の根管治療用装置では、関心領域である歯牙に対してX線を照射して投影データを収集し、得られた投影データをコンピュータ上で再構成して、Computerized Tomography画像(CT撮影断層面画像、ボリュームレンダリング画像等)を生成するCT撮影が行われるとともに、歯牙を透過するX線によって、歯牙の表面から視認できない根管の形態等の不可視部分の位置や大きさを、関心領域である歯牙の可視光画像に重畳表示することができる。
これにより、施術者は、CT撮影画像と、光学カメラや歯科用顕微鏡による可視光画像とを頭の中で三次元的に合成させることなく、見えない不可視部分を可視化しながら治療できるため、より安全かつ正確に治療することができる。
このように、不可視部分のCT撮影画像と、光学カメラや歯科用顕微鏡による可視光画像とを頭の中で三次元的に合成させることなく、可視化した不可視部分を重畳表示させた可視光画像を見ながら治療できることは好ましいものの、施術箇所の視認性を優先したいとの要望もあった。
特開2015-223324号公報
そこで本発明は、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる歯科用観察装置及び歯科用画像の表示方法を提供することを目的とする。
この発明は、口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラを備える歯科用立体顕微鏡と、前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部と、予め取得した前記口腔領域に関する三次元画像情報を記憶する記憶部と、前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する表示部と、前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を前記表示部に表示する画像処理部とが備えられ、前記歯科用立体顕微鏡は、前記撮像箇所に対して所定の前記撮像方向から所定角度分の開きのある撮像方向で観察するように移動でき、前記対応画像は、前記撮像方向に直交する前記撮像箇所の断面画像であり、前記表示部は、前記撮像箇所に対応する前記三次元画像情報に基づくとともに、前記撮像方向に直交する前記撮像箇所の断面画像である対応画像と、前記可視光画像とを並列表示し、前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定する歯科用観察装置であることを特徴とする。
またこの発明は、口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラを備え、前記撮像箇所に対して所定の撮像方向から所定角度分の開きのある撮像方向で観察するように移動できる歯科用立体顕微鏡で立体撮像し、前記立体カメラで撮像した前記可視光画像と、予め取得した前記口腔領域に関する三次元画像情報のうち前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する際に、前記撮像箇所に対する前記立体カメラの撮像方向に直交する前記撮像箇所の断面画像である前記対応画像と、前記可視光画像とを並列表示し、前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定する歯科用画像の表示方法であることを特徴とする。
上記立体カメラは、観察対象である撮像箇所を立体的に撮像することができるものであって、例えば、左右の眼の視差を利用して観察する両眼タイプ(双眼タイプ)の歯科用顕微鏡やカメラ付きヘッドマウントディスプレイ、あるいは、1眼の構成であっても奥行情報が取れるデバイスとして、両眼視を模したデバイスのほかに、カラーの三原色であるRGBの信号を検出する素子と奥行き(Depth)を検出する素子との両方備えたRGB-Dカメラやライトフィールドカメラなどのデバイスで撮影した情報を液晶や有機EL等の平板状の表示装置で表示する構成であってもよい。
上記三次元画像情報は、X線CT画像、核磁気共鳴画像、超音波三次元画像、光干渉三次元画像、及び三次元口腔スキャナで取得した三次元スキャンデータ、3DCADソフト用のファイルフォーマットであるstlデータ等を含む。
上記可視光画像は、動画像(映像)、あるいは静止画像のコマ送りなどであってもよい。
上記撮像方向を基準とした所定の方向は、前記撮像方向に対して平行な方向、直交する方向、あるいは撮像方向に対して所定の角度を向いた方向をいう。また、上記所定方向が撮像方向に平行な方向である場合、撮像方向周りの同一角度となる方向をいう。
なお、前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部は、例えば、周知の非接触型の三次元位置検出器として、例えば、立体カメラに内蔵したジャイロや、前記立体カメラに装着した複数の小玉からなる赤外線反射部材と、赤外線反射部材の三次元位置を計測する赤外線を用いた周知の三次元位置測定器であってもよいし、前記立体カメラに装着した磁気発生源から発する磁気により三次元位置を検出する三次元位置計測器であってもよい。また、立体カメラで取得した画像を基にした画像認識技術等を使用した三次元位置誘導検出器であってもよい。
また、撮像方向検出部は、前記位置検出部で検出した前記立体カメラと撮像箇所とのそれぞれの位置情報に基づいて、前記撮像箇所に対する前記立体カメラの撮像方向を検出してもよい。
また、本明細書における立体カメラは、観察や診療のために撮像箇所を撮像できれば撮像した画像や映像を記録できても記録できなくてもよい。
また、上記前記撮像方向に基づく方向の断面画像は、撮像方向に直交する向きの断面図、前記撮像方向に沿った方向の縦断面図、あるいは、前記撮像方向に対して交差する方向の横断面画像としてもよい。
この発明により、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる。
詳述すると、口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラの前記撮像箇所に対する撮像方向を検出し、前記立体カメラで撮像した前記可視光画像と、記憶部に記憶した予め取得し、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを表示部に並べて表示するとともに、前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を表示することができる。
したがって、例えば、施術対象箇所の可視光画像に三次元画像情報に基づく対応画像を重畳表示させることなく、施術対象箇所の可視光画像の撮像方向の対応画像を撮像方向に平行な方向であって撮像方向周りの同一角度の可視光画像と並列表示することができ、また、可視光画像と対応する向きで対応画像を表示できるため、施術者は、不可視部分を並列表示する対応画像を確認しながら、施術箇所が明確に表れた可視光画像を見ながら安全かつ正確に施術することができる。なお、対応画像は、望ましくは撮像画像と拡大率を同じにするか撮像画像よりも拡大率を下げた小さい画像として表示することが望ましい。
また、前記画像処理部に、前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として表示するため、撮像箇所における不可視部分をより容易且つ正確に断面図によって認識することができ、より安全かつ正確な施術を行うことができる。
またこの発明の態様として、前記画像処理部に、前記断面画像の断面位置を、前記撮像箇所の歯の歯軸に沿って調整する断面調整操作部が備えられてもよい。
この発明により、撮像対象における所望の断面位置での不可視部分の断面図を表示部に表示できるため、不可視部分における関心対象部分をさらに容易且つ正確に認識することができ、さらに安全かつ正確な施術を行うことができる。
この発明の態様として、前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示してもよい。
なお、上述の立体カメラは、二眼カメラ(双眼タイプ)又は立体視可能な一眼カメラであってもよい。
この発明により、前記撮像箇所を視差に基づいて立体表示することができる。
また、立体表示した前記撮像箇所の可視光画像と、平面表示した前記対応画像とを重畳させることなく、並列表示することができる。
またこの発明の態様として、前記表示部に、前記対応画像が表示される対応画像表示領域が設けられ、前記表示部における前記対応画像表示領域の大きさ及び位置のうち少なくとも一方を調整する領域調整部が設けられてもよい。
この発明により、例えば、施術内容等に応じて、対応画像が表示される対応画像表示領域をより視認しやすい位置に位置調整したり、対応画像表示領域を大きくしたり、小さくしたりできるため、施術者の細やかな要望に対応して、施術者の満足度を向上させることができる。
またこの発明の態様として、前記撮像箇所の前記可視光画像における施術対象部位を選択する施術対象選択部が設けられ、前記領域調整部による前記対応画像表示領域の調整が、前記可視光画像に対応する左右の視差画像における選択された施術対象部位と前記対応画像表示領域との相対位置関係に基づき、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域とが重畳しないように調整されてもよい。
この発明により、立体表示された撮像箇所の可視光画像において施術対象部位を施術対象選択部で選択することができ、撮像箇所の可視光画像において選択された施術対象部位の立体表示と、前記対応画像が平面表示された対応画像表示領域とが重畳することなく、対応画像を所望の位置調整や大きさに調整することができる。
具体的には、前記可視光画像の左右の視差画像における施術対象部位の位置が異なるのに対し、左右の視差画像における平面表示される前記対応画像表示領域の位置は一致するため、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域との相対位置が異なることとなる。
そのため、前記領域調整部による前記対応画像表示領域の調整において、一方の視差画像における前記施術対象部位と前記対応画像表示領域とが重複しなくても、他方の視差画像では前記施術対象部位と前記対応画像表示領域とが重複するおそれがある。そこで、前記領域調整部による前記対応画像表示領域の調整において、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域との相対位置に基づき、左右の視差画像のいずれにおいても前記施術対象部位と前記対応画像表示領域とが重複しないように調整することにより、立体表示される前記施術対象部位と平面表示される前記対応画像表示領域とが重複することなく、並列表示することができる。
またこの発明の態様として、前記対応画像の表示方向の変更を操作する表示方向変更操作部と、表示方向を変更した前記対応画像を前記撮像方向に応じた方向に戻す操作を行う表示方向リセット操作部とが備えられてもよい。
この発明により、施術者は、施術に応じて、対応画像の表示方向を表示方向変更操作部で調整することができる。また、前記対応画像の表示方向を変更した後であっても、表示方向リセット操作部を操作することで、表示方向を調整した対応画像の表示方向を、微調整することなく、可視光画像の撮像方向に合わせて表示することができる。
また、対応画像の表示方向を表示方向変更操作部で調整した後、可視光画像の撮像方向を調整した場合であっても、調整された可視光画像の撮像方向に、表示方向が調整された対応画像の表示方向を、調整された撮像方向に合わせるように構成してもよく、この場合、表示方向を調整した対応画像を、撮像方向が調整された可視光画像の撮像方向に手動で微調整しながら合わせる場合に比べ、利便性や操作性を向上させることができる。
またこの発明の態様として、前記三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成されてもよい。
この発明により、例えば、施術内容や患者に適した三次元画像を三次元画像情報として用いることができる。
またこの発明の態様として、前記三次元画像情報が、三次元口腔スキャナで取得した歯牙領域の表面形状の三次元スキャンデータ、インプラントの三次元情報、及び支台歯形成用の三次元モデル情報のうちいずれかで構成された三次元画像情報をさらに含んでもよい。
この発明により、撮像対象箇所における不可視部分として、施術によって形成される形状を三次元画像情報として並列表示でき、施術アシスタントや施術シミュレーションとして機能させることができる。
またこの発明の態様として、前記対応画像の表示を切り替える表示切換操作部が備えられてもよい。
この発明により、例えば、対応画像として、断面図やボリュームデータ、あるいは数値データなど、施術に適した表示を対応画像として表示することができる。
またこの発明の態様として、根管治療やインプラント施術の場合には、前記対応画像の代わりに、あるいは前記対応画像と合わせて根管長測定値、切削トルク値、及び切削回転数のうち少なくともひとつの歯科診療データを前記表示部に表示してもよい。
この発明により、例えば、過去の施術内容など歯科診療データを確認しながら、より精度の高い施術を行うことができる。
またこの発明の態様として、前記表示部が、施術者の頭部に装着する頭部装着型表示部であってもよい。また、歯科診療装置の側部から伸びる支持アームに位置変更自在に保持された歯科用顕微鏡であってもよい。
これらの発明により、施術者は、施術内容や好みに応じて、より適切な仕様に応じたデバイスを用いて施術することができる。
またこの発明の態様として、前記立体カメラに、ブレを防止するためのブレ防止機構が備えられてもよい。
この発明により、より鮮明な可視光画像を見ながら施術することができる。
またこの発明の態様として、前記立体カメラに、前記可視光画像を鏡像反転させる鏡像反転機構が備えられてもよい。
この発明により、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した可視光画像を見ながら施術することができる。
またこの発明は、立体カメラを備える歯科用立体顕微鏡と、記憶部と、撮像方向検出部と、表示部と、プロセッサとを備えた歯科用観察装置であり、前記歯科用立体顕微鏡が、撮像箇所に対して所定の撮像方向から所定角度分の開きのある撮像方向で観察するように移動でき、前記立体カメラが、口腔領域における前記所望の撮像箇所の可視光画像を立体撮像し、前記記憶部が、予め取得した前記口腔領域に関する三次元画像情報を記憶し、前記撮像方向検出部が、前記撮像箇所に対する前記立体カメラの撮像方向を検出し、前記プロセッサが、前記撮像方向検出部で検出した前記撮像方向を基準として前記三次元画像情報を処理して前記撮像方向に直交する前記撮像箇所の断面画像である対応画像を生成し、前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づくとともに、前記撮像方向に直交する前記撮像箇所の断面画像である前記対応画像とを前記表示部に並列表示させ、前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定することを特徴する。
また、前記プロセッサが、前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として前記表示部に表示させてもよい。
またこの発明の態様として、前記プロセッサが、前記表示部に前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示させるとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示させてもよい。
またこの発明の態様として、前記三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれで構成されてもよい。
またこの発明の態様として、前記プロセッサが、前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作を受け付けてもよい。
またこの発明の態様として、前記対応画像として、対象となる歯牙を側面から見たときの根管の深さ方向に所定間隔をあけて異なる断面の複数の断面画像を前記断面画像として同時に表してもよい。
本発明により、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる歯科用観察装置及び歯科用画像の表示方法を提供することができる。
観察システムのブロック図。 診療システムの概略斜視図。 表示画面の説明図。 視差画像の説明図。 歯科診療のフローチャート。 撮像方向が変更した場合の画像表示部の説明図。 従画像表示調整についての画像表示部の説明図。 従画像表示調整についての説明図。 従画面の表示切替えについての画像表示部の説明図。 ディスプレイの説明図。 歯牙に対して支台歯を形成するための説明図。 歯牙に対する観察方向を変更したときの説明図。 歯牙に対する撮像方向についての説明図。 表示画面における別の実施形態の断面位置図についての説明図。
以下、本発明による診療システム1について、図1乃至図11とともに説明する。
図1は、歯科用観察装置に対応する観察システム3のブロック図を示し、図2は診療システム1の概略斜視図を示し、図3は表示画面100の説明図を示し、図4は画像表示部110の視差画像Sa,Sbについての説明図を示し、図5は歯科診療のフローチャートを示している。なお、歯科用観察装置は歯科用イメージャーと呼んでもよいし、歯科用スコープと呼んでもよい。
なお、実施形態の説明中、撮像方向の語を用いるが、この撮像方向には、可視光立体カメラ52に入る光の入射方向沿いの方向(視線方向と考えてもよい。具体的な例としては対物の光軸の軸方向である。)が含まれてもよく、可視光立体カメラ52に入る光の入射方向沿いの方向周りの周方向における撮像角度方向が含まれてもよい。この撮像角度方向は、例えば、対物の光軸の軸方向周りの可視光立体カメラ52自身の回動角度に応じて定まる。前者の光の入射方向沿いの方向のみを意味することを明らかにした方が理解しやすい場合は「撮像方向(視線方向)」と示すことがあり、後者の撮像角度方向のみを意味することを明らかにした方が理解しやすい場合は「撮像方向(周方向)」と示すことがある。特に両者を区別する必要が無い場合に単に「撮像方向」と示すことがある。
また、図6は撮像方向(周方向)が変更した場合の画像表示部110の説明図を示し、図7は従画像表示調整についての画像表示部110の説明図を示し、図8は画像表示部110における従画像表示部110bの調整についての説明図を示し、図9は従画面の表示切替えについての画像表示部110の説明図を示している。
詳述すると、図4(a)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110を示し、図4(b)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110を示し、図4(c)は立体表示された立体表示撮影画像Sの画像表示部110を示している。なお、図4(a)及び図4(b)には、立体表示される観察対象を破線で図示している。
図6(a)は撮像方向(周方向)の変更前の画像表示部110の説明図を示し、図6(b)は撮像方向(周方向)を時計回りに所定角度回転した後の画像表示部110の説明図を示し、図6(c)は撮像方向(周方向)を時計回りにさらに所定角度回転した後の画像表示部110の説明図を示している。
また、図7(a)は従画像表示部110bを調整する前の画像表示部110の説明図を示し、図7(b)は立体表示撮影画像Sの大きさを小さく調整することで従画像表示部110bの大きさを大きく調整した画像表示部110の説明図を示し、図7(c)は立体表示撮影画像Sの大きさを大きく調整することで従画像表示部110bの大きさを小さく調整した画像表示部110の説明図を示している。
また、図8(a)は立体表示撮影画像Sを立体表示する画像表示部110を示し、図8(b)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110を示し、図8(c)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110を示し、図8(d)は立体表示撮影画像Sを立体表示する画像表示部110における従画像表示部110bの大きさ調整について図示し、図8(e)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110における従画像表示部110bの大きさ調整について図示し、図8(f)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110における従画像表示部110bの大きさ調整について図示している。なお、図8(b)及び図8(c)には、立体表示される観察対象を破線で図示している。また、図8において回転数表示部121及び根管長表示部122の図示を省略している。
さらに、図9(a)は画像表示部110の説明図を示し、図9(b)乃至(d)は断面位置図Fp2及び断面位置が異なる変換断面図Fp1の説明図を示している。また、図10は、表示部51として機能するHMD510及びHUD520(頭部装着型表示部に対応)を示している。
診療システム1は、図2に示すチェアユニット2と、歯科用立体顕微鏡50(歯科用顕微鏡)とともに使用される観察システム3(図1参照)とで構成されている。
チェアユニット2は、図2に示すように、診療器具213a~213eを備えた器具台21と、施術対象である患者Mを載せて治療を行うための診療台22とで構成している。
器具台21は、診療台22にアームを介して回動可能に取付けたテーブル211の手前側に器具ホルダ212を備え、器具ホルダ212にエアータービンハンドピース、マイクロモータハンドピースなどの切削工具やスケーラ、スリーウエイシリンジ、バキュームシリンジなどで構成する診療器具213(213a~213e)を着脱可能に取付けている。
また、診療器具213は、水供給源、エア供給源やエア吸引部に接続されて駆動するが、これらの機構については公知であるため、詳細な説明は省略する。
また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
患者Mを載せる診療台22は、図2に示すように、基台221に昇降可能に載置された座部シートと、その座部シートの後方に連接された傾動可能な背板シート223と、その背板シート223の上端に連接された傾動可能なヘッドレスト224とを備え、これらを診療状況に応じた最適位置に制御するため座部シート昇降部、背板シート傾倒部、ヘッドレスト傾倒部が設けられ、フートコントローラ214によって操作制御された油圧シリンダや電動モータ等の駆動によって駆動するように構成している。
また、位置調整可能な支持アーム58によって歯科用立体顕微鏡50が支持されている。
また、この診療台22には、スピットン225及び治療用スタンドポール23が付設され、スピットン225に備えられた治療用スタンドポール23には、途中より分岐し、回動可能に突出させたアーム231を備えてられており、アーム231の先端には、後述する観察システム3の三次元位置検出部60を備えている。また、前記治療用スタンドポール23には、支持アーム58によって上下左右に移動自在とされた歯科用立体顕微鏡50が支持されている。
なお、この図では、歯科用立体顕微鏡50がスピットン225に備えられた治療用スタンドポール23に支持された支持アーム58に取り付けられる例を示したが、これに限らずに前記治療用スタンドポールが天井に取り付けられる構成としたり、治療用スタンドポールの下部にキャスターを取り付けて治療用スタンドポールが単独で移動できる構成としてもよい。
なお、スピットン225は、口腔内を濯ぐ際などに給水する給水栓と、排唾鉢とを備えている。更に、患者Mの背中又は腹部ではチェアユニット2に配設された電気系路、油圧系路又はエア系路等と接続する接続部(不図示)が設けられている。
チェアユニット2とともに診療システム1を構成する観察システム3は、図1に示すように、制御部10、記憶装置30、歯科用立体顕微鏡50、及び三次元位置検出部60で構成している。
なお、図1には、X線CT撮影装置40を診療システム1の構成として図示しているが、X線CT撮影装置40は、本発明の構成として必ずしも必要ではない。本発明の構成として必要な構成は三次元画像データ(三次元画像情報)であり、記憶装置30に当該三次元画像データが記憶されていればよい。また、この発明では、三次元画像はX線CT画像である必要はなく、他の三次元画像情報が取得できる装置による三次元画像データであってもよい。
制御部10は、CPUとROMとRAMで構成されており、以下の機能的構成を備えている。
詳述すると、制御部10には、画像生成部11、撮像方向検出部に対応する相対位置算出部12、画像処理部に対応する表示方向調整部13、表示画面生成部14、施術対象選択部15、及び施術内容選択部16を備えている。各部の機能的構成の具体的な機械的要素はプロセッサまたは回路である。プロセッサまたは回路に信号が印加されて各機能を発揮する。なお、図1では、制御部10は、歯科用立体顕微鏡50と別に構成している例が示されているが、歯科用立体顕微鏡50の中に設けてもよい。
画像生成部11は、各種画像を生成する処理部であるが、例えば、X線CT撮影装置40で取得した三次元画像情報を所定面における二次元画像に変換して平面表示変換画像Fpを生成するとともに、立体カメラに対応する可視光立体カメラ52で撮像した情報に基づいて立体表示撮影画像S(可視光画像に対応)を生成する構成である。
相対位置算出部12は、後述する三次元位置検出部60によって三次元位置を検出した歯科用立体顕微鏡50及び患者Mの三次元相対位置を算出する算出部であり、表示方向調整部13は、相対位置算出部12によって検出された三次元位置検出部60と患者Mとの三次元相対位置に基づき、後述する従画像表示部110bに表示する平面表示変換画像Fp(対応画像に対応)の表示する向きを調整する調整部である。平面表示変換画像Fpは立体表示撮影画像Sの撮像箇所に対応する部位の画像である。
表示画面生成部14は、画像生成部11で生成した立体表示撮影画像Sや平面表示変換画像Fp、あるいは表示方向調整部13で表示方向を調整した平面表示変換画像Fpに基づいて表示画面100(図3)として表示する画面表示を生成する。
施術対象選択部15は、撮像箇所に対応する施術対象部位を選択する選択部であり、例えば、図3において破線BrLで示すように、表示画面100の画像表示部110に表示される画像において施術対象部位を選択可能に画像認識することによって構成される。
施術内容選択部16は、施術対象選択部15で選択した施術対象部位に対して行う施術の内容を選択可能に構成しており、選択された施術内容に応じて、施術に有用な情報を施術対象部位における適切な表示方法で自動的に表示するように構成してもよい。
例えば、根管治療を選択する場合、図3に示すように、表示画面100にX線CT画像のみならず根管長測定画像や根管切削トルクや切削回転数を同時に表示してもよい。図3に示す例では、根管長表示部122に根管長測定画像が、回転数表示部121に切削回転数が表示されるように構成している。根管長測定画像には根管長測定値が示されている。根管長測定値は、ファイルやリーマなどの工具の先端が根尖までどれくらいの距離にあるかという値として表示される。
記憶装置30は、HDD、SSD、あるいはRAMなどで構成され、制御部10に接続されるとともに、制御部10の制御によって各種情報の格納あるいは取出しを行う記憶部であり、例えば、X線CT撮影装置40によって取得した三次元X線画像情報など、施術対象部位の三次元画像情報を記憶する三次元情報記憶部31(記憶部に対応)、患者Mの既往歴や治療情報など施術に関する情報などを少なくとも記憶する患者情報記憶部32、並びに口腔内で施術する施術内容の種類や、施術内容に応じて適する表示方法などを記憶する施術内容記憶部33を備えている。
なお、三次元情報記憶部31には、核磁気共鳴画像、超音波三次元画像、光干渉断層撮影装置、三次元口腔スキャナで取得した三次元スキャンデータ、インプラントの三次元画像情報、支台歯形成用の三次元モデル情報、あるいはそれらのstlデータ等を三次元X線画像の代わりに、あるいは三次元X線画像とともに記憶してもよい。
X線CT撮影装置40は、周知の歯科用又は医療用X線CT撮影装置が使用できる。
このようなX線CT撮影装置40は、X線コーンビームを被写体に照射し、被写体回りを旋回するX線検出部で検出することで三次元画像情報を取得することができる。
なお、X線CT撮影装置40は、取得した三次元画像情報を記憶装置30の三次元情報記憶部31に記憶するが、診療システム1や観察システム3の構成要素とせず、別途備えられてもよく、あるいはX線CT撮影装置40を備えずとも、記憶装置30の三次元情報記憶部31に三次元画像情報のみを記憶するように構成してもよい。
さらには、三次元画像情報を取得するための装置としては、核磁気共鳴画像を取得する核磁気共鳴撮影装置(MRI)、超音波三次元画像を取得する超音波診断撮影装置、光干渉三次元画像を取得する光干渉断層撮影装置、及び三次元スキャンデータを取得する三次元口腔スキャナなどをX線CT撮影装置40の代わりに、あるいはX線CT撮影装置40とともに設けられてもよい。
歯科用立体顕微鏡50は、図1及び図2に示すように、施術者が施術対象部位を観察するために歯科診療用として広く使用されている双眼タイプの顕微鏡であり、施術者の視野に対して表示画面100などを表示する表示部51(51a,51b)、表示画面100の主画像表示部110aに表示する立体表示撮影画像Sを撮影する可視光立体カメラ52(52a,52b)、ジャイロなどで構成され、歯科用立体顕微鏡50の姿勢を検出する姿勢検出部53、立体表示撮影画像Sを撮影する可視光立体カメラ52(52a,52b)の振動を吸収して撮影する画像のブレを防止するブレ防止機構54、可視光立体カメラ52(52a,52b)で撮影した立体表示撮影画像Sを鏡像反転する鏡像反転機構55、及び施術対象部を照らす照明部56、及び接眼部57(57a,57b)で構成されている。
なお、ジャイロなどで構成された姿勢検出部53、ブレ防止機構54、及び鏡像反転機構55の機構については公知であるため、詳細な説明は省略する。
なお、歯科用立体顕微鏡50は、図2に示すように、上下左右及び回転自在に支持する支持アーム58によって支持されており、患者Mに向ける面に、カメラ部52a,52bと、カメラ部52a,52bに対して直交する方向に所定間隔を隔てて配置し、LEDで構成する照明部(図示省略)とが設けられている。このように、カメラ部52a,52bで構成された可視光立体カメラ52は二眼カメラであるが、可視光立体カメラ52を立体視可能な一眼カメラで構成してもよい。
また、図2に示すように、歯科用立体顕微鏡50の施術者側の面には、施術者がのぞき込み、内部の表示部51(51a,51b)を目視できる接眼部57(57a,57b)が設けられている。
詳述すると、歯科用立体顕微鏡50の患者M側に備えられた可視光立体カメラ52は、観察対象に対して左側から左側視差画像Saを撮像する左眼用カメラ52aと、右側から右側視差画像Sbを撮像する右眼用カメラ52bとが、人の左右の目の間隔に応じた間隔で配置されている。
歯科用立体顕微鏡50の内部に配置された表示部51は、左眼用カメラ52aで撮像した左側視差画像Saを表示する左眼用表示部51aと、右眼用カメラ52bで撮像した右側視差画像Sbを表示する右眼用表示部51bとで構成されている。
歯科用立体顕微鏡50の施術者側に備えられた接眼部57は、施術者の左眼が接眼し、左眼用カメラ52aで撮像した左側視差画像Saを表示する左眼用表示部51aを視準する左接眼部57aと、右眼用カメラ52bで撮像した右側視差画像Sbを表示する右眼用表示部51bを視準する右接眼部57bとが、人の左右の目の間隔で配置されている。
なお、図2に示す施術者側の接眼部57から施術者がのぞき込んで内部に備えた表示部51(51a,51b)を見るように構成しているが、歯科用立体顕微鏡50とは別体構成した、例えば、図10(a)に示すようなヘッドマウントディスプレイ(HMD)510や、図10(b)に示すようなメガネ型のヘッドアップディスプレイ(HUD)520で表示部51(51a,51b)を構成してもよい。また、表示部としては、図2で示すチェアユニット2に付属している表示モニタ80や器具台21に設けられたモニタ81を使用して表示してもよい。
施術者の頭部に装着するHMD510は、施術者の視野に相当する表示部51(51a,51b)が備えられており、画像生成部11で生成した立体表示撮影画像Sや平面表示変換画像Fp、あるいは表示方向調整部13で表示方向を調整した平面表示変換画像Fpに基づいて表示画面生成部14によって生成された表示画面100などの表示画面情報を、非接触で制御部10から受信して表示する。
また、施術者がメガネのように装着するHUD520は、前面のグラス部分に半透過状に投影する投影機(図示省略)が表示部51(51a,51b)として機能し、表示画面生成部14によって生成された表示画面100などの表示画面情報を、非接触で制御部10から受信して半透過状に表示する構成である。
なお、HMD510やHUD520に可視光立体カメラ52(52a,52b)を備えて、HMD510やHUD520が歯科用立体顕微鏡50として機能するように構成してもよい。また、歯科用立体顕微鏡50に備えた鏡像反転機構55を制御部10に備えてもよいし、ブレ防止機構54の代わりに、ブレが生じた立体表示撮影画像Sを画像処理でブレが生じてない画像に処理する処理部を制御部10に備えてもよい。
三次元位置検出部60は、患者Mの三次元位置を検出する患者位置検出部61と、歯科用立体顕微鏡50の三次元位置を検出する顕微鏡位置検出部62とで構成されている。患者位置検出部61や顕微鏡位置検出部62は、三次元位置を検出する検出対象に設けた複数の球状の位置検出マーカ(図示省略)を視準して三次元位置を検出する構成であってもよいし、画像認識によって三次元位置を検出する画像認識位置検出機構で構成してもよい。
さらには、検出対象に反射板を設け、反射板にレーザ光線を照射して、その反射光を測定することによって、三次元位置を測定したり、反射部で反射する赤外線により位置検出する赤外線センサ検出部、あるいは電波発信機から発信された電波信号により位置検出する電波検出部で構成してもよい。
また、患者位置検出部61と顕微鏡位置検出部62とで種類の異なる検出方法の異なる三次元位置検出機構で構成してもよい。
続いて、このように構成された観察システム3において表示部51(51a,51b)に表示される表示画面100について図3とともに説明する。
表示画面100は、表示部に対応する画像表示部110、患者情報を表示する患者情報表示部130、従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140、各種操作を受ける操作部150とが表示されている。
画像表示部110は、歯科用立体顕微鏡50で撮影された立体表示撮影画像Sを表示する主画像表示部110aと、主画像表示部110aに表示された施術対象部位の三次元画像情報に基づく平面表示変換画像Fpを表示する従画像表示部110b(対応画像表示領域に対応)とで構成され、主画像表示部110aの立体表示撮影画像Sにおける施術対象部位の主要部分に対して重畳することなく、従画像表示部110bは並列表示されるように構成されている。また、画像表示部110には、主画像表示部110a及び従画像表示部110bに加え、回転数表示部121及び根管長表示部122が表示されている。
根管長表示部122には、図示のように根管長測定画像を表示してよい。例えば、図示外の根管長測定装置を診療システム1に内蔵させ、根管長測定信号が制御部10にインプットされるようにするか、外付けの根管長測定装置から根管長測定信号が制御部10にインプットされるようにしておいて、その測定信号と根管長測定画像を連動させる。具体的には、根管内に挿入されるファイルやリーマなどの工具の先端の根尖に対する位置を表示可能とする。例えば、図示のように、根尖をAPで示し、工具先端位置をセグメントで発光表示し、根尖までの距離を数値で示すようにする。
なお、図3に図示する従画像表示部110bの平面表示変換画像Fpは、施術対象部位の断面図を示すFp1と、当該断面図の断面位置を示すFp2とで構成している。さらに、変換断面図Fp1は、断面位置が異なる変換断面図Fp1a乃至Fp1cが表示されている。
また、立体表示撮影画像Sと、変換断面図Fp1及び断面位置図Fp2は、図3、4、6~9に示すように、視準軸CLが平行になるように表示している。なお、視準軸CLは表示しても表示しなくてもよい。
このように立体表示撮影画像Sと、変換断面図Fp1とは撮像方向(視線方向)を合わせて、且つ撮像方向(視線方向)周りの角度、すなわち撮像方向(周方向)が同一角度となるように表示されている。
ここで、撮像方向(周方向)に対応する立体表示撮影画像Sや変換断面図Fp1の表示の周方向の角度を周方向表示角度と呼ぶこととし、そのような周方向表示角度に係る表示を周方向表示と呼ぶこととすると、立体表示撮影画像Sと変換断面図Fp1との周方向表示角度と周方向表示とが一致している。
すなわちここでは視準軸CLが平行になるように表示している。これによって、立体表示撮影画像Sと、変換断面図Fp1は同一部位について視線方向を合わせた体裁で平面表示することができる。また、断面位置図Fp2は、指定した歯牙の三次元X線画像のボリューム画像の側面図を示し、視線方向に対して平行な画像であって歯軸方向のボリューム画像を示す。なお、断面位置図Fp2の画像としては、ここではボリューム画像の側面図を示したが、この他にボリューム画像に代えて断面画像を表示してもよい。
また、断面位置図Fp2には、軸方向に所定間隔を空けた複数の直線(表示位置ライン181)が表示され、この複数の直線が変換断面図Fp1で示す断面の位置を示す。変換断面図Fp1は、視準軸CLに沿った深さ方向の異なる断面の平面である変換断面図Fp1a,Fp1b,Fp1cを示しており、切削工具で切削していく場合に根管等の断面が変化していく様子を描きながら施術を進めることができる。
このように主画像表示部110aと従画像表示部110bとで構成される画像表示部110における立体表示撮影画像Sと平面表示変換画像Fpについて図4に基づいて詳細に説明する。
画像表示部110は、左眼用表示部51aと右眼用表示部51bとを備える。
図4(c)に示すように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Sa(図4(a)参照)を、左接眼部57aを介して施術者が左眼で視準し、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sb(図4(b)参照)を、右接眼部57bを介して施術者が右眼で視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
詳しくは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Saは、概念的に、図4(a)において破線で示す立体表示される場合に比べて例えば左側に表示され、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sbは、概念的に、図4(b)において破線で示す立体表示される場合に比べて例えば右側に表示されるようにする。この左側視差画像Saと右側視差画像Sbのように、左からの見え方と右からの見え方との差(これを視差という)を有する左側視差画像Saと右側視差画像Sbとをそれぞれ左眼と右眼とで独立して視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
男女差、個体差などはあるが、両目の瞳孔と瞳孔の間の距離は概ね60mm~70mm程度であり、平均的には62mm~64mm程度である。このため、同じ物体を視認するのに左目と右目で角度差がある。このような視方向の角度差を視差(両眼視差)とする。
左側視差画像Saと右側視差画像Sbとが視差のついた画像であれば、上述のように双方とも、図4(a)、図4(b)において破線で示す位置に表示してもよい。厳密に両眼視差と同じ角度でなくとも、右から見た、左から見たという差があれば、多少の角度差はあってもよい。この点は後述の図8についても同様である。
左眼用表示部51aと右眼用表示部51bとは、最終的には左側視差画像Saが左目の視界に入り、右側視差画像Sbが右目の視界に入る光学要素に連なっている、または光学経路にある。これにより、左側視差画像Saと右側視差画像Sbは、施術者にとっては、さらに詳しくは施術者の脳内認識としては、右と左に分かれて見える像ではなく、立体的に結像して、図4(c)に示される1つの立体表示撮影画像Sのように見える。
主画像表示部110aは機械的には図4(a)、図4(b)に示される左側視差画像Sa、右側視差画像Sbを個別に表示するが、施術者の脳はそれらを図4(c)に示されるような立体表示撮影画像Sとして認識する。これにより、施術者の脳は図3に示されるような状態の画像表示部110を認識する。このように、立体的な脳内認識をさせる立体表示撮影画像Sのような画像を主観的立体表示撮影画像と考えてもよいし、このような主観的立体表示撮影画像を表示する画像表示部を主観的画像表示部と考えてもよい。
なお、左側視差画像Saと右側視差画像Sbとで施術対象部位の位置が異なる場合のみならず、可視光立体カメラ52と施術対象部位との位置関係によっては、大きさが異なる場合や、位置と大きさの両方が異なる場合もある。
これに対し、従画像表示部110bに表示される平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて同じ位置及び同じ大きさで表示されるため、左眼用表示部51a及び右眼用表示部51bをそれぞれ左眼と右眼とで独立して視準しても、施術者は平面表示変換画像Fpを平面的に視認することとなる。また、平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて左右の視差の無い左目右目に対して共通の画像として表示される。
なお、このように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sと従画像表示部110bに平面表示される平面表示変換画像Fpとは、左眼用表示部51aと右眼用表示部51bとで位置や大きさが異なる左側視差画像Sa及び右側視差画像Sbにおける施術対象部位と、平面表示される平面表示変換画像Fpとの相対位置が異なることとなる。
患者情報を表示する患者情報表示部130は、表示画面100における画像表示部110の下方において、患者Mの患者番号、患者の氏名、性別、年齢等を表示している。
従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140は、表示画面100における従画像表示部110bの下方において、従画像表示部110bに表示された施術対象部位の平面表示変換画像Fpの基となる三次元画像情報の種類やそのデータ管理番号を表示している。
各種操作を受ける操作部150は、表示画面100における右側に表示され、上から順に、従画面自動調整操作ボタン151、従画面移動調整操作ボタン152、従画面サイズ調整操作ボタン153、従画面表示箇所変更操作ボタン154、従画面表示方法変更操作ボタン155、従画面表示方向変更操作ボタン156、従画面表示データ変更操作ボタン157、主従画面同期チェックボックス158、
施術対象選択操作ボタン159、施術内容選択操作ボタン160、患者変更操作ボタン161、及びキャリブレーション操作ボタン162で構成されている。
従画面自動調整操作ボタン151は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する大きさ及び位置のうち少なくとも一方などを、歯科用立体顕微鏡50による撮像方向が変化した際や施術内容に応じて自動に調整することを指示する操作ボタンである。
領域調整部に対応する従画面移動調整操作ボタン152は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する位置を手動調整する際に押下する操作ボタンである。
領域調整部に対応する従画面サイズ調整操作ボタン153は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する大きさを手動調整する際に押下するする操作ボタンである。
従画面表示箇所変更操作ボタン154は、平面表示変換画像Fpとして従画像表示部110bに表示する施術対象部位の断面図の断面位置を変更する際に押下する操作ボタンである。この従画面表示箇所変更操作ボタン154を操作することで、断層位置が異なる変換断面図Fp1a,Fp1b,Fp1cの各断層画像を従画像表示部110bに表示することができる。
表示切換操作部に対応する従画面表示方法変更操作ボタン155は、従画像表示部110bに表示する平面表示変換画像Fpの表示方法を、例えば、外観図、横断面図、縦断面図、フレーム表示などの表示方法や、あるいは平面表示変換画像Fpの代わりに患者Mの患者情報を表示するように変更する際に押下する操作ボタンである。
表示方向変更操作部に対応する従画面表示方向変更操作ボタン156は、従画像表示部110bに表示する平面表示変換画像Fpの表示方向を変更する際に押下する操作ボタンである。
従画面表示データ変更操作ボタン157は、平面表示変換画像Fpとして従画像表示部110bに表示する平面表示変換画像Fpの基となる施術対象部位の三次元画像情報の種類を変更する際に押下する操作ボタンである。
表示方向リセット操作部に対応する主従画面同期チェックボックス158は、歯科用立体顕微鏡50による撮像方向(視線方向)、撮像方向(視線方向)周りの角度すなわち撮像方向(周方向)、さらには拡大率などが変化した際に、従画像表示部110bに表示する平面表示変換画像Fpの表示方向、撮像方向(視線方向)周りの角度、さらには拡大率も同期させて変化させることを指示するチェックボックスである。
施術対象選択操作ボタン159は、主画像表示部110aに表示される立体表示撮影画像Sにおいて施術対象となる部位を選択する際に押下する操作ボタンである。
施術内容選択操作ボタン160は、施術内容を選択する際に押下する操作ボタンである。
患者変更操作ボタン161は、新たな患者Mに対して施術を行う際に、これまでの患者Mの情報から変更する際に押下する操作ボタンである。
キャリブレーション操作ボタン162は、歯科用立体顕微鏡50と患者Mとの三次元相対位置を検出する際や、施術途中であっても三次元相対位置を再検出する際に押下する操作ボタンである。
なお、このように構成された表示画面100には、図3において矢印アイコンで示すようなカーソル163が表示されており、カーソル163は、フートコントローラ214の踏み込みやゼスチャー操作、タッチパネル操作などによって操作入力されるように構成されている。
このように構成された観察システム3を備えた診療システム1を用いた診療方法及び観察方法(歯科用画像の表示方法)について図5に示すフローチャートに沿って説明する。
まず、施術者は、表示画面生成部14によって生成され、表示部51(51a,51b)に表示される表示画面100の患者変更操作ボタン161を押下して、施術する患者Mを選択する(ステップs1)。患者Mが選択されると、制御部10は記憶装置30の患者情報記憶部32に記憶した患者情報を呼び出し、患者情報表示部130に表示する。
続いて、施術者は、従画面表示データ変更操作ボタン157を押下して従画像表示部110bに表示する平面表示変換画像Fpの基となる三次元画像情報の種類を選択する(ステップs2)。三次元画像情報の種類が選択されると、制御部10は、選択された患者Mに関連付けられた三次元画像情報を三次元情報記憶部31から読み込む(ステップs3)。
このようにして、施術の前準備が行われると、制御部10は、三次元位置検出部60を制御して施術者と患者Mの三次元位置を検出する。詳しくは、制御部10は、顕微鏡位置検出部62を制御して歯科用立体顕微鏡50の三次元位置を検出するとともに(ステップs4)、患者位置検出部61を制御して患者Mの三次元位置を検出する(ステップs5)。
三次元位置検出部60によって歯科用立体顕微鏡50と患者Mの三次元位置が検出されると、制御部10は、相対位置算出部12によって、歯科用立体顕微鏡50と患者Mの三次元相対位置を検出する(ステップs6)。このとき、歯科用立体顕微鏡50の撮像方向を顕微鏡位置検出部62による位置検出によって検出してもよいし、歯科用立体顕微鏡50に備えた姿勢検出部53によって検出してもよい。これにより、患者Mに対する歯科用立体顕微鏡50の三次元相対位置のみならず、患者Mに対する歯科用立体顕微鏡50の撮像方向も正確に検出することができる。
なお、顕微鏡位置検出部62で検出される撮像方向には、可視光立体カメラ52に入る光の入射方向沿いの方向が含まれてよく、可視光立体カメラ52に入る光の入射方向沿いの方向(視線方向)周りの周方向における撮像角度方向、すなわち撮像方向(周方向)が含まれてよい。
このようにして、患者Mに対する歯科用立体顕微鏡50の三次元相対位置が検出されると、歯科用立体顕微鏡50の可視光立体カメラ52(52a,52b)によって撮像された可視光画像情報に基づいて画像生成部11が立体表示撮影画像Sを生成して主画像表示部110aに表示する(ステップs7)。
さらに、施術対象選択操作ボタン159が押下されると、制御部10は、主画像表示部110aに表示される立体表示撮影画像Sに対して画像認識によって施術対象部位となりうる箇所を図3の主画像表示部110aにおいて立体表示撮影画像S上に破線BrLで図示するように選択可能に表示したり(ステップs8)、カーソル163を用いて施術対象部位を立体表示撮影画像S上で選択して、施術対象部位が選択されると(ステップs9)、三次元情報記憶部31から読み込まれた三次元画像情報に基づいて、画像生成部11が平面表示変換画像Fpを生成して従画像表示部110bに表示する(ステップs10)。
次に、選択された施術対象部位に対して施す施術内容を選択すべく施術内容選択操作ボタン160が押下されると、図示省略するが、施術対象部位に対して施すことができる施術内容のリストが例えばプルダウン表示として選択可能に表示され(ステップs11)、その中から施術内容を選択する(ステップs12)。なお、施術内容の選択は、例えば、施術内容により適した平面表示変換画像Fpを制御部10の制御によって自動的に従画像表示部110bに表示するために選択するものであって、施術内容を選択しなくてもよく、あるいは選択できないように構成されていてもよい。
なお、本実施形態では、臼歯に対して、天蓋部分を切削し、歯牙内部の根管口を露出させるとともに、根管尖までファイルやリーマで切削し、根管の病変を治療する根管治療を選択したとする。
まず、治療開始時において、図6(a)に示すように、施術対象部位である臼歯において歯肉から露出している歯冠の噛合面方向からの外観形状が立体表示撮影画像Sとして主画像表示部110aに表示される。しかし、選択された根管治療では、外観上現れない臼歯内部の根管口の位置や根管の形状が非常に重要となるため、X線CT撮影装置40で取得したX線三次元画像情報に基づく平面表示変換画像Fpを従画像表示部110bに表示する。
そして、治療中に、歯科用立体顕微鏡50の向きや位置が変化すると、つまり顕微鏡位置検出部62や姿勢検出部53によって歯科用立体顕微鏡50の移動を検出し(ステップs13:Yes)、表示画面100における主従画面同期チェックボックス158がチェックされていると(ステップs14:Yes)、制御部10は表示方向調整部13によって、歯科用立体顕微鏡50の移動に同期して、従画像表示部110bに表示する平面表示変換画像Fpにおける変換断面図Fp1の表示方向が顕微鏡の撮像画像と平行になるように、つまり視準軸CLが平行となるように、かつ撮像軸周りの角度が同一になるようにして、拡大率を調整し、表示方向調整部13によって表示方向が調整された変換断面図Fp1を表示画面生成部14によって生成して、従画像表示部110bに表示する(ステップs19)。
具体的には、歯科用立体顕微鏡50は支持アーム58に対して対物の光軸の軸周りに回動可能となっており、図6(b)に示すように、施術対象部位に対する歯科用立体顕微鏡50の向きを時計回りに所定角度回転移動させると、その向きに応じた立体表示撮影画像Sが表示画面100aに表示されるとともに、同期して、従画像表示部110bに表示された変換断面図Fp1の向きも時計回りに所定角度変更された向きで表示される。なお、対物の光軸の軸方向は撮像方向(視線方向)と方位的に一致するものとする。
また、図6(c)に示すように、施術対象部位に対する歯科用立体顕微鏡50の向きを時計回りにさらに所定角度回転移動させると、その向きに応じた立体表示撮影画像Sが表示画面100aに表示されるとともに、同期して、従画像表示部110bに表示された平面表示変換画像Fpの向きも時計回りにさらに所定角度変更された向きで表示される。なお、反時計回りに回転させてもよい。
図6(a)~(c)を通して説明される撮像方向(周方向)の変更は、歯科用立体顕微鏡50を対物の光軸の軸周りに回動させる移動の例として示される。対物の光軸の軸周りの角度は撮像方向(視線方向)周りの角度の具体例であり、これらの角度は例えば立体表示撮影画像Sと平面表示変換画像Fp1の上の視準軸CLの伸延する方向で視認することができる。
これにより、歯科用立体顕微鏡50の位置を移動させるだけで、従画像表示部110bに表示される平面表示変換画像Fpの向きも同期して変化するため、一方向からだけでは観察できなかった、歯肉に埋もれた歯根部分の形状なども確認することができる。
通常、立体表示撮影画像Sと平面表示変換画像Fpは同期した状態で観察したいであろうから、チェックボックス158はデフォルトでチェックされているようにしてもよい。
なお、歯科用立体顕微鏡50の移動が検出されない場合(ステップs13:No)や、歯科用立体顕微鏡50の移動が検出されても主従画面同期チェックボックス158がチェックされていなければ、従画像表示部110bに表示された平面表示変換画像Fpは変化しない。また、主従画面同期チェックボックス158がチェックされていない状態で従画面表示方向変更操作ボタン156が押下され、従画像表示部110bに表示された平面表示変換画像Fpの表示方向を調整する操作がされると(ステップs16:Yes)、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更させて表示することができる。
ここで、主従画面を同期させる構成例について説明する。三次元画像情報に、座標情報を付加して、平面表示変換画像Fpの表示に利用するようにすると好適である。
例えば、三次元画像情報がX線CT撮影装置40で得たものであるとする。X線CT撮影装置40には通常X線CT撮影時に被験者を固定する固定部が備えられている。X線発生器とX線検出器と固定部との空間的位置関係は算出できるので、固定部に固定される患者Mのような撮影対象者の被撮影部位の空間的座標情報も算出できる。
例えば、X線CT撮影装置40が設置される空間に、座標演算上、右手系のXYZ直交座標を設定する。撮影対象者の頭部の上下方向を「Z軸方向」とし、このZ軸に交差する方向を「X軸方向」とし、さらにX軸方向及びZ軸方向に交差する方向を「Y軸方向」とする。X軸及びY軸方向は任意に定め得るが、ここでは、撮影対象者の左右の方向をX軸方向とし、前後の方向をY軸方向と定義する。今、撮影対象者から見て、右手方向を(+X)方向、正面方向を(+Y)方向、鉛直方向上向きを(+Z)方向とするものとする。三次元画像情報に、被撮影部位の3次元位置、向きなどの座標情報を付加する。
一方、診療台22が設置される空間にも、座標演算上、右手系のXYZ直交座標を設定することができる。例えば、背板シート223やヘッドレスト224などの施術対象者保持部の空間的位置は算出できるので、ここに載る施術対象者の被施術部位の空間的座標情報も算出できる。特に、ヘッドレスト224は施術対象者の頭部の保持部であり、歯列弓位置の特定のために重要である。
例えば、施術対象者の頭部の上下方向を「Z軸方向」とし、このZ軸に交差する方向を「X軸方向」とし、さらにX軸方向及びZ軸方向に交差する方向を「Y軸方向」とする。X軸及びY軸方向は任意に定め得るが、ここでは、着座した施術対象者の左右の方向をX軸方向とし、前後の方向をY軸方向と定義する。本実施形態では、施術対象者から見て、右手方向を(+X)方向、正面方向を(+Y)方向、鉛直方向上向きを(+Z)方向とするものとする。
撮影対象者と施術対象者が同一人物であるなら、座標演算のプログラムによってX線CT撮影装置40のXYZ直交座標と診療台22のXYZ直交座標とを対応させ、歯科用立体顕微鏡50で観察される部位との位置合わせをすることができる。こうして、歯科用立体顕微鏡50の回転移動に平面表示変換画像Fpの表示方向の変更を連動させることができる。
また、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更した後、主従画面同期チェックボックス158がチェックされると(ステップs17)、従画像表示部110bに表示された平面表示変換画像Fpの表示方向は、主画像表示部110aに表示された立体表示撮影画像Sの表示方向と合う方向、つまり変更前の向きに戻る(ステップs18)。
なお、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更している間に歯科用立体顕微鏡50の撮像方向が変化している場合では、主従画面同期チェックボックス158のチェックによって、従画像表示部110bに表示された平面表示変換画像Fpの表示方向は、方向変更前の表示方向に戻らず、撮像方向が変化した歯科用立体顕微鏡50の撮像方向に応じた表示方向で表示されることとなる。
次に、施術中に、主画像表示部110aと並列表示された従画像表示部110bの表示を手動調整する場合について説明する。
例えば、表示画面100における従画面サイズ調整操作ボタン153が押下されると(ステップs20:Yes)、図7(a)に示すように、カーソル163で従画像表示部110bの角部をドラッグすることで、図7(b)に示すように、主画像表示部110aに表示する立体表示撮影画像Sに対する従画像表示部110bの大きさを調整することができる(ステップs21)。
また、主画像表示部110aに表示する立体表示撮影画像Sの拡大率を変化した際などにおいて、主画像表示部110aに表示される立体表示撮影画像Sの施術対象部位と、平面表示変換画像Fpを表示する従画像表示部110bとが重畳表示される可能性があるため、従画面移動調整操作ボタン152が押下され(ステップs20)、カーソル163で従画像表示部110bをドラッグすることで、図7(b)に示すように、主画像表示部110aに表示する立体表示撮影画像Sに対する従画像表示部110bの大きさを大きく調整したり、図7(c)に示すように、従画像表示部110bの大きさを小さく調整したりすることができる(ステップs21)。
このように主画像表示部110aに対する従画像表示部110bの調整について、図8に基づいて、従画像表示部110bの大きさ調整を具体例として詳細に説明する。
図8(a)に示すように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Sa(図8(b)参照)を、左接眼部57aを介して施術者が左眼で視準し、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sb(図8(c)参照)を、右接眼部57bを介して施術者が右眼で視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
詳しくは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Saは、概念的に、図8(b)において破線で示す立体表示される場合に比べて例えば左側に表示され、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sbは、概念的に、図8(c)において破線で示す立体表示される場合に比べて例えば右側に表示される。これに対し、従画像表示部110bに表示される平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて同じ位置及び同じ大きさで表示されるため、主画像表示部110aにおいて立体表示される立体表示撮影画像Sと従画像表示部110bに平面表示される平面表示変換画像Fpとは、左眼用表示部51aと右眼用表示部51bとで位置や大きさが異なる左側視差画像Sa及び右側視差画像Sbにおける施術対象部位と、平面表示される平面表示変換画像Fpとの相対位置が異なっている。
そのため、図8(d)に示すような、従画像表示部110bに表示される立体表示撮影画像Sを立体的に視認する施術者によって、従画像表示部110bの角を移動距離Lでドラッグして従画像表示部110bを拡大させる操作を行った場合において、図8(f)に図示するように、大きさ調整前の従画像表示部110bの角部と施術対象部位との距離が、立体的に視認された状態における大きさ調整前の従画像表示部110bの角部と施術対象部位との距離より長い右側視差画像Sbにおいては、移動距離Lに応じて従画像表示部110bを拡大しても、主画像表示部110aにおける施術対象部位と従画像表示部110bとが重複することはない。
これに対し、図8(e)に図示するように、大きさ調整前の従画像表示部110bの角部と施術対象部位との距離が、立体的に視認された状態における大きさ調整前の従画像表示部110bの角部と施術対象部位との距離より短い左側視差画像Saにおいては、移動距離Lに応じて従画像表示部110bを拡大すると、主画像表示部110aにおける施術対象部位と従画像表示部110bとが重複することとなる。
そこで、制御部10は、左側視差画像Saと右側視差画像Sbにおける大きさ調整前の従画像表示部110bの角部と施術対象部位との距離を比較し、比較結果が短い距離に基づいて、立体的に視認された立体表示撮影画像Sに対するドラッグ操作の移動距離Lを換算し、例えば、図8(e)に示すように、移動距離Lより短い移動距離Laでドラッグ操作が行われたとして、従画像表示部110bの大きさ調整を行うように制御することとなる。
なお、上述の説明では、従画像表示部110bの大きさ調整について説明したが、位置調整でも同様の調整処理を制御部10によって行うこととなる。
また、上述の従画像表示部110bの大きさ及び位置のうち少なくとも一方調整については、従画面自動調整操作ボタン151が押下操作されていれば、制御部10の制御によって自動的に従画像表示部110bの大きさ及び位置のうち少なくとも一方を調整することができる。
さらには、図6、図7では、従画像表示部110bに施術対象部位の外観図を平面表示変換画像Fpとして表示していたが、図9に図示するように、施術対象部位の断面図を平面表示変換画像Fpとして従画像表示部110bに表示するために、従画面表示方法変更操作ボタン155が押下されると、外観図をはじめとする、横断面図、縦断面図、任意方向断面図、フレーム図あるいは数値表字などの各種表示方法がリスト化されたプルダウン表示(図示省略)が表示され、その中から所望の表示方法が選択されると(ステップs20:Yes)、選択された表示方法の平面表示変換画像Fpが従画像表示部110bに表示される(ステップs21)。
具体的には、従画面表示方法変更操作ボタン155が押下され、表示方法がリスト化されたプルダウン表示(図示省略)の中から横断面表示を選択すると、図9(a)に示すように、従画像表示部110bには、施術対象部位の横断面図が平面表示変換画像Fpとして表示される。なお、任意方向断面図が選択された場合は、断面の方向を指定するポップアップ表示(図示省略)によって、従画像表示部110bに表示する平面表示変換画像Fpの断面方向を指定することができる。図示のように従画像表示部110bに断面指定の準備のできた画像を断面位置指定表示画面180として用いてよい。
また、このように、従画像表示部110bに横断面図や縦断面図、あるいは任意方向断面図が表示された状態において、従画面表示箇所変更操作ボタン154が押下され、断面位置図Fp2における表示位置ライン181を選択してクリックすることで断面位置を指定すると、図9(b)乃至(d)に示すように、指定された視準軸CLに沿って視準軸CLに直交する歯根の深さの異なる位置での表示位置ライン181に対応する変換断面図Fp1が従画像表示部110bに表示されることとなる。
したがって、図9(a)に示す画像表示部110の従画像表示部110bには、図9(b)に示すように、一番上の表示位置ライン181aが選択されると、一番上の表示位置ライン181aに対応する横断面図、つまり平面表示変換画像Fp1aが表示され、図9(c)に示すように、上から二番目の表示位置ライン181bが選択されると、平面表示変換画像Fp1bが表示され、図9(d)に示すように、上から三番目の表示位置ライン181cが選択されると、平面表示変換画像Fp1cが表示されることとなる。
もちろん、このようにいずれの断面の断面図が従画像表示部110bに表示されている場合であっても、歯科用立体顕微鏡50の移動が検出されると、主画像表示部110aに表示される立体表示撮影画像Sの表示の変化に同期して、従画像表示部110bに表示される断面図である平面表示変換画像Fpも変化するようにしてもよいことは言うまでもない。
また、断面位置指定表示画面180を表示せずとも、従画像表示部110bに表示する断面図として表示する平面表示変換画像Fpの断面位置を、施術内容に応じて、制御部10の制御によって、適宜変化させるように構成してもよい。
表示位置ライン181で示される断面の設定はさまざまになされうる。例えば、複数の断面間の間隔を広または狭に変更してもよいし、断面の数を多にしても小(1を含む)にしてもよい。任意位置の設定が受け付けられるようにしてもよい。
断面を複数設定する構成一般についてであるが、予め定まった数の断面を配置準備してもよいが、並びの方向にスライド操作または位置指定操作を受け付け可能に構成し、任意位置の設定ができるようにしてよい。
なお、このフローを施術が終わるまで繰り返し(ステップs22:No)、施術の終了に伴ってこのフローも完了する(ステップs22:Yes)。
図3に戻り、視準軸CLについて説明する。断面位置図Fp2については、視準軸CLを適用しなくともよい。図14(a)に断面位置図Fp3で示すように、変換断面図Fp1の視準軸CLを断面の指定線として利用してもよい。変換断面図Fp1に表示される視準軸CLは、例えば平面視でX-Y平面に設定される軸である。
断面位置図Fp3については、対象歯が、歯軸が画面の上下方向と平行な方向になるように表示される。視準軸CLがZ方向に広がった面が指定断面となり、その断面の図が表示される。表示位置ライン181も表示してよい。必ずしも視準軸CLを利用せずとも、変換断面図Fp1に対して断面指定線の設定操作を受け付けられるようにしてもよい。
なお、図14(a)においては断面位置図Fp2の代わりに断面位置図Fp3を表示するように構成したが、断面位置図Fp2と断面位置図Fp3とを併記するように構成してもよいし、断面位置図Fp2と断面位置図Fp3とを表示切り替えするように構成してもよい。また、図14(b)に断面位置図Fp4で示すように、さらに撮像方向(視線方向)を示す指標SDが表示されるようにしてもよい。
視準軸CLの設定例を述べる。平面視で歯列が並ぶ方向で概ね各歯の頬舌方向中央を横断する方向に設定してもよいし、歯列弓全体であれば概ね各歯の頬舌方向中央を横断する略馬蹄形状の視準軸を設定してもよい。
他の方向を視準軸CLとしてもよい。他の方向を視準軸とする設定例としては、変換断面図Fp1に対して任意の軸の設定操作が受け付けられるようにしてもよいし、X-Y平面上に、X方向、Y方向、X方向とY方向を合成した方向などのデフォルトの方向が設定されるようにしておいてもよい。
視準軸CLを立体表示撮影画像Sにも変換断面図Fp1にも表示することで、立体表示撮影画像Sと変換断面図Fp1が同期していてもいなくとも方向の見当がつけやすくなる。
このように、視準軸CLを立体表示撮影画像Sと変換断面図Fp1に共通する方向を示す視認用指標として用いる。視準軸CLは、好ましくは立体表示撮影画像Sと変換断面図Fp1とで部位的に共通の位置に設定する。
このように診療システム1に備えた観察システム3、及び観察システム3を用いた立体表示撮影画像Sの表示方法は、口腔領域における所望の施術対象部位の立体表示撮影画像Sを立体撮像する可視光立体カメラ52(52a,52b)と、施術対象部位に対する可視光立体カメラ52(52a,52b)の撮像方向を検出する相対位置算出部12と、予め取得した口腔領域に関する三次元画像情報を記憶する三次元情報記憶部31と、可視光立体カメラ52(52a,52b)で撮像した立体表示撮影画像Sと、施術対象部位に対応する三次元画像情報に基づく平面表示変換画像Fpとを並べて表示する画像表示部110と、相対位置算出部12で検出した撮像方向を基準とした所定の方向の平面表示変換画像Fpを画像表示部110に表示する表示方向調整部13とが備えられているため、可視光立体カメラ52(52a,52b)で撮像した口腔領域における所望の施術対象部位の立体表示撮影画像Sと、予め取得した口腔領域における所望の施術対象部位の三次元画像情報とを重畳表示させることなく、立体表示撮影画像Sにおける不可視部分を容易に認識することができる。
詳述すると、口腔領域における所望の施術対象部位の立体表示撮影画像Sを立体撮像する可視光立体カメラ52(52a,52b)の施術対象部位に対する撮像方向を検出し、可視光立体カメラ52(52a,52b)で撮像した立体表示撮影画像Sと、三次元情報記憶部31に記憶した予め取得し、施術対象部位に対応する三次元画像情報に基づく平面表示変換画像Fpとを画像表示部110に並べて表示するとともに、相対位置算出部12で検出した撮像方向を基準とした所定の方向の平面表示変換画像Fpを表示することができる。
したがって、例えば、施術対象箇所の立体表示撮影画像Sに三次元画像情報に基づく平面表示変換画像Fpを重畳表示させることなく、施術対象箇所の立体表示撮影画像Sの撮像方向の平面表示変換画像Fpを立体表示撮影画像Sと並列表示することができ、また、立体表示撮影画像Sと対応する向きで平面表示変換画像Fpを表示できるため、施術者は、不可視部分を並列表示する平面表示変換画像Fpを確認しながら、施術箇所が明確に表れた立体表示撮影画像Sを見ながら安全かつ正確に施術することができる。
また、平面表示変換画像Fpの表示方向の変更を操作する従画面表示方向変更操作ボタン156と、表示方向を変更した平面表示変換画像Fpを撮像方向に応じた方向に戻す操作を行う主従画面同期チェックボックス158とが備えられているため、施術者は、施術に応じて、平面表示変換画像Fpの表示方向のみを従画面表示方向変更操作ボタン156で調整することができる。また、平面表示変換画像Fpの表示方向を変更した後であっても、主従画面同期チェックボックス158を操作することで、表示方向を調整した平面表示変換画像Fpの表示方向を、微調整することなく、立体表示撮影画像Sの撮像方向に合わせて表示することができる。
また、平面表示変換画像Fpの表示方向を従画面表示方向変更操作ボタン156で調整した後、歯科用立体顕微鏡50の撮像方向を調整した場合であっても、調整された歯科用立体顕微鏡50の撮像方向に、表示方向が調整された平面表示変換画像Fpの表示方向が合うため、表示方向を調整した平面表示変換画像Fpを、撮像方向が調整された歯科用立体顕微鏡50の撮像方向に手動で微調整しながら合わせる場合に比べ、利便性や操作性を向上させることができる。
また、三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成することで、例えば、施術内容や患者に適した種類の三次元画像を三次元画像情報として用いることができる。
また、表示方向調整部13に、三次元画像情報に基づいて撮像方向(視線方向)に対して直交する横断方向断面図、撮像方向(視線方向)に沿う縦断方向断面図、あるいは撮像方向(視線方向)に対して任意の方向の断面画像を平面表示変換画像Fpとして表示することで、施術対象部位における不可視部分をより容易且つ正確に断面図によって認識することができ、より安全かつ正確な施術を行うことができる。
また、表示方向調整部13に、断面画像の撮像方向(視線方向)に基づく方向における断面位置を調整する断面位置指定表示画面180が備えられているため、撮像対象における所望の断面位置での不可視部分の断面図を画像表示部110に表示できるため、不可視部分における関心対象部分をさらに容易且つ正確に認識することができ、さらに安全かつ正確な施術を行うことができる。
また、画像表示部110に、平面表示変換画像Fpが表示される従画像表示部110bが設けられ、画像表示部110における従画像表示部110bの大きさ及び位置のうち少なくとも一方を調整する従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153が設けられているため、例えば、撮像対応箇所の大きさや施術内容等に応じて、平面表示変換画像Fpが表示される従画像表示部110bをより視認しやすい位置に位置調整したり、従画像表示部110bを大きくしたり、小さくしたりでき、主画像表示部110aに表示する立体表示撮影画像Sの主要部と平面表示変換画像Fpが表示された従画像表示部110bとが重畳表示されることなく、施術者の細やかな要望に対応して、施術者の満足度を向上させることができる。
また、左右それぞれの視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとの相対位置が異なることとなり、従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153による従画像表示部110bの調整において、一方の視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとが重複しなくても、他方の視差画像Sa,Sbでは施術対象部位と従画像表示部110bとが重複するおそれがあるが、従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153による従画像表示部110bの調整が、立体表示撮影画像Sに対応する左右の視差画像Sa,Sbにおける選択された施術対象部位と従画像表示部110bとの相対位置関係に基づき、左右それぞれの視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとが重畳しないように調整されるため、立体表示される施術対象部位と平面表示される従画像表示部110bとが重複することなく、並列表示することができる。
また、平面表示変換画像Fpの表示方法を切り替える従画面表示方法変更操作ボタン155が備えられているため、例えば、平面表示変換画像Fpとして、断面図やボリュームデータ、あるいは数値データなど、施術に適した表示を平面表示変換画像Fpとして表示することができる。
また、平面表示変換画像Fpの代わりに、歯科診療データを画像表示部110に表示することで、例えば、過去の施術内容など歯科診療データを確認しながら、より精度の高い施術を行うことができる。なお、画像表示部110において、平面表示変換画像Fpとともに、歯科診療データを表示してもよい。
また、画像表示部110が、施術者の頭部に装着するHMD510,HUD520の表示部51(51a,51b)に表示されるように構成された場合や、可視光立体カメラ52(52a,52b)を、一対構成のカメラ部52a,52bで構成し、チェアユニット2のヘッドレスト224から伸びる支持アーム58に位置変更自在に保持しているため、施術者は、施術内容や好みに応じて、より適切な仕様に応じたデバイスを用いて施術することができる。
また、可視光立体カメラ52(52a,52b)に、ブレを防止するためのブレ防止機構54が備えられているため、より鮮明な立体表示撮影画像Sを見ながら施術することができる。
また、可視光立体カメラ52(52a,52b)に、立体表示撮影画像Sを鏡像反転させる鏡像反転機構55が備えられているため、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した立体表示撮影画像Sを見ながら施術することができる。
また、X線CT画像等の三次元画像情報についてもデンタルミラーの使用時には、制御部10に図示していない三次元画像の鏡像反転部を設けることで、三次元画像を鏡像反転させて表示してもよい。また、必要に応じて、この三次元画像を術者が認識しやすい方向に回転して表示してもよい。
図12に、観察方向を変更したときの例を示す。図12(a)に示すように、位置PS1にある歯科用立体顕微鏡50により歯THを対物の光軸SV1に沿って観察する。図示の状態では光軸SV1の軸方向と歯THの歯軸の軸方向とは概ね一致している。
この状態から歯科用立体顕微鏡50を位置PS2に移動させ、歯THを光軸SV1と角度θα分の開きのある対物の光軸SV2に沿って観察するとする。歯THに対して表示位置ライン181で示される断面が設定されている。この断面は光軸SV1に直交する断面として設定され、表示位置ライン181沿いの変換断面図Fp1は図12(c)に示すように表示される。
対物の光軸SV2については、図12(b)に示すように、光軸SV2に直交する、表示位置ライン181で示される断面が設定されるが、断面位置を光軸SV1に直交する断面の位置のままとしてもよい。
この場合、光軸SV2に沿った視線方向からこの断面を見ると、歯科用立体顕微鏡50が傾いた方向に視覚上の圧縮が起こるので、これに合わせた変換断面図Fp1を図12(d)に示すように表示する。
撮像方向(周方向)の変更と変換断面図Fp1の対応については、視覚上の圧縮があっても、同じ周方向表示角度によって行えばよい。歯科用立体顕微鏡50の傾きに関係なく、図12(c)に示されるような横断面の変換断面図Fp1を表示するようにしてもよい。
表示位置ライン181で示される断面は、X-Y平面と平行な面が設定されるようにしてもよいし、また、歯THの歯軸の軸方向と直交する面が設定されるようにしてもよい。他の任意のデフォルトの面を設定してもよい。
変換断面図Fp1の横断面については、以下のように設定することが考えられる。歯という部位の構造上、下顎の歯については撮像方向(視線方向)としては頭部体軸との関係で、見下ろすこと、または斜めに見下ろすことが多く、上顎の歯については撮像方向(視線方向)としては頭部体軸との関係で、見上げること、または斜めに見上げることが多いので、横断面が歯軸に交差するように設定されるのが好適である。この設定により、施術者が現に観察している立体表示撮影画像Sに映る歯表面の奥にある断面の様子が把握できる。この目的より、例えば上述のように視線方向に直交する横断面や歯の歯軸の軸方向と直交する横断面などの設定が考えられる。
横断面は、歯冠から歯根へ、またはその逆方向に観察できることが対象歯の内部の状況がよく把握できるので、変換断面図Fp1を複数で構成する場合は、その並びの方向を歯冠と歯根を結ぶ方向にすると好適である。例えば、図12(b)に示すような光軸SV2に沿った視線方向を撮像方向とした場合、光軸SV2に直交する表示位置ライン181で示される断面を設定できるが、この断面を複数設定する場合、対象歯の歯軸をTXとすると、図12(e)に示すように、複数の断面の並びの方向(変換断面図Fp1の並びの方向)を歯軸TX沿いになるように設定すると好適である。
横断面の設定について、少し詳述する。歯軸TXに対する、表示位置ライン181で示される横断面の角度の最大が角AMXであるとし、最小が角AMNであるとする。好ましくは、角AMXは90°以上135°以内とし、角AMNを45°以上90°以内とする。この角AMX、角AMNが90°となる状態を極値として、角AMX、角AMNが90°に近づいていくにつれ、対象歯を真横にスライスしたように把握しやすい横断面の画像となる。歯軸TXに対する光軸SV2のなす角度が角AOBであるとすると、90°-角AMN<角AOB(ただし、角AOB=0°のときは角AMN=90°)となるような角AOBを設定するようにしてもよい。
なお、歯軸TXの軸方向は、例えば、診療台22の施術対象者保持部および施術対象者保持部に保持された施術対象者(の歯列弓)の空間座標情報より割り出せる。一般的に想定される標準的骨格の施術対象者を設定してもよいし、個別の施術対象者の測定情報から歯軸TXの軸方向のデータを得てもよい。
図13により、撮像方向(視線方向)すなわち具体的には対物の光軸の軸方向と平面表示変換画像Fpの方向に関連する説明をする。図13(a)に示すように、今、上顎の歯THUがあり、下顎の歯THLがあるとする。上顎の歯THUの表層に頬側寄りの1点BUがあり、舌側寄りの1点PUがあり、下顎の歯THLの表層に頬側寄りの1点BLがあり、舌側寄りの1点PLがあるとする。
上顎の歯THUを歯科用立体顕微鏡50により対物の光軸SV3に沿って観察し、下顎の歯THLを歯科用立体顕微鏡50により対物の光軸SV4に沿って観察する。そうして、上顎の歯THUと下顎の歯THLのそれぞれを立体表示撮影画像Sと平面表示変換画像Fpで表示する。
図13(b)に示すように、上顎の歯THUについては、立体表示撮影画像Sを、点BUが画面の上側に、点PUが画面の下側になるように表示する場合、平面表示変換画像Fpについても点BUが画面の上側に、点PUが画面の下側になるように表示されるようにする。
図13(c)に示すように、上顎の歯THLについては、立体表示撮影画像Sを、点PLが画面の上側に、点BLが画面の下側になるように表示する場合、平面表示変換画像Fpについても点PLが画面の上側に、点BLが画面の下側になるように表示されるようにする。このように表示されるように、撮像方向(視線方向)を基準にして、平面表示変換画像Fpで表示される断面の方向を設定する。(見下ろしか見上げかによって上向き断面か下向き断面かが変わる。)
以上、本発明の構成と、前述の実施態様との対応において、本実施形態の可視光画像は立体表示撮影画像Sに対応し、
以下同様に、
立体カメラは可視光立体カメラ52に対応し、
撮像箇所は施術対象部位に対応し、
撮像方向検出部は相対位置算出部12に対応し、
記憶部は三次元情報記憶部31に対応し、
対応画像は平面表示変換画像Fpに対応し、
表示部は画像表示部110に対応し、
画像処理部は表示方向調整部13に対応し、
歯科用観察装置は観察システム3に対応し、
表示方向変更操作部は従画面表示方向変更操作ボタン156に対応し、
表示方向リセット操作部は主従画面同期チェックボックス158に対応し、
断面調整操作部は断面位置指定表示画面180に対応し、
対応画像表示領域は従画像表示部110bに対応し、
領域調整部は従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153に対応し、
表示切換操作部は従画面表示方法変更操作ボタン155に対応し、
頭部装着型表示部はHMD510及びHUD520に対応し、
支持アームは支持アーム58に対応し、
ブレ防止機構はブレ防止機構54に対応し、
鏡像反転機構は鏡像反転機構55に対応するが、上記実施形態に限定するものではない。
例えば、上述の説明では、施術内容として歯牙を切削する根管治療について、X線三次元画像情報の基づく平面表示変換画像Fpを従画像表示部110bに表示させる態様について説明したが、例えば、う蝕した歯牙Tに対する施術として、図11(b)に示すような支台歯Xを形成するための形状を従画像表示部110bに表示させて施術を行ってもよい。
このように、従画像表示部110bに支台歯Xを表示することで、撮像対象箇所における不可視部分として、施術によって形成される形状を三次元画像情報として並列表示でき、観察システム3を備えた診療システム1を施術アシスタントや施術シミュレーションとして機能させることができる。
また、上述の説明における可視光立体カメラ52(52a,52b)は、観察対象である施術対象部位を立体的に撮像することができるものであって、左右の眼の視差を利用して観察する両眼タイプの顕微鏡であったが、カメラ付きヘッドマウントディスプレイ、あるいは、1眼の構成であっても奥行情報が取れるデバイスとして、光の三原色であるRGB信号を検出する素子と距離を検出する素子との両方備えたRGB-Dカメラやライトフィールドカメラなどのデバイスや、さらにはひとつのレンズで複数の異なるボケ画像を高速で撮影してこれを処理して立体化するデバイスなどを用いてもよい。
さらには、画像表示部110における従画像表示部110bの位置を調整する際に、主画像表示部110aに表示する立体表示撮影画像Sに対して従画像表示部110bに表示される平面表示変換画像Fpを重畳させると、重畳する平面表示変換画像Fpが徐々に透過していく、つまり立体表示撮影画像Sと平面表示変換画像Fpとの重畳度合いに応じて平面表示変換画像Fpの透過度が調整されるような構成であってもよい。
また、上述の説明では、主従画面同期チェックボックス158を表示方向リセット操作部として機能させたが、主従画面同期チェックボックス158とは別に、表示方向リセット操作部として機能する表示リターン操作ボタン等を備えてもよい。
3…観察システム
12…相対位置算出部
13…表示方向調整部
31…三次元情報記憶部
52…可視光立体カメラ
54…ブレ防止機構
55…鏡像反転機構
58…支持アーム
110…画像表示部
110b…従画像表示部
152…従画面移動調整操作ボタン
153…従画面サイズ調整操作ボタン
155…従画面表示方法変更操作ボタン
156…従画面表示方向変更操作ボタン
158…主従画面同期チェックボックス
180…断面位置指定表示画面
510…HMD
520…HUD
Fp…平面表示変換画像
S…立体表示撮影画像

Claims (22)

  1. 口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラを備える歯科用立体顕微鏡と、
    前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部と、
    予め取得した前記口腔領域に関する三次元画像情報を記憶する記憶部と、
    前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する表示部と、
    前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を前記表示部に表示する画像処理部とが備えられ、
    前記歯科用立体顕微鏡は、前記撮像箇所に対して所定の前記撮像方向から所定角度分の開きのある撮像方向で観察するように移動でき、
    前記対応画像は、前記撮像方向に直交する前記撮像箇所の断面画像であり、
    前記表示部は、前記撮像箇所に対応する前記三次元画像情報に基づくとともに、前記撮像方向に直交する前記撮像箇所の断面画像である対応画像と、前記可視光画像とを並列表示し、
    前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定する
    歯科用観察装置。
  2. 前記画像処理部が、
    前記断面画像の断面位置を、前記撮像箇所の歯の歯軸に沿って調整する断面調整操作部が備えられた
    請求項に記載の歯科用観察装置。
  3. 前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示する
    請求項1又は2に記載の歯科用観察装置。
  4. 前記表示部に、前記対応画像が表示される対応画像表示領域が設けられ、
    前記表示部における前記対応画像表示領域の大きさ及び位置のうち少なくとも一方を調整する領域調整部が設けられた
    請求項に記載の歯科用観察装置。
  5. 前記撮像箇所の前記可視光画像における施術対象部位を選択する施術対象選択部が設けられ、
    前記領域調整部による前記対応画像表示領域の調整は、
    前記可視光画像に対応する左右の視差画像における選択された前記施術対象部位と前記対応画像表示領域との相対位置関係に基づき、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域とが重畳しないように調整される
    請求項に記載の歯科用観察装置。
  6. 前記対応画像の表示方向の変更を操作する表示方向変更操作部と、
    表示方向を変更した前記対応画像を前記撮像方向に応じた方向に戻す操作を行う表示方向リセット操作部とが備えられた
    請求項1乃至のうちいずれかに記載の歯科用観察装置。
  7. 前記三次元画像情報が、
    X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成された
    請求項1乃至のうちいずれかに記載の歯科用観察装置。
  8. 前記三次元画像情報が、
    三次元口腔スキャナで取得した歯牙領域の表面形状の三次元スキャンデータ、インプラントの三次元情報、及び支台歯形成用の三次元モデル情報のうちいずれかで構成された三次元画像情報をさらに含む
    請求項1乃至7のうちいずれかに記載の歯科用観察装置。
  9. 前記対応画像の表示を切り替える表示切換操作部が備えられた
    請求項1乃至のうちいずれかに記載の歯科用観察装置。
  10. 前記対応画像の代わりに、あるいは前記対応画像と合わせて根管長測定値、切削トルク値、及び切削回転数のうち少なくともひとつの歯科診療データを前記表示部に表示する
    請求項1乃至のうちいずれかに記載の歯科用観察装置。
  11. 前記表示部が、施術者の頭部に装着する頭部装着型表示部である
    請求項1乃至10のうちいずれかに記載の歯科用観察装置。
  12. 前記立体カメラが、歯科診療装置の側部から伸びる支持アームに位置変更自在に保持された前記歯科用立体顕微鏡に備えられている
    請求項1乃至11のうちいずれかに記載の歯科用観察装置。
  13. 前記立体カメラに、ブレを防止するためのブレ防止機構が備えられた
    請求項1乃至12のうちいずれかに記載の歯科用観察装置。
  14. 前記立体カメラに、前記可視光画像を鏡像反転させる鏡像反転機構が備えられた
    請求項1乃至13のうちいずれかに記載の歯科用観察装置。
  15. 口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラを備え、前記撮像箇所に対して所定の撮像方向から所定角度分の開きのある撮像方向で観察するように移動できる歯科用立体顕微鏡で立体撮像し、
    前記立体カメラで撮像した前記可視光画像と、予め取得した前記口腔領域に関する三次元画像情報のうち前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する際に、
    前記撮像箇所に対する前記立体カメラの撮像方向に直交する前記撮像箇所の断面画像である前記対応画像と、前記可視光画像とを並列表示し、
    前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定する
    歯科用画像の表示方法。
  16. 前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示する
    請求項15に記載の歯科用画像の表示方法。
  17. 立体カメラを備える歯科用立体顕微鏡と、記憶部と、撮像方向検出部と、表示部と、プロセッサとを備えた歯科用観察装置であり、
    前記歯科用立体顕微鏡が、撮像箇所に対して所定の撮像方向から所定角度分の開きのある撮像方向で観察するように移動でき、
    前記立体カメラが、口腔領域における前記所望の撮像箇所の可視光画像を立体撮像し、
    前記記憶部が、予め取得した前記口腔領域に関する三次元画像情報を記憶し、
    前記撮像方向検出部が、前記撮像箇所に対する前記立体カメラの撮像方向を検出し、
    前記プロセッサが、前記撮像方向検出部で検出した前記撮像方向を基準として前記三次元画像情報を処理して前記撮像方向に直交する前記撮像箇所の断面画像である対応画像を生成し、前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づくとともに、前記撮像方向に直交する前記撮像箇所の断面画像である前記対応画像とを前記表示部に並列表示させ
    前記対応画像を構成する前記撮像方向に直交する前記撮像箇所の断面を、前記撮像箇所である歯の歯軸に沿って複数設定する
    歯科用観察装置。
  18. 前記プロセッサが、
    前記断面画像の断面位置を、前記撮像箇所の歯の歯軸に沿って調整する断面調整操作を受け付ける
    請求項17に記載の歯科用観察装置。
  19. 前記プロセッサが、
    前記表示部に前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示させるとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示させる
    請求項17又は18に記載の歯科用観察装置。
  20. 前記三次元画像情報が、
    X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれで構成された
    請求項17乃至19のうちいずれかに記載の歯科用観察装置。
  21. 前記対応画像として、対象となる歯牙を側面から見たときの根管の深さ方向に所定間隔をあけて異なる断面の複数の断面画像を前記断面画像として同時に表示する
    請求項1に記載の歯科用観察装置。
  22. 前記対応画像として、対象となる歯牙を側面から見たときの根管の深さ方向に所定間隔をあけて異なる断面の複数の断面画像を前記断面画像として同時に表示する
    請求項15に記載の歯科用画像の表示方法。
JP2019545546A 2017-09-29 2018-09-26 歯科用観察装置及び歯科用画像の表示方法 Active JP7121740B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017191359 2017-09-29
JP2017191359 2017-09-29
PCT/JP2018/035604 WO2019065700A1 (ja) 2017-09-29 2018-09-26 歯科用観察装置及び歯科用画像の表示方法

Publications (2)

Publication Number Publication Date
JPWO2019065700A1 JPWO2019065700A1 (ja) 2020-11-19
JP7121740B2 true JP7121740B2 (ja) 2022-08-18

Family

ID=65901948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019545546A Active JP7121740B2 (ja) 2017-09-29 2018-09-26 歯科用観察装置及び歯科用画像の表示方法

Country Status (5)

Country Link
US (1) US20200305702A1 (ja)
EP (1) EP3689295B1 (ja)
JP (1) JP7121740B2 (ja)
FI (1) FI3689295T3 (ja)
WO (1) WO2019065700A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11027438B2 (en) * 2018-07-13 2021-06-08 A-Dec, Inc. Positive positioning device and system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024820A (ja) 2009-07-27 2011-02-10 Mitaka Koki Co Ltd 歯科治療用観察システム
JP2011030637A (ja) 2009-07-30 2011-02-17 Asahi Roentgen Kogyo Kk 根管治療システム
JP2012016573A (ja) 2010-03-24 2012-01-26 Advance Co Ltd 歯科用補綴物計測加工システム
JP2014171488A (ja) 2013-03-06 2014-09-22 Morita Mfg Co Ltd 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示方法
WO2015178452A1 (ja) 2014-05-21 2015-11-26 株式会社モリタ製作所 根管治療用表示装置、根管治療ユニット及び歯科用画像表示方法
WO2015182651A1 (ja) 2014-05-28 2015-12-03 株式会社モリタ製作所 根管治療用装置
US20170209035A1 (en) 2015-08-27 2017-07-27 Xiang Li Oral Endoscope Detection System and Detection Method Thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
US9662000B2 (en) * 2013-08-28 2017-05-30 Hankookin, Inc. Visualization apparatus and system for enhanced hand-eye coordination
WO2015100310A1 (en) * 2013-12-23 2015-07-02 Camplex, Inc. Surgical visualization systems
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
CA3086553A1 (en) * 2018-01-26 2019-08-01 Align Technology, Inc. Diagnostic intraoral scanning and tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024820A (ja) 2009-07-27 2011-02-10 Mitaka Koki Co Ltd 歯科治療用観察システム
JP2011030637A (ja) 2009-07-30 2011-02-17 Asahi Roentgen Kogyo Kk 根管治療システム
JP2012016573A (ja) 2010-03-24 2012-01-26 Advance Co Ltd 歯科用補綴物計測加工システム
JP2014171488A (ja) 2013-03-06 2014-09-22 Morita Mfg Co Ltd 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示方法
WO2015178452A1 (ja) 2014-05-21 2015-11-26 株式会社モリタ製作所 根管治療用表示装置、根管治療ユニット及び歯科用画像表示方法
WO2015182651A1 (ja) 2014-05-28 2015-12-03 株式会社モリタ製作所 根管治療用装置
US20170209035A1 (en) 2015-08-27 2017-07-27 Xiang Li Oral Endoscope Detection System and Detection Method Thereof

Also Published As

Publication number Publication date
EP3689295A4 (en) 2021-06-23
FI3689295T3 (fi) 2023-12-07
US20200305702A1 (en) 2020-10-01
JPWO2019065700A1 (ja) 2020-11-19
WO2019065700A1 (ja) 2019-04-04
EP3689295A1 (en) 2020-08-05
EP3689295B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
TWI734106B (zh) 立體視覺化攝影機及整合機器人平台
JP4786685B2 (ja) X線画像表示方法、x線撮影装置、及びx線画像表示装置
US11154379B2 (en) Method for implant surgery using augmented visualization
JP5744084B2 (ja) 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示装置の作動方法
US9036776B2 (en) X-ray photography apparatus
US20160357003A1 (en) Surgical microscope for generating an observation image of an object region
JP5308739B2 (ja) X線画像表示方法、及びx線撮影装置
JP4503654B2 (ja) 歯顎顔面のx線ct画像の表示方法、x線ct断層撮影装置、およびx線画像表示装置
EP3117770B1 (en) Medical imaging system and operation method therefor
EP3709066A1 (en) Observation device, observation unit, and observation method
WO2016108276A1 (ja) 歯科用光学撮影装置
JP2010187916A (ja) 画像処理装置、画像処理システム及びプログラム
EP2750607B1 (en) Live 3d x-ray viewing
JP3707830B2 (ja) 術式支援用画像表示装置
US11822089B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
JP2011104186A (ja) 治療用口腔観察装置および歯科治療装置
JP5366590B2 (ja) 放射線画像表示装置
US20130295518A1 (en) Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry
JP7121740B2 (ja) 歯科用観察装置及び歯科用画像の表示方法
JP6793623B2 (ja) 観察器具、観察装置、観察ユニット及び診療ユニット
RU2771467C2 (ru) Компьютерная томография и позиционирование отображаемой области
JP6632652B2 (ja) 画像処理装置および画像処理プログラム
JP2012157689A (ja) 放射線画像表示装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220805

R150 Certificate of patent or registration of utility model

Ref document number: 7121740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150