WO2019065700A1 - 歯科用観察装置及び歯科用画像の表示方法 - Google Patents
歯科用観察装置及び歯科用画像の表示方法 Download PDFInfo
- Publication number
- WO2019065700A1 WO2019065700A1 PCT/JP2018/035604 JP2018035604W WO2019065700A1 WO 2019065700 A1 WO2019065700 A1 WO 2019065700A1 JP 2018035604 W JP2018035604 W JP 2018035604W WO 2019065700 A1 WO2019065700 A1 WO 2019065700A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- imaging
- dimensional
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 210000000214 mouth Anatomy 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 176
- 238000001514 detection method Methods 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 42
- 210000004262 dental pulp cavity Anatomy 0.000 claims description 38
- 238000013170 computed tomography imaging Methods 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 23
- 210000003128 head Anatomy 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 238000005481 NMR spectroscopy Methods 0.000 claims description 8
- 238000012014 optical coherence tomography Methods 0.000 claims description 7
- 238000002059 diagnostic imaging Methods 0.000 claims description 6
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 claims description 6
- 239000007943 implant Substances 0.000 claims description 4
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 15
- 230000003287 optical effect Effects 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000002455 dental arch Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
- A61C19/041—Measuring instruments specially adapted for dentistry for measuring the length of the root canal of a tooth
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C5/00—Filling or capping teeth
- A61C5/40—Implements for surgical treatment of the roots or nerves of the teeth; Nerve needles; Methods or instruments for medication of the roots
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
Definitions
- the present invention relates to, for example, a dental observation apparatus and a dental image display method for displaying a visible light image for imaging a desired imaging location in an oral cavity region and a corresponding image based on three-dimensional image information corresponding to the imaging location.
- a dental observation apparatus and a dental image display method for displaying a visible light image for imaging a desired imaging location in an oral cavity region and a corresponding image based on three-dimensional image information corresponding to the imaging location.
- the visible light image captured by an optical camera or a dental microscope is an image of the tooth surface in the occlusal direction with visible light, and the invisible portion such as the form of the root canal inside the tooth is confirmed from the visible light image Was difficult.
- projection data is collected by irradiating X-rays to a tooth which is a region of interest, and the obtained projection data is calculated on a computer While CT imaging is performed to generate Computerized Tomography images (CT imaging tomographic image, volume rendering image, etc.) by reconstruction, the form of the root canal, etc. that can not be seen from the surface of the tooth by X-rays transmitted through the tooth.
- CT imaging is performed to generate Computerized Tomography images (CT imaging tomographic image, volume rendering image, etc.) by reconstruction, the form of the root canal, etc. that can not be seen from the surface of the tooth by X-rays transmitted through the tooth.
- the position and size of the invisible portion can be superimposed on the visible light image of the tooth that is the region of interest.
- the practitioner can treat while visualizing the invisible invisible part without three-dimensionally combining the CT imaging image and the visible light image by the optical camera or dental microscope in the head, so It can be treated safely and accurately.
- a visible light image in which a visualized invisible portion is superimposed and displayed without three-dimensionally combining a CT image of the invisible portion and a visible light image by an optical camera or a dental microscope in a three-dimensional manner is also a demand to prioritize the visibility of the treatment site.
- a visible light image is displayed without superimposing a visible light image of a desired imaging location in an oral region imaged by a stereoscopic camera and three-dimensional image information of a desired imaging location in the oral region acquired in advance. It is an object of the present invention to provide a dental observation device and a dental image display method capable of easily recognizing an invisible portion in
- a stereoscopic camera for stereoscopic imaging of a visible light image of a desired imaging location in an oral region, an imaging direction detection unit for detecting an imaging direction of the stereoscopic camera with respect to the imaging location, and cubics regarding the oral region acquired in advance
- a storage unit for storing original image information
- a display unit for arranging and displaying the visible light image captured by the stereoscopic camera; and a corresponding image based on the three-dimensional image information corresponding to the imaging location
- a dental observation apparatus including an image processing unit for displaying on the display unit the corresponding image in a predetermined direction based on the imaging direction detected by the unit.
- the visible light image of a desired imaging location in the oral cavity area is stereoscopically imaged by a stereoscopic camera, and the visible light image imaged by the stereoscopic camera and the three-dimensional image information among the three-dimensional image information regarding the oral cavity area acquired in advance
- the dental image which displays the said corresponding image of the predetermined direction on the basis of the imaging direction of the said three-dimensional camera with respect to the said imaging location It is characterized in that it is a display method.
- the stereoscopic camera is capable of stereoscopically imaging an imaging portion to be observed, and for example, a binocular (binocular) type dental microscope or an eye-observation using the parallax of the left and right eyes
- a device that imitates binocular vision as a head-mounted display with a camera or a device that can obtain depth information even with a single-lens configuration
- an element and a depth may be displayed on a flat display device such as a liquid crystal or an organic EL.
- the three-dimensional image information is an X-ray CT image, nuclear magnetic resonance image, ultrasonic three-dimensional image, optical interference three-dimensional image, three-dimensional scan data acquired by a three-dimensional oral scanner, and a file format for 3D CAD software Includes stl data etc.
- the visible light image may be a moving image (video) or a frame advance of a still image.
- the predetermined direction based on the imaging direction refers to a direction parallel to or perpendicular to the imaging direction, or a direction facing a predetermined angle with respect to the imaging direction.
- the predetermined direction is a direction parallel to the imaging direction, it means a direction at the same angle around the imaging direction.
- the imaging direction detection unit that detects the imaging direction of the stereoscopic camera with respect to the imaging location may be, for example, a known non-contact three-dimensional position detector, for example, a gyro built in the stereoscopic camera or the stereoscopic camera It may be a known three-dimensional position measuring device using an infrared reflecting member consisting of a plurality of small beads attached and an infrared ray for measuring the three-dimensional position of the infrared reflecting member, or from a magnetic source attached to the three-dimensional camera It may be a three-dimensional position measuring device that detects a three-dimensional position by emitting magnetism. In addition, a three-dimensional position detection detector using an image recognition technology or the like based on an image acquired by a stereoscopic camera may be used.
- the imaging direction detection unit may detect the imaging direction of the stereoscopic camera with respect to the imaging location based on the positional information of the stereoscopic camera and the imaging location detected by the position detection unit.
- the stereoscopic camera in the present specification may or may not record the captured image or video as long as the imaging portion can be imaged for observation or medical treatment.
- the visible light image of the desired imaging location in the oral cavity region captured by the stereoscopic camera and the three-dimensional image information of the desired imaging location in the oral cavity region acquired in advance Invisible parts can be easily recognized.
- the image pick-up direction to the image pick-up part of a stereoscopic camera which carries out stereo image pick-up of the visible light image of the desired image pick-up part in oral region is detected,
- the visible light image picked up with the stereo camera The acquired corresponding image based on the three-dimensional image information corresponding to the imaging location is displayed side by side on the display unit, and the corresponding image in a predetermined direction based on the imaging direction detected by the imaging direction detection unit Can be displayed.
- the corresponding image of the imaging direction of the visible light image of the operation target location is parallel to the imaging direction Since the display can be performed in parallel with the visible light image of the same angle around the imaging direction, and the corresponding image can be displayed in the direction corresponding to the visible light image, the practitioner confirms the corresponding image displaying the invisible portion in parallel While the treatment site is clearly visible, it can be performed safely and accurately while viewing the visible light image.
- the corresponding image is desirably displayed as a small image with the same magnification as the captured image or a lower magnification than the captured image.
- the visible light image obtained by stereoscopically observing the imaging location is stereoscopically displayed based on left and right parallax, and the corresponding image is viewed from a direction parallel to the imaging direction and at the same angle around the imaging direction It may be displayed flat so that
- the above-described stereoscopic camera may be a twin-lens camera (binocular type) or a single-lens camera capable of stereoscopic vision.
- the present invention it is possible to stereoscopically display the imaging portion based on parallax. In addition, it is possible to display in parallel, without superimposing the visible light image of the imaging portion stereoscopically displayed and the corresponding image planarly displayed.
- the display unit is provided with a corresponding image display area in which the corresponding image is displayed, and an area adjustment in which at least one of the size and the position of the corresponding image display area in the display unit is adjusted.
- a part may be provided.
- the corresponding image display area in which the corresponding image is displayed can be adjusted to a position that is more easily viewable, or the corresponding image display area can be enlarged or reduced according to the treatment content and the like.
- the satisfaction level of the practitioner can be improved in response to the practitioner's detailed requests.
- a treatment target selecting unit for selecting a treatment target region in the visible light image of the imaging location is provided, and the adjustment of the corresponding image display area by the area adjusting unit corresponds to the visible light image. Based on the relative positional relationship between the selected treatment target site in the left and right parallax images and the corresponding image display area, the adjustment target area and the corresponding image display area in the left and right parallax images are adjusted so as not to overlap It may be done.
- the treatment target site can be selected by the treatment target selecting unit in the visible light image of the imaging spot that is stereoscopically displayed, and the three-dimensional display of the treatment target site selected in the visible light image of the imaging spot
- the corresponding image can be adjusted to a desired position adjustment and size without overlapping with the corresponding image display area in which the image is displayed in plane.
- the positions of the treatment target parts in the left and right parallax images of the visible light image are different, the positions of the corresponding image display areas displayed in plane in the left and right parallax images coincide with each other.
- the relative positions of the treatment target site and the corresponding image display area in the parallax image are different.
- the treatment is performed in any of the left and right parallax images based on the relative position of the treatment target site in the left and right parallax images and the corresponding image display area.
- a display direction change operation unit for changing a display direction of the corresponding image, and a display direction reset operation for returning the corresponding image whose display direction is changed to a direction according to the imaging direction.
- a unit may be provided.
- the practitioner can adjust the display direction of the corresponding image by the display direction change operation unit according to the treatment.
- the display direction reset operation unit is operated to finely adjust the display direction of the corresponding image whose display direction has been adjusted, without changing the display direction of the visible light image. It can be displayed in accordance with the imaging direction.
- the display direction of the corresponding image may be configured to match the adjusted imaging direction.
- the corresponding image whose display direction is adjusted is manually fined in the imaging direction of the visible light image in which the imaging direction is adjusted. Compared with the case of adjusting while adjusting, the convenience and operability can be improved.
- the three-dimensional image information is acquired by a three-dimensional X-ray image acquired by an X-ray CT imaging apparatus, a nuclear magnetic resonance image acquired by a nuclear magnetic resonance imaging apparatus, an ultrasonic diagnostic imaging apparatus
- the present invention may be configured by any one of the ultrasound three-dimensional image and the light interference three-dimensional image acquired by the optical coherence tomography apparatus.
- a three-dimensional image suitable for treatment contents and patients can be used as three-dimensional image information.
- a cross-sectional image in a direction based on the imaging direction may be displayed on the image processing unit as the corresponding image based on the three-dimensional image information.
- the invisible portion at the imaging site can be recognized more easily and accurately by the sectional view, and the safer and more accurate operation can be performed.
- the cross-sectional image in the direction based on the imaging direction is a cross-sectional view in a direction orthogonal to the imaging direction, a longitudinal cross-sectional view in a direction along the imaging direction, or a cross section in a direction intersecting the imaging direction It may be an image.
- the image processing unit may be provided with a cross section adjustment operation unit that adjusts a cross section position in a direction based on the imaging direction of the cross section image.
- the three-dimensional image information is three-dimensional scan data of a surface shape of a tooth area acquired by a three-dimensional oral scanner, three-dimensional information of an implant, and three-dimensional model information for abutment tooth formation. It may be composed of any of them.
- the shape formed by the treatment can be displayed in parallel as three-dimensional image information as an invisible portion at the imaging target portion, and can be functioned as a treatment assistant or treatment simulation.
- a display switching operation unit may be provided to switch the display of the corresponding image.
- a display suitable for the operation such as a sectional view, volume data, or numerical data as the corresponding image.
- dental care data may be displayed on the display unit. According to the present invention, for example, highly accurate treatment can be performed while confirming dental care data such as past treatment content.
- the display unit may be a head mounted display unit mounted on the head of the practitioner.
- the dental microscope may be releasably held by a support arm extending from the side of the dental care apparatus. According to these inventions, the practitioner can perform surgery using a device according to more appropriate specifications according to the treatment content and preference.
- the stereoscopic camera may be provided with a shake preventing mechanism for preventing a shake.
- treatment can be performed while viewing a clearer visible light image.
- the stereoscopic camera may be provided with a mirror image reversing mechanism for mirror-reversing the visible light image.
- the practitioner can perform the procedure while viewing the mirror-reversed visible light image according to the procedure while viewing the usually used dental mirror.
- the present invention is a dental observation apparatus including a stereoscopic camera, a storage unit, an imaging direction detection unit, a display unit, and a processor, wherein the stereoscopic camera is a visible light image of a desired imaging location in an oral region
- the storage unit stores three-dimensional image information on the oral region acquired in advance
- the imaging direction detection unit detects the imaging direction of the stereoscopic camera with respect to the imaging location
- the processor The three-dimensional image information is processed based on the imaging direction detected by the imaging direction detection unit to generate a corresponding image corresponding to the imaging location in a predetermined direction, and the visible light image captured by the stereoscopic camera And displaying the corresponding images side by side on the display unit.
- the processor causes the display unit to stereoscopically display the visible light image obtained by stereoscopically observing the imaging portion based on left and right parallaxes, and to view the corresponding image from a direction parallel to the imaging direction.
- planar display may be performed so as to have the same angle around the imaging direction.
- the three-dimensional image information is acquired by a three-dimensional X-ray image acquired by an X-ray CT imaging apparatus, a nuclear magnetic resonance image acquired by a nuclear magnetic resonance imaging apparatus, an ultrasonic diagnostic imaging apparatus
- the ultrasound three-dimensional image and the light interference three-dimensional image acquired by the optical coherence tomography apparatus may be used.
- the processor may cause the display unit to display a cross-sectional image in a direction based on the imaging direction as the corresponding image based on the three-dimensional image information. Further, as an aspect of the present invention, the processor may receive a cross-section adjustment operation for adjusting a cross-sectional position in a direction based on the imaging direction of the cross-sectional image.
- the visible light image in the visible light image, the visible light image of the desired imaging location in the oral cavity region captured by the stereoscopic camera and the three-dimensional image information of the desired imaging location in the oral cavity region acquired in advance It is possible to provide a dental observation device and a method of displaying a dental image that can easily recognize an invisible portion.
- Block diagram of the observation system BRIEF DESCRIPTION OF THE DRAWINGS The schematic perspective view of a medical treatment system.
- Explanatory drawing of a display screen Explanatory drawing of a parallax image.
- Flow chart of dental practice Explanatory drawing of an image display part when an imaging direction changes.
- Explanatory drawing of the image display part about secondary image display adjustment.
- Explanatory drawing about a subordinate image display adjustment Explanatory drawing of the image display part about display switching of a subscreen.
- FIG. Explanatory drawing for forming an abutment tooth with respect to a tooth.
- Explanatory drawing when changing the observation direction with respect to a tooth Explanatory drawing about the imaging direction with respect to a tooth.
- Explanatory drawing about the cross-sectional position figure of another embodiment in a display screen Explanatory drawing about the cross-sectional position figure of another embodiment in a display screen.
- FIGS. 1 to 11 shows a block diagram of an observation system 3 corresponding to a dental observation apparatus
- FIG. 2 shows a schematic perspective view of the medical treatment system 1
- FIG. 3 shows an explanatory view of a display screen 100
- FIG. Explanatory drawing about parallax image Sa of the part 110, and Sb is shown
- FIG. 5 has shown the flowchart of dental treatment.
- the dental observation apparatus may be called a dental imager or may be called a dental scope.
- this imaging direction may be considered as a direction along the incident direction of light entering the visible light stereoscopic camera 52 (this may be considered as a gaze direction.
- Is the axial direction of the optical axis of the objective) and may include the imaging angle direction in the circumferential direction around the direction along the incident direction of the light entering the visible light stereoscopic camera 52.
- This imaging angle direction is determined, for example, according to the rotation angle of the visible light stereoscopic camera 52 itself around the axial direction of the optical axis of the objective.
- imaging direction line of sight direction
- imaging angle direction the direction along the light incident direction of the former
- imaging direction circumferential direction
- FIG. 6 shows an explanatory view of the image display unit 110 when the imaging direction (circumferential direction) is changed
- FIG. 7 shows an explanatory view of the image display unit 110 for the adjustment of the secondary image display
- FIG. 9 shows an explanatory diagram of adjustment of the subsidiary image display unit 110 b in the unit 110
- FIG. 9 shows an explanatory diagram of the image display unit 110 about display switching of the subsidiary screen.
- FIG. 4 (a) shows the image display unit 110 of the left parallax image Sa displayed on the left-eye display unit 51a
- FIG. 4 (b) shows the right parallax displayed on the right-eye display unit 51b
- FIG. 4C shows the image display unit 110 of the image Sb
- FIG. 4C shows the image display unit 110 of the stereoscopic display photographed image S stereoscopically displayed.
- FIG. 4A and FIG. 4B the observation target stereoscopically displayed is illustrated by a broken line.
- FIG. 6A shows an explanatory view of the image display unit 110 before changing in the imaging direction (circumferential direction), and FIG. 6B shows an image display after rotating the imaging direction (circumferential direction) clockwise by a predetermined angle.
- FIG. 6C is an explanatory view of the portion 110, and FIG. 6C is an explanatory view of the image display portion 110 after the image pickup direction (circumferential direction) is further rotated clockwise by a predetermined angle.
- FIG. 7A shows an explanatory view of the image display unit 110 before adjusting the subsidiary image display unit 110b
- FIG. 7B shows the subsidiary image by adjusting the size of the stereoscopic display photographed image S to be small
- FIG. 7C is an explanatory view of the image display unit 110 in which the size of the display unit 110b is adjusted to a large size
- FIG. 7C shows the size of the subsidiary image display 110b smaller by adjusting the size of the stereoscopic display photographed image S to a large size
- the explanatory view of image display section 110 which adjusted is shown.
- FIG. 8 (a) shows the image display unit 110 that stereoscopically displays the stereoscopic display photographed image S
- FIG. 8 (b) shows the image display unit 110 of the left parallax image Sa displayed on the left-eye display unit 51a
- FIG. 8 (c) shows the image display unit 110 of the right parallax image Sb displayed on the right-eye display unit 51b
- FIG. 8 (d) shows the image display unit 110 for stereoscopically displaying the stereoscopic display photographed image S.
- FIG. 8E illustrates the size adjustment of the sub image display unit 110b in the image display unit 110 of the left parallax image Sa displayed on the left eye display unit 51a.
- 8F illustrates the adjustment of the size of the subsidiary image display unit 110b in the image display unit 110 of the right parallax image Sb displayed on the right-eye display unit 51b.
- 8 (b) and 8 (c) the observation object stereoscopically displayed is illustrated by a broken line.
- illustration of the rotation speed display part 121 and the root canal length display part 122 is abbreviate
- FIG. 9A shows an explanatory view of the image display unit 110
- FIGS. 9B to 9D show an explanatory view of a sectional position view Fp2 and a converted sectional view Fp1 having different sectional positions.
- FIG. 10 shows the HMD 510 and the HUD 520 (corresponding to the head mounted display unit) functioning as the display unit 51.
- the medical treatment system 1 includes a chair unit 2 shown in FIG. 2 and an observation system 3 (see FIG. 1) used together with a dental stereomicroscope 50 (dental microscope).
- the chair unit 2 includes an instrument table 21 provided with medical instruments 213a to 213e, and a medical examination table 22 on which a patient M to be treated is placed and treated.
- the instrument table 21 has an instrument holder 212 on the front side of the table 211 rotatably mounted on the medical examination table 22 via an arm, and the instrument holder 212 has a cutting tool such as an air turbine handpiece or a micromotor handpiece or a scaler.
- a medical instrument 213 (213a to 213e) composed of a three-way syringe, a vacuum syringe or the like is detachably attached.
- the medical treatment instrument 213 is connected to and driven by the water supply source, the air supply source, and the air suction unit, these mechanisms are known and thus the detailed description will be omitted.
- the foot controller 214 for inputting various operations is provided, the mechanism of the foot controller is well known, so the detailed description will be omitted.
- the medical examination table 22 on which the patient M is placed is, as shown in FIG. 2, a seat portion seat mounted on the base 221 so as to be able to move up and down, and a tiltable back plate 223 connected to the rear of the seat portion seat. , And a tiltable headrest 224 connected to the upper end of the back sheet 223, and for controlling these to an optimum position according to the medical condition, a seat section elevating part, back sheet seat tilting part, head rest tilting part It is configured to be driven by driving of a hydraulic cylinder, an electric motor or the like which is provided and operated and controlled by the foot controller 214.
- the dental stereomicroscope 50 is supported by the position-adjustable support arm 58.
- a spittoon 225 and a treatment stand pole 23 are attached to the medical examination table 22.
- the treatment stand pole 23 provided on the spittoon 225 is branched along the way and an arm 231 which is rotatably protruded is provided.
- the three-dimensional position detection unit 60 of the observation system 3 described later is provided at the tip of the arm 231.
- a dental stereomicroscope 50 which is movable vertically and horizontally by a support arm 58 is supported by the treatment stand pole 23.
- the treatment stand pole is not limited to this. It may be configured to be attached to the ceiling, or a caster may be attached to the lower part of the treatment stand pole so that the treatment stand pole can be moved alone.
- the spittoon 225 is provided with a water tap for supplying water when rinsing the inside of the oral cavity and the like, and a spigot. Furthermore, on the back or abdomen of the patient M, there is provided a connection portion (not shown) connected to an electric path, a hydraulic path, an air path or the like disposed in the chair unit 2.
- the observation system 3 which comprises the medical treatment system 1 with the chair unit 2 is comprised by the control part 10, the memory
- the X-ray CT imaging apparatus 40 is illustrated as a configuration of the medical care system 1 in FIG. 1, the X-ray CT imaging apparatus 40 is not necessarily required as the configuration of the present invention.
- the configuration required as the configuration of the present invention is three-dimensional image data (three-dimensional image information), and the three-dimensional image data may be stored in the storage device 30. Further, in the present invention, the three-dimensional image does not have to be an X-ray CT image, and may be three-dimensional image data by an apparatus capable of acquiring other three-dimensional image information.
- the control unit 10 includes a CPU, a ROM, and a RAM, and has the following functional configuration. More specifically, the control unit 10 includes an image generation unit 11, a relative position calculation unit 12 corresponding to an imaging direction detection unit, a display direction adjustment unit 13 corresponding to an image processing unit, a display screen generation unit 14, and an operation target selection unit. And a treatment content selection unit 16.
- a specific mechanical element of the functional configuration of each part is a processor or a circuit. A signal is applied to the processor or circuit to perform each function.
- the control part 10 may be provided in the dental stereomicroscope 50.
- the image generation unit 11 is a processing unit that generates various images. For example, the three-dimensional image information acquired by the X-ray CT imaging apparatus 40 is converted into a two-dimensional image on a predetermined plane to generate a plane display converted image Fp. At the same time, the stereoscopic display photographed image S (corresponding to the visible light image) is generated based on the information captured by the visible light stereoscopic camera 52 corresponding to the stereoscopic camera.
- the relative position calculation unit 12 is a calculation unit that calculates the three-dimensional relative position of the dental stereomicroscope 50 and the patient M whose three-dimensional position has been detected by the three-dimensional position detection unit 60 described later. Display of a flat display converted image Fp (corresponding to a corresponding image) to be displayed on the subsidiary image display unit 110b described later based on the three-dimensional relative position of the three-dimensional position detection unit 60 and the patient M detected by the relative position calculation unit 12 It is an adjustment unit that adjusts the direction of movement.
- the flat display converted image Fp is an image of a part corresponding to the imaging part of the stereoscopic display captured image S.
- the display screen generation unit 14 displays the display screen 100 based on the stereoscopic display photographed image S or the flat display converted image Fp generated by the image generation unit 11 or the flat display converted image Fp whose display direction is adjusted by the display direction adjustment unit 13. Generate a screen display to be displayed as FIG. 3).
- the treatment target selection unit 15 is a selection unit that selects the treatment target region corresponding to the imaging location, and, for example, treatment is performed on the image displayed on the image display unit 110 of the display screen 100 as shown by the broken line BrL in FIG. It is comprised by image recognition so that selection of object part is possible.
- the treatment content selection unit 16 is configured to be able to select the treatment content to be performed on the treatment target site selected by the treatment target selection unit 15, and according to the selected treatment content, the treatment useful information is treated It may be configured to be automatically displayed by an appropriate display method at the target site.
- the root canal length measurement image is configured to be displayed on the root canal length display unit 122, and the number of rotations to be cut is displayed on the rotation number display unit 121.
- the root canal length measurement value is shown in the root canal length measurement image.
- the root canal length measurement is displayed as a value indicating how far the tip of a tool such as a file or reamer is to the apex.
- the storage device 30 is configured of an HDD, an SSD, a RAM, or the like, is connected to the control unit 10, and stores or retrieves various information under the control of the control unit 10.
- X-ray CT imaging Three-dimensional information storage unit 31 (corresponds to the storage unit) that stores three-dimensional image information of the operation target site such as three-dimensional X-ray image information acquired by the device 40, information related to the operation such as medical history of the patient M and treatment information
- a treatment content storage unit 33 for storing a type of treatment content to be treated in the oral cavity, a display method suitable for the treatment content, and the like.
- the three-dimensional information storage unit 31 includes a nuclear magnetic resonance image, an ultrasonic three-dimensional image, an optical coherence tomography apparatus, three-dimensional scan data acquired by a three-dimensional oral scanner, three-dimensional image information of an implant, and an abutment tooth.
- Three-dimensional model information for formation or stl data or the like thereof may be stored instead of the three-dimensional X-ray image or together with the three-dimensional X-ray image.
- X-ray CT imaging apparatus 40 a known dental or medical X-ray CT imaging apparatus can be used.
- Such an X-ray CT imaging apparatus 40 can acquire three-dimensional image information by irradiating the subject with an X-ray cone beam and detecting it with an X-ray detection unit that turns around the subject.
- the X-ray CT imaging apparatus 40 stores the acquired three-dimensional image information in the three-dimensional information storage unit 31 of the storage device 30, the X-ray CT imaging apparatus 40 is not a component of the medical care system 1 or the observation system 3, and may be separately provided. Alternatively, without providing the X-ray CT imaging apparatus 40, only the three-dimensional image information may be stored in the three-dimensional information storage unit 31 of the storage device 30.
- a nuclear magnetic resonance imaging apparatus for acquiring a nuclear magnetic resonance image
- an ultrasonic diagnostic imaging apparatus for acquiring an ultrasonic three-dimensional image
- optical interference three-dimensional An optical coherence tomography apparatus for acquiring an image, a three-dimensional oral cavity scanner for acquiring three-dimensional scan data, or the like may be provided instead of the X-ray CT imaging apparatus 40 or together with the X-ray CT imaging apparatus 40.
- the dental stereomicroscope 50 is a binocular microscope that is widely used for dental practice in order for the practitioner to observe the treatment target site, and it is used for the practitioner's field of vision.
- Display unit 51 (51a, 51b) for displaying the display screen 100 etc.
- the posture detection unit 53 for detecting the posture of the dental stereomicroscope 50, and the vibration of the visible light stereoscopic camera 52 (52a, 52b) for photographing the stereoscopic display photographed image S to prevent blurring of the photographed image
- Anti-shake mechanism 54 a mirror image reversing mechanism 55 for mirror-image reversing the stereoscopic display photographed image S photographed by the visible light stereoscopic camera 52 (52a, 52b), and illumination for illuminating the operation target portion 56, and are composed of an eyepiece portion 57 (57a,
- the dental stereomicroscope 50 is supported by a support arm 58 that supports the upper, lower, left, and right and in a rotatable manner, and the camera units 52a and 52b and the camera unit 52a , 52b are arranged at predetermined intervals in the direction orthogonal to the light source 52, and a lighting unit (not shown) constituted by LEDs is provided.
- the visible light stereoscopic camera 52 configured by the camera units 52a and 52b is a twin-lens camera, but the visible light stereoscopic camera 52 may be configured by a single-lens camera that can stereoscopically view.
- the operator's side of the dental stereomicroscope 50 looks into the eyepiece portion 57 (57 a, 57 b) so that the practitioner can look into the display 51 (51 a, 51 b) inside. Is provided.
- the visible light stereoscopic camera 52 provided on the patient M side of the dental stereomicroscope 50 is a left-eye camera 52a that captures a left parallax image Sa from the left with respect to the observation target, and a right parallax image from the right A right-eye camera 52 b that captures an image of Sb is disposed at an interval according to the interval between the left and right eyes of a person.
- the display unit 51 disposed inside the dental stereomicroscope 50 displays the left-eye display unit 51a for displaying the left-parallax image Sa captured by the left-eye camera 52a, and the right-parallax image captured by the right-eye camera 52b. It is comprised by the display part 51b for right eyes which displays Sb.
- the eyepiece unit 57 provided on the practitioner side of the dental stereomicroscope 50 is a left-eye display unit 51a that displays the left parallax image Sa taken by the left-eye camera 52a with the left eye of the practitioner looking into it.
- display part 51 51a, 51b
- a practitioner may look into display part 51 (51a, 51b) equipped inside from the eyepiece part 57 by the side of the practitioner shown in FIG. 2, it differs from the dental stereomicroscope 50.
- a head mounted display (HMD) 510 as shown in FIG. 10A and a glasses-type head-up display (HUD) 520 as shown in FIG. 51b) may be configured.
- the display unit may be displayed using a display monitor 80 attached to the chair unit 2 shown in FIG. 2 or a monitor 81 provided on the fixture base 21.
- the HMD 510 mounted on the head of the practitioner is provided with the display unit 51 (51a, 51b) corresponding to the field of vision of the practitioner, and the stereoscopic display photographed image S generated by the image generation unit 11 or the flat display converted image Fp Alternatively, the display screen information such as the display screen 100 generated by the display screen generation unit 14 based on the flat display converted image Fp whose display direction is adjusted by the display direction adjustment unit 13 is received from the control unit 10 without contact. indicate.
- the HUD 520 that the practitioner wears like glasses has a projector (not shown) that projects in a semi-transmissive manner on the front glass part functions as the display unit 51 (51a, 51b), and the display screen generation unit 14
- the generated display screen information such as the display screen 100 is received from the control unit 10 without contact and displayed in a semi-transmissive manner.
- the HMD 510 or HUD 520 may be provided with the visible light stereoscopic camera 52 (52a, 52b) so that the HMD 510 or HUD 520 can function as the dental stereomicroscope 50.
- the control unit 10 may be provided with the mirror image reversing mechanism 55 provided in the dental stereomicroscope 50, and instead of the shake preventing mechanism 54, the stereoscopic display photographed image S with a shake may be blurred by image processing.
- the control unit 10 may be provided with a processing unit that processes a non-existent image.
- the three-dimensional position detection unit 60 includes a patient position detection unit 61 that detects a three-dimensional position of the patient M, and a microscope position detection unit 62 that detects a three-dimensional position of the dental stereomicroscope 50.
- the patient position detection unit 61 and the microscope position detection unit 62 are configured to detect a three-dimensional position by collimating a plurality of spherical position detection markers (not shown) provided on a detection target for detecting a three-dimensional position.
- the image recognition position detection mechanism may be configured to detect a three-dimensional position by image recognition.
- a reflection plate is provided on the detection target, and the reflection plate is irradiated with a laser beam, and the reflected light is measured to measure a three-dimensional position or an infrared sensor that detects the position by infrared rays reflected by the reflection portion It may be configured by a detection unit or a radio wave detection unit that detects a position by a radio wave signal transmitted from a radio wave transmitter. Further, the patient position detection unit 61 and the microscope position detection unit 62 may be configured by different three-dimensional position detection mechanisms of different types of detection methods.
- the display screen 100 displayed on the display unit 51 (51a, 51b) in the observation system 3 configured as described above will be described with reference to FIG.
- the display screen 100 includes an image display unit 110 corresponding to the display unit, a patient information display unit 130 for displaying patient information, and a slave screen information display unit 140 for displaying information on three-dimensional image information to be displayed on the slave image display unit 110b.
- An operation unit 150 which receives various operations is displayed.
- the image display unit 110 is a plane based on the main image display unit 110a for displaying the stereoscopic display photographed image S taken by the dental stereomicroscope 50, and the three-dimensional image information of the operation target region displayed on the main image display unit 110a.
- the auxiliary image display unit 110b (corresponding to the corresponding image display area) for displaying the display conversion image Fp, without overlapping the main portion of the operation target region in the stereoscopic display photographed image S of the main image display unit 110a.
- the subsidiary image display unit 110b is configured to be displayed in parallel. Further, in the image display unit 110, in addition to the main image display unit 110a and the secondary image display unit 110b, a rotation number display unit 121 and a root canal length display unit 122 are displayed.
- the root canal length display unit 122 may display a root canal length measurement image as illustrated.
- a root canal length measuring device (not shown) may be incorporated in the medical treatment system 1 and a root canal length measuring signal may be input to the control unit 10 or a root canal length measuring signal from an external root canal length measuring device Are input to the control unit 10, and the measurement signal and the root canal length measurement image are interlocked.
- the apex is indicated by AP
- the position of the tool tip is indicated by a segment
- the distance to the apex is indicated numerically.
- the flat display converted image Fp of the secondary image display unit 110b illustrated in FIG. 3 is configured by Fp1 indicating a cross-sectional view of the operation target site and Fp2 indicating a cross-sectional position of the cross-sectional view. Furthermore, in the converted cross-sectional view Fp1, converted cross-sectional views Fp1a to Fp1c having different cross-sectional positions are displayed.
- the stereoscopic display photographed image S, the converted cross-sectional view Fp 1 and the cross-sectional position view Fp 2 are displayed such that the collimation axis CL is parallel.
- the collimation axis CL may or may not be displayed.
- the stereoscopic display photographed image S and the converted cross-sectional view Fp1 match the imaging direction (gaze direction), and the angle around the imaging direction (gaze direction), that is, the imaging direction (circumferential direction) is the same angle Is displayed on.
- the circumferential direction angle of the display of the stereoscopic display photographed image S and the converted cross-sectional view Fp1 corresponding to the imaging direction is referred to as a circumferential direction display angle
- the display according to such circumferential direction display angle is Assuming that the circumferential direction display is referred to, the circumferential direction display angle and the circumferential direction display of the stereoscopic display photographed image S and the converted cross-sectional view Fp1 coincide with each other.
- the collimation axis CL is displayed so as to be parallel.
- the three-dimensional display photographed image S and the converted cross-sectional view Fp1 can be planarly displayed on the same part in the same appearance as the gaze direction.
- the sectional position view Fp2 shows a side view of a volume image of a three-dimensional X-ray image of a designated tooth, which is an image parallel to the viewing direction and shows a volume image in the tooth axis direction.
- a side view of a volume image is shown here as the image of the cross-sectional position diagram Fp2
- a cross-sectional image may be displayed instead of the volume image.
- a plurality of straight lines spaced at predetermined intervals in the axial direction are displayed, and the plurality of straight lines indicate the position of the cross section indicated by the converted cross-sectional view Fp1.
- the converted cross-sectional view Fp1 shows converted cross-sectional views Fp1a, Fp1b, and Fp1c, which are planes of different cross sections in the depth direction along the collimation axis CL, and when cutting with a cutting tool, the cross section of the root canal etc. You can proceed with the treatment while drawing a picture of
- the stereoscopic display photographed image S and the flat display converted image Fp in the image display unit 110 configured by the main image display unit 110a and the secondary image display unit 110b as described above will be described in detail based on FIG.
- the image display unit 110 includes a left-eye display unit 51 a and a right-eye display unit 51 b.
- the stereoscopic display captured image S stereoscopically displayed in the main image display unit 110a is imaged by the left-eye camera 52a, and the left parallax image Sa displayed on the left-eye display unit 51a.
- the right parallax image captured by the right-eye camera 52b when the practitioner collimates with the left eye through the left eyepiece 57a and displayed on the right-eye display unit 51b
- the practitioner collimate Sb see FIG. 4B
- the practitioner can visually recognize the stereoscopic display photographed image S in a three-dimensional manner.
- the left parallax image Sa captured by the left-eye camera 52a and displayed on the left-eye display unit 51a is conceptually compared to, for example, three-dimensional display shown by a broken line in FIG.
- the right parallax image Sb displayed on the left side, captured by the right-eye camera 52b, and displayed on the right-eye display unit 51b is conceptually compared to the case where three-dimensional display shown by a broken line in FIG. For example, to be displayed on the right.
- the left parallax image Sa and the right parallax image Sb each having a difference between the appearance from the left and the appearance from the right (this is referred to as parallax)
- parallax the left parallax image Sa and the right parallax image Sb each having a difference between the appearance from the left and the appearance from the right (this is referred to as parallax)
- parallax binocular parallax
- both parallax image Sa and the right parallax image Sb are images with parallax, both may be displayed at positions indicated by broken lines in FIG. 4A and FIG. 4B as described above. Even if the angle is not exactly the same as the binocular parallax, if there is a difference seen from the right or seen from the left, there may be some angle differences. This point is the same as in FIG. 8 described later.
- the left-eye display unit 51a and the right-eye display unit 51b are connected to optical elements in which the left parallax image Sa enters the left eye view and the right parallax image Sb enters the right eye view, or It is in the route.
- the left parallax image Sa and the right parallax image Sb form an image in a three-dimensional manner, rather than an image that appears to be divided into right and left for the practitioner's brain in more detail. It looks like one stereoscopic display photographed image S shown in FIG. 4 (c).
- the main image display unit 110a mechanically displays the left parallax image Sa and the right parallax image Sb shown in FIG. 4A and FIG. 4B individually, but the brain of the practitioner It recognizes as a stereoscopic display photographed image S as shown in c). Thereby, the practitioner's brain recognizes the image display unit 110 in the state as shown in FIG.
- an image such as a stereoscopic display photographed image S that causes stereoscopic in-brain recognition may be considered as a subjective stereoscopic display photographed image
- an image display unit that displays such a subjective stereoscopic display photographed image May be considered as a subjective image display unit.
- the flat display converted image Fp displayed on the subsidiary image display unit 110b is displayed at the same position and the same size in the left-eye display unit 51a and the right-eye display unit 51b. Even if the part 51a and the right-eye display part 51b are independently collimated by the left eye and the right eye, the practitioner visually recognizes the flat display converted image Fp in a planar manner. Further, the flat display converted image Fp is displayed as a common image for the left eye and the right eye with no parallax on the left eye display unit 51 a and the right eye display unit 51 b.
- the stereoscopic display photographed image S stereoscopically displayed on the main image display unit 110a and the planar display converted image Fp planarly displayed on the secondary image display unit 110b are the display unit 51a for the left eye and the display unit for the right eye.
- the relative position of the operation target portion in the left parallax image Sa and the right parallax image Sb different in position and size from the display unit 51b is different from the relative position of the flat display converted image Fp displayed in plane.
- the patient information display unit 130 that displays patient information displays the patient number of the patient M, the patient's name, sex, age, and the like below the image display unit 110 on the display screen 100.
- the sub-screen information display unit 140 for displaying information on the three-dimensional image information displayed on the sub-image display unit 110 b is the operation target region displayed on the sub-image display unit 110 b below the sub-image display unit 110 b on the display screen 100.
- the type of three-dimensional image information which is the basis of the plane display converted image Fp of FIG.
- the operation unit 150 which receives various operations is displayed on the right side of the display screen 100, and in the order from the top, the secondary screen automatic adjustment operation button 151, the secondary screen movement adjustment operation button 152, the secondary screen size adjustment operation button 153, the secondary screen display location Change operation button 154, sub screen display method change operation button 155, sub screen display direction change operation button 156, sub screen display data change operation button 157, master / slave screen synchronization check box 158,
- the operation target selection operation button 159, the operation content selection operation button 160, the patient change operation button 161, and the calibration operation button 162 are configured.
- the secondary screen automatic adjustment operation button 151 is at least at least of the size and the position of the secondary image display unit 110 b for displaying the flat display converted image Fp, the rotation number display unit 121 and the main image display unit 110 a of the root canal length display unit 122. It is an operation button for instructing automatic adjustment of one side and the like when the imaging direction by the dental stereomicroscope 50 changes or according to the treatment content.
- the sub screen movement adjustment operation button 152 corresponding to the area adjustment unit is a position of the sub image display unit 110 b for displaying the flat display converted image Fp, the rotation number display unit 121 and the main image display unit 110 a of the root canal length display unit 122. Is an operation button to be pressed when performing manual adjustment.
- the sub screen size adjustment operation button 153 corresponding to the area adjustment unit has a size with respect to the sub image display unit 110 b for displaying the flat display converted image Fp, the rotation number display unit 121 and the main image display unit 110 a of the root canal length display unit 122. It is an operation button to be pressed when manually adjusting the height.
- the sub screen display position change operation button 154 is an operation button to be pressed when changing the cross-sectional position of the cross-sectional view of the treatment target portion displayed on the sub image display unit 110b as the flat display converted image Fp.
- By operating the sub-screen display position change operation button 154 tomographic images of the converted cross-sectional views Fp1a, Fp1b, and Fp1c having different tomographic positions can be displayed on the sub-image display unit 110b.
- the secondary screen display method change operation button 155 corresponding to the display switching operation unit is a display method of the flat display converted image Fp to be displayed on the secondary image display unit 110b, for example, an external view, a horizontal sectional view, a vertical sectional view, a frame display Or the like, or an operation button to be pressed when changing patient information of the patient M to be displayed instead of the flat display converted image Fp.
- the sub screen display direction change operation button 156 corresponding to the display direction change operation unit is an operation button to be pressed when changing the display direction of the flat display converted image Fp displayed on the sub image display unit 110 b.
- the sub-screen display data change operation button 157 is pressed when changing the type of three-dimensional image information of the operation target portion to be the basis of the flat display converted image Fp displayed on the secondary image display unit 110b as the flat display converted image Fp. It is an operation button.
- the master-slave screen synchronization check box 158 corresponding to the display direction reset operation unit is an imaging direction (gaze direction) with the dental stereomicroscope 50, an angle around the imaging direction (gaze direction), that is, an imaging direction (circumferential direction)
- the operation target selection operation button 159 is an operation button to be pressed when selecting a region to be an operation target in the stereoscopic display photographed image S displayed on the main image display unit 110a.
- the treatment content selection operation button 160 is an operation button to be pressed when selecting the treatment content.
- the patient change operation button 161 is an operation button to be pressed when changing from the information of the patient M so far when the new patient M is treated.
- the calibration operation button 162 is an operation button that is pressed when detecting the three-dimensional relative position between the dental stereomicroscope 50 and the patient M or re-detecting the three-dimensional relative position even during the operation.
- a cursor 163 as shown by an arrow icon in FIG. 3 is displayed on the display screen 100 configured in this way, and the cursor 163 is an operation input by stepping on the foot controller 214, gesture operation, touch panel operation, etc. It is configured to be.
- the practitioner presses the patient change operation button 161 of the display screen 100 generated by the display screen generation unit 14 and displayed on the display unit 51 (51a, 51b) to select the patient M to be operated (step s1).
- the control unit 10 calls the patient information stored in the patient information storage unit 32 of the storage device 30 and displays it on the patient information display unit 130.
- the practitioner depresses the sub-screen display data change operation button 157 to select the type of three-dimensional image information to be the basis of the flat display converted image Fp displayed on the sub image display unit 110b (step s2).
- the control unit 10 reads three-dimensional image information associated with the selected patient M from the three-dimensional information storage unit 31 (step s3).
- control unit 10 controls the three-dimensional position detection unit 60 to detect the three-dimensional position of the practitioner and the patient M. Specifically, the control unit 10 controls the microscope position detection unit 62 to detect the three-dimensional position of the dental stereomicroscope 50 (step s4), and controls the patient position detection unit 61 to three-dimensional position of the patient M. Is detected (step s5).
- the control unit 10 causes the relative position calculation unit 12 to calculate the three-dimensional relative position of the dental stereomicroscope 50 and the patient M Is detected (step s6).
- the imaging direction of the dental stereomicroscope 50 may be detected by position detection by the microscope position detector 62, or may be detected by the posture detector 53 provided in the dental stereomicroscope 50.
- the imaging direction detected by the microscope position detection unit 62 may include a direction along the incident direction of light entering the visible light stereoscopic camera 52, and a direction along the incident direction of light entering the visible light stereoscopic camera 52.
- the imaging angle direction in the circumferential direction around (line-of-sight direction), that is, the imaging direction (circumferential direction) may be included.
- the image generation unit 11 generates the stereoscopic display photographed image S and displays it on the main image display unit 110a (step s7).
- the control unit 10 determines a portion that can become the operation target region by image recognition with respect to the stereoscopic display photographed image S displayed on the main image display unit 110a.
- a stereoscopically displayed picked-up image S is selectively displayed as shown by a broken line BrL (step s8), or a region to be treated is selected on the stereoscopic display picked-up image S using the cursor 163.
- the image generation unit 11 When the operation target site is selected (step s9), the image generation unit 11 generates a flat display converted image Fp based on the three-dimensional image information read from the three-dimensional information storage unit 31, and the subsidiary image display unit 110b. Is displayed (step s10).
- the treatment content selection operation button 160 is pressed to select the treatment content to be given to the selected treatment target site, although not shown, a list of treatment contents that can be given to the treatment target region For example, it is displayed so as to be selectable as a pull-down display (step s11), and the treatment content is selected therefrom (step s12).
- the selection of the treatment content is, for example, to automatically display the flat display converted image Fp suitable for the treatment content on the follow-up image display unit 110b by the control of the control unit 10, and the treatment content is selected. It may not be selected or may not be selected.
- a root canal treatment is performed on the molars by cutting the canopy portion to expose the root canal opening inside the tooth and cutting to the root canal apex with a file or a reamer to treat the lesion of the root canal Is selected.
- the external shape from the meshing surface direction of the crown exposed from the gum in the molar as a treatment target site is a main image display as a stereoscopic display photographed image S It is displayed on the part 110a.
- the position of the root canal opening in the molar and the shape of the root canal which do not appear in appearance become very important. Therefore, X-ray three-dimensional image information acquired by the X-ray CT imaging apparatus 40 The flat display converted image Fp based on the above is displayed on the subsidiary image display unit 110b.
- step s13: Yes If the master-slave screen synchronization check box 158 at 100 is checked (step s14: Yes), the control unit 10 causes the display direction adjustment unit 13 to synchronize the movement of the dental stereomicroscope 50 with the slave image display unit 110b.
- the display direction of the converted cross-sectional view Fp1 in the flat display converted image Fp is displayed to be parallel to the captured image of the microscope, that is, the collimation axis CL to be parallel and the angle around the imaging axis to be the same .
- the enlargement ratio is adjusted, and the converted cross-sectional view Fp1 whose display direction is adjusted by the display direction adjustment unit 13 is displayed by the display screen generation unit 14. It generates Te, displayed on the sub image display unit 110b (step s19).
- the dental stereomicroscope 50 can be pivoted about the axis of the optical axis of the objective with respect to the support arm 58, and as shown in FIG.
- the stereoscopic display photographed image S corresponding to the direction is displayed on the display screen 100a and, in synchronization, the converted cross section displayed on the sub image display unit 110b
- the direction of the figure Fp1 is also displayed in the direction in which the predetermined angle is changed clockwise. Note that the axial direction of the optical axis of the objective coincides with the imaging direction (line of sight direction) in azimuth.
- the stereoscopic display photographed image S according to the direction is displayed on the display screen 100a. While being displayed, in synchronization with this, the direction of the flat display converted image Fp displayed on the secondary image display unit 110b is also displayed in the clockwise direction with the direction changed by a predetermined angle. In addition, you may rotate it anticlockwise.
- the change of the imaging direction (circumferential direction) described through FIGS. 6 (a) to 6 (c) is shown as an example of the movement of rotating the dental stereomicroscope 50 around the optical axis of the objective.
- the angles around the optical axis of the objective are specific examples of the angles around the imaging direction (line of sight direction), and these angles are distractors of the collimation axis CL on the stereoscopic display photographed image S and the planar display converted image Fp1, for example. Can be viewed in the direction of
- the orientation of the flat display conversion image Fp displayed on the secondary image display unit 110b also changes synchronously, so observation could not be made from only one direction.
- the shape of the root portion buried in the gums can also be confirmed.
- the check box 158 may be checked by default, since it is desirable to observe the stereoscopic display photographed image S and the flat display converted image Fp in a synchronized state.
- step s13: No If the movement of the dental stereomicroscope 50 is not detected (step s13: No), or if the movement of the dental stereomicroscope 50 is detected, the master-slave synchronization check box 158 is not checked, the secondary image display unit The flat display conversion image Fp displayed on 110b does not change. Further, when the master-slave screen synchronization check box 158 is not checked, the slave screen display direction change operation button 156 is pressed, and the operation to adjust the display direction of the flat display converted image Fp displayed on the slave image display unit 110b is performed. Then (step s16: Yes), it is possible to change and display only the display direction of the flat display converted image Fp displayed on the secondary image display unit 110b.
- three-dimensional image information is obtained by the X-ray CT imaging apparatus 40.
- the X-ray CT imaging apparatus 40 is generally provided with a fixing unit for fixing a subject at the time of X-ray CT imaging. Since the spatial positional relationship between the X-ray generator, the X-ray detector, and the fixed unit can be calculated, spatial coordinate information of the region to be imaged of the person to be imaged such as the patient M fixed to the fixed unit can also be calculated.
- the XYZ orthogonal coordinates of the right-handed system are set in coordinate calculation.
- the vertical direction of the head of the subject is "Z-axis direction”
- the direction intersecting the Z-axis is "X-axis direction”
- the direction intersecting the X-axis direction and Z-axis direction is "Y-axis direction” I assume.
- the X-axis and Y-axis directions can be determined arbitrarily, here, the left and right directions of the person to be photographed are defined as X-axis directions, and the front and back directions are defined as Y-axis directions.
- the right hand direction is (+ X) direction
- the front direction is (+ Y) direction
- the vertically upward direction is (+ Z) direction as viewed from the person to be photographed.
- Coordinate information such as the three-dimensional position and orientation of the region to be imaged is added to the three-dimensional image information.
- the XYZ orthogonal coordinates of the right-handed system can be set also in the space where the medical examination table 22 is installed, in coordinate calculation.
- the spatial position of the treatment target person holding unit such as the back sheet 223 and the head rest 224 can be calculated, spatial coordinate information of the treatment target portion of the treatment target person placed thereon can also be calculated.
- the headrest 224 is a holder of the head of the operation subject and is important for specifying the arch position.
- the vertical direction of the head of the operation subject is "Z-axis direction”
- the direction intersecting the Z-axis is "X-axis direction”
- the direction intersecting the X-axis direction and the Z-axis direction is "Y-axis”.
- the X-axis and Y-axis directions can be arbitrarily determined.
- the left and right directions of the seated treatment subject are defined as X-axis directions
- the front-rear direction is defined as Y-axis directions.
- the right hand direction is the (+ X) direction
- the front direction is the (+ Y) direction
- the vertically upward direction is the (+ Z) direction as viewed from the treatment subject.
- the XYZ orthogonal coordinates of the X-ray CT imaging apparatus 40 and the XYZ orthogonal coordinates of the medical table 22 are made to correspond by the program of coordinate calculation and observed with the dental stereomicroscope 50 It can be aligned with the Thus, the change in the display direction of the flat display conversion image Fp can be interlocked with the rotational movement of the dental stereomicroscope 50.
- the secondary image display unit 110b is displayed.
- the display direction of the flat display converted image Fp returns to the direction that matches the display direction of the stereoscopic display captured image S displayed on the main image display unit 110a, that is, the direction before the change (step s18).
- the display direction of the flat display converted image Fp displayed on the secondary image display unit 110b by the check does not return to the display direction before the direction change, and the display direction according to the imaging direction of the dental stereomicroscope 50 in which the imaging direction is changed. Will be displayed.
- step s20 Yes
- the cursor 163 drags a corner of the sub image display unit 110b.
- FIG. 7B it is possible to adjust the size of the subsidiary image display unit 110b with respect to the stereoscopic display photographed image S displayed on the main image display unit 110a (step s21).
- the operation target portion of the stereoscopic display captured image S displayed on the main image display unit 110a and the planar display converted image Fp The sub screen movement adjustment operation button 152 is pressed (step s20), and the sub image display portion 110b is dragged by the cursor 163, as shown in FIG.
- the size of the secondary image display unit 110b is adjusted to be large with respect to the stereoscopic display photographed image S displayed on the primary image display unit 110a, or as shown in FIG.
- the size of the unit 110b can be adjusted to be small (step s21).
- the stereoscopic display photographed image S stereoscopically displayed on the main image display unit 110a is imaged by the left-eye camera 52a and displayed on the left-eye display unit 51a.
- the right parallax image is displayed by the right-eye display unit 51b when the practitioner collimates with the left eye through the left eyepiece unit 57a (see FIG. 8B) and the image is captured by the right-eye camera 52b.
- the practitioner collimates Sb see FIG. 8C
- the practitioner can stereoscopically view the stereoscopic display photographed image S.
- the left parallax image Sa captured by the left-eye camera 52a and displayed on the left-eye display unit 51a is conceptually, for example, compared to the case where stereoscopic display shown by a broken line in FIG.
- the right parallax image Sb displayed on the left side, captured by the right-eye camera 52b, and displayed on the right-eye display unit 51b is conceptually compared to the case where three-dimensional display shown by a broken line in FIG. For example, it is displayed on the right side.
- the main image display unit 110 b since the flat display converted image Fp displayed on the sub image display unit 110 b is displayed at the same position and the same size in the left eye display unit 51 a and the right eye display unit 51 b, the main image display unit The position and size of the stereoscopic display photographed image S stereoscopically displayed in 110a and the planar display converted image Fp planarly displayed on the auxiliary image display unit 110b are different between the left-eye display unit 51a and the right-eye display unit 51b. The relative positions of the treatment target portion in different left parallax image Sa and right parallax image Sb are different from the relative position of the flat display conversion image Fp displayed in plane.
- FIG. 8D a practitioner who stereoscopically views the stereoscopic display photographed image S displayed on the subsidiary image display unit 110b drags the corner of the subsidiary image display unit 110b by the movement distance L.
- the sub image display unit 110b is enlarged, as shown in FIG. 8F, the distance between the corner of the sub image display unit 110b before size adjustment and the treatment target site is three-dimensional.
- the subsidiary image display unit 110b is enlarged according to the movement distance L. Even in this case, the operation target site in the main image display unit 110a and the subsidiary image display unit 110b do not overlap.
- the distance between the corner of the secondary image display unit 110b before the size adjustment and the treatment target site is the size before the size adjustment in a state where it is three-dimensionally recognized.
- the left parallax image Sa which is shorter than the distance between the corner of the sub image display portion 110b and the treatment target region, when the sub image display portion 110b is enlarged according to the movement distance L, the treatment target portion and sub The image display unit 110 b overlaps.
- the control unit 10 compares the distance between the corner of the sub-image display unit 110b before the size adjustment in the left parallax image Sa and the right parallax image Sb and the treatment target site, and based on the distance whose comparison result is short, Assuming that the moving distance L of the drag operation with respect to the stereoscopic display photographed image S visually recognized in three dimensions is converted, for example, as illustrated in FIG. 8E, the drag operation is performed at a moving distance La shorter than the moving distance L The control is performed to adjust the size of the sub image display unit 110b.
- the size adjustment of the subsidiary image display unit 110 b has been described, the same adjustment processing is performed by the control unit 10 in position adjustment. Further, with regard to adjustment of at least one of the size and the position of the above-described secondary image display unit 110b, the secondary image display unit is automatically controlled by the control unit 10 if the secondary screen automatic adjustment operation button 151 is pressed. At least one of the size and position of 110b can be adjusted.
- FIG. 6 and FIG. 7 although the external view of the treatment object site
- the secondary screen display method change operation button 155 is pressed to be displayed on the secondary image display unit 110b as the flat surface display converted image Fp, a horizontal sectional view, a longitudinal sectional view, an arbitrary direction sectional view including an external view
- a pull-down display (not shown) is displayed in which various display methods such as a frame diagram or numerical character index are listed, and a desired display method is selected from them (Step s20: Yes), the selected display is selected.
- the flat display converted image Fp of the method is displayed on the subsidiary image display unit 110b (step s21).
- the horizontal screen display method is selected from the pull-down display (not shown) in which the secondary screen display method change operation button 155 is pressed and the display method is listed.
- the secondary image display unit 110b a horizontal cross-sectional view of the treatment target portion is displayed as a flat display converted image Fp.
- the sectional direction of the flat display converted image Fp to be displayed on the subsidiary image display unit 110b can be specified by pop-up display (not shown) for specifying the direction of the section.
- an image ready for section specification on the follow-up image display unit 110b may be used as the section position specification display screen 180.
- the secondary screen display location change operation button 154 is pressed, When a cross-sectional position is designated by selecting position line 181 and clicking, as shown in FIGS. 9B to 9D, the root of the root orthogonal to the collimation axis CL along the designated collimation axis CL.
- the converted cross-sectional view Fp1 corresponding to the display position line 181 at the position where the depth is different is displayed on the subsidiary image display unit 110b.
- FIG. 9 (b) when the display position line 181a at the top is selected in the subsidiary image display 110b of the image display unit 110 shown in FIG. 9 (a),
- the horizontal sectional view corresponding to the display position line 181a that is, the flat display converted image Fp1a is displayed and the second display position line 181b from the top is selected as shown in FIG. 9C
- the flat display converted image When Fp1b is displayed and the third display position line 181c from the top is selected as shown in FIG. 9D
- the flat display converted image Fp1c is displayed.
- the cross-sectional view of any cross-section is displayed on the secondary image display unit 110b as described above, it is displayed on the main image display unit 110a when the movement of the dental stereomicroscope 50 is detected.
- the flat display converted image Fp which is a sectional view displayed on the secondary image display unit 110b, may also be changed in synchronization with a change in display of the stereoscopic display photographed image S.
- the cross-sectional position of the flat display converted image Fp displayed as the cross-sectional view displayed on the subsidiary image display unit 110b without displaying the cross-sectional position designation display screen 180 is controlled by the control unit 10 according to the treatment content. You may comprise so that it may be changed suitably.
- the setting of the cross section indicated by the display position line 181 can be made variously.
- the distance between the plurality of cross sections may be changed to be wide or narrow, or the number of cross sections may be large or small (including 1).
- the setting of an arbitrary position may be accepted.
- the configuration is generally set to a plurality of cross sections. However, although a predetermined number of cross sections may be arranged, it is possible to receive a slide operation or a position designation operation in the direction of alignment, and can set an arbitrary position. You may do so. Note that this flow is repeated until the end of the treatment (Step s22: No), and this flow is also completed with the end of the treatment (Step s22: Yes).
- the collimation axis CL may not be applied to the cross-sectional position diagram Fp2. As shown by the cross-sectional view Fp3 in FIG. 14A, the collimation axis CL of the converted cross-sectional view Fp1 may be used as a designation line of the cross-section.
- the collimation axis CL displayed in the converted cross-sectional view Fp1 is an axis set in, for example, an XY plane in plan view.
- the target tooth is displayed such that the tooth axis is in a direction parallel to the vertical direction of the screen.
- a plane in which the collimation axis CL spreads in the Z direction is a designated cross section, and a view of the cross section is displayed.
- the display position line 181 may also be displayed.
- the setting operation of the cross-sectional specification line may be accepted with respect to the converted cross-sectional view Fp1 without necessarily using the sighting axis CL.
- FIG. 14A is configured to display the cross-sectional view Fp3 instead of the cross-sectional view Fp2, the cross-sectional view Fp2 and the cross-sectional view Fp3 may be displayed together.
- the display position may be switched between the cross-sectional position diagram Fp2 and the cross-sectional position diagram Fp3.
- an index SD indicating the imaging direction may be displayed.
- a setting example of the collimation axis CL will be described. It may be set in a direction generally crossing the buccolingual center of each tooth in a direction in which the rows of teeth are arranged in a plan view, or a substantially horseshoe shape which generally crosses the buccal tongue center of each tooth in the entire dental arch
- the collimation axis may be set.
- the other direction may be the collimation axis CL.
- the setting operation of any axis may be accepted with respect to the converted cross-sectional view Fp1, and in the XY plane, the X direction, the Y direction, A default direction such as a direction obtained by combining the X direction and the Y direction may be set.
- the collimation axis CL is used as a visual recognition index indicating a direction common to the stereoscopic display photographed image S and the converted cross-sectional view Fp1.
- the collimation axis CL is preferably set to a locally common position between the stereoscopic display photographed image S and the converted cross-sectional view Fp1.
- the image pick-up direction to the operation object site of visible light stereoscopic camera 52 (52a, 52b) which carries out the three-dimensional image pickup of the stereoscopic display photography image S of the desired operation object site in an oral region is detected. , 52b), and a flat display converted image Fp obtained based on three-dimensional image information corresponding to the treatment target site, acquired in advance and stored in the three-dimensional information storage unit 31 in the image display unit 110. While displaying side by side, the planar display conversion image Fp of the predetermined direction on the basis of the imaging direction detected by the relative position calculation part 12 can be displayed.
- the planar display converted image Fp in the imaging direction of the stereoscopic display photographed image S of the operation target portion is displayed without superimposing the flat display converted image Fp based on the three-dimensional image information on the stereoscopic display photographed image S of the operation target portion.
- the adjusted dental stereomicroscope 50 Since the display direction of the flat display conversion image Fp whose display direction is adjusted matches the imaging direction, the flat display conversion image Fp whose display direction is adjusted is manually moved in the imaging direction of the dental stereomicroscope 50 whose imaging direction is adjusted. The convenience and operability can be improved as compared with the case of adjusting while finely adjusting.
- three-dimensional image information is acquired by an X-ray CT imaging apparatus, a three-dimensional X-ray image, a nuclear magnetic resonance image acquired by a nuclear magnetic resonance imaging apparatus, an ultrasonic three-dimensional image acquired by an ultrasonic diagnostic imaging apparatus Using any one of an image and an optical interference three-dimensional image acquired by an optical coherence tomography apparatus, for example, using a three-dimensional image of a type suitable for treatment contents or a patient as three-dimensional image information it can.
- the display direction adjustment unit 13 is a transverse direction sectional view orthogonal to the imaging direction (gaze direction) based on the three-dimensional image information, a longitudinal sectional view along the imaging direction (gaze direction), or By displaying the cross-sectional image in any direction with respect to the direction as the flat display conversion image Fp, the invisible portion in the operation target area can be recognized more easily and accurately by the cross-sectional view, and the operation is safer and more accurate. It can be performed.
- the display direction adjustment unit 13 is provided with the cross section position specification display screen 180 for adjusting the cross section position in the direction based on the imaging direction (line of sight direction) of the cross section image, the invisible at the desired cross section position in the imaging target Since the cross-sectional view of the portion can be displayed on the image display unit 110, the portion of interest in the invisible portion can be more easily and accurately recognized, and further safe and accurate treatment can be performed.
- a secondary image display unit 110b is provided in the image display unit 110 to display the flat display converted image Fp, and a secondary screen for adjusting at least one of the size and position of the secondary image display unit 110b in the image display unit 110. Since the movement adjustment operation button 152 and the secondary screen size adjustment operation button 153 are provided, for example, the secondary image display unit 110b on which the flat display converted image Fp is displayed according to the size of the imaging corresponding portion and the treatment content. It is possible to adjust the position to a position that is more easily visible, or to make the secondary image display unit 110 b larger or smaller, and display the main part of the stereoscopic display photographed image S displayed on the main image display unit 110 a and the flat display converted image Fp. The satisfaction of the practitioner is improved in response to the practitioner's detailed requests without the superimposed secondary image display unit 110b being displayed in a superimposed manner. It can be.
- the relative positions of the operation target portion in the left and right parallax images Sa and Sb and the secondary image display unit 110 b are different, and the secondary image display unit 110 b by the secondary screen movement adjustment operation button 152 and the secondary screen size adjustment operation button 153 In the adjustment of the above, even if the operation target portion in one parallax image Sa, Sb does not overlap with the secondary image display unit 110b, the operation target portion in the other parallax image Sa, Sb overlaps with the secondary image display unit 110b.
- the adjustment of the secondary image display unit 110b by the secondary screen movement adjustment operation button 152 and the secondary screen size adjustment operation button 153 is the selected treatment in the left and right parallax images Sa and Sb corresponding to the stereoscopic display photographed image S.
- the left and right parallax images Sa and Sb are based on the relative positional relationship between the target portion and the secondary image display unit 110b. Since the operation target site and the secondary image display unit 110 b are adjusted so as not to overlap with each other, the treatment target site to be stereoscopically displayed and the secondary image display unit 110 b to be displayed two-dimensionally are displayed in parallel without overlapping. it can.
- the secondary screen display method change operation button 155 for switching the display method of the flat display converted image Fp is provided, for example, as the flat display converted image Fp, cross section, volume data, numerical data, etc. Can be displayed as a flat display converted image Fp.
- dental care data may be displayed together with the flat display converted image Fp.
- the image display unit 110 is configured to be displayed on the display unit 51 (51a, 51b) of the HMD 510 or HUD 520 attached to the head of the practitioner, the visible light stereoscopic camera 52 (52a, 52b) Since the camera unit 52a, 52b of the pair configuration is held by the support arm 58 extending from the headrest 224 of the chair unit 2 so as to be changeable, the practitioner is more appropriate according to the treatment content and preference The operation can be performed using a device according to various specifications.
- the visible light stereoscopic camera 52 (52a, 52b) is provided with the shake preventing mechanism 54 for preventing a shake
- the treatment can be performed while looking at the clearer stereoscopic display photographed image S.
- the visible light stereoscopic camera 52 (52a, 52b) is provided with the mirror image reversing mechanism 55 for mirror image reversing of the stereoscopic display photographed image S
- the practitioner conforms to the procedure while looking at the dental mirror which is usually used. The operation can be performed while looking at the mirror-image-inverted stereoscopic display photographed image S.
- control unit 10 when using a dental mirror for three-dimensional image information such as an X-ray CT image, the control unit 10 is provided with a mirror inversion unit of the three-dimensional image (not shown) to mirror-invert and display the three-dimensional image. May be Also, as necessary, this three-dimensional image may be rotated and displayed in a direction easy for the operator to recognize.
- a mirror inversion unit of the three-dimensional image (not shown) to mirror-invert and display the three-dimensional image. May be Also, as necessary, this three-dimensional image may be rotated and displayed in a direction easy for the operator to recognize.
- FIG. 12 shows an example when the observation direction is changed.
- the tooth TH is observed along the optical axis SV1 of the objective with the dental stereomicroscope 50 at the position PS1.
- the axial direction of the optical axis SV1 and the axial direction of the tooth axis of the tooth TH substantially coincide with each other.
- the dental stereomicroscope 50 is moved to the position PS2, and the tooth TH is observed along the optical axis SV2 of the objective having a gap of an angle ⁇ with the optical axis SV1.
- a cross section indicated by the display position line 181 is set for the tooth TH. This cross section is set as a cross section orthogonal to the optical axis SV1, and a converted cross sectional view Fp1 along the display position line 181 is displayed as shown in FIG. 12 (c).
- a cross section indicated by the display position line 181 is set orthogonal to the optical axis SV2, but the cross section is a cross section orthogonal to the optical axis SV1. You may leave the position.
- the change in the imaging direction (circumferential direction) and the conversion cross-sectional view Fp1 may be performed at the same circumferential display angle even if there is visual compression. Regardless of the tilt of the dental stereomicroscope 50, a converted cross-sectional view Fp1 of a cross-section as shown in FIG. 12 (c) may be displayed.
- the cross section shown by the display position line 181 may be set to a plane parallel to the XY plane, or a plane orthogonal to the axial direction of the tooth axis of the tooth TH is set. It is also good. Any other default face may be set.
- the cross section of conversion sectional drawing Fp1 setting as follows is considered. Due to the structure of the part of the teeth, the lower jaw teeth often look down or obliquely looking down in relation to the head body axis as the imaging direction (line of sight direction); Since it is often seen looking up or obliquely looking up in relation to the head axis, it is preferable that the cross section be set to intersect the tooth axis. By this setting, it is possible to grasp the appearance of the cross section at the back of the tooth surface which is reflected in the stereoscopic display photographed image S currently observed by the practitioner. From this purpose, for example, as described above, the setting of the cross section orthogonal to the line of sight, the cross section orthogonal to the axial direction of the tooth axis of the teeth, etc. can be considered.
- the cross section can be observed from the crown to the tooth root or in the opposite direction, so that the internal condition of the target tooth can be grasped well. It is preferable to connect the roots.
- the cross section indicated by the display position line 181 orthogonal to the optical axis SV2 can be set.
- the tooth axis of the target tooth is TX
- the direction of arrangement of the plurality of cross sections is set along the tooth axis TX. Then, it is suitable.
- the setting of the cross section will be slightly detailed. It is assumed that the maximum of the angle of the cross section indicated by the display position line 181 with respect to the tooth axis TX is the angle AMX and the minimum is the angle AMN. Preferably, the angle AMX is 90 ° or more and 135 ° or less, and the angle AMN is 45 ° or more and 90 ° or less.
- the angle AMX and the angle AMN are 90 ° as an extreme value, and as the angle AMX and the angle AMN approach 90 °, the image of the cross section can be easily grasped as if the target tooth is sliced right beside.
- the axial direction of the tooth axis TX can be determined, for example, from the spatial coordinate information of the treatment subject (dental arch) held by the treatment subject holding unit of the medical examination table 22 and the treatment target holding unit.
- a treatment subject having a standard skeleton generally assumed may be set, or axial data of the tooth axis TX may be obtained from measurement information of the individual treatment subject.
- FIG. 13 Description will be made with reference to FIG. 13 regarding the imaging direction (line-of-sight direction), specifically, the axial direction of the optical axis of the objective and the direction of the flat display conversion image Fp.
- FIG. 13 (a) it is now assumed that there are upper jaw teeth THU and lower jaw teeth THL.
- PL there is PL.
- the maxillary teeth THU are observed along the optical axis SV3 of the objective with the dental stereomicroscope 50, and the teeth THL of the lower jaw are observed along the optical axis SV4 of the objective with the dental stereomicroscope 50. Then, each of the upper jaw teeth THU and the lower jaw teeth THL is displayed by the stereoscopic display photographed image S and the flat display converted image Fp.
- the point BU is displayed on the upper side of the screen and the point PU is displayed on the lower side of the screen.
- FIG. 13C for the upper jaw tooth THL, when displaying the stereoscopic display photographed image S so that the point PL is on the upper side of the screen and the point BL is on the lower side of the screen, flat display conversion Also for the image Fp, the point PL is displayed on the upper side of the screen and the point BL is displayed on the lower side of the screen.
- the direction of the cross section displayed in the flat display converted image Fp is set based on the imaging direction (line of sight direction). (It depends on whether you look up or down depending on whether you look up or down)
- the visible light image of the present embodiment corresponds to the stereoscopic display photographed image S
- the stereoscopic camera corresponds to the visible light stereoscopic camera 52
- the imaging site corresponds to the operation target site
- the imaging direction detection unit corresponds to the relative position calculation unit 12 and
- the storage unit corresponds to the three-dimensional information storage unit 31;
- the corresponding image corresponds to the flat display converted image Fp
- the display unit corresponds to the image display unit 110
- the image processing unit corresponds to the display direction adjustment unit 13
- the dental observation device corresponds to the observation system 3
- the display direction change operation unit corresponds to the sub screen display direction change operation button 156
- the display direction reset operation unit corresponds to the master-slave screen synchronization check box 158
- the section adjustment operation unit corresponds to the section position specification display screen 180
- the corresponding image display area corresponds to the subsidiary image display unit 110b
- the area adjustment unit corresponds to the sub screen movement adjustment operation button 152 and the sub screen size adjustment
- the root canal treatment for cutting the tooth as the treatment content has been described as a mode in which the flat display converted image Fp based on the X-ray three-dimensional image information is displayed on the secondary image display unit 110b.
- a treatment for the corroded tooth T a treatment for forming the abutment tooth X as shown in FIG. 11 (b) may be displayed on the sub image display unit 110b and the treatment may be performed.
- the shape formed by the treatment can be displayed in parallel as three-dimensional image information as an invisible portion at the imaging target location, and the observation system 3 is provided.
- the medical care system 1 can function as a treatment assistant or treatment simulation.
- the visible light stereoscopic camera 52 in the above description can three-dimensionally image the treatment target region to be observed, and observes using the parallax of the left and right eyes
- it was a binocular microscope it has a camera-mounted head-mounted display or a device that can obtain depth information even with a single-lens configuration, an element that detects RGB signals that are the three primary colors of light, and an element that detects distance Devices such as RGB-D cameras and light field cameras that have both of them, and devices that capture multiple different blurred images at a high speed with a single lens and process and image them .
- a flat display converted image displayed on the secondary image display unit 110b with respect to the stereoscopic display photographed image S displayed on the primary image display unit 110a when adjusting the position of the secondary image display unit 110b in the image display unit 110, a flat display converted image displayed on the secondary image display unit 110b with respect to the stereoscopic display photographed image S displayed on the primary image display unit 110a.
- the flat display converted image Fp to be superimposed is gradually transmitted, that is, the transparency of the flat display converted image Fp is adjusted according to the degree of superimposition of the stereoscopic display photographed image S and the flat display converted image Fp. It may be configured as described above.
- the master-slave screen synchronization check box 158 functions as a display direction reset operation unit, but a display return operation button or the like functioning as a display direction reset operation unit is provided separately from the master-slave screen synchronization check box 158 May be
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Urology & Nephrology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Endoscopes (AREA)
Abstract
立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる歯科用観察装置を提供することを目的とする。 口腔領域における施術対象部位の二次元撮影画像Pを立体撮像する可視光立体カメラ52と、施術対象部位に対する可視光立体カメラ52の撮像方向を検出する相対位置算出部12と、予め取得した三次元画像情報を記憶する三次元情報記憶部31と、可視光立体カメラ52で撮像した二次元撮影画像Pと、施術対象部位に対応する三次元画像情報に基づく変換二次元画像Csとを並べて表示する画像表示部110と、相対位置算出部12で検出した撮像方向を基準とした所定の方向の変換二次元画像Csを画像表示部110に表示する表示方向調整部13を観察システム3に備えた。
Description
本発明は、例えば、口腔領域における所望の撮像箇所を撮像する可視光画像と、前記撮像箇所に対応する三次元画像情報に基づく対応画像とを表示する歯科用観察装置及び歯科用画像の表示方法に関する。
従来より、歯科医療分野等において、例えば、歯牙に対する根管治療の際には、一般に、口腔内カメラと呼ばれる光学カメラや歯科用顕微鏡で口腔内や歯牙を撮像(観察)して治療することで精密な根管治療等の歯科治療を行うようになってきている。
しかしながら、光学カメラや歯科用顕微鏡によって撮像した可視光画像は、可視光による咬合面方向の歯牙表面の画像であり、歯牙内部の根管の形態等の不可視部分については、可視光画像からは確認が難しかった。
そのような問題に対して、特許文献1に記載の根管治療用装置では、関心領域である歯牙に対してX線を照射して投影データを収集し、得られた投影データをコンピュータ上で再構成して、Computerized Tomography画像(CT撮影断層面画像、ボリュームレンダリング画像等)を生成するCT撮影が行われるとともに、歯牙を透過するX線によって、歯牙の表面から視認できない根管の形態等の不可視部分の位置や大きさを、関心領域である歯牙の可視光画像に重畳表示することができる。
これにより、施術者は、CT撮影画像と、光学カメラや歯科用顕微鏡による可視光画像とを頭の中で三次元的に合成させることなく、見えない不可視部分を可視化しながら治療できるため、より安全かつ正確に治療することができる。
このように、不可視部分のCT撮影画像と、光学カメラや歯科用顕微鏡による可視光画像とを頭の中で三次元的に合成させることなく、可視化した不可視部分を重畳表示させた可視光画像を見ながら治療できることは好ましいものの、施術箇所の視認性を優先したいとの要望もあった。
そこで本発明は、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる歯科用観察装置及び歯科用画像の表示方法を提供することを目的とする。
この発明は、口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラと、前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部と、予め取得した前記口腔領域に関する三次元画像情報を記憶する記憶部と、前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する表示部と、前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を前記表示部に表示する画像処理部とが備えられた歯科用観察装置であることを特徴とする。
またこの発明は、口腔領域における所望の撮像箇所の可視光画像を立体カメラで立体撮像し、前記立体カメラで撮像した前記可視光画像と、予め取得した前記口腔領域に関する三次元画像情報のうち前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する際に、前記撮像箇所に対する前記立体カメラの撮像方向を基準とした所定の方向の前記対応画像を表示する歯科用画像の表示方法であることを特徴とする。
上記立体カメラは、観察対象である撮像箇所を立体的に撮像することができるものであって、例えば、左右の眼の視差を利用して観察する両眼タイプ(双眼タイプ)の歯科用顕微鏡やカメラ付きヘッドマウントディスプレイ、あるいは、1眼の構成であっても奥行情報が取れるデバイスとして、両眼視を模したデバイスのほかに、カラーの三原色であるRGBの信号を検出する素子と奥行き(Depth)を検出する素子との両方備えたRGB-Dカメラやライトフィールドカメラなどのデバイスで撮影した情報を液晶や有機EL等の平板状の表示装置で表示する構成であってもよい。
上記三次元画像情報は、X線CT画像、核磁気共鳴画像、超音波三次元画像、光干渉三次元画像、及び三次元口腔スキャナで取得した三次元スキャンデータ、3DCADソフト用のファイルフォーマットであるstlデータ等を含む。
上記可視光画像は、動画像(映像)、あるいは静止画像のコマ送りなどであってもよい。
上記可視光画像は、動画像(映像)、あるいは静止画像のコマ送りなどであってもよい。
上記撮像方向を基準とした所定の方向は、前記撮像方向に対して平行な方向、直交する方向、あるいは撮像方向に対して所定の角度を向いた方向をいう。また、上記所定方向が撮像方向に平行な方向である場合、撮像方向周りの同一角度となる方向をいう。
なお、前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部は、例えば、周知の非接触型の三次元位置検出器として、例えば、立体カメラに内蔵したジャイロや、前記立体カメラに装着した複数の小玉からなる赤外線反射部材と、赤外線反射部材の三次元位置を計測する赤外線を用いた周知の三次元位置測定器であってもよいし、前記立体カメラに装着した磁気発生源から発する磁気により三次元位置を検出する三次元位置計測器であってもよい。また、立体カメラで取得した画像を基にした画像認識技術等を使用した三次元位置誘導検出器であってもよい。
また、撮像方向検出部は、前記位置検出部で検出した前記立体カメラと撮像箇所とのそれぞれの位置情報に基づいて、前記撮像箇所に対する前記立体カメラの撮像方向を検出してもよい。
また、本明細書における立体カメラは、観察や診療のために撮像箇所を撮像できれば撮像した画像や映像を記録できても記録できなくてもよい。
また、本明細書における立体カメラは、観察や診療のために撮像箇所を撮像できれば撮像した画像や映像を記録できても記録できなくてもよい。
この発明により、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる。
詳述すると、口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラの前記撮像箇所に対する撮像方向を検出し、前記立体カメラで撮像した前記可視光画像と、記憶部に記憶した予め取得し、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを表示部に並べて表示するとともに、前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を表示することができる。
したがって、例えば、施術対象箇所の可視光画像に三次元画像情報に基づく対応画像を重畳表示させることなく、施術対象箇所の可視光画像の撮像方向の対応画像を撮像方向に平行な方向であって撮像方向周りの同一角度の可視光画像と並列表示することができ、また、可視光画像と対応する向きで対応画像を表示できるため、施術者は、不可視部分を並列表示する対応画像を確認しながら、施術箇所が明確に表れた可視光画像を見ながら安全かつ正確に施術することができる。なお、対応画像は、望ましくは撮像画像と拡大率を同じにするか撮像画像よりも拡大率を下げた小さい画像として表示することが望ましい。
この発明の態様として、前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示してもよい。
なお、上述の立体カメラは、二眼カメラ(双眼タイプ)又は立体視可能な一眼カメラであってもよい。
なお、上述の立体カメラは、二眼カメラ(双眼タイプ)又は立体視可能な一眼カメラであってもよい。
この発明により、前記撮像箇所を視差に基づいて立体表示することができる。
また、立体表示した前記撮像箇所の可視光画像と、平面表示した前記対応画像とを重畳させることなく、並列表示することができる。
また、立体表示した前記撮像箇所の可視光画像と、平面表示した前記対応画像とを重畳させることなく、並列表示することができる。
またこの発明の態様として、前記表示部に、前記対応画像が表示される対応画像表示領域が設けられ、前記表示部における前記対応画像表示領域の大きさ及び位置のうち少なくとも一方を調整する領域調整部が設けられてもよい。
この発明により、例えば、施術内容等に応じて、対応画像が表示される対応画像表示領域をより視認しやすい位置に位置調整したり、対応画像表示領域を大きくしたり、小さくしたりできるため、施術者の細やかな要望に対応して、施術者の満足度を向上させることができる。
またこの発明の態様として、前記撮像箇所の前記可視光画像における施術対象部位を選択する施術対象選択部が設けられ、前記領域調整部による前記対応画像表示領域の調整が、前記可視光画像に対応する左右の視差画像における選択された施術対象部位と前記対応画像表示領域との相対位置関係に基づき、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域とが重畳しないように調整されてもよい。
この発明により、立体表示された撮像箇所の可視光画像において施術対象部位を施術対象選択部で選択することができ、撮像箇所の可視光画像において選択された施術対象部位の立体表示と、前記対応画像が平面表示された対応画像表示領域とが重畳することなく、対応画像を所望の位置調整や大きさに調整することができる。
具体的には、前記可視光画像の左右の視差画像における施術対象部位の位置が異なるのに対し、左右の視差画像における平面表示される前記対応画像表示領域の位置は一致するため、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域との相対位置が異なることとなる。
そのため、前記領域調整部による前記対応画像表示領域の調整において、一方の視差画像における前記施術対象部位と前記対応画像表示領域とが重複しなくても、他方の視差画像では前記施術対象部位と前記対応画像表示領域とが重複するおそれがある。そこで、前記領域調整部による前記対応画像表示領域の調整において、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域との相対位置に基づき、左右の視差画像のいずれにおいても前記施術対象部位と前記対応画像表示領域とが重複しないように調整することにより、立体表示される前記施術対象部位と平面表示される前記対応画像表示領域とが重複することなく、並列表示することができる。
またこの発明の態様として、前記対応画像の表示方向の変更を操作する表示方向変更操作部と、表示方向を変更した前記対応画像を前記撮像方向に応じた方向に戻す操作を行う表示方向リセット操作部とが備えられてもよい。
この発明により、施術者は、施術に応じて、対応画像の表示方向を表示方向変更操作部で調整することができる。また、前記対応画像の表示方向を変更した後であっても、表示方向リセット操作部を操作することで、表示方向を調整した対応画像の表示方向を、微調整することなく、可視光画像の撮像方向に合わせて表示することができる。
また、対応画像の表示方向を表示方向変更操作部で調整した後、可視光画像の撮像方向を調整した場合であっても、調整された可視光画像の撮像方向に、表示方向が調整された対応画像の表示方向を、調整された撮像方向に合わせるように構成してもよく、この場合、表示方向を調整した対応画像を、撮像方向が調整された可視光画像の撮像方向に手動で微調整しながら合わせる場合に比べ、利便性や操作性を向上させることができる。
またこの発明の態様として、前記三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成されてもよい。
この発明により、例えば、施術内容や患者に適した三次元画像を三次元画像情報として用いることができる。
この発明により、例えば、施術内容や患者に適した三次元画像を三次元画像情報として用いることができる。
またこの発明の態様として、前記画像処理部に、前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として表示してもよい。
この発明により、撮像箇所における不可視部分をより容易且つ正確に断面図によって認識することができ、より安全かつ正確な施術を行うことができる。
この発明により、撮像箇所における不可視部分をより容易且つ正確に断面図によって認識することができ、より安全かつ正確な施術を行うことができる。
なお、上記前記撮像方向に基づく方向の断面画像は、撮像方向に直交する向きの断面図、前記撮像方向に沿った方向の縦断面図、あるいは、前記撮像方向に対して交差する方向の横断面画像としてもよい。
またこの発明の態様として、前記画像処理部に、前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作部が備えられてもよい。
これにより、撮像対象における所望の断面位置での不可視部分の断面図を表示部に表示できるため、不可視部分における関心対象部分をさらに容易且つ正確に認識することができ、さらに安全かつ正確な施術を行うことができる。
これにより、撮像対象における所望の断面位置での不可視部分の断面図を表示部に表示できるため、不可視部分における関心対象部分をさらに容易且つ正確に認識することができ、さらに安全かつ正確な施術を行うことができる。
またこの発明の態様として、前記三次元画像情報が、三次元口腔スキャナで取得した歯牙領域の表面形状の三次元スキャンデータ、インプラントの三次元情報、及び支台歯形成用の三次元モデル情報のうちいずれかで構成されてもよい。
この発明により、撮像対象箇所における不可視部分として、施術によって形成される形状を三次元画像情報として並列表示でき、施術アシスタントや施術シミュレーションとして機能させることができる。
またこの発明の態様として、前記対応画像の表示を切り替える表示切換操作部が備えられてもよい。
この発明により、例えば、対応画像として、断面図やボリュームデータ、あるいは数値データなど、施術に適した表示を対応画像として表示することができる。
この発明により、例えば、対応画像として、断面図やボリュームデータ、あるいは数値データなど、施術に適した表示を対応画像として表示することができる。
またこの発明の態様として、根管治療やインプラント施術の場合には、前記対応画像の代わりに、あるいは前記対応画像と合わせて根管長測定値、切削トルク値、及び切削回転数のうち少なくともひとつの歯科診療データを前記表示部に表示してもよい。
この発明により、例えば、過去の施術内容など歯科診療データを確認しながら、より精度の高い施術を行うことができる。
この発明により、例えば、過去の施術内容など歯科診療データを確認しながら、より精度の高い施術を行うことができる。
またこの発明の態様として、前記表示部が、施術者の頭部に装着する頭部装着型表示部であってもよい。また、歯科診療装置の側部から伸びる支持アームに位置変更自在に保持された歯科用顕微鏡であってもよい。
これらの発明により、施術者は、施術内容や好みに応じて、より適切な仕様に応じたデバイスを用いて施術することができる。
これらの発明により、施術者は、施術内容や好みに応じて、より適切な仕様に応じたデバイスを用いて施術することができる。
またこの発明の態様として、前記立体カメラに、ブレを防止するためのブレ防止機構が備えられてもよい。
この発明により、より鮮明な可視光画像を見ながら施術することができる。
この発明により、より鮮明な可視光画像を見ながら施術することができる。
またこの発明の態様として、前記立体カメラに、前記可視光画像を鏡像反転させる鏡像反転機構が備えられてもよい。
この発明により、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した可視光画像を見ながら施術することができる。
この発明により、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した可視光画像を見ながら施術することができる。
またこの発明は、立体カメラと、記憶部と、撮像方向検出部と、表示部と、プロセッサを備えた歯科用観察装置であり、前記立体カメラが、口腔領域における所望の撮像箇所の可視光画像を立体撮像し、前記記憶部が、予め取得した前記口腔領域に関する三次元画像情報を記憶し、前記撮像方向検出部が、前記撮像箇所に対する前記立体カメラの撮像方向を検出し、前記プロセッサが、前記撮像方向検出部で検出した前記撮像方向を基準として前記三次元画像情報を処理して所定の方向の前記撮像箇所に対応する対応画像を生成し、前記立体カメラで撮像した前記可視光画像と、前記対応画像とを前記表示部に並べて表示させることを特徴する。
またこの発明の態様として、前記プロセッサが、前記表示部に前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示させるとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示させてもよい。
またこの発明の態様として、前記三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれで構成されてもよい。
またこの発明の態様として、前記プロセッサが、前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として前記表示部に表示させてもよい。
またこの発明の態様として、前記プロセッサが、前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作を受け付けてもよい。
またこの発明の態様として、前記プロセッサが、前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作を受け付けてもよい。
本発明により、立体カメラで撮像した口腔領域における所望の撮像箇所の可視光画像と、予め取得した前記口腔領域における所望の撮像箇所の三次元画像情報とを重畳表示させることなく、可視光画像における不可視部分を容易に認識することができる歯科用観察装置及び歯科用画像の表示方法を提供することができる。
以下、本発明による診療システム1について、図1乃至図11とともに説明する。
図1は、歯科用観察装置に対応する観察システム3のブロック図を示し、図2は診療システム1の概略斜視図を示し、図3は表示画面100の説明図を示し、図4は画像表示部110の視差画像Sa,Sbについての説明図を示し、図5は歯科診療のフローチャートを示している。なお、歯科用観察装置は歯科用イメージャーと呼んでもよいし、歯科用スコープと呼んでもよい。
図1は、歯科用観察装置に対応する観察システム3のブロック図を示し、図2は診療システム1の概略斜視図を示し、図3は表示画面100の説明図を示し、図4は画像表示部110の視差画像Sa,Sbについての説明図を示し、図5は歯科診療のフローチャートを示している。なお、歯科用観察装置は歯科用イメージャーと呼んでもよいし、歯科用スコープと呼んでもよい。
なお、実施形態の説明中、撮像方向の語を用いるが、この撮像方向には、可視光立体カメラ52に入る光の入射方向沿いの方向(視線方向と考えてもよい。具体的な例としては対物の光軸の軸方向である。)が含まれてもよく、可視光立体カメラ52に入る光の入射方向沿いの方向周りの周方向における撮像角度方向が含まれてもよい。この撮像角度方向は、例えば、対物の光軸の軸方向周りの可視光立体カメラ52自身の回動角度に応じて定まる。前者の光の入射方向沿いの方向のみを意味することを明らかにした方が理解しやすい場合は「撮像方向(視線方向)」と示すことがあり、後者の撮像角度方向のみを意味することを明らかにした方が理解しやすい場合は「撮像方向(周方向)」と示すことがある。特に両者を区別する必要が無い場合に単に「撮像方向」と示すことがある。
また、図6は撮像方向(周方向)が変更した場合の画像表示部110の説明図を示し、図7は従画像表示調整についての画像表示部110の説明図を示し、図8は画像表示部110における従画像表示部110bの調整についての説明図を示し、図9は従画面の表示切替えについての画像表示部110の説明図を示している。
詳述すると、図4(a)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110を示し、図4(b)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110を示し、図4(c)は立体表示された立体表示撮影画像Sの画像表示部110を示している。なお、図4(a)及び図4(b)には、立体表示される観察対象を破線で図示している。
図6(a)は撮像方向(周方向)の変更前の画像表示部110の説明図を示し、図6(b)は撮像方向(周方向)を時計回りに所定角度回転した後の画像表示部110の説明図を示し、図6(c)は撮像方向(周方向)を時計回りにさらに所定角度回転した後の画像表示部110の説明図を示している。
また、図7(a)は従画像表示部110bを調整する前の画像表示部110の説明図を示し、図7(b)は立体表示撮影画像Sの大きさを小さく調整することで従画像表示部110bの大きさを大きく調整した画像表示部110の説明図を示し、図7(c)は立体表示撮影画像Sの大きさを大きく調整することで従画像表示部110bの大きさを小さく調整した画像表示部110の説明図を示している。
また、図8(a)は立体表示撮影画像Sを立体表示する画像表示部110を示し、図8(b)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110を示し、図8(c)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110を示し、図8(d)は立体表示撮影画像Sを立体表示する画像表示部110における従画像表示部110bの大きさ調整について図示し、図8(e)は左眼用表示部51aに表示される左側視差画像Saの画像表示部110における従画像表示部110bの大きさ調整について図示し、図8(f)は右眼用表示部51bに表示される右側視差画像Sbの画像表示部110における従画像表示部110bの大きさ調整について図示している。なお、図8(b)及び図8(c)には、立体表示される観察対象を破線で図示している。また、図8において回転数表示部121及び根管長表示部122の図示を省略している。
さらに、図9(a)は画像表示部110の説明図を示し、図9(b)乃至(d)は断面位置図Fp2及び断面位置が異なる変換断面図Fp1の説明図を示している。また、図10は、表示部51として機能するHMD510及びHUD520(頭部装着型表示部に対応)を示している。
診療システム1は、図2に示すチェアユニット2と、歯科用立体顕微鏡50(歯科用顕微鏡)とともに使用される観察システム3(図1参照)とで構成されている。
チェアユニット2は、図2に示すように、診療器具213a~213eを備えた器具台21と、施術対象である患者Mを載せて治療を行うための診療台22とで構成している。
チェアユニット2は、図2に示すように、診療器具213a~213eを備えた器具台21と、施術対象である患者Mを載せて治療を行うための診療台22とで構成している。
器具台21は、診療台22にアームを介して回動可能に取付けたテーブル211の手前側に器具ホルダ212を備え、器具ホルダ212にエアータービンハンドピース、マイクロモータハンドピースなどの切削工具やスケーラ、スリーウエイシリンジ、バキュームシリンジなどで構成する診療器具213(213a~213e)を着脱可能に取付けている。
また、診療器具213は、水供給源、エア供給源やエア吸引部に接続されて駆動するが、これらの機構については公知であるため、詳細な説明は省略する。
また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
患者Mを載せる診療台22は、図2に示すように、基台221に昇降可能に載置された座部シートと、その座部シートの後方に連接された傾動可能な背板シート223と、その背板シート223の上端に連接された傾動可能なヘッドレスト224とを備え、これらを診療状況に応じた最適位置に制御するため座部シート昇降部、背板シート傾倒部、ヘッドレスト傾倒部が設けられ、フートコントローラ214によって操作制御された油圧シリンダや電動モータ等の駆動によって駆動するように構成している。
また、位置調整可能な支持アーム58によって歯科用立体顕微鏡50が支持されている。
また、位置調整可能な支持アーム58によって歯科用立体顕微鏡50が支持されている。
また、この診療台22には、スピットン225及び治療用スタンドポール23が付設され、スピットン225に備えられた治療用スタンドポール23には、途中より分岐し、回動可能に突出させたアーム231を備えてられており、アーム231の先端には、後述する観察システム3の三次元位置検出部60を備えている。また、前記治療用スタンドポール23には、支持アーム58によって上下左右に移動自在とされた歯科用立体顕微鏡50が支持されている。
なお、この図では、歯科用立体顕微鏡50がスピットン225に備えられた治療用スタンドポール23に支持された支持アーム58に取り付けられる例を示したが、これに限らずに前記治療用スタンドポールが天井に取り付けられる構成としたり、治療用スタンドポールの下部にキャスターを取り付けて治療用スタンドポールが単独で移動できる構成としてもよい。
なお、スピットン225は、口腔内を濯ぐ際などに給水する給水栓と、排唾鉢とを備えている。更に、患者Mの背中又は腹部ではチェアユニット2に配設された電気系路、油圧系路又はエア系路等と接続する接続部(不図示)が設けられている。
チェアユニット2とともに診療システム1を構成する観察システム3は、図1に示すように、制御部10、記憶装置30、歯科用立体顕微鏡50、及び三次元位置検出部60で構成している。
なお、図1には、X線CT撮影装置40を診療システム1の構成として図示しているが、X線CT撮影装置40は、本発明の構成として必ずしも必要ではない。本発明の構成として必要な構成は三次元画像データ(三次元画像情報)であり、記憶装置30に当該三次元画像データが記憶されていればよい。また、この発明では、三次元画像はX線CT画像である必要はなく、他の三次元画像情報が取得できる装置による三次元画像データであってもよい。
なお、図1には、X線CT撮影装置40を診療システム1の構成として図示しているが、X線CT撮影装置40は、本発明の構成として必ずしも必要ではない。本発明の構成として必要な構成は三次元画像データ(三次元画像情報)であり、記憶装置30に当該三次元画像データが記憶されていればよい。また、この発明では、三次元画像はX線CT画像である必要はなく、他の三次元画像情報が取得できる装置による三次元画像データであってもよい。
制御部10は、CPUとROMとRAMで構成されており、以下の機能的構成を備えている。
詳述すると、制御部10には、画像生成部11、撮像方向検出部に対応する相対位置算出部12、画像処理部に対応する表示方向調整部13、表示画面生成部14、施術対象選択部15、及び施術内容選択部16を備えている。各部の機能的構成の具体的な機械的要素はプロセッサまたは回路である。プロセッサまたは回路に信号が印加されて各機能を発揮する。なお、図1では、制御部10は、歯科用立体顕微鏡50と別に構成している例が示されているが、歯科用立体顕微鏡50の中に設けてもよい。
詳述すると、制御部10には、画像生成部11、撮像方向検出部に対応する相対位置算出部12、画像処理部に対応する表示方向調整部13、表示画面生成部14、施術対象選択部15、及び施術内容選択部16を備えている。各部の機能的構成の具体的な機械的要素はプロセッサまたは回路である。プロセッサまたは回路に信号が印加されて各機能を発揮する。なお、図1では、制御部10は、歯科用立体顕微鏡50と別に構成している例が示されているが、歯科用立体顕微鏡50の中に設けてもよい。
画像生成部11は、各種画像を生成する処理部であるが、例えば、X線CT撮影装置40で取得した三次元画像情報を所定面における二次元画像に変換して平面表示変換画像Fpを生成するとともに、立体カメラに対応する可視光立体カメラ52で撮像した情報に基づいて立体表示撮影画像S(可視光画像に対応)を生成する構成である。
相対位置算出部12は、後述する三次元位置検出部60によって三次元位置を検出した歯科用立体顕微鏡50及び患者Mの三次元相対位置を算出する算出部であり、表示方向調整部13は、相対位置算出部12によって検出された三次元位置検出部60と患者Mとの三次元相対位置に基づき、後述する従画像表示部110bに表示する平面表示変換画像Fp(対応画像に対応)の表示する向きを調整する調整部である。平面表示変換画像Fpは立体表示撮影画像Sの撮像箇所に対応する部位の画像である。
表示画面生成部14は、画像生成部11で生成した立体表示撮影画像Sや平面表示変換画像Fp、あるいは表示方向調整部13で表示方向を調整した平面表示変換画像Fpに基づいて表示画面100(図3)として表示する画面表示を生成する。
施術対象選択部15は、撮像箇所に対応する施術対象部位を選択する選択部であり、例えば、図3において破線BrLで示すように、表示画面100の画像表示部110に表示される画像において施術対象部位を選択可能に画像認識することによって構成される。
施術内容選択部16は、施術対象選択部15で選択した施術対象部位に対して行う施術の内容を選択可能に構成しており、選択された施術内容に応じて、施術に有用な情報を施術対象部位における適切な表示方法で自動的に表示するように構成してもよい。
例えば、根管治療を選択する場合、図3に示すように、表示画面100にX線CT画像のみならず根管長測定画像や根管切削トルクや切削回転数を同時に表示してもよい。図3に示す例では、根管長表示部122に根管長測定画像が、回転数表示部121に切削回転数が表示されるように構成している。根管長測定画像には根管長測定値が示されている。根管長測定値は、ファイルやリーマなどの工具の先端が根尖までどれくらいの距離にあるかという値として表示される。
記憶装置30は、HDD、SSD、あるいはRAMなどで構成され、制御部10に接続されるとともに、制御部10の制御によって各種情報の格納あるいは取出しを行う記憶部であり、例えば、X線CT撮影装置40によって取得した三次元X線画像情報など、施術対象部位の三次元画像情報を記憶する三次元情報記憶部31(記憶部に対応)、患者Mの既往歴や治療情報など施術に関する情報などを少なくとも記憶する患者情報記憶部32、並びに口腔内で施術する施術内容の種類や、施術内容に応じて適する表示方法などを記憶する施術内容記憶部33を備えている。
なお、三次元情報記憶部31には、核磁気共鳴画像、超音波三次元画像、光干渉断層撮影装置、三次元口腔スキャナで取得した三次元スキャンデータ、インプラントの三次元画像情報、支台歯形成用の三次元モデル情報、あるいはそれらのstlデータ等を三次元X線画像の代わりに、あるいは三次元X線画像とともに記憶してもよい。
X線CT撮影装置40は、周知の歯科用又は医療用X線CT撮影装置が使用できる。
このようなX線CT撮影装置40は、X線コーンビームを被写体に照射し、被写体回りを旋回するX線検出部で検出することで三次元画像情報を取得することができる。
このようなX線CT撮影装置40は、X線コーンビームを被写体に照射し、被写体回りを旋回するX線検出部で検出することで三次元画像情報を取得することができる。
なお、X線CT撮影装置40は、取得した三次元画像情報を記憶装置30の三次元情報記憶部31に記憶するが、診療システム1や観察システム3の構成要素とせず、別途備えられてもよく、あるいはX線CT撮影装置40を備えずとも、記憶装置30の三次元情報記憶部31に三次元画像情報のみを記憶するように構成してもよい。
さらには、三次元画像情報を取得するための装置としては、核磁気共鳴画像を取得する核磁気共鳴撮影装置(MRI)、超音波三次元画像を取得する超音波診断撮影装置、光干渉三次元画像を取得する光干渉断層撮影装置、及び三次元スキャンデータを取得する三次元口腔スキャナなどをX線CT撮影装置40の代わりに、あるいはX線CT撮影装置40とともに設けられてもよい。
歯科用立体顕微鏡50は、図1及び図2に示すように、施術者が施術対象部位を観察するために歯科診療用として広く使用されている双眼タイプの顕微鏡であり、施術者の視野に対して表示画面100などを表示する表示部51(51a,51b)、表示画面100の主画像表示部110aに表示する立体表示撮影画像Sを撮影する可視光立体カメラ52(52a,52b)、ジャイロなどで構成され、歯科用立体顕微鏡50の姿勢を検出する姿勢検出部53、立体表示撮影画像Sを撮影する可視光立体カメラ52(52a,52b)の振動を吸収して撮影する画像のブレを防止するブレ防止機構54、可視光立体カメラ52(52a,52b)で撮影した立体表示撮影画像Sを鏡像反転する鏡像反転機構55、及び施術対象部を照らす照明部56、及び接眼部57(57a,57b)で構成されている。
なお、ジャイロなどで構成された姿勢検出部53、ブレ防止機構54、及び鏡像反転機構55の機構については公知であるため、詳細な説明は省略する。
なお、ジャイロなどで構成された姿勢検出部53、ブレ防止機構54、及び鏡像反転機構55の機構については公知であるため、詳細な説明は省略する。
なお、歯科用立体顕微鏡50は、図2に示すように、上下左右及び回転自在に支持する支持アーム58によって支持されており、患者Mに向ける面に、カメラ部52a,52bと、カメラ部52a,52bに対して直交する方向に所定間隔を隔てて配置し、LEDで構成する照明部(図示省略)とが設けられている。このように、カメラ部52a,52bで構成された可視光立体カメラ52は二眼カメラであるが、可視光立体カメラ52を立体視可能な一眼カメラで構成してもよい。
また、図2に示すように、歯科用立体顕微鏡50の施術者側の面には、施術者がのぞき込み、内部の表示部51(51a,51b)を目視できる接眼部57(57a,57b)が設けられている。
詳述すると、歯科用立体顕微鏡50の患者M側に備えられた可視光立体カメラ52は、観察対象に対して左側から左側視差画像Saを撮像する左眼用カメラ52aと、右側から右側視差画像Sbを撮像する右眼用カメラ52bとが、人の左右の目の間隔に応じた間隔で配置されている。
歯科用立体顕微鏡50の内部に配置された表示部51は、左眼用カメラ52aで撮像した左側視差画像Saを表示する左眼用表示部51aと、右眼用カメラ52bで撮像した右側視差画像Sbを表示する右眼用表示部51bとで構成されている。
歯科用立体顕微鏡50の施術者側に備えられた接眼部57は、施術者の左眼が接眼し、左眼用カメラ52aで撮像した左側視差画像Saを表示する左眼用表示部51aを視準する左接眼部57aと、右眼用カメラ52bで撮像した右側視差画像Sbを表示する右眼用表示部51bを視準する右接眼部57bとが、人の左右の目の間隔で配置されている。
なお、図2に示す施術者側の接眼部57から施術者がのぞき込んで内部に備えた表示部51(51a,51b)を見るように構成しているが、歯科用立体顕微鏡50とは別体構成した、例えば、図10(a)に示すようなヘッドマウントディスプレイ(HMD)510や、図10(b)に示すようなメガネ型のヘッドアップディスプレイ(HUD)520で表示部51(51a,51b)を構成してもよい。また、表示部としては、図2で示すチェアユニット2に付属している表示モニタ80や器具台21に設けられたモニタ81を使用して表示してもよい。
施術者の頭部に装着するHMD510は、施術者の視野に相当する表示部51(51a,51b)が備えられており、画像生成部11で生成した立体表示撮影画像Sや平面表示変換画像Fp、あるいは表示方向調整部13で表示方向を調整した平面表示変換画像Fpに基づいて表示画面生成部14によって生成された表示画面100などの表示画面情報を、非接触で制御部10から受信して表示する。
また、施術者がメガネのように装着するHUD520は、前面のグラス部分に半透過状に投影する投影機(図示省略)が表示部51(51a,51b)として機能し、表示画面生成部14によって生成された表示画面100などの表示画面情報を、非接触で制御部10から受信して半透過状に表示する構成である。
なお、HMD510やHUD520に可視光立体カメラ52(52a,52b)を備えて、HMD510やHUD520が歯科用立体顕微鏡50として機能するように構成してもよい。また、歯科用立体顕微鏡50に備えた鏡像反転機構55を制御部10に備えてもよいし、ブレ防止機構54の代わりに、ブレが生じた立体表示撮影画像Sを画像処理でブレが生じてない画像に処理する処理部を制御部10に備えてもよい。
三次元位置検出部60は、患者Mの三次元位置を検出する患者位置検出部61と、歯科用立体顕微鏡50の三次元位置を検出する顕微鏡位置検出部62とで構成されている。患者位置検出部61や顕微鏡位置検出部62は、三次元位置を検出する検出対象に設けた複数の球状の位置検出マーカ(図示省略)を視準して三次元位置を検出する構成であってもよいし、画像認識によって三次元位置を検出する画像認識位置検出機構で構成してもよい。
さらには、検出対象に反射板を設け、反射板にレーザ光線を照射して、その反射光を測定することによって、三次元位置を測定したり、反射部で反射する赤外線により位置検出する赤外線センサ検出部、あるいは電波発信機から発信された電波信号により位置検出する電波検出部で構成してもよい。
また、患者位置検出部61と顕微鏡位置検出部62とで種類の異なる検出方法の異なる三次元位置検出機構で構成してもよい。
また、患者位置検出部61と顕微鏡位置検出部62とで種類の異なる検出方法の異なる三次元位置検出機構で構成してもよい。
続いて、このように構成された観察システム3において表示部51(51a,51b)に表示される表示画面100について図3とともに説明する。
表示画面100は、表示部に対応する画像表示部110、患者情報を表示する患者情報表示部130、従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140、各種操作を受ける操作部150とが表示されている。
表示画面100は、表示部に対応する画像表示部110、患者情報を表示する患者情報表示部130、従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140、各種操作を受ける操作部150とが表示されている。
画像表示部110は、歯科用立体顕微鏡50で撮影された立体表示撮影画像Sを表示する主画像表示部110aと、主画像表示部110aに表示された施術対象部位の三次元画像情報に基づく平面表示変換画像Fpを表示する従画像表示部110b(対応画像表示領域に対応)とで構成され、主画像表示部110aの立体表示撮影画像Sにおける施術対象部位の主要部分に対して重畳することなく、従画像表示部110bは並列表示されるように構成されている。また、画像表示部110には、主画像表示部110a及び従画像表示部110bに加え、回転数表示部121及び根管長表示部122が表示されている。
根管長表示部122には、図示のように根管長測定画像を表示してよい。例えば、図示外の根管長測定装置を診療システム1に内蔵させ、根管長測定信号が制御部10にインプットされるようにするか、外付けの根管長測定装置から根管長測定信号が制御部10にインプットされるようにしておいて、その測定信号と根管長測定画像を連動させる。具体的には、根管内に挿入されるファイルやリーマなどの工具の先端の根尖に対する位置を表示可能とする。例えば、図示のように、根尖をAPで示し、工具先端位置をセグメントで発光表示し、根尖までの距離を数値で示すようにする。
なお、図3に図示する従画像表示部110bの平面表示変換画像Fpは、施術対象部位の断面図を示すFp1と、当該断面図の断面位置を示すFp2とで構成している。さらに、変換断面図Fp1は、断面位置が異なる変換断面図Fp1a乃至Fp1cが表示されている。
また、立体表示撮影画像Sと、変換断面図Fp1及び断面位置図Fp2は、図3、4、6~9に示すように、視準軸CLが平行になるように表示している。なお、視準軸CLは表示しても表示しなくてもよい。
このように立体表示撮影画像Sと、変換断面図Fp1とは撮像方向(視線方向)を合わせて、且つ撮像方向(視線方向)周りの角度、すなわち撮像方向(周方向)が同一角度となるように表示されている。
ここで、撮像方向(周方向)に対応する立体表示撮影画像Sや変換断面図Fp1の表示の周方向の角度を周方向表示角度と呼ぶこととし、そのような周方向表示角度に係る表示を周方向表示と呼ぶこととすると、立体表示撮影画像Sと変換断面図Fp1との周方向表示角度と周方向表示とが一致している。
ここで、撮像方向(周方向)に対応する立体表示撮影画像Sや変換断面図Fp1の表示の周方向の角度を周方向表示角度と呼ぶこととし、そのような周方向表示角度に係る表示を周方向表示と呼ぶこととすると、立体表示撮影画像Sと変換断面図Fp1との周方向表示角度と周方向表示とが一致している。
すなわちここでは視準軸CLが平行になるように表示している。これによって、立体表示撮影画像Sと、変換断面図Fp1は同一部位について視線方向を合わせた体裁で平面表示することができる。また、断面位置図Fp2は、指定した歯牙の三次元X線画像のボリューム画像の側面図を示し、視線方向に対して平行な画像であって歯軸方向のボリューム画像を示す。なお、断面位置図Fp2の画像としては、ここではボリューム画像の側面図を示したが、この他にボリューム画像に代えて断面画像を表示してもよい。
また、断面位置図Fp2には、軸方向に所定間隔を空けた複数の直線(表示位置ライン181)が表示され、この複数の直線が変換断面図Fp1で示す断面の位置を示す。変換断面図Fp1は、視準軸CLに沿った深さ方向の異なる断面の平面である変換断面図Fp1a,Fp1b,Fp1cを示しており、切削工具で切削していく場合に根管等の断面が変化していく様子を描きながら施術を進めることができる。
このように主画像表示部110aと従画像表示部110bとで構成される画像表示部110における立体表示撮影画像Sと平面表示変換画像Fpについて図4に基づいて詳細に説明する。
画像表示部110は、左眼用表示部51aと右眼用表示部51bとを備える。
画像表示部110は、左眼用表示部51aと右眼用表示部51bとを備える。
図4(c)に示すように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Sa(図4(a)参照)を、左接眼部57aを介して施術者が左眼で視準し、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sb(図4(b)参照)を、右接眼部57bを介して施術者が右眼で視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
詳しくは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Saは、概念的に、図4(a)において破線で示す立体表示される場合に比べて例えば左側に表示され、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sbは、概念的に、図4(b)において破線で示す立体表示される場合に比べて例えば右側に表示されるようにする。この左側視差画像Saと右側視差画像Sbのように、左からの見え方と右からの見え方との差(これを視差という)を有する左側視差画像Saと右側視差画像Sbとをそれぞれ左眼と右眼とで独立して視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
男女差、個体差などはあるが、両目の瞳孔と瞳孔の間の距離は概ね60mm~70mm程度であり、平均的には62mm~64mm程度である。このため、同じ物体を視認するのに左目と右目で角度差がある。このような視方向の角度差を視差(両眼視差)とする。
左側視差画像Saと右側視差画像Sbとが視差のついた画像であれば、上述のように双方とも、図4(a)、図4(b)において破線で示す位置に表示してもよい。厳密に両眼視差と同じ角度でなくとも、右から見た、左から見たという差があれば、多少の角度差はあってもよい。この点は後述の図8についても同様である。
左眼用表示部51aと右眼用表示部51bとは、最終的には左側視差画像Saが左目の視界に入り、右側視差画像Sbが右目の視界に入る光学要素に連なっている、または光学経路にある。これにより、左側視差画像Saと右側視差画像Sbは、施術者にとっては、さらに詳しくは施術者の脳内認識としては、右と左に分かれて見える像ではなく、立体的に結像して、図4(c)に示される1つの立体表示撮影画像Sのように見える。
主画像表示部110aは機械的には図4(a)、図4(b)に示される左側視差画像Sa、右側視差画像Sbを個別に表示するが、施術者の脳はそれらを図4(c)に示されるような立体表示撮影画像Sとして認識する。これにより、施術者の脳は図3に示されるような状態の画像表示部110を認識する。このように、立体的な脳内認識をさせる立体表示撮影画像Sのような画像を主観的立体表示撮影画像と考えてもよいし、このような主観的立体表示撮影画像を表示する画像表示部を主観的画像表示部と考えてもよい。
なお、左側視差画像Saと右側視差画像Sbとで施術対象部位の位置が異なる場合のみならず、可視光立体カメラ52と施術対象部位との位置関係によっては、大きさが異なる場合や、位置と大きさの両方が異なる場合もある。
これに対し、従画像表示部110bに表示される平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて同じ位置及び同じ大きさで表示されるため、左眼用表示部51a及び右眼用表示部51bをそれぞれ左眼と右眼とで独立して視準しても、施術者は平面表示変換画像Fpを平面的に視認することとなる。また、平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて左右の視差の無い左目右目に対して共通の画像として表示される。
なお、このように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sと従画像表示部110bに平面表示される平面表示変換画像Fpとは、左眼用表示部51aと右眼用表示部51bとで位置や大きさが異なる左側視差画像Sa及び右側視差画像Sbにおける施術対象部位と、平面表示される平面表示変換画像Fpとの相対位置が異なることとなる。
患者情報を表示する患者情報表示部130は、表示画面100における画像表示部110の下方において、患者Mの患者番号、患者の氏名、性別、年齢等を表示している。
従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140は、表示画面100における従画像表示部110bの下方において、従画像表示部110bに表示された施術対象部位の平面表示変換画像Fpの基となる三次元画像情報の種類やそのデータ管理番号を表示している。
従画像表示部110bに表示する三次元画像情報に関する情報を表示する従画面情報表示部140は、表示画面100における従画像表示部110bの下方において、従画像表示部110bに表示された施術対象部位の平面表示変換画像Fpの基となる三次元画像情報の種類やそのデータ管理番号を表示している。
各種操作を受ける操作部150は、表示画面100における右側に表示され、上から順に、従画面自動調整操作ボタン151、従画面移動調整操作ボタン152、従画面サイズ調整操作ボタン153、従画面表示箇所変更操作ボタン154、従画面表示方法変更操作ボタン155、従画面表示方向変更操作ボタン156、従画面表示データ変更操作ボタン157、主従画面同期チェックボックス158、
施術対象選択操作ボタン159、施術内容選択操作ボタン160、患者変更操作ボタン161、及びキャリブレーション操作ボタン162で構成されている。
施術対象選択操作ボタン159、施術内容選択操作ボタン160、患者変更操作ボタン161、及びキャリブレーション操作ボタン162で構成されている。
従画面自動調整操作ボタン151は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する大きさ及び位置のうち少なくとも一方などを、歯科用立体顕微鏡50による撮像方向が変化した際や施術内容に応じて自動に調整することを指示する操作ボタンである。
領域調整部に対応する従画面移動調整操作ボタン152は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する位置を手動調整する際に押下する操作ボタンである。
領域調整部に対応する従画面サイズ調整操作ボタン153は、平面表示変換画像Fpを表示する従画像表示部110bや、回転数表示部121及び根管長表示部122の主画像表示部110aに対する大きさを手動調整する際に押下するする操作ボタンである。
従画面表示箇所変更操作ボタン154は、平面表示変換画像Fpとして従画像表示部110bに表示する施術対象部位の断面図の断面位置を変更する際に押下する操作ボタンである。この従画面表示箇所変更操作ボタン154を操作することで、断層位置が異なる変換断面図Fp1a,Fp1b,Fp1cの各断層画像を従画像表示部110bに表示することができる。
表示切換操作部に対応する従画面表示方法変更操作ボタン155は、従画像表示部110bに表示する平面表示変換画像Fpの表示方法を、例えば、外観図、横断面図、縦断面図、フレーム表示などの表示方法や、あるいは平面表示変換画像Fpの代わりに患者Mの患者情報を表示するように変更する際に押下する操作ボタンである。
表示方向変更操作部に対応する従画面表示方向変更操作ボタン156は、従画像表示部110bに表示する平面表示変換画像Fpの表示方向を変更する際に押下する操作ボタンである。
従画面表示データ変更操作ボタン157は、平面表示変換画像Fpとして従画像表示部110bに表示する平面表示変換画像Fpの基となる施術対象部位の三次元画像情報の種類を変更する際に押下する操作ボタンである。
従画面表示データ変更操作ボタン157は、平面表示変換画像Fpとして従画像表示部110bに表示する平面表示変換画像Fpの基となる施術対象部位の三次元画像情報の種類を変更する際に押下する操作ボタンである。
表示方向リセット操作部に対応する主従画面同期チェックボックス158は、歯科用立体顕微鏡50による撮像方向(視線方向)、撮像方向(視線方向)周りの角度すなわち撮像方向(周方向)、さらには拡大率などが変化した際に、従画像表示部110bに表示する平面表示変換画像Fpの表示方向、撮像方向(視線方向)周りの角度、さらには拡大率も同期させて変化させることを指示するチェックボックスである。
施術対象選択操作ボタン159は、主画像表示部110aに表示される立体表示撮影画像Sにおいて施術対象となる部位を選択する際に押下する操作ボタンである。
施術内容選択操作ボタン160は、施術内容を選択する際に押下する操作ボタンである。
施術内容選択操作ボタン160は、施術内容を選択する際に押下する操作ボタンである。
患者変更操作ボタン161は、新たな患者Mに対して施術を行う際に、これまでの患者Mの情報から変更する際に押下する操作ボタンである。
キャリブレーション操作ボタン162は、歯科用立体顕微鏡50と患者Mとの三次元相対位置を検出する際や、施術途中であっても三次元相対位置を再検出する際に押下する操作ボタンである。
キャリブレーション操作ボタン162は、歯科用立体顕微鏡50と患者Mとの三次元相対位置を検出する際や、施術途中であっても三次元相対位置を再検出する際に押下する操作ボタンである。
なお、このように構成された表示画面100には、図3において矢印アイコンで示すようなカーソル163が表示されており、カーソル163は、フートコントローラ214の踏み込みやゼスチャー操作、タッチパネル操作などによって操作入力されるように構成されている。
このように構成された観察システム3を備えた診療システム1を用いた診療方法及び観察方法(歯科用画像の表示方法)について図5に示すフローチャートに沿って説明する。
まず、施術者は、表示画面生成部14によって生成され、表示部51(51a,51b)に表示される表示画面100の患者変更操作ボタン161を押下して、施術する患者Mを選択する(ステップs1)。患者Mが選択されると、制御部10は記憶装置30の患者情報記憶部32に記憶した患者情報を呼び出し、患者情報表示部130に表示する。
まず、施術者は、表示画面生成部14によって生成され、表示部51(51a,51b)に表示される表示画面100の患者変更操作ボタン161を押下して、施術する患者Mを選択する(ステップs1)。患者Mが選択されると、制御部10は記憶装置30の患者情報記憶部32に記憶した患者情報を呼び出し、患者情報表示部130に表示する。
続いて、施術者は、従画面表示データ変更操作ボタン157を押下して従画像表示部110bに表示する平面表示変換画像Fpの基となる三次元画像情報の種類を選択する(ステップs2)。三次元画像情報の種類が選択されると、制御部10は、選択された患者Mに関連付けられた三次元画像情報を三次元情報記憶部31から読み込む(ステップs3)。
このようにして、施術の前準備が行われると、制御部10は、三次元位置検出部60を制御して施術者と患者Mの三次元位置を検出する。詳しくは、制御部10は、顕微鏡位置検出部62を制御して歯科用立体顕微鏡50の三次元位置を検出するとともに(ステップs4)、患者位置検出部61を制御して患者Mの三次元位置を検出する(ステップs5)。
三次元位置検出部60によって歯科用立体顕微鏡50と患者Mの三次元位置が検出されると、制御部10は、相対位置算出部12によって、歯科用立体顕微鏡50と患者Mの三次元相対位置を検出する(ステップs6)。このとき、歯科用立体顕微鏡50の撮像方向を顕微鏡位置検出部62による位置検出によって検出してもよいし、歯科用立体顕微鏡50に備えた姿勢検出部53によって検出してもよい。これにより、患者Mに対する歯科用立体顕微鏡50の三次元相対位置のみならず、患者Mに対する歯科用立体顕微鏡50の撮像方向も正確に検出することができる。
なお、顕微鏡位置検出部62で検出される撮像方向には、可視光立体カメラ52に入る光の入射方向沿いの方向が含まれてよく、可視光立体カメラ52に入る光の入射方向沿いの方向(視線方向)周りの周方向における撮像角度方向、すなわち撮像方向(周方向)が含まれてよい。
このようにして、患者Mに対する歯科用立体顕微鏡50の三次元相対位置が検出されると、歯科用立体顕微鏡50の可視光立体カメラ52(52a,52b)によって撮像された可視光画像情報に基づいて画像生成部11が立体表示撮影画像Sを生成して主画像表示部110aに表示する(ステップs7)。
さらに、施術対象選択操作ボタン159が押下されると、制御部10は、主画像表示部110aに表示される立体表示撮影画像Sに対して画像認識によって施術対象部位となりうる箇所を図3の主画像表示部110aにおいて立体表示撮影画像S上に破線BrLで図示するように選択可能に表示したり(ステップs8)、カーソル163を用いて施術対象部位を立体表示撮影画像S上で選択して、施術対象部位が選択されると(ステップs9)、三次元情報記憶部31から読み込まれた三次元画像情報に基づいて、画像生成部11が平面表示変換画像Fpを生成して従画像表示部110bに表示する(ステップs10)。
次に、選択された施術対象部位に対して施す施術内容を選択すべく施術内容選択操作ボタン160が押下されると、図示省略するが、施術対象部位に対して施すことができる施術内容のリストが例えばプルダウン表示として選択可能に表示され(ステップs11)、その中から施術内容を選択する(ステップs12)。なお、施術内容の選択は、例えば、施術内容により適した平面表示変換画像Fpを制御部10の制御によって自動的に従画像表示部110bに表示するために選択するものであって、施術内容を選択しなくてもよく、あるいは選択できないように構成されていてもよい。
なお、本実施形態では、臼歯に対して、天蓋部分を切削し、歯牙内部の根管口を露出させるとともに、根管尖までファイルやリーマで切削し、根管の病変を治療する根管治療を選択したとする。
まず、治療開始時において、図6(a)に示すように、施術対象部位である臼歯において歯肉から露出している歯冠の噛合面方向からの外観形状が立体表示撮影画像Sとして主画像表示部110aに表示される。しかし、選択された根管治療では、外観上現れない臼歯内部の根管口の位置や根管の形状が非常に重要となるため、X線CT撮影装置40で取得したX線三次元画像情報に基づく平面表示変換画像Fpを従画像表示部110bに表示する。
そして、治療中に、歯科用立体顕微鏡50の向きや位置が変化すると、つまり顕微鏡位置検出部62や姿勢検出部53によって歯科用立体顕微鏡50の移動を検出し(ステップs13:Yes)、表示画面100における主従画面同期チェックボックス158がチェックされていると(ステップs14:Yes)、制御部10は表示方向調整部13によって、歯科用立体顕微鏡50の移動に同期して、従画像表示部110bに表示する平面表示変換画像Fpにおける変換断面図Fp1の表示方向が顕微鏡の撮像画像と平行になるように、つまり視準軸CLが平行となるように、かつ撮像軸周りの角度が同一になるようにして、拡大率を調整し、表示方向調整部13によって表示方向が調整された変換断面図Fp1を表示画面生成部14によって生成して、従画像表示部110bに表示する(ステップs19)。
具体的には、歯科用立体顕微鏡50は支持アーム58に対して対物の光軸の軸周りに回動可能となっており、図6(b)に示すように、施術対象部位に対する歯科用立体顕微鏡50の向きを時計回りに所定角度回転移動させると、その向きに応じた立体表示撮影画像Sが表示画面100aに表示されるとともに、同期して、従画像表示部110bに表示された変換断面図Fp1の向きも時計回りに所定角度変更された向きで表示される。なお、対物の光軸の軸方向は撮像方向(視線方向)と方位的に一致するものとする。
また、図6(c)に示すように、施術対象部位に対する歯科用立体顕微鏡50の向きを時計回りにさらに所定角度回転移動させると、その向きに応じた立体表示撮影画像Sが表示画面100aに表示されるとともに、同期して、従画像表示部110bに表示された平面表示変換画像Fpの向きも時計回りにさらに所定角度変更された向きで表示される。なお、反時計回りに回転させてもよい。
図6(a)~(c)を通して説明される撮像方向(周方向)の変更は、歯科用立体顕微鏡50を対物の光軸の軸周りに回動させる移動の例として示される。対物の光軸の軸周りの角度は撮像方向(視線方向)周りの角度の具体例であり、これらの角度は例えば立体表示撮影画像Sと平面表示変換画像Fp1の上の視準軸CLの伸延する方向で視認することができる。
これにより、歯科用立体顕微鏡50の位置を移動させるだけで、従画像表示部110bに表示される平面表示変換画像Fpの向きも同期して変化するため、一方向からだけでは観察できなかった、歯肉に埋もれた歯根部分の形状なども確認することができる。
通常、立体表示撮影画像Sと平面表示変換画像Fpは同期した状態で観察したいであろうから、チェックボックス158はデフォルトでチェックされているようにしてもよい。
通常、立体表示撮影画像Sと平面表示変換画像Fpは同期した状態で観察したいであろうから、チェックボックス158はデフォルトでチェックされているようにしてもよい。
なお、歯科用立体顕微鏡50の移動が検出されない場合(ステップs13:No)や、歯科用立体顕微鏡50の移動が検出されても主従画面同期チェックボックス158がチェックされていなければ、従画像表示部110bに表示された平面表示変換画像Fpは変化しない。また、主従画面同期チェックボックス158がチェックされていない状態で従画面表示方向変更操作ボタン156が押下され、従画像表示部110bに表示された平面表示変換画像Fpの表示方向を調整する操作がされると(ステップs16:Yes)、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更させて表示することができる。
ここで、主従画面を同期させる構成例について説明する。三次元画像情報に、座標情報を付加して、平面表示変換画像Fpの表示に利用するようにすると好適である。
例えば、三次元画像情報がX線CT撮影装置40で得たものであるとする。X線CT撮影装置40には通常X線CT撮影時に被験者を固定する固定部が備えられている。X線発生器とX線検出器と固定部との空間的位置関係は算出できるので、固定部に固定される患者Mのような撮影対象者の被撮影部位の空間的座標情報も算出できる。
例えば、三次元画像情報がX線CT撮影装置40で得たものであるとする。X線CT撮影装置40には通常X線CT撮影時に被験者を固定する固定部が備えられている。X線発生器とX線検出器と固定部との空間的位置関係は算出できるので、固定部に固定される患者Mのような撮影対象者の被撮影部位の空間的座標情報も算出できる。
例えば、X線CT撮影装置40が設置される空間に、座標演算上、右手系のXYZ直交座標を設定する。撮影対象者の頭部の上下方向を「Z軸方向」とし、このZ軸に交差する方向を「X軸方向」とし、さらにX軸方向及びZ軸方向に交差する方向を「Y軸方向」とする。X軸及びY軸方向は任意に定め得るが、ここでは、撮影対象者の左右の方向をX軸方向とし、前後の方向をY軸方向と定義する。今、撮影対象者から見て、右手方向を(+X)方向、正面方向を(+Y)方向、鉛直方向上向きを(+Z)方向とするものとする。三次元画像情報に、被撮影部位の3次元位置、向きなどの座標情報を付加する。
一方、診療台22が設置される空間にも、座標演算上、右手系のXYZ直交座標を設定することができる。例えば、背板シート223やヘッドレスト224などの施術対象者保持部の空間的位置は算出できるので、ここに載る施術対象者の被施術部位の空間的座標情報も算出できる。特に、ヘッドレスト224は施術対象者の頭部の保持部であり、歯列弓位置の特定のために重要である。
例えば、施術対象者の頭部の上下方向を「Z軸方向」とし、このZ軸に交差する方向を「X軸方向」とし、さらにX軸方向及びZ軸方向に交差する方向を「Y軸方向」とする。X軸及びY軸方向は任意に定め得るが、ここでは、着座した施術対象者の左右の方向をX軸方向とし、前後の方向をY軸方向と定義する。本実施形態では、施術対象者から見て、右手方向を(+X)方向、正面方向を(+Y)方向、鉛直方向上向きを(+Z)方向とするものとする。
撮影対象者と施術対象者が同一人物であるなら、座標演算のプログラムによってX線CT撮影装置40のXYZ直交座標と診療台22のXYZ直交座標とを対応させ、歯科用立体顕微鏡50で観察される部位との位置合わせをすることができる。こうして、歯科用立体顕微鏡50の回転移動に平面表示変換画像Fpの表示方向の変更を連動させることができる。
また、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更した後、主従画面同期チェックボックス158がチェックされると(ステップs17)、従画像表示部110bに表示された平面表示変換画像Fpの表示方向は、主画像表示部110aに表示された立体表示撮影画像Sの表示方向と合う方向、つまり変更前の向きに戻る(ステップs18)。
なお、従画像表示部110bに表示された平面表示変換画像Fpの表示方向のみを変更している間に歯科用立体顕微鏡50の撮像方向が変化している場合では、主従画面同期チェックボックス158のチェックによって、従画像表示部110bに表示された平面表示変換画像Fpの表示方向は、方向変更前の表示方向に戻らず、撮像方向が変化した歯科用立体顕微鏡50の撮像方向に応じた表示方向で表示されることとなる。
次に、施術中に、主画像表示部110aと並列表示された従画像表示部110bの表示を手動調整する場合について説明する。
例えば、表示画面100における従画面サイズ調整操作ボタン153が押下されると(ステップs20:Yes)、図7(a)に示すように、カーソル163で従画像表示部110bの角部をドラッグすることで、図7(b)に示すように、主画像表示部110aに表示する立体表示撮影画像Sに対する従画像表示部110bの大きさを調整することができる(ステップs21)。
例えば、表示画面100における従画面サイズ調整操作ボタン153が押下されると(ステップs20:Yes)、図7(a)に示すように、カーソル163で従画像表示部110bの角部をドラッグすることで、図7(b)に示すように、主画像表示部110aに表示する立体表示撮影画像Sに対する従画像表示部110bの大きさを調整することができる(ステップs21)。
また、主画像表示部110aに表示する立体表示撮影画像Sの拡大率を変化した際などにおいて、主画像表示部110aに表示される立体表示撮影画像Sの施術対象部位と、平面表示変換画像Fpを表示する従画像表示部110bとが重畳表示される可能性があるため、従画面移動調整操作ボタン152が押下され(ステップs20)、カーソル163で従画像表示部110bをドラッグすることで、図7(b)に示すように、主画像表示部110aに表示する立体表示撮影画像Sに対する従画像表示部110bの大きさを大きく調整したり、図7(c)に示すように、従画像表示部110bの大きさを小さく調整したりすることができる(ステップs21)。
このように主画像表示部110aに対する従画像表示部110bの調整について、図8に基づいて、従画像表示部110bの大きさ調整を具体例として詳細に説明する。
図8(a)に示すように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Sa(図8(b)参照)を、左接眼部57aを介して施術者が左眼で視準し、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sb(図8(c)参照)を、右接眼部57bを介して施術者が右眼で視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
図8(a)に示すように、主画像表示部110aにおいて立体表示される立体表示撮影画像Sは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Sa(図8(b)参照)を、左接眼部57aを介して施術者が左眼で視準し、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sb(図8(c)参照)を、右接眼部57bを介して施術者が右眼で視準することで、施術者は立体表示撮影画像Sを立体的に視認することができる。
詳しくは、左眼用カメラ52aで撮像され、左眼用表示部51aに表示される左側視差画像Saは、概念的に、図8(b)において破線で示す立体表示される場合に比べて例えば左側に表示され、右眼用カメラ52bで撮像され、右眼用表示部51bに表示される右側視差画像Sbは、概念的に、図8(c)において破線で示す立体表示される場合に比べて例えば右側に表示される。これに対し、従画像表示部110bに表示される平面表示変換画像Fpは、左眼用表示部51a及び右眼用表示部51bにおいて同じ位置及び同じ大きさで表示されるため、主画像表示部110aにおいて立体表示される立体表示撮影画像Sと従画像表示部110bに平面表示される平面表示変換画像Fpとは、左眼用表示部51aと右眼用表示部51bとで位置や大きさが異なる左側視差画像Sa及び右側視差画像Sbにおける施術対象部位と、平面表示される平面表示変換画像Fpとの相対位置が異なっている。
そのため、図8(d)に示すような、従画像表示部110bに表示される立体表示撮影画像Sを立体的に視認する施術者によって、従画像表示部110bの角を移動距離Lでドラッグして従画像表示部110bを拡大させる操作を行った場合において、図8(f)に図示するように、大きさ調整前の従画像表示部110bの角部と施術対象部位との距離が、立体的に視認された状態における大きさ調整前の従画像表示部110bの角部と施術対象部位との距離より長い右側視差画像Sbにおいては、移動距離Lに応じて従画像表示部110bを拡大しても、主画像表示部110aにおける施術対象部位と従画像表示部110bとが重複することはない。
これに対し、図8(e)に図示するように、大きさ調整前の従画像表示部110bの角部と施術対象部位との距離が、立体的に視認された状態における大きさ調整前の従画像表示部110bの角部と施術対象部位との距離より短い左側視差画像Saにおいては、移動距離Lに応じて従画像表示部110bを拡大すると、主画像表示部110aにおける施術対象部位と従画像表示部110bとが重複することとなる。
そこで、制御部10は、左側視差画像Saと右側視差画像Sbにおける大きさ調整前の従画像表示部110bの角部と施術対象部位との距離を比較し、比較結果が短い距離に基づいて、立体的に視認された立体表示撮影画像Sに対するドラッグ操作の移動距離Lを換算し、例えば、図8(e)に示すように、移動距離Lより短い移動距離Laでドラッグ操作が行われたとして、従画像表示部110bの大きさ調整を行うように制御することとなる。
なお、上述の説明では、従画像表示部110bの大きさ調整について説明したが、位置調整でも同様の調整処理を制御部10によって行うこととなる。
また、上述の従画像表示部110bの大きさ及び位置のうち少なくとも一方調整については、従画面自動調整操作ボタン151が押下操作されていれば、制御部10の制御によって自動的に従画像表示部110bの大きさ及び位置のうち少なくとも一方を調整することができる。
また、上述の従画像表示部110bの大きさ及び位置のうち少なくとも一方調整については、従画面自動調整操作ボタン151が押下操作されていれば、制御部10の制御によって自動的に従画像表示部110bの大きさ及び位置のうち少なくとも一方を調整することができる。
さらには、図6、図7では、従画像表示部110bに施術対象部位の外観図を平面表示変換画像Fpとして表示していたが、図9に図示するように、施術対象部位の断面図を平面表示変換画像Fpとして従画像表示部110bに表示するために、従画面表示方法変更操作ボタン155が押下されると、外観図をはじめとする、横断面図、縦断面図、任意方向断面図、フレーム図あるいは数値表字などの各種表示方法がリスト化されたプルダウン表示(図示省略)が表示され、その中から所望の表示方法が選択されると(ステップs20:Yes)、選択された表示方法の平面表示変換画像Fpが従画像表示部110bに表示される(ステップs21)。
具体的には、従画面表示方法変更操作ボタン155が押下され、表示方法がリスト化されたプルダウン表示(図示省略)の中から横断面表示を選択すると、図9(a)に示すように、従画像表示部110bには、施術対象部位の横断面図が平面表示変換画像Fpとして表示される。なお、任意方向断面図が選択された場合は、断面の方向を指定するポップアップ表示(図示省略)によって、従画像表示部110bに表示する平面表示変換画像Fpの断面方向を指定することができる。図示のように従画像表示部110bに断面指定の準備のできた画像を断面位置指定表示画面180として用いてよい。
また、このように、従画像表示部110bに横断面図や縦断面図、あるいは任意方向断面図が表示された状態において、従画面表示箇所変更操作ボタン154が押下され、断面位置図Fp2における表示位置ライン181を選択してクリックすることで断面位置を指定すると、図9(b)乃至(d)に示すように、指定された視準軸CLに沿って視準軸CLに直交する歯根の深さの異なる位置での表示位置ライン181に対応する変換断面図Fp1が従画像表示部110bに表示されることとなる。
したがって、図9(a)に示す画像表示部110の従画像表示部110bには、図9(b)に示すように、一番上の表示位置ライン181aが選択されると、一番上の表示位置ライン181aに対応する横断面図、つまり平面表示変換画像Fp1aが表示され、図9(c)に示すように、上から二番目の表示位置ライン181bが選択されると、平面表示変換画像Fp1bが表示され、図9(d)に示すように、上から三番目の表示位置ライン181cが選択されると、平面表示変換画像Fp1cが表示されることとなる。
もちろん、このようにいずれの断面の断面図が従画像表示部110bに表示されている場合であっても、歯科用立体顕微鏡50の移動が検出されると、主画像表示部110aに表示される立体表示撮影画像Sの表示の変化に同期して、従画像表示部110bに表示される断面図である平面表示変換画像Fpも変化するようにしてもよいことは言うまでもない。
また、断面位置指定表示画面180を表示せずとも、従画像表示部110bに表示する断面図として表示する平面表示変換画像Fpの断面位置を、施術内容に応じて、制御部10の制御によって、適宜変化させるように構成してもよい。
表示位置ライン181で示される断面の設定はさまざまになされうる。例えば、複数の断面間の間隔を広または狭に変更してもよいし、断面の数を多にしても小(1を含む)にしてもよい。任意位置の設定が受け付けられるようにしてもよい。
断面を複数設定する構成一般についてであるが、予め定まった数の断面を配置準備してもよいが、並びの方向にスライド操作または位置指定操作を受け付け可能に構成し、任意位置の設定ができるようにしてよい。
なお、このフローを施術が終わるまで繰り返し(ステップs22:No)、施術の終了に伴ってこのフローも完了する(ステップs22:Yes)。
なお、このフローを施術が終わるまで繰り返し(ステップs22:No)、施術の終了に伴ってこのフローも完了する(ステップs22:Yes)。
図3に戻り、視準軸CLについて説明する。断面位置図Fp2については、視準軸CLを適用しなくともよい。図14(a)に断面位置図Fp3で示すように、変換断面図Fp1の視準軸CLを断面の指定線として利用してもよい。変換断面図Fp1に表示される視準軸CLは、例えば平面視でX-Y平面に設定される軸である。
断面位置図Fp3については、対象歯が、歯軸が画面の上下方向と平行な方向になるように表示される。視準軸CLがZ方向に広がった面が指定断面となり、その断面の図が表示される。表示位置ライン181も表示してよい。必ずしも視準軸CLを利用せずとも、変換断面図Fp1に対して断面指定線の設定操作を受け付けられるようにしてもよい。
なお、図14(a)においては断面位置図Fp2の代わりに断面位置図Fp3を表示するように構成したが、断面位置図Fp2と断面位置図Fp3とを併記するように構成してもよいし、断面位置図Fp2と断面位置図Fp3とを表示切り替えするように構成してもよい。また、図14(b)に断面位置図Fp4で示すように、さらに撮像方向(視線方向)を示す指標SDが表示されるようにしてもよい。
視準軸CLの設定例を述べる。平面視で歯列が並ぶ方向で概ね各歯の頬舌方向中央を横断する方向に設定してもよいし、歯列弓全体であれば概ね各歯の頬舌方向中央を横断する略馬蹄形状の視準軸を設定してもよい。
他の方向を視準軸CLとしてもよい。他の方向を視準軸とする設定例としては、変換断面図Fp1に対して任意の軸の設定操作が受け付けられるようにしてもよいし、X-Y平面上に、X方向、Y方向、X方向とY方向を合成した方向などのデフォルトの方向が設定されるようにしておいてもよい。
視準軸CLを立体表示撮影画像Sにも変換断面図Fp1にも表示することで、立体表示撮影画像Sと変換断面図Fp1が同期していてもいなくとも方向の見当がつけやすくなる。
このように、視準軸CLを立体表示撮影画像Sと変換断面図Fp1に共通する方向を示す視認用指標として用いる。視準軸CLは、好ましくは立体表示撮影画像Sと変換断面図Fp1とで部位的に共通の位置に設定する。
このように、視準軸CLを立体表示撮影画像Sと変換断面図Fp1に共通する方向を示す視認用指標として用いる。視準軸CLは、好ましくは立体表示撮影画像Sと変換断面図Fp1とで部位的に共通の位置に設定する。
このように診療システム1に備えた観察システム3、及び観察システム3を用いた立体表示撮影画像Sの表示方法は、口腔領域における所望の施術対象部位の立体表示撮影画像Sを立体撮像する可視光立体カメラ52(52a,52b)と、施術対象部位に対する可視光立体カメラ52(52a,52b)の撮像方向を検出する相対位置算出部12と、予め取得した口腔領域に関する三次元画像情報を記憶する三次元情報記憶部31と、可視光立体カメラ52(52a,52b)で撮像した立体表示撮影画像Sと、施術対象部位に対応する三次元画像情報に基づく平面表示変換画像Fpとを並べて表示する画像表示部110と、相対位置算出部12で検出した撮像方向を基準とした所定の方向の平面表示変換画像Fpを画像表示部110に表示する表示方向調整部13とが備えられているため、可視光立体カメラ52(52a,52b)で撮像した口腔領域における所望の施術対象部位の立体表示撮影画像Sと、予め取得した口腔領域における所望の施術対象部位の三次元画像情報とを重畳表示させることなく、立体表示撮影画像Sにおける不可視部分を容易に認識することができる。
詳述すると、口腔領域における所望の施術対象部位の立体表示撮影画像Sを立体撮像する可視光立体カメラ52(52a,52b)の施術対象部位に対する撮像方向を検出し、可視光立体カメラ52(52a,52b)で撮像した立体表示撮影画像Sと、三次元情報記憶部31に記憶した予め取得し、施術対象部位に対応する三次元画像情報に基づく平面表示変換画像Fpとを画像表示部110に並べて表示するとともに、相対位置算出部12で検出した撮像方向を基準とした所定の方向の平面表示変換画像Fpを表示することができる。
したがって、例えば、施術対象箇所の立体表示撮影画像Sに三次元画像情報に基づく平面表示変換画像Fpを重畳表示させることなく、施術対象箇所の立体表示撮影画像Sの撮像方向の平面表示変換画像Fpを立体表示撮影画像Sと並列表示することができ、また、立体表示撮影画像Sと対応する向きで平面表示変換画像Fpを表示できるため、施術者は、不可視部分を並列表示する平面表示変換画像Fpを確認しながら、施術箇所が明確に表れた立体表示撮影画像Sを見ながら安全かつ正確に施術することができる。
また、平面表示変換画像Fpの表示方向の変更を操作する従画面表示方向変更操作ボタン156と、表示方向を変更した平面表示変換画像Fpを撮像方向に応じた方向に戻す操作を行う主従画面同期チェックボックス158とが備えられているため、施術者は、施術に応じて、平面表示変換画像Fpの表示方向のみを従画面表示方向変更操作ボタン156で調整することができる。また、平面表示変換画像Fpの表示方向を変更した後であっても、主従画面同期チェックボックス158を操作することで、表示方向を調整した平面表示変換画像Fpの表示方向を、微調整することなく、立体表示撮影画像Sの撮像方向に合わせて表示することができる。
また、平面表示変換画像Fpの表示方向を従画面表示方向変更操作ボタン156で調整した後、歯科用立体顕微鏡50の撮像方向を調整した場合であっても、調整された歯科用立体顕微鏡50の撮像方向に、表示方向が調整された平面表示変換画像Fpの表示方向が合うため、表示方向を調整した平面表示変換画像Fpを、撮像方向が調整された歯科用立体顕微鏡50の撮像方向に手動で微調整しながら合わせる場合に比べ、利便性や操作性を向上させることができる。
また、三次元画像情報が、X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成することで、例えば、施術内容や患者に適した種類の三次元画像を三次元画像情報として用いることができる。
また、表示方向調整部13に、三次元画像情報に基づいて撮像方向(視線方向)に対して直交する横断方向断面図、撮像方向(視線方向)に沿う縦断方向断面図、あるいは撮像方向(視線方向)に対して任意の方向の断面画像を平面表示変換画像Fpとして表示することで、施術対象部位における不可視部分をより容易且つ正確に断面図によって認識することができ、より安全かつ正確な施術を行うことができる。
また、表示方向調整部13に、断面画像の撮像方向(視線方向)に基づく方向における断面位置を調整する断面位置指定表示画面180が備えられているため、撮像対象における所望の断面位置での不可視部分の断面図を画像表示部110に表示できるため、不可視部分における関心対象部分をさらに容易且つ正確に認識することができ、さらに安全かつ正確な施術を行うことができる。
また、画像表示部110に、平面表示変換画像Fpが表示される従画像表示部110bが設けられ、画像表示部110における従画像表示部110bの大きさ及び位置のうち少なくとも一方を調整する従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153が設けられているため、例えば、撮像対応箇所の大きさや施術内容等に応じて、平面表示変換画像Fpが表示される従画像表示部110bをより視認しやすい位置に位置調整したり、従画像表示部110bを大きくしたり、小さくしたりでき、主画像表示部110aに表示する立体表示撮影画像Sの主要部と平面表示変換画像Fpが表示された従画像表示部110bとが重畳表示されることなく、施術者の細やかな要望に対応して、施術者の満足度を向上させることができる。
また、左右それぞれの視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとの相対位置が異なることとなり、従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153による従画像表示部110bの調整において、一方の視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとが重複しなくても、他方の視差画像Sa,Sbでは施術対象部位と従画像表示部110bとが重複するおそれがあるが、従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153による従画像表示部110bの調整が、立体表示撮影画像Sに対応する左右の視差画像Sa,Sbにおける選択された施術対象部位と従画像表示部110bとの相対位置関係に基づき、左右それぞれの視差画像Sa,Sbにおける施術対象部位と従画像表示部110bとが重畳しないように調整されるため、立体表示される施術対象部位と平面表示される従画像表示部110bとが重複することなく、並列表示することができる。
また、平面表示変換画像Fpの表示方法を切り替える従画面表示方法変更操作ボタン155が備えられているため、例えば、平面表示変換画像Fpとして、断面図やボリュームデータ、あるいは数値データなど、施術に適した表示を平面表示変換画像Fpとして表示することができる。
また、平面表示変換画像Fpの代わりに、歯科診療データを画像表示部110に表示することで、例えば、過去の施術内容など歯科診療データを確認しながら、より精度の高い施術を行うことができる。なお、画像表示部110において、平面表示変換画像Fpとともに、歯科診療データを表示してもよい。
また、画像表示部110が、施術者の頭部に装着するHMD510,HUD520の表示部51(51a,51b)に表示されるように構成された場合や、可視光立体カメラ52(52a,52b)を、一対構成のカメラ部52a,52bで構成し、チェアユニット2のヘッドレスト224から伸びる支持アーム58に位置変更自在に保持しているため、施術者は、施術内容や好みに応じて、より適切な仕様に応じたデバイスを用いて施術することができる。
また、可視光立体カメラ52(52a,52b)に、ブレを防止するためのブレ防止機構54が備えられているため、より鮮明な立体表示撮影画像Sを見ながら施術することができる。
また、可視光立体カメラ52(52a,52b)に、立体表示撮影画像Sを鏡像反転させる鏡像反転機構55が備えられているため、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した立体表示撮影画像Sを見ながら施術することができる。
また、可視光立体カメラ52(52a,52b)に、立体表示撮影画像Sを鏡像反転させる鏡像反転機構55が備えられているため、施術者は、普段慣れたデンタルミラーを見ながらの施術に準じた、鏡像反転した立体表示撮影画像Sを見ながら施術することができる。
また、X線CT画像等の三次元画像情報についてもデンタルミラーの使用時には、制御部10に図示していない三次元画像の鏡像反転部を設けることで、三次元画像を鏡像反転させて表示してもよい。また、必要に応じて、この三次元画像を術者が認識しやすい方向に回転して表示してもよい。
図12に、観察方向を変更したときの例を示す。図12(a)に示すように、位置PS1にある歯科用立体顕微鏡50により歯THを対物の光軸SV1に沿って観察する。図示の状態では光軸SV1の軸方向と歯THの歯軸の軸方向とは概ね一致している。
この状態から歯科用立体顕微鏡50を位置PS2に移動させ、歯THを光軸SV1と角度θα分の開きのある対物の光軸SV2に沿って観察するとする。歯THに対して表示位置ライン181で示される断面が設定されている。この断面は光軸SV1に直交する断面として設定され、表示位置ライン181沿いの変換断面図Fp1は図12(c)に示すように表示される。
対物の光軸SV2については、図12(b)に示すように、光軸SV2に直交する、表示位置ライン181で示される断面が設定されるが、断面位置を光軸SV1に直交する断面の位置のままとしてもよい。
この場合、光軸SV2に沿った視線方向からこの断面を見ると、歯科用立体顕微鏡50が傾いた方向に視覚上の圧縮が起こるので、これに合わせた変換断面図Fp1を図12(d)に示すように表示する。
撮像方向(周方向)の変更と変換断面図Fp1の対応については、視覚上の圧縮があっても、同じ周方向表示角度によって行えばよい。歯科用立体顕微鏡50の傾きに関係なく、図12(c)に示されるような横断面の変換断面図Fp1を表示するようにしてもよい。
表示位置ライン181で示される断面は、X-Y平面と平行な面が設定されるようにしてもよいし、また、歯THの歯軸の軸方向と直交する面が設定されるようにしてもよい。他の任意のデフォルトの面を設定してもよい。
変換断面図Fp1の横断面については、以下のように設定することが考えられる。歯という部位の構造上、下顎の歯については撮像方向(視線方向)としては頭部体軸との関係で、見下ろすこと、または斜めに見下ろすことが多く、上顎の歯については撮像方向(視線方向)としては頭部体軸との関係で、見上げること、または斜めに見上げることが多いので、横断面が歯軸に交差するように設定されるのが好適である。この設定により、施術者が現に観察している立体表示撮影画像Sに映る歯表面の奥にある断面の様子が把握できる。この目的より、例えば上述のように視線方向に直交する横断面や歯の歯軸の軸方向と直交する横断面などの設定が考えられる。
横断面は、歯冠から歯根へ、またはその逆方向に観察できることが対象歯の内部の状況がよく把握できるので、変換断面図Fp1を複数で構成する場合は、その並びの方向を歯冠と歯根を結ぶ方向にすると好適である。例えば、図12(b)に示すような光軸SV2に沿った視線方向を撮像方向とした場合、光軸SV2に直交する表示位置ライン181で示される断面を設定できるが、この断面を複数設定する場合、対象歯の歯軸をTXとすると、図12(e)に示すように、複数の断面の並びの方向(変換断面図Fp1の並びの方向)を歯軸TX沿いになるように設定すると好適である。
横断面の設定について、少し詳述する。歯軸TXに対する、表示位置ライン181で示される横断面の角度の最大が角AMXであるとし、最小が角AMNであるとする。好ましくは、角AMXは90°以上135°以内とし、角AMNを45°以上90°以内とする。この角AMX、角AMNが90°となる状態を極値として、角AMX、角AMNが90°に近づいていくにつれ、対象歯を真横にスライスしたように把握しやすい横断面の画像となる。歯軸TXに対する光軸SV2のなす角度が角AOBであるとすると、90°-角AMN<角AOB(ただし、角AOB=0°のときは角AMN=90°)となるような角AOBを設定するようにしてもよい。
なお、歯軸TXの軸方向は、例えば、診療台22の施術対象者保持部および施術対象者保持部に保持された施術対象者(の歯列弓)の空間座標情報より割り出せる。一般的に想定される標準的骨格の施術対象者を設定してもよいし、個別の施術対象者の測定情報から歯軸TXの軸方向のデータを得てもよい。
図13により、撮像方向(視線方向)すなわち具体的には対物の光軸の軸方向と平面表示変換画像Fpの方向に関連する説明をする。図13(a)に示すように、今、上顎の歯THUがあり、下顎の歯THLがあるとする。上顎の歯THUの表層に頬側寄りの1点BUがあり、舌側寄りの1点PUがあり、下顎の歯THLの表層に頬側寄りの1点BLがあり、舌側寄りの1点PLがあるとする。
上顎の歯THUを歯科用立体顕微鏡50により対物の光軸SV3に沿って観察し、下顎の歯THLを歯科用立体顕微鏡50により対物の光軸SV4に沿って観察する。そうして、上顎の歯THUと下顎の歯THLのそれぞれを立体表示撮影画像Sと平面表示変換画像Fpで表示する。
図13(b)に示すように、上顎の歯THUについては、立体表示撮影画像Sを、点BUが画面の上側に、点PUが画面の下側になるように表示する場合、平面表示変換画像Fpについても点BUが画面の上側に、点PUが画面の下側になるように表示されるようにする。
図13(c)に示すように、上顎の歯THLについては、立体表示撮影画像Sを、点PLが画面の上側に、点BLが画面の下側になるように表示する場合、平面表示変換画像Fpについても点PLが画面の上側に、点BLが画面の下側になるように表示されるようにする。このように表示されるように、撮像方向(視線方向)を基準にして、平面表示変換画像Fpで表示される断面の方向を設定する。(見下ろしか見上げかによって上向き断面か下向き断面かが変わる。)
図13(c)に示すように、上顎の歯THLについては、立体表示撮影画像Sを、点PLが画面の上側に、点BLが画面の下側になるように表示する場合、平面表示変換画像Fpについても点PLが画面の上側に、点BLが画面の下側になるように表示されるようにする。このように表示されるように、撮像方向(視線方向)を基準にして、平面表示変換画像Fpで表示される断面の方向を設定する。(見下ろしか見上げかによって上向き断面か下向き断面かが変わる。)
以上、本発明の構成と、前述の実施態様との対応において、本実施形態の可視光画像は立体表示撮影画像Sに対応し、
以下同様に、
立体カメラは可視光立体カメラ52に対応し、
撮像箇所は施術対象部位に対応し、
撮像方向検出部は相対位置算出部12に対応し、
記憶部は三次元情報記憶部31に対応し、
対応画像は平面表示変換画像Fpに対応し、
表示部は画像表示部110に対応し、
画像処理部は表示方向調整部13に対応し、
歯科用観察装置は観察システム3に対応し、
表示方向変更操作部は従画面表示方向変更操作ボタン156に対応し、
表示方向リセット操作部は主従画面同期チェックボックス158に対応し、
断面調整操作部は断面位置指定表示画面180に対応し、
対応画像表示領域は従画像表示部110bに対応し、
領域調整部は従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153に対応し、
表示切換操作部は従画面表示方法変更操作ボタン155に対応し、
頭部装着型表示部はHMD510及びHUD520に対応し、
支持アームは支持アーム58に対応し、
ブレ防止機構はブレ防止機構54に対応し、
鏡像反転機構は鏡像反転機構55に対応するが、上記実施形態に限定するものではない。
以下同様に、
立体カメラは可視光立体カメラ52に対応し、
撮像箇所は施術対象部位に対応し、
撮像方向検出部は相対位置算出部12に対応し、
記憶部は三次元情報記憶部31に対応し、
対応画像は平面表示変換画像Fpに対応し、
表示部は画像表示部110に対応し、
画像処理部は表示方向調整部13に対応し、
歯科用観察装置は観察システム3に対応し、
表示方向変更操作部は従画面表示方向変更操作ボタン156に対応し、
表示方向リセット操作部は主従画面同期チェックボックス158に対応し、
断面調整操作部は断面位置指定表示画面180に対応し、
対応画像表示領域は従画像表示部110bに対応し、
領域調整部は従画面移動調整操作ボタン152及び従画面サイズ調整操作ボタン153に対応し、
表示切換操作部は従画面表示方法変更操作ボタン155に対応し、
頭部装着型表示部はHMD510及びHUD520に対応し、
支持アームは支持アーム58に対応し、
ブレ防止機構はブレ防止機構54に対応し、
鏡像反転機構は鏡像反転機構55に対応するが、上記実施形態に限定するものではない。
例えば、上述の説明では、施術内容として歯牙を切削する根管治療について、X線三次元画像情報の基づく平面表示変換画像Fpを従画像表示部110bに表示させる態様について説明したが、例えば、う蝕した歯牙Tに対する施術として、図11(b)に示すような支台歯Xを形成するための形状を従画像表示部110bに表示させて施術を行ってもよい。
このように、従画像表示部110bに支台歯Xを表示することで、撮像対象箇所における不可視部分として、施術によって形成される形状を三次元画像情報として並列表示でき、観察システム3を備えた診療システム1を施術アシスタントや施術シミュレーションとして機能させることができる。
また、上述の説明における可視光立体カメラ52(52a,52b)は、観察対象である施術対象部位を立体的に撮像することができるものであって、左右の眼の視差を利用して観察する両眼タイプの顕微鏡であったが、カメラ付きヘッドマウントディスプレイ、あるいは、1眼の構成であっても奥行情報が取れるデバイスとして、光の三原色であるRGB信号を検出する素子と距離を検出する素子との両方備えたRGB-Dカメラやライトフィールドカメラなどのデバイスや、さらにはひとつのレンズで複数の異なるボケ画像を高速で撮影してこれを処理して立体化するデバイスなどを用いてもよい。
さらには、画像表示部110における従画像表示部110bの位置を調整する際に、主画像表示部110aに表示する立体表示撮影画像Sに対して従画像表示部110bに表示される平面表示変換画像Fpを重畳させると、重畳する平面表示変換画像Fpが徐々に透過していく、つまり立体表示撮影画像Sと平面表示変換画像Fpとの重畳度合いに応じて平面表示変換画像Fpの透過度が調整されるような構成であってもよい。
また、上述の説明では、主従画面同期チェックボックス158を表示方向リセット操作部として機能させたが、主従画面同期チェックボックス158とは別に、表示方向リセット操作部として機能する表示リターン操作ボタン等を備えてもよい。
3…観察システム
12…相対位置算出部
13…表示方向調整部
31…三次元情報記憶部
52…可視光立体カメラ
54…ブレ防止機構
55…鏡像反転機構
58…支持アーム
110…画像表示部
110b…従画像表示部
152…従画面移動調整操作ボタン
153…従画面サイズ調整操作ボタン
155…従画面表示方法変更操作ボタン
156…従画面表示方向変更操作ボタン
158…主従画面同期チェックボックス
180…断面位置指定表示画面
510…HMD
520…HUD
Fp…平面表示変換画像
S…立体表示撮影画像
12…相対位置算出部
13…表示方向調整部
31…三次元情報記憶部
52…可視光立体カメラ
54…ブレ防止機構
55…鏡像反転機構
58…支持アーム
110…画像表示部
110b…従画像表示部
152…従画面移動調整操作ボタン
153…従画面サイズ調整操作ボタン
155…従画面表示方法変更操作ボタン
156…従画面表示方向変更操作ボタン
158…主従画面同期チェックボックス
180…断面位置指定表示画面
510…HMD
520…HUD
Fp…平面表示変換画像
S…立体表示撮影画像
Claims (22)
- 口腔領域における所望の撮像箇所の可視光画像を立体撮像する立体カメラと、
前記撮像箇所に対する前記立体カメラの撮像方向を検出する撮像方向検出部と、
予め取得した前記口腔領域に関する三次元画像情報を記憶する記憶部と、
前記立体カメラで撮像した前記可視光画像と、前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する表示部と、
前記撮像方向検出部で検出した前記撮像方向を基準とした所定の方向の前記対応画像を前記表示部に表示する画像処理部とが備えられた
歯科用観察装置。 - 前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示する
請求項1に記載の歯科用観察装置。 - 前記表示部に、前記対応画像が表示される対応画像表示領域が設けられ、
前記表示部における前記対応画像表示領域の大きさ及び位置のうち少なくとも一方を調整する領域調整部が設けられた
請求項2に記載の歯科用観察装置。 - 前記撮像箇所の前記可視光画像における施術対象部位を選択する施術対象選択部が設けられ、
前記領域調整部による前記対応画像表示領域の調整は、
前記可視光画像に対応する左右の視差画像における選択された前記施術対象部位と前記対応画像表示領域との相対位置関係に基づき、左右それぞれの前記視差画像における前記施術対象部位と前記対応画像表示領域とが重畳しないように調整される
請求項3に記載の歯科用観察装置。 - 前記対応画像の表示方向の変更を操作する表示方向変更操作部と、
表示方向を変更した前記対応画像を前記撮像方向に応じた方向に戻す操作を行う表示方向リセット操作部とが備えられた
請求項1乃至4のうちいずれかに記載の歯科用観察装置。 - 前記三次元画像情報が、
X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれかで構成された
請求項1乃至5のうちいずれかに記載の歯科用観察装置。 - 前記画像処理部が、
前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として表示する
請求項6に記載の歯科用観察装置。 - 前記画像処理部が、
前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作部が備えられた
請求項7に記載の歯科用観察装置。 - 前記三次元画像情報が、
三次元口腔スキャナで取得した歯牙領域の表面形状の三次元スキャンデータ、インプラントの三次元情報、及び支台歯形成用の三次元モデル情報のうちいずれかで構成された
請求項1乃至8のうちいずれかに記載の歯科用観察装置。 - 前記対応画像の表示を切り替える表示切換操作部が備えられた
請求項1乃至9のうちいずれかに記載の歯科用観察装置。 - 前記対応画像の代わりに、あるいは前記対応画像と合わせて根管長測定値、切削トルク値、及び切削回転数のうち少なくともひとつの歯科診療データを前記表示部に表示する
請求項1乃至10のうちいずれかに記載の歯科用観察装置。 - 前記表示部が、施術者の頭部に装着する頭部装着型表示部である
請求項1乃至11のうちいずれかに記載の歯科用観察装置。 - 前記立体カメラが、歯科診療装置の側部から伸びる支持アームに位置変更自在に保持された歯科用顕微鏡である
請求項1乃至12のうちいずれかに記載の歯科用観察装置。 - 前記立体カメラに、ブレを防止するためのブレ防止機構が備えられた
請求項1乃至13のうちいずれかに記載の歯科用観察装置。 - 前記立体カメラに、前記可視光画像を鏡像反転させる鏡像反転機構が備えられた
請求項1乃至14のうちいずれかに記載の歯科用観察装置。 - 口腔領域における所望の撮像箇所の可視光画像を立体カメラで立体撮像し、
前記立体カメラで撮像した前記可視光画像と、予め取得した前記口腔領域に関する三次元画像情報のうち前記撮像箇所に対応する前記三次元画像情報に基づく対応画像とを並べて表示する際に、
前記撮像箇所に対する前記立体カメラの撮像方向を基準とした所定の方向の前記対応画像を表示する
歯科用画像の表示方法。 - 前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示するとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示する
請求項16に記載の歯科用画像の表示方法。 - 立体カメラと、記憶部と、撮像方向検出部と、表示部と、プロセッサとを備えた歯科用観察装置であり、
前記立体カメラが、口腔領域における所望の撮像箇所の可視光画像を立体撮像し、
前記記憶部が、予め取得した前記口腔領域に関する三次元画像情報を記憶し、
前記撮像方向検出部が、前記撮像箇所に対する前記立体カメラの撮像方向を検出し、
前記プロセッサが、前記撮像方向検出部で検出した前記撮像方向を基準として前記三次元画像情報を処理して所定の方向の前記撮像箇所に対応する対応画像を生成し、前記立体カメラで撮像した前記可視光画像と、前記対応画像とを前記表示部に並べて表示させる
歯科用観察装置。 - 前記プロセッサが、
前記表示部に前記撮像箇所を立体観察した前記可視光画像を左右の視差に基づき立体表示させるとともに、前記対応画像を前記撮像方向と平行な方向から見るよう、且つ撮像方向周りの同一角度となるように平面表示させる
請求項18に記載の歯科用観察装置。 - 前記三次元画像情報が、
X線CT撮影装置で取得された三次元X線画像、核磁気共鳴撮影装置で取得された核磁気共鳴画像、超音波診断撮影装置で取得された超音波三次元画像、及び光干渉断層撮影装置で取得された光干渉三次元画像のうちいずれで構成された請求項18または19に記載の歯科用観察装置。 - 前記プロセッサが、
前記三次元画像情報に基づいて前記撮像方向に基づく方向の断面画像を前記対応画像として前記表示部に表示させる
請求項20に記載の歯科用観察装置。 - 前記プロセッサが、
前記断面画像の前記撮像方向に基づく方向における断面位置を調整する断面調整操作を受け付ける
請求項21に記載の歯科用観察装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019545546A JP7121740B2 (ja) | 2017-09-29 | 2018-09-26 | 歯科用観察装置及び歯科用画像の表示方法 |
FIEP18861405.1T FI3689295T3 (fi) | 2017-09-29 | 2018-09-26 | Hammastarkkailulaite ja hammaskuvan näyttömenetelmä |
EP18861405.1A EP3689295B1 (en) | 2017-09-29 | 2018-09-26 | Dental observation device and display method of dental image |
US16/651,647 US12064317B2 (en) | 2017-09-29 | 2018-09-26 | Dental observation device and method for displaying dental image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017191359 | 2017-09-29 | ||
JP2017-191359 | 2017-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019065700A1 true WO2019065700A1 (ja) | 2019-04-04 |
Family
ID=65901948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/035604 WO2019065700A1 (ja) | 2017-09-29 | 2018-09-26 | 歯科用観察装置及び歯科用画像の表示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12064317B2 (ja) |
EP (1) | EP3689295B1 (ja) |
JP (1) | JP7121740B2 (ja) |
FI (1) | FI3689295T3 (ja) |
WO (1) | WO2019065700A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20175247A (fi) * | 2017-03-17 | 2018-09-18 | Planmeca Oy | Hammashoitokoneen operaatiovalaisin |
US11027438B2 (en) * | 2018-07-13 | 2021-06-08 | A-Dec, Inc. | Positive positioning device and system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011024820A (ja) * | 2009-07-27 | 2011-02-10 | Mitaka Koki Co Ltd | 歯科治療用観察システム |
JP2011030637A (ja) * | 2009-07-30 | 2011-02-17 | Asahi Roentgen Kogyo Kk | 根管治療システム |
JP2012016573A (ja) * | 2010-03-24 | 2012-01-26 | Advance Co Ltd | 歯科用補綴物計測加工システム |
JP2014171488A (ja) * | 2013-03-06 | 2014-09-22 | Morita Mfg Co Ltd | 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示方法 |
WO2015178452A1 (ja) * | 2014-05-21 | 2015-11-26 | 株式会社モリタ製作所 | 根管治療用表示装置、根管治療ユニット及び歯科用画像表示方法 |
WO2015182651A1 (ja) * | 2014-05-28 | 2015-12-03 | 株式会社モリタ製作所 | 根管治療用装置 |
US20170209035A1 (en) * | 2015-08-27 | 2017-07-27 | Xiang Li | Oral Endoscope Detection System and Detection Method Thereof |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3807721B2 (ja) * | 2000-02-21 | 2006-08-09 | シャープ株式会社 | 画像合成装置 |
US9662000B2 (en) * | 2013-08-28 | 2017-05-30 | Hankookin, Inc. | Visualization apparatus and system for enhanced hand-eye coordination |
JP2017507680A (ja) * | 2013-12-23 | 2017-03-23 | キャンプレックス インコーポレイテッド | 手術可視化システム |
US10917543B2 (en) * | 2017-04-24 | 2021-02-09 | Alcon Inc. | Stereoscopic visualization camera and integrated robotics platform |
CN111655191B (zh) * | 2018-01-26 | 2022-04-08 | 阿莱恩技术有限公司 | 诊断性口内扫描和追踪 |
-
2018
- 2018-09-26 US US16/651,647 patent/US12064317B2/en active Active
- 2018-09-26 FI FIEP18861405.1T patent/FI3689295T3/fi active
- 2018-09-26 WO PCT/JP2018/035604 patent/WO2019065700A1/ja unknown
- 2018-09-26 EP EP18861405.1A patent/EP3689295B1/en active Active
- 2018-09-26 JP JP2019545546A patent/JP7121740B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011024820A (ja) * | 2009-07-27 | 2011-02-10 | Mitaka Koki Co Ltd | 歯科治療用観察システム |
JP2011030637A (ja) * | 2009-07-30 | 2011-02-17 | Asahi Roentgen Kogyo Kk | 根管治療システム |
JP2012016573A (ja) * | 2010-03-24 | 2012-01-26 | Advance Co Ltd | 歯科用補綴物計測加工システム |
JP2014171488A (ja) * | 2013-03-06 | 2014-09-22 | Morita Mfg Co Ltd | 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示方法 |
WO2015178452A1 (ja) * | 2014-05-21 | 2015-11-26 | 株式会社モリタ製作所 | 根管治療用表示装置、根管治療ユニット及び歯科用画像表示方法 |
WO2015182651A1 (ja) * | 2014-05-28 | 2015-12-03 | 株式会社モリタ製作所 | 根管治療用装置 |
JP2015223324A (ja) | 2014-05-28 | 2015-12-14 | 株式会社モリタ製作所 | 根管治療用装置 |
US20170209035A1 (en) * | 2015-08-27 | 2017-07-27 | Xiang Li | Oral Endoscope Detection System and Detection Method Thereof |
Non-Patent Citations (1)
Title |
---|
See also references of EP3689295A4 |
Also Published As
Publication number | Publication date |
---|---|
US20200305702A1 (en) | 2020-10-01 |
EP3689295B1 (en) | 2023-11-22 |
EP3689295A4 (en) | 2021-06-23 |
JP7121740B2 (ja) | 2022-08-18 |
US12064317B2 (en) | 2024-08-20 |
EP3689295A1 (en) | 2020-08-05 |
JPWO2019065700A1 (ja) | 2020-11-19 |
FI3689295T3 (fi) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7379373B2 (ja) | 立体視覚化カメラ及び統合ロボットプラットフォーム | |
US20230255446A1 (en) | Surgical visualization systems and displays | |
US11154378B2 (en) | Surgical visualization systems and displays | |
US11154379B2 (en) | Method for implant surgery using augmented visualization | |
JP4786685B2 (ja) | X線画像表示方法、x線撮影装置、及びx線画像表示装置 | |
US20170143442A1 (en) | Surgical visualization systems and displays | |
JP4503654B2 (ja) | 歯顎顔面のx線ct画像の表示方法、x線ct断層撮影装置、およびx線画像表示装置 | |
WO2016108276A1 (ja) | 歯科用光学撮影装置 | |
EP2750607B1 (en) | Live 3d x-ray viewing | |
US12099200B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
JP7121740B2 (ja) | 歯科用観察装置及び歯科用画像の表示方法 | |
JP4455419B2 (ja) | 手術用立体画像観察装置 | |
US20130295518A1 (en) | Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry | |
JP6632652B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6793623B2 (ja) | 観察器具、観察装置、観察ユニット及び診療ユニット | |
JP6845791B2 (ja) | 表示装置、及び医療用x線撮影装置 | |
WO2012096221A1 (ja) | 放射線画像表示装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18861405 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019545546 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018861405 Country of ref document: EP Effective date: 20200429 |