WO2019093426A1 - 観察装置、観察ユニット及び観察方法 - Google Patents

観察装置、観察ユニット及び観察方法 Download PDF

Info

Publication number
WO2019093426A1
WO2019093426A1 PCT/JP2018/041516 JP2018041516W WO2019093426A1 WO 2019093426 A1 WO2019093426 A1 WO 2019093426A1 JP 2018041516 W JP2018041516 W JP 2018041516W WO 2019093426 A1 WO2019093426 A1 WO 2019093426A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
narrow
observation
unit
wide
Prior art date
Application number
PCT/JP2018/041516
Other languages
English (en)
French (fr)
Inventor
啓介 反本
田中 剛
雅之 佐野
亮佑 鍛治
巳貴則 西村
Original Assignee
株式会社モリタ製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社モリタ製作所 filed Critical 株式会社モリタ製作所
Priority to US16/762,678 priority Critical patent/US11317794B2/en
Priority to EP18876392.4A priority patent/EP3709066B1/en
Publication of WO2019093426A1 publication Critical patent/WO2019093426A1/ja

Links

Images

Classifications

    • G06T5/73
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • the present invention relates to, for example, an observation device, an observation unit, and an observation method for observing a desired observation site in an oral cavity area.
  • the medical examination table with a microscope described in Patent Document 1 is one of them, the medical examination table with a microscope described in Patent Document 1 has a microscope supported by a support arm disposed in the vicinity of a medical examination table.
  • the operator observeer
  • a magnifying glass may be attached to the head of the observer to perform precise medical treatment while magnifying and observing.
  • an object of the present invention is to provide an observation device, an observation unit, and an observation method capable of precisely observing a narrow-range observation region while suppressing blurring.
  • the present invention is an observation device for imaging and observing an observation site by an imaging unit, wherein the imaging unit is a narrow range imaging unit for imaging the observation site in a narrow range, and a wide area for imaging the observation site in a wide range And a three-dimensional position detection unit configured to detect at least a three-dimensional position of the observation site based on the wide-range imaging image captured by the wide-range imaging unit, and the three-dimensional position detection unit
  • a shake correction unit that corrects a shake of a narrow-range captured image captured by the narrow-range imaging unit based on a change in a three-dimensional relative position between the observation portion where the image is detected and the narrow-range imaging unit;
  • An image display unit is provided, which displays at least the corrected narrow-range captured image and the narrow-range captured image whose blur is corrected among the wide-range captured images.
  • the present invention is an observation method for imaging and observing an observation site with an imaging unit of an observation device, wherein at least a third order of the observation site is obtained based on a wide area imaging image imaged by a wide area imaging unit configuring the imaging unit.
  • the narrow area imaged by the narrow-range imaging unit based on a change in the three-dimensional relative position between the observation site where the original position is detected and the three-dimensional position is detected and the narrow-range imaging unit configuring the imaging unit It is characterized in that blurring of the range pickup image is corrected, and at least the narrow-range pickup image whose shake is corrected and the narrow-range pickup image of the wide-range pickup image whose shake is corrected are displayed.
  • the narrow-range imaging unit and the wide-range imaging unit may be integrated to form an imaging unit, or may be separately configured to form an imaging unit.
  • the narrow-range imaging unit and the wide-range imaging unit may be provided independently within the housing of the integrated imaging unit.
  • Each imaging unit is configured of an optical path including an imaging element and a lens, but a part of the optical path may be shared for each imaging element.
  • the observer can observe the observed portion as an image with a three-dimensional effect, and convenience can be improved.
  • at least the narrow-range imaging unit of the narrow-range imaging unit and the wide-range imaging unit may be configured by two systems so as to image the observation site from two different angles.
  • the observation apparatus may be mounted on the head of the observer like an HMD (Head Mount Display), or may be supported by a support. Alternatively, it can be used in a state in which the observation device is separated from the support and attached to the observer's head at one time, and can be used in another state separated from the head and attached to the support. You may
  • the support portion may be a ceiling, a wall, a floor, a stand, a wagon, a rack, a medical examination table, a spittoon stand, a support arm extending from a medical robot or other medical equipment, and the like. It is preferable that the support arm can be manually adjusted (for example, a multi-joint balance arm) so that it can be moved to a position suitable for observation according to the position of the observation site, the physical size of the patient, and the like.
  • a multi-joint balance arm for example, a multi-joint balance arm
  • the narrow-range imaging unit and the wide-range imaging unit may be separately configured, they may be supported by the same support unit or may be supported by different support units. It may be fixed directly to the ceiling or wall without passing through.
  • the observation site may be a part in an oral cavity such as a tooth or an inner part of a tooth or a gum, or a part of a human or animal body.
  • the three-dimensional position detection unit detects a three-dimensional position of the observation site based on the wide-range imaging image captured by the wide-range imaging unit.
  • the wide-range imaging unit is configured by a stereoscopic camera such as a stereo camera, and the captured wide-area captured image is processed to rigidly attach to the characteristic site of the observation site or the observation site.
  • the three-dimensional position of the observation site can be detected based on a feature point such as a ball marker.
  • the three-dimensional relative position between the observation region whose three-dimensional position is detected by the three-dimensional position detection unit described above and the narrow-range imaging unit is the three-dimensional position of the observation region detected based on a wide-range image.
  • the three-dimensional relative position based on the three-dimensional position of the known narrow-range imaging unit with respect to the wide-range imaging unit, the three-dimensional relative based on the three-dimensional position of the observation region and the narrow-range imaging unit detected based on the wide-range imaging image It may be a three-dimensional relative position based on the position or the three-dimensional position of the narrow-range imaging image detected by different three-dimensional position detection devices.
  • the parallel movement, rotational movement, and enlargement / reduction processing of the pixel value for correcting the blurring with respect to the narrow-range pickup image according to the change of the three-dimensional relative position For correcting the blurring of the above-described narrow-range pickup image, for example, the parallel movement, rotational movement, and enlargement / reduction processing of the pixel value for correcting the blurring with respect to the narrow-range pickup image according to the change of the three-dimensional relative position.
  • Image processing, etc., or the whole of the narrow-range imaging unit or the optical component constituting the narrow-range imaging unit in the direction to eliminate the change in the three-dimensional relative position so as to prevent blurring in the narrow-range captured image A part of the route may be moved or these may be combined.
  • an optical element such as an imaging device (image sensor) or an optical path such as a lens, a prism or a mirror is mechanically Apply a method of moving the optical axis of the narrow-range imaging unit optically using a variable lens, variable prism, spatial light modulator, or the like in which the refractive index and the shape can be varied by electrical control.
  • an optical element such as an imaging device (image sensor) or an optical path such as a lens, a prism or a mirror is mechanically Apply a method of moving the optical axis of the narrow-range imaging unit optically using a variable lens, variable prism, spatial light modulator, or the like in which the refractive index and the shape can be varied by electrical control.
  • the present invention it is possible to precisely observe the observation area within a narrow range while suppressing blurring. More specifically, when a change occurs in the three-dimensional relative position between the observation site and the narrow-range imaging unit, the above-described blurring occurs in the narrow-range imaging image.
  • the wide-range imaging unit configuring the imaging unit of the observation device In order to correct the blurring of the narrow-range captured image caused by the change in the three-dimensional relative position between at least the three-dimensional position of the observation region and the narrow-range imaging unit detected based on the wide-range captured image captured in A sharp narrow-range image can be obtained. Therefore, a narrow range of observation site can be observed precisely. Further, since the observation region can be imaged in a wide range by the wide area imaging unit, it is possible to observe a wide area including a portion observed by the narrow range imaging unit.
  • the image display unit that displays at least the narrow-range captured image whose blur is corrected and the narrow-range captured image whose blur is corrected among the wide-range captured images is provided, narrow-range imaging with a narrow field of view Precise and comprehensive observation can be performed while looking at the image and the wide-range captured image with a wide field of view.
  • the wide-range captured image and the narrow-range captured image are displayed side by side on the image display unit or switched and displayed at the same time, so that the narrow-range part can be observed precisely while being precisely observed.
  • the present focused position in the field of view can be confirmed simultaneously, and the operability is improved. That is, the wide-range imaging unit has a synergetic effect that it can be used not only as an imaging unit for blurring correction by the same imaging unit without increasing the number of parts but also for comprehensive observation as described above. it can.
  • the support unit since the mechanical vibration that causes blurring is acceptable, even when the support unit supports the observation device, the support unit is configured with a low rigidity, that is, a small, lightweight, and low-cost configuration. be able to.
  • the optical path of the narrow-range imaging unit and the optical path of the wide-range imaging unit may be shared.
  • the optical path may be configured by, for example, an imaging device such as an image sensor, an optical path, a lens, or the like, and may share a part of the elements constituting the optical path.
  • one imaging element can be shared by dividing the area into the area for the narrow-range imaging unit and the area for the wide-range imaging unit. Further, from the shared light path, in order to pick up a picked-up image in which each range is different between the image sensor for the narrow range and the image sensor for the wide range image pickup unit, the light path between the image sensor and the observation site This can be realized by installing a beam splitter or a lens at a position midway of to divide the optical path.
  • the imaging device is a wide-range imaging unit and a narrow-range imaging unit, and includes shutter speed, imaging rate, pixel size, pixel binning size, and color filter configuration (color imaging / monochrome imaging / infrared imaging / visible range imaging Specifications may be configured differently. Even when divided into regions, the various specifications described above may be configured to be different for each region.
  • the imaging unit can be simplified, and a compact imaging unit can be configured. More specifically, even when the narrow-range imaging unit and the wide-range imaging unit are separate units or are integrally formed, an optical path including an imaging element, an optical path, and a lens is not limited to the above.
  • the number of parts is increased and the structure is complicated, but at least the optical path of the narrow-range imaging unit and the optical path of the wide-range imaging unit By sharing a part, the number of parts can be reduced and the structure can be simplified.
  • a narrow-range imaging unit control unit that controls continuous imaging while moving a focal position in the narrow-range imaging unit with respect to the observation region; and a plurality of the narrow-range imaging continuously imaged
  • a narrow-range captured image generation unit may be provided which combines the images to generate a narrow-range captured image with a deep depth of field.
  • the following procedure is calculated as a method of synthesizing an image and generating a narrow-range captured image with an expanded depth of field (that is, a narrow-range captured image with a deep depth of field). .
  • the imaging is continuously performed while sweeping the focal position on the observation site in the optical axis direction by a method such as mechanically driving a lens constituting the narrow range imaging unit.
  • (2) Calculate the amount of contrast (quantified as to whether the image is blurred or in focus) for each pixel, and make the lens reciprocate for a predetermined distance by one reciprocation (or half reciprocation). While sweeping, the pixel value at which the contrast amount shows the maximum value is adopted as a narrow-range captured image displayed on the image display unit.
  • a known method such as a method using a Laplacian operator or a method using a differential filter can be applied as a method of obtaining the contrast amount. If blurring occurs in a plurality of images captured continuously to generate a narrow-range captured image in which the depth of field is expanded, maximum values may be present multiple times in the operation (2), etc. There is a risk that the narrow-range captured image displayed on the image display unit may be distorted or noise may be generated. However, in the present invention, since the calculation is performed based on the narrow-range captured image whose blur is corrected Problem is eliminated, and the operability of the observer is improved.
  • the processes described in the above (1) to (2) may be calculated at high speed using a hardware processor such as an FPGA. As a result, it is possible to display a narrow-range captured image with a deep frame depth, a low delay, and a high frame rate on the image display unit, and the observer satisfaction is improved.
  • Moving the above-mentioned focal position means fixing the imaging element in the narrow-range imaging unit and changing the effective focal length of the optical system configured by other lenses and the like (for example, the above-described optical system is configured)
  • Method of adjusting the focal length of the variable focus lens Physically moving the narrow-range imaging unit to move the focal position while maintaining the focal length of the optical system at a predetermined distance, focal length of the optical system This may be realized by moving the imaging element along the optical axis while keeping the predetermined distance at a predetermined distance, or a combination of these.
  • the narrow-range imaging unit captures a narrow range at the observation site at a high magnification, but the narrow-range captured image captured by the narrow-range imaging unit has a shallow depth of field, that is, the image There is a tendency that the location in focus in the depth direction is narrow and the range that can be observed precisely is small.
  • continuous shooting is performed while moving the focal position in the narrow-range imaging unit with respect to the observation site, and the plurality of narrow-range captured images continuously captured are combined to form a deep narrow range with a deep depth of field.
  • a captured image can be generated. That is, it is possible to precisely observe the narrow area at the observation site with a high magnification and a wide narrow-range captured image of the area in focus in the depth direction.
  • the wide-range imaging unit can be used not only to function as an imaging unit for correcting blurring, but also to generate a narrow-range captured image with a deep depth of field as described above with high accuracy.
  • a synergetic effect can be achieved that comprehensive observations can be made.
  • a light projection unit may be provided which projects light at least on the observation site to be imaged by the narrow range imaging unit when continuous imaging is performed by the control of the narrow range imaging unit control unit.
  • the light projected by the light projection unit may be pattern light having a predetermined pattern or may be light without a pattern.
  • the observation site observed by the narrow-range imaging unit is It can be explicit.
  • the projected light can function as an imaging location indication unit that identifies the location imaged in the narrow-range imaging image. Further, by displaying or switching between the narrow-range imaging unit and the wide-range imaging image in parallel on the image display unit, the observation place in the entire position becomes clear, and operability can be improved.
  • the light projected by the light projection unit is pattern light having a predetermined pattern
  • the light is projected at least on the observation region to be imaged by the narrow-range imaging unit.
  • At least the three-dimensional shape of the observation region to be imaged by the narrow-range imaging unit based on focus position information regarding a moving focal position when continuous imaging is performed by control of the narrow-range imaging unit control unit.
  • a three-dimensional shape measurement unit that measures
  • the contrast amount exhibits a maximum value at a certain pixel, and the focal position to be moved and the surface position of the observation site A match with is equivalent.
  • the control state of the narrow-range imaging unit control unit (input to the liquid lens is performed by performing calibration processing such as imaging a reference object whose shape is known in advance. It is possible to correspond to voltage information and current position information of a mechanically moving lens that can be detected by using an encoder sensor or the like. That is, it is possible to acquire the three-dimensional shape of the observation site based on the above-described processing for generating a narrow-range captured image with a deep depth of field and the above-described focus position information.
  • the maximum value exists more than once in the process (2) described above.
  • the three-dimensional shape to be measured may be distorted or noise may be generated by performing the process, but in the present invention, the process of measuring the three-dimensional shape is performed based on the narrow-range captured image whose blur is corrected. Therefore, the above-mentioned problems such as noise are eliminated, and it becomes possible to measure a three-dimensional shape with higher accuracy.
  • the observation site is a desired site in the oral cavity
  • the three-dimensional position detection unit includes a plurality of colored spots colored on the surface of teeth in the oral cavity by meshing paper in the wide area image.
  • the three-dimensional position of the observation site may be detected by
  • a feature point can be formed in the oral cavity, for example, it is not necessary to provide a separate member to be a feature point such as a ball marker, and a three-dimensional position is accurately detected while reducing patient pain for that purpose. can do.
  • the image display unit may be configured by a head mounted image display unit worn on the head of the observer.
  • the head-mounted image display unit is attached to the headgear type, helmet type, sun visor type, band type, or clip of a general glasses frame that the observer usually uses for vision correction etc. It can be various types, such as a type, which can attach at least the eyepiece to the head. According to the present invention, it is possible to display and observe the narrow-range pickup image whose shake has been corrected at any position without restricting the movement of the head.
  • the present invention is also characterized in that it is an observation unit provided with the above-mentioned observation apparatus and a support unit for supporting at least the narrow-range imaging unit of the observation apparatus. According to the present invention, it is possible to display and observe the narrow-range pickup image in which blurring is corrected in a state where there is no burden on the head of the observer with the observation device supported by the support portion.
  • the support portion may be a ceiling, a wall, a floor, a stand, a wagon or a rack, or a support arm extending from a medical examination table, a spittoon stand, a medical robot or other medical equipment.
  • At least the narrow-range imaging unit of the observation apparatus supported by the support unit may be configured to be movable with respect to the observation site.
  • the support portion by configuring the support portion with a support arm having a movable joint portion, the observer moves the support portion by moving the joint portion, that is, moves the supported observation apparatus relative to the observation site by bending the joint portion. This enables observation from the desired position.
  • the support portion can be disposed after being arranged at an appropriate position with respect to the observation site, observation can be performed in more detail.
  • a display device may be provided which displays at least the narrow-range captured image whose blur has been corrected.
  • the display device may be provided, for example, at a position different from the observation device main body, such as the support portion, wall, ceiling, etc., and a plurality of display devices may be provided.
  • the display device different from the image display unit is used to reduce the narrowness in which blurring is corrected from various viewpoint positions.
  • the range pickup image can be displayed and observed. For example, in the dental care, by arranging the display device at a position where it can be seen from the patient who is the subject, it is effective for the explanation to the patient of the medical condition and the informed consent.
  • the display device may be configured as a head-mounted display device mounted on the head of the observer.
  • the above-mentioned head-mounted display device is attached with a clip to a headgear type, helmet type, sun visor type, band type, glasses type, a frame of ordinary glasses that the observer usually uses for correcting vision etc. It is possible to use various types that can attach at least the eyepiece to the head, such as the type to be used. According to the present invention, it is possible to display and observe the narrow-range pickup image whose shake has been corrected without restricting the movement of the head.
  • an observation device capable of precisely observing a narrow-range observation region while suppressing blurring.
  • Configuration explanatory drawing of a magnifying glass The outline perspective view of a medical treatment unit.
  • Explanatory drawing of a wide area optical system and a narrow area optical system Explanatory drawing of a wide area optical system and a narrow area optical system.
  • Explanatory drawing of a wide area optical system and a narrow area optical system Explanatory drawing of a wide area optical system and a narrow area optical system.
  • FIG. 1 shows a configuration explanatory view of the magnifying glass 1 and the omnifocal magnifying glass 1 f
  • FIG. 2 shows a schematic perspective view of the medical treatment unit X
  • FIG. 3 shows an enlarged schematic perspective view of the magnifying glass 1 4 to 8 show explanatory views of the wide-range optical system W and the narrow-range optical system N
  • FIG. 9 shows a schematic view of the display image P
  • FIG. FIG. 11 shows a flowchart
  • FIG. 11 shows an explanatory view of a marking method for measuring a three-dimensional position of an observation site.
  • FIG. 12 shows a schematic view of the omnifocal magnifier 1f
  • FIG. 13 shows a schematic diagram of the observation situation by the omnifocal magnifier 1f
  • FIG. 14 shows an omnifocal observation method by the omnifocal magnifier 1f. It shows a detailed explanatory view of.
  • FIG. 1 (a) shows a block diagram of the magnifying glass 1
  • FIG. 1 (b) shows a block diagram of the omnifocal magnifying glass 1f
  • FIG. 4 shows a schematic configuration diagram of an optical configuration of the magnifying mirror 1 in which the narrow-range optical system N and the wide-range optical system W are separately provided.
  • FIG. 5A and 5B show the magnifying glass 1a in which the narrow-range optical system N and the wide-range optical system W separately provided by the common lens 61 and the wedge plate 61a, which are common optical paths, are made common at the tip side.
  • 6A and 6B show a magnifying mirror 1b in which the narrow-range optical system N and the wide-range optical system W are made common on the tip side by the beam splitter 62 which is a common optical path.
  • FIG. 8 shows a schematic configuration diagram of an optical configuration in FIG.
  • FIG. 7 (a) shows a schematic configuration diagram of an optical configuration of the magnifying glass 1c provided with the common image sensor 64, in which the narrow-range optical system N and the wide-range optical system W are separately provided. Shows a schematic configuration diagram of an optical configuration in the magnifying mirror 1d in which the narrow-range optical system N and the wide-range optical system W provided separately are respectively configured by two systems.
  • FIG. 8 (a) shows a schematic configuration diagram of an optical configuration in the magnifying mirror 1 in which the common projection unit 70 is provided to the narrow-range optical system N and the wide-range optical system W which are separately provided.
  • the medical treatment unit X is composed of a dental medical treatment apparatus 200 shown in FIG. 2 and an observation unit Y used together with the magnifying glass 1 corresponding to the observation apparatus.
  • the dental care apparatus 200 includes an instrument table 210 provided with medical treatment instruments 213 (213a to 213e), and a medical examination table 220 for carrying a treatment on which a patient to be treated is placed. There is.
  • the instrument table 210 is provided with an instrument holder 212 on the front side of the table 211 rotatably attached to the medical examination table 220 via an arm, and the instrument holder 212 is a cutting tool such as an air turbine handpiece or a micromotor handpiece or a scaler.
  • a medical instrument 213 (213a to 213e) composed of a three-way syringe, a vacuum syringe or the like is detachably attached.
  • the medical treatment instrument 213 is connected to and driven by the water supply source, the air supply source, and the air suction unit, these mechanisms are known and thus the detailed description will be omitted.
  • the foot controller 214 for inputting various operations is provided, the mechanism of the foot controller is well known, so the detailed description will be omitted.
  • the medical examination table 220 on which the patient is placed is a seat section seat mounted on the base 221 so as to be able to move up and down, and a tiltable back plate 223 connected behind the seat section seat.
  • a seat portion seat lifting and lowering unit, a back plate seat tilting unit, and a head rest tilting unit are provided. It drives by the drive of the hydraulic cylinder, the electric motor, etc. which were operated and controlled by the foot controller 214.
  • the medical table 220 is provided with a spittoon 225 and a treatment stand pole 230, and the treatment stand pole 230 is branched from the middle, and an arm 231 which is rotatably protruded and a support arm 300 described later at the upper end. Is equipped. Further, the treatment stand pole 230 is provided with a monitor 240 which constitutes the observation unit Y together with the magnifying glass 1.
  • the spittoon 225 is provided with a water tap for supplying water when rinsing the inside of the oral cavity and the like, and a spigot. Furthermore, on the back or abdomen of the patient, there is provided a connection portion (not shown) connected to an electric path, a hydraulic path, an air path or the like disposed on the medical examination table 220.
  • the magnifier 1 is supported by a position adjustable support arm 300 (corresponding to a support portion).
  • the support arm 300 and the magnifying glass 1 constitute an observation unit Y.
  • the support arm 300 is rotatably provided to the upper end of the treatment stand pole 230 attached to the medical examination table 220, and is an articulated joint connected by a plurality of joint portions 301a so that the plurality of arms 301 can move respectively.
  • the magnifying glass 1 attached to the tip of the support arm 300 is configured to be movable to a desired position.
  • the support arm 300 may be configured to extend from a ceiling, a wall, or a floor instead of being provided on the treatment stand pole 230 attached to the medical examination table 220, which is different from the treatment stand pole 230. It may be provided on a stand, wagon or rack of the Furthermore, it may be configured to extend from a medical examination table, a spittoon table, a medical robot, other medical devices, and the like.
  • the magnifier 1 constituting the medical treatment unit X with the dental care apparatus 200 configured in this way is along the magnifier main body 10 and the magnifier main body 10 as illustrated in FIG. 1A and FIG. And the wide-range imaging device 20 provided in FIG.
  • the wide-range imaging device 20 includes a wide-range camera 21 configured by an image sensor inside a housing 20a fixed to a housing 10a of the magnifier main body 10, a lens for wide-range imaging including a tooth T to be observed, And a wide-range optical path 22 (see FIG. 4).
  • the wide-range camera 21 has a resolution of an image to be captured that is lower than the resolution of an image captured by a narrow-range camera 30 described later, as illustrated in FIG.
  • the wide-range camera 21 is disposed so as to be able to pick up a wide imaging range Aw which is a wide range including the narrow imaging range An to be imaged. Further, the wide range camera 21 is connected to the control unit 50 by a communication unit (not shown).
  • the wide-range camera 21 is configured by a stereoscopic camera capable of capturing a three-dimensional position of the tooth T or the wide imaging range Aw.
  • the wide-range camera 21 illustrated in FIG. 4 is, for example, a single-lens type stereoscopic camera, and for example, a trigonometric method, a focusing method, a time of flight method, an RGB-D (Distance) camera, a light field camera, etc. It can be configured by a three-dimensional camera adopting a known three-dimensional measurement principle.
  • a three-dimensional measuring device different from the wide-range camera 21 is incorporated inside or outside the wide-range imaging device 20, and three-dimensional position information of the tooth T and the wide imaging range Aw is acquired using another three-dimensional measuring device It may be configured to obtain a three-dimensional captured image.
  • a camera having multiple optical paths configured to obtain a three-dimensional captured image based on captured images captured at three or more angles, such as a binocular type (stereo camera) or a multi-eye type having three or more eyes It may be
  • the wide-range camera 21 is drawn as a single case 21a, but, for example, in the case of a binocular type or multi-eye type stereoscopic camera, the inside of one case 21a
  • the camera may be provided with a plurality of cameras, or may be provided with a housing for each camera system.
  • the wide-range camera 21 is provided in the same case 10a as the magnifier main body 10 May be
  • the magnifier main body 10 images the narrow-range camera 30 disposed corresponding to the objective unit 12 and the tooth T with high accuracy in the inside of the housing 10 a having the eyepiece unit 11 and the objective unit 12
  • a narrow-range optical path 31 (see FIG. 4) configured by a lens or the like, an image display unit 40 disposed corresponding to the eyepiece unit 11, and a control unit 50.
  • the handle 13 is held by the observer to move the magnifying glass 1 to a desired position, that is, to move the joint portion 301a of each arm constituting the support arm 300 which is an articulated arm type. Is equipped.
  • the casing 10a may be provided with a start switch for starting the magnifying glass 1, an adjuster for adjusting the position of the eyepiece unit 11, and the like (not shown).
  • the narrow-range camera 30 is configured by an image sensor, and the observation range defined by the narrow-range optical path 31 disposed corresponding to the objective unit 12 is a narrow range (narrow imaging range as illustrated in FIG. 3). Although it is An), the resolution of the captured image is configured to be higher than the resolution of the image captured by the wide-range camera 21 described above. That is, the narrow-range camera 30 can capture and observe the narrow-range captured image with high resolution and the teeth T with the narrow-range optical path 31.
  • the narrow range camera 30 may be configured as a stereoscopic camera that images the teeth T in a three-dimensional manner. In this case, it may be a binocular type (binocular type) or a monocular type in which observation is performed using the parallax of the left and right eyes.
  • the narrow-range camera 30 is connected to a control unit 50 described later by a communication unit (not shown).
  • the image display unit 40 is disposed corresponding to the eyepiece unit 11 as described above, and can display the captured image of the tooth T captured by the narrow-range camera 30. Therefore, the observer can observe the captured image of the tooth T captured by the narrow-range camera 30 and displayed on the image display unit 40 through the eyepiece unit 11.
  • the image display unit 40 may be a liquid crystal display or an organic EL display that displays captured image information, a type that projects an image on a screen, or a type that writes an image to the retina of an observer by laser scanning.
  • the type may be, for example, a type that can stereoscopically display a stereoscopic image captured by a stereoscopic camera.
  • the image display unit 40 may be provided for each of the left and right eyepieces 11, that is, the right-eye eyepiece 11 and the left-eye eyepiece 11; It may be configured to be visible from the eye 11.
  • the image display unit 40 is connected to the control unit 50 by a communication unit (not shown).
  • the control unit 50 is configured by a CPU, a ROM, a RAM, and the like, and has functional configurations such as an image generation unit 51, a three-dimensional position calculation unit 52, and a shake correction processing unit 53.
  • the image generation unit 51 is configured to generate a display image to be displayed by the image display unit 40 based on at least an image captured by the narrow range camera 30.
  • a display image P as illustrated in FIG. 9A can be displayed on the image display unit 40 by the image generation unit 51.
  • the display image P illustrated in FIG. 9A includes a narrow-range observation image display Pn that displays a pickup image taken by the narrow-range camera 30 and a wide-area observation image display that displays a pickup image taken by the wide-range camera 21. It is displayed in parallel with Pw.
  • the resolution of the wide-range observation image display Pw is low, the size of the display area is larger than that of the narrow-range observation image display Pn, and for example, the wide area including the tooth T such as the entire dental arch is displayed in an observable manner.
  • the narrow-range observation image display Pn has a high resolution, but the size of the display area is smaller than the wide-range observation image display Pw, and only the vicinity of the tooth T can be observed.
  • the narrow-range observation image display Pn and the wide-range observation image display Pw are displayed in parallel, but only the narrow-range observation image display Pn is displayed on the display image P, and the foot controller 214 is displayed.
  • the narrow-range observation image display Pn and the wide-range observation image display Pw may be switched and displayed by a predetermined operation using an electronic component or the like, or may be automatically switched. Furthermore, after the narrow-range observation image display Pn and the wide-range observation image display Pw are displayed in parallel, only the narrow-range observation image display Pn may be displayed and then switched to the wide-range observation image display Pw.
  • each of the image displays Pw and Pn may be changed by the operation of the foot controller 214 or an input unit such as a mouse.
  • both or both of the image displays Pw and Pn may be displayed overlapping each other.
  • the three-dimensional position calculation unit 52 is configured to calculate the three-dimensional position of the tooth T from the captured image (wide-range captured image) of the wide imaging range Aw captured by the wide-range camera 21 and detect a relative position change.
  • the three-dimensional position calculation unit 52 that calculates the three-dimensional position of the tooth T may calculate an absolute three-dimensional position, but at least a relative three-dimensional position relative to the wide range camera 21 integrally configured with the narrow range camera 30 Is calculated.
  • the three-dimensional position calculation unit 52 is configured to set a currently-captured wide-area captured image and at least one wide-area captured image captured at a timing earlier than that of the continuously-captured wide-area captured images. 3D position at each time by applying a method such as template matching or feature point matching to compare what kind of motion the characteristic points (feature points) in the captured image are doing. The amount of change in the three-dimensional position from time is detected.
  • the feature points may be at least three points, and may be feature points of a dentition including a tooth T or a ball marker rigidly attached to the dentition.
  • the wide-range camera 21 is a stereo camera configured by two systems
  • the feature point is stereo matching processing of two-dimensional feature points in the image captured by the wide-range camera 21 of each system. Calculation of three-dimensional position is possible.
  • the wide-range camera 21 may be a three-dimensional camera, can calculate the three-dimensional surface shape of the dentition, and can adopt three-dimensional feature points in the calculated three-dimensional surface shape.
  • the posture when observing the inside of the patient's oral cavity from about the top with the magnifying glass 1 from a substantially upper position, the posture is generally fixed in the supine state, as in dental practice, and the observation is obstructed when a blur occurs.
  • Blur in directions other than up and down is often dominant over blurring in the up and down direction (that is, the linear direction from the tooth T toward the magnifying glass 1).
  • the relative three-dimensional position calculated by the three-dimensional position calculation unit 52 may be approximated to a two-dimensional relative position in which only the directions other than the upper and lower directions are considered, ignoring the movement of the relative position in the vertical direction.
  • the calculation load in the three-dimensional position calculation unit 52 can be reduced. In that case, the required number of feature points can be two or less.
  • the shake correction processing unit 53 detects the change in the three-dimensional position of the tooth T calculated by the three-dimensional position calculation unit 52, and occurs in the high-resolution captured image captured by the narrow range camera 30 due to the relative position change in the three-dimensional position.
  • the blur is corrected based on the change in the detected three-dimensional position.
  • a processing method for correcting a blur occurring in a high-accuracy narrow-range captured image captured by the narrow-range camera 30 based on a change in the detected three-dimensional position of the tooth T for example, a pixel value for the narrow-range captured image Image processing such as parallel movement, rotational movement, and enlargement / reduction processing is performed to correct blurring.
  • the whole of the magnifier main body 10 or the narrow-range camera 30 and the narrow-range optical path in the direction to eliminate the change of the three-dimensional relative position so as not to cause blurring in the narrow-range captured image A part of 31 may be moved or these may be combined. Further, blurring may be corrected by combining the image processing described above and the movement of the narrow-range camera 30 or the like.
  • the magnifying body 10 or a part of the narrow range optical path 31 of the narrow range camera 30 for example, using the actuator, the magnifying body 10, the narrow range camera 30, and the narrow range
  • the optical axis is optically moved using a method of mechanically moving at least a part of the optical path 31 or a variable lens, variable prism, spatial light modulator or the like whose refractive index and shape can be varied by electrical control. Methods and the like can be applied.
  • the magnifying glass 1 in which each element is configured is configured by the wide range optical system W configured by the wide range camera 21 and the wide range optical path 22, and the narrow range camera 30 and the narrow range optical path 31.
  • a narrow-range optical system N constitutes a magnifier separately configured.
  • the tooth T is imaged with the narrow range optical system N and the wide range optical system W (step s1)
  • the display image generated based on the captured image is displayed on the image display unit 40 (step s2).
  • the captured image of the tooth T through the narrow range optical path 31 is captured by the narrow range camera 30 of the narrow range optical system N, and the captured image of the tooth T through the wide range optical path 22 is Images are taken by the wide-range camera 21 of W (step s1).
  • the narrow range camera 30 captures an optical image of a narrow range including the tooth T (narrow range captured image) with high resolution
  • the wide range camera 21 reduces the optical image of a wide range including the tooth T (wide range captured image) Image with Then, the narrow-range camera 30 and the wide-range camera 21 that have detected each captured image output the captured image information to the image generation unit 51 of the control unit 50 connected by the communication unit (not shown).
  • a display image such as the image P is generated and displayed on the image display unit 40 connected to the control unit 50 (step s2).
  • the three-dimensional position calculation unit 52 calculates the three-dimensional position of the tooth T based on the wide-range captured image detected by the wide-range camera 21 (step s3).
  • step s4: Yes when the relative movement of the tooth T with respect to the wide-range camera 21 is detected (step s4: Yes), a narrow-range captured image captured by the narrow-range camera 30 in which blurring occurs in response to the relative movement of the tooth T.
  • blur correction processing for eliminating blur is performed (step s5), and the display image subjected to the blur correction processing is displayed on the image display unit 40 as a narrow-range observation image display Pn. This is repeated until the end of observation (step s6: No), and the flow is ended by the end of observation (step s6: Yes).
  • the ON / OFF state of the motion correction operation may be switched by the operation of the foot controller 214 or an input unit such as a mouse. For example, while the observer grips the handle 13 to move the magnifying glass 1 to a desired observation position, a change in the three-dimensional relative position of an amount exceeding the correctable limit may occur. It is advantageous not to perform blur correction.
  • parameters such as vibration frequency, vibration amplitude, etc. are calculated from the history of the amount of change of the three-dimensional relative position.
  • the on / off state may be automatically switched.
  • the tooth T can be imaged in the wide imaging range Aw by the wide-range camera 21, the wide imaging range Aw including the portion observed by the narrow-range camera 30 can be observed.
  • the image display unit 40 that displays at least the narrow-range captured image in which the blur is corrected is provided, precision and accuracy can be obtained while watching together the narrow-range captured image with a narrow field of view and the wide-range captured image with a wide field of view. Comprehensive observations can be made.
  • the wide-range captured image and the narrow-range captured image are displayed side by side on the image display unit 40 or switched and displayed at the same time.
  • the present focused position in the field of view of the imaging range Aw can be confirmed simultaneously, and operability and safety are improved.
  • the observer uses the dental turbine for cutting the tooth T as the medical treatment instrument 213 while observing the tooth T with the magnifying glass 1, the observer can view only the narrow-range observation image display Pn.
  • the sharp tip bar of the dental turbine which has become invisible, unintentionally enters the patient's oral cavity or skin.
  • the position of the dental turbine in the wide-range observation image display Pw obtained by imaging the wide imaging range Aw around the patient's tooth T can be visually recognized, and the dental turbine is operated so as not to damage the patient Possible, and therefore, safety is improved.
  • the wide-range camera 21 not only functions as a camera for acquiring the three-dimensional positional information of the tooth T necessary for the blur correction processing by the same camera without increasing the number of parts, but also includes the above-mentioned inclusion.
  • the support arm 300 since mechanical vibration that causes blurring is acceptable, even when supporting the magnifying glass 1 with the support arm 300, the support arm 300 has a low rigidity, that is, a small, lightweight, and low cost configuration. Can be configured.
  • the observation unit Y has been described as an observation unit Y that can be observed without a load by the magnifying glass 1 supported by the supporting arm 300. Since the magnifier 1 supported by moving the joint portion 301 a is configured to be movable with respect to the tooth T, the support arm 300 is disposed at an appropriate position with respect to the tooth T and then observed by the magnifier 1 It can be observed in more detail because it can.
  • the three-dimensional relative position between the tooth T whose three-dimensional position is detected by the three-dimensional position calculation unit 52 and the narrow-range camera 30 is the three-dimensional position of the tooth T detected based on the wide-range image and the wide-range camera 21 is calculated based on the known three-dimensional position of the narrow-range camera 30 with respect to 21.
  • the wide-range imaging device 20 is disposed so that the narrow-range camera 30 and the magnifier main body 10 are also included in the wide-range image
  • the respective three-dimensional positions and three-dimensional relative values of the tooth T and the narrow-range camera 30 may be calculated based on the wide-range image captured by the narrow-range camera 30 and the magnifier main body 10 together with T.
  • the magnifying mirror 1 in which the narrow optical system N and the wide optical system W are separately configured as shown in FIG. 4 has been described, but various kinds of the narrow optical system N and the wide optical system W are described. It can be configured in a form.
  • a wide-range optical system W configured by the wide-range camera 21 and the wide-range optical path 22, and a narrow range optical system N configured by the narrow range camera 30 and the narrow range optical path 31.
  • it may be a magnifying glass 1a provided with a common lens 61 through which the captured image transmitted through the wide-range optical path 22 and the narrow-range optical path 31 is transmitted.
  • the wide-range camera 21 and the wide-range optical path 22 can be incorporated in the housing 10a, and the common lens 61 can be provided in the objective portion 12.
  • the common lens 61 is drawn as a single lens in FIG. 5A, it may be another form. For example, even if it is a lens system composed of a plurality of element lenses, other optical elements such as mirrors, optical filters, polarizing elements, cover glasses, etc., or an optical system composed of a combination of the above. Good.
  • the optical system constituting the common lens 61 can be equivalently regarded as a lens (when the combined focal length can be defined), as shown in FIG. 5A, the optical axis (from the cameras 21 and 30 to the tooth T) The direction of the arrow directed to can be refracted toward the tooth T, and the optical axis closer to the cameras 21 and 30 than the common lens 61 can be disposed parallel to the housing.
  • the effect of being able to simplify the design and assembly process of parts for holding the wide-range optical system W and the narrow-range optical system N in the housing Will occur.
  • the image sensors constituting the cameras 21 and 30 can be mounted on the same electronic substrate, thereby achieving downsizing, reduction in the number of parts, and simplification of assembly. be able to.
  • the wedge plate 61a having a plurality of slopes instead of the common lens 61 as shown in FIG. 5 (b) to form the magnifying glass 1a.
  • the wedge plate 61a is illustrated as a single element, for example, the wedge plate 61a may be configured by combining a plurality of wedge plates having a single inclined surface. Further, it is needless to say that the same optical axis refracting effect can be obtained by replacing or combining the common lens 61 and the wedge plate 61a with other elements having a refraction function such as a mirror or a penta prism.
  • the optical image of the tooth T incident from the objective unit 12 passes through the common lens 61, and then passes through the wide optical path 22 constituting the wide optical system W to obtain the wide range camera 21. , And can be observed by passing through the narrow-range optical path 31 constituting the narrow-range optical system N and imaging with the narrow-range camera 30.
  • the magnifying glass 1a achieves the effect of the magnifying glass 1 as described above, and the housing 20a is not required as compared with the magnifying glass 1, and a lens, a mirror, an optical filter, a polarizing element, a cover glass, etc.
  • the number of parts can be reduced as compared with the case where the optical elements are separately provided in the optical systems N and W, and the magnifying mirror 1a can be made compact.
  • the magnifying lens 1a including the common lens 61 and the wedge plate 61a shares at least a part of the narrow range optical system N and the wide range optical system W by the common lens 61 and the wedge plate 61a, the structure is simplified. And the compact magnifier main body 10 can be configured.
  • a beam splitter 62 is provided, and a common optical path configured with a lens or the like between the beam splitter 62 and the objective portion 12 63 may be provided to constitute the magnifying glass 1b. After the optical image of the tooth T incident from the objective unit 12 passes through the common optical path 63, the magnifying mirror 1b configured in this way is separated into the narrow-range optical system N and the wide-range optical system W by the beam splitter 62.
  • the magnifying glass 1 b can be configured to be compact as compared with the magnifying glass 1 while exerting the effect of the magnifying glass 1 as described above.
  • FIG. 6A shows an example in which the optical systems N and W are split at 90 °, for example, as shown in FIG. After separation at 90 °, the separated optical systems N and W are arranged in parallel by bending the traveling direction again by 90 ° in the reverse direction using the mirror 62a etc. It may be configured as follows. In this case, the image sensors constituting the cameras 21 and 30 can be mounted on the same electronic substrate, and compactness, easy assembly, and reduction in the number of parts can be achieved.
  • the magnifying mirror 1b including the beam splitter 62 and the mirror 62a can share at least a part of the narrow-range optical path 31 and the wide-range optical path 22 by the beam splitter 62 and the mirror 62a, thus simplifying the structure.
  • a compact magnifier main body 10 can be configured.
  • a wide-range optical system W configured by the wide-range camera 21 and the wide-range optical path 22, and a narrow-range optical system N configured by the narrow-range camera 30 and the narrow-range optical path 31.
  • the wide-range camera 21 and the narrow-range camera 30 may be configured as a single common image sensor 64.
  • the common image sensor 64 is divided into an area in the wide area camera 21 and an area in the narrow area camera 30 to realize the functions as the wide area camera 21 and the narrow area camera 30 with one image sensor. Can.
  • the magnifier 1c configured in this manner transmits the wide-range optical path 22 constituting the wide-range optical system W, and functions as the wide-range camera 21 in the common image sensor 64 for the captured image of the tooth T incident from the objective unit 12 It can observe by imaging in the field which functions as narrow range camera 30, transmitting through narrow range optical path 31 which constitutes narrow range optical system N while imaging in the field which it is.
  • the magnifier 1 c configured in this way has the effect of the magnifier 1 and the effect of the magnifier 1 a, and the common image sensor 64 realizes the functions of the narrow-range camera 30 and the wide-range camera 21. Since the relative position between the range camera 30 and the wide range camera 21 does not change, a narrow range captured image captured by the narrow range camera 30 with respect to a change in the three-dimensional position of the tooth T based on the wide range captured image detected by the wide range camera 21 Shake correction can be performed accurately.
  • the magnifying lens 1c may include the common lens 61 and the wedge plate 61a provided in the magnifying glass 1a, or the beam splitter 62 and the mirror 62a provided in the magnifying glass 1b.
  • two systems of the narrow-range optical system N and the wide-range optical system W may be provided for each of the left eye and the right eye.
  • the magnifying mirror 1d provided with two systems of the narrow-range optical system N and the wide-range optical system W is for the wide-range camera 21 and the wide-range optical path 22 for left eye and right eye as shown in FIG. Two each may be provided, and the narrow-range camera 30 and the narrow-range optical path 31 may also be provided two each for the left eye and the right eye.
  • the wide-range imaging device 20 and the narrow-range camera 30 can be configured by a binocular stereoscopic camera, so that the magnifying glass 1d is a tooth using both of the wide-range camera 21 and the narrow-range camera 30 using parallax. It can be configured as a stereoscopic camera (stereo camera) that can observe T three-dimensionally.
  • the observer can stereoscopically view both of the image displays Pn and Pw displayed on the image display unit 40. Therefore, operability and satisfaction in observation in both comprehensive observation and precise observation can be obtained. It can be improved.
  • the common lens 61 and the wedge plate 61a may be provided like the magnifying glass 1a in the left and right narrow range optical systems N and the wide range optical system W in the magnifying glass 1d, and the beam splitter 62 like the magnifying glass 1b.
  • a mirror 62a and a common optical path 63 may be provided.
  • the magnifying glass 1d can exhibit the same effects as the magnifying glass 1a and the magnifying glass 1b.
  • the wide-range camera 30 of the left and right narrow-range optical systems N in the magnifying glass 1 d and the wide-range camera 21 of the wide-range optical system W may be configured by the common image sensor 64 like the magnifying glass 1 c.
  • the magnifying glass 1d can also exhibit the same effect as the magnifying glass 1c.
  • both the narrow-range optical system N and the wide-range optical system W may be configured as two systems as in the case of the magnifying glass 1d
  • one of the narrow-range optical system N and the wide-range optical system W may be configured as two systems. And the other may be configured in one system.
  • the projection unit 70 projects the projection light L on the tooth T.
  • the illumination range of the projection light L is set to illuminate the range corresponding to the narrow range imaging region. For example, as shown in FIG. 8A, this is realized by arranging so that the optical axis of the camera intersects with the optical axis of the projection light at the optimum focal position of the narrow-range camera.
  • the projection light L may be constantly turned on while the magnifying glass 1 is used, or may be configured to blink at a predetermined timing. Further, the projection light L may be, for example, pattern projection light La including a lattice-like pattern or the like.
  • the wide-range camera is a three-dimensional camera (for example, a three-dimensional camera based on pattern projection trigonometry) that can calculate a three-dimensional surface shape, and the three-dimensional position calculation unit 52 The accuracy in calculating the three-dimensional position of the feature point and the accuracy in generating an all-focus narrow-range captured image to be described later are improved.
  • the illumination range of the projection lights L and La may be a wide imaging range Aw including not only the narrow imaging range An but also the narrow imaging range An. In this case, among the illumination ranges, it is advantageous to distinguish the illumination state, such as changing the brightness, color, and pattern form of the pattern projection light La between the narrow imaging range An and the wide imaging range Aw.
  • the wide-range camera 21 and the narrow-range camera 30 have different parameters for defining the exposure sensitivity, such as the imaging range, the aperture value, the shutter speed, etc.
  • appropriate light quantities and colors are set according to the cameras. Is good.
  • pattern projection is performed in the narrow imaging range An and the wide imaging range Aw. It is good to distinguish the form of the pattern of light La.
  • the narrow-range camera 30 can capture a bright narrow-range captured image, and the narrow imaging range An corresponding to the narrow-range captured image captured by the narrow-range camera 30 is displayed brightly
  • the narrow imaging range An can be clearly indicated in the wide-range image captured by the wide-range camera 21.
  • the brightness, color and pattern are changed between the narrow imaging range An and the wide imaging range Aw.
  • the projection unit 70 may be provided in the magnifying mirrors 1a, 1b, and 1c.
  • the projection unit 70 may be provided for each system with respect to the two narrow-range optical systems N for left and right and the wide-range optical system W.
  • the projection unit 70 may be provided.
  • the projection unit 70 for the left eye and the projection unit 70 for the right eye The wavelength (color), polarization state, and blink timing may be changed.
  • the narrow range camera 30 with a narrow field of view is provided by including the projection unit 70 that projects the projection light L and La onto the teeth T imaged by at least the narrow range camera 30. Since the projection lights L and La are projected onto the tooth T observed by the above, as shown in FIG. 9B, the narrow-range camera 30 observes a wide-range captured image captured by the wide-range camera 21. Tooth T can be specified.
  • the projected light beams L and La that have been projected clearly indicate the part imaged in the narrow-range imaging image in the wide-range imaging image Can function as Further, by displaying the wide-range captured image and the narrow-range captured image in parallel on the image display unit 40, the observation position in the entire position becomes clear, and the operability can be improved.
  • the pattern projection light La projected by the projection unit 70 is projected onto at least the tooth T imaged by the narrow-range camera 30, so that, for example, even if the tooth T is a homogeneous structure without a pattern, a pattern is given.
  • detection of contrast becomes easy and accurate, and a sharper narrow-range captured image with a deeper depth of field can be generated with high accuracy.
  • FIG. 8B it may be a magnifying glass 1e in which the narrow area optical system N and the wide area optical system W are respectively provided with the projection units 70 (70a, 70b).
  • the optical paths 31 and 22 may be provided with the beam splitter 71.
  • the thus configured magnifier 1e exerts the effect of the magnifier 1 as described above, and the projection lights L and La projected from the projection unit 70 are projected onto the tooth T through the beam splitter 71, and the tooth T The reflected light reflected can be observed by transmitting through the beam splitter 71 and imaging with the narrow range camera 30 and the wide range camera 21.
  • the projection units 70 when the illumination state is distinguished according to the imaging ranges Aw and An as described above, as compared with the case where the projection unit 70 is single.
  • the degree of freedom in design of the projection unit 70 is improved.
  • the wavelength (color) of the projection light L and La When the projection lights L and La are simultaneously projected by the projection unit 70a of the narrow range optical system N and the projection unit 70b of the wide range optical system W, the wavelength (color) of the projection light L and La, polarization state, blink timing, Alternatively, the pattern of the pattern may be changed.
  • an omnifocal magnifying glass 1 f may be configured as shown in FIG.
  • the omnifocal magnifier 1 f is provided with a focus variable lens 72 in addition to the beam splitter 71 in the narrow optical path 31 in the narrow optical system N of the magnifier 1 e shown in FIG. 8B.
  • the omnifocal magnifier 1 f includes a focus adjustment unit 73 that adjusts the position of the variable focus lens 72 with respect to the narrow range camera 30 in the narrow range optical system N.
  • a projection control unit 55 for controlling the projection of the pattern projection light La by the projection unit 70.
  • the variable-focus lens 72 is a type of variable-focus lens that mechanically moves the lens position.
  • the focal position of the narrow range camera 30 that is, the height of the surface illustrated as the narrow imaging range An in FIG. 13.
  • the position in the longitudinal direction can be swept over a predetermined range R in the optical axis direction, and a narrow-range captured image can be taken while sweeping the focal position.
  • the focal point variable lens 72 is adjusted by the control of the focal point adjustment unit 73 so that the focal point position is swept in order from the top of the tooth T in the height direction.
  • the range camera 30 By capturing a narrow-range captured image with the range camera 30, it is possible to obtain a plurality of narrow-range captured images having different focus positions. Then, by combining the plurality of narrow-range captured images having different focal positions by the image generation unit 51, the entire range in the height direction, which is the optical axis direction of the narrow-range camera 30, is in focus. It is possible to obtain an all-focus narrow-range captured image with an expanded depth.
  • FIG. 14 shows that the focus position is swept in order from the top of the tooth T in the height direction, the sweep may be started from the opposite direction, or the sweep may be repeated periodically.
  • the narrow-range camera 30 continuously picks up an image while sweeping the focus position on the tooth T by a method such as mechanically driving the lens or the like of the narrow-range optical path 31 in the narrow-range camera 30.
  • the maximum value may be present multiple times in the calculation of (2), and the narrow-range captured image displayed on the image display unit 40 may be distorted or noise may occur.
  • the above-mentioned problems such as noise are eliminated, and the operability of the observer can be improved.
  • the above procedure may be calculated at high speed using a hardware processor such as an FPGA.
  • the focus position may be moved by adjustment by electrically controlling a variable focus lens such as a liquid lens.
  • the focal position may be moved by physically moving the narrow-range camera 30 while maintaining the focal length at a predetermined distance, or the entire magnifier main body 10 may be moved.
  • a counter weight in the opposite direction to the movable portion for canceling the vibration generated with the movement of the center of gravity. It is good to use a moving weight). By adopting the counterweight, unnecessary vibration is suppressed, and the omnifocal magnifier 1 f operates with low noise, and observation with higher accuracy is possible.
  • the omnifocal magnifier 1 f controls the continuous shooting while moving the focus position of the narrow range camera 30 with respect to the tooth T, and a plurality of narrow range captured images captured continuously Since the image generation unit 51 is provided to synthesize the all-focus narrow-range captured image, that is, generate the deep-range captured image with a deep depth of field, it is possible to further reduce the depth of field. It can be observed precisely.
  • the narrow-range camera 30 captures a narrow imaging range An at the tooth T at a high magnification, but the narrow-range captured image captured by the narrow-range camera 30 has a shallow depth of field, that is, There is a tendency that the location in focus in the depth direction of the captured image is narrow, and the range that can be precisely observed tends to be small, but continuous shooting is performed while moving the focus position in the narrow range camera 30 with respect to the tooth T
  • the plurality of narrow-range captured images are combined to generate a narrow-range captured image with a deep depth of field, that is, a range in which the narrow imaging range An of the tooth T is in focus in the depth direction with high magnification It is possible to observe precisely by the wide narrow-range imaging image of
  • a plurality of narrow range captured images captured continuously while moving the focus position is corrected for blurring
  • a plurality of narrow range captured images captured continuously can be accurately synthesized to obtain a clear depth of field.
  • the deep narrow-range image can be generated with high accuracy.
  • the wide-range camera 21 functions to correct blurring, and can be used to improve the accuracy when the narrow-range camera 30 generates a captured image with a deep depth of field as described above, and further, the number of parts
  • the synergetic effect that precise three-dimensional measurement of the tooth T based on the comprehensive observation, processing of the explicit part, and focus position information described later can be performed using the same wide-range camera 21 without increasing.
  • the narrow-range camera 30 picks up an image based on the focal position information regarding the moving focal position when continuously photographing the omnifocal magnifier 1f under the control of the control unit 50.
  • the three-dimensional shape measurement unit 56 may be provided to measure the three-dimensional shape of the tooth T, and by providing the three-dimensional shape measurement unit 56, a narrow range captured image with a sharp and deep depth of field in the narrow imaging range An The three-dimensional shape of the tooth T can also be obtained.
  • the contrast amount exhibits a maximum value at a certain pixel, and the focal position to be moved and the surface position of the tooth T that is the observation site A match with is equivalent.
  • the control state of the narrow-range imaging unit control unit (input to the liquid lens is performed by performing calibration processing such as imaging a reference object whose shape is known in advance. It is possible to associate voltage information, input voltage information to an actuator or the like that moves the lens, or current position information of a mechanically moved lens that can be measured by using an encoder sensor or the like. That is, it is possible to acquire the three-dimensional shape of the observation site based on the above-described processing for generating a narrow-range captured image with a deep depth of field and the above-described focus position information.
  • the three-dimensional position is calculated more accurately by providing a plurality of feature points in the oral cavity.
  • Can As an example for that, as shown in FIG. 11, when the patient to be observed bites the occlusal paper, a color pattern (color point Pc) such as red / blue is transferred to the patient's teeth and transferred.
  • the color point Pc can be used as the feature point.
  • occlusal paper that is, a sheet-like thin film to which red and blue pigments are transferred, but bites with teeth according to the occlusion Color or optical characteristics (paints such as pigment with biological safety, adhesives, adhesive sheets, microcapsules, particles, substances that exhibit fluorescence in response to irradiation of projection light L, etc.) are transferred to locations These include sheet-like or thick-shaped, impression tray-shaped, and mouthpiece (sprint) -shaped which can be inserted into the mouth.
  • the tooth T is a desired site in the oral cavity
  • the three-dimensional position calculation unit 52 detects a plurality of colored spots colored on the surface of the tooth in the oral cavity by the intermeshing paper in a wide-range captured image
  • the three-dimensional position can be accurately detected without providing a separate member which is a feature point such as a ball marker.
  • the observation unit Y having the magnifying glass 1 (1a to 1f) configured in this way displays an image captured by the narrow range camera 30 and the wide range camera 21 by connecting the monitor 240 to the control unit 50. Not only the part 40 but also the monitor 240 can be displayed and observed.
  • the monitor 240 is, for example, shown in FIG. 2 as being installed on the treatment stand pole 230, the support arm 300, a support arm different from the support arm 300, a wall, a ceiling, etc. May be provided.
  • an external monitor other than the monitor 240 may be connected to the observation unit Y, or a head mounted display (HMD), a glasses-type head-up display (HUD), etc.
  • Control unit for headgear type, helmet type, sun visor type, band type, glasses type, and display type of clip type attached to the frame of general glasses that the observer usually uses for vision correction etc. 50 may be connected using communication means such as wireless.
  • the monitor 240 by providing the monitor 240 and a plurality of display devices, even when the observer moves to various positions or when there are a plurality of observers, the monitor 240 different from the image display unit 40 In the above, it is possible to display and observe the narrow-range pickup image in which blurring is corrected from various viewpoint positions. For example, in the dental care, by disposing the monitor 240 at a position where it can be seen from the patient who is the subject, it is also effective for explaining the medical condition to the patient, informed consent and the like.
  • the image display unit 40 is not disposed in the magnifying glass 1 (1a to 1f), and a headgear type, a helmet type, a sun visor type, a band type, a glasses type, an observer
  • the image display unit 40 of the magnifier 1 (1a to 1f) is disposed in a type mounted with a clip on a frame of ordinary glasses usually used for correction etc., and an image is displayed from the main body of the magnifier 1 It may be a head mounted type magnifying glass in which the portion 40 is separated.
  • HMDs and HUDs in which the image display unit 40 is mounted on the observer's head instead of the image display unit 40 or in combination with the image display unit 40 are not restricted in movement of the head. , A narrow-range captured image with blur corrected can be displayed and observed.
  • the observation part of this embodiment corresponds to tooth T
  • the imaging unit corresponds to the cameras 30, 21
  • the observation device corresponds to the magnifying glass 1
  • the narrow range corresponds to the narrow imaging range An
  • the narrow-range imaging unit corresponds to the narrow-range camera 30
  • the wide range corresponds to the wide imaging range Aw
  • the wide area imaging unit corresponds to the wide area camera 21
  • the wide area image corresponds to the wide area image
  • the three-dimensional position detection unit corresponds to the three-dimensional position calculation unit 52
  • the narrow-range image corresponds to the narrow-range image
  • the blur correction unit corresponds to the blur correction processing unit 53
  • the image display unit corresponds to the image display unit 40
  • the optical path of the narrow area imaging unit corresponds to the narrow area optical path 31;
  • the optical path of the wide area imaging unit corresponds to the wide area optical path 22
  • the narrow range imaging unit control unit corresponds to the control unit 50
  • the narrow range captured image generation unit corresponds to the image generation unit 51
  • the light corresponds to the
  • the patient's tooth T is the observation target for the magnifying glass 1, the observation unit Y, and the medical treatment unit X, and the observation in dental medical treatment is described.
  • the site in the oral cavity may be used not only for medical treatment but also for training as an observation target. Also, it can be used not only in dentistry but also in other areas where precise medical care such as otolaryngology and neurosurgery is required, and in addition to dentistry and medical care areas, magnifier 1 and observation unit Y require preciseness such as bio It can also be used in the field.
  • the three-dimensional position calculation unit 52 compares the currently-captured wide-area captured image with at least one wide-area captured image captured at a timing earlier than that of the continuously-captured wide-area captured images.
  • a method such as template matching or feature point matching what kind of motion a characteristic point (feature point) in the captured image is doing
  • the tooth T that you want to observe feature points without blurring It may be another form as long as it is rigidly fixed to the light source, and may be in a form according to the wavelength of light that can be imaged by the camera 21 or a tracking algorithm (for example, It is effective to select and track a reflective ball marker or the like.
  • an exclusion process that excludes the tracking target in the captured image (for example, the observer's hand moving independently of the subject's teeth, the surgical tool, and the soft tissue inside and outside the subject's oral cavity) Good.
  • the exclusion process for example, a method of identifying a portion that is not a tooth using a color difference can be applied.
  • a marker having a shape or optical reflection / emission characteristics may be provided and rigidly fixed to the teeth of the person to be observed, and the marker may be used as a feature point.

Abstract

【課題】狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供することを目的とする。 【解決手段】歯牙Tをカメラ30,21で撮像して観察する拡大鏡1であって、カメラ30,21が、歯牙Tを狭撮像範囲Anで撮像する狭範囲カメラ30と、歯牙Tを広撮像範囲Awで撮像する広範囲カメラ21とで構成され、広範囲カメラ21で撮像した広範囲撮像画像に基づいて、少なくとも歯牙Tの三次元位置を検出する三次元位置算出部52と、三次元位置算出部52によって三次元位置が検出された歯牙Tと、狭範囲カメラ30との三次元相対位置の変化に基づいて、狭範囲カメラ30で撮像した狭範囲撮像画像のブレを補正するブレ補正処理部53と、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とが備えられた拡大鏡1。

Description

観察装置、観察ユニット及び観察方法
 本発明は、例えば、口腔領域における所望の観察部位を観察する観察装置、観察ユニット及び観察方法に関する。
 従来より、例えば、歯科医療分野等において、歯牙に対する根管治療の際には、顕微鏡で歯牙を観察して治療することで精密な根管治療を行うようになってきている。 
 例えば、特許文献1に記載の顕微鏡付診療台もそのひとつであるが、特許文献1に記載の顕微鏡付診療台は、医療用診療台の近傍に配置された支持アームに顕微鏡が支持されており、術者(観察者)は顕微鏡で観察部位を観察しながら精密な診療をすることができる。別の例として、拡大鏡(ルーペ)を観察者の頭部に装着し、拡大観察しながら精密な診療行為を行う場合もある。
 しかしながら、このような顕微鏡は、観察部位を狭範囲であるものの高倍率で精密に観察できる反面、顕微鏡を支持する支持アームの振動や被観察者の微動などによる観察部位と顕微鏡の相対移動が拡大されて、観察視野がブレてしまうため、精密に観察できないおそれがあった。頭部に装着するタイプの拡大鏡の場合も同様に、特に拡大倍率を高倍率とした場合に、観察者の頭部の動きや被観察者の動きにより、ブレが問題となる。ブレを低減するために、支持アームや頭部固定具を高剛性となる構造で構成すると、支持アームや頭部固定具が大型化したり、製造や設置にかかるコストが増加したり、観察者の負担が増加するおそれがあった。
特開2003-052718号公報
 そこで本発明は、狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供することを目的とする。
 この発明は、観察部位を撮像部で撮像して観察する観察装置であって、前記撮像部が、前記観察部位を狭範囲で撮像する狭範囲撮像部と、前記観察部位を広範囲で撮像する広範囲撮像部とで構成され、前記広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出する三次元位置検出部と、該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、前記狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正するブレ補正部と、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部とが備えられたことを特徴とする。
 またこの発明は、観察装置の撮像部で観察部位を撮像して観察する観察方法であって、前記撮像部を構成する広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出し、前記三次元位置が検出された前記観察部位と、前記撮像部を構成する狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正し、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示することを特徴とする。
 上記狭範囲撮像部と上記広範囲撮像部は、一体で撮像部を構成してもよいし、別体で撮像部を構成してもよい。また、一体で撮像部を構成した場合であっても、一体化された撮像部の筐体の内部においては上記狭範囲撮像部と上記広範囲撮像部とが独立して備えられていてもよい。また、各撮像部は、撮像素子やレンズを含む光学経路から構成されるが、それぞれの撮像素子に対して光学経路の一部を共用してもよい。
 さらには、左右の視差に対応した二種の画像を画像表示部に表示することで観察者は立体感のある画像として観察部位を観察でき、利便性を向上することができるが、該二種の画像を撮像するために、上記狭範囲撮像部と上記広範囲撮像部のうち少なくとも上記狭範囲撮像部を、前記観察部位を異なる2つの角度から撮像するように二系統で構成してもよい。
 前記観察装置は、HMD(Head Mount Display)のように観察者の頭部に装着されてもよいし、支持部で支持されてもよい。あるいは、あるときには支持部から観察装置を分離して観察者の頭部に装着した状態で使用でき、別のときには頭部から観察装置を分離して支持部に取り付けた状態で使用できるように構成してもよい。
 なお、上記支持部は、天井、壁、床、あるいは、スタンド、ワゴン、ラック、さらには医療用診療台、スピットン台、医療用ロボットやその他の医療機器等から延びる支持アーム等としてもよい。観察部位の位置や患者の体格等に応じて観察に適した位置に移動できるよう、手動で位置調整が可能な支持アーム(例えば、多関節のバランスアーム)であることが好ましい。
 また、自動で位置調整が可能なロボットアーム等でよい。さらにまた、上記狭範囲撮像部と上記広範囲撮像部を別体で構成した撮像部の場合、同じ支持部で支持してもよいし、異なる支持部で支持してもよいし、一方は支持部を介さずに天井や壁などに直接固定されていてもよい。 
 上記観察部位は、歯牙や歯牙内部、あるいは歯肉など口腔内の部位や、人間や動物の体の一部であってもよい。
 前記三次元位置検出部は、前記広範囲撮像部にて撮像した広範囲撮像画像に基づいて前記観察部位の三次元位置を検出する。具体的には、前記広範囲撮像部をステレオカメラ等の立体カメラで構成し、撮像した広範囲撮像画像を処理することで、観察部位の特徴的な部位や、観察部位に対して剛体的に装着したボールマーカーなどの特徴点に基づき、前記観察部位の三次元位置を検出することができる。
 上述の該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、狭範囲撮像部との三次元相対位置は、広範囲撮像画像に基づいて検出された前記観察部位の三次元位置と、広範囲撮像部に対する既知の狭範囲撮像部の三次元位置とに基づく三次元相対位置、広範囲撮像画像に基づいて検出された前記観察部位及び狭範囲撮像部の三次元位置に基づく三次元相対位置、あるいは、異なる三次元位置検出装置によって検出された狭範囲撮像画像の三次元位置に基づく三次元相対位置であってもよい。
 上述の狭範囲撮像画像のブレを補正するとは、三次元相対位置の変化に応じて狭範囲撮像画像に対してブレを補正するための、例えば、画素値の平行移動や回転移動や拡大縮小処理などの画像処理を施してもよいし、狭範囲撮像画像にブレが生じないように三次元相対位置の変化を解消する方向に狭範囲撮像部の全体、あるいは、狭範囲撮像部を構成する光学経路の一部を移動させてもよいし、これらを組み合わせてもよい。
 なお、狭範囲撮像部の全体あるいは一部を移動するための方法としては、例えば、アクチュエータを用いて撮像素子(イメージセンサ)や光学経路を構成するレンズ・プリズム・ミラーなどの光学素子を機械的に移動する方法や、屈折率や形状が電気的な制御により可変できる可変レンズ・可変プリズムや空間光変調器などを用いて狭範囲撮像部の光軸を光学的に移動する方法を適用することができる。
 上述のブレが補正された前記狭範囲撮像画像を少なくとも表示するとは、前記狭範囲撮像画像のみを表示すること、あるいは前記狭範囲撮像画像と前記広範囲撮像画像とを並列して表示することや切り替えて表示することを含むものとする。
 この発明により、狭範囲の観察部位を、ブレを抑制して精密に観察することができる。 
 詳述すると、前記観察部位と狭範囲撮像部との三次元相対位置に変化が生じると、上述したようなブレが狭範囲撮像画像に生じるが、観察装置の撮像部を構成する前記広範囲撮像部で撮像した広範囲撮像画像に基づいて検出した、少なくとも前記観察部位の三次元位置と、狭範囲撮像部との三次元相対位置に変化によって生じる狭範囲撮像画像のブレを補正するため、ブレのない鮮明な狭範囲撮像画像を得ることができる。したがって、狭範囲の観察部位を精密に観察することができる。 
 また、広範囲撮像部によって、観察部位を広範囲に撮像できるため、狭範囲撮像部で観察している箇所を含む広範囲を観察することができる。
 また、ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部が備えられているため、視野の狭い狭範囲撮像画像と、視野の広い広範囲撮像画像とを合わせ見ながら、精密かつ包括的な観察を行うことができる。
 また、前記広範囲撮像画像と狭範囲撮像画像とを前記画像表示部に並べて表示したり、切り替えて表示したりして同時に表示することで、狭範囲の部位を精密に観察しながらも、広範囲の視野の中での現在の着目位置を同時に確認でき、操作性が向上する。すなわち、広範囲撮像部は、部品点数を増やすことなく同じ撮像部により、ブレ補正するための撮像部として機能するだけでなく、上述のような包括的観察にも活用できるという相乗効果を奏することができる。
 また、ブレの原因となる機械的な振動が許容されるため、支持部で観察装置を支持する場合であっても、剛性の低い、すなわち小型・軽量・低コストな構成で支持部を構成することができる。
 この発明の態様として、前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部が共用されてもよい。 
 上記光学経路は、例えば、イメージセンサなどの撮像素子、光路、及びレンズなどで構成され、これら光学経路を構成する要素の一部を共用してもよい。
 なお、撮像素子を共用する場合は、ひとつの撮像素子を前記狭範囲撮像部用の領域と前記広範囲撮像部用の領域とに領域分けをすることで共用することができる。また、共用された光路から前記狭範囲用の撮像素子と前記広範囲撮像部用の撮像素子とで、それぞれの範囲が異なる撮像画像を撮像するためには、撮像素子と観察部位との間の光路の途中の位置にビームスプリッタやレンズを設置して光路を分岐することで実現できる。
 前記撮像素子は、広範囲撮像部と狭範囲撮像部とで、シャッタスピードや撮像レート、画素サイズ、画素ビニングサイズ、カラーフィルタの構成(カラー撮影用/モノクロ撮影用/赤外撮影用/可視域撮影用/紫外撮影用など)の仕様が異なるように構成されてもよい。領域分けした場合も、領域ごとに上記した各種仕様が異なるよう構成されていてもよい。
 この発明により、撮像部を簡素化することができ、コンパクトな撮像部を構成することができる。 
 詳述すると、前記狭範囲撮像部と前記広範囲撮像部とが別体である場合や、一体で構成されている場合であっても撮像素子、光路、及びレンズなどで構成される光学経路を前記狭範囲撮像部と前記広範囲撮像部とがそれぞれ備えている場合、部品点数も多くなるとともに、構造も複雑化するが、前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部を共用することで部品点数を低減し、構造を簡素化することができる。
 またこの発明の態様として、前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を制御する狭範囲撮像部制御部と、連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する狭範囲撮像画像生成部が備えられてもよい。
 具体的には、画像を合成して被写界深度が拡大された狭範囲撮像画像(すなわち被写界深度の深い狭範囲撮像画像)を生成する方法として、例えば、下記の手順によって計算される。(1)狭範囲撮像部を構成するレンズを機械的に駆動させるなどの方法によって焦点位置を観察部位上で光軸方向に掃引しながら連続的に撮像する。(2)画素毎にコントラスト量(画像がボケているか、ピントが合っているかを定量化したもの)を計算し、レンズを所定の距離に亘って一往復(または半往復)させるなどによって焦点位置を掃引する間に、コントラスト量が極大値を示したときの画素値を、画像表示部に表示する狭範囲撮像画像として採用する。コントラスト量を得る方法として、ラプラシアン演算子を用いた方法、微分フィルタを用いた方法などの公知の手法を適用することができる。もし、被写界深度が拡大された狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、(2)の演算において、極大値が複数回存在するなどし、画像表示部に表示する狭範囲撮像画像が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて演算を行うため、上述のノイズ等の問題は解消され、観察者の操作性が向上する。
 なお、上記(1)~(2)に記載の処理は、FPGAなどのハードウェアプロセッサを使って高速に演算するとよい。これにより被写界深度の深い、かつ低遅延かつ高フレームレートな狭範囲撮像画像を画像表示部に表示することができ、観察者の満足度が向上する。
 上述の焦点位置を移動させるとは、前記狭範囲撮像部における撮像素子を固定し、その他のレンズ等で構成される光学系の実効的な焦点距離を変化させること(例えば、上記光学系を構成する複数の要素レンズのうち少なくとも一つの要素レンズを光軸に沿って前後に機械的に移動させる方法や、上記光学系に含まれる液体レンズ等の焦点可変レンズを電気的に制御することで該焦点可変レンズの焦点距離を調整する方法)、上記光学系の焦点距離を所定の距離に維持したまま狭範囲撮像部を物理的に移動させて焦点位置を移動させること、上記光学系の焦点距離を所定の距離に維持したまま撮像素子を光軸に沿って移動させること、あるいはこれらの組み合わせによって実現してもよい。
 この発明により、被写界深度の深い狭範囲撮像画像に基づいてより精密に観察することができる。 
 詳述すると、狭範囲撮像部は、観察部位における狭範囲を高拡大倍率で撮像するが、その反面、狭範囲撮像部によって撮像された狭範囲撮像画像は被写界深度が浅い、つまり画像の奥行方向において焦点が合っている箇所が狭く、精密に観察できる範囲が少ない傾向にある。
 これに対し、前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながら連続撮影し、連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成することができる。つまり、観察部位における狭範囲を高拡大倍率かつ、奥行方向に焦点が合っている範囲の広い狭範囲撮像画像により、精密に観察することができる。
 なお、焦点位置を移動させながら連続撮影された複数の前記狭範囲撮像画像はブレが補正されているため、連続撮影された複数の前記狭範囲撮像画像を精度よく合成して、鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
 すなわち、広範囲撮像部は、ブレを補正するための撮像部として機能するだけでなく、上述のような被写界深度の深い狭範囲撮像画像を精度よく生成するためにも活用でき、さらには、包括的観察を実施できるという相乗効果を奏することができる。
 またこの発明の態様として、前記狭範囲撮像部制御部の制御によって連続撮影する際に、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光を投影する光投影部が備えられてもよい。 
 上記光投影部が投影する上記光は、所定のパターンを有するパターン光であってもよいし、パターンのない光であってもよい。
 この発明により、視野の狭い狭範囲撮像部によって観察している観察部位に光が投影されるため、広範囲撮像部で撮像された広範囲撮像画像において、狭範囲撮像部によって観察している観察部位を明示することができる。つまり、投影された光は、狭範囲撮像画像で撮像された箇所を明示する撮像箇所明示部として機能することができる。また、狭範囲撮像部と広範囲撮像画像とを画像表示部に並列して表示、もしくは切り替えて表示することで、全体位置の中での観察箇所が明瞭になり操作性を向上することができる。
 また、上記光投影部が投影する上記光が、所定のパターンを有するパターン光である場合、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光が投影されるため、例えば、観察部位が模様の無い均質な構造体であってもパターンを付与することにより、上述した処理(2)におけるコントラスト量の検知が容易となり、より鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
 またこの発明の態様として、前記狭範囲撮像部制御部の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも前記狭範囲撮像部で撮像する前記観察部位の三次元形状を計測する三次元形状計測部が備えられてもよい。
 具体的には、上述の被写界深度の深い狭範囲撮像画像を生成する処理(2)において、ある画素においてコントラスト量が極大値を示すことと、移動する前記焦点位置と観察部位の表面位置とが一致することとは、同値である。
 また、移動する前記焦点位置に関する焦点位置情報は、あらかじめ形状既知の基準物体を撮像する等の校正処理を実行しておくことにより、前記狭範囲撮像部制御部の制御状態(液体レンズへの入力電圧情報や、エンコーダセンサ等を用いることで検出可能な機械的に移動するレンズの現在位置情報)と対応付けることが可能である。すなわち上述の被写界深度の深い狭範囲撮像画像を生成する処理と、上記の焦点位置情報とに基づき、観察部位の三次元形状を取得することが可能である。
 もし、被写界深度が拡大された狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、上述の(2)の処理において、極大値が複数回存在することなどによって、計測される三次元形状が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて三次元形状を計測する処理が行われるため、上述のノイズ等の問題は解消され、より高精度な三次元形状を計測することが可能となる。 
 この発明により、狭範囲撮像手段で鮮明で被写界深度の深い狭範囲撮像画像を撮像することで、撮像箇所の三次元形状も精度よく得ることができる。
 またこの発明の態様として、前記観察部位が口腔内における所望の部位であり、前記三次元位置検出部は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を前記広範囲画像内で検出することによって前記観察部位の三次元位置を検出する構成であってもよい。
 この発明により、口腔内に特徴点を形成できるため、例えば、ボールマーカーなどの特徴点となる別部材を設ける必要がなく、そのための患者の苦痛を低減させつつも、精度よく三次元位置を検出することができる。
 またこの発明の態様として、前記画像表示部が、観察者の頭部に装着する頭部装着型の画像表示部で構成されてもよい。 
 上記頭部装着型の画像表示部は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。 
 この発明により、頭部の移動を制限されることなく自由な位置にて、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
 またこの発明は、上述の観察装置と、前記観察装置の少なくとも前記狭範囲撮像部を支持する支持部が備えられた観察ユニットであることを特徴とする。 
 この発明により、支持部に支持された状態の前記観察装置で観察者の頭部への負担のない状態でブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。 
 上記支持部は、天井、壁、床、スタンドやワゴンやラック、あるいは医療用診療台、スピットン台、医療用ロボット又はその他の医療機器等から延びる支持アーム等としてもよい。
 またこの発明の態様として、前記支持部に支持された前記観察装置の少なくとも前記狭範囲撮像部が前記観察部位に対して移動可能に、前記支持部を構成してもよい。 
 例えば、前記支持部を、可動する関節部を有する支持アームで構成することで、観察者は該関節部を曲げることにより、支持部が移動、すなわち支持された観察装置を観察部位に対して移動することができ、所望の位置からの観察が可能となる。 
 この発明により、前記支持部を観察部位に対して適切な位置に配置してから観察できるため、より詳細に観察することができる。
 またこの発明の態様として、ブレが補正された前記狭範囲撮像画像を少なくとも表示する表示装置が備えられてもよい。 
 上記表示装置は、例えば、前記支持部や壁や天井等、観察装置本体とは別の位置に設けられてもよいし、複数の表示装置が設けられてもよい。
 この発明により、観察者が様々な位置に移動する場合や、観察者が複数いる場合であっても、画像表示部とは別の表示装置で、さまざまな視点位置からブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。例えば、歯科診療において、被観察者である患者から見ることができる位置に表示装置を配置することで、診療状況の患者への説明や、インフォームドコンセントなどに有効である。
 またこの発明の態様として、前記表示装置が、観察者の頭部に装着する頭部装着型表示装置で構成されてもよい。 
 上記頭部装着型表示装置は、ヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプなど、頭部に少なくとも接眼部を装着できる様々なタイプとすることができる。 
 この発明により、頭部の移動を制限されることなく、ブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。
 本発明により、狭範囲の観察部位を、ブレを抑制して精密に観察できる観察装置、観察ユニット及び観察方法を提供することができる。
拡大鏡の構成説明図。 診療ユニットの概略斜視図。 拡大鏡の拡大概略斜視図。 拡大鏡における光学構成の概略構成図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 広範囲光学系と狭範囲光学系の説明図。 表示画面の概略図。 拡大鏡による観察方法のフローチャート。 観察部位の三次元位置計測のためのマーキング方法の説明図。 全焦点拡大鏡の概略図。 全焦点拡大鏡による観察状況の概略図。 全焦点拡大鏡による全焦点観察方法の詳細説明図。
 以下、本発明による拡大鏡1について、図1乃至図14とともに説明する。 
 図1は拡大鏡1及び全焦点拡大鏡1fの構成説明図を示しており、図2は診療ユニットXの概略斜視図を示しており、図3は拡大鏡1の拡大概略斜視図を示しており、図4乃至図8は広範囲光学系Wと狭範囲光学系Nの説明図を示しており、図9は表示画像Pの概略図を示しており、図10は拡大鏡1による観察方法のフローチャートを示しており、図11は観察部位の三次元位置計測のためのマーキング方法についての説明図を示している。
 また、図12は全焦点拡大鏡1fの概略図を示しており、図13は全焦点拡大鏡1fによる観察状況の概略図を示しており、図14は全焦点拡大鏡1fによる全焦点観察方法の詳細説明図を示している。
 詳述すると、図1(a)は拡大鏡1の構成ブロック図を示しており、図1(b)は全焦点拡大鏡1fの構成ブロック図を示している。図4は、狭範囲光学系Nと広範囲光学系Wとが別々に設けられた拡大鏡1における光学構成の概略構成図を示している。
 図5(a)及び(b)はそれぞれ共通光路である共通レンズ61及びウェッジプレート61aにより別々に設けられた狭範囲光学系Nと広範囲光学系Wとが先端側で共通化した拡大鏡1aにおける光学構成の概略構成図を示しており、図6(a)及び(b)は共通光路であるビームスプリッタ62により狭範囲光学系Nと広範囲光学系Wとが先端側で共通化した拡大鏡1bにおける光学構成の概略構成図を示している。
 図7(a)は狭範囲光学系Nと広範囲光学系Wとが別々に設けられ、共通イメージセンサ64を備えた拡大鏡1cの光学構成の概略構成図を示しており、図7(b)は別々に設けられた狭範囲光学系Nと広範囲光学系Wとがそれぞれ二系統で構成された拡大鏡1dにおける光学構成の概略構成図を示している。
 図8(a)は別々に設けられた狭範囲光学系Nと広範囲光学系Wに対して共通の投影部70が設けられた拡大鏡1における光学構成の概略構成図を示しており、図8(b)は別々に設けられた狭範囲光学系Nと広範囲光学系Wに対して投影部70がそれぞれ設けられた拡大鏡1eにおける光学構成の概略構成図を示しており、図14は全焦点拡大鏡1fを用いて全焦点観察方法によって観察対象である歯牙Tを観察する際のステップを概略的に図示している。
 診療ユニットXは、図2に示す歯科診療装置200と、観察装置に相当する拡大鏡1とともに使用される観察ユニットYとで構成されている。 
 歯科診療装置200は、図2に示すように、診療器具213(213a~213e)を備えた器具台210と、施術対象である患者を載せて治療を行うための診療台220とで構成している。
 器具台210は、診療台220にアームを介して回動可能に取付けたテーブル211の手前側に器具ホルダ212を備え、器具ホルダ212にエアータービンハンドピース、マイクロモータハンドピースなどの切削工具やスケーラ、スリーウエイシリンジ、バキュームシリンジなどで構成する診療器具213(213a~213e)を着脱可能に取付けている。
 また、診療器具213は、水供給源、エア供給源やエア吸引部に接続されて駆動するが、これらの機構については公知であるため、詳細な説明は省略する。 
 また、各種操作の入力するフートコントローラ214を備えているが、フートコントローラの機構については公知であるため、詳細な説明は省略する。
 患者を載せる診療台220は、図2に示すように、基台221に昇降可能に載置された座部シートと、その座部シートの後方に連接された傾動可能な背板シート223と、その背板シート223の上端に連接された傾動可能なヘッドレスト224とを備え、これらを診療状況に応じた最適位置に制御するため座部シート昇降部、背板シート傾倒部、ヘッドレスト傾倒部が設けられ、フートコントローラ214によって操作制御された油圧シリンダや電動モータ等の駆動によって駆動するように構成している。
 また、診療台220には、スピットン225及び治療用スタンドポール230が付設され、治療用スタンドポール230には、途中より分岐し、回動可能に突出させたアーム231と上端に後述する支持アーム300が備えられている。 
 また、治療用スタンドポール230には、拡大鏡1とともに観察ユニットYを構成するモニタ240が設けられている。
 なお、スピットン225は、口腔内を濯ぐ際などに給水する給水栓と、排唾鉢とを備えている。更に、患者の背中又は腹部では診療台220に配設された電気系路、油圧系路又はエア系路等と接続する接続部(不図示)が設けられている。
 また、位置調整可能な支持アーム300(支持部に相当)によって拡大鏡1が支持されている。なお、支持アーム300と拡大鏡1とで観察ユニットYを構成している。 
 支持アーム300は、診療台220に付設された治療用スタンドポール230の上端に対して回動可能に設けられ、複数のアーム301がそれぞれ可動できるように複数の関節部301aで連結された多関節アーム式であり、支持アーム300の先端に装着された拡大鏡1を、所望の位置に移動可能に構成されている。
 また、支持アーム300は、診療台220に付設された治療用スタンドポール230に設けられずとも、天井、壁、あるいは床から延びるように構成されてもよいし、治療用スタンドポール230とは別のスタンドやワゴンやラックに設けられてもよい。さらには、医療用診療台、スピットン台、医療用ロボットやその他の医療機器等から延びるように構成されてもよい。
 このように構成された歯科診療装置200とで診療ユニットXを構成する拡大鏡1は、図1(a)及び図3に図示するように、拡大鏡本体10と、拡大鏡本体10に沿うように設けられた広範囲撮像装置20とで構成されている。
 広範囲撮像装置20は、拡大鏡本体10の筐体10aに固定された筐体20aの内部にイメージセンサで構成する広範囲カメラ21と、観察対象である歯牙Tを含む広範囲で撮像するためのレンズ等で構成する広範囲光学路22(図4参照)とを備えている。
 広範囲カメラ21は、撮像する画像の解像度が後述の狭範囲カメラ30で撮像した画像の解像度に比べて低解像度であるものの、図3に図示するように、広範囲光学路22によって、狭範囲カメラ30が撮像する狭撮像範囲Anを含む広い範囲である広撮像範囲Awを撮像可能に広範囲カメラ21が配置されている。また、広範囲カメラ21は、図示省略する通信部によって制御部50に接続されている。
 また、広範囲カメラ21は、歯牙Tや広撮像範囲Awの三次元位置を撮像可能な立体カメラで構成している。 
 なお、図4に図示する広範囲カメラ21は、例えば、1眼タイプの立体カメラであり、例えば、三角法、合焦法、Time of Flight法、RGB-D(Distance)カメラ、ライトフィールドカメラなどの公知の三次元計測原理を採用した三次元カメラで構成することができる。
 また、広範囲カメラ21とは別の三次元計測器を広範囲撮像装置20の内部または外部に組み込み、別の三次元計測器を用いて歯牙Tや広撮像範囲Awの三次元位置情報を取得し、立体的な撮像画像を得る構成であってもよい。また、両眼タイプ(ステレオカメラ)や、3眼以上の多眼タイプ等、3つ以上の角度で撮像した撮像画像に基づいて立体的な撮像画像を得る構成の多系統の光学路を有するカメラであってもよい。
 なお、図3において、広範囲カメラ21は単一の筐体21aであるように描かれているが、例えば、両眼タイプや多眼タイプの立体カメラの場合には、ひとつの筐体21aの内部に複数系統のカメラを備えてもよいし、カメラの系統別にそれぞれ筐体を有していてもよい。 
 また、図3に示す筐体20aのように拡大鏡本体10の筐体10aと別体で構成するのではなく、拡大鏡本体10と同一の筐体10aに広範囲カメラ21を備えるように構成してもよい。
 また、拡大鏡本体10は、接眼部11と対物部12とを有する筐体10aの内部において、対物部12に対応して配置された狭範囲カメラ30と、歯牙Tを高精度で撮像するためのレンズ等で構成する狭範囲光学路31(図4参照)と、接眼部11に対応して配置された画像表示部40と、制御部50とで構成されている。
 また、筐体10aには、拡大鏡1を所望の位置に移動させる、つまり多関節アーム式である支持アーム300を構成する各アームの関節部301aを可動させるために観察者が把持するハンドル13が備えられている。なお、筐体10aには、上述の構成の他、拡大鏡1を起動するための起動スイッチや、接眼部11の位置を調整するアジャスタ等が備わっていてもよい(図示省略)。
 狭範囲カメラ30は、イメージセンサで構成されており、対物部12に対応して配置された狭範囲光学路31によって規定される観察範囲は、図3に図示するように狭範囲(狭撮像範囲An)であるものの、撮像した画像の解像度が上述の広範囲カメラ21で撮像した画像の解像度に比べて高解像となるよう構成されている。すなわち狭範囲カメラ30は、狭範囲光学路31によって歯牙Tを高解像度で狭範囲撮像画像を撮像して観察することができる。
 狭範囲カメラ30は、歯牙Tを立体的に撮像する立体カメラで構成してもよい。この場合、左右の眼の視差を利用して観察する両眼タイプ(双眼タイプ)であっても1眼タイプであってもよい。なお、狭範囲カメラ30は、図示省略する通信部によって後述する制御部50に接続されている。
 画像表示部40は、上述したように接眼部11に対応して配置されており、狭範囲カメラ30で撮像した歯牙Tの撮像画像を表示することができる。そのため、観察者は、狭範囲カメラ30で撮像され、画像表示部40に表示された歯牙Tの撮像画像を、接眼部11を介して観察することができる。
 なお、画像表示部40は、撮影した画像情報を表示する液晶ディスプレイや有機ELディスプレイ等や、スクリーンに映像を投影するタイプ、あるいはレーザ走査によって観察者の網膜に映像を書き込むタイプ等であってもよく、さらには、立体カメラで撮像された立体撮像画像を立体的に表示できるタイプ等であってもよい。
 また、左右の接眼部11、すなわち右目用の接眼部11と左目用の接眼部11に対してそれぞれ画像表示部40を設けてもよいし、共通の画像表示部40を左右の接眼部11から見えるように構成してもよい。 
 なお、画像表示部40は図示省略する通信部によって制御部50に接続されている。
 制御部50は、CPUとROMとRAM等で構成されており、画像生成部51、三次元位置算出部52、及びブレ補正処理部53などの機能構成を備えている。 
 画像生成部51は、少なくとも狭範囲カメラ30で撮像した撮像画像に基づき、画像表示部40で表示する表示画像を生成する構成である。例えば、画像生成部51によって、図9(a)に図示するような表示画像Pを画像表示部40に表示することができる。なお、図9(a)に図示する表示画像Pは、狭範囲カメラ30で撮像した撮像画像を表示する狭範囲観察画像表示Pnと、広範囲カメラ21で撮像した撮像画像を表示する広範囲観察画像表示Pwとを並列して表示したものとなっている。
 広範囲観察画像表示Pwは、解像度も低いものの、表示領域の大きさは狭範囲観察画像表示Pnに比べて大きく、例えば、歯列弓全体など歯牙Tを含む広範囲を観察可能に表示している。 
 これに対し、狭範囲観察画像表示Pnは、解像度も高いが、表示領域の大きさは広範囲観察画像表示Pwに比べて小さく、歯牙T付近のみが観察可能に表示している。
 なお、図9(a)では、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを並列して表示しているが、狭範囲観察画像表示Pnだけを表示画像Pに表示し、フートコントローラ214などを用いた所定の操作によって、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを切り替えて表示するように構成してもよいし、自動的に切り替わるように構成してもよい。さらには、狭範囲観察画像表示Pnと広範囲観察画像表示Pwとを並列して表示した後に狭範囲観察画像表示Pnのみが表示され、その後広範囲観察画像表示Pwに切り替わるように構成してもよい。
 また、両画像表示Pw,Pnは、フートコントローラ214やマウス等の入力手段の操作によってそれぞれの表示サイズや表示濃度等を変更できるようにしてもよい。また、両画像表示Pw,Pnは一部もしくは全部が重なって表示されていてもよい。
 三次元位置算出部52は、広範囲カメラ21で撮像した広撮像範囲Awの撮像画像(広範囲撮像画像)より、歯牙Tの三次元位置を算出するとともに、相対位置変化を検出する構成である。なお、歯牙Tの三次元位置を算出する三次元位置算出部52では、絶対三次元位置を算出してもよいが、少なくとも、狭範囲カメラ30と一体構成された広範囲カメラ21に対する相対三次元位置を算出すればよい。
 具体的には、三次元位置算出部52は、連続的に撮像した広範囲撮像画像のうち、現在撮像された広範囲撮像画像と、それよりも過去のタイミングで撮像した少なくとも1枚の広範囲撮像画像とを比較し、撮像画像内の特徴的な箇所(特徴点)がどのような運動をしているかをテンプレートマッチングや特徴点マッチング等の手法を適用することによって各時刻での三次元位置と、前時刻からの三次元位置の変化量とを検出する。
 なお、前記特徴点は、少なくとも3点あればよく、歯牙Tを含む歯列の特徴的な部位や、歯列に対して剛体的に装着したボールマーカーなどの特徴点としてよい。また、前記特徴点は、広範囲カメラ21が二系統で構成されたステレオカメラである場合には、各系統の広範囲カメラ21で撮像した画像内の二次元的な特徴点をステレオマッチング処理することで三次元位置の算出が可能である。 
 あるいは、広範囲カメラ21が立体カメラであり、歯列の三次元的な表面形状を演算でき、前記演算された三次元的な表面形状における三次元的な特徴点を採用してもよい。
 また、歯科診療のように、仰向けの状態で姿勢が概ね固定され患者の口腔内を、略上方から拡大鏡1で観察する場合には、ブレがあったときに観察の阻害となるのは、上下方向(すなわち歯牙Tから拡大鏡1に向かう直線方向)のブレよりも、上下以外の方向のブレのほうが支配的であることが多い。 
 その際には、三次元位置算出部52で算出する相対三次元位置は、上下方向の相対位置の移動を無視し、上下以外の方向のみを考慮した二次元の相対位置と近似しても差し支えがなく、三次元位置算出部52での演算負荷を軽減することができる。またその場合、特徴点の必要数は2点以下とすることができる。
 ブレ補正処理部53は、三次元位置算出部52で算出した歯牙Tの三次元位置の変化を検出し、三次元位置の相対位置変化によって狭範囲カメラ30が撮像する高解像度の撮像画像に生じるブレを、検出した三次元位置の変化に基づいて補正処理する構成である。
 検出した歯牙Tの三次元位置の変化に基づいて狭範囲カメラ30が撮像する高精度の狭範囲撮像画像に生じるブレを補正する処理方法としては、例えば、狭範囲撮像画像に対して、画素値の平行移動や回転移動や拡大縮小処理などの画像処理を施してブレを補正する。
 ブレを補正する他の方法としては、狭範囲撮像画像にブレが生じないように三次元相対位置の変化を解消する方向に拡大鏡本体10の全体、あるいは、狭範囲カメラ30及び狭範囲光学路31の一部を移動させてもよいし、これらを組み合わせてもよい。また、上述の画像処理と狭範囲カメラ30等の移動とを組み合わせてブレを補正してもよい。
 なお、拡大鏡本体10の全体あるいは狭範囲カメラ30の狭範囲光学路31などの一部を移動するための方法としては、例えば、アクチュエータを用いて拡大鏡本体10、狭範囲カメラ30及び狭範囲光学路31の少なくとも一部を機械的に移動する方法や、屈折率や形状が電気的な制御により可変できる可変レンズ・可変プリズムや空間光変調器などを用いて光軸を光学的に移動する方法などを適用することができる。
 このように各要素が構成された拡大鏡1は、図4に示すように、広範囲カメラ21及び広範囲光学路22で構成する広範囲光学系Wと、狭範囲カメラ30及び狭範囲光学路31で構成する狭範囲光学系Nとが別々で構成された拡大鏡を構成している。
 そして、拡大鏡1を用いて歯牙Tを観察するためには、図10に示すフローチャートに示すように、まず、狭範囲光学系Nと広範囲光学系Wとで歯牙Tを撮像し(ステップs1)、撮像画像に基づいて生成された表示画像を画像表示部40に表示する(ステップs2)。
 具体的には、狭範囲光学路31を介した歯牙Tの撮像画像を狭範囲光学系Nの狭範囲カメラ30で撮像するとともに、広範囲光学路22を介した歯牙Tの撮像画像を広範囲光学系Wの広範囲カメラ21で撮像する(ステップs1)。
 このとき、狭範囲カメラ30では歯牙Tを含む狭範囲の光学像(狭範囲撮像画像)を高解像度で撮像し、広範囲カメラ21では歯牙Tを含む広範囲の光学像(広範囲撮像画像)を低解像度で撮像する。そして、各撮像画像を検出した狭範囲カメラ30及び広範囲カメラ21は図示省略する通信部によって接続された制御部50の画像生成部51に撮像画像情報を出力し、画像生成部51によって例えば、表示画像Pのような表示画像を生成し、制御部50に接続された画像表示部40に表示する(ステップs2)。
 そして、三次元位置算出部52により、広範囲カメラ21によって検出された広範囲撮像画像に基づいて歯牙Tの三次元位置を算出する(ステップs3)。このとき、歯牙Tの広範囲カメラ21に対する相対移動を検出すると(ステップs4:Yes)、ブレ補正処理部53によって歯牙Tの相対移動に応じてブレが生じる狭範囲カメラ30が撮像した狭範囲撮像画像に対してブレを解消するブレ補正処理を施し(ステップs5)、ブレ補正処理が施された表示画像を狭範囲観察画像表示Pnのように画像表示部40に表示する。これを観察が終了するまで繰り返し(ステップs6:No)、観察終了(ステップs6:Yes)によって当該フローを終了する。
 なお、フートコントローラ214やマウス等の入力手段の操作によって、ブレを補正する動作のON/OFF状態を切り替えられるように構成してもよい。 
 例えば、ハンドル13を観察者が把持して拡大鏡1を所望の観察位置にまで移動している最中などは、補正可能限界を超える量の前記三次元相対位置の変化が発生し得るため、ブレ補正を行わない方が有利である。
 また、上記のような手動による方法で上記ON/OFF状態の切り替え操作を行うのではなく、前記三次元相対位置の変化量の履歴から振動周波数、振動振幅、などのパラメータを計算し、パラメータに応じて、上記ON/OFF状態が自動的に切り替わるように構成してもよい。
 このように、歯牙Tをカメラ30,21で撮像して観察する拡大鏡1において、歯牙Tを狭撮像範囲Anで撮像する狭範囲カメラ30と、歯牙Tを広撮像範囲Awで撮像する広範囲カメラ21とを備え、広範囲カメラ21で撮像した広範囲撮像画像に基づいて、少なくとも歯牙Tを含む観察対象の三次元位置を検出する三次元位置算出部52と、三次元位置算出部52によって三次元位置が検出された歯牙Tと、狭範囲カメラ30との三次元相対位置の変化に基づいて、狭範囲カメラ30で撮像した狭範囲撮像画像のブレを補正するブレ補正処理部53と、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とを備えているため、狭撮像範囲Anの歯牙Tを、ブレを抑制して精密に観察することができる。
 詳述すると、歯牙Tと狭範囲カメラ30との三次元相対位置に変化が生じると、狭範囲カメラ30が撮像する狭範囲撮像画像にブレが生じるが、広範囲カメラ21で撮像した広範囲撮像画像に基づいて算出した、少なくとも歯牙Tの三次元位置と、狭範囲カメラ30との三次元相対位置の変化によって生じる狭範囲撮像画像のブレを補正するため、ブレのない鮮明な狭範囲撮像画像を得ることができる。したがって、狭撮像範囲Anの歯牙Tを精密に観察することができる。
 また、広範囲カメラ21によって、歯牙Tを広撮像範囲Awに撮像できるため、狭範囲カメラ30で観察している箇所を含む広撮像範囲Awを観察することができる。 
 また、ブレが補正された狭範囲撮像画像を少なくとも表示する画像表示部40とが備えられているため、視野の狭い狭範囲撮像画像と、視野の広い広範囲撮像画像とを合わせ見ながら、精密かつ包括的な観察を行うことができる。
 つまり、広範囲撮像画像と狭範囲撮像画像とを画像表示部40に並べて表示したり、切り替えて表示したりして同時に表示することで、狭撮像範囲Anの部位を精密に観察しながらも、広撮像範囲Awの視野の中での現在の着目位置を同時に確認でき、操作性や安全性が向上する。
 例えば、観察者が拡大鏡1にて歯牙Tを観察しながら、診療器具213として歯牙Tを切削するための歯科用タービンを使用する場面を考えたとき、観察者は狭範囲観察画像表示Pnばかりに着目していると、歯科用タービンの位置が狭撮像範囲Anから外れてしまった場合に、見えなくなってしまった歯科用タービンの鋭利な先端バーが、意図せず患者の口腔内や皮膚に触れ、傷付けてしまうおそれがあったが、上記のような包括的な観察が可能な構成としたことで、仮に、歯科用タービンの位置が狭撮像範囲Anから外れてしまった場合であっても、患者の歯牙T周辺の広撮像範囲Awを撮像した広範囲観察画像表示Pwに映っている歯科用タービンの位置を視認することができ、患者を傷付けないよう歯科用タービンを操作することが可能となるため、安全性が向上する。
 このように、広範囲カメラ21は、部品点数を増やすことなく同じカメラにより、ブレ補正処理に必要な歯牙Tの三次元位置情報を取得するためのカメラとして機能するだけでなく、上述のような包括的観察にも活用できるという相乗効果を奏することができる。
 また、ブレの原因となる機械的な振動が許容されるため、支持アーム300で拡大鏡1を支持する場合であっても、剛性の低い、すなわち小型・軽量・低コストな構成で支持アーム300を構成することができる。
 また、上述の拡大鏡1を支持する支持アーム300が備えられ、支持アーム300に支持された状態の拡大鏡1で負担なく観察することができる観察ユニットYとして説明したが、支持アーム300は、関節部301aを可動させることによって支持した拡大鏡1が歯牙Tに対して移動可能に構成されているため、支持アーム300を歯牙Tに対して適切な位置に配置してから拡大鏡1で観察できるため、より詳細に観察することができる。
 なお、三次元位置算出部52によって三次元位置が検出された歯牙Tと、狭範囲カメラ30との三次元相対位置は、広範囲撮像画像に基づいて検出された歯牙Tの三次元位置と広範囲カメラ21に対する既知の狭範囲カメラ30の三次元位置とに基づいて算出しているが、広範囲撮像画像に狭範囲カメラ30や拡大鏡本体10も映り込むように広範囲撮像装置20を配置するとともに、歯牙Tとともに狭範囲カメラ30や拡大鏡本体10が映り込む広範囲撮像画像に基づいて歯牙T及び狭範囲カメラ30の各三次元位置や三次元相対値を算出してもよい。
 なお、上述の説明では、図4に示すように狭範囲光学系Nと広範囲光学系Wとを別々に構成した拡大鏡1について説明したが、狭範囲光学系Nと広範囲光学系Wについて様々な形態で構成することできる。
 例えば、図5(a)に示すように、広範囲カメラ21と広範囲光学路22とで構成する広範囲光学系Wと、狭範囲カメラ30と狭範囲光学路31とで構成する狭範囲光学系Nとを別々で構成するものの、広範囲光学路22及び狭範囲光学路31を透過する撮像画像がともに透過する共通レンズ61を備えた拡大鏡1aであってもよい。
 なお、このような拡大鏡1aは、図3に示すような拡大鏡本体10の筐体10aに対して別体で広範囲撮像装置20を設けた拡大鏡1と異なり、狭範囲カメラ30及び狭範囲光学路31に加え、広範囲カメラ21及び広範囲光学路22も筐体10aに内蔵し、共通レンズ61を対物部12に備えることで構成することができる。
 なお、図5(a)において、共通レンズ61は単一のレンズとして描かれているが、他の形態であってよい。例えば、複数の要素レンズで構成されたレンズシステムであったり、ミラー、光学フィルタ、偏光素子、カバーガラス等のその他の光学素子であったり、あるいは上記の組み合わせで構成された光学系であってもよい。
 特に、共通レンズ61を構成する上記光学系が等価的にレンズとみなせる場合(合成焦点距離が規定できる場合)、図5(a)に示すように、光軸(カメラ21,30から歯牙Tへと向けられる矢印)の方向を歯牙Tに向けて屈折させることができ、共通レンズ61よりもカメラ21,30に近い側の光軸を筐体に対して平行に配置することが可能となる。
 図4のように両光軸を斜めに配置する場合と比べ、広範囲光学系Wや狭範囲光学系Nを筐体に保持するための部品の設計や組立工程を簡素することができるなどの効果が生じる。また、カメラ21,30を配置する面が同一となるよう配置することによって、カメラ21,30を構成するイメージセンサを同一の電子基板上に実装でき、小型・部品点数削減・組立簡素化を図ることができる。
 また、図5(b)のように共通レンズ61の代わりに、複数の斜面を有するウェッジプレート61aを用いて拡大鏡1aを構成しても同様の効果が得られる。また、該ウェッジプレート61aは単一の素子であるように図示しているが、例えば、単一の斜面を有するウェッジプレートを複数組み合わせることでウェッジプレート61aを構成してもよい。また、共通レンズ61やウェッジプレート61aを、ミラーやペンタプリズムなどその他の屈折作用のある素子で置換または組み合わせて構成することで、同様の光軸を屈折させる効果が得られることは言うまでもない。
 このように構成された拡大鏡1aは、対物部12から入光した歯牙Tの光学像は共通レンズ61を透過した後、広範囲光学系Wを構成する広範囲光学路22を透過して広範囲カメラ21で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30で撮像することで観察することができる。そして、拡大鏡1aは、上述のような拡大鏡1の効果を奏するとともに、拡大鏡1に比べ、筐体20aを不要としており、また、レンズ、ミラー、光学フィルタ、偏光素子、カバーガラス等の光学素子を共通化することで、個別に上記光学素子を各光学系N,Wに設ける場合に比べ、部品点数を低減でき、拡大鏡1aをコンパクトに構成することができる。
 このように、共通レンズ61やウェッジプレート61aを備えた拡大鏡1aは、共通レンズ61やウェッジプレート61aによって狭範囲光学系Nや広範囲光学系Wの少なくとも一部が共用されるため、構造を簡素化することができ、コンパクトな拡大鏡本体10を構成することができる。
 また、図5に示した共通レンズ61やウェッジプレート61aの代わりに、図6に示すようにビームスプリッタ62を備えるとともに、ビームスプリッタ62と対物部12との間にレンズ等で構成する共通光学路63を備えて拡大鏡1bを構成してもよい。 
 このように構成された拡大鏡1bは、対物部12から入光した歯牙Tの光学像は共通光学路63を透過した後、ビームスプリッタ62で狭範囲光学系Nと広範囲光学系Wとに分離され、広範囲光学系Wを構成する広範囲光学路22を透過して広範囲カメラ21で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30で撮像することで観察することができる。そして、拡大鏡1bは、上述のような拡大鏡1の効果を奏するとともに、拡大鏡1に比べて、コンパクトに構成することができる。
 また、図6(a)に示したようにビームスプリッタによる光学系N,Wの分離角が90°であるため、図4に図示する拡大鏡1の光学系のように、光学路やイメージセンサといった部品を斜めに配置する必要が無くなり、固定部品の設計や組立を簡素化することができる。
 また、図6(a)では光学系N,Wが90°に分離される例を図示しているが、例えば、図6(b)に示すようにビームスプリッタ62で光学像の進行方向を、90°に分離した後に、分離された一方の光学像を、ミラー62aなどを用いて、進行方向をもう一度逆方向に90°曲げることで、分離後の各光学系N,Wを平行に配置するように構成してもよい。この場合、カメラ21,30を構成するイメージセンサを同一の電子基板上に実装でき、小型、組立容易、部品点数削減を図ることができる。
 このように、ビームスプリッタ62やミラー62aを備えた拡大鏡1bは、ビームスプリッタ62やミラー62aによって狭範囲光学路31と広範囲光学路22との少なくとも一部を共用できるため、構造を簡素化することができ、コンパクトな拡大鏡本体10を構成することができる。
 さらには、図7(a)に示すように、広範囲カメラ21と広範囲光学路22とで構成する広範囲光学系Wと、狭範囲カメラ30と狭範囲光学路31とで構成する狭範囲光学系Nとを別々で構成するものの、広範囲カメラ21と狭範囲カメラ30とをひとつの共通イメージセンサ64で構成した拡大鏡1cであってもよい。
 このとき、共通イメージセンサ64を、広範囲カメラ21における領域と、狭範囲カメラ30における領域とに分けて使用することでひとつのイメージセンサで広範囲カメラ21と狭範囲カメラ30としての機能を実現することができる。
 この拡大鏡1cも、別々の電子基板が必要であった図4に図示の拡大鏡1の構成に比べ、ひとつの電子基板にて広範囲の撮像と狭範囲の撮像とを実現できるため、部品点数を削減でき、小型・組立簡素化を図ることができる。
 このように構成された拡大鏡1cは、対物部12から入光した歯牙Tの撮像画像は、広範囲光学系Wを構成する広範囲光学路22を透過し、共通イメージセンサ64における広範囲カメラ21として機能する領域で撮像するとともに、狭範囲光学系Nを構成する狭範囲光学路31を透過して狭範囲カメラ30として機能する領域で撮像することで観察することができる。
 このように構成された拡大鏡1cは、拡大鏡1による効果及び拡大鏡1aによる効果を奏するとともに、共通イメージセンサ64で狭範囲カメラ30と広範囲カメラ21との機能を実現しているため、狭範囲カメラ30と広範囲カメラ21との相対位置が変化しないため、広範囲カメラ21によって検出された広範囲撮像画像に基づく歯牙Tの三次元位置の変化に対して狭範囲カメラ30が撮像した狭範囲撮像画像のブレ補正を正確に行うことができる。なお、拡大鏡1aに備えた共通レンズ61やウェッジプレート61a、または拡大鏡1bに備えたビームスプリッタ62及びミラー62aを拡大鏡1cに備えてもよい。
 また、狭範囲光学系Nと広範囲光学系Wとを左眼用と右眼用とにそれぞれ二系統を設けてもよい。狭範囲光学系Nと広範囲光学系Wとをそれぞれ二系統設けた拡大鏡1dは、図7(b)に示すように、広範囲カメラ21及び広範囲光学路22を左眼用と右眼用とにそれぞれ二つずつ設け、狭範囲カメラ30及び狭範囲光学路31も左眼用と右眼用とにそれぞれ二つずつ設けることで構成することができる。
 これにより、広範囲撮像装置20及び狭範囲カメラ30を双眼タイプの立体カメラで構成することができるため、拡大鏡1dは、広範囲カメラ21及び狭範囲カメラ30の両方ともを、視差を利用して歯牙Tを立体的に観察することができる立体カメラ(ステレオカメラ)として構成できる。これにより、画像表示部40に表示する画像表示Pn,Pwの両方を、観察者は立体視することができるため、包括的観察及び精密な観察の両方において観察の際の操作性や満足度を向上することができる。
 なお、拡大鏡1dにおける左右それぞれの狭範囲光学系N及び広範囲光学系Wにおいて、拡大鏡1aのように共通レンズ61やウェッジプレート61aを設けてもよいし、拡大鏡1bのようにビームスプリッタ62やミラー62aと共通光学路63とを設けてもよい。これにより、拡大鏡1dは、拡大鏡1aや拡大鏡1bと同様の効果を奏することができる。
 さらには、拡大鏡1dにおける左右それぞれの狭範囲光学系Nの狭範囲カメラ30と広範囲光学系Wの広範囲カメラ21とを、拡大鏡1cのように共通イメージセンサ64で構成してもよい。これにより、拡大鏡1dは、拡大鏡1cと同様の効果も奏することができる。
 なお、拡大鏡1dのように狭範囲光学系N及び広範囲光学系Wの両方とも二系統で構成してもよいが、狭範囲光学系N及び広範囲光学系Wのうちいずれかを二系統で構成し、もう一方を一系統で構成してもよい。
 また、図8(a)に示すように、拡大鏡1に対して、少なくとも歯牙Tを照らす投影部70を設けてもよい。具体的には、投影部70は、歯牙Tに対して投影光Lを投影する。ここでは、狭範囲撮像領域に対応する範囲を照らすように投影光Lの照明範囲を設定している。例えば、図8(a)のように狭範囲カメラの最適な焦点位置にてカメラの光軸と、投影光の光軸とが交差するよう配置することで実現される。
 なお、投影光Lは、拡大鏡1を使用している間、常時点灯していてもよいし、所定のタイミングで点滅するように構成してもよい。 
 また、投影光Lは、例えば、格子状等のパターンを含むパターン投影光Laとしてもよい。これにより、例えば、広範囲カメラを三次元的な表面形状を演算できる立体カメラ(例えば、パターン投影型の三角法に基づく立体カメラ)とし、三次元位置算出部52が上記表面形状の三次元的な特徴点の三次元位置を算出する際の精度や、後述する全焦点狭範囲撮像画像を生成する際の精度が向上する。
 また、上記投影光L,Laの照明範囲は、狭撮像範囲Anだけでなく、狭撮像範囲Anを含む広撮像範囲Awとしてもよい。この場合、照明範囲のうち、狭撮像範囲Anと広撮像範囲Awとで、明るさや、色、パターン投影光Laのパターンの形態を変えるなど照明状態を区別するのが有利である。
 例えば、広範囲カメラ21と狭範囲カメラ30とで、撮像する範囲や絞り値やシャッタスピード等、露光感度を規定するパラメータが異なっている場合に、カメラに応じて適切な光量や色を設定するのがよい。また、広範囲カメラ21が三次元的な表面形状を演算するためのアルゴリズムや、後述する全焦点狭範囲撮像画像を生成するアルゴリズムに応じて、狭撮像範囲Anと広撮像範囲Awとで、パターン投影光Laのパターンの形態を区別するのがよい。
 このように投影部70を備えることによって、狭範囲カメラ30で明るい狭範囲撮像画像を撮像できるとともに、狭範囲カメラ30で撮像する狭範囲撮像画像に対応する狭撮像範囲Anが明るく表示されるため、広範囲カメラ21で撮像する広範囲撮像画像において狭撮像範囲Anを明示することができる。
 また、狭撮像範囲Anだけでなく、狭撮像範囲Anを含む広撮像範囲Awを照明する場合であっても、狭撮像範囲Anと広撮像範囲Awとで、明るさや、色やパターンを変えるなど、照明状態を区別することで上述の明示機能を実現することができる。
 なお、投影部70は拡大鏡1a,1b,1cに備えてもよい。また、上述の拡大鏡1dにおいて投影部70を備える場合には、左右用の二系統の狭範囲光学系N及び広範囲光学系Wに対して系統ごとに投影部70を備えてもよいし、ひとつの投影部70を備えてもよい。左右用の二系統の狭範囲光学系N及び広範囲光学系Wに対して系統ごとに投影部70を備える場合、左眼用の投影部70と右眼用の投影部70とで投影光Lの波長(色)、偏光状態、点滅タイミングを変えてもよい。
 このように、制御部50の制御によって連続撮影する際に、少なくとも狭範囲カメラ30で撮像する歯牙Tに投影光L,Laを投影する投影部70を備えることにより、視野の狭い狭範囲カメラ30によって観察している歯牙Tに投影光L,Laが投影されるため、図9(b)に示すように、広範囲カメラ21で撮像された広範囲撮像画像において、狭範囲カメラ30によって観察している歯牙Tを明示することができる。
 つまり、投影された投影光L,Laは、図9(b)における広範囲観察画像表示Pw’に示すように、広範囲撮像画像において狭範囲撮像画像で撮像された箇所を明示する撮像箇所明示部Peとして機能することができる。また、広範囲撮像画像と狭範囲撮像画像とを画像表示部40に並列して表示することで、全体位置の中での観察箇所が明瞭になり操作性を向上することができる。
 また、投影部70が投影するパターン投影光Laが少なくとも狭範囲カメラ30で撮像する歯牙Tに投影されることにより、例えば、歯牙Tが模様の無い均質な構造体であってもパターンを付与することにより、後述する全焦点狭範囲撮像画像を生成する過程において、コントラストの検知が容易かつ正確となり、より鮮明な被写界深度の深い狭範囲撮像画像を精度よく生成することができる。
 また、図8(b)に示すように、狭範囲光学系N及び広範囲光学系Wにそれぞれ投影部70(70a,70b)を備えた拡大鏡1eであってもよい。この場合、狭範囲光学系N及び広範囲光学系Wにそれぞれ投影部70(70a,70b)に加えて、光学路31,22にビームスプリッタ71を備えていてもよい。
 このように構成された拡大鏡1eは、上述のような拡大鏡1の効果を奏するとともに、投影部70から投影した投影光L,Laはビームスプリッタ71を通り歯牙Tに投影され、歯牙Tで反射した反射光はビームスプリッタ71を透過して狭範囲カメラ30及び広範囲カメラ21で撮像することで観察することができる。
 また、投影部70(70a,70b)を別々に設けたことにより、投影部70が単一であった場合と比べ、上述したような撮像範囲Aw,Anに応じて照明状態を区別する場合に、投影部70の設計の自由度が向上する。
 なお、狭範囲光学系Nの投影部70aと広範囲光学系Wの投影部70bとで同時に投影光L,Laを投影する場合、投影光L,Laの波長(色)、偏光状態、点滅タイミング、あるいはパターンの模様などを変えてもよい。
 さらに、拡大鏡1の別の例として、図12に示すように全焦点拡大鏡1fを構成してもよい。全焦点拡大鏡1fは図8(b)に図示する拡大鏡1eにおける狭範囲光学系Nにおける狭範囲光学路31にビームスプリッタ71に加えて焦点可変レンズ72を備えている。そして、全焦点拡大鏡1fは、図1(b)に示すように、狭範囲光学系Nにおける狭範囲カメラ30に対する焦点可変レンズ72の位置を調整する焦点調整部73を備えるとともに、制御部50に、焦点調整部73を制御する焦点調整制御部54と、投影部70によるパターン投影光Laの投影を制御する投影制御部55とを備えている。
 このように構成した全焦点拡大鏡1fの狭範囲光学系Nでは、例えば、焦点可変レンズ72が機械的にレンズの位置を移動するタイプの焦点可変レンズである場合には、図13に示すように、狭範囲カメラ30に対する焦点可変レンズ72の位置を焦点調整部73によって調整することで、狭範囲カメラ30の焦点位置(すなわち図13において、狭撮像範囲Anとして図示されている面の、高さ方向の位置)を、光軸方向における所定の範囲Rに亘って掃引することができ、焦点位置を掃引させながら狭範囲撮像画像を撮像することができる。
 図14に示すように、焦点調整部73の制御によって焦点可変レンズ72を調整することで焦点位置を歯牙Tの上部から高さ方向に順に掃引させながら、焦点位置の所定のタイミングに合わせて狭範囲カメラ30で狭範囲撮像画像を撮像することで、焦点位置の異なる複数の狭範囲撮像画像を得ることができる。そして、これら焦点位置の異なる複数の狭範囲撮像画像を画像生成部51で合成することで、狭範囲カメラ30の光軸方向である高さ方向の全範囲にわたって焦点が合った、すなわち被写界深度が拡大された、全焦点狭範囲撮像画像を得ることができる。なお、図14においては、焦点位置を歯牙Tの上部から高さ方向に順に掃引する様子を示しているが、逆方向から掃引を始めてもよいし、周期的に掃引を繰り返してもよい。
 具体的には、複数の狭範囲撮像画像を合成して全焦点狭範囲撮像画像、すなわち被写界深度が拡大された狭範囲撮像画像を生成する方法として、 
 (1)まず、狭範囲カメラ30における狭範囲光学路31のレンズ等を機械的に駆動させるなどの方法によって焦点位置を歯牙T上で掃引しながら連続的に狭範囲カメラ30で撮像する。 
 (2)各狭範囲撮像画像を構成する画素毎にコントラスト量(狭範囲撮像画像がボケているか、ピントが合っているかを定量化したもの)を計算し、レンズを一往復(または半往復)させるなどによって焦点位置を掃引する間に、コントラスト量が極大値を示したときの画素値を、画像表示部40に表示する狭範囲撮像画像として採用する。 
 なお、コントラスト量を得る方法としては、ラプラシアン演算子を用いた方法、微分フィルタを用いた方法などの公知の手法を適用することができる。
 もし、狭範囲撮像画像にブレが生じていると、(2)の演算において、極大値が複数回存在するなどし、画像表示部40に表示する狭範囲撮像画像が歪んだりノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて演算を行うため、上述のノイズ等の問題は解消され、観察者の操作性を向上させることができる。 
 なお、上述の手順は、FPGAなどのハードウェアプロセッサを使って高速に演算するとよい。
 なお、狭範囲カメラ30による焦点位置を移動させるためには、上述したように狭範囲カメラ30を固定し、狭範囲光学路31を構成するレンズ等の焦点距離を機械的に移動させる方法のほか、液体レンズ等の焦点可変レンズを電気的に制御することで調整して焦点位置を移動させてもよい。また、焦点距離を所定の距離に維持したまま狭範囲カメラ30を物理的に移動させて焦点位置を移動させてもよいし、拡大鏡本体10全体を移動させてもよい。
 また、上述のような機械的な可動部を含む構成にて焦点位置の掃引を連続的に繰り返す場合、重心の移動に伴って発生する振動を打ち消すためのカウンターウェイト(前記可動部とは反対方向に運動する錘)を用いるのが良い。該カウンターウェイトの採用により、不要な振動が抑圧されるとともに、全焦点拡大鏡1fが低騒音に動作するようになり、さらに高精度な観察が可能となる。
 このように全焦点拡大鏡1fは、歯牙Tに対して、狭範囲カメラ30における焦点位置を移動させながらの連続撮影を制御する焦点調整制御部54と、連続撮影された複数の狭範囲撮像画像を合成して全焦点狭範囲撮像画像、すなわち被写界深度の深い狭範囲撮像画像を生成する画像生成部51が備えられているため、被写界深度の深い狭範囲撮像画像に基づいてより精密に観察することができる。
 詳述すると、狭範囲カメラ30は、歯牙Tにおける狭撮像範囲Anを高拡大倍率で撮像するが、その反面、狭範囲カメラ30によって撮像された狭範囲撮像画像は被写界深度が浅い、つまり撮像画像の奥行方向において焦点が合っている箇所が狭く、精密に観察できる範囲が少ない傾向にあるが、歯牙Tに対して、狭範囲カメラ30における焦点位置を移動させながら連続撮影し、連続撮影された複数の狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する、つまり、歯牙Tにおける狭撮像範囲Anを高拡大倍率かつ、奥行方向に焦点が合っている範囲の広い狭範囲撮像画像により、精密に観察することができる。
 なお、焦点位置を移動させながら連続撮影された複数の狭範囲撮像画像はブレが補正されているため、連続撮影された複数の狭範囲撮像画像を精度よく合成して、鮮明な被写界深度の深い狭範囲撮像画像を高精度で生成することができる。
 すなわち、広範囲カメラ21は、ブレ補正するために機能し、狭範囲カメラ30により上述のような被写界深度の深い撮像画像を生成する際の精度向上のためにも活用でき、さらには部品点数を増やすことなく同じ広範囲カメラ21を用いて、包括的観察・明示部の処理・後述の焦点位置情報に基づいた歯牙Tの精密な三次元計測を実施できるという相乗効果を奏することができる。
 また、図1(b)に破線で示すように、全焦点拡大鏡1fに制御部50の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも狭範囲カメラ30で撮像する歯牙Tの三次元形状を計測する三次元形状計測部56を備えてもよく、三次元形状計測部56を備えることで、狭撮像範囲Anにおいて鮮明で被写界深度の深い狭範囲撮像画像を撮像するとともに、歯牙Tの三次元形状も得ることができる。
 具体的には、上述の全焦点狭範囲撮像画像を生成する処理(2)において、ある画素においてコントラスト量が極大値を示すことと、移動する前記焦点位置と観察部位である歯牙Tの表面位置とが一致することとは、同値である。
 また、移動する前記焦点位置に関する焦点位置情報は、あらかじめ形状既知の基準物体を撮像する等の校正処理を実行しておくことにより、前記狭範囲撮像部制御部の制御状態(液体レンズへの入力電圧情報や、レンズを移動するアクチュエータ等への入力電圧情報、あるいはエンコーダセンサ等を用いることで実測可能な機械的に移動するレンズの現在位置情報)と対応付けることが可能である。すなわち上述の被写界深度の深い狭範囲撮像画像を生成する処理と、上記の焦点位置情報とに基づき、観察部位の三次元形状を取得することが可能である。
 もし、被写界深度の深い狭範囲撮像画像を生成するために連続的に撮像する複数の画像にブレが生じていると、上述の(2)の処理において、極大値が複数回存在するなどによって、計測される三次元形状が歪んだり、ノイズが生じたりするおそれがあるが、本発明においてはブレが補正された狭範囲撮像画像に基づいて三次元形状を計測する処理が行われるため、上述のノイズ等の問題は解消され、より高精度な三次元形状を計測することが可能となる。
 また、広範囲カメラ21で撮像した広範囲撮像画像から歯牙Tや広撮像範囲Awの三次元位置を検出するために、口腔内に複数の特徴点を設けることでより正確に三次元位置を算出することができる。そのための一例として、図11に示すように、被観察対象である患者が咬合紙を噛むことで、患者の歯に赤/青などの色の模様(色点Pc)が転写され、転写された色点Pcを特徴点とすることができる。これらの色点Pcの動きを広範囲カメラ21でトラッキングすることで、患者歯列の三次元的な位置・動きを認識することができる。したがって、広範囲カメラ21によって検出された広範囲撮像画像に基づく歯牙Tの三次元位置の変化に対して狭範囲カメラ30が撮像した狭範囲撮像画像のブレ補正をより正確に行うことができる。
 なお、転写した色点が頬肉などに隠れてしまい特徴点が見えづらくなることを防ぐため、硬組織(すなわち患者の歯列)を露出させる開口器を併用するとよい。ここでいう咬合紙とは、「咬合紙」の名称で広く市販されているもの、すなわち赤や青色の顔料が転写されるシート状の薄膜に限らず、歯で噛むことで、咬合に応じた箇所に、色や光学的な特徴(生体安全性のある顔料などの塗料、粘着剤、粘着シート、マイクロカプセル、粒子、投影光Lの照射に応じて蛍光を示す物質など)が転写されるものであり、口に挿入可能なサイズのシート状もしくは厚みのある形状、印象トレー形状、マウスピース(スプリント)形状のもの全般を含む。
 このように、歯牙Tが口腔内における所望の部位であり、三次元位置算出部52は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を広範囲撮像画像内で検出することによって、例えば、ボールマーカーなどの特徴点となる別部材を設けることなく、精度よく三次元位置を検出することができる。
 なお、このように構成した拡大鏡1(1a乃至1f)を有する観察ユニットYは、制御部50にモニタ240を接続することによって、狭範囲カメラ30及び広範囲カメラ21で撮像した撮像画像を画像表示部40のみならず、モニタ240にも表示させて、観察することができる。上記モニタ240は、例えば、図2において治療用スタンドポール230に設置された例を示しているが、支持アーム300や、支持アーム300とは別の支持アーム、壁、天井等、など別の位置に設けられてもよい。
 また、図示省略するが、観察ユニットYに、モニタ240以外の外部モニタを制御部50に接続してもよく、あるいはヘッドマウントディスプレイ(HMD)や、メガネ型のヘッドアップディスプレイ(HUD)などのようにヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプの表示装置を制御部50に無線等の通信手段を用いて接続してもよい。
 このようにモニタ240をはじめ、複数の表示装置を設けることにより、観察者が様々な位置に移動する場合や、観察者が複数いる場合であっても、画像表示部40とは別のモニタ240にて、さまざまな視点位置からブレが補正された前記狭範囲撮像画像を表示させて、観察することができる。例えば、歯科診療において、被観察者である患者から見ることができる位置にモニタ240を配置することで、診療状況の患者への説明や、インフォームドコンセントなどにも有効である。
 また、拡大鏡1(1a乃至1f)に画像表示部40を配置せず、図示省略するHMDやHUDなどのようにヘッドギアタイプ、ヘルメットタイプ、サンバイザータイプ、バンドタイプ、メガネタイプ、観察者が視力矯正等のために普段使用している一般のメガネのフレームに対してクリップで装着するタイプに、拡大鏡1(1a乃至1f)における画像表示部40を配置し、拡大鏡1の本体から画像表示部40を分離した頭部装着型の拡大鏡であってもよい。
 このように、画像表示部40の代わりに、あるいは画像表示部40と併用して、観察者の頭部に画像表示部40を装着するHMD,HUDは、頭部の移動を制限されることなく、ブレが補正された狭範囲撮像画像を表示させて、観察することができる。
 以上、本発明の構成と、前述の実施態様との対応において、本実施形態の観察部位は歯牙Tに対応し、
以下同様に、
撮像部はカメラ30,21に対応し、
観察装置は拡大鏡1に対応し、
狭範囲は狭撮像範囲Anに対応し、
狭範囲撮像部は狭範囲カメラ30に対応し、
広範囲は広撮像範囲Awに対応し、
広範囲撮像部は広範囲カメラ21に対応し、
広範囲撮像画像は広範囲撮像画像に対応し、
三次元位置検出部は三次元位置算出部52に対応し、
狭範囲撮像画像は狭範囲撮像画像に対応し、
ブレ補正部はブレ補正処理部53に対応し、
画像表示部は画像表示部40に対応し、
狭範囲撮像部の光学経路は狭範囲光学路31に対応し、
広範囲撮像部の光学経路は広範囲光学路22に対応し、
狭範囲撮像部制御部は制御部50に対応し、
狭範囲撮像画像生成部は画像生成部51に対応し、
光は投影光L,Laに対応し、
光投影部は投影部70に対応し、
三次元形状計測部は三次元形状計測部56に対応し、
頭部装着型表示装置はHMD,HUDに対応し、
支持部は支持アーム300に対応し、
観察ユニットは観察ユニットYに対応し、
表示装置はモニタ240,外部モニタに対応するが、上記実施形態に限定するものではない。
 例えば、上述の説明では、拡大鏡1や観察ユニットY、及び診療ユニットXについて、患者の歯牙Tを観察対象とし、歯科診療における観察について説明したが、歯牙のみならず、歯牙の内部や歯肉など口腔内の部位を観察対象として診療のみならず、実習などに活用してもよい。また、歯科のみならず、耳鼻科や脳外科など精密な診療が必要な他領域においても活用できるし、歯科、医療領域のみならず、拡大鏡1や観察ユニットYはバイオなどの精密性が求められる分野においても活用することができる。
 また、三次元位置算出部52は、連続的に撮像した広範囲撮像画像のうち、現在撮像された広範囲撮像画像と、それよりも過去のタイミングで撮像した少なくとも1枚の広範囲撮像画像とを比較し、撮像画像内の特徴的な箇所(特徴点)がどのような運動をしているかをテンプレートマッチングや特徴点マッチング等の手法を適用することによって検出したが、特徴点はブレ無く観察したい歯牙Tに対して剛体的に固定されたものであれば別の形態でもよく、カメラ21で撮像可能な光の波長や、トラッキングのアルゴリズムに応じた形態のもの(たとえば赤外線に対して強い反射を示す再帰反射型のボールマーカー等)を選択し、トラッキングすることが有効である。
 また、撮像画像内でトラッキング対象をそれ以外(例えば、被観察者の歯とは無関係に動く観察者の手、手術具、被観察者の口腔内外の軟組織)を除外する除外処理があるとなおよい。除外処理の例として、例えば、色の違いを利用して歯ではない部分を特定する方法などが適用できる。また、形状や光学的な反射・発光特性が特徴的なマーカを設け、被観察者の歯に対して剛体的に固定することで、当該マーカを特徴点としてもよい。
1…拡大鏡
21…広範囲カメラ
22…広範囲光学路
30…狭範囲カメラ
31…狭範囲光学路
40…画像表示部
50…制御部
51…画像生成部
52…三次元位置算出部
53…ブレ補正処理部
56…三次元形状計測部
70,70a…照明部
240…モニタ
300…狭範囲カメラ
An…狭撮像範囲
Aw…広撮像範囲
L…投影光
La…パターン投影光
T…歯牙
Y…観察ユニット

Claims (13)

  1.  観察部位を撮像部で撮像して観察する観察装置であって、
    前記撮像部が、前記観察部位を狭範囲で撮像する狭範囲撮像部と、前記観察部位を広範囲で撮像する広範囲撮像部とで構成され、
    前記広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出する三次元位置検出部と、
    該三次元位置検出部によって前記三次元位置が検出された前記観察部位と、前記狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正するブレ補正部と、
    ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する画像表示部とが備えられた
    観察装置。
  2.  前記狭範囲撮像部の光学経路と前記広範囲撮像部の光学経路との少なくとも一部が共用されている
    請求項1に記載の観察装置。
  3.  前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を制御する狭範囲撮像部制御部と、
    連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する狭範囲撮像画像生成部が備えられた
    請求項1または2に記載の観察装置。
  4.  前記狭範囲撮像部制御部の制御によって連続撮影する際に、少なくとも前記狭範囲撮像部で撮像する前記観察部位に光を投影する光投影部が備えられた
    請求項3に記載の観察装置。
  5.  前記狭範囲撮像部制御部の制御によって連続撮影した際の移動する焦点位置に関する焦点位置情報に基づいて、少なくとも前記狭範囲撮像部で撮像する前記観察部位の三次元形状を計測する三次元形状計測部が備えられた
    請求項3または4に記載の観察装置。
  6.  前記観察部位が口腔内における所望の部位であり、
    前記三次元位置検出部は、噛合紙によって口腔内の歯の表面に着色された複数の着色箇所を前記広範囲撮像画像内で検出することによって前記観察部位の三次元位置を検出する構成である
    請求項1乃至5のうちいずれかに記載の観察装置。
  7.  少なくとも前記画像表示部が観察者の頭部に装着する頭部装着型で構成された
    請求項1乃至6のうちいずれかに記載の観察装置。
  8.  請求項1乃至7のうちいずれかに記載の観察装置と、
    前記観察装置の少なくとも前記狭範囲撮像部を支持する支持部が備えられた
    観察ユニット。
  9.  前記支持部に支持された前記観察装置の少なくとも前記狭範囲撮像部が前記観察部位に対して移動可能に、前記支持部を構成した
    請求項8に記載の観察ユニット。
  10.  ブレが補正された前記狭範囲撮像画像を少なくとも表示する表示装置が備えられた
    請求項8又は9に記載の観察ユニット。
  11.  前記表示装置が、
    観察者の頭部に装着する頭部装着型表示装置で構成された
    請求項10に記載の観察ユニット。
  12.  観察装置の撮像部で観察部位を撮像して観察する観察方法であって、
    前記撮像部を構成する広範囲撮像部で撮像した広範囲撮像画像に基づいて、少なくとも前記観察部位の三次元位置を検出し、
    前記三次元位置が検出された前記観察部位と、前記撮像部を構成する狭範囲撮像部との三次元相対位置の変化に基づいて、前記狭範囲撮像部で撮像した狭範囲撮像画像のブレを補正し、
    ブレが補正された前記狭範囲撮像画像、及び前記広範囲撮像画像のうちブレが補正された前記狭範囲撮像画像を少なくとも表示する
    観察方法。
  13.  前記観察部位に対して、前記狭範囲撮像部における焦点位置を移動させながらの連続撮影を行い、
    連続撮影された複数の前記狭範囲撮像画像を合成して被写界深度の深い狭範囲撮像画像を生成する
    請求項12に記載の観察方法。
PCT/JP2018/041516 2017-11-09 2018-11-08 観察装置、観察ユニット及び観察方法 WO2019093426A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/762,678 US11317794B2 (en) 2017-11-09 2018-11-08 Observation device, observation unit, and observation method
EP18876392.4A EP3709066B1 (en) 2017-11-09 2018-11-08 Observation device, observation unit, and observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-216338 2017-11-09
JP2017216338A JP6770500B2 (ja) 2017-11-09 2017-11-09 口腔内観察装置、観察ユニット及び観察方法

Publications (1)

Publication Number Publication Date
WO2019093426A1 true WO2019093426A1 (ja) 2019-05-16

Family

ID=66438368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041516 WO2019093426A1 (ja) 2017-11-09 2018-11-08 観察装置、観察ユニット及び観察方法

Country Status (4)

Country Link
US (1) US11317794B2 (ja)
EP (1) EP3709066B1 (ja)
JP (1) JP6770500B2 (ja)
WO (1) WO2019093426A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186501A1 (en) * 2019-08-07 2023-06-15 Canon Kabushiki Kaisha Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method
US11864727B2 (en) 2016-01-26 2024-01-09 Cyberdontics (Usa), Inc. Automated dental treatment system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202109550A (zh) * 2019-08-23 2021-03-01 陳義聰 牙齒保健照護系統
EP3786889A1 (en) * 2019-08-30 2021-03-03 Tata Consultancy Services Limited Method and system for tracking motion of subjects in three dimensional scene
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
DE102020206216A1 (de) 2020-05-18 2021-11-18 Carl Zeiss Meditec Ag Stereoskopische Aufnahmevorrichtung
JP7262800B2 (ja) * 2020-10-06 2023-04-24 学校法人福岡工業大学 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体
US20230053154A1 (en) * 2021-08-11 2023-02-16 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
AU2022387887A1 (en) * 2021-11-09 2024-04-04 Alcon Inc. Stereoscopic imaging apparatus with multiple fixed magnification levels
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616099B2 (ja) * 1989-02-07 1994-03-02 浜松ホトニクス株式会社 Ct装置におけるデータ補正装置
JPH11253433A (ja) * 1998-03-11 1999-09-21 Morita Mfg Co Ltd Ct撮影装置
JP2003052718A (ja) 2001-08-10 2003-02-25 Morita Mfg Co Ltd 顕微鏡付診療台
JP2013117848A (ja) * 2011-12-02 2013-06-13 Canon Inc 画像処理装置及び画像処理方法
JP2017191609A (ja) * 2017-04-14 2017-10-19 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4809291B2 (ja) 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
US20140099604A1 (en) * 2012-10-08 2014-04-10 Albert J. Kurpis Dental marking product with varying widths and thicknesses for gauging and marking occlusal clearance to facilitate fabrication and installation of a dental restorative element
EP2937058B1 (de) * 2014-04-24 2020-10-07 Christof Ellerbrock Kopfgetragene plattform zur integration von virtualität in die realität

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616099B2 (ja) * 1989-02-07 1994-03-02 浜松ホトニクス株式会社 Ct装置におけるデータ補正装置
JPH11253433A (ja) * 1998-03-11 1999-09-21 Morita Mfg Co Ltd Ct撮影装置
JP2003052718A (ja) 2001-08-10 2003-02-25 Morita Mfg Co Ltd 顕微鏡付診療台
JP2013117848A (ja) * 2011-12-02 2013-06-13 Canon Inc 画像処理装置及び画像処理方法
JP2017191609A (ja) * 2017-04-14 2017-10-19 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3709066A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11864727B2 (en) 2016-01-26 2024-01-09 Cyberdontics (Usa), Inc. Automated dental treatment system
US20230186501A1 (en) * 2019-08-07 2023-06-15 Canon Kabushiki Kaisha Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method

Also Published As

Publication number Publication date
US20210169318A1 (en) 2021-06-10
JP2019086712A (ja) 2019-06-06
EP3709066B1 (en) 2023-12-27
JP6770500B2 (ja) 2020-10-14
EP3709066A4 (en) 2021-08-18
EP3709066A1 (en) 2020-09-16
US11317794B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
WO2019093426A1 (ja) 観察装置、観察ユニット及び観察方法
JP7225300B2 (ja) 立体視覚化カメラ及びプラットフォーム
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
AU771368B2 (en) Visual aid in the form of telescopic spectacles with an automatic focussing device
US11571272B2 (en) Stereoscopic camera with fluorescence visualization
JP2021521939A (ja) 立体視覚化カメラ及び統合ロボットプラットフォーム
JP2008093433A (ja) 眼科用手術顕微鏡システム
US20130295518A1 (en) Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry
US20230120611A1 (en) Stereoscopic camera with fluorescence strobing based visualization
KR101481905B1 (ko) 수술 현미경용 일체형 입체 화상 획득 시스템
JP6793623B2 (ja) 観察器具、観察装置、観察ユニット及び診療ユニット
ZA200203746B (en) Visual aid in the form of telescopic spectacles with an automatic focussing device.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18876392

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018876392

Country of ref document: EP

Effective date: 20200609