WO2020157984A1 - 合成画像生成システム及び位置情報補正システム - Google Patents

合成画像生成システム及び位置情報補正システム Download PDF

Info

Publication number
WO2020157984A1
WO2020157984A1 PCT/JP2019/003744 JP2019003744W WO2020157984A1 WO 2020157984 A1 WO2020157984 A1 WO 2020157984A1 JP 2019003744 W JP2019003744 W JP 2019003744W WO 2020157984 A1 WO2020157984 A1 WO 2020157984A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
optical
marker
unit
camera
Prior art date
Application number
PCT/JP2019/003744
Other languages
English (en)
French (fr)
Inventor
張　博
奎 陳
唯一 蔡
俊一 田野
Original Assignee
ＴＣＣ Ｍｅｄｉａ Ｌａｂ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＴＣＣ Ｍｅｄｉａ Ｌａｂ株式会社 filed Critical ＴＣＣ Ｍｅｄｉａ Ｌａｂ株式会社
Priority to PCT/JP2019/003744 priority Critical patent/WO2020157984A1/ja
Priority to US17/045,874 priority patent/US11055873B2/en
Priority to JP2019506535A priority patent/JP6660659B1/ja
Publication of WO2020157984A1 publication Critical patent/WO2020157984A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a composite image generation system that superimposes a superimposed image acquired by another on a partial region of an image obtained by capturing the external real space, and a position information correction system used for this.
  • a video see-through type head-mounted display that superimposes a predetermined superimposed image on a camera image obtained by capturing an external real space and makes it visible to the user is used to support medical education.
  • a support system of Patent Document 1 is known in which a doctor wears an HMD when performing a puncture or the like, and a composite image for supporting the puncture is presented to the doctor through the HMD. ..
  • a composite image is created by superimposing an ultrasonic image of the affected area of the patient to which the probe of the ultrasonic diagnostic apparatus is applied on the camera image of the visual field of the doctor taken by the video camera attached to the HMD. It has become.
  • an ultrasonic image is superimposed on a predetermined area on the tip side of the probe in the camera image, corresponding to the position and posture of the probe.
  • the relative position and orientation between the video camera and the probe marker are obtained from the recognition state of the probe marker in the camera image by imaging the probe marker, which is an optical marker attached to the probe, with the video camera. ..
  • a peripheral marker which is another optical marker attached to the body surface of the patient, is also imaged by the video camera at the same time as the probe marker.
  • the relative position and orientation relationship between the fixedly placed surrounding marker and the probe marker that moves with the probe is detected each time, and even if the video camera moves with the doctor, the overall coordinates based on the specific surrounding marker are used.
  • the three-dimensional position information of the probe in the system can be acquired, and the ultrasonic image corresponding to the three-dimensional position information in the global coordinate system can be superimposed on the predetermined area of the camera image.
  • the present inventors mainly use an optical marker to obtain 3D position information based on a current camera image captured by one camera from a camera image acquired by another camera.
  • a system has already been proposed, which is complemented with dimensional position information and is capable of easily and accurately detecting three-dimensional position information in the overall coordinate system of each optical marker existing in the real space (see Patent Document 2).
  • each optical marker necessary for acquiring three-dimensional position information is accurately recognized.
  • the recognition state of the probe marker attached to the probe decreases depending on the orientation of the probe with respect to the video camera, and erroneous recognition or the like may occur.
  • the position of the ultrasonic image superimposed on the camera image is displaced from the desired area.
  • the probe marker is out of the visual field of the video camera, it becomes impossible to detect the three-dimensional position information of the probe marker, and the superimposed image cannot be superimposed on the camera image.
  • the present invention has been devised by focusing on such a problem, and an object thereof is to obtain a desired area in an image of a real space acquired by a camera even when the detection accuracy of position information by an optical marker is lowered. It is to provide a composite image generation system that contributes to superimposing a superposed image on.
  • the present invention provides a position information detecting device that detects position information of a predetermined portion in a real space, and a camera that is movably arranged based on the position information detected by the position information detecting device.
  • the position information detection device includes the camera.
  • An optical tracking unit that detects the position information using an image and a non-optical tracking unit that detects the position information without using the camera are provided, and the optical tracking unit is configured to perform the operation according to an arbitrary operation of a user.
  • a moving optical marker that is fixed to a moving member that specifies the desired area while moving in the real space and that can move integrally with the moving member, and an image state of the moving optical marker captured by the camera are recognized.
  • Position information specifying means for specifying position information wherein the position information specifying means determines a recognition state of the moving optical marker by the camera, a recognition state determining portion, and the recognition state of the moving optical marker according to the recognition state.
  • the present invention provides a user's arbitrary operation when generating a combined image in which a separately acquired superimposed image is superimposed on a desired area in a camera image of a real space captured by a camera that is movably arranged.
  • a position information correction system including a processing device that adjusts the position information detected by the position information detection device, the position information detection device comprising:
  • the optical tracking unit includes an optical tracking unit that detects the position information by using the camera image and a non-optical tracking unit that detects the position information without using the camera.
  • a movable optical marker that is fixed and movable integrally, and an optical marker detection unit that detects position information of the movable optical marker by recognizing an image state of the movable optical marker captured by the camera are provided.
  • the non-optical tracking means includes a non-optical marker fixed to the moving member and a non-optical marker detection unit that detects position information of the non-optical marker
  • the processing device includes the optical tracking means and the non-optical marker.
  • the position information specifying unit that adjusts the detection result of the non-optical tracking unit to specify the position information of the moving member, and the position information specifying unit recognizes the recognition state of the moving optical marker by the camera.
  • a state determination unit a use information selection unit that selects which position information is used from the detection results of the optical tracking unit and the non-optical tracking unit according to the recognition state of the moving optical marker, An output position information determining unit that determines output position information necessary for generating the composite image based on the position information selected by the use information selecting unit is adopted.
  • positional information means information including a position (orientation) represented by a rotation angle around the coordinate axis at a position in a predetermined coordinate system. Therefore, the “three-dimensional position information” means information that includes each position in the directions of the three orthogonal axes and six coordinate components of the rotation angle around each of these axes.
  • the position information of the moving member can be more accurately determined by using appropriate position information from the detection results of the optical tracking unit and the non-optical tracking unit according to the recognition state of the moving optical marker. Can be specified. That is, even if the accuracy of detecting the position information by the optical tracking means is deteriorated due to the deterioration of the recognition of the optical marker, the superimposed image is superimposed on the desired area in the camera image while using the detection result of the non-optical tracking means. It will be possible.
  • FIG. 1 is a conceptual diagram showing the main configuration of a medical AR display system including a composite image generation system according to the present invention
  • FIG. 2 is a block diagram showing the overall configuration of the medical AR display system.
  • the medical AR display system 10 of the present embodiment is a display system for medical support, and a state in which a doctor D as a user wears a head mounted display 11 (hereinafter, referred to as “HMD11”). Then, a composite image in which a diagnostic image such as a corresponding ultrasonic image is superimposed as a superimposed image on a partial area of the image of the patient P existing in the field of view of the doctor D (mainly the affected area) is displayed on the HMD 11. It is an AR display system.
  • the medical AR display system 10 includes an HMD 11 as an image display device mounted on the head of a doctor D, an image diagnostic device 13 for acquiring a diagnostic image of an affected area of a patient P, and a predetermined portion in a real space.
  • a position information detection device 14 that detects three-dimensional position information, and a processing device 16 that generates the composite image based on the detection result of the position information detection device 14 and presents the composite image to the HMD 11 are provided.
  • the position information detection device 14 and the processing device 16 form a composite image generation system that generates the composite image.
  • the HMD 11 is a video see-through type in which a video camera 18 for picking up a camera image of a real space which is a background of the composite image is attached, and the composite image obtained by superimposing the superimposed image on the camera image is a doctor D. It is supposed to be displayed in front of.
  • the video camera 18 can be moved integrally with the head of the doctor D so that the doctor D wearing the HMD 11 can obtain a camera image almost the same as when the doctor D actually looks directly at the real space in front of him. It is arranged. Therefore, the doctor D can visually recognize the state of the patient P existing in front of him/her and the affected part through the camera image displayed on the display unit of the HMD 11.
  • other various cameras can be adopted as long as the camera image can be acquired.
  • a two-dimensional ultrasonic diagnostic apparatus is applied as the image diagnostic apparatus 13.
  • an ultrasonic image such as a two-dimensional image which is a tomographic image in the same cross section as the beam scanning surface is generated by beam scanning with the probe 19 (see FIG. 1). Further, beam scanning is performed in a predetermined area of the affected area, and a detection result described later of three-dimensional position information of the probe 19 in the same coordinate system at the time of the beam scanning is used to detect an internal organ or the like within the predetermined area of the affected area.
  • a function is provided that enables the generation of a stereoscopic image.
  • the diagnostic image such as the ultrasonic image or the stereoscopic image can be visually recognized by the doctor D through the HMD 11 in a state where the diagnostic image is stereoscopically superimposed on a desired area of the camera image in the real space as a superimposed image.
  • the desired region of the camera image on which the superimposed image is superimposed is a region near the tip position of the probe 19 in the camera image, which corresponds to the orientation of the probe 19 by the processing to be described later by the processing device 16.
  • the superimposed image is displayed in the orientation. Therefore, the probe 19 is also configured as a moving member that specifies the desired region while moving in the real space by an arbitrary operation of the doctor D.
  • the moving member in the present invention is not limited to the probe 19, and various operating members, gripping members, and the like can be adopted as long as the desired region can be specified while moving in the real space by the operation of the user.
  • the image diagnostic apparatus 13 is not limited to the ultrasonic diagnostic apparatus of the present embodiment, and other image diagnostic apparatuses such as CT and MRI can be applied.
  • the position information detecting device 14 uses the camera image from the video camera 18 to detect the three-dimensional position information in a predetermined portion of the real space, and the camera image. It is configured by the non-optical tracking means 22 that detects three-dimensional position information at a predetermined part in the real space without using it.
  • the optical tracking unit 21 recognizes the optical markers 24 respectively installed at a plurality of predetermined parts in the real space and the image states of the optical markers 24 in the camera image captured by the video camera 18, Regarding the optical marker 24 at the installation site, the optical tracking system includes an optical marker detection unit 25 that detects three-dimensional position information in a local coordinate system of three orthogonal axes with the center of the video camera 18 as the origin. That is, the optical tracking means 21 can detect the three-dimensional position information of the installation site through the optical marker 24.
  • the optical marker 24 includes a probe marker 24A fixed to a part of the probe 19 and a peripheral marker 24B fixed to a plurality of positions on the body surface of the patient P lying on his/her back. It consists of and. A predetermined pattern is attached to the surface of each optical marker 24, a plurality of patterns of optical markers 24 having different patterns are prepared, and the optical marker 24 having a different pattern is used for each arrangement site.
  • the probe marker 24A functions as a movable optical marker that can move integrally with the probe 19, and the surrounding marker 24B functions as a fixed optical marker that is presumed to be placed in a stationary state.
  • the image recognition of the optical marker 24 causes the following processing by a known method. That is, here, since the pattern, shape, and size of the optical marker 24 are known, the ID indicating where the optical marker 24 is located is specified from the pattern of the optical marker 24 in the camera image.
  • the position and orientation of the optical marker 24 can be obtained from the size and shape of the optical marker 24 in the camera image.
  • the position and orientation of the optical marker 24 are acquired as three-dimensional position information based on the HMD coordinate system whose origin is the center of the video camera 18 that images the optical marker 24.
  • the optical marker detection unit 25 sequentially obtains three-dimensional position information in the HMD coordinate system for the optical marker 24 imaged by the video camera 18 of the HMD 11 attached to the doctor D.
  • This HMD coordinate system is treated as a local coordinate system that moves with the movement of the head of the doctor D wearing the HMD 11.
  • the non-optical tracking means 22 includes a magnetic tracking system 22A that obtains three-dimensional position information by using magnetic data and an acceleration tracking system 22B that obtains three-dimensional position information by using acceleration data.
  • the magnetic tracking system 22A includes a magnetic base station 27 that generates magnetic fields of various strengths in various directions in a real space, and a magnetic sensor as a non-optical marker that detects the magnitude of magnetism from the magnetic base station 27. 28 and a magnetic sensor detection unit 29 as a non-optical marker detection unit that detects the three-dimensional position information of the installation site from the magnetic detection state of the magnetic sensor 28.
  • the magnetic sensor 28 can detect the three-dimensional position information of the installation site.
  • the magnetic sensor 28 is fixed to a predetermined portion of the probe 19 that moves sequentially, and is attached to the probe marker 24A fixedly arranged on the probe 19 so as not to be relatively movable and relatively rotatable.
  • the magnetic sensor detection unit 29 detects the direction and strength of the magnetic field generated from the magnetic base station 27 by the magnetic sensor 28, so that the probe 19 to which the magnetic sensor 28 is attached detects a predetermined portion of the magnetic base station 27.
  • Three-dimensional position information in a magnetic coordinate system of three orthogonal axes that is the origin is sequentially acquired. Since this magnetic coordinate system exists at one location and the magnetic base station 27 is fixed, it is treated as a local coordinate system that is fixed so that it cannot move and rotate.
  • the acceleration tracking system 22B obtains three-dimensional position information at a predetermined site where the acceleration sensor 31 is attached from the acceleration sensor 31 that functions as a non-optical marker fixed to the predetermined site and a measurement value of the acceleration sensor 31.
  • An acceleration sensor detection unit 32 as an optical marker detection unit.
  • the acceleration sensor 31 is fixed to each optical marker 24, and is arranged so as to be relatively immovable and non-rotatable with respect to each attached optical marker 24.
  • the acceleration sensor 31 is composed of a 6-axis acceleration sensor capable of measuring the acceleration in the directions of the three orthogonal axes and the angular velocity around each axis.
  • the acceleration sensor detection unit 32 obtains the change over time of the acceleration and the angular velocity from the initial position to obtain the acceleration marker 31 at the present time in the acceleration coordinate system that is the local coordinate system with the initial position as the origin.
  • the three-dimensional position information of the installation site is calculated.
  • the non-optical tracking means 22 by tracking the non-optical marker without using the video camera 18, the three-dimensional position information of the non-optical marker in the local coordinate system with the preset reference point as the origin is set.
  • Any sensor may be used as long as it is configured by sensors that specify the.
  • an ultrasonic tracking system using ultrasonic waves is adopted as the other non-optical tracking means 22, and the magnetic tracking system 22A or the acceleration tracking system 22B is replaced with these tracking systems. It can be used in combination with 22A and 22B.
  • a transmitter that generates ultrasonic waves of various frequencies and intensities is fixed as a non-optical marker, which is an ultrasonic marker, in a predetermined portion of the real space, and a plurality of ultrasonic receivers installed in the ultrasonic receiving station are fixed. The frequency and strength of ultrasonic waves are measured with a microphone.
  • the three-dimensional position information in the HMD coordinate system, magnetic coordinate system, and acceleration coordinate system which are local coordinate systems, will be referred to as "local position information" as appropriate.
  • the three-dimensional position information in the orthogonal three-axis general coordinate system with the fixed point fixed in the preset real space as the origin is appropriately referred to as "global position information”.
  • the processing device 16 is configured by a computer including an arithmetic processing device such as a CPU and a storage device such as a memory or a hard disk, and a program for causing the computer to function as each of the following units and each unit is installed.
  • a computer including an arithmetic processing device such as a CPU and a storage device such as a memory or a hard disk, and a program for causing the computer to function as each of the following units and each unit is installed.
  • the processing device 16 adjusts the detection results of the optical tracking means 21 and the non-optical tracking means 22 and displays the diagnostic image from the image diagnostic device 13 in a desired area of the camera image in the real space.
  • Position information specifying means 35 for specifying three-dimensional position information of the probe 19 at the time of superimposition
  • image capturing means 36 for capturing various image data obtained by the image diagnostic apparatus 13 and the video camera 18, and position information specifying means.
  • the composite image generation means 37 for generating a composite image presented to the HMD 11 of each doctor D based on the three-dimensional position information obtained in 35.
  • the position information specifying means 35 converts the local position information detected by the position information detecting device 14 into global position information by calculation, and the global position information conversion function 39 and the global position of the probe 19 obtained by the global position information conversion function 39.
  • a moving position information adjusting function 40 forming a position information correcting system for adjusting position information
  • an initial condition resetting function 41 forming an initial condition resetting system for resetting a predetermined initial condition serving as a reference when obtaining global position information.
  • the global position information conversion function 39 converts the three-dimensional position information of the probe 19 in the local coordinate system into the global coordinate system, and the initial setting unit 43 that sets the global coordinate system when the probe 19 and the patient P are stationary. And a coordinate conversion unit 44 for
  • initial setting for setting the following initial conditions is sequentially performed, and the global coordinate system is set using the detection result of the position information detection device 14 at the time of the initial setting.
  • the probe marker 24A and the surrounding marker 24B are simultaneously imaged by the video camera 18 in a position and an orientation at which image recognition can be accurately performed while each optical marker 24, the magnetic sensor 28, and the acceleration sensor 31 are stationary. ..
  • one of the surrounding markers 24B for example, one surrounding marker 24B closest to the probe marker 24A is specified as the reference surrounding marker 24B, and the center of the reference surrounding marker 24B is used as the origin for the entire coordinate system. Is set.
  • the detection value in each local coordinate system in the position information detection device 14, that is, the optical marker 24, the magnetic sensor 28, and the acceleration sensor 31 are acquired.
  • the dimensional position information is converted into the global coordinate system by calculation.
  • the local position information of each optical marker 24 is converted into global position information as follows.
  • the relative position-posture relationship remains unchanged when the patient P is stationary. Therefore, when the patient P is stationary and each surrounding marker 24B is in a stationary state, the three-dimensional position information of each surrounding marker 24B in the HMD coordinate system is unchanged, and the overall coordinates with the reference surrounding marker 24B as the origin.
  • the three-dimensional position information of the other surrounding markers 24B in the system is also calculated as a constant value.
  • the local position information detected by the position information detecting device 14 is sequentially changed by the operation of the probe 19 by the doctor D.
  • the relative position-posture relationship between the surrounding markers 24B remains unchanged, so that at least one surrounding marker 24B is imaged by the video camera 18 at the same time as the probe marker 24A.
  • the global position information of the probe marker 24A is calculated from the detection result in the HMD coordinate system.
  • the detection state of any of the surrounding markers 24B changes from the initial setting, such as when the patient P moves from a stationary state
  • global position information of the surrounding markers 24B is set by the initial condition resetting function 41, as described later. Are reset, and the initial condition is newly set in the initial setting section 43.
  • the local position information acquired by the magnetic sensor 28 is converted into global position information as follows. That is, the magnetic sensor 28 is attached to the probe 19 together with the probe marker 24A so as not to be relatively movable and relatively rotatable. Therefore, based on the three-dimensional position information of the probe 19 in the magnetic coordinate system at the time of the initial setting, based on the relative position and orientation relationship between the probe marker 24A and the reference surrounding marker 24B, the relative between the magnetic coordinate system and the global coordinate system. Relationships are identified. Then, from the relative relationship, the detection value of the magnetic sensor 28 in the magnetic coordinate system is converted into a unified component of the overall coordinate system.
  • global position information on the installation site is obtained as follows. That is, when the initial conditions are set, the global position information in the initial state of each optical marker 24 integrally attached to the acceleration sensor 31 is specified as described above. Then, the acceleration sensor detection unit 32 acquires the acceleration in the directions of the three orthogonal axes and the change with time in the angular velocity around the three axes, and calculates the amount of movement and the amount of rotation at the installation site of the acceleration sensor 31 from the acquired values. It After that, the movement amount and the rotation amount are added to the global position information in the initial state to obtain the global position information of the installation site of the acceleration sensor 31.
  • the movement position information adjusting function 40 includes a recognition state determination unit 46 that determines the recognition state of the probe marker 24A by the video camera 18, and a probe calculated by the global position information conversion function 39 according to the recognition state of the probe marker 24A. From the usage information selection unit 47 that selects which detection result is used from the global position information from the marker 24A, the magnetic sensor 28, and the acceleration sensor 31, and the three-dimensional position information selected by the usage information selection unit 47, An output position information determining unit 48 that determines output position information of the probe 19 used in the composite image generating means 37 is provided.
  • the recognition state determination unit 46 determines the recognition state of the probe marker 24A based on the relative distance and relative angle between the video camera 18 and the probe marker 24A at the present time. That is, here, first, the relative distance and the relative angle at the present time point are calculated by the local position information of the probe marker 24A detected by the optical marker detection unit 25.
  • a stability database 49 including a table or a mathematical expression representing the relationship between the relative distance and the relative angle and the recognition stability is stored in advance. Then, from the stability database 49, the recognition stability corresponding to the relative distance and the relative angle at the present time is specified.
  • the relationship stored in the stability database 49 is set according to an experimental result acquired in advance, and the recognition stability becomes unstable as the relative distance becomes longer or the relative angle increases.
  • the recognition stability in the present embodiment is either a stable state in which the recognition rate of the probe marker 24A is high or an unstable state in which the recognition rate of the probe marker 24A is low.
  • the present invention is not limited to this. Instead, the recognition stability may be converted into a numerical value, or may be set in multiple stages.
  • the recognition state determination unit 46 when the probe marker 24A is recognized by the video camera 18, the probe is detected according to the relative distance and relative angle between the video camera 18 and the probe marker 24A based on the stability database 49.
  • the recognition stability of the marker 24A is determined to be either a stable state or an unstable state.
  • the probe marker 24A is not recognized by the video camera 18, it is determined that the probe marker 24A is in the unrecognizable state.
  • any of the global position information obtained by the global position information conversion function 39 based on the detection results obtained by the probe marker 24A, the magnetic sensor 28, and the acceleration sensor 31 is selected as follows. It is decided whether to use.
  • the recognition state determination unit 46 determines that it is the stable state, the global position information acquired by the probe marker 24A is obtained. Only use is decided.
  • the recognition state determination unit 46 determines that the probe marker 24A is unstable, the probe marker 24A, the magnetic sensor 28, and Use of the three types of global position information acquired by the acceleration sensor 31 is determined.
  • the two types of global position information acquired by the magnetic sensor 28 and the acceleration sensor 31 are stored. Usage is decided.
  • the output position information determining unit 48 determines the output position information using different position information according to the first to third recognition states described above, as follows.
  • the global position information of the probe marker 24A is directly used as the output position information.
  • the probe marker 24A is in the second recognition state in which the probe marker 24A is determined to be in an unstable state, three types of global position information acquired by the probe marker 24A, the magnetic sensor 28, and the acceleration sensor 31 are used. A correction value considering the error information of the information is determined as the output position information.
  • the error information used here is a measurement error for each of the optical marker 24, the magnetic sensor 28, and the acceleration sensor 31, and the measurement error is specified by using a preset error database 50. That is, for the measurement error of the position and angle of the optical marker 24, a predetermined value corresponding to the distance from the video camera 18 is stored in the error database 50.
  • a predetermined value corresponding to the distance from the magnetic base station 27 is stored in the error database 50. Furthermore, regarding the measurement error of the position and angle in the acceleration sensor 31, a predetermined value specified for each product is stored in the error database 50.
  • the measurement error corresponding to each separation distance is specified by the error database 50 from the detection results acquired by the probe marker 24A and the magnetic sensor 28. Then, the average value of each of the global position information in consideration of the measurement error is set as the output position information. That is, here, the measurement errors of the probe marker 24A, the magnetic sensor 28, and the acceleration sensor 31 are compared, and the weighting values are set between them in order of increasing measurement error. Further, the global position information obtained by the probe marker 24A, the magnetic sensor 28, and the acceleration sensor 31 is multiplied by each corresponding weighting value and added, and the total sum value is divided by the sum of each weighting value to obtain the average.
  • a correction value of the three-dimensional position information which is a value, is obtained.
  • the present invention is not limited to this calculation method, and the global position information thereof is integrated while giving priority to a value having a small measurement error among the probe marker 24A, the magnetic sensor 28, and the acceleration sensor 31. As long as the output position information is obtained by the correction, various calculation methods can be adopted.
  • the same method is used as in the case of the second recognition state except that the global position information of the probe marker 24A is not used.
  • the output position information is obtained from the two types of global position information from the magnetic sensor 28 and the acceleration sensor 31.
  • the initial setting unit 43 causes the peripheral marker 24B, which is assumed to be in a stationary state, to be recognized by the recognition state of the peripheral marker 24B and the detection result of the acceleration sensor 31 integrally attached thereto. It is determined whether to reset the three-dimensional position information of each surrounding marker 24B specified by the initial setting of. If it is determined that the reset is to be performed, the initial setting in the initial setting unit 43 is performed again, while if it is determined not to be reset, the subsequent processing is continued.
  • each surrounding marker 24B in the case of the first state change in which one of the surrounding markers 24B within the field of view of the video camera 18 moves and the moving state is detected by the acceleration sensor 31 provided in the surrounding marker 24B, each surrounding marker 24B.
  • the global position information of all the surrounding markers 24B is reset regardless of whether or not the recognition state has changed.
  • the acceleration sensor 31 functions as a movement detection sensor capable of detecting the movement state of the surrounding marker 24B.
  • a change even if the movement state is not detected by the acceleration sensor 31, it is determined that the recognition state of the surrounding marker 24B has changed, and the global position information of all the surrounding markers 24B is reset.
  • the video camera The global position information of the other surrounding markers 24B existing in the field of view of 18 is reset.
  • the global position information of the surrounding marker 24B is not reset unless it corresponds to the case of the first to third state changes. Therefore, for example, if the movement state of the surrounding marker 24B is not detected by the acceleration sensor 31 even if the predetermined surrounding marker 24B exists outside the visual field of the video camera 18 and is not image-recognized, the global area of the surrounding marker 24B is not detected. Location information is not reset.
  • the composite image generating means 37 from the respective images captured by the image capturing means 36 and the output position information of the probe 19 determined by the position information specifying means 35, the vicinity of the tip position of the probe 19 in the camera image is detected. , A composite image is generated so that the superimposed image is displayed in an orientation corresponding to the orientation. That is, based on the output position information of the probe 19, the position and posture of the probe 19 in the camera image that is the background image are specified, and the tip portion of the probe 19 in the camera image corresponds to the posture of the probe 19. Depending on the orientation, the diagnostic images of the affected area at the corresponding position are superimposed.
  • this invention is not restricted to this, It is the same structure, It can be applied to any system that generates a composite image by superimposing a separately acquired superimposed image on a desired area within a camera image specified by the moving member, corresponding to the position or orientation of the moving member operating in a predetermined space. is there.
  • each part of the device in the present invention is not limited to the illustrated configuration example, and various modifications can be made as long as substantially the same operation is exhibited.
  • the present invention relates to a system that generates a composite image by superimposing a separately acquired superimposed image on a desired area in a camera image designated by the moving member in correspondence with the position or orientation of the moving member operating in a predetermined space. It will be available.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)

Abstract

合成画像生成システムは、実空間内の所定部位の位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４での位置情報に基づき、移動可能に配置されたビデオカメラ１８で撮像され実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置１６とを備える。処理装置１６は、位置情報検出装置１４の検出結果を調整して、所望領域に重畳画像を重畳する際に用いるプローブ１９の位置情報を特定する位置情報特定手段３５を含む。位置情報特定手段３５は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、当該認識状態に応じて、光学トラッキング手段２１及び非光学トラッキング手段２２での検出結果の何れを使用するかを選択する使用情報選択部４７と、当該選択された位置情報により、合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部４８とを備える。

Description

合成画像生成システム及び位置情報補正システム
　本発明は、外界の実空間を撮像した画像の一部領域に、他で取得した重畳画像を重ね合わせる合成画像生成システム、及びこれに用いる位置情報補正システムに関する。
　近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の技術について、他の様々な分野への応用が検討されている。ＡＲ技術の医療分野への応用としては、所定の重畳画像を外界の実空間を撮像したカメラ画像に重ね合わせてユーザに視認させるビデオシースルータイプのヘッドマウントディスプレイ（ＨＭＤ）を利用し、医療教育支援や低侵襲手術支援等を行うシステムが研究されている。このようなシステムとしては、例えば、医師が穿刺等を行う際にＨＭＤを装着し、当該穿刺を支援するための合成画像がＨＭＤを通じて医師に提示される特許文献１の支援システムが知られている。当該支援システムでは、ＨＭＤに取り付けたビデオカメラで撮影された医師の視野のカメラ画像に、超音波診断装置のプローブが当てられた患者の患部の超音波画像を重ね合わせた合成画像を生成するようになっている。
　この特許文献１の支援システムでは、プローブの位置や姿勢に対応して、カメラ画像におけるプローブの先端側となる所定領域に超音波画像が重畳される。この際、プローブに取り付けた光学マーカであるプローブマーカをビデオカメラで撮像することにより、カメラ画像内のプローブマーカの認識状態から、ビデオカメラとプローブマーカの間の相対的な位置及び姿勢が求められる。また、患者の体表部分に取り付けられる別の光学マーカである周囲マーカもプローブマーカと同時にビデオカメラで撮像される。これにより、固定配置された周囲マーカとプローブに伴って移動するプローブマーカとの相対的な位置姿勢関係が都度検出され、ビデオカメラが医師とともに動いても、特定の周囲マーカを基準とした全体座標系におけるプローブの３次元位置情報を取得でき、全体座標系における３次元位置情報に対応した超音波画像をカメラ画像の所定領域に重畳可能になる。
　ところが、前記特許文献１の支援システムでは、前記ビデオカメラで、プローブマーカとともに周囲マーカが同時に撮像されていなければ、全体座標系におけるプローブの３次元位置を求めることができず、カメラ画像の所定領域に重畳画像を重畳できなくなる。従って、このような事態を回避するためには、プローブがどこに移動しても、プローブが撮像されたカメラ画像内に、移動不能な周囲マーカの少なくとも１つが撮像されるように、多数の周囲マーカを実空間の至る場所に配置する必要が生じる。この場合、各周囲マーカの間の相対的な位置姿勢関係を特定するために、固定配置された全ての周囲マーカをビデオカメラで撮像する事前作業が必要となる。
　本発明者らは、前記事前作業を軽減するため、光学マーカを主体とし、１台のカメラで撮像された現時点のカメラ画像に基づく３次元位置情報を他のカメラで取得したカメラ画像による３次元位置情報で補完し、実空間に存在する各光学マーカの全体座標系における３次元位置情報を簡易に且つ精度良く検出可能にするシステムを既に提案している（特許文献２参照）。
特許第５４１０６２９号公報 特許第６０９５０３２号公報
　前記特許文献１及び２の各システムにあっては、３次元位置情報の取得に必要な各光学マーカを正確に認識することが前提である。しかしながら、特許文献１の支援システムにおいて、プローブに取り付けられたプローブマーカは、ビデオカメラに対するプローブの向き次第で認識状態が低下して誤認識等が生じ得る。その結果、カメラ画像に重畳される超音波画像の位置が所望の領域からずれることになる。また、プローブマーカがビデオカメラの視野から外れると、その３次元位置情報の検出が不能になり、カメラ画像に重畳画像を重畳できなくなる。更に、前記特許文献１及び２の各システムでは、患者が不意に動いて、静止状態が前提となる周囲マーカが意図せずに移動した場合、全体座標系を求める際の基準となる周囲マーカの３次元位置座標が初期設定時からずれてしまい、カメラ画像の所望領域に重畳画像を重畳できなくなる。
　本発明は、このような課題に着目して案出されたものであり、その目的は、光学マーカによる位置情報の検出精度が低下したときでも、カメラで取得した実空間の画像内の所望領域に重畳画像を重畳させることに資する合成画像生成システムを提供することにある。
　前記目的を達成するため、本発明は、実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とを備え、前記光学トラッキング手段は、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記所望領域に前記重畳画像を重畳する際に用いる前記移動部材の位置情報を特定する位置情報特定手段を含み、前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備える、という構成を採っている。
　また、本発明は、移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材について、位置情報検出装置で複数検出された位置情報を調整する処理装置からなる位置情報補正システムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とにより構成され、前記光学トラッキング手段は、前記移動部材に固定されて一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記移動部材の位置情報を特定する位置情報特定手段を含み、前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備える、という構成を採っている。
　なお、本明細書及び特許請求の範囲において、「位置情報」とは、所定の座標系における位置に、当該座標軸回りの回転角度で表される姿勢（向き）を含めた情報を意味する。従って、「３次元位置情報」とは、直交３軸方向におけるそれぞれの位置と、これら各軸回りの回転角度の６つの座標成分からなる情報を意味する。
　本発明によれば、移動光学マーカの認識状態に応じて、光学トラッキング手段と非光学トラッキング手段による各検出結果の中から、適切な位置情報を用いることで、移動部材の位置情報をより正確に特定することができる。つまり、光学マーカの認識低下により、光学トラッキング手段での位置情報の検出精度が低下しても、非光学トラッキング手段での検出結果を利用しながら、カメラ画像内の所望領域に重畳画像を重畳させることが可能になる。
本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図である。 前記医療用ＡＲ表示システムの全体構成を表すブロック図である。
　以下、本発明の実施形態について図面を参照しながら説明する。
　図１には、本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図が示され、図２には、当該医療用ＡＲ表示システムの全体構成を表すブロック図が示されている。これらの図において、本実施形態の医療用ＡＲ表示システム１０は、医療支援用の表示システムであり、ユーザとしての医師Ｄがヘッドマウントディスプレイ１１（以下、「ＨＭＤ１１」と称する。）を装着した状態で、医師Ｄの視界に存在する患者Ｐの実空間の画像（主に患部）の一部領域に、対応する超音波画像等の診断画像を重畳画像として重ね合せた合成画像をＨＭＤ１１に表示するＡＲ表示システムである。
　前記医療用ＡＲ表示システム１０は、医師Ｄの頭部に装着される画像表示装置としてのＨＭＤ１１と、患者Ｐの患部等の診断画像を取得する画像診断装置１３と、実空間内の所定部位の３次元位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４の検出結果に基づいて前記合成画像を生成し、当該合成画像をＨＭＤ１１に提示する処理装置１６とを備えている。なお、位置情報検出装置１４及び処理装置１６は、前記合成画像を生成する合成画像生成システムを構成する。
　前記ＨＭＤ１１は、合成画像の背景となる実空間のカメラ画像を撮像するビデオカメラ１８が取り付けられたビデオシースルー型のものが用いられており、カメラ画像に重畳画像を重ね合せた合成画像が医師Ｄの目前に表示されるようになっている。
　前記ビデオカメラ１８は、ＨＭＤ１１を装着した医師Ｄが、自身の目前の実空間を実際に直視したのとほぼ同一のカメラ画像を取得できるように、医師Ｄの頭部と一体的に移動可能に配置されている。従って、医師Ｄは、自身の目前に存在する患者Ｐやその患部の様子について、ＨＭＤ１１の表示部に表示されたカメラ画像を通じて視認可能となる。なお、本発明においては、前記カメラ画像を取得できる限りにおいて、他の種々のカメラを採用することもできる。
　前記画像診断装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１９（図１参照）によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像等の超音波画像が生成される。また、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ１９の同一座標系での３次元位置情報の後述する検出結果を利用して、患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能が設けられている。これら超音波画像や立体像等の診断画像は、重畳画像として実空間のカメラ画像の所望領域に立体的に重ね合わされた状態で、ＨＭＤ１１を通じて医師Ｄが視認可能となる。ここで、重畳画像が重ね合わされるカメラ画像の所望領域としては、処理装置１６での後述する処理により、カメラ画像中のプローブ１９の先端位置付近の領域とされ、このプローブ１９の向きに対応した向きで重畳画像が表示される。従って、プローブ１９は、医師Ｄの任意の操作によって実空間内を移動しながら前記所望領域を指定する移動部材としても構成される。
　なお、本発明における移動部材は、プローブ１９に限定されず、ユーザの操作によって実空間内を移動しながら所望領域を指定できる限りにおいて、種々の操作部材や把持部材等を採用することもできる。
　また、画像診断装置１３としては、本実施形態の超音波診断装置に限らず、ＣＴ、ＭＲＩ等の他の画像診断装置を適用することも可能である。
　前記位置情報検出装置１４は、図２に示されるように、ビデオカメラ１８からのカメラ画像を利用して、実空間の所定部位における３次元位置情報を検出する光学トラッキング手段２１と、カメラ画像を利用せずに、実空間内の所定部位における３次元位置情報を検出する非光学トラッキング手段２２とにより構成される。
　前記光学トラッキング手段２１は、実空間内における複数の所定部位にそれぞれ設置される光学マーカ２４と、ビデオカメラ１８で撮像されたカメラ画像中の各光学マーカ２４の画像状態を認識することにより、各設置部位の光学マーカ２４について、ビデオカメラ１８の中心を原点とした直交３軸の局所座標系における３次元位置情報を検出する光学マーカ検出部２５とにより構成された光学トラッキングシステムからなる。つまり、この光学トラッキング手段２１では、光学マーカ２４を通じてその設置部位の３次元位置情報を検出可能となる。
　前記光学マーカ２４は、図１に示されるように、プローブ１９の一部に固定されたプローブマーカ２４Ａと、仰向けに寝た状態の患者Ｐの体表部分の複数箇所に固定された周囲マーカ２４Ｂとからなる。なお、各光学マーカ２４の表面には、所定の模様が付されており、当該模様の異なる複数パターンの光学マーカ２４が用意され、配置部位毎に模様の異なる光学マーカ２４が使用される。
　前記プローブマーカ２４Ａは、プローブ１９と一体的に移動可能な移動光学マーカとして機能し、前記周囲マーカ２４Ｂは、静止状態での配置を前提とした固定光学マーカとして機能する。
　前記光学マーカ検出部２５では、ビデオカメラ１８で撮像されたカメラ画像に光学マーカ２４が写ると、当該光学マーカ２４の画像認識により、公知の手法による次の処理が行われる。すなわち、ここでは、光学マーカ２４の模様、形状、及びサイズが既知であることから、カメラ画像内の光学マーカ２４の模様から、どこに配置されている光学マーカ２４かを表すＩＤが特定されるとともに、カメラ画像内における光学マーカ２４のサイズや形状から、光学マーカ２４の位置や向きが求められる。ここで、光学マーカ２４の位置や向きは、当該光学マーカ２４を撮像したビデオカメラ１８の中心を原点とするＨＭＤ座標系による３次元位置情報として取得される。
　従って、光学マーカ検出部２５では、医師Ｄに装着されたＨＭＤ１１のビデオカメラ１８で撮像された光学マーカ２４について、ＨＭＤ座標系による３次元位置情報が逐次得られることになる。このＨＭＤ座標系は、ＨＭＤ１１が装着される医師Ｄの頭部の動きに伴って移動する局所座標系として取り扱われる。
　前記非光学トラッキング手段２２は、磁気データを利用して３次元位置情報を求める磁気トラッキングシステム２２Ａと、加速度データを利用して３次元位置情報を求める加速度トラッキングシステム２２Ｂとからなる。
　前記磁気トラッキングシステム２２Ａは、実空間の様々な方向に、様々な強さの磁界を発生させる磁気基地局２７と、磁気基地局２７からの磁気の大きさを検出する非光学マーカとしての磁気センサ２８と、磁気センサ２８での磁気の検出状態からその設置部位の３次元位置情報を検出する非光学マーカ検出部としての磁気センサ検出部２９とにより構成される。つまり、この磁気トラッキングシステム２２Ａでは、磁気センサ２８を通じてその設置部位の３次元位置情報を検出可能となる。
　前記磁気センサ２８は、逐次移動するプローブ１９の所定部位に固定されており、当該プローブ１９に固定配置されたプローブマーカ２４Ａとの間で相対移動不能且つ相対回転不能に取り付けられている。
　前記磁気センサ検出部２９では、磁気基地局２７から発生した磁界の方向や強さを磁気センサ２８で検知することにより、磁気センサ２８が取り付けられたプローブ１９について、磁気基地局２７の所定部位を原点とした直交３軸の磁気座標系における３次元位置情報が逐次取得されるようになっている。この磁気座標系は、１箇所に存在するとともに、磁気基地局２７が固定されることから、移動回転不能に固定される局所座標系として取り扱われる。
　前記加速度トラッキングシステム２２Ｂは、所定部位に固定された非光学マーカとして機能する加速度センサ３１と、当該加速度センサ３１の計測値から、加速度センサ３１が取り付けられた所定部位における３次元位置情報を求める非光学マーカ検出部としての加速度センサ検出部３２とからなる。
　前記加速度センサ３１は、各光学マーカ２４にそれぞれ固定されており、取り付けられた各光学マーカ２４との間で相対移動不能且つ相対回転不能に配置される。この加速度センサ３１は、直交３軸方向における加速度と、当該各軸回りの角速度とを測定可能な６軸加速度センサからなる。
　前記加速度センサ検出部３２では、初期位置からの前記加速度及び前記角速度の経時的変化を取得することで、前記初期位置を原点とした局所座標系である加速度座標系における現時点での加速度マーカ３１の設置部位の３次元位置情報を算出するようになっている。
　なお、非光学トラッキング手段２２としては、ビデオカメラ１８を利用しないで非光学マーカを追跡することにより、当該非光学マーカについて、予め設定された基準点を原点とした局所座標系における３次元位置情報を特定するセンサ類により構成されたものであれば何でも良い。
　例えば、図示省略しているが、他の非光学トラッキング手段２２として、超音波を利用した超音波トラッキングシステムを採用し、前述の磁気トラッキングシステム２２Ａや加速度トラッキングシステム２２Ｂに代え、又は、これらトラッキングシステム２２Ａ，２２Ｂと併用することができる。この超音波トラッキングシステムでは、様々な周波数、強さの超音波を発生する発信機を非光学マーカである超音波マーカとして実空間の所定部位に固定し、超音波受信局に設置された複数のマイクで超音波の周波数、強さが計測される。そして、三角測量の原理を用いて、超音波マーカの設置部位について、超音波受信局の所定点を原点とした直交３軸の超音波座標系における３次元位置情報が逐次取得される。この超音波座標系も、磁気座標系と同様、超音波基地局の固定配置によって固定される１の局所座標系として取り扱われる。この超音波トラッキングシステムを採用した場合においても、取得した３次元位置情報に基づいて、非光学トラッキング手段２２により取得した前述の３次元位置情報と同様に後述の処理が行われる。
　なお、以下の説明において、局所座標系であるＨＭＤ座標系、磁気座標系及び加速度座標系における３次元位置情報を適宜「ローカル位置情報」と称する。また、予め設定された実空間内に固定された定点を原点とした直交３軸の全体座標系における３次元位置情報を適宜「グローバル位置情報」と称する。
　前記処理装置１６は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。
　この処理装置１６は、図２に示されるように、光学トラッキング手段２１及び非光学トラッキング手段２２の検出結果を調整し、実空間のカメラ画像の所望領域に、画像診断装置１３からの診断画像を重畳する際のプローブ１９の３次元位置情報を特定する位置情報特定手段３５と、画像診断装置１３とビデオカメラ１８で得られた各種の画像データを取り込む画像取込手段３６と、位置情報特定手段３５で求めた３次元位置情報に基づいて各医師ＤのＨＭＤ１１に提示される合成画像を生成する合成画像生成手段３７とを備えている。
　前記位置情報特定手段３５は、位置情報検出装置１４で検出されたローカル位置情報を演算によってグローバル位置情報に変換するグローバル位置情報変換機能３９と、グローバル位置情報変換機能３９で求めたプローブ１９のグローバル位置情報を調整する位置情報補正システムを構成する移動位置情報調整機能４０と、グローバル位置情報を求める際に基準となる所定の初期条件をリセットする初期条件リセットシステムを構成する初期条件リセット機能４１とを有する。
　前記グローバル位置情報変換機能３９は、プローブ１９及び患者Ｐが静止した静止状態において、全体座標系を設定する初期設定部４３と、局所座標系におけるプローブ１９の３次元位置情報を全体座標系に変換する座標変換部４４とを備えている。
　前記初期設定部４３では、次の初期条件を設定する初期設定が逐次行われ、当該初期設定時における位置情報検出装置１４の検出結果を使って全体座標系が設定される。
　すなわち、ここでは、各光学マーカ２４、磁気センサ２８、及び加速度センサ３１が静止した状態で、プローブマーカ２４Ａ及び周囲マーカ２４Ｂが、正確に画像認識できる位置及び向きでビデオカメラ１８により同時に撮像される。このとき、周囲マーカ２４Ｂのうち１つのマーカ、、例えば、プローブマーカ２４Ａに最も近い１つの周囲マーカ２４Ｂが、基準周囲マーカ２４Ｂとして特定され、当該基準周囲マーカ２４Ｂの中心を原点とする全体座標系が設定される。
　前記座標変換部４４では、初期設定部４３での初期設定後、位置情報検出装置１４での各局所座標系における検出値、すなわち、光学マーカ２４、磁気センサ２８、及び加速度センサ３１により取得した３次元位置情報が、演算によりそれぞれ全体座標系に変換される。
　ここで、各光学マーカ２４のローカル位置情報は、次のようにグローバル位置情報に変換される。
　すなわち、患者Ｐに取り付けられた各周囲マーカ２４Ｂについては、患者Ｐが静止しているときに相対的な位置姿勢関係が不変となる。このため、患者Ｐが静止して各周囲マーカ２４Ｂが動いていない静止状態のときには、各周囲マーカ２４ＢのＨＭＤ座標系における３次元位置情報が不変であり、基準周囲マーカ２４Ｂを原点とした全体座標系における他の周囲マーカ２４Ｂの３次元位置情報も一定値として算出される。
　一方、プローブマーカ２４Ａは、医師Ｄによるプローブ１９の操作によって、位置情報検出装置１４で検出されるローカル位置情報が逐次変化する。ところが、各周囲マーカ２４Ｂが静止状態であると、各周囲マーカ２４Ｂ間での相対的な位置姿勢関係が不変であるから、プローブマーカ２４Ａと同時に少なくとも１箇所の周囲マーカ２４Ｂがビデオカメラ１８で撮像されていれば、ＨＭＤ座標系での検出結果から、プローブマーカ２４Ａのグローバル位置情報が算出されることになる。なお、患者Ｐが静止状態から動いたとき等、何れかの周囲マーカ２４Ｂにおける検出状態が初期設定時に対して変化したときには、後述するように、初期条件リセット機能４１で周囲マーカ２４Ｂのグローバル位置情報がリセットされ、初期設定部４３で初期条件が新たに設定される。
　また、磁気センサ２８で取得したローカル位置情報は、次のようにしてグローバル位置情報に変換される。すなわち、磁気センサ２８は、プローブマーカ２４Ａとともに相対移動不能、且つ、相対回転不能にプローブ１９に取り付けられている。従って、前記初期設定時における磁気座標系でのプローブ１９の３次元位置情報から、プローブマーカ２４Ａと基準周囲マーカ２４Ｂとの相対的な位置姿勢関係に基づき、磁気座標系と全体座標系との相対関係が特定される。そして、当該相対関係から、磁気センサ２８の磁気座標系における検出値が、統一した全体座標系の成分に変換される。
　更に、加速度センサ３１での検出結果から、次のようにして、その設置部位におけるグローバル位置情報が求められる。すなわち、前記初期条件の設定時に、加速度センサ３１に一体的に取り付けられた各光学マーカ２４の初期状態におけるグローバル位置情報が前述の通り特定される。その後、加速度センサ検出部３２により、直交３軸方向の加速度及び当該３軸回りの角速度の経時的変化が取得され、当該取得値から、加速度センサ３１の設置部位における移動量及び回転量が算出される。その後、これら移動量及び回転量が、前記初期状態におけるグローバル位置情報に加算されることで、加速度センサ３１の設置部位のグローバル位置情報が求められる。
　前記移動位置情報調整機能４０は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、プローブマーカ２４Ａの認識状態に応じて、グローバル位置情報変換機能３９で算出されたプローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１からのグローバル位置情報の中からどの検出結果を使用するかを選択する使用情報選択部４７と、使用情報選択部４７で選択された３次元位置情報から、合成画像生成手段３７で用いるプローブ１９の出力位置情報を決定する出力位置情報決定部４８とを備えている。
　前記認識状態判定部４６では、現時点におけるビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に基づき、プローブマーカ２４Ａの認識状態が判定される。すなわち、ここでは、先ず、現時点における前記相対距離と前記相対角度が、光学マーカ検出部２５で検出されたプローブマーカ２４Ａのローカル位置情報から演算で求められる。ここで、使用されるプローブマーカ２４Ａのサイズ毎に、前記相対距離及び前記相対角度と認識安定度との関係を表すテーブル若しくは数式等からなる安定度データベース４９が予め記憶されている。そして、当該安定度データベース４９から、現時点での前記相対距離と前記相対角度に対応する認識安定度が特定される。この安定度データベース４９に記憶される前記関係は、予め取得した実験結果に応じて設定され、前記相対距離が長くなり、若しくは、前記相対角度が増大する程、認識安定度が不安定となる。なお、本実施形態における認識安定度は、プローブマーカ２４Ａの認識率が高い範囲である安定状態と、同認識率の低い範囲である不安定状態の何れかとされるが、本発明ではこれに限らず、認識安定度を数値化し、或いは、更に多段階としても良い。
　つまり、この認識状態判定部４６では、ビデオカメラ１８でプローブマーカ２４Ａが認識されたときに、安定度データベース４９に基づき、ビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に応じ、プローブマーカ２４Ａの認識安定度として、安定状態か不安定状態の何れかと判定される。一方、ビデオカメラ１８でプローブマーカ２４Ａが認識されないときには、プローブマーカ２４Ａについて認識不能状態と判定される。
　前記使用情報選択部４７では、次のようにして、プローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１で取得された検出結果に基づいてグローバル位置情報変換機能３９で求められたグローバル位置情報の何れを使用するかが決定される。
　すなわち、ここでは、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識され、認識状態判定部４６で安定状態と判定された第１の認識状態の場合に、プローブマーカ２４Ａで取得されたグローバル位置情報のみの使用が決定される。
　また、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されているが、認識状態判定部４６で不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得された３種のグローバル位置情報の使用が決定される。
　更に、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されない認識不能状態と判定された第３の認識状態の場合には、磁気センサ２８及び加速度センサ３１で取得された２種のグローバル位置情報の使用が決定される。
　前記出力位置情報決定部４８では、次のようにして、前述の第１～第３の認識状態に応じ異なる位置情報を使用して前記出力位置情報が決定される。
　すなわち、プローブマーカ２４Ａが安定状態と判定された第１の認識状態の場合には、プローブマーカ２４Ａのグローバル位置情報がそのまま出力位置情報とされる。
　また、プローブマーカ２４Ａが不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得した３種のグローバル位置情報が使用され、これらグローバル位置情報の誤差情報を考慮した補正値が前記出力位置情報として決定される。ここで用いられる誤差情報は、光学マーカ２４、磁気センサ２８、及び加速度センサ３１それぞれについての計測誤差であり、当該計測誤差は、予め設定された誤差データベース５０を使って特定される。つまり、光学マーカ２４における位置及び角度の計測誤差については、ビデオカメラ１８からの離間距離に応じた所定値が誤差データベース５０に記憶されている。また、磁気センサ２８における位置及び角度の計測誤差については、磁気基地局２７からの離間距離に応じた所定値が誤差データベース５０に記憶されている。更に、加速度センサ３１における位置及び角度の計測誤差については、製品毎に特定された所定値が誤差データベース５０に記憶されている。
　そこで、この第２の認識状態の場合においては、先ず、プローブマーカ２４Ａと磁気センサ２８で取得した検出結果から誤差データベース５０により、前記各離間距離に対応する計測誤差が特定される。そして、当該計測誤差を加味した前記各グローバル位置情報の平均値が出力位置情報とされる。すなわち、ここでは、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１での計測誤差を対比し、それらの間で、計測誤差の小さい順に大きい値を取る重み付け値がそれぞれ設定される。更に、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で得られたグローバル位置情報に対し、対応する各重み付け値を乗じて加算した総合計値を各重み付け値の総和で除算することで、前記平均値である３次元位置情報の補正値が求められる。なお、ここでは、この演算手法に限定されるものではなく、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１の間での計測誤差の小さい値を優先しながら、それらのグローバル位置情報を総合して補正することで出力位置情報を求める限りにおいて、種々の演算手法を採ることができる。
　更に、プローブマーカ２４Ａが認識不能状態とされた第３の認識状態の場合には、前記第２の認識状態の場合に対し、プローブマーカ２４Ａのグローバル位置情報を使用しない他は同様の手法により、磁気センサ２８及び加速度センサ３１からの２種のグローバル位置情報から、前記出力位置情報が求められる。
　前記初期条件リセット機能４１では、静止状態が前提となる各周囲マーカ２４Ｂについて、それらの認識状態と、それらに一体的に取り付けられた加速度センサ３１による検出結果とに基づいて、初期設定部４３での初期設定によって特定された各周囲マーカ２４Ｂの３次元位置情報をリセットするか否かが決定される。当該リセットすると決定された場合には、初期設定部４３での初期設定が再度行われる一方、リセットしないと決定された場合には、以降の処理がそのまま続行される。
　先ず、ビデオカメラ１８の視野内における周囲マーカ２４Ｂの何れかが動き、当該周囲マーカ２４Ｂに設けられた加速度センサ３１によって移動状態が検知された第１の状態変化の場合には、各周囲マーカ２４Ｂの認識状態の変化の有無に関係なく、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。この際、加速度センサ３１は、周囲マーカ２４Ｂの移動状態を検知可能な移動検知センサとして機能する。
　また、ビデオカメラ１８の視野内における周囲マーカ２４Ｂについて、ビデオカメラ１８との相対角度の増大等による誤認識等により、光学マーカ検出部２５での検出結果が所定時間内で変化した第２の状態変化の場合には、加速度センサ３１によって移動状態が検知されていなくても、当該周囲マーカ２４Ｂの認識状態が変化したとして、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。
　更に、ビデオカメラ１８の視野外に存在して画像認識されない周囲マーカ２４Ｂについて、当該周囲マーカ２４Ｂに設けられた加速度センサ３１で移動状態が検知された第３の状態変化の場合には、ビデオカメラ１８の視野内に存在する他の周囲マーカ２４Ｂのグローバル位置情報がリセットされる。
　その他、前記第１～第３の状態変化の場合に該当しない限り、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。従って、例えば、所定の周囲マーカ２４Ｂがビデオカメラ１８の視野外に存在して画像認識されてなくても、加速度センサ３１で周囲マーカ２４Ｂの移動状態が検知されない場合には、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。
　前記合成画像生成手段３７では、画像取込手段３６で取り込まれた各画像と、位置情報特定手段３５で決定されたプローブ１９の出力位置情報とから、カメラ画像中のプローブ１９の先端位置付近で、その向きに対応した向きで重畳画像が表示されるように合成画像を生成する。すなわち、プローブ１９の出力位置情報に基づいて、背景画像となるカメラ画像中のプローブ１９の位置や姿勢を特定し、当該カメラ画像中のプローブ１９の先端部分に、当該プローブ１９の姿勢に対応した向きで、対応する位置の患部における診断画像を重畳するようになっている。
　なお、前記実施形態では、本発明に係る合成画像生成システムを、医療現場で利用されるＡＲ表示システム１０に適用した例について図示説明したが、本発明はこれに限らず、同様の構成で、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステム全般に適用可能である。
　その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
　本発明は、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステムとして利用可能となる。
　１０　医療用ＡＲ表示システム
　１４　位置情報検出装置（合成画像生成システム）
　１６　処理装置（合成画像生成システム）
　１８　ビデオカメラ（カメラ）
　１９　プローブ（移動部材）
　２１　光学トラッキング手段
　２２　非光学トラッキング手段
　２２Ａ　磁気トラッキングシステム
　２２Ｂ　加速度トラッキングシステム
　２４　光学マーカ
　２４Ａ　プローブマーカ（移動光学マーカ）
　２４Ｂ　周囲マーカ（固定光学マーカ）
　２５　光学マーカ検出部
　２８　磁気センサ（非光学マーカ）
　２９　磁気センサ検出部（非光学マーカ検出部）
　３１　加速度センサ（非光学マーカ、移動検知センサ）
　３２　加速度センサ検出部（非光学マーカ検出部）
　３５　位置情報特定手段
　４０　移動位置情報調整機能（位置情報補正システム）
　４１　初期条件リセット機能（初期条件リセットシステム）
　４６　認識状態判定部
　４７　使用情報選択部
　４８　出力位置情報決定部
　４９　安定度データベース
　５０　誤差データベース
　Ｄ　医師（ユーザ）

Claims (9)

  1. 　実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、
    　前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とを備え、
    　前記光学トラッキング手段は、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、
    　前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、
    　前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記所望領域に前記重畳画像を重畳する際に用いる前記移動部材の位置情報を特定する位置情報特定手段を含み、
    　前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備えたことを特徴とする合成画像生成システム。
  2. 　前記認識状態判定部では、前記カメラで前記移動光学マーカが認識されたときに、前記光学マーカ検出部での検出結果により求められた前記カメラと前記移動光学マーカの間の相対距離及び相対角度に基づき、前記認識状態が判定されることを特徴とする請求項１記載の合成画像生成システム。
  3. 　前記認識状態判定部では、前記認識状態として、前記カメラで前記移動光学マーカが認識されたときに、前記光学マーカ検出部での検出結果により求められた前記カメラと前記移動光学マーカの間の相対距離及び相対角度から、予め記憶された安定度データベースにより、前記移動光学マーカの認識率の高い安定状態若しくは当該認識率の低い不安定状態の何れかと判定される一方、前記移動光学マーカが認識されないときに、認識不能状態と判定されることを特徴とする請求項１記載の合成画像生成システム。
  4. 　前記使用情報選択部では、前記安定状態のときに、前記光学トラッキング手段で検出された位置情報が選択され、前記不安定状態のときに、前記光学トラッキング手段及び前記非光学トラッキング手段で検出された各位置情報が選択され、前記認識不能状態のときに、前記非光学トラッキング手段で検出された位置情報が選択されることを特徴とする請求項３記載の合成画像生成システム。
  5. 　前記出力位置情報決定部では、前記不安定状態のときに、前記光学トラッキング手段及び前記非光学トラッキング手段のそれぞれの計測誤差を加味した前記各位置情報の平均値を前記出力位置情報とすることを特徴とする請求項４記載の合成画像生成システム。
  6. 　前記非光学トラッキング手段は、前記非光学マーカとして機能する磁気センサで取得した磁気データを利用して前記位置情報を求める磁気トラッキングシステムと、前記非光学マーカとして機能する加速度センサで取得した加速度データを利用して前記位置情報を求める加速度トラッキングシステムとからなり、
    　前記出力位置情報決定部では、前記認識不能状態のときに、前記磁気センサ及び前記加速度センサのそれぞれの計測誤差を加味した前記各位置情報の平均値を前記出力位置情報とすることを特徴とする請求項５記載の合成画像生成システム。
  7. 　前記出力位置情報決定部では、前記位置情報検出装置の検出結果から、前記カメラから移動光学マーカまでの離間距離と前記磁気センサからその検出地点までの離間距離とが求められ、当該各離間距離に前記計測誤差を対応させて予め記憶された誤差データベースにより、前記計測誤差が特定されることを特徴とする請求項６記載の合成画像生成システム。
  8. 　前記出力位置情報決定部では、前記計測誤差に対応する重み付け値を決定し、前記各位置情報について、対応する当該重み付け値をそれぞれ乗じた上で、それら値を加算した総合計値を前記重み付け値の総和で除算することで、前記平均値が求められることを特徴とする請求項７記載の合成画像生成システム。
  9. 　移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材について、位置情報検出装置で複数検出された位置情報を調整する処理装置からなる位置情報補正システムにおいて、
    　前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とにより構成され、
    　前記光学トラッキング手段は、前記移動部材に固定されて一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、
    　前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、
    　前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記移動部材の位置情報を特定する位置情報特定手段を含み、
    　前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備えたことを特徴とする位置情報補正システム。
PCT/JP2019/003744 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム WO2020157984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/003744 WO2020157984A1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム
US17/045,874 US11055873B2 (en) 2019-02-01 2019-02-01 Composite image generation system and position information correction system
JP2019506535A JP6660659B1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003744 WO2020157984A1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム

Publications (1)

Publication Number Publication Date
WO2020157984A1 true WO2020157984A1 (ja) 2020-08-06

Family

ID=69998050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003744 WO2020157984A1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム

Country Status (3)

Country Link
US (1) US11055873B2 (ja)
JP (1) JP6660659B1 (ja)
WO (1) WO2020157984A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation
CN114176773B (zh) * 2021-12-20 2022-07-08 北京诺亦腾科技有限公司 骨折复位系统的精度检测方法、装置、设备及介质
CN116058866A (zh) * 2022-12-12 2023-05-05 声索生物科技(上海)有限公司 用于超声成像设备的深度检测装置及检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109458A1 (en) * 2012-05-25 2015-04-23 Koh Young Technology Inc. Method of registrating a camera of a surgical navigation system for an augmented reality
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4612194B2 (ja) 1998-12-23 2011-01-12 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
US9019349B2 (en) * 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
CN109008972A (zh) * 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
JP5410629B1 (ja) 2013-05-14 2014-02-05 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
US11328612B2 (en) * 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109458A1 (en) * 2012-05-25 2015-04-23 Koh Young Technology Inc. Method of registrating a camera of a surgical navigation system for an augmented reality
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム

Also Published As

Publication number Publication date
JPWO2020157984A1 (ja) 2021-02-18
US11055873B2 (en) 2021-07-06
JP6660659B1 (ja) 2020-03-11
US20210142509A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
WO2020157984A1 (ja) 合成画像生成システム及び位置情報補正システム
KR102471422B1 (ko) 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
CA3013128C (en) Methods and systems for updating an existing landmark registration
US20190054632A1 (en) Methods for operating medical imaging devices and medical imaging devices
CN108601578B (zh) 超声探头的光学和惯性位置跟踪的设备内融合
CN110403699B (zh) 手术导引系统
US11213273B2 (en) Integration of ultrasound and x-ray modalities
JP6083103B2 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
WO2016162789A2 (en) Method, apparatus, and system for utilizing augmented reality to improve surgery
EP3311251A1 (en) Augmented reality imaging system, apparatus and method
KR20140148247A (ko) 모바일 ｘ 선 장치의 ｘ 선 튜브와 디텍터를 정렬하기 위한 정보 제공 방법 및 정보 제공 장치, 및 무선 디텍터
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
JP6095032B1 (ja) 合成画像提示システム
JP6701438B1 (ja) 合成画像生成システム及び初期条件リセットシステム
US20110004431A1 (en) Device and method for computer-assisted 2d navigation in a medical procedure
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
JP2014212904A (ja) 医用投影システム
JP2022528202A (ja) 位置合わせ方法およびセットアップ
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
US12048493B2 (en) Camera tracking system identifying phantom markers during computer assisted surgery navigation
US20220284602A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data
EP4212123A1 (en) Technique for determining a need for a re-registration of a patient tracker tracked by a camera system
Trevisan et al. Augmented vision for medical applications
CN112545549A (zh) 超声波影像系统
EP4305586A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019506535

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914008

Country of ref document: EP

Kind code of ref document: A1