WO2005093687A1 - 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム - Google Patents

三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム Download PDF

Info

Publication number
WO2005093687A1
WO2005093687A1 PCT/JP2005/004758 JP2005004758W WO2005093687A1 WO 2005093687 A1 WO2005093687 A1 WO 2005093687A1 JP 2005004758 W JP2005004758 W JP 2005004758W WO 2005093687 A1 WO2005093687 A1 WO 2005093687A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
instructor
operator
surgeon
Prior art date
Application number
PCT/JP2005/004758
Other languages
English (en)
French (fr)
Inventor
Atsushi Takahashi
Original Assignee
Atsushi Takahashi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atsushi Takahashi filed Critical Atsushi Takahashi
Priority to CN2005800129810A priority Critical patent/CN1973311B/zh
Priority to AU2005225878A priority patent/AU2005225878B2/en
Priority to BRPI0508748-1A priority patent/BRPI0508748B1/pt
Priority to MXPA06011083A priority patent/MXPA06011083A/es
Priority to US10/594,193 priority patent/US7367809B2/en
Priority to CA2561274A priority patent/CA2561274C/en
Priority to EP05726663.7A priority patent/EP1739642B1/en
Priority to JP2005518945A priority patent/JP4440893B2/ja
Publication of WO2005093687A1 publication Critical patent/WO2005093687A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to a system for providing technical guidance using a communication network such as the Internet.
  • the present invention also relates to a system for providing image information of an invisible area together with an operation field image directly to the operator's visual field of view without the operator taking his / her eyes off the operation field.
  • Patent Document 1 Japanese Patent No. 3556829
  • the practitioner looks at the surgical field when confirming information such as Lentogen, CT, MRI, and electrocardiogram.
  • information such as Lentogen, CT, MRI, and electrocardiogram.
  • the information can be viewed without leaving it, and the information can be shared in real time even in remote locations.
  • the present invention executes a medical education and other precision techniques performed by a human under direct view, and executes a support and instruction training program using the Internet or an intranet as a communication means.
  • This is a system in which a number of additional functions are added to a 3D stereoscopic digital magnifier that performs medical surgery and other precision technical support and support and instruction training programs.
  • a device consisting of a 3D stereo digital magnifier consisting of a pair of autofocus CCD cameras with a zoom lens attached to the naked eye viewing direction from a position corresponding to Both 3D stereoscopic digital magnifiers Floaters are displayed on the stereoscopic image of the operator's field of view captured by the CCD camera of the 3D stereoscopic digital magnifier device worn by the operator, which is displayed on the LCD monitor.
  • the 3D stereoscopic digital magnifying glass of the instructor is captured by the CCD camera of the instructor's side by the image processing device.
  • the CCD camera of the 3D stereoscopic digital magnifying of the instructor's side In consideration of the complementary color relationship in accordance with the background color of the visual field image, a background of a single color of red, green, or blue (in the oral cavity, red, which is complementary to blood and meat red, is preferable)
  • the instructor operates to give visual instructions while recognizing on the LCD monitor of the 3D stereoscopic digital magnifier device, and a stereoscopic pointing device or operator who can hold and move freely within the instructor's field of view Only three-dimensional images of various devices (dummy) that are the same as the ones used are extracted, and the three-dimensional visual finger floated by an image chroma-synthesis image processing device Three-dimensional vision characterized by changing the transparency of the image from 0% to 100% or converting it so that it can be easily distinguished in color and displaying the combined image, and displaying it on
  • the surgeon or instructor is ideal when imaging and observing the surgical field without distracting the gaze from the operating field, without the operator's head becoming a barrier.
  • the operator can concentrate on the operation without worrying about the position of the camera, because the camera angle can be obtained easily.
  • this coaching can be performed without the patient's awareness at all, since the coach can provide coaching in a distant place, giving unnecessary psychological effects to the patient.
  • the surgeon who is not alone does not have the 3D stereoscopic digital extension worn by the surgeon.
  • An instructor's actual equipment used by the instructor in the virtual space of the operator's visual field of the instructor's 3D stereoscopic digital magnifier for the entity (patient) in front of the eyes captured by the large mirror view screen By expressing the three-dimensional image of the same device as the three-dimensional depth in the working space on the stereoscopic image on the surgeon's LCD, not only can the instructor receive guidance through a realistic simulation performed by the instructor However, as it is easy for the surgeon to visually create a situation in which the surgeon uses the same device to perform the procedure, communication between the surgeon and the instructor in the language is insufficient. In such cases, it is possible to make up for it visually enough.
  • the anatomical 3D image and the surgical stent image must be accurately displayed on the surgical field image displayed on the surgeon HMD. It is necessary to track the anatomical three-dimensional fluoroscopic images and surgical stent images captured by the surgeon's CCD camera in accordance with the superposition, the change in the position of the surgeon's head, and the change in the body position of the patient. In order to make such a configuration clinically applicable, a still image is extracted from the operator's visual field image captured by the two CCD cameras synchronized left and right of the operator's three-dimensional stereoscopic digital magnifier, respectively.
  • reference points are set at three points on anatomically universal hard tissues such as teeth or bones, and the three points are recorded as a total of six points.
  • the three-dimensional position measurement between the left and right CCD cameras is used to record the three-dimensional positional relationship between the operator and the patient, and to track the three-point positional movements that serve as references in the operator's visual field image (video). This makes it possible to always grasp the position change of the patient's body position with the three-dimensional operator's three-dimensional digital magnifier.
  • the information of the two CCD cameras of the surgeon's three-dimensional stereoscopic digital magnifier was added to the three points on the anatomically universal hard tissue on the extracted still image,
  • the same three points as the reference three points on the hard tissue on the surgical stent image are accurately plotted, and the anatomical three-dimensional image and the surgical stent image are accurately superimposed on the surgical field image in a positionally accurate manner.
  • the 3D position of the anatomical 3D image and the 3D surgical stent image in the 3D image of the surgeon in the operative field space captured by the 3D stereoscopic digital magnifier is recorded.
  • These anatomical three-dimensional images and three-dimensional surgical stent images can be managed and operated centrally at remote locations. For example, when urgent surgery is required in a region far away from the attending physician, the surgeon can transmit the left and right CCD camera information obtained from the digital magnifier of the patient to be operated on by various communication means.
  • the position correction is performed by superimposing the karstent images, the computer processing of the positional change of the operative field image information is performed, and the anatomical 3D image and the 3D surgical stent image are tracked and superimposed according to the 3D movement amount. And send the synthesized image It can also be displayed as a stereoscopic image on the attached 3D stereoscopic digital magnifier LCD.
  • this system displays such anatomical three-dimensional images and three-dimensional surgical stent images, and provides three-dimensional visual guidance. Instructors can also participate in the instruction at the same time. In such a guidance situation, the operator's visual field image is regarded as one table, and on this table, multiple instructors and the operator can exchange opinions on various specialized categories. At this time, the table management screens (display screens) can be easily managed without confusion by allowing the table management authority to operate according to the priorities determined in advance.
  • three-dimensional image information obtained from a CCD camera of a three-dimensional stereoscopic digital magnifying device worn by an operator is communicated via communication means such as the Internet or an intranet, and stored in a server.
  • communication means such as the Internet or an intranet
  • this image is a stored moving image, it is a surgical field view image when the operator actually performs a surgical operation, so that the image can be very realistic and realistic.
  • any bones, blood vessels, nerve tissue, etc. which have been stored on the server based on tomographic information such as CT or MRI of the patient beforehand, are stored.
  • an anatomical three-dimensional image, or a surgical stent image obtained by accurately and stereoscopically synthesizing the position of an incision, bone cutting, or the like using an image position correction tracking device in addition to the anatomical three-dimensional perspective image, By making it possible to switch between display and non-display at any time, a surgical demonstration with a larger amount of information can be obtained.
  • the issue of patient privacy differs from the two channels that provide access to three-dimensional images, such as restricting access using personal identification numbers.
  • the release of this information based on certain restrictions will enable the discovery of highly qualified engineers (doctors, etc.) who will not only contribute to the development of various technologies, and will instantly provide the latest excellent technologies on a global scale. It can be spread.
  • the instructor ⁇ selects a caregiver using a 3D stereoscopic digital magnifier system, which has a very large amount of information and is capable of browsing, instructing, and recording the operating condition of the operator in a virtual experience. This can be achieved by providing an information exchange place on the Internet that is not subject to local or time constraints.
  • the 3D stereoscopic digital magnifier system information is recorded.
  • the fact that it is possible to easily delineate the location of negligence based on the degree of difficulty of each treatment content and the degree of involvement according to each specialty field of the instructor or caregiver, in addition to the contractual content A general rule that establishes a range of responsibilities and guidance fees, clarifies the scope of responsibilities according to the guidance fees presented by the surgeon in accordance with the contract, and allows the risk of compensation for medical malpractice and defects to be diversified.
  • Factors such as the difficulty of the case, the skills of the instructor (assistant), and the system (number of people), for each operation that is not just the skill of the operator, which is the standard for determining premiums for one-time insurance That It is possible to set a more practical and reasonable insurance fee, and the basis for calculating this insurance fee is based on the experience and performance of the system operator and instructor (helper) (success rate or after time). By accumulating (survival rate), it is possible to increase accuracy.
  • this three-dimensional stereoscopic digital magnifier allows virtual experience of the surgeon's treatment status, and the instructor's skill can be described in real time, even if the amount of information is extremely large.
  • it is a 3D stereoscopic digital magnifying glass system that can observe the highly credible treatment situation as a virtual experience with a system that can only communicate with a 3D stereoscopic digital magnifying glass of the same standard. It is also possible to objectively evaluate the skills by recording the results in a video. Therefore, when conducting audits of medical practice in the medical field, the audit content, which had always been audited to check the consistency between the diagnostic content and the medical practice, was further expanded to improve the surgical field (personal skills of doctors).
  • the anatomical three-dimensional image, surgical stent image, or multiple instructor-guided images that are synthesized and displayed in the operator's view image are combined with the operator.
  • the synthesized display images may be individually or entirely separately, depending on the intent of the instructor or instructor, the hands involved in the operation of the instructor or instructor.
  • the function of the three-dimensional stereoscopic digital magnifier can be realized as a pure digital magnifier without disturbing the operator's field of view by enabling display or non-display operation by switch operation without obstructing operation using the foot. It is possible to perform a safe operation.
  • FIG. 1 is a diagram showing a configuration of a three-dimensional stereoscopic digital magnifier
  • FIG. 5 is a conceptual diagram showing three-dimensional position measurement using a fixed reference plane image.
  • FIG. 6 is a diagram showing an image composite display state of an anatomical image.
  • FIG. 7 is a schematic diagram showing a flow of image information in the present system.
  • FIG. 1 is a diagram showing a basic configuration of hardware of the three-dimensional stereoscopic digital magnifying glass 1.
  • the left LCD36L and right LCD36R (monitor) mounted inside the 3D stereoscopic digital magnifier 1 cover the left and right eyes of the operator 3 who is the instructor or instructed person. It is attached to the head (face) by headgear 37.
  • the left CCD camera lc-L and the right CCD camera 1c-R are positioned at positions corresponding to the approximate center of each of the left and right pupils with the three-dimensional stereoscopic digital magnifier 1 attached to the face.
  • the image information of these two CCD cameras lc displays individual images synchronized to the left and right LCDs, respectively, to produce a three-dimensional image with less discomfort similar to that when using an optical magnifier. Provide to the wearer.
  • the CCD camera lc is preferably an auto-focus CCD camera equipped with a zoom lens. With this type of camera, the surgeon automatically adjusts the headgear to obtain the proper focus regardless of the distance between the operator's head and the work site at any set magnification. It is possible to minimize muscular fatigue in the neck by fixing the position of the head to be worn.
  • the image information of the two CCD cameras lc on the left and right of the surgeon 3 and the surgeon 3 of the same standard and the instruction of the surgeon 3 The 3D stereoscopic digital magnifier 1 worn by the patient 12 is projected onto the LCD, and the 3D visual field image (the intraoral image of the patient 32) is shared.
  • the three-dimensional indication mark 30 is imaged on the front of the single-color background plate 31 on the shared operator's visual field image, and the virtual three-dimensional image is floated.
  • the indication mark (virtual image) 30a is displayed in a chroma composite.
  • the display of the three-dimensional indication mark 30 can be displayed as a line drawing in the three-view image of the operator by displaying a locus for a fixed time, or as a still image.
  • the CCD 12 and LCD motor of the same standard are used. It is possible to give a three-dimensional image instruction. In other words, the surgeon 3 is in the same posture as when actually performing the surgery using both hands, and in an extremely natural posture, instead of the unnatural movement of giving instructions on the computer monitor as in the past. It is possible to provide guidance. Even when the three-dimensional indication mark 30 is replaced with an actual surgical instrument, the leader 12 can perform the same operation as when actually performing an operation on the surgical field developed on the 3D stereoscopic digital magnifier 1 LCD screen to be worn. The procedure operation can be performed in the operator's visual field virtual space.
  • the surgeon 3 can experience operating the instrument with a three-dimensional depth as if he were performing an operation himself.
  • the ability to change the transparency of the three-dimensional visual instruction floating image of the instructor 12 to be displayed in the surgeon's three-field image at a rate of 0 to 100%, or to add chroma power to convert the color tone makes it easy to distinguish between a real image and a virtual image, so that even when the operator 3 and the instructor 12 use the same instrument, there is no confusion on the monitor screen.
  • the anatomical three-dimensional images and surgical stent images stored on the 6a-n and the server 8 can be displayed on the operator's visual field in a chroma-composite manner.
  • the anatomical 3D images and surgical stent images can be converted to CCD image information from the operator's 3D stereoscopic digital magnifier by performing image processing conversion or the ability to change transparency and color tone and wire frame processing at a rate of 0 to 100%. This makes it possible to easily give a visual difference.
  • Such an anatomical three-dimensional image and a surgical stent image layer can be used as a surgeon's three-dimensional stereoscopic digital magnifier as shown in Fig.
  • Reference points 34a-34c are selected as reference points, and a reference point of the same point of hard tissue on 7 teeth as the dentition on the anatomical 3D image or 3D surgical stent image of the patient is selected as shown in FIG.
  • the personal computer shown in Figure 6.6a is plotted with a 6a-n or a server 8, etc., and is shown as a perspective image as shown in Figure 6 in the surgeon's three-view image. It is superimposed on the LCD of the stereoscopic digital magnifier 1 so that it is three-dimensionally equal and the three-dimensional position is corrected.
  • the 3D stereoscopic digital magnifier 1 of the present invention uses the same standard for the left and right LCD monitors and CCD cameras. Perform position equalization work on one of the left and right LCD screens, and then execute position correction (overlay) from two different directions on one LCD monitor to easily record position information It is possible to do. If the surgical site is the head, especially if it spans the upper and lower jaws, three reference points are separately determined for each site, and two individual surgical stents are prepared. Automatically track the karstent image.
  • the three points of the hard tissue reference points 34a-34c on the patient's dentition 33 teeth The displacement of the three-dimensional position measurement reference plane 35 composed of the operator is captured as image information of the left and right two CCDlcs of the surgeon 3D digital magnifying mirror 1 and personal computer 6.6a—1 6a-n and server 8 3D position measurement by the operator, etc., and tracking of point markers such as lead and reference points on the image in response to changes in the CCD camera position and changes in the patient's posture, automatically corrects the 3D position in real time.
  • the anatomical 3D image layer and the 3D surgical stent layer image are combined and displayed in the operator's visual field image.
  • the image may be used as described above, or a universal hard tissue of the patient's head may be used to display the reference point more clearly on the image.
  • Lights such as LEDs may be installed on the three different points attached above.
  • a gyro mechanism is attached to a fixed point such as a patient's hard tissue and a 3D stereoscopic digital magnifier worn by the operator, and the 3D stereoscopic magnifier of the patient and the operator is fixed to a fixed point (reference point).
  • 3D stereoscopic digital magnifying power of the surgeon by recording various positional changes
  • An anatomical 3D image that is accurately superimposed with the reference point on the still image of the obtained left and right CCD camera information and subjected to initial correction It is also possible to track the three-dimensional surgical stent image layer three-dimensionally according to the change in the patient's body position or the movement of the operator's head.
  • the video delivered to the instructor will be a static image at all times.
  • the still image may be written or pointed, and the synthesized still image may be delivered to the operator's monitor.
  • Such writing and point designation can also be performed on a moving image, and it is not excluded.However, the moving image is turned into a still image, the LCD screen of the 3D stereoscopic digital magnifier 1 is divided, and the It is effective to display it separately in the image and then return to the moving image again.
  • Such instructions and writing by the pointer are performed by a third party or a service company of an educational system where the server 8 has a server 8, when the surgeon or the like becomes the instructor, a live video of the surgeon's treatment is provided. It is common for leaders to do this.
  • the technique of temporarily turning a moving image into a still image, giving a point instruction, etc., and then returning to the moving image is a well-known technique, so a detailed description will be omitted.
  • a moment is stored in an image memory, read out, and the input device power is also input, such as an image of a point instruction or the like.
  • the point image or the like it is more convenient for the point image or the like to be a moving image), and these are synthesized by a well-known method such as layer processing or synthesis on a memory.
  • the three-dimensional stereoscopic digital magnifier three-dimensional image information stored in the server 8 and the surgical stent image information for synthesizing and displaying a three-dimensionally accurate isometric three-dimensional fluoroscopic image in the surgical field image are transmitted to the Internet.
  • Viewers wearing multiple synchronized 3D digital magnifiers using communication lines such as 7a-1-1 7a-n to share and discuss three-dimensional video or still images by two-way communication Can be done.
  • the image information obtained from the stereoscopic digital magnifying device 1 and the status of the patient's noital sign in the case of medical surgery which is superimposed on the image information
  • image information such as illuminance, temperature, humidity, pressure, speed, etc. or graphs, etc., representing the environment of each technical operation situation, and audio information obtained by the operator wearing audio microphone power
  • the visual instruction information can be transmitted from the terminal personal computer 6 connected to the Internet 9 to the educational program distribution company server 8 using the three-dimensional instruction mark 30 or the like.
  • the information received by the education program distribution company server 8 is transmitted directly to the terminal personal computer 6a via the Internet 9, and the education program distribution company server 8 translates and interprets the images in various languages. Delivered with processing.
  • audio information obtained from the audio microphone lb of the terminal personal computer 6 and visual instruction information such as the three-dimensional instruction mark 30 are transmitted from the terminal personal computer 6 connected to the Internet 9 to the educational program distribution company server 8. Can be sent to
  • the information received by the educational program distribution company server 8 is distributed directly to the terminal personal computers 6a-l-n via the Internet 9 by the educational program distribution company server 8, which supports various languages. It is provided with interpreter and image processing.
  • FIG. 3 the implementation method as shown in FIG. 3 is applied to a case where an operator 3 (instructor) instructs an audience member 12 (customer), and FIG.
  • the explanation will be made according to the figures separately for the case where the professional instructor (instructors) instructs the surgeon (customer).
  • the surgeon (instructor) 3 provides the audience (customer) with support for medical surgery and other precision techniques performed by humans under direct vision and implements a training program.
  • the magnified surgical field image obtained from the three-dimensional CCD camera lc of the three-dimensional stereoscopic digital magnifier 1 shown in FIG. 1 worn by the surgeon 3 is compared with the vital motor 5 or the precision technology operating environment measuring instrument 5 Data, image and information power of audio decoder 4 Enlarged surgical field image synthesized by terminal personal computer 6 and projected to eyeglass-type LCD monitor Id mounted on instructor (instructor) head through image and audio decoder 4 It is spar imposed on top.
  • the image information projected on the LCD monitor Id and the voice guidance information of the microphone lb are directly transmitted from the terminal personal computer 6 to the specific contract using the Internet 9.
  • This information Is the technical support and support and instructional education distribution system company server 8, and if the language used by the surgeon (instructor) and the student (customer) are different, the language of the student (customer) is And interpreters are sent to students (customers).
  • a large number of trainees (customers) are delivered to the terminal personal computers 7a-1-1 7a-N, so that the status of treatment related to medical surgery and other fine technology can be brought to the scene just as they were.
  • a virtual experience becomes possible with a sense of realism.
  • the communication configuration can be used in both directions, the questions (tudents) of the students (customers) can be input in the opposite direction by voice input using the microphone lb of the terminal personal computer 7a-l-7a-N. It is sent to the server 8 via the Internet 9 and the contents of the question are not duplicated!
  • the instructor (instructor) 3a uses a microphone lb to input voice to the terminal personal computer 6a in response to a question of a specific student (customer), and through the Internet 9, provides technical support and support and instruction education. Send to the distribution system distribution company Sano. If the language used by the trainee (customer) and the language used by the surgeon (instructor) are different, the educational program distribution company server 8 translates the language of the trainee (customer) either sequentially or simultaneously, and transmits it via the Internet 9. It is distributed to the trainee (customer) terminal personal computer 7a- 1—7a-N.
  • Fig. 4 when the operator (customer) 3b is instructed by a professional instructor (instructors) who also has remote geographical capabilities, the digital expansion of Fig. 1 worn by the operator (customer) 3 Enlarged surgical field image information A obtained from a mirror 2D or 3D CCD camera lc and vital sign data B sparged into the magnified surgical field image or image information B from a precision technology operation environment measuring instrument, and a microphone lb
  • the customer's question C input by the customer is input to the terminal personal computer 6 by the image and audio decoder 4 and is sent from the terminal personal computer 6 to the technical support and instructional education distribution system distribution company server 8 via the Internet 9. Sent.
  • the information is sent to the educational program distribution company server 8 in the language of the professional instructor (instructors).
  • the interpreter translates them sequentially or simultaneously and sends them to the professional instructor (teachers) 7.
  • Education distribution system here From the company server 8, via the Internet 9, the information is sent to the personal computers 7b-l and 7b-N of one or more professional instructors (instructors) in the case where one person or a technical field spans an ambiguous field.
  • the expert instructor (instructors) 7 superimposes the enlarged operation field image A and the enlarged operation field image of the operator (customer) 3 displayed on the terminal personal computer 7b-l-7b-N.
  • the terminal personal computer 7b-l—7b-N to provide technical guidance and question and answer while observing the vital sign data B or
  • the user inputs image instruction instruction by 30a and voice instruction by microphone lb, and the input information is transmitted in the opposite direction to the technical support and instructional education distribution system distribution company server 8 via the Internet 9 and further to the Internet 9 After that, it is transmitted to the surgeon (customer) 3 side.
  • the language of the operator (customer) 3 is sequentially or simultaneously changed in the education program distribution company server 8. It translates and sends the three-dimensional indication mark 30a information and the voice guidance information to the earphone la directly on the LCD monitor 36 of the three-dimensional stereoscopic digital magnifier of FIG. In this way, by performing two-way communication with the operator (customer 3) who is a specific contractor, an educational instruction service of practical skills becomes possible.
  • the terminal personal computer 6 and the terminal personal computer 7 connected to the Internet 9 access the homepage of the educational program distribution company server 8 because they are connected to the Internet 9 as described above. Of course, it has functions.
  • the homepage of the education program distribution company server 8 displays each program.
  • general advertising content such as the background of the instructor (instructor), technical content and specialty field, language used, teaching time, tuition fee, the popularity of each program in real time, and the students who have already attended
  • the student (customer) can apply for the training program and settle the tuition on the homepage of the training program distribution company server 8.
  • the instructor (instructor) who provides the educational program uses the website of the educational program distribution company server 8 to receive the advertisement and the application for attending the course, and to confirm the collection of the tuition fee for acceptance. Work can be done.
  • the instructor provides the instructor (instructors) with a fee based on the instructor's fees for the practical training services for medical surgery and other precision techniques, which are charged on a per-operation or per-hour basis. ) It is possible to automatically receive the instructor fee that is distributed by the educational program distribution company according to the number of members, and the burden of administrative procedures can be reduced.
  • the present invention is not limited to the Internet, and it is not limited to the Internet, and both the operator (or precision work operator) and the information receiving side or the receiving side receive this information.
  • the transmitting side may be connected to the transmitting side by a closed network such as an intranet or other communication means using a dedicated line.
  • the communication method can be appropriately selected, such as communication using a communication satellite.
  • This system has a very large amount of information and is safe.
  • a 3D digital magnifying glass system that can completely record and allow a third party to virtually experience the surgery, the above services can be provided to the surgical assistant on the Internet using skills, experience, instruction language, etc.
  • the registered doctor or technician signs a contract, receives a dispatch of the human resource (instructor) who is waiting at a remote location, and there is a shortage of medical malpractice etc.
  • the location of the negligence is clarified based on the evaluation of the record of the system information of the three-dimensional digital magnifier, and the contract contents agreed in advance according to the degree of involvement according to the contents of each treatment and each specialty of the human resources, and the contract According to the contents, the scope of responsibility can be clarified according to the guidance fee presented by the surgeon, and the risk of compensation for medical errors and defects can be diversified.
  • the system Since the system is capable of real-time operation, and at the same time, it is a system that can communicate only with a 3D stereoscopic digital magnifying glass of the same standard, it is difficult to falsify data, so the operation of the operator who is extremely credible Since the situation can be observed as a virtual experience, it is possible to objectively assess the skills of the operator and the presence of defects at a remote location.
  • a guidance image that is synthesized and displayed in the operator's visual field image is an anatomical three-dimensional image and a surgical stent image that are synthesized and displayed in the operator's visual field image.
  • the instructor uses the eye contact switch or voice command switch, the operation using the hands or feet involved in the operation of the instructor or instructor is performed. No obstruction.
  • FIG. 7 is an example of a schematic diagram showing a situation in which communication is performed via the Internet using the three-dimensional digital stereoscopic magnifier 1 as described above.
  • the visual field image information 40 of the operator CCD camera input to the operator personal computer is transmitted using the Internet, and the instructor in the operator personal computer transmits the visual field information 40 via the Internet.
  • the leader's CCD camera floating image 43 which was also transmitted to the personal computer, was combined with the chroma image 43, and the operator's LCD displayed the chroma image information 42.
  • the instructor selects the image processed by floater image processing from the instructor CCD camera information 41. Chromaki synthesis in the instructor's personal computer By displaying the information, it is possible to instruct the instructor using the medical equipment actually used on the LCD, with the reality as if he or she himself is out.
  • this leader CCD force camera floating image 43 can be converted into a chromakey image on the operator's personal computer via the Internet communication line.
  • the same image as the instructor's LCD can be reflected on the operator's LCD without correcting the position of the instructor's CCD camera floating image 43 on the operator's CCD camera's visual field image information 40.
  • the surgeon captures the information from the CCD camera into the server computer, transmits the position-corrected surgical stent floating image 44 that has been subjected to position correction and automatic tracking processing to the surgeon personal computer and the instructor personal computer, and If the chromaki synthesis image processing is performed on the visual field image information 40 of the CCD camera, the surgical stent image can be reflected on the LCD of the operator and the instructor. Since all of these operations are performed based on the visual field image information 40 of the surgeon's CCD camera, three persons can share the same image without performing position correction. As can be seen from this schematic diagram, the operator's 3D stereoscopic digital magnifier system and the instructor's 3D stereoscopic digital magnifier system have exactly the same functions, so that the instructor and the operator can be easily replaced. Become.
  • the three-dimensional stereoscopic digital magnifier technology support and instructional education distribution system having the image synthesis three-dimensional visual indication function of the present invention is a three-dimensional stereoscopic digital magnifier that provides technical instruction using a communication network such as the Internet.
  • Equipment related.
  • Guidance Imaging a human without specialized knowledge as a robot, and control it with voice instructions, visual instructions, etc.
  • mirror devices furthermore, digital expansion of three-dimensional entities of the same standard
  • the same ideal vision as the instructor (instructor) is performed.
  • a business system suitable for carrying out efficient technical education after solving such problems can be constructed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicinal Chemistry (AREA)
  • Economics (AREA)
  • Pure & Applied Mathematics (AREA)

Description

三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム 技術分野
[0001] 本発明は、インターネット等の通信網を利用して技術指導を行うシステムに関する。
より詳しくは、人が直視のもとに行う医科手術やその他の手作業で行う細密特殊技 術教育プログラムの配信や、特定の顧客が行う医科手術やその他の手作業で行う細 密特殊技術の教育指導 (専門知識を持たない人間をロボットに見立て、遠隔地より前 記ロボットに見立てた人間の視野を観察しながら得た情報に基づき三次元画像合成 による視覚指示、音声指示などでコントロールする）、あるいは術者が術野から目を離 すことなく術者視覚視野に直接術野画像と共に不可視領域の画像情報を提供する システムに関するものである。
背景技術
[0002] 一般に、医科手術やその他の手作業で行う特殊技術を臨床現場で指導する場合 、術者と指導者の視野方向と体位が異なるために正確なインスッルメーシヨンなどの 手技を指導することは困難であり、手術時間の増大を招くば力りか指導者は術者の 視覚的妨害をすることにつながり一時的に作業を中断する必要がある、更に意識下 に於ける手術現場では、患者に不安を抱力せ心因性ショックなどの原因となる恐れ がめつた。
[0003] 逆に、指導者が行う医科手術などの細密技術を受講者に指導する場合も、指導術 者 (講師)と同じ理想的な視野力 閉鎖的な部位に対する手術および技術見学を実 施しようとする場合、複数の受講者 (顧客）に対して各施術段階で施術状況を順次見 学させるには膨大な時間を要するだけでなぐ施術施設の物理的制約によって同時 に見学可能な人数には制約があるために、少人数を対象に実施されていた。加えて 、指導術者 (講師)と受講者 (顧客)の使用言語が異なる場合、施術現場に通訳を同 席させる必要が有るので受講者 (顧客） 1人あたりの教育プログラム受講料は高価で めつ 7こ。
[0004] さらに、術者に指導する場合も、指導者が受講者に指導する場合も、施術者は、レ ントゲン、 CT、 MRI、心電図、などの情報を確認するために術野力 ー且目を離して 注視する必要があり、特に遠隔地に於いてはリアルタイムでの情報の共有が困難で あった。
[0005] また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させるこ とは困難であり、その他の手作業で行う特殊技術においても大が力りな施設や移動 不可能な機械器具を必要とする場合、見学受講者 (顧客)は施術日時に日程を調整 の上、多大なる交通費と移動に対する時間的コストを費やして出向いていた。各種通 信手段を用いて遠隔地に配信する場合も、基本的に個人の医科手術を第三者に公 開する場合、患者本人の同意を得ることはプライバシーの問題上当然のことであるが 、情報に通信経路上での漏洩に関しても同様に責任が課せられることになる。 反対 に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する場合、 指導者 (講師陣)は現場まで移動しなくてはならず、多大なる経費を要するために指 導に関わる諸費用（交通費と移動に対する時間的コスト）は高価なだけで無ぐ移動 に長時間を要する遠隔地では緊急医科手術に対応する事は困難であつたし、複数 の指導者 (講師陣)によって指導を実施する場合なおさら諸費用は嵩み、緊急医科 手術対応はより困難であった。 し力も、医師免許の法的規制により海外で医療行為 を実施することは禁じられて 、るために、指導者 (講師陣)が該当諸外国で自ら直接 出刀する実況手術見学教育プログラムの開講および手術の実技指導をする事は基 本的にはできない。
[0006] また、術者 (顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実 際に希望した場合、指導者 (講師陣)各地に点在する優秀な技能や知識を持つ人材 を指定時刻にして居場所に一同に集めて手術を監修あるいは管理させることは不可 能と言わざるを得ない。さらに、共有する三次元画像に対して三次元指示画像を表 示の上ディスカッションするようなシステムは存在しなかった。
特許文献 1 :日本国特許第 3556829号
発明の開示
発明が解決しょうとする課題
[0007] し力しながら、前述の如ぐ一般に、医科手術やその他の手作業で行う特殊技術を 臨床現場で指導する場合、術者と同一の視野を指導者が確保し、的確な指導を実 施することによって、手術時間の増大を防止する。さらに、意識下に於ける手術現場 であっても患者に指導者の存在を意識させることがな 、ようにして不必要な不安を抱 かせることが内容にする。
[0008] 逆に、指導者が行う医科手術などの細密技術を受講者に指導する場合、指導術者
(講師)と同じ理想的な視野力 閉鎖的な部位に対する手術および技術見学を実施 する場合において同時に多数の人間が見学可能とする。カロえて、指導術者 (講師)と 受講者 (顧客)の使用言語が異なる場合、わざわざ施術現場に通訳を同席させる必 要を省き受講者 (顧客） 1人あたりの教育プログラム受講料を定額にする。
[0009] さらに、術者に指導する場合も、指導者が受講者に指導する場合も、施術者は、レ ントゲン、 CT、 MRI、心電図、などの情報を確認する際に術野から目を離すことなく閲 覧可能とし、また前記情報を遠隔地にお!、てもリアルタイムで共有する。
[0010] また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させるこ となぐ逆に見学受講者 (顧客)の交通費と移動に対する時間的コストを軽減する。前 記各種通信手段を用いて遠隔地に配信する場合も、個人情報の漏えいを防止する 。 反対に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する 場合、指導者 (講師陣)の諸費用（交通費と移動に対する時間的コスト)を軽減し、移 動に長時間を要する遠隔地では緊急医科手術に対応し、加えて複数の指導者 (講 師陣）による指導を可能とする。 しかも、医師免許の法的規制を排除し、指導者 (講 師陣)が該当諸外国で自ら直接出刀する実況手術見学教育プログラムの開講および 手術の実技指導を可能とする。
[0011] また、術者 (顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実 際に希望する場合、指導者 (講師陣)各地に点在する優秀な技能や知識を持つ人材 を指定時刻にして居場所に一同に集め手術を監修あるいは管理し、さらに、共有す る三次元画像に対してリアルタイムでディスカッション可能とすることである。
課題を解決するための手段及び発明の効果
[0012] 本発明は、インターネットやイントラネットを通信手段として、人間が直視のもとに 行う医科手術やその他の精密技術の支援及び支援及び指導教育プログラムを実行 する三次元実体デジタル拡大鏡に数々の付加機能を加えたシステムであって、 前記医科手術やその他の精密技術支援及び支援及び指導教育プログラムを実施 するに当たり、最小の構成としては、術者及び指導者が装着する同期された同一規 格で、両眼の直前に設置された一対の LCDで構成される三次元実体デジタル拡大 鏡と、前記三次元実体デジタル拡大鏡前面の装着作業者左右瞳孔中央部に相当す る位置から、裸眼視野方向に向けて取り付けた一対のズームレンズ搭載自動焦点 C CDカメラからなる三次元実体デジタル拡大鏡で構成される装置を使用して、術者及 び指導者双方の三次元実体デジタル拡大鏡 LCDモニターに共有表示される術者が 装着する三次元実体デジタル拡大鏡装置の CCDカメラで捕らえる術者視野立体画 像上に、フローター化画像処理装置によって指導者側の三次元実体デジタル拡大 鏡装置の CCDカメラで捕らえる指導者側の三次元実体デジタル拡大鏡装置の CCD カメラ前方視野全域をカバーするように設置した RGB色の中で、視野画像背景色に 応じて補色関係を考慮して、レッド、グリーンまたはブルーの単一色バック（口腔内に おいては血液及びは肉の赤に対して補色となる赤が好ましい）の背景前面で、指導 者が三次元実体デジタル拡大鏡装置の LCDモニター上で認識しながら視覚指示を 行うために操作する指導者視野内で保持し自由に動かすことのできる立体ポインティ ングデバイス、あるいは術者が使用する器具と同一の各種器具 (ダミー）の三次元画 像のみ抽出し、さらに画像クロマキ一合成画像処理装置によってフローター化された 三次元視覚指示画像を 0パーセントから 100パーセントの割合で透明度を変更する か色彩的に判別しやすいように変換の上合成表示し、術者、指導者双方の LCDに 合成表示することを特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡 大鏡システムである。この三次元実体デジタル拡大鏡システムによって、術者あるい は指導術者は、施術野から視線をそらすことなぐ術野を撮像観察する際に、術者の 頭などが障壁になることなぐ理想的なカメラアングルが得られるので、術者はカメラ 位置に気を配ることなく施術に集中することができる。
当然この指導行為は、指導者は施術環境力 離れた場所で指導することが可能で あるので、患者には一切認知されることなく遂行され、患者に対して不必要な心理的 影響を与えることがないだけでなぐ術者は、術者の装着する三次元実体デジタル拡 大鏡視野画面で捕らえる目の前の実体 (患者)に対して、指導者が指導者三次元実 体デジタル拡大鏡の術者視野画像仮想空間上で操作する、術者が実際に使用する 器具と同様の器具の立体画像を、術者 LCD上の実体画像上の作業空間に、三次元 的奥行きをも表現することによって、指導者が行うリアリティーのあるシミュレーション による指導を受けることができるばかりか、あたかも、術者に対して術者が自ら同器具 を使用して施術する状況を視覚的に作り出すことが容易に可能であるので、術者と 指導者の言語による意思の疎通が不十分な場合においても視覚的に充分補うことが 可能である。
この、視覚的指示を行う実技の教育的指導サービスを行うことによって、 1人ある いは複数の指導者 (講師陣)の移動に関わる時間的金銭的経費は皆無となり、医科 手術においては遠隔地であっても緊急対応が可能となる。
また、医科手術においては任意の手術施設から患者を移動させること無ぐ教育プ ログラムの指導術者 (講師)と受講者 (顧客)の医師免許証発給国籍が異なる場合で も医師免許証の制約を受けること無ぐ国境を越えて受講者 (顧客）に指導することを 可能にする。 この三次元実体デジタル拡大鏡装置を更に発展させて、術者と指導 者が共有する術者視野画像中に施術患者の予め CTあるいは MRIなどの断層撮影 情報を元に作製した骨、血管、神経組織などの解剖学的三次元画像や、前記解剖 学的三次元透視画像に加えて切開や骨切削などの位置を立体的に画像合成表示 したサージカルステント画像を、同様に 0パーセントから 100パーセントの割合で、特 に解剖学的ランドマークを示す部位や組織の透明度や色調を変更するか、あるいは ワイヤーフレーム表示などで前記術者三次元実体デジタル拡大鏡 CCD画像情報に 対して視覚的差異を与えることによって容易に判別可能となるように画像処理変換し た三次元画像情報を合成表示することによって、術者はあたカゝも皮膚ゃ軟組織を透 視して血管や骨の形状を、あるいは更に骨を透視して骨の中を走向する神経の様子 を視覚的に把握することが可能となるために安全で的確な施術を実施することが可 能になる。しかし、 HMDを装着する術者と、術野の対象は双方とも 3時次元的な位置 が常に変化することが考えられる。この問題を解決するためには、前記解剖学的三 次元画像やサージカルステント画像を、術者 HMDに表示される術野画像に正確に 重ね合わせ、術者の頭部の位置変化と患者の体位の変化に対応して解剖学的三次 元透視画像やサージカルステント画像が術者 CCDカメラの捕らえる術野画像を追尾 する必要がある。このような構成を臨床的に応用可能なものとするために、術者三次 元実体デジタル拡大鏡の左右それぞれ同期された 2個の CC Dカメラの撮像する術 者視野画像から静止画像を取り出し、このそれぞれの画像上の、歯あるいは骨のよう な解剖学的に普遍的な硬組織上の 3点に基準点を設け、この 3点ずつ計 6点の位置 情報を記録する。この左右 2個の CCDカメラによる三点位置計測によって三次元的 な術者と患者の位置関係を記録し、術者視野画像中（動画)の基準となる 3点の位置 的移動を追尾することによって常に三次元的な術者三次元実体デジタル拡大鏡と患 者の体位の位置変化を把握することができる。同時に前記、術者三次元実体デジタ ル拡大鏡の 2個の CCDカメラ情報力 それぞれ取り出した静止画上の解剖学的に普 遍的な硬組織上の 3点に、解剖学的三次元画像やサージカルステント画像上の前記 硬組織上の基準なる三点と同一の三点を正確にプロットし、術野画像中に解剖学的 三次元画像やサージカルステント画像を位置的に正確に重ね合わせ、術野三次元 画像中における解剖学的三次元画像や三次元サージカルステント画像の術者三次 元実体デジタル拡大鏡が捕らえる術野空間における三次元的な位置を記録する。こ れによって術者三次元実体デジタル拡大鏡と患者の体位の三次元的位置移動に従 つて解剖学的三次元画像や三次元サージカルステント画像を三次元的に追尾させ ることが可能となる。
これらの解剖学的三次元画像や三次元サージカルステント画像は、遠隔地にて一 元的に管理運営することも可能である。例に挙げれば、主治医と遠く離れた地域で 緊急に手術を要する場合などに、術者は、まさに施術しょうとする患者の三次元実体 デジタル拡大鏡から得られる左右 CCDカメラ情報を各種通信手段を利用して送信し 、遠隔地にて前記受信情報 (術者の三次元実体デジタル拡大鏡から得られる左右 C CDカメラ情報)から任意の静止画を取り出し、解剖学的三次元画像や三次元サージ カルステント画像を重ね合わせることによって位置補正し、術野画像情報の位置的 変化の電算処理を行いこの三次元的移動量に従って前記解剖学的三次元画像や 三次元サージカルステント画像追尾の上、重ね合わせた合成画像を送信し、術者の 装着する三次元実体デジタル拡大鏡 LCDに立体画像として表示することも可能であ る。
[0015] さらにこのシステムはこの様な、解剖学的三次元画像や三次元サージカルステント 画像の表示や三次元視覚的指導は、術者と指導者が 1対 1の状況に留まらず、複数 の指導者が同時に指導に参加することも可能である。この様な指導状況では、術者 視野画像を一つのテーブルに見立て、このテーブル上で術者と共に複数の指導者 が各種専門的カテゴリ一につ 、ての意見を交換することが可能であり、このときテー ブルの管理実権は予め取り決めた優先順位に従って操作可能とすることによって、 混乱することなく容易に共有するテーブル (表示画面)を管理運営することが可能で ある。
[0016] 同様に、術者が装着する三次元実体デジタル拡大鏡装置の CCDカメラから得られ た三次元画像情報をインターネットやイントラネット等の通信手段を介して通信し、サ ーバに蓄積することによって、その画像情報を同時に複数の同期した三次元デジタ ル拡大鏡を装着する者力 Sインターネットやイントラネット等の通信手段を介して共有 することが可能となる。この画像は蓄積動画画像ではあるものの術者が実際に施術し た際の術野視野画像であるので、臨場感のあるきわめてリアリティーの高いものにな りえる。さらに、この複数の視聴者が共有する術野画像情報と同様にサーバに蓄積し た、施術患者の予め CTあるいは MRIなどの断層撮影情報を元に作製した任意の骨 、血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視画像に 加えて切開や骨切削などの位置を画像位置補正追尾装置によって正確に立体的に 画像合成したサージカルステント画像を、各々の視聴者が随時表示非表示切替可 能とすることによって、より情報量の多い手術デモンストレーションを得ることが出来る 。カロえて、各々が視聴用の手段として装着する三次元実体デジタル拡大鏡の画像中 に、前記三次元実体デジタル拡大鏡の CCDカメラを利用して得られる視聴者視野画 像中からフローター化画像処理装置によって背景画像を取り除き、視聴者が操作す る立体ポインティングデバイス、ある!/、は術者が使用する器具と同一の各種器具 (ダミ 一）の画像のみ抽出し、 0パーセントから 100パーセントの割合で透明度を変更の上 、各々の視聴者ごとに色彩を変更したフローティング画像を、各々の視聴者が随時 表示非表示の切り替え可能な状況で蓄積画像上にクロマキ一合成することによって 、インターネットなどの通信回線を利用して三次元動画あるいは静止画に対して双方 向通信によるディスカッションや、手術シミュレーションを行うことが可能となる。
また、各種通信手段を用いて遠隔地に医科手術を第三者に配信公開する場合、患 者プライバシーの問題については、暗証番号などによるアクセスの制限、及び三次 元画像を提供する 2チャンネルに異なった画像スクランブル処理（暗号化）し、この通 信機器として使用するパソコン上でソフトウェアデコーディングを行うか、三次元実体 デジタル拡大鏡のハードウェア内にデコーディング機能を持った集積回路を搭載す る力、あるいは、三次元実体デジタル拡大鏡 (端末）に割り振られたコード番号を識別 させることによって、より高いセキュリティーが実現できる。さらに、これらの情報の一 定の制約に基づく公開は、各種技術の発展に寄与するだけでなぐ有能な技術者（ 医師など)の発掘や、最新の優良な技術を瞬時に世界的規模で普及することが可能 となる。
その上、極めて情報量が多ぐしかも術者の施術状況を仮想体験的に、閲覧、指導 及び記録可能である三次元実体デジタル拡大鏡システムを使用して、指導者ある ヽ は介助者の選定に際しては、地域や時間の制約を受けることなぐネット上で情報交 換場を提供することによって可能となる。しかも、技量を客観的に査定されることが可 能であるので、術者が支援及び指導教育プログラムを購入する場合、指導術者 (講 師)の一方的な宣伝広告内容あるいは、既に教育プログラムを受講した知人の主観 的評価だけではなぐ第三者機関による信憑性の高い客観的な評価基準を提示する ことが可能となり、指導に対する技術評価と技術指導料に容易に正当性を加味する ことが可能となるばかりか、指導者 (介助者)の選定に際しては、専門分野別に技能 や経験あるいは指導言語などの条件と共に報酬金額を提示することによって容易に 核等施術内容に最適な人材を選定することが可能となる。
この登録医師あるいは技術者とネット上で金銭契約を結び、その施術指導あるいは 介助行為が術者あるいは指導者の一方の契約不履行が発生した場合も、予め契約 された内容に従って損害は課金されるシステムとすることによって、面識の無い術者 と指導者間の契約事項ではある力 申し込み時に契約が成立されているので、遠隔 地に待機する前記人材 (指導者)、あるいは術者は安心して人材派遣を受けることが 可能であるばかりか、この申し込みの手立てをネット上で主催するネット管理者は、予 め術者に対して指導者 (介助者）に対する第二、第三希望の人材を選択させることに よって、術者の実質的な損害を補足することが可能であり、ケースによっては、指導 者の技量に従ってディスカウントを行うことによってトラブルを回避することが可能とな る。
また、指導者 (介助者)が三次元実体デジタル拡大鏡をシステムを使用した施術行為 にお 、て医療過誤等の不足の事態が発生した場合は、三次元実体デジタル拡大鏡 システム情報の記録に基づき過失の所在を容易に明確ィ匕することが可能であること は元より、各施術内容の難易度と指導者あるいは介助者の各専門分野に応じた関わ りの程度に従って、予め契約内容に責任範囲と指導料金のノ リエーシヨンを設け、契 約内容に従って術者の提示する指導料金に応じた責任範囲を明確ィ匕し、医療過誤 や瑕疵に対する賠償リスクの分散を可能とするだけでなぐ一般的な掛け捨て保険の 保険料判断基準である術者の技量だけではなぐ施術行為ごとに、症例の難易度、 さらに指導者 (介助者)の技量、及び体制 (人数)などの要素を加味することが可能と なり、より実質的合理的な保険料金の設定が可能であり、この保険料の算定基礎は、 このシステムの術者及び指導者 (介助者)使用経験と実績 (成功率あるいは経時的後 生存率)を累積することのよつて、より正確性を増すことが可能となる。
前述のように、この三次元実体デジタル拡大鏡は、術者の施術状況を仮想体験可能 であり、指導者の技量については、指導者の施術状況を、極めて情報量が多ぐしか もリアルタイムであると同時に同一規格の三次元実体デジタル拡大鏡でのみ通信可 能なシステムによる極めて信憑性の高ぐ施術状況を仮想体験的に観察可能な三次 元実体デジタル拡大鏡システムであり、し力も記録媒体に録画し技量を客観的に評 価することも可能である。 従って、従来医療分野において医療行為の監査を実施 する場合、診断内容と医療行為の整合性の監査に終始していた監査内容をさらに拡 大して、外科的な分野（医師の個人的な技量)を客観的に評価することが可能となる ので、医師各個人の技量の向上を促すばかりか、全体としての技術レベルの向上に つながることになる。 当然のことながら、術者が実際に手を下す施術に際して、術者視野画像中に合成表 示する解剖学的三次元画像や、サージカルステント画像、あるいは複数の指導者指 導画像が術者と指導者の共有する視野画像中に介入することになるので、前記合成 表示画像は、それぞれ別個にあるいは全部を、術者あるいは指導者の意思によって 、術者あるいは指導者の施術行為に関わる手、あるいは足を使用する操作を妨げる ことの無いスィッチ操作により表示あるいは非表示操作可能とすることによって、三次 元実体デジタル拡大鏡装置の機能を純粋なデジタル式拡大鏡として術者視野を妨 害することなく安全な手術を実施することが可能となる。
図面の簡単な説明
[0017] [図 1]三次元実体デジタル拡大鏡の構成を示す図
[図 2]同一規格三次元実体デジタル拡大鏡を利用して、フローティング画像のクロマ キー合成による三次元的指示をする概念図
[図 3]図 1の実体デジタル拡大鏡でインターネットを利用して通信を実行する概念図
[図 4]図 3の構成を、複数の指導者が実行する概念図
[図 5]固定基準平面画像による三次元位置計測を示す概念図。
[図 6]解剖学的画像の画像合成表示状態を示す図。
[図 7]本システムにおける画像情報の流れを示す模式図。
符号の説明
[0018] 1、三次元実体デジタル拡大鏡 la、ィャフォン lb、マイクロフォン lc R、右側 C CDカメラ lc L、左側 CCDカメラ lc、CCDカメラ 2、画像、音声、入出力ライン 3、術者 4、画像、音声、デコーダー 5、バイタルサイン測定機器 (精密技術環境計 測器） 6. 6a— 1— 6a— n、パーソナルコンピュータ 7. (7a— 1— 7a— n)、指導者（視 聴者） 8、サーバ 9、 W. W. W (インターネットあるいはイントラネット） 10、インタ 一ネット通信回線 11、指示マウス 12、指導者 13、音声入力マイクロフォン 14 受講者音声質問などの情報 ·技術指導プログラム受信料、教育プログラム受講申し 込み、受講料の決済 15、受講者音声質問 (指導術者の使用言語に翻訳済み)など の情報'技術指導提講師料、教育プログラム指導料の支払い 16、指導術者 (講師) 拡大術野画像、バイタルサイン、技術施術状況、指導術者音声指導などの情報の送 信'教育プログラムの宣伝広告 17、指導術者 (講師)拡大術野画像、バイタルサイ ン、技術施術状況、指導術者音声指導 (受講者の使用言語に翻訳済み)などの情報 の送信有料配信'教育プログラムの受講者の募集 18、術者 (顧客)拡大術野画像、 ノ《イタルサイン、技術施術状況'個別技術教育指導プログラムの購入 19、術者 (顧 客)拡大術野画像、バイタルサイン、技術施術状況'個別技術教育指導料の支払い 20、指導者音声指導、視覚的指示，指導者 (講師陣)応募 21、指導者音声指導（ 術者の使用言語に翻訳済み)、視覚的指示'指導者 (講師陣)の公開 30、立体指 示マーク 30a、仮想立体指示マーク (虚像） 31、単色背景板 32、患者 33、歯 列 34a— 34c、硬組織基準点 35,三次元的位置測定基準平面 36、 LCDモニタ 一 36R,右側 LCD 36L,左側 LCD 37、ヘッドギア 40、術者 CCDカメラ画像 情報 41、指導者 CCDカメラ画像情報 42、クロマキ一合成画像情報 43、指導者 CCDカメラフローティング画像 44、位置補正サージカルステントフローティング画 像
発明を実施するための最良の形態
[0019] 以下、本発明の実施の形態を図示例と共に説明する。
[0020] 各図にわたって図中の同一の符号を付した部分は同一物を表わしている。図 1は、 三次元実体デジタル拡大鏡 1のハードウェアの基本構成を示す図である。 図 1に示 すように、三次元実体デジタル拡大鏡 1内部に装着された左側 LCD36L及び右側 L CD36R (モニター）は、指導者又は被指導者である術者 3の左右のそれぞれの目を 包含する広がりを有し、ヘッドギア 37によって頭 (顔）に装着する。また左側 CCDカメ ラ lc一 Lと右側 CCDカメラ 1 c一 Rは、その三次元実体デジタル拡大鏡 1を顔に付けた 状態で、左右の各瞳孔のそれぞれのほぼ中央部に対応する位置に、三次元実体デ ジタル拡大鏡 1と一体的に設けられる。なお、これら 2個の CCDカメラ lcの画像情報 は、それぞれ左右の LCDに同期された個別の画像を映し出すことによって、光学拡 大鏡を使用しているときと同様の違和感の少ない三次元画像を装着者に提供する。
[0021] CCDカメラ lcは、ズームレンズ搭載の自動焦点 CCDカメラが望ましい。そのタイ プのカメラであれば、任意の設定倍率に対して、作業者頭部と作業部位との距離に 関係なぐ自動的に適正焦点を得るように自動調整されるので、術者はヘッドギアを 装着する頭部の位置を固定することによる頸部の筋肉疲労を最小限に留めることが 可能である。
[0022] そして、図 2に示すように、このような三次元実体デジタル拡大鏡 1システムを利用し 、術者 3の左右 2個の CCDカメラ lcの画像情報を同一規格の術者 3及び指導者 12 の装着する三次元実体デジタル拡大鏡 1の LCDにそれぞれ投影し、三次元視野画 像 (患者 32の口腔内画像)を共有する。この共有する術者視野画像上に、指導者 12 が装着する三次元実体デジタル拡大鏡 1の左右 CCDカメラ lcを利用して立体指示 マーク 30を単色背景板 31の前面で撮像しフローティングした仮想立体指示マーク（ 虚像） 30aをクロマキ一合成表示する。この立体指示マーク 30の表示に関しては、一 定時間軌跡を表示させることによって術者 3視野画像中に線画として表示したり、静 止画像として表示することができる。
これにより、比較的簡便なシステムでありながら、同一規格の CCDカメラと LCDモ- ターを使用しているので、複雑な一補正をすること無く指導者 12は、術者 3に対して 正確に三次元的画像指示を与えることが可能となる。つまり術者 3は、自らの両手を 使用して実際に手術を行う場合と同様の姿勢で、従来のようにコンピューターモニタ 一上で指示を行う様な不自然な動きではなぐ極めて自然な体位で指導することが 可能である。この立体指示マーク 30を実際の手術器具などに置き換えた場合も、指 導者 12は、装着する三次元実体デジタル拡大鏡 1LCD画面に展開する術野に対し て実際に手術を行う際と同様な手技動作を術者視野仮想空間に行うことが出来る。 同様に術者 3は、あたかも自らが手術を行っているような状況で三次元的な奥行きを 持った器具操作を体験することが可能となる。さらに、術者 3視野画像中に合成表示 する指導者 12の三次元視覚指示フローティング画像を 0パーセントから 100パーセ ントの割合で透明度を変更する力、あるいは加えて色調を変換可能なクロマキ一合 成画像処理装置を使用すれば実像と虚像の判別も容易となるので術者 3と指導者 1 2が同一の器具を使用する場合もモニター画面上で混乱を起こすことは無い。
[0023] この指示画像のクロマキ一合成と同様に、図 4に示すパーソナルコンピュータ 6. 6a
1一 6a— nやサーバ 8になどに保存した解剖学的三次元画像や、サージカルステン ト画像を術者視野画像上にクロマキ一合成表示することができる。この時、解剖学的 三次元画像や、サージカルステント画像も、 0パーセントから 100パーセントの割合で 画像処理変換、あるいは透明度や色調を変更する力、ワイヤーフレーム処理すること によって、術者三次元実体デジタル拡大鏡 CCD画像情報に対して容易に視覚的差 異を与えること可能となる。この様な解剖学的三次元画像や、サージカルステント画 像レイヤーは、図 5に示すような術者三次元実体デジタル拡大鏡 CCD画像情報中 の静止画上力も患者歯列 33歯牙上の硬組織基準点 34a— 34cの三点を基準点と、 前記患者の解剖学的三次元画像や、三次元サージカルステント画像上の歯列 7歯 牙上の硬組織同一点基準点を選定し、図 4に示すパーソナルコンピュータ 6. 6a— 1 一 6a-nやサーバ 8などでプロットし、術者 3視野画像中に図 6に示すような透視画像 として図 1術者 3及び指導者 12装着の三次元実体デジタル拡大鏡 1の LCD上で三 次元的に等縮となるように正確に重ね合わせると同時に三次元的位置補正を行う。こ の縮尺補正と位置補正を行うにあたって、部位によって直接硬組織基準点を求める ことが困難な場合は、 CTあるいは MRI撮影時に、手術時に三次元実体デジタル拡 大鏡 1の CCDカメラから明視可能の異なった三点の皮膚上不動点に鉛などのポイン トマーカーを貼り付けることによって、三次元サージカルステントに鉛などのポイントマ 一力一を表示し、三次元実体デジタル拡大鏡 1の術野画像を表示する右側 CCDカメ ラ lc Rと左側 CCDカメラ lc Lのそれぞれの静止画像上の異なった三点のポイント マーカー皮膚上の同一点と一致させることによって正確に位置補正する。このとき、 左右の LCD上で同時に位置補正および等縮補正することは困難である力 本は発 明の三次元実体デジタル拡大鏡 1は、左右の LCDモニターおよび CCDカメラは同 一規格であるので、左右何れかの LCD画面上で等縮作業を実行した上で、一方の LCDモニター上で異なった二方向から位置補正 (重ね合わせ)を実行することによつ て、簡単に位置情報を記録することが可能となる。また、手術部位が、頭部の場合、 特に上顎下顎にまたがる場合は、基準点をそれぞれの部位に別個に三点の基準点 を求め、二個別個のサージカルステントを用意し、それぞれのフローティングサージ カルステント画像を自動追尾させる。
一旦、縮尺補正と位置補正をした解剖学的三次元画像レイヤーや、三次元サージ カルステントレイヤー画像は、患者歯列 33歯牙上の硬組織基準点 34a— 34cの三点 で構成する三次元的位置測定基準平面 35の変位を術者 3三次元実体デジタル拡 大鏡 1の左右二個の CCDlcの画像情報として捕えパーソナルコンピュータ 6. 6a— 1 一 6a— nやサーバ 8になどで三次元位置計測し、術者 CCDカメラ位置変化及び患者 の姿勢の変化に対して鉛などのポイントマーカーや画像上の基準点を追尾し自動的 にリアルタイムで三次元的位置補正の上、解剖学的三次元画像レイヤーや、三次元 サージカルステントレイヤー画像を術者視野画像中に合成表示する。このとき、患者 の体位の変化を捉える手段としては、前記のように画像を利用してもよいし、より画像 上で明確に基準点を表示する目的で患者頭部の普遍的な硬組織に上に取り付けた 異なった三点上に LEDなどの発光体を設置してもよい。あるいは、患者の硬組織な どの不動点と術者が装着する三次元実体デジタル拡大鏡に、それぞれジャイロ機構 を装着し定点 (基準点）に対する患者及び術者三次元実体デジタル拡大鏡の三次 元的な位置的な変化を記録し、術者三次元実体デジタル拡大鏡力 得られた左右 C CDカメラ情報の静止画上の基準点と正確に重ね合わせ、初期補正を行った解剖学 的三次元画像や三次元サージカルステント画像レイヤーを、患者の体位の変化ある いは、術者の頭部の移動に従って三次元的に追尾させることも可能である。
このシステムを発展させれば、図 4に示すように複数の指導者が術者画像を共有し 、各科の専門医が適切なアドバイスを与える事が可能となる。このアドバイスは、ノ ィ タルサイン測定機器 5からの信号を三次元実体デジタル拡大鏡 1の LCDモニターの 辺縁に術野画像を損なうことの無 、ように字幕表示させることによって術者 3とすべて の指導者 12が共有しており、より的確な現場状況を把握しながら指示可能であるば 力りか、術者 3は術野カゝら視線を移動してモニターなどに目を移すことなく手術に集 中することが可能である。
また、前記三次元実体デジタル拡大鏡と同一の画像上に、他の指導者等が立体指 示マーク 30、線画等で書き込みあるいは三次元ポイント指示による指導解説を加え た画像情報をインターネット等の通信網で送信する場合にぉ 、て、その立体指示マ ーク 30指示による指導解説をする際に、動画像をいつたん静止画像とし、その静止 画の状態で上記書き込みやポイント指示を行って、この書き込みやポイント指示付き の静止画の合成画像を、指導を受ける複数の者の端末に配信することも可能である 。あるいは逆に、術者が遠隔の指導者力も術者のモニターに書き込みやポイント指示 を受けて施術を支援してもらう場合は、指導者側に配信される動画像をいつたん静 止画像にして、その静止画像に書き込みやポイント指示等をし、その合成静止画像 をその術者のモニターに配信してもよ 、。
そのような書き込みやポイント指示は動画に対して行うこともでき、それを排除する ものではないが、動画をいつたん静止画にし、三次元実体デジタル拡大鏡 1の LCD 画面を分画し、視野画像中に別途表示し、その後また動画に戻すことが有効である。 なお、このようなポインタによる指示や書き込みは、術者等が指導側になる場合、術 者の施術映像を実況して 、る第三者、あるいはサーバ 8がある教育システムのサービ ス会社の担当指導者が行うことが一般的である。上記のように動画をいつたん静止画 にしてポイント指示等を行った後、再び動画に戻す手法は、周知の技術であるため、 詳しい説明は割愛するが、要するに、 CCDカメラ等の画像データのある瞬間を画像 メモリにいったん蓄え、それを読み出すとともに、入力装置力も入力されたポイント指 示等の画像 (これは静止がでもよいが、動画でもよぐポイント指示を移動させて説明 指導するような場合はポイント画像等が動画である方が好都合な面もある）を取り込 み、これらをレイヤー処理やメモリ上での合成等、周知の手法で合成することとなる。 これにより、サーバ 8に蓄積した三次元実体デジタル拡大鏡術者三次元画像情報と 、術野画像中に三次元的に正確な等尺三次元透視画像を合成表示するサージカル ステント画像情報を、インターネットなどの通信回線を利用して複数の同期した三次 元デジタル拡大鏡を装着する視聴者 7a - 1一 7a - n共有し、三次元動画あるいは静 止画に対して双方向通信によるディスカッションをすることが出来る。
これらすベての画像による通信は、患者のプライバシー保護の観点から、すべての 通信デジタル信号データは、画像、音声、デコーダー 4を介して三次元実体デジタル 拡大鏡 1に表示されることになり、ハードウェアデコーディング装置を持たない一般の パーソナルコンピューター端末によりハッキングされた場合、情報漏え!/、の危険性が 少ない。
そして、この実体デジタル拡大鏡装置 1から得られる画像情報と、その画像情報に スパーインポーズされる、医科手術の場合は患者のノイタルサインの状況を、その他 の精密技術の場合はそれぞれの技術施術状況の環境を表す照度、温度、湿度、圧 力、速度などの数値あるいはグラフ等の画像情報と、術者が装着する音声マイクロフ オン力 得られる音声情報と、立体指示マーク 30等で視覚的指示情報とを、インター ネット 9に接続した端末パーソナルコンピューター 6から、教育プログラム配信会社サ ーバ 8に送信できる。
[0026] 教育プログラム配信会社サーバ 8で受信された情報は、インターネット 9を介して 端末パーソナルコンピューター 6aに直接配信される力、教育プログラム配信会社サ ーバ 8で各種言語に対応して通訳や画像処理を与えて配信される。同様に端末パー ソナルコンピューター 6の音声マイクロフォン lbから得られる音声情報と、立体指示マ ーク 30等の視覚的指示情報を、インターネット 9に接続した端末パーソナルコンビュ 一ター 6から教育プログラム配信会社サーバ 8に送信できる。
[0027] 教育プログラム配信会社サーバ 8で受信された情報は、インターネット 9を介して、 端末パーソナルコンピューター 6a-l— nに直接配信される力 教育プログラム配信会 社サーバ 8で、各種言語に対応して通訳や画像処理を与え配信される。
[0028] 次に、以上の図 1の例示した配信システムにおいて、図 3のように実施方法を、術 者 3 (指導者)が聴講者 12 (顧客）に指導を行う場合と、図 4のように専門指導者 (講 師陣)が術者 (顧客）に指導を行う場合とに分けて、図に従って説明する。
[0029] こうして、図 3のように術者 (指導者) 3が、聴講者 (顧客）に人間が直視の基に行う医 科手術やその他の精密技術の支援及び指導教育プログラムを実施する場合は、術 者 3が装着する図 1の三次元実体デジタル拡大鏡 1の三次元 CCDカメラ lcから得ら れた拡大術野画像に対して、バイタルモ-ター 5あるいは精密技術施術環境計測器 5のデータと、画像、音声デコーダ 4の情報力 端末パーソナルコンピューター 6で合 成され、画像、音声デコーダ 4を通して指導術者 (講師)頭部に搭載した眼鏡型 LCD モニター Idに投影される拡大術野画像上にスパーインポーズされる。
[0030] 前記 LCDモニター Idに投影される画像情報と、マイクロフォン lbの音声指導情 報は、端末パーソナルコンピューター 6からインターネット 9を利用して直接特定契約 受講者 (顧客）は、端末パーソナルコンピューター 7a-l— 7a-Nに配信するか、技術 支援及び支援及び指導教育配信システム配信会社サーバ 8に送信される。この情報 は技術支援及び支援及び指導教育配信システム会社サーバ 8で、術者 (指導者)と 受講者 (顧客)の使用言語が異なる場合は、教育プログラム配信にお 、て受講者 (顧 客）の言語に逐次あるいは同時通訳し、受講者 (顧客）に送信される。これによつて多 数の特定契約受講者 (顧客）は、端末パーソナルコンピューター 7a— 1一 7a— Nに配 信され、医科手術やその他の細密技術に関する施術状況を、さながら現場に居合わ せるような臨場感で仮想体験が可能となる。
[0031] 前記通信構成は双方向に利用可能であるので、受講者 (顧客）の質問事項等は、 端末パーソナルコンピューター 7a-l— 7a-Nのマイクロフォン lbで音声入力すること によって、逆方向にインターネット 9を介してサーバ 8に送信され、質問内容を重複の 無!、ように整理の上、技術支援及び支援及び指導教育配信システム会社サーバ 8よ りインターネット 9を利用して同様に指導術者 (講師)ィャフォン laに送信される。
[0032] 指導術者 (講師) 3aは、特定受講者 (顧客)の質問に対してマイクロフォン lbで端 末パーソナルコンピューター 6aに音声入力し、インターネット 9を介して、技術支援及 び支援及び指導教育配信システム配信会社サーノ に送信する。また、受講者 (顧 客)と術者 (指導者)の使用言語が異なる場合は、教育プログラム配信会社サーバ 8 にて受講者 (顧客）の言語に逐次あるいは同時通訳し、インターネット 9を介して、受 講者 (顧客）の端末パーソナルコンピューター 7a- 1— 7a- Nに配信される。
[0033] 逆に、図 4のように、術者 (顧客) 3bを遠隔地力も専門指導者 (講師陣)が指導す る場合は、術者 (顧客） 3の装着する図 1のデジタル拡大鏡の二次元あるいは三次元 CCDカメラ lcから得られた拡大術野画像情報 A及び拡大術野画像にスパーインポ ーズされたバイタルサインデータ Bあるいは精密技術施術環境計測器の画像情報 B と、マイクロフォン lbより入力される顧客術者の質問内容 Cは、画像、音声デコーダ 4 で端末パーソナルコンピューター 6に入力され、端末パーソナルコンピューター 6から インターネット 9を介して、技術支援及び指導教育配信システム配信会社サーバ 8に 送信される。
[0034] これらの情報は、術者 (顧客) 3bと専門指導者 (講師陣) 7の使用言語が異なる場 合は、教育プログラム配信会社サーバ 8にお 、て専門指導者 (講師陣)言語に逐次 あるいは同時通訳し、専門指導者 (講師陣) 7に送信される。ここで教育配信システム 会社サーバ 8より、インターネット 9を介して、 1人あるいは技術内容が多義の分野に またがる場合は複数の専門指導者 (講師陣)の端末パーソナルコンピューター 7b-l 一 7b- Nに送信される。
[0035] 専門指導者 (講師陣） 7は、端末パーソナルコンピューター 7b-l— 7b-Nに表示さ れる術者 (顧客） 3の拡大術野画像情報 A及び拡大術野画像にスパーインポーズさ れたバイタルサインデータ Bあるいは精密技術施術環境計測器の画像情報 Bを観察 しながら、技術指導と質疑応答をするために、端末パーソナルコンピューター 7b-l— 7b-Nを利用して、立体指示マーク 30aによる画像指示指導や、マイクロフォン lbによ る音声指導を入力し、この入力情報が逆方向にインターネット 9を介して技術支援及 び指導教育配信システム配信会社サーバ 8に送信され、さらにインターネット 9を経て 、術者 (顧客) 3側に送信される。
[0036] ここで、専門指導者 (講師陣) 12と術者 (顧客) 3の使用言語が異なる場合は、教 育プログラム配信会社サーバ 8において、術者 (顧客） 3の言語に逐次あるいは同時 通訳し、術者 (顧客） 3の装着する図 1の三次元実体デジタル拡大鏡 LCDモニター 3 6上に直接、立体指示マーク 30a情報及びィャフォン laに音声指導情報を送る。この ようにして、双方向の通信を特定契約者である術者 (顧客 3)に対して行うことにより、 実技の教育的指導サービスが可能となる。
[0037] また、図 1においてインターネット 9に接続した端末パーソナルコンピューター 6およ び端末パーソナルコンピューター 7は、上述のようにインターネット 9に接続されている ため、教育プログラム配信会社サーバ 8のホームページにアクセスする機能を備える ことは勿論である。
[0038] これにより、教育プログラム配信会社サーバ 8のホームページを利用して、聴講者 ( 顧客)が技術支援及び指導教育プログラムを購入する場合は、教育プログラム配信 会社サーバ 8のホームページに、各プログラムの指導術者 (講師）の経歴、技術内容 や専門分野、使用言語、指導時間、受講料金などの一般的な広告内容に加えて、リ アルタイムで各プログラムの人気度と、すでに受講した受講者 (顧客)の評価を閲覧 することによって、指導術者 (講師)の一方的な宣伝広告内容あるいは、既に同一の 教育プログラムを受講した知人の主観的評価以外の客観的な判断基準を得ることが 可能となる。同様に、受講者 (顧客）は、教育プログラムの受講申し込みと、受講料の 決済を教育プログラム配信会社サーバ 8のホームページ上で事務処理可能である。
[0039] また、教育プログラムを開講する指導術者 (講師）は、教育プログラム配信会社サー バ 8のホームページを利用して、宣伝広告と受講申し込み受付作業および正式受付 受理のための受講料集金確認作業を行うことができる。
[0040] 逆に、受講希望術者 (顧客)が、複数の各分野の専門指導者 (講師陣)による個 別技術教育支援及び指導教育プログラムを購入する場合は、教育プログラム配信会 社のインターネットホームページウェブサイトに公開された指導者 (講師陣)の技術内 容ゃ専門分野、使用言語および指導時間や、施術単位による個別技術教育指導諸 費用を閲覧して、受講希望術者 (顧客)は、指導者 (講師陣)の一方的な宣伝広告内 容、あるいは既に教育プログラムを受講した知人の主観的評価による価値判断基準 だけでは無ぐ客観的な評価基準で逆指名することも可能となる。
[0041] し力も、この教育プログラム配信会社のインターネットホームページウェブサイトに 公開される明確な指導料によって、指導料金の直接交渉をする必要がない上に、各 専門分野の指導者 (講師陣)は、教育プログラム配信会社によって高度な指導が可 能となるように適切チームに編成されている。また、術者 (顧客）は教育プログラム配 信会社のインターネットホームページウェブサイトで教育指導サービス料を決済する ことができる。
[0042] さらに、指導者 (講師陣)は、医科手術やその他の精密技術に関し、施術内容単 位あるいは時間単位で課金される実技の教育指導サービス講師料にっ 、て、指導 者 (講師陣)の構成人数に従って教育プログラム配信会社が按分した講師料を自動 的に受け取ることが可能となり、事務手続きの煩雑さから解放される。
[0043] また、以上の説明はインターネットを前提とした力 この発明はインターネットに限 らず、術者 (ないし精密作業実施者)の側と、これからの情報を受ける側又はこれを受 けて双方向に発信する側とを、イントラネット等の閉じたネットワークや、その他の専用 回線を利用した通信手段で接続してもよい。また通信手法にしても、通信衛星による 通信等、適宜に選択することができる。
このシステムは、極めて情報量が多く安全で、しかも術者の施術状況を術者の視線 力 完全に記録し、第三者が手術を仮想体験可能な三次元実体デジタル拡大鏡シ ステムを使用することによって、前記各種サービスをネット上に施術介助者に対し技 能や経験あるいは指導言語などの条件と共に報酬金額を提示し、登録医師あるいは 技術者が契約を結び、遠隔地に待機する前記人材 (指導者)の人材派遣を受け、施 術に対して医療過誤等の不足の事態が発生した場合、三次元実体デジタル拡大鏡 システム情報の記録の評価に基づき過失の所在を明確化すると共に、各施術内容と 人材の各専門分野に応じた関わりの程度に従って予め取り決めた契約内容と、契約 内容に従って術者の提示する指導料金に応じて、責任範囲を明確ィ匕し、医療過誤 や瑕疵に対する賠償リスクの分散が可能となる。
[0044] し力もリアルタイムであることと、同時に同一規格の三次元実体デジタル拡大鏡での み通信可能なシステムであるためにデータの改ざんが困難であるので極めて信憑性 が高ぐ術者の施術状況を仮想体験的に観察可能なため、術者技量および瑕疵の 存在を遠隔地にて客観的に査定することができる。
[0045] 術者視野画像中に合成表示する指導画像、ある!ヽは、術者視野画像中に合成表 示する解剖学的三次元画像や、サージカルステント画像を、術者主導の場合は、術 者によって、指導者主導の場合は、指導者の意思によって、アイコンタクトスイッチ、 あるいは音声コマンドスィッチなどを使用してやれば、術者あるいは指導者の施術行 為に関わる手、あるいは足を使用する操作を妨げることが無 、。
図 7は、上記のような三次元実体デジタル拡大鏡 1を利用してインターネットを介して 通信する状況を示す模式図の一例である。この図に示すように、術者パーソナルコン ピューターに入力された術者 CCDカメラの視野画像情報 40は、インターネットを利 用して送信されると共に、術者パーソナルコンピューター内でインターネットを介して 指導者パーソナルコンピュータ一力も送信された指導者 CCDカメラフローティング画 像 43とクロマキ一画像合成され 42、術者 LCDにクロマキ一合成画像情報 42が表示 される。
同様に指導者は、指導者 LCDに表示される前記インターネットを介して送信された 術者 CCDカメラの視野画像情報 40上で、指導者 CCDカメラ情報 41の中からフロー ター化画像処理された画像を指導者パーソナルコンピューター内でクロマキ一合成 表示することによって指導者 LCD上で実際に使用する医療器具などで、あたかも自 分自身が出刀するようなリアリティーを以つて指導指示することが可能である。同一規 格の三次元実体デジタル拡大鏡 1を利用したこのシステムでは、この指導者 CCD力 メラフローティング画像 43は、インターネット通信回線を介して術者パーソナルコンビ ユーター上でクロマキ一合成処理をしてやれば、術者 CCDカメラの視野画像情報 40 上に指導者 CCDカメラフローティング画像 43を位置補正することなく指導者 LCDと 同一の画像を術者 LCD上に反映することができる。
カロえて、術者 CCDカメラからの情報をサーバコンピューターに取り込み、位置補正及 び自動追尾処理をした位置補正サージカルステントフローティング画像 44を術者パ 一ソナルコンピューター及び指導者パーソナルコンピューターに送信し、術者 CCD カメラの視野画像情報 40上にクロマキ一合成画像処理をしてやれば術者及び指導 者の LCDにサージカルステント画像を反映することができる。これらの操作はすべて 術者 CCDカメラの視野画像情報 40を元に行われることであるので位置補正をするこ となく三者が同一の画像を共有することができる。この模式図から分力るように術者三 次元実体デジタル拡大鏡システムと指導者三次元実体デジタル拡大鏡システムは 全く同一の機能を持つので、指導者及び術者は容易に入れ替わることも可能となる。
[0046] 尚、本発明の三次元実体デジタル拡大鏡システムの構成及び通信に対する主体 は、上記した実施の形態に限定されるものではなぐ本発明の要旨を逸脱しない範 囲内において種々変更を加え得ることは勿論である。
産業上の利用可能性
[0047] 本発明の画像合成三次元視覚指示機能を備えた三次元実体デジタル拡大鏡技術 支援及び指導教育配信システムは、インターネット等の通信網を利用して技術指導 を行う三次元実体デジタル拡大鏡装置に関する。 より詳しくは、人が直視のもと〖こ 行う医科手術やその他の手作業で行う細密特殊技術教育プログラムの配信や、特定 の顧客が行う医科手術やその他の手作業で行う細密特殊技術の教育指導 (専門知 識を持たない人間をロボットに見立て、遠隔地より前記ロボットに見立てた人間の視 野を観察しながら得た情報に基づき音声指示、視覚指示などでコントロールする)三 次元実体デジタル拡大鏡装置に関し、さらに同一規格の三次元実体デジタル拡大 鏡を術者及び指導者が使用することによって、遠隔地においても大掛力りな設備を 使用することなくクロマキ一合成を可能とするスタジオシステムを構築可能であり、同 時に、各種教育プログラムの受講者及び指導者の募集手段と、より安価な技術指導 に対する指導料金や受講者に発生する受講料をインターネット決済するものである。 一般に、医科手術やその他の手作業で行う特殊技術を実況で供覧させる教育プログ ラムでは、指導術者 (講師)と同じ理想的な視野力 閉鎖的な部位に対する手術およ び技術見学を実施する場合、複数の受講者 (顧客）に対して各施術段階で施術状況 を順次見学させるには膨大な時間を要するだけでなぐ施術施設の物理的制約によ つて同時に見学可能な人数には制約があるために、少人数を対象に実施されていた 。加えて、指導術者 (講師)と受講者 (顧客)の使用言語が異なる場合、施術現場に 通訳を同席させる必要が有るので受講者 (顧客） 1人あたりの教育プログラム受講料 は高価であった。
[0048] また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させるこ とは困難であり、その他の手作業で行う特殊技術においても大が力りな施設や移動 不可能な機械器具を必要とする場合、見学受講者 (顧客)は施術日時に日程を調整 の上、多大なる交通費と移動に対する時間的コストを費やして出向いていた。その上 、受講希望者が教育プログラムを購入する場合は、指導術者 (講師)の一方的な宣 伝広告内容あるいは、既に同一の教育プログラムを受講した知人の主観的評価によ る価値判断基準によってのみ購入検討を行うしかすベが無ぐ更に受講料の支払い を各講師の指定する支払 、手段で別途支払わなければならな力つた。逆に教育プロ グラムを開講する指導術者 (講師)は、各種媒体を利用して宣伝広告を行い、受講者 (顧客)の多少に関わらず受講申し込み受付後、再度正式受付受理のために受講料 の集金確認作業を行って!/ヽた。
[0049] 反対に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する 場合、指導者 (講師陣)は現場まで移動しなくてはならず、多大なる経費を要するた めに指導に関わる諸費用（交通費と移動に対する時間的コスト）は高価なだけで無く
、移動に長時間を要する遠隔地では緊急医科手術に対応する事は困難であつたし、 複数の指導者 (講師陣)によって指導を実施する場合なおさら諸費用は嵩み、緊急 医科手術対応はより困難であった。さらに、術者 (顧客)と指導者 (講師陣)の使用言 語が異なる場合、施術現場に通訳を同行する必要があった。
[0050] し力も、医師免許の法的規制により海外で医療行為を実施することは禁じられてい るために、指導者 (講師陣)が該当諸外国で自ら直接出刀する実況手術見学教育プ ログラムの開講および手術の実技指導をする事は基本的にはできない。
[0051] また、術者 (顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実 際に希望した場合、指導者 (講師陣)の選定は、限られた人脈の範囲に限られざるを 得ず、個々の指導者 (講師陣)に対する指導料の明確な算定基準も無ぐ直接交渉 せざるを得な 、ために指導者 (講師陣)の選定に苦慮して 、ただけでなく、それぞれ 指導料の支払いも指導時間や指導内容に従って各個別の支払い手段で別途支払 わなければならならず、事務手続きが煩雑であった。
それのみならず、従来医療分野において医療行為の監査を実施する場合、診断内 容と医療行為の整合性の監査に有用であり、医療過誤の判定に役立つばかりか、医 療保険分野においては、医療行為に対するコストの算定基準として有効である。同 様に学術的に外科的な分野 (医師の個人的な技量)を客観的に評価することが可能 であるので、医学学会等をインターネット上でリアルタイムの発表によって開催するこ とが可能であり、このことは医師の直接的な能力評価、つまり学会認定医の選定基準 などに極めて有用である。
この様な諸問題を解決の上、効率的な技術教育を実施するに当たり好適なビジネス システムが構築できる。

Claims

請求の範囲
術者及び指導者が各々装着する、両眼の直前に設置された一対の LCDで構成され る三次元実体デジタル拡大鏡と、前記三次元実体デジタル拡大鏡前面の装着作業 者左右瞳孔中央部に相当する位置から、裸眼視野方向に向けて取り付けた一対の 同期されたズームレンズ搭載自動焦点 CCDカメラの左側 CCDカメラ画像情報を、前 記三次元実体デジタル拡大鏡の左側 LCDに、右側 CCDカメラ画像情報を、前記三 次元実体デジタル拡大鏡の右側 LCDに、表示する同一規格の三次元実体デジタル 拡大鏡を利用して、インターネットやイントラネット等の通信手段を介して通信すること によって、術者及び指導者が共有する術者術野画像を指導者が観察しながら術者 が直視の基に行う医科手術やその他の精密技術の支援及び指導教育に使用するシ ステムであって、
前記指導者側の三次元実体デジタル拡大鏡装置の CCDカメラ前方視野前面で、前 記指導者側 CCDカメラが捕える指導者視野画像中から、指導者が視覚指示を行う ために操作する立体ポインティングデバイス、あるいは術者が使用する器具と同一の 各種器具 (ダミー）の画像のみ抽出し背景画像を取り除くフローター化画像処理装置 と、
術者および指導者が共有する術者三次元実体デジタル拡大鏡装置の CCDカメラが とらえる術者視野画像上に、
前記画像処理装置から出力される背景のないフローター化された三次元視覚指示 画像を合成表示する画像クロマキ一合成画像処理装置と、
を含み、
最小の構成としては、術者及び指導者が装着する一対の同一規格で同期された三 次元実体デジタル拡大鏡を利用して、指導者は、指導者が装着する三次元実体デ ジタル拡大鏡の LCDモニターに投影される術者 CCDカメラが捕えた術者視野立体 画像 (指導者にとっては仮想立体画像）中にクロマキ一合成表示される、指導者 CC Dカメラが捕らえる指導者視野画像中からフローター化画像処理によって抽出された 、指導者が操作する立体ポインティングデバイス、あるいは術者が使用する器具と同 一の各種器具 (ダミー)の画像を利用して術者視野立体画像中に立体的で臨場感の ある視覚指示を行うことを特徴とする三次元視覚指示機能を備えた三次元実体デジ タル拡大鏡システム。
[2] 請求項 1に記載の画像処理装置から出力される指導者が操作する背景のないフロー ター化された立体ポインティングデバイス、あるいは術者が使用する器具と同一の各 種器具 (ダミー)の三次元視覚指示画像を、前記術者が装着する実体デジタル拡大 鏡の CCDカメラ術者視野画像情報上にクロマキ一合成表示する際に、術者の作業 状況視野画像と前記指導者の三次元視覚指示画像が重複し、術者視野と施術行為 を視覚的に妨害することを防止すると共に、術者が容易に指導画像であることを判別 するために、前記指導者の三次元視覚指示画像を 0パーセントから 100パーセント の割合で透明度を変更する力 あるいは加えて色調を変換の上、合成表示するクロ マキ一合成画像処理装置を備えることを特徴とする三次元視覚指示機能を備えた三 次元実体デジタル拡大鏡システム。
[3] 請求項 1及び請求項 2に記載の指術者指導者双方の LCDに表示する術者三次元 実体デジタル拡大鏡 CCD画像情報を 0パーセントから 100パーセントの割合で透明 度を変更した画像上に、
施術患者の予め CTあるいは MRIなどの断層撮影情報を元に作製した任意の骨、 血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視画像に 加えて切開や骨切削などの位置を立体的に画像合成表示したサージカルステント画 像を同様に 0パーセントから 100パーセントの割合で、特に解剖学的ランドマークを 示す部位や組織の透明度や色調を変更する力 ある 、はワイヤーフレーム表示など で前記術者三次元実体デジタル拡大鏡 CCD画像情報に対して視覚的差異を与え ることによって容易に判別可能となるように画像処理変換した三次元画像情報を、術 者三次元実体デジタル拡大鏡 CCD画像情報中の任意に定めた歯牙、ある 、は骨 のような変形することの無 、硬糸且織上の三点を基準点として、前記三次元実体デジタ ル拡大鏡の左右 CCDを利用した三次元位置計測を基準三角平面として解剖学的 三次元画像を前記術者三次元実体デジタル拡大鏡 CCD画像上に三次元的に等縮 で重ね合わせ、
術者 CCDカメラ位置変化及び患者の姿勢の変化による術者三次元実体デジタル 拡大鏡 CCD画像情報の基準点の位置変化に対して前記解剖学的三次元画像が自 動的にリアルタイムで位置補正して追尾することによって、
患者に対する術者の視野角度の変化、あるいは患者の姿勢の変化に対しても常に 位置補正を自動的に行 、三次元実体デジタル拡大鏡の LCDに表示される術者視 野画像中に三次元的に正確な等尺三次元透視画像を合成表示する画像位置補正 追尾装置を備えることを特徴とする三次元視覚指示機能を備えた三次元実体デジタ ル拡大鏡システム。
[4] 請求項 1から請求項 3に記載の術者三次元実体デジタル拡大鏡 CCD画像情報を インターネットやイントラネット等の通信手段を利用して、遠隔地において、予め遠隔 地で保有する施術患者の CTある 、は MRIなどの断層撮影情報を元に作製した任 意の骨、血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視 画像を元に術者あるいは第三者 (他の医師)が切開や骨切削などの位置を予め設計 した立体サージカルステント画像を、前記術者三次元実体デジタル拡大鏡 CCD画 像情報に遠隔地で合成処理を行い、正確に重ね合わせ、あた力も実体を透視した状 況を示すそれぞれの合成表示画像を、画像位置補正追尾装置によって術者 CCD力 メラ位置変化及び患者の姿勢の変化に対してリアルタイムに自動的に位置補正し、 常に三次元的に正確な位置に合成表示した画像を前記術者及び指導者に配信す ることを特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システ ム。
[5] 請求項 1に記載の術者三次元実体デジタル拡大鏡術者三次元画像情報と、請求項 3に記載の術野画像中に三次元的に正確な等尺三次元透視画像を合成表示するサ ージカルステント画像情報をサーバに蓄積し、前記サーバに蓄積した画像情報を共 有する複数の同期した三次元デジタル拡大鏡を装着する者が、それぞれ前記術者 三次元実体デジタル拡大鏡術者三次元画像情報上に前記サージカルステント画像 情報を随時表示非表示切り替可能とし、更に請求項 1及び 2に記載の各々装着する 三次元実体デジタル拡大鏡 CCDカメラを利用して得られる三次元視覚指示画像を サーバに送信しサーバに蓄積した術者三次元画像に合成表示することによって、ィ ンターネットなどの通信回線を利用して三次元動画あるいは静止画に対して双方向 通信によるディスカッションを可能としたことを特徴とする三次元実体デジタル拡大鏡 システム。
[6] 請求項 1から請求項 4に記載の各々同期された術者及び指導者の装着する三次元 実体デジタル拡大鏡装置およびフローター化画像処理装置を複数台とし、術者及び 指導者が画像を共有することによって、同時に複数の指導者が 1人の術者に三次元 的に視覚表示指示画像による指導を実施するか、あるいは必要に応じて複数の術者 の視野画像を切り替え表示することによって、 1人の指導者が複数の術者に三次元 的に視覚指示指導を、インターネットやイントラネットなどの各種通信手段を介して実 施することを特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡大鏡シ ステム。
[7] 請求項 1から請求項 2に記載の三次元的視覚表示指示画像による指導状況を、イン ターネットなどの各種通信手段を介して実況放送あるいは録画放送で術者及び指導 者以外の多数の受講者あるいは第三者機関に配信公開する場合、一方の三次元実 体デジタル拡大鏡の CCDカメラから出力される左右二チャンネルの出力信号を前記 三次元実体デジタル拡大鏡ノヽードウエア内で暗号ィ匕し、他方の三次元実体デジタ ル拡大鏡ノ、一ドウエア内でエンコードすることによって、規定の三次元実体デジタル 拡大鏡ノヽードウエア構成を持つ端末を利用なくしては正常画像表示不能とすること によって、より高いセキュリティーを施し、患者プライバシーを守ることを可能としたこと を特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム。
[8] 請求項 1から請求項 5に記載の極めて情報量が多ぐしかも術者の施術状況を仮想 体験可能な三次元実体デジタル拡大鏡システムを使用して、ネット上に施術介助者 に対し技能や経験ある 、は指導言語などの条件と共に報酬金額を提示し、登録医 師あるいは技術者と契約を結び、遠隔地に待機する前記人材 (指導者)の人材派遣 を受け、施術に対して医療過誤等の不足の事態が発生した場合、三次元実体デジタ ル拡大鏡システム情報の記録に基づき過失の所在を明確化すると共に、各施術内 容と人材の各専門分野に応じた関わりの程度に従って予め取り決めた契約内容と、 契約内容に従って術者の提示する指導料金に応じて、責任範囲を明確ィ匕し、医療 過誤や瑕疵に対する賠償リスクの分散を可能としたことを特徴とする三次元視覚指示 機能を備えた三次元実体デジタル拡大鏡システム。
[9] 請求項 1から請求項 5に記載の極めて情報量が多ぐし力もリアルタイムであることと 、同時に同一規格の三次元実体デジタル拡大鏡でのみ通信可能なシステムである ために極めて信憑性の高ぐ術者の施術状況を仮想体験的に観察可能な三次元実 体デジタル拡大鏡システムを使用して、術者技量を遠隔地にて客観的に査定するこ とを可能としたことを特徴とする三次元視覚指示機能を備えた三次元実体デジタル 拡大鏡システム。
[10] 請求項 1から請求項 5に記載の術者視野画像中に合成表示する指導画像、あるい は、術者視野画像中に合成表示する解剖学的三次元画像や、サージカルステント画 像を、術者主導の場合は、術者によって、指導者主導の場合は、指導者の意思によ つて、術者あるいは指導者の施術行為に関わる手、あるいは足を使用する操作を妨 げることの無いスィッチ操作により表示あるいは非表示操作可能としたことを特徴とす る三次元実体デジタル拡大鏡システム。
PCT/JP2005/004758 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム WO2005093687A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN2005800129810A CN1973311B (zh) 2004-03-26 2005-03-17 具有三维视觉指示功能的三维立体数字放大镜系统
AU2005225878A AU2005225878B2 (en) 2004-03-26 2005-03-17 3D entity digital magnifying glass system having 3D visual instruction function
BRPI0508748-1A BRPI0508748B1 (pt) 2004-03-26 2005-03-17 Sistema tridimensional para orientação e instruções visuais remotas, dotado de visor tridimensional com câmeras.
MXPA06011083A MXPA06011083A (es) 2004-03-26 2005-03-17 Sistema de cristal de aumento de entidad digital tridimensional, con funciones de instruccion visual tridimensional.
US10/594,193 US7367809B2 (en) 2004-03-26 2005-03-17 Three-dimensional digital entity mesoscope system equipped with three-dimensional visual instruction functions
CA2561274A CA2561274C (en) 2004-03-26 2005-03-17 Three-dimensional digital entity magnifying glass system incorporating three-dimensional visual training functions
EP05726663.7A EP1739642B1 (en) 2004-03-26 2005-03-17 3d entity digital magnifying glass system having 3d visual instruction function
JP2005518945A JP4440893B2 (ja) 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004091349 2004-03-26
JP2004-091349 2004-03-26

Publications (1)

Publication Number Publication Date
WO2005093687A1 true WO2005093687A1 (ja) 2005-10-06

Family

ID=35056406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/004758 WO2005093687A1 (ja) 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Country Status (12)

Country Link
US (1) US7367809B2 (ja)
EP (1) EP1739642B1 (ja)
JP (1) JP4440893B2 (ja)
KR (1) KR100819819B1 (ja)
CN (1) CN1973311B (ja)
AU (1) AU2005225878B2 (ja)
BR (1) BRPI0508748B1 (ja)
CA (1) CA2561274C (ja)
MX (1) MXPA06011083A (ja)
MY (1) MY154870A (ja)
RU (1) RU2390852C2 (ja)
WO (1) WO2005093687A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010528354A (ja) * 2007-05-18 2010-08-19 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
WO2012133172A1 (ja) * 2011-03-30 2012-10-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2013180773A1 (en) * 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
JP5390377B2 (ja) * 2008-03-21 2014-01-15 淳 高橋 三次元デジタル拡大鏡手術支援システム
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
JP2015221201A (ja) * 2014-04-24 2015-12-10 ドクター クリストフ エラーブロックＤｒ． Ｃｈｒｉｓｔｏｆ Ｅｌｌｅｒｂｒｏｃｋ 頭部装着型仮想現実統合プラットフォーム
US9545188B2 (en) 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
WO2018073969A1 (ja) * 2016-10-21 2018-04-26 サン電子株式会社 画像表示装置及び画像表示システム
WO2023152830A1 (ja) * 2022-02-09 2023-08-17 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US7746321B2 (en) * 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US8102383B2 (en) 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US7873243B2 (en) 2005-03-18 2011-01-18 The Invention Science Fund I, Llc Decoding digital information included in a hand-formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US8229252B2 (en) 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US8599174B2 (en) 2005-03-18 2013-12-03 The Invention Science Fund I, Llc Verifying a written expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
JP2009540298A (ja) * 2006-06-05 2009-11-19 ヴィジコン インスペクション テクノロジーズ エルエルシー ステント検査システム
EP1884819A1 (en) * 2006-08-02 2008-02-06 Swiss Medical Technology GmbH Eyewear with segmented look-through elements
JP2010533008A (ja) * 2007-06-29 2010-10-21 スリーエム イノベイティブ プロパティズ カンパニー ビデオデータ及び三次元モデルデータの同期ビュー
US8690768B2 (en) * 2007-07-26 2014-04-08 David Amitai Patient operable data collection system
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
KR101190265B1 (ko) * 2009-06-30 2012-10-12 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
WO2011025450A1 (en) * 2009-08-25 2011-03-03 Xmreality Research Ab Methods and systems for visual interaction
GB2474083B (en) * 2009-10-05 2015-12-23 Keeler Ltd Improvements in and relating to ophthalmic instruments
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
IT1398933B1 (it) * 2010-03-04 2013-03-28 Clementoni S P A Sistema multimediale per giochi di apprendimento e puzzle.
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
CN102959616B (zh) * 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9155503B2 (en) * 2010-10-27 2015-10-13 Cadwell Labs Apparatus, system, and method for mapping the location of a nerve
US10617478B1 (en) 2011-01-03 2020-04-14 Smith & Nephew Orthopedics AG Surgical implement selection process
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
US20140057229A1 (en) * 2011-02-22 2014-02-27 Rheinmetall Defence Electronics Gmbh Simulator for training a team, in particular for training a helicopter crew
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
WO2013161662A1 (ja) 2012-04-23 2013-10-31 独立行政法人科学技術振興機構 動きガイド提示方法、そのシステム及び動きガイド提示装置
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
US9058681B2 (en) * 2012-06-01 2015-06-16 The Boeing Company Sensor-enhanced localization in virtual and physical environments
EP2893388B1 (en) * 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
US9729831B2 (en) * 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
US9127928B2 (en) * 2012-11-15 2015-09-08 General Electric Company Object location accounting for pitch, yaw and roll of device
EP2920637A2 (en) * 2012-11-19 2015-09-23 orangedental GmbH & Co. KG Magnification loupe with display system
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
GB2496064B (en) * 2012-12-31 2015-03-11 Nicholas Jamie Marston Video camera shooting glasses
US10098585B2 (en) 2013-03-15 2018-10-16 Cadwell Laboratories, Inc. Neuromonitoring systems and methods
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
TW201505603A (zh) 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
KR101579491B1 (ko) * 2013-07-17 2015-12-23 한국과학기술원 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
KR101580559B1 (ko) * 2014-06-02 2015-12-28 조선대학교산학협력단 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
US20160000514A1 (en) * 2014-07-03 2016-01-07 Alan Ellman Surgical vision and sensor system
US20160042233A1 (en) * 2014-08-06 2016-02-11 ProSent Mobile Corporation Method and system for facilitating evaluation of visual appeal of two or more objects
KR20160024168A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP6437257B2 (ja) * 2014-09-19 2018-12-12 株式会社日立ソリューションズ 作業工程学習支援システム
US10433793B1 (en) 2015-03-27 2019-10-08 Cadwell Laboratories, Inc. Methods and systems for simultaneous review of brain activity and physical manifestations of users
KR102349716B1 (ko) 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
JP6611538B2 (ja) * 2015-09-29 2019-11-27 株式会社三菱ケミカルホールディングス 生体信号出力装置
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
KR101763492B1 (ko) 2015-12-22 2017-08-02 이화여자대학교 산학협력단 로봇 수술용 보조 기기
KR101822471B1 (ko) 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US10142298B2 (en) * 2016-09-26 2018-11-27 Versa Networks, Inc. Method and system for protecting data flow between pairs of branch nodes in a software-defined wide-area network
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
US11241297B2 (en) 2016-12-12 2022-02-08 Cadwell Laboratories, Inc. System and method for high density electrode management
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US9935395B1 (en) 2017-01-23 2018-04-03 Cadwell Laboratories, Inc. Mass connection plate for electrical connectors
JP6649912B2 (ja) * 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
US20200261180A1 (en) * 2017-09-06 2020-08-20 Covidien Lp 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure
JP6882147B2 (ja) * 2017-11-28 2021-06-02 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US11517239B2 (en) 2018-04-05 2022-12-06 Cadwell Laboratories, Inc. Systems and methods for processing and displaying electromyographic signals
US11596337B2 (en) 2018-04-24 2023-03-07 Cadwell Laboratories, Inc Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures
US11253182B2 (en) 2018-05-04 2022-02-22 Cadwell Laboratories, Inc. Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation
US11992339B2 (en) 2018-05-04 2024-05-28 Cadwell Laboratories, Inc. Systems and methods for dynamic neurophysiological stimulation
US11443649B2 (en) 2018-06-29 2022-09-13 Cadwell Laboratories, Inc. Neurophysiological monitoring training simulator
US11185684B2 (en) 2018-09-18 2021-11-30 Cadwell Laboratories, Inc. Minimally invasive two-dimensional grid electrode
US11517245B2 (en) 2018-10-30 2022-12-06 Cadwell Laboratories, Inc. Method and system for data synchronization
US11471087B2 (en) 2018-11-09 2022-10-18 Cadwell Laboratories, Inc. Integrity verification system for testing high channel count neuromonitoring recording equipment
US11317841B2 (en) 2018-11-14 2022-05-03 Cadwell Laboratories, Inc. Method and system for electrode verification
US11529107B2 (en) 2018-11-27 2022-12-20 Cadwell Laboratories, Inc. Methods for automatic generation of EEG montages
US11128076B2 (en) 2019-01-21 2021-09-21 Cadwell Laboratories, Inc. Connector receptacle
DE102019207454B4 (de) 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN112634700A (zh) * 2020-12-30 2021-04-09 青岛亿和海丽安防科技有限公司 一种躲避雷电的安全模拟系统及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161769A (ja) 1997-11-25 1999-06-18 Hitachi Denshi Ltd 動作認識情報入力装置
JPH11197159A (ja) 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
JP2002132487A (ja) 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2002207832A (ja) 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
JP2004089599A (ja) 2002-09-04 2004-03-25 Hitachi Medical Corp 画像表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391081A (en) * 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5546943A (en) * 1994-12-09 1996-08-20 Gould; Duncan K. Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality
US6024576A (en) * 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
US6074213A (en) * 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
US6659776B1 (en) * 2000-12-28 2003-12-09 3-D Technical Services, Inc. Portable laparoscopic trainer
US6739877B2 (en) * 2001-03-06 2004-05-25 Medical Simulation Corporation Distributive processing simulation method and system for training healthcare teams
US7095388B2 (en) * 2001-04-02 2006-08-22 3-Dac Golf Corporation Method and system for developing consistency of motion
US20020149599A1 (en) * 2001-04-12 2002-10-17 Honeywell International Inc. Methods and apparatus for displaying multiple data categories
US7056123B2 (en) * 2001-07-16 2006-06-06 Immersion Corporation Interface apparatus with cable-driven force feedback and grounded actuators
WO2004029911A1 (en) * 2002-09-26 2004-04-08 Robert Levine Medical instruction using a virtual patient
US7594815B2 (en) * 2003-09-24 2009-09-29 Toly Christopher C Laparoscopic and endoscopic trainer including a digital camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161769A (ja) 1997-11-25 1999-06-18 Hitachi Denshi Ltd 動作認識情報入力装置
JPH11197159A (ja) 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
JP2002132487A (ja) 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2002207832A (ja) 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
JP2004089599A (ja) 2002-09-04 2004-03-25 Hitachi Medical Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1739642A4

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
JP2010528354A (ja) * 2007-05-18 2010-08-19 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
JP2013085305A (ja) * 2007-05-18 2013-05-09 The Uab Research Foundation 仮想インタラクティブプレゼンスのシステムおよび方法
JP2015100138A (ja) * 2007-05-18 2015-05-28 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
JP5390377B2 (ja) * 2008-03-21 2014-01-15 淳 高橋 三次元デジタル拡大鏡手術支援システム
US9545188B2 (en) 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US10154775B2 (en) 2010-12-02 2018-12-18 Ultradent Products, Inc. Stereoscopic video imaging and tracking system
US10716460B2 (en) 2010-12-02 2020-07-21 Ultradent Products, Inc. Stereoscopic video imaging and tracking system
JP2014505627A (ja) * 2011-01-13 2014-03-06 ザ・ボーイング・カンパニー 拡張コラボレーション・システム
JP2012212991A (ja) * 2011-03-30 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ
WO2012133172A1 (ja) * 2011-03-30 2012-10-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
US11856178B2 (en) 2012-06-01 2023-12-26 Ultradent Products, Inc. Stereoscopic video imaging
JP2015526930A (ja) * 2012-06-01 2015-09-10 ウルトラデント プロダクツ インク． 立体ビデオ撮像
WO2013180773A1 (en) * 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
US10021351B2 (en) 2012-06-01 2018-07-10 Ultradent Products, Inc. Stereoscopic video imaging
US10424115B2 (en) 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
JP2015221201A (ja) * 2014-04-24 2015-12-10 ドクター クリストフ エラーブロックＤｒ． Ｃｈｒｉｓｔｏｆ Ｅｌｌｅｒｂｒｏｃｋ 頭部装着型仮想現実統合プラットフォーム
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
WO2018073969A1 (ja) * 2016-10-21 2018-04-26 サン電子株式会社 画像表示装置及び画像表示システム
JPWO2018073969A1 (ja) * 2016-10-21 2019-08-08 サン電子株式会社 画像表示装置及び画像表示システム
WO2023152830A1 (ja) * 2022-02-09 2023-08-17 リバーフィールド株式会社 支援システム、支援装置、被支援装置
JP7393842B1 (ja) 2022-02-09 2023-12-07 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CA2561274A1 (en) 2005-10-06
CA2561274C (en) 2015-08-11
BRPI0508748B1 (pt) 2018-05-02
US20070184422A1 (en) 2007-08-09
CN1973311A (zh) 2007-05-30
KR100819819B1 (ko) 2008-04-08
KR20060127251A (ko) 2006-12-11
JPWO2005093687A1 (ja) 2008-02-14
EP1739642A1 (en) 2007-01-03
EP1739642A4 (en) 2010-04-14
RU2390852C2 (ru) 2010-05-27
MY154870A (en) 2015-08-14
JP4440893B2 (ja) 2010-03-24
US7367809B2 (en) 2008-05-06
AU2005225878B2 (en) 2009-09-10
AU2005225878A1 (en) 2005-10-06
EP1739642B1 (en) 2017-05-24
MXPA06011083A (es) 2007-04-13
CN1973311B (zh) 2010-08-25
BRPI0508748A (pt) 2007-09-04
RU2006137063A (ru) 2008-05-10

Similar Documents

Publication Publication Date Title
JP4440893B2 (ja) 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
Al Janabi et al. Effectiveness of the HoloLens mixed-reality headset in minimally invasive surgery: a simulation-based feasibility study
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
WO2002054309A1 (fr) Systeme de distribution a distance de formation et de guidage technique par internet mettant en application une intervention de praticien et systeme de guidage utilisant un reseau de communication
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
Nakhla et al. Use of Google Glass to enhance surgical education of neurosurgery residents:“proof-of-concept” study
Heinrich et al. HoloPointer: a virtual augmented reality pointer for laparoscopic surgery training
Sánchez-Ferrer et al. Use of eye tracking as an innovative instructional method in surgical human anatomy
Campisi et al. Augmented reality in medical education and training: from physicians to patients
Mehrfard et al. Virtual reality technologies for clinical education: evaluation metrics and comparative analysis
Grall et al. Surgical training 2.0: a systematic approach reviewing the literature focusing on oral maxillofacial surgery–Part I
Uddin et al. Augmented reality in spinal surgery: highlights from augmented reality lectures at the emerging technologies annual meetings
CN113995525A (zh) 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
Wanibuchi et al. Effectiveness of the 3D monitor system for medical education during neurosurgical operation
Andersen et al. Augmented visual instruction for surgical practice and training
CN212661922U (zh) 一种基于头戴式三维增强现实设备的手术训练和导航装置
Heo et al. Use of Innovative Technology in Surgical Training in Resource-Limited Settings: A Scoping Review
Zhang Improvement of Medical Clinical Teaching by VR Medical Surgical Helmet
Fedorov et al. Infocommunication support for surgeons in training, education and professional activities
US20230129708A1 (en) Procedure guidance and training apparatus, methods and systems
Gupta et al. From diagnosis to therapy: The role of virtual and augmented reality in orthopaedic trauma surgery
Davies et al. Evaluation of virtual reality in orthopaedic training—A pioneering pilot study
Kumaresan et al. A real time visual demonstration of the oral surgical procedures using a webcam system
Campisi et al. to Patients
Rak et al. Online training for hearing implant surgery: A new approach to otological training

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2005518945

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2561274

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: PA/a/2006/011083

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 1020067020913

Country of ref document: KR

REEP Request for entry into the european phase

Ref document number: 2005726663

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2005726663

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 6157/DELNP/2006

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2005225878

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 200580012981.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006137063

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 2005225878

Country of ref document: AU

Date of ref document: 20050317

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2005225878

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 10594193

Country of ref document: US

Ref document number: 2007184422

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020067020913

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005726663

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10594193

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0508748

Country of ref document: BR