JP4440893B2 - 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム - Google Patents

三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム Download PDF

Info

Publication number
JP4440893B2
JP4440893B2 JP2005518945A JP2005518945A JP4440893B2 JP 4440893 B2 JP4440893 B2 JP 4440893B2 JP 2005518945 A JP2005518945 A JP 2005518945A JP 2005518945 A JP2005518945 A JP 2005518945A JP 4440893 B2 JP4440893 B2 JP 4440893B2
Authority
JP
Japan
Prior art keywords
image
dimensional entity
entity digital
digital magnifier
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005518945A
Other languages
English (en)
Other versions
JPWO2005093687A1 (ja
Inventor
淳 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2005093687A1 publication Critical patent/JPWO2005093687A1/ja
Application granted granted Critical
Publication of JP4440893B2 publication Critical patent/JP4440893B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00221Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3616Magnifying glass
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicinal Chemistry (AREA)
  • Economics (AREA)
  • Pure & Applied Mathematics (AREA)

Description

本発明は、インターネット等の通信網を利用して技術指導を行うシステムに関する。
より詳しくは、人が直視のもとに行う医科手術やその他の手作業で行う細密特殊技術教育プログラムの配信や、特定の顧客が行う医科手術やその他の手作業で行う細密特殊技術の教育指導(専門知識を持たない人間をロボットに見立て、遠隔地より前記ロボットに見立てた人間の視野を観察しながら得た情報に基づき三次元画像合成による視覚指示、音声指示などでコントロールする)、あるいは術者が術野から目を離すことなく術者視覚視野に直接術野画像と共に不可視領域の画像情報を提供するシステムに関するものである。
一般に、医科手術やその他の手作業で行う特殊技術を臨床現場で指導する場合、術者と指導者の視野方向と体位が異なるために正確なインスツルメーションなどの手技を指導することは困難であり、手術時間の増大を招くばかりか指導者は術者の視覚的妨害をすることにつながり一時的に作業を中断する必要がある、更に意識下に於ける手術現場では、患者に不安を抱かせ心因性ショックなどの原因となる恐れがあった。
逆に、指導者が行う医科手術などの細密技術を受講者に指導する場合も、指導術者(講師)と同じ理想的な視野から閉鎖的な部位に対する手術および技術見学を実施しようとする場合、複数の受講者(顧客)に対して各施術段階で施術状況を順次見学させるには膨大な時間を要するだけでなく、施術施設の物理的制約によって同時に見学可能な人数には制約があるために、少人数を対象に実施されていた。加えて、指導術者(講師)と受講者(顧客)の使用言語が異なる場合、施術現場に通訳を同席させる必要が有るので受講者(顧客)1人あたりの教育プログラム受講料は高価であった。
さらに、術者に指導する場合も、指導者が受講者に指導する場合も、施術者は、レントゲン、CT、MRI、心電図、などの情報を確認するために術野から一旦目を離して注視する必要があり、特に遠隔地に於いてはリアルタイムでの情報の共有が困難であった。
また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させることは困難であり、その他の手作業で行う特殊技術においても大がかりな施設や移動不可能な機械器具を必要とする場合、見学受講者(顧客)は施術日時に日程を調整の上、多大なる交通費と移動に対する時間的コストを費やして出向いていた。各種通信手段を用いて遠隔地に配信する場合も、基本的に個人の医科手術を第三者に公開する場合、患者本人の同意を得ることはプライバシーの問題上当然のことであるが、情報に通信経路上での漏洩に関しても同様に責任が課せられることになる。反対に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する場合、指導者(講師陣)は現場まで移動しなくてはならず、多大なる経費を要するために指導に関わる諸費用(交通費と移動に対する時間的コスト)は高価なだけで無く、移動に長時間を要する遠隔地では緊急医科手術に対応する事は困難であったし、複数の指導者(講師陣)によって指導を実施する場合なおさら諸費用は嵩み、緊急医科手術対応はより困難であった。しかも、医師免許の法的規制により海外で医療行為を実施することは禁じられているために、指導者(講師陣)が該当諸外国で自ら直接出刀する実況手術見学教育プログラムの開講および手術の実技指導をする事は基本的にはできない。
また、術者(顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実際に希望した場合、指導者(講師陣)各地に点在する優秀な技能や知識を持つ人材を指定時刻にして居場所に一同に集めて手術を監修あるいは管理させることは不可能と言わざるを得ない。さらに、共有する三次元画像に対して三次元指示画像を表示の上ディスカッションするようなシステムは存在しなかった。
日本国特許第3556829号
しかしながら、前述の如く、一般に、医科手術やその他の手作業で行う特殊技術を臨床現場で指導する場合、術者と同一の視野を指導者が確保し、的確な指導を実施することによって、手術時間の増大を防止する。さらに、意識下に於ける手術現場であっても患者に指導者の存在を意識させることがないようにして不必要な不安を抱かせることが内容にする。
逆に、指導者が行う医科手術などの細密技術を受講者に指導する場合、指導術者(講師)と同じ理想的な視野から閉鎖的な部位に対する手術および技術見学を実施する場合において同時に多数の人間が見学可能とする。加えて、指導術者(講師)と受講者(顧客)の使用言語が異なる場合、わざわざ施術現場に通訳を同席させる必要を省き受講者(顧客)1人あたりの教育プログラム受講料を定額にする。
さらに、術者に指導する場合も、指導者が受講者に指導する場合も、施術者は、レントゲン、CT、MRI、心電図、などの情報を確認する際に術野から目を離すことなく閲覧可能とし、また前記情報を遠隔地においてもリアルタイムで共有する。
また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させることなく、逆に見学受講者(顧客)の交通費と移動に対する時間的コストを軽減する。前記各種通信手段を用いて遠隔地に配信する場合も、個人情報の漏えいを防止する。反対に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する場合、指導者(講師陣)の諸費用(交通費と移動に対する時間的コスト)を軽減し、移動に長時間を要する遠隔地では緊急医科手術に対応し、加えて複数の指導者(講師陣)による指導を可能とする。しかも、医師免許の法的規制を排除し、指導者(講師陣)が該当諸外国で自ら直接出刀する実況手術見学教育プログラムの開講および手術の実技指導を可能とする。
また、術者(顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実際に希望する場合、指導者(講師陣)各地に点在する優秀な技能や知識を持つ人材を指定時刻にして居場所に一同に集め手術を監修あるいは管理し、さらに、共有する三次元画像に対してリアルタイムでディスカッション可能とすることである。
課題を解決するための手段及び発明の効果
本発明は、インターネットやイントラネットを通信手段として、人間が直視のもとに行う医科手術やその他の精密技術の支援及び支援及び指導教育プログラムを実行する三次元実体デジタル拡大鏡に数々の付加機能を加えたシステムであって、
前記医科手術やその他の精密技術支援及び支援及び指導教育プログラムを実施するに当たり、最小の構成としては、術者及び指導者が装着する同期された同一規格で、両眼の直前に設置された一対のLCDで構成される三次元実体デジタル拡大鏡と、前記三次元実体デジタル拡大鏡前面の装着作業者左右瞳孔中央部に相当する位置から、裸眼視野方向に向けて取り付けた一対のズームレンズ搭載自動焦点CCDカメラからなる三次元実体デジタル拡大鏡で構成される装置を使用して、術者及び指導者双方の三次元実体デジタル拡大鏡LCDモニターに共有表示される術者が装着する三次元実体デジタル拡大鏡装置のCCDカメラで捕らえる術者視野立体画像上に、フローター化画像処理装置によって指導者側の三次元実体デジタル拡大鏡装置のCCDカメラで捕らえる指導者側の三次元実体デジタル拡大鏡装置のCCDカメラ前方視野全域をカバーするように設置したRGB色の中で、視野画像背景色に応じて補色関係を考慮して、レッド、グリーンまたはブルーの単一色バック(口腔内においては血液及びは肉の赤に対して補色となる赤が好ましい)の背景前面で、指導者が三次元実体デジタル拡大鏡装置のLCDモニター上で認識しながら視覚指示を行うために操作する指導者視野内で保持し自由に動かすことのできる立体ポインティングデバイス、あるいは術者が使用する器具と同一の各種器具(ダミー)の三次元画像のみ抽出し、さらに画像クロマキー合成画像処理装置によってフローター化された三次元視覚指示画像を0パーセントから100パーセントの割合で透明度を変更するか色彩的に判別しやすいように変換の上合成表示し、術者、指導者双方のLCDに合成表示することを特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システムである。この三次元実体デジタル拡大鏡システムによって、術者あるいは指導術者は、施術野から視線をそらすことなく、術野を撮像観察する際に、術者の頭などが障壁になることなく、理想的なカメラアングルが得られるので、術者はカメラ位置に気を配ることなく施術に集中することができる。
当然この指導行為は、指導者は施術環境から離れた場所で指導することが可能であるので、患者には一切認知されることなく遂行され、患者に対して不必要な心理的影響を与えることがないだけでなく、術者は、術者の装着する三次元実体デジタル拡大鏡視野画面で捕らえる目の前の実体(患者)に対して、指導者が指導者三次元実体デジタル拡大鏡の術者視野画像仮想空間上で操作する、術者が実際に使用する器具と同様の器具の立体画像を、術者LCD上の実体画像上の作業空間に、三次元的奥行きをも表現することによって、指導者が行うリアリティーのあるシミュレーションによる指導を受けることができるばかりか、あたかも、術者に対して術者が自ら同器具を使用して施術する状況を視覚的に作り出すことが容易に可能であるので、術者と指導者の言語による意思の疎通が不十分な場合においても視覚的に充分補うことが可能である。
この、視覚的指示を行う実技の教育的指導サービスを行うことによって、1人あるいは複数の指導者(講師陣)の移動に関わる時間的金銭的経費は皆無となり、医科手術においては遠隔地であっても緊急対応が可能となる。
また、医科手術においては任意の手術施設から患者を移動させること無く、教育プログラムの指導術者(講師)と受講者(顧客)の医師免許証発給国籍が異なる場合でも医師免許証の制約を受けること無く、国境を越えて受講者(顧客)に指導することを可能にする。この三次元実体デジタル拡大鏡装置を更に発展させて、術者と指導者が共有する術者視野画像中に施術患者の予めCTあるいはMRIなどの断層撮影情報を元に作製した骨、血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視画像に加えて切開や骨切削などの位置を立体的に画像合成表示したサージカルステント画像を、同様に0パーセントから100パーセントの割合で、特に解剖学的ランドマークを示す部位や組織の透明度や色調を変更するか、あるいはワイヤーフレーム表示などで前記術者三次元実体デジタル拡大鏡CCD画像情報に対して視覚的差異を与えることによって容易に判別可能となるように画像処理変換した三次元画像情報を合成表示することによって、術者はあたかも皮膚や軟組織を透視して血管や骨の形状を、あるいは更に骨を透視して骨の中を走向する神経の様子を視覚的に把握することが可能となるために安全で的確な施術を実施することが可能になる。しかし、HMDを装着する術者と、術野の対象は双方とも3時次元的な位置が常に変化することが考えられる。この問題を解決するためには、前記解剖学的三次元画像やサージカルステント画像を、術者HMDに表示される術野画像に正確に重ね合わせ、術者の頭部の位置変化と患者の体位の変化に対応して解剖学的三次元透視画像やサージカルステント画像が術者CCDカメラの捕らえる術野画像を追尾する必要がある。このような構成を臨床的に応用可能なものとするために、術者三次元実体デジタル拡大鏡の左右それぞれ同期された2個のCCDカメラの撮像する術者視野画像から静止画像を取り出し、このそれぞれの画像上の、歯あるいは骨のような解剖学的に普遍的な硬組織上の3点に基準点を設け、この3点ずつ計6点の位置情報を記録する。この左右2個のCCDカメラによる三点位置計測によって三次元的な術者と患者の位置関係を記録し、術者視野画像中(動画)の基準となる3点の位置的移動を追尾することによって常に三次元的な術者三次元実体デジタル拡大鏡と患者の体位の位置変化を把握することができる。同時に前記、術者三次元実体デジタル拡大鏡の2個のCCDカメラ情報からそれぞれ取り出した静止画上の解剖学的に普遍的な硬組織上の3点に、解剖学的三次元画像やサージカルステント画像上の前記硬組織上の基準なる三点と同一の三点を正確にプロットし、術野画像中に解剖学的三次元画像やサージカルステント画像を位置的に正確に重ね合わせ、術野三次元画像中における解剖学的三次元画像や三次元サージカルステント画像の術者三次元実体デジタル拡大鏡が捕らえる術野空間における三次元的な位置を記録する。これによって術者三次元実体デジタル拡大鏡と患者の体位の三次元的位置移動に従って解剖学的三次元画像や三次元サージカルステント画像を三次元的に追尾させることが可能となる。
これらの解剖学的三次元画像や三次元サージカルステント画像は、遠隔地にて一元的に管理運営することも可能である。例に挙げれば、主治医と遠く離れた地域で緊急に手術を要する場合などに、術者は、まさに施術しようとする患者の三次元実体デジタル拡大鏡から得られる左右CCDカメラ情報を各種通信手段を利用して送信し、遠隔地にて前記受信情報(術者の三次元実体デジタル拡大鏡から得られる左右CCDカメラ情報)から任意の静止画を取り出し、解剖学的三次元画像や三次元サージカルステント画像を重ね合わせることによって位置補正し、術野画像情報の位置的変化の電算処理を行いこの三次元的移動量に従って前記解剖学的三次元画像や三次元サージカルステント画像追尾の上、重ね合わせた合成画像を送信し、術者の装着する三次元実体デジタル拡大鏡LCDに立体画像として表示することも可能である。
さらにこのシステムはこの様な、解剖学的三次元画像や三次元サージカルステント画像の表示や三次元視覚的指導は、術者と指導者が1対1の状況に留まらず、複数の指導者が同時に指導に参加することも可能である。この様な指導状況では、術者視野画像を一つのテーブルに見立て、このテーブル上で術者と共に複数の指導者が各種専門的カテゴリーについての意見を交換することが可能であり、このときテーブルの管理実権は予め取り決めた優先順位に従って操作可能とすることによって、混乱することなく容易に共有するテーブル(表示画面)を管理運営することが可能である。
同様に、術者が装着する三次元実体デジタル拡大鏡装置のCCDカメラから得られた三次元画像情報をインターネットやイントラネット等の通信手段を介して通信し、サーバに蓄積することによって、その画像情報を同時に複数の同期した三次元デジタル拡大鏡を装着する者がインターネットやイントラネット等の通信手段を介して共有することが可能となる。この画像は蓄積動画画像ではあるものの術者が実際に施術した際の術野視野画像であるので、臨場感のあるきわめてリアリティーの高いものになりえる。さらに、この複数の視聴者が共有する術野画像情報と同様にサーバに蓄積した、施術患者の予めCTあるいはMRIなどの断層撮影情報を元に作製した任意の骨、血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視画像に加えて切開や骨切削などの位置を画像位置補正追尾装置によって正確に立体的に画像合成したサージカルステント画像を、各々の視聴者が随時表示非表示切替可能とすることによって、より情報量の多い手術デモンストレーションを得ることが出来る。加えて、各々が視聴用の手段として装着する三次元実体デジタル拡大鏡の画像中に、前記三次元実体デジタル拡大鏡のCCDカメラを利用して得られる視聴者視野画像中からフローター化画像処理装置によって背景画像を取り除き、視聴者が操作する立体ポインティングデバイス、あるいは術者が使用する器具と同一の各種器具(ダミー)の画像のみ抽出し、0パーセントから100パーセントの割合で透明度を変更の上、各々の視聴者ごとに色彩を変更したフローティング画像を、各々の視聴者が随時表示非表示の切り替え可能な状況で蓄積画像上にクロマキー合成することによって、インターネットなどの通信回線を利用して三次元動画あるいは静止画に対して双方向通信によるディスカッションや、手術シミュレーションを行うことが可能となる。また、各種通信手段を用いて遠隔地に医科手術を第三者に配信公開する場合、患者プライバシーの問題については、暗証番号などによるアクセスの制限、及び三次元画像を提供する2チャンネルに異なった画像スクランブル処理(暗号化)し、この通信機器として使用するパソコン上でソフトウエアデコーディングを行うか、三次元実体デジタル拡大鏡のハードウエア内にデコーディング機能を持った集積回路を搭載するか、あるいは、三次元実体デジタル拡大鏡(端末)に割り振られたコード番号を識別させることによって、より高いセキュリティーが実現できる。さらに、これらの情報の一定の制約に基づく公開は、各種技術の発展に寄与するだけでなく、有能な技術者(医師など)の発掘や、最新の優良な技術を瞬時に世界的規模で普及することが可能となる。
その上、極めて情報量が多く、しかも術者の施術状況を仮想体験的に、閲覧、指導及び記録可能である三次元実体デジタル拡大鏡システムを使用して、指導者あるいは介助者の選定に際しては、地域や時間の制約を受けることなく、ネット上で情報交換場を提供することによって可能となる。しかも、技量を客観的に査定されることが可能であるので、術者が支援及び指導教育プログラムを購入する場合、指導術者(講師)の一方的な宣伝広告内容あるいは、既に教育プログラムを受講した知人の主観的評価だけではなく、第三者機関による信憑性の高い客観的な評価基準を提示することが可能となり、指導に対する技術評価と技術指導料に容易に正当性を加味することが可能となるばかりか、指導者(介助者)の選定に際しては、専門分野別に技能や経験あるいは指導言語などの条件と共に報酬金額を提示することによって容易に核等施術内容に最適な人材を選定することが可能となる。
この登録医師あるいは技術者とネット上で金銭契約を結び、その施術指導あるいは介助行為が術者あるいは指導者の一方の契約不履行が発生した場合も、予め契約された内容に従って損害は課金されるシステムとすることによって、面識の無い術者と指導者間の契約事項ではあるが、申し込み時に契約が成立されているので、遠隔地に待機する前記人材(指導者)、あるいは術者は安心して人材派遣を受けることが可能であるばかりか、この申し込みの手立てをネット上で主催するネット管理者は、予め術者に対して指導者(介助者)に対する第二、第三希望の人材を選択させることによって、術者の実質的な損害を補足することが可能であり、ケースによっては、指導者の技量に従ってディスカウントを行うことによってトラブルを回避することが可能となる。
また、指導者(介助者)が三次元実体デジタル拡大鏡をシステムを使用した施術行為において医療過誤等の不足の事態が発生した場合は、三次元実体デジタル拡大鏡システム情報の記録に基づき過失の所在を容易に明確化することが可能であることは元より、各施術内容の難易度と指導者あるいは介助者の各専門分野に応じた関わりの程度に従って、予め契約内容に責任範囲と指導料金のバリエーションを設け、契約内容に従って術者の提示する指導料金に応じた責任範囲を明確化し、医療過誤や瑕疵に対する賠償リスクの分散を可能とするだけでなく、一般的な掛け捨て保険の保険料判断基準である術者の技量だけではなく、施術行為ごとに、症例の難易度、さらに指導者(介助者)の技量、及び体制(人数)などの要素を加味することが可能となり、より実質的合理的な保険料金の設定が可能であり、この保険料の算定基礎は、このシステムの術者及び指導者(介助者)使用経験と実績(成功率あるいは経時的後生存率)を累積することのよって、より正確性を増すことが可能となる。
前述のように、この三次元実体デジタル拡大鏡は、術者の施術状況を仮想体験可能であり、指導者の技量については、指導者の施術状況を、極めて情報量が多く、しかもリアルタイムであると同時に同一規格の三次元実体デジタル拡大鏡でのみ通信可能なシステムによる極めて信憑性の高く、施術状況を仮想体験的に観察可能な三次元実体デジタル拡大鏡システムであり、しかも記録媒体に録画し技量を客観的に評価することも可能である。従って、従来医療分野において医療行為の監査を実施する場合、診断内容と医療行為の整合性の監査に終始していた監査内容をさらに拡大して、外科的な分野(医師の個人的な技量)を客観的に評価することが可能となるので、医師各個人の技量の向上を促すばかりか、全体としての技術レベルの向上につながることになる。
当然のことながら、術者が実際に手を下す施術に際して、術者視野画像中に合成表示する解剖学的三次元画像や、サージカルステント画像、あるいは複数の指導者指導画像が術者と指導者の共有する視野画像中に介入することになるので、前記合成表示画像は、それぞれ別個にあるいは全部を、術者あるいは指導者の意思によって、術者あるいは指導者の施術行為に関わる手、あるいは足を使用する操作を妨げることの無いスイッチ操作により表示あるいは非表示操作可能とすることによって、三次元実体デジタル拡大鏡装置の機能を純粋なデジタル式拡大鏡として術者視野を妨害することなく安全な手術を実施することが可能となる。
[図1]三次元実体デジタル拡大鏡の構成を示す図
[図2]同一規格三次元実体デジタル拡大鏡を利用して、フローティング画像のクロマキー合成による三次元的指示をする概念図
[図3]図1の実体デジタル拡大鏡でインターネットを利用して通信を実行する概念図
[図4]図3の構成を、複数の指導者が実行する概念図
[図5]固定基準平面画像による三次元位置計測を示す概念図。
[図6]解剖学的画像の画像合成表示状態を示す図。
[図7]本システムにおける画像情報の流れを示す模式図。
符号の説明
1、三次元実体デジタル拡大鏡 1a、イヤフォン 1b、マイクロフォン 1c−R、右側CCDカメラ 1c−L、左側CCDカメラ 1c、CCDカメラ 2、画像、音声、入出力ライン 3、術者 4、画像、音声、デコーダー 5、バイタルサイン測定機器(精密技術環境計測器) 6.6a−1〜6a−n、パーソナルコンピュータ 7.(7a−1〜7a−n)、指導者(視聴者) 8、サーバ 9、W.W.W(インターネットあるいはイントラネット) 10、インターネット通信回線 11、指示マウス 12、指導者 13、音声入力マイクロフォン 14受講者音声質問などの情報・技術指導プログラム受信料、教育プログラム受講申し込み、受講料の決済 15、受講者音声質問(指導術者の使用言語に翻訳済み)などの情報・技術指導提講師料、教育プログラム指導料の支払い 16、指導術者(講師)拡大術野画像、バイタルサイン、技術施術状況、指導術者音声指導などの情報の送信・教育プログラムの宣伝広告 17、指導術者(講師)拡大術野画像、バイタルサイン、技術施術状況、指導術者音声指導(受講者の使用言語に翻訳済み)などの情報の送信有料配信・教育プログラムの受講者の募集 18、術者(顧客)拡大術野画像、バイタルサイン、技術施術状況・個別技術教育指導プログラムの購入 19、術者(顧客)拡大術野画像、バイタルサイン、技術施術状況・個別技術教育指導料の支払い 20、指導者音声指導、視覚的指示・指導者(講師陣)応募 21、指導者音声指導(術者の使用言語に翻訳済み)、視覚的指示・指導者(講師陣)の公開 30、立体指示マーク 30a、仮想立体指示マーク(虚像) 31、単色背景板 32、患者 33、歯列 34a〜34c、硬組織基準点 35,三次元的位置測定基準平面 36、LCDモニター 36R,右側LCD 36L,左側LCD 37、ヘッドギア 40、術者CCDカメラ画像情報 41、指導者CCDカメラ画像情報 42、クロマキー合成画像情報 43、指導者CCDカメラフローティング画像 44、位置補正サージカルステントフローティング画像
以下、本発明の実施の形態を図示例と共に説明する。
各図にわたって図中の同一の符号を付した部分は同一物を表わしている。図1は、三次元実体デジタル拡大鏡1のハードウエアの基本構成を示す図である。図1に示すように、三次元実体デジタル拡大鏡1内部に装着された左側LCD36L及び右側LCD36R(モニター)は、指導者又は被指導者である術者3の左右のそれぞれの目を包含する広がりを有し、ヘッドギア37によって頭(顔)に装着する。また左側CCDカメラ1c−Lと右側CCDカメラ1c−Rは、その三次元実体デジタル拡大鏡1を顔に付けた状態で、左右の各瞳孔のそれぞれのほぼ中央部に対応する位置に、三次元実体デジタル拡大鏡1と一体的に設けられる。なお、これら2個のCCDカメラ1cの画像情報は、それぞれ左右のLCDに同期された個別の画像を映し出すことによって、光学拡大鏡を使用しているときと同様の違和感の少ない三次元画像を装着者に提供する。
CCDカメラ1cは、ズームレンズ搭載の自動焦点CCDカメラが望ましい。そのタイプのカメラであれば、任意の設定倍率に対して、作業者頭部と作業部位との距離に関係なく、自動的に適正焦点を得るように自動調整されるので、術者はヘッドギアを装着する頭部の位置を固定することによる頸部の筋肉疲労を最小限に留めることが可能である。
そして、図2に示すように、このような三次元実体デジタル拡大鏡1システムを利用し、術者3の左右2個のCCDカメラ1cの画像情報を同一規格の術者3及び指導者12の装着する三次元実体デジタル拡大鏡1のLCDにそれぞれ投影し、三次元視野画像(患者32の口腔内画像)を共有する。この共有する術者視野画像上に、指導者12が装着する三次元実体デジタル拡大鏡1の左右CCDカメラ1cを利用して立体指示マーク30を単色背景板31の前面で撮像しフローティングした仮想立体指示マーク(虚像)30aをクロマキー合成表示する。この立体指示マーク30の表示に関しては、一定時間軌跡を表示させることによって術者3視野画像中に線画として表示したり、静止画像として表示することができる。
これにより、比較的簡便なシステムでありながら、同一規格のCCDカメラとLCDモニターを使用しているので、複雑な一補正をすること無く指導者12は、術者3に対して正確に三次元的画像指示を与えることが可能となる。つまり術者3は、自らの両手を使用して実際に手術を行う場合と同様の姿勢で、従来のようにコンピューターモニター上で指示を行う様な不自然な動きではなく、極めて自然な体位で指導することが可能である。この立体指示マーク30を実際の手術器具などに置き換えた場合も、指導者12は、装着する三次元実体デジタル拡大鏡1LCD画面に展開する術野に対して実際に手術を行う際と同様な手技動作を術者視野仮想空間に行うことが出来る。同様に術者3は、あたかも自らが手術を行っているような状況で三次元的な奥行きを持った器具操作を体験することが可能となる。さらに、術者3視野画像中に合成表示する指導者12の三次元視覚指示フローティング画像を0パーセントから100パーセントの割合で透明度を変更するか、あるいは加えて色調を変換可能なクロマキー合成画像処理装置を使用すれば実像と虚像の判別も容易となるので術者3と指導者12が同一の器具を使用する場合もモニター画面上で混乱を起こすことは無い。
この指示画像のクロマキー合成と同様に、図4に示すパーソナルコンピュータ6.6a−1〜6a−nやサーバ8になどに保存した解剖学的三次元画像や、サージカルステント画像を術者視野画像上にクロマキー合成表示することができる。この時、解剖学的三次元画像や、サージカルステント画像も、0パーセントから100パーセントの割合で画像処理変換、あるいは透明度や色調を変更するか、ワイヤーフレーム処理することによって、術者三次元実体デジタル拡大鏡CCD画像情報に対して容易に視覚的差異を与えること可能となる。この様な解剖学的三次元画像や、サージカルステント画像レイヤーは、図5に示すような術者三次元実体デジタル拡大鏡CCD画像情報中の静止画上から患者歯列33歯牙上の硬組織基準点34a〜34cの三点を基準点と、前記患者の解剖学的三次元画像や、三次元サージカルステント画像上の歯列7歯牙上の硬組織同一点基準点を選定し、図4に示すパーソナルコンピュータ6.6a−1〜6a−nやサーバ8などでプロットし、術者3視野画像中に図6に示すような透視画像として図1術者3及び指導者12装着の三次元実体デジタル拡大鏡1のLCD上で三次元的に等縮となるように正確に重ね合わせると同時に三次元的位置補正を行う。この縮尺補正と位置補正を行うにあたって、部位によって直接硬組織基準点を求めることが困難な場合は、CTあるいはMRI撮影時に、手術時に三次元実体デジタル拡大鏡1のCCDカメラから明視可能の異なった三点の皮膚上不動点に鉛などのポイントマーカーを貼り付けることによって、三次元サージカルステントに鉛などのポイントマーカーを表示し、三次元実体デジタル拡大鏡1の術野画像を表示する右側CCDカメラ1c−Rと左側CCDカメラ1c−Lのそれぞれの静止画像上の異なった三点のポイントマーカー皮膚上の同一点と一致させることによって正確に位置補正する。このとき、左右のLCD上で同時に位置補正および等縮補正することは困難であるが、本は発明の三次元実体デジタル拡大鏡1は、左右のLCDモニターおよびCCDカメラは同一規格であるので、左右何れかのLCD画面上で等縮作業を実行した上で、一方のLCDモニター上で異なった二方向から位置補正(重ね合わせ)を実行することによって、簡単に位置情報を記録することが可能となる。また、手術部位が、頭部の場合、特に上顎下顎にまたがる場合は、基準点をそれぞれの部位に別個に三点の基準点を求め、二個別個のサージカルステントを用意し、それぞれのフローティングサージカルステント画像を自動追尾させる。
一旦、縮尺補正と位置補正をした解剖学的三次元画像レイヤーや、三次元サージカルステントレイヤー画像は、患者歯列33歯牙上の硬組織基準点34a〜34cの三点で構成する三次元的位置測定基準平面35の変位を術者3三次元実体デジタル拡大鏡1の左右二個のCCD1cの画像情報として捕えパーソナルコンピュータ6.6a−1〜6a−nやサーバ8になどで三次元位置計測し、術者CCDカメラ位置変化及び患者の姿勢の変化に対して鉛などのポイントマーカーや画像上の基準点を追尾し自動的にリアルタイムで三次元的位置補正の上、解剖学的三次元画像レイヤーや、三次元サージカルステントレイヤー画像を術者視野画像中に合成表示する。このとき、患者の体位の変化を捉える手段としては、前記のように画像を利用してもよいし、より画像上で明確に基準点を表示する目的で患者頭部の普遍的な硬組織に上に取り付けた異なった三点上にLEDなどの発光体を設置してもよい。あるいは、患者の硬組織などの不動点と術者が装着する三次元実体デジタル拡大鏡に、それぞれジャイロ機構を装着し定点(基準点)に対する患者及び術者三次元実体デジタル拡大鏡の三次元的な位置的な変化を記録し、術者三次元実体デジタル拡大鏡から得られた左右CCDカメラ情報の静止画上の基準点と正確に重ね合わせ、初期補正を行った解剖学的三次元画像や三次元サージカルステント画像レイヤーを、患者の体位の変化あるいは、術者の頭部の移動に従って三次元的に追尾させることも可能である。
このシステムを発展させれば、図4に示すように複数の指導者が術者画像を共有し、各科の専門医が適切なアドバイスを与える事が可能となる。このアドバイスは、バイタルサイン測定機器5からの信号を三次元実体デジタル拡大鏡1のLCDモニターの辺縁に術野画像を損なうことの無いように字幕表示させることによって術者3とすべての指導者12が共有しており、より的確な現場状況を把握しながら指示可能であるばかりか、術者3は術野から視線を移動してモニターなどに目を移すことなく手術に集中することが可能である。
また、前記三次元実体デジタル拡大鏡と同一の画像上に、他の指導者等が立体指示マーク30、線画等で書き込みあるいは三次元ポイント指示による指導解説を加えた画像情報をインターネット等の通信網で送信する場合において、その立体指示マーク30指示による指導解説をする際に、動画像をいったん静止画像とし、その静止画の状態で上記書き込みやポイント指示を行って、この書き込みやポイント指示付きの静止画の合成画像を、指導を受ける複数の者の端末に配信することも可能である。あるいは逆に、術者が遠隔の指導者から術者のモニターに書き込みやポイント指示を受けて施術を支援してもらう場合は、指導者側に配信される動画像をいったん静止画像にして、その静止画像に書き込みやポイント指示等をし、その合成静止画像をその術者のモニターに配信してもよい。
そのような書き込みやポイント指示は動画に対して行うこともでき、それを排除するものではないが、動画をいったん静止画にし、三次元実体デジタル拡大鏡1のLCD画面を分画し、視野画像中に別途表示し、その後また動画に戻すことが有効である。なお、このようなポインタによる指示や書き込みは、術者等が指導側になる場合、術者の施術映像を実況している第三者、あるいはサーバ8がある教育システムのサービス会社の担当指導者が行うことが一般的である。上記のように動画をいったん静止画にしてポイント指示等を行った後、再び動画に戻す手法は、周知の技術であるため、詳しい説明は割愛するが、要するに、CCDカメラ等の画像データのある瞬間を画像メモリにいったん蓄え、それを読み出すとともに、入力装置から入力されたポイント指示等の画像(これは静止がでもよいが、動画でもよく、ポイント指示を移動させて説明指導するような場合はポイント画像等が動画である方が好都合な面もある)を取り込み、これらをレイヤー処理やメモリ上での合成等、周知の手法で合成することとなる。これにより、サーバ8に蓄積した三次元実体デジタル拡大鏡術者三次元画像情報と、術野画像中に三次元的に正確な等尺三次元透視画像を合成表示するサージカルステント画像情報を、インターネットなどの通信回線を利用して複数の同期した三次元デジタル拡大鏡を装着する視聴者7a−1〜7a−n共有し、三次元動画あるいは静止画に対して双方向通信によるディスカッションをすることが出来る。
これらすべての画像による通信は、患者のプライバシー保護の観点から、すべての通信デジタル信号データは、画像、音声、デコーダー4を介して三次元実体デジタル拡大鏡1に表示されることになり、ハードウエアデコーディング装置を持たない一般のパーソナルコンピューター端末によりハッキングされた場合、情報漏えいの危険性が少ない。
そして、この実体デジタル拡大鏡装置1から得られる画像情報と、その画像情報にスパーインポーズされる、医科手術の場合は患者のバイタルサインの状況を、その他の精密技術の場合はそれぞれの技術施術状況の環境を表す照度、温度、湿度、圧力、速度などの数値あるいはグラフ等の画像情報と、術者が装着する音声マイクロフォンから得られる音声情報と、立体指示マーク30等で視覚的指示情報とを、インターネット9に接続した端末パーソナルコンピューター6から、教育プログラム配信会社サーバ8に送信できる。
教育プログラム配信会社サーバ8で受信された情報は、インターネット9を介して端末パーソナルコンピューター6aに直接配信されるか、教育プログラム配信会社サーバ8で各種言語に対応して通訳や画像処理を与えて配信される。同様に端末パーソナルコンピューター6の音声マイクロフォン1bから得られる音声情報と、立体指示マーク30等の視覚的指示情報を、インターネット9に接続した端末パーソナルコンピューター6から教育プログラム配信会社サーバ8に送信できる。
教育プログラム配信会社サーバ8で受信された情報は、インターネット9を介して、端末パーソナルコンピューター6a−1〜nに直接配信されるか、教育プログラム配信会社サーバ8で、各種言語に対応して通訳や画像処理を与え配信される。
次に、以上の図1の例示した配信システムにおいて、図3のように実施方法を、術者3(指導者)が聴講者12(顧客)に指導を行う場合と、図4のように専門指導者(講師陣)が術者(顧客)に指導を行う場合とに分けて、図に従って説明する。
こうして、図3のように術者(指導者)3が、聴講者(顧客)に人間が直視の基に行う医科手術やその他の精密技術の支援及び指導教育プログラムを実施する場合は、術者3が装着する図1の三次元実体デジタル拡大鏡1の三次元CCDカメラ1cから得られた拡大術野画像に対して、バイタルモニター5あるいは精密技術施術環境計測器5のデータと、画像、音声デコーダ4の情報が、端末パーソナルコンピューター6で合成され、画像、音声デコーダ4を通して指導術者(講師)頭部に搭載した眼鏡型LCDモニター1dに投影される拡大術野画像上にスパーインポーズされる。
前記LCDモニター1dに投影される画像情報と、マイクロフォン1bの音声指導情報は、端末パーソナルコンピューター6からインターネット9を利用して直接特定契約受講者(顧客)は、端末パーソナルコンピューター7a−1〜7a−Nに配信するか、技術支援及び支援及び指導教育配信システム配信会社サーバ8に送信される。この情報は技術支援及び支援及び指導教育配信システム会社サーバ8で、術者(指導者)と受講者(顧客)の使用言語が異なる場合は、教育プログラム配信において受講者(顧客)の言語に逐次あるいは同時通訳し、受講者(顧客)に送信される。これによって多数の特定契約受講者(顧客)は、端末パーソナルコンピューター7a−1〜7a−Nに配信され、医科手術やその他の細密技術に関する施術状況を、さながら現場に居合わせるような臨場感で仮想体験が可能となる。
前記通信構成は双方向に利用可能であるので、受講者(顧客)の質問事項等は、端末パーソナルコンピューター7a−1〜7a−Nのマイクロフォン1bで音声入力することによって、逆方向にインターネット9を介してサーバ8に送信され、質問内容を重複の無いように整理の上、技術支援及び支援及び指導教育配信システム会社サーバ8よりインターネット9を利用して同様に指導術者(講師)イヤフォン1aに送信される。
指導術者(講師)3aは、特定受講者(顧客)の質問に対してマイクロフォン1bで端末パーソナルコンピューター6aに音声入力し、インターネット9を介して、技術支援及び支援及び指導教育配信システム配信会社サーバ8に送信する。また、受講者(顧客)と術者(指導者)の使用言語が異なる場合は、教育プログラム配信会社サーバ8にて受講者(顧客)の言語に逐次あるいは同時通訳し、インターネット9を介して、受講者(顧客)の端末パーソナルコンピューター7a−1〜7a−Nに配信される。
逆に、図4のように、術者(顧客)3bを遠隔地から専門指導者(講師陣)が指導する場合は、術者(顧客)3の装着する図1のデジタル拡大鏡の二次元あるいは三次元CCDカメラ1cから得られた拡大術野画像情報A及び拡大術野画像にスパーインポーズされたバイタルサインデータBあるいは精密技術施術環境計測器の画像情報Bと、マイクロフォン1bより入力される顧客術者の質問内容Cは、画像、音声デコーダ4で端末パーソナルコンピューター6に入力され、端末パーソナルコンピューター6からインターネット9を介して、技術支援及び指導教育配信システム配信会社サーバ8に送信される。
これらの情報は、術者(顧客)3bと専門指導者(講師陣)7の使用言語が異なる場合は、教育プログラム配信会社サーバ8において専門指導者(講師陣)言語に逐次あるいは同時通訳し、専門指導者(講師陣)7に送信される。ここで教育配信システム会社サーバ8より、インターネット9を介して、1人あるいは技術内容が多義の分野にまたがる場合は複数の専門指導者(講師陣)の端末パーソナルコンピューター7b−1〜7b−Nに送信される。
専門指導者(講師陣)7は、端末パーソナルコンピューター7b−1〜7b−Nに表示される術者(顧客)3の拡大術野画像情報A及び拡大術野画像にスパーインポーズされたバイタルサインデータBあるいは精密技術施術環境計測器の画像情報Bを観察しながら、技術指導と質疑応答をするために、端末パーソナルコンピューター7b−1〜7b−Nを利用して、立体指示マーク30aによる画像指示指導や、マイクロフォン1bによる音声指導を入力し、この入力情報が逆方向にインターネット9を介して技術支援及び指導教育配信システム配信会社サーバ8に送信され、さらにインターネット9を経て、術者(顧客)3側に送信される。
ここで、専門指導者(講師陣)12と術者(顧客)3の使用言語が異なる場合は、教育プログラム配信会社サーバ8において、術者(顧客)3の言語に逐次あるいは同時通訳し、術者(顧客)3の装着する図1の三次元実体デジタル拡大鏡LCDモニター36上に直接、立体指示マーク30a情報及びイヤフォン1aに音声指導情報を送る。このようにして、双方向の通信を特定契約者である術者(顧客3)に対して行うことにより、実技の教育的指導サービスが可能となる。
また、図1においてインターネット9に接続した端末パーソナルコンピューター6および端末パーソナルコンピューター7は、上述のようにインターネット9に接続されているため、教育プログラム配信会社サーバ8のホームページにアクセスする機能を備えることは勿論である。
これにより、教育プログラム配信会社サーバ8のホームページを利用して、聴講者(顧客)が技術支援及び指導教育プログラムを購入する場合は、教育プログラム配信会社サーバ8のホームページに、各プログラムの指導術者(講師)の経歴、技術内容や専門分野、使用言語、指導時間、受講料金などの一般的な広告内容に加えて、リアルタイムで各プログラムの人気度と、すでに受講した受講者(顧客)の評価を閲覧することによって、指導術者(講師)の一方的な宣伝広告内容あるいは、既に同一の教育プログラムを受講した知人の主観的評価以外の客観的な判断基準を得ることが可能となる。同様に、受講者(顧客)は、教育プログラムの受講申し込みと、受講料の決済を教育プログラム配信会社サーバ8のホームページ上で事務処理可能である。
また、教育プログラムを開講する指導術者(講師)は、教育プログラム配信会社サーバ8のホームページを利用して、宣伝広告と受講申し込み受付作業および正式受付受理のための受講料集金確認作業を行うことができる。
逆に、受講希望術者(顧客)が、複数の各分野の専門指導者(講師陣)による個別技術教育支援及び指導教育プログラムを購入する場合は、教育プログラム配信会社のインターネットホームページウェブサイトに公開された指導者(講師陣)の技術内容や専門分野、使用言語および指導時間や、施術単位による個別技術教育指導諸費用を閲覧して、受講希望術者(顧客)は、指導者(講師陣)の一方的な宣伝広告内容、あるいは既に教育プログラムを受講した知人の主観的評価による価値判断基準だけでは無く、客観的な評価基準で逆指名することも可能となる。
しかも、この教育プログラム配信会社のインターネットホームページウェブサイトに公開される明確な指導料によって、指導料金の直接交渉をする必要がない上に、各専門分野の指導者(講師陣)は、教育プログラム配信会社によって高度な指導が可能となるように適切チームに編成されている。また、術者(顧客)は教育プログラム配信会社のインターネットホームページウェブサイトで教育指導サービス料を決済することができる。
さらに、指導者(講師陣)は、医科手術やその他の精密技術に関し、施術内容単位あるいは時間単位で課金される実技の教育指導サービス講師料について、指導者(講師陣)の構成人数に従って教育プログラム配信会社が按分した講師料を自動的に受け取ることが可能となり、事務手続きの煩雑さから解放される。
また、以上の説明はインターネットを前提としたが、この発明はインターネットに限らず、術者(ないし精密作業実施者)の側と、これからの情報を受ける側又はこれを受けて双方向に発信する側とを、イントラネット等の閉じたネットワークや、その他の専用回線を利用した通信手段で接続してもよい。また通信手法にしても、通信衛星による通信等、適宜に選択することができる。
このシステムは、極めて情報量が多く安全で、しかも術者の施術状況を術者の視線から完全に記録し、第三者が手術を仮想体験可能な三次元実体デジタル拡大鏡システムを使用することによって、前記各種サービスをネット上に施術介助者に対し技能や経験あるいは指導言語などの条件と共に報酬金額を提示し、登録医師あるいは技術者が契約を結び、遠隔地に待機する前記人材(指導者)の人材派遣を受け、施術に対して医療過誤等の不足の事態が発生した場合、三次元実体デジタル拡大鏡システム情報の記録の評価に基づき過失の所在を明確化すると共に、各施術内容と人材の各専門分野に応じた関わりの程度に従って予め取り決めた契約内容と、契約内容に従って術者の提示する指導料金に応じて、責任範囲を明確化し、医療過誤や瑕疵に対する賠償リスクの分散が可能となる。
しかもリアルタイムであることと、同時に同一規格の三次元実体デジタル拡大鏡でのみ通信可能なシステムであるためにデータの改ざんが困難であるので極めて信憑性が高く、術者の施術状況を仮想体験的に観察可能なため、術者技量および瑕疵の存在を遠隔地にて客観的に査定することができる。
術者視野画像中に合成表示する指導画像、あるいは、術者視野画像中に合成表示する解剖学的三次元画像や、サージカルステント画像を、術者主導の場合は、術者によって、指導者主導の場合は、指導者の意思によって、アイコンタクトスイッチ、あるいは音声コマンドスイッチなどを使用してやれば、術者あるいは指導者の施術行為に関わる手、あるいは足を使用する操作を妨げることが無い。
図7は、上記のような三次元実体デジタル拡大鏡1を利用してインターネットを介して通信する状況を示す模式図の一例である。この図に示すように、術者パーソナルコンピューターに入力された術者CCDカメラの視野画像情報40は、インターネットを利用して送信されると共に、術者パーソナルコンピューター内でインターネットを介して指導者パーソナルコンピューターから送信された指導者CCDカメラフローティング画像43とクロマキー画像合成され42、術者LCDにクロマキー合成画像情報42が表示される。
同様に指導者は、指導者LCDに表示される前記インターネットを介して送信された術者CCDカメラの視野画像情報40上で、指導者CCDカメラ情報41の中からフローター化画像処理された画像を指導者パーソナルコンピューター内でクロマキー合成表示することによって指導者LCD上で実際に使用する医療器具などで、あたかも自分自身が出刀するようなリアリティーを以って指導指示することが可能である。同一規格の三次元実体デジタル拡大鏡1を利用したこのシステムでは、この指導者CCDカメラフローティング画像43は、インターネット通信回線を介して術者パーソナルコンピューター上でクロマキー合成処理をしてやれば、術者CCDカメラの視野画像情報40上に指導者CCDカメラフローティング画像43を位置補正することなく指導者LCDと同一の画像を術者LCD上に反映することができる。
加えて、術者CCDカメラからの情報をサーバコンピューターに取り込み、位置補正及び自動追尾処理をした位置補正サージカルステントフローティング画像44を術者パーソナルコンピューター及び指導者パーソナルコンピューターに送信し、術者CCDカメラの視野画像情報40上にクロマキー合成画像処理をしてやれば術者及び指導者のLCDにサージカルステント画像を反映することができる。これらの操作はすべて術者CCDカメラの視野画像情報40を元に行われることであるので位置補正をすることなく三者が同一の画像を共有することができる。この模式図から分かるように術者三次元実体デジタル拡大鏡システムと指導者三次元実体デジタル拡大鏡システムは全く同一の機能を持つので、指導者及び術者は容易に入れ替わることも可能となる。
尚、本発明の三次元実体デジタル拡大鏡システムの構成及び通信に対する主体は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
本発明の画像合成三次元視覚指示機能を備えた三次元実体デジタル拡大鏡技術支援及び指導教育配信システムは、インターネット等の通信網を利用して技術指導を行う三次元実体デジタル拡大鏡装置に関する。より詳しくは、人が直視のもとに行う医科手術やその他の手作業で行う細密特殊技術教育プログラムの配信や、特定の顧客が行う医科手術やその他の手作業で行う細密特殊技術の教育指導(専門知識を持たない人間をロボットに見立て、遠隔地より前記ロボットに見立てた人間の視野を観察しながら得た情報に基づき音声指示、視覚指示などでコントロールする)三次元実体デジタル拡大鏡装置に関し、さらに同一規格の三次元実体デジタル拡大鏡を術者及び指導者が使用することによって、遠隔地においても大掛かりな設備を使用することなくクロマキー合成を可能とするスタジオシステムを構築可能であり、同時に、各種教育プログラムの受講者及び指導者の募集手段と、より安価な技術指導に対する指導料金や受講者に発生する受講料をインターネット決済するものである。一般に、医科手術やその他の手作業で行う特殊技術を実況で供覧させる教育プログラムでは、指導術者(講師)と同じ理想的な視野から閉鎖的な部位に対する手術および技術見学を実施する場合、複数の受講者(顧客)に対して各施術段階で施術状況を順次見学させるには膨大な時間を要するだけでなく、施術施設の物理的制約によって同時に見学可能な人数には制約があるために、少人数を対象に実施されていた。加えて、指導術者(講師)と受講者(顧客)の使用言語が異なる場合、施術現場に通訳を同席させる必要が有るので受講者(顧客)1人あたりの教育プログラム受講料は高価であった。
また、医科手術の場合、患者自体を教育プログラムのために遠隔地に移動させることは困難であり、その他の手作業で行う特殊技術においても大がかりな施設や移動不可能な機械器具を必要とする場合、見学受講者(顧客)は施術日時に日程を調整の上、多大なる交通費と移動に対する時間的コストを費やして出向いていた。その上、受講希望者が教育プログラムを購入する場合は、指導術者(講師)の一方的な宣伝広告内容あるいは、既に同一の教育プログラムを受講した知人の主観的評価による価値判断基準によってのみ購入検討を行うしかすべが無く、更に受講料の支払いを各講師の指定する支払い手段で別途支払わなければならなかった。逆に教育プログラムを開講する指導術者(講師)は、各種媒体を利用して宣伝広告を行い、受講者(顧客)の多少に関わらず受講申し込み受付後、再度正式受付受理のために受講料の集金確認作業を行っていた。
反対に、遠隔地で実施される細密作業の実技指導や医科手術の指導を実施する場合、指導者(講師陣)は現場まで移動しなくてはならず、多大なる経費を要するために指導に関わる諸費用(交通費と移動に対する時間的コスト)は高価なだけで無く、移動に長時間を要する遠隔地では緊急医科手術に対応する事は困難であったし、複数の指導者(講師陣)によって指導を実施する場合なおさら諸費用は嵩み、緊急医科手術対応はより困難であった。さらに、術者(顧客)と指導者(講師陣)の使用言語が異なる場合、施術現場に通訳を同行する必要があった。
しかも、医師免許の法的規制により海外で医療行為を実施することは禁じられているために、指導者(講師陣)が該当諸外国で自ら直接出刀する実況手術見学教育プログラムの開講および手術の実技指導をする事は基本的にはできない。
また、術者(顧客)が医科手術やその他の手作業で行う細密特殊技術の指導を実際に希望した場合、指導者(講師陣)の選定は、限られた人脈の範囲に限られざるを得ず、個々の指導者(講師陣)に対する指導料の明確な算定基準も無く、直接交渉せざるを得ないために指導者(講師陣)の選定に苦慮していただけでなく、それぞれ指導料の支払いも指導時間や指導内容に従って各個別の支払い手段で別途支払わなければならならず、事務手続きが煩雑であった。
それのみならず、従来医療分野において医療行為の監査を実施する場合、診断内容と医療行為の整合性の監査に有用であり、医療過誤の判定に役立つばかりか、医療保険分野においては、医療行為に対するコストの算定基準として有効である。同様に学術的に外科的な分野(医師の個人的な技量)を客観的に評価することが可能であるので、医学学会等をインターネット上でリアルタイムの発表によって開催することが可能であり、このことは医師の直接的な能力評価、つまり学会認定医の選定基準などに極めて有用である。
この様な諸問題を解決の上、効率的な技術教育を実施するに当たり好適なビジネスシステムが構築できる。

Claims (9)

  1. 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも2つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
    前記三次元実体デジタル拡大鏡はそれぞれ、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
    前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
    一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
    を備えているとともに、
    前記三次元実体デジタル拡大鏡の一対の前記LCDは、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
    を選択して表示できるようになっており、
    前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の1つを指導者が装着した場合に、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間での視野の共有を可能とするとともに、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡、及び前記術者が装着した前記三次元実体デジタル拡大鏡にそれぞれ含まれる前記画像クロマキー合成画像処理装置に合成させ、その合成後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間で合成された画像の共有を可能とする、
    ことができるようになっている、
    三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム。
  2. 前記三次元実体デジタル拡大鏡は、第1入力手段を備えており、
    前記画像クロマキー合成画像処理装置は、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記画像クロマキー合成画像処理装置が合成する際、又はそのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを前記画像クロマキー合成画像処理装置が合成する際に、
    前記第1入力手段からの入力に基づいて、合成される2つの画像について、透明度を変更するか、又は前記透明度の変更に加えて少なくとも一方の画像の色調を変換した上で合成する、
    請求項1記載の三次元実体デジタル拡大鏡システム。
  3. 前記画像クロマキー合成画像処理装置が、合成される前記2つの画像について、透明度を変更するか、又は前記透明度の変更に加えて少なくとも一方の画像の色調を変換した上で合成する場合に、前記画像クロマキー合成画像処理装置に、予め得た施術される患者の断層撮影情報を元に作成した解剖学的三次元画像、又はその解剖学的三次元画像に切開、骨削除などの処置を行なうべき処置位置を立体的に書き込んだサージカルステント画像であって、変形することの無い硬組織上の三点を基準点として含むものをも透明度を変更させ、且つ等縮で重ね合わせて合成させるようになっているとともに、
    前記画像クロマキー合成画像処理装置が合成した前記画像中の前記基準点の位置変化を検知した場合に、当該基準点の位置変化に基づく演算により、前記サージカルステント画像を変化させることにより、術者が装着した三次元実体デジタル拡大鏡の位置変化又は患者の姿勢の変化があったとしても、前記サージカルステント画像が、術者が装着した前記三次元実体デジタル拡大鏡で撮像された前記画像と、前記フローター画像とを追尾できるようにする、
    画像位置補正追尾装置を備える、
    請求項2記載の三次元実体デジタル拡大鏡システム。
  4. 一の前記三次元実体デジタル拡大鏡が備える前記一対のCCDカメラが撮像した、当該一の前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記画像と、他の前記三次元実体デジタル拡大鏡で生成された前記フローター画像と、前記サージカルステント画像とを、一の前記三次元実体デジタル拡大鏡又は他の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像を蓄積するサーバを備えており、
    前記サーバは三次元実体デジタル拡大鏡のうちの複数に、前記サーバに蓄積された前記画像を送信することができるようにされており、
    前記三次元実体デジタル拡大鏡のそれぞれは、
    前記サーバから受け付けた前記サーバに蓄積されていた画像を、当該三次元実体デジタル拡大鏡を装着した者の選択により、前記サージカルステント画像の表示、非表示を切り換えて、その三次元実体デジタル拡大鏡が備える一対の前記LCDに表示できるようになっているとともに、
    前記サーバに蓄積されていた画像と、その三次元実体デジタル拡大鏡で生成されたフローター画像、又は他の前記三次元実体デジタル拡大鏡で生成された、他の前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、それが備える前記画像クロマキー合成画像処理装置で合成できるようにされており、
    前記画像クロマキー合成画像処理装置で合成されたその画像を、複数の前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、複数の前記三次元実体デジタル拡大鏡を装着した複数の者の間で前記画像クロマキー合成画像処理装置で合成されたその画像の共有を可能とする、
    請求項3記載の三次元実体デジタル拡大鏡システム。
  5. 前記三次元実体デジタル拡大鏡はそれぞれ、
    他の前記三次元実体デジタル拡大鏡に前記ネットワークを介して送る画像のデータをエンコードする手段と、
    他の前記三次元実体デジタル拡大鏡から前記ネットワークを介して送信されて来たエンコードされた画像のデータをデコードする手段と、
    を備えている、
    請求項1〜4のいずれかに記載の三次元実体デジタル拡大鏡システム。
  6. 前記サージカルステント画像の表示、非表示の切り換え、及び前記フローター画像の生成を前記三次元実体デジタル拡大鏡に行わせるための入力を行なうための手段は、
    目の動き、または音声による入力を受け付けるものとされている、
    請求項3記載の三次元実体デジタル拡大鏡システム。
  7. 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも2つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
    前記三次元実体デジタル拡大鏡はそれぞれ、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
    前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
    一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
    を備えているとともに、
    前記三次元実体デジタル拡大鏡の一対の前記LCDは、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
    を選択して表示できるようになっている、
    三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
    前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の1つを指導者が装着するステップと、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間での視野の共有を行なうステップと、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記術者と前記指導者との間で合成された画像の共有を行なうステップと、
    を含む、方法。
  8. 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも3つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
    前記三次元実体デジタル拡大鏡はそれぞれ、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
    前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
    一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
    を備えているとともに、
    前記三次元実体デジタル拡大鏡の一対の前記LCDは、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
    を選択して表示できるようになっている、
    三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
    前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の2つ以上を2人以上の指導者が装着するステップと、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者とすべての前記指導者との間での視野の共有を行なうステップと、
    前記指導者のうちの一人が選択指導者として選択されるステップと、
    前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記選択指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記選択指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記選択指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記選択指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記選択指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記術者と前記選択指導者との間で合成された画像の共有を行なうステップと、
    を含む、方法。
  9. 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも3つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
    前記三次元実体デジタル拡大鏡はそれぞれ、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
    前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
    前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
    一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
    を備えているとともに、
    前記三次元実体デジタル拡大鏡の一対の前記LCDは、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
    そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
    そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
    を選択して表示できるようになっている、
    三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
    前記三次元実体デジタル拡大鏡のうちの2つ以上を2人以上の術者が、他の1つを指導者が装着するステップと、
    前記術者のうちの一人が選択術者として選択されるステップと、
    前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記選択術者と前記指導者との間での視野の共有を行なうステップと、
    前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記選択術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記選択術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記選択術者と前記指導者との間で合成された画像の共有を行なうステップと、
    を含む、方法。
JP2005518945A 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム Expired - Fee Related JP4440893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004091349 2004-03-26
JP2004091349 2004-03-26
PCT/JP2005/004758 WO2005093687A1 (ja) 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Publications (2)

Publication Number Publication Date
JPWO2005093687A1 JPWO2005093687A1 (ja) 2008-02-14
JP4440893B2 true JP4440893B2 (ja) 2010-03-24

Family

ID=35056406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005518945A Expired - Fee Related JP4440893B2 (ja) 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Country Status (12)

Country Link
US (1) US7367809B2 (ja)
EP (1) EP1739642B1 (ja)
JP (1) JP4440893B2 (ja)
KR (1) KR100819819B1 (ja)
CN (1) CN1973311B (ja)
AU (1) AU2005225878B2 (ja)
BR (1) BRPI0508748B1 (ja)
CA (1) CA2561274C (ja)
MX (1) MXPA06011083A (ja)
MY (1) MY154870A (ja)
RU (1) RU2390852C2 (ja)
WO (1) WO2005093687A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763492B1 (ko) 2015-12-22 2017-08-02 이화여자대학교 산학협력단 로봇 수술용 보조 기기
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US8229252B2 (en) 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
US8640959B2 (en) 2005-03-18 2014-02-04 The Invention Science Fund I, Llc Acquisition of a user expression and a context of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8599174B2 (en) 2005-03-18 2013-12-03 The Invention Science Fund I, Llc Verifying a written expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US8811691B2 (en) * 2006-06-05 2014-08-19 Visicon Inspection Technologies Llc Stent inspection system
EP1884819A1 (en) * 2006-08-02 2008-02-06 Swiss Medical Technology GmbH Eyewear with segmented look-through elements
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
WO2009005901A2 (en) * 2007-05-18 2009-01-08 The Uab Research Foundation Virtual interactive presence systems and methods
WO2009006273A2 (en) * 2007-06-29 2009-01-08 3M Innovative Properties Company Synchronized views of video data and three-dimensional model data
US8690768B2 (en) * 2007-07-26 2014-04-08 David Amitai Patient operable data collection system
EP2269533B1 (en) * 2008-03-21 2021-05-05 Atsushi Takahashi Three-dimensional digital magnifier operation supporting system
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
KR101190265B1 (ko) * 2009-06-30 2012-10-12 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
WO2011025450A1 (en) * 2009-08-25 2011-03-03 Xmreality Research Ab Methods and systems for visual interaction
GB2474083B (en) * 2009-10-05 2015-12-23 Keeler Ltd Improvements in and relating to ophthalmic instruments
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
IT1398933B1 (it) * 2010-03-04 2013-03-28 Clementoni S P A Sistema multimediale per giochi di apprendimento e puzzle.
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
JP5791131B2 (ja) * 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9155503B2 (en) * 2010-10-27 2015-10-13 Cadwell Labs Apparatus, system, and method for mapping the location of a nerve
AU2011336647B2 (en) 2010-12-02 2015-02-12 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US9847044B1 (en) 2011-01-03 2017-12-19 Smith & Nephew Orthopaedics Ag Surgical implement training process
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
US20140057229A1 (en) * 2011-02-22 2014-02-27 Rheinmetall Defence Electronics Gmbh Simulator for training a team, in particular for training a helicopter crew
JP5423716B2 (ja) * 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9886552B2 (en) * 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9910488B2 (en) 2012-04-23 2018-03-06 Japan Science And Technology Agency Motion guide presentation method and system therefor, and motion guide presentation device
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
US9058681B2 (en) * 2012-06-01 2015-06-16 The Boeing Company Sensor-enhanced localization in virtual and physical environments
BR112014029605B1 (pt) 2012-06-01 2023-10-31 Ultradent Products Inc Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US9729831B2 (en) * 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
US9127928B2 (en) * 2012-11-15 2015-09-08 General Electric Company Object location accounting for pitch, yaw and roll of device
KR20150086477A (ko) * 2012-11-19 2015-07-28 오란게덴탈 게엠베하 운트 코카게 디스플레이 시스템을 구비한 확대 루페
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
GB2496064B (en) * 2012-12-31 2015-03-11 Nicholas Jamie Marston Video camera shooting glasses
US10098585B2 (en) 2013-03-15 2018-10-16 Cadwell Laboratories, Inc. Neuromonitoring systems and methods
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
TW201505603A (zh) 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
KR101579491B1 (ko) * 2013-07-17 2015-12-23 한국과학기술원 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
EP2937058B1 (de) * 2014-04-24 2020-10-07 Christof Ellerbrock Kopfgetragene plattform zur integration von virtualität in die realität
CA2949241A1 (en) * 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
KR101580559B1 (ko) * 2014-06-02 2015-12-28 조선대학교산학협력단 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
US20160000514A1 (en) * 2014-07-03 2016-01-07 Alan Ellman Surgical vision and sensor system
US20160042233A1 (en) * 2014-08-06 2016-02-11 ProSent Mobile Corporation Method and system for facilitating evaluation of visual appeal of two or more objects
KR20160024168A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP6437257B2 (ja) * 2014-09-19 2018-12-12 株式会社日立ソリューションズ 作業工程学習支援システム
US10433793B1 (en) 2015-03-27 2019-10-08 Cadwell Laboratories, Inc. Methods and systems for simultaneous review of brain activity and physical manifestations of users
KR102349716B1 (ko) 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
JP6611538B2 (ja) * 2015-09-29 2019-11-27 株式会社三菱ケミカルホールディングス 生体信号出力装置
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
KR101822471B1 (ko) * 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US10142298B2 (en) * 2016-09-26 2018-11-27 Versa Networks, Inc. Method and system for protecting data flow between pairs of branch nodes in a software-defined wide-area network
JP6867566B2 (ja) * 2016-10-21 2021-04-28 サン電子株式会社 画像表示装置及び画像表示システム
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
US11241297B2 (en) 2016-12-12 2022-02-08 Cadwell Laboratories, Inc. System and method for high density electrode management
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US9935395B1 (en) 2017-01-23 2018-04-03 Cadwell Laboratories, Inc. Mass connection plate for electrical connectors
JP6649912B2 (ja) 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
WO2019013016A1 (ja) * 2017-07-13 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN111263619A (zh) * 2017-09-06 2020-06-09 柯惠Lp公司 用于在机器人手术过程中提供立体视觉感知通知和/或建议的系统、方法和计算机可读介质
JP6882147B2 (ja) * 2017-11-28 2021-06-02 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US11517239B2 (en) 2018-04-05 2022-12-06 Cadwell Laboratories, Inc. Systems and methods for processing and displaying electromyographic signals
US11596337B2 (en) 2018-04-24 2023-03-07 Cadwell Laboratories, Inc Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures
US11253182B2 (en) 2018-05-04 2022-02-22 Cadwell Laboratories, Inc. Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation
US11992339B2 (en) 2018-05-04 2024-05-28 Cadwell Laboratories, Inc. Systems and methods for dynamic neurophysiological stimulation
US11443649B2 (en) 2018-06-29 2022-09-13 Cadwell Laboratories, Inc. Neurophysiological monitoring training simulator
US11185684B2 (en) 2018-09-18 2021-11-30 Cadwell Laboratories, Inc. Minimally invasive two-dimensional grid electrode
US11517245B2 (en) 2018-10-30 2022-12-06 Cadwell Laboratories, Inc. Method and system for data synchronization
US11471087B2 (en) 2018-11-09 2022-10-18 Cadwell Laboratories, Inc. Integrity verification system for testing high channel count neuromonitoring recording equipment
US11317841B2 (en) 2018-11-14 2022-05-03 Cadwell Laboratories, Inc. Method and system for electrode verification
US11529107B2 (en) 2018-11-27 2022-12-20 Cadwell Laboratories, Inc. Methods for automatic generation of EEG montages
US11128076B2 (en) 2019-01-21 2021-09-21 Cadwell Laboratories, Inc. Connector receptacle
DE102019207454B4 (de) 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
CN112712878B (zh) * 2020-12-30 2024-09-06 四川桑瑞思环境技术工程有限公司 一种数字化手术室系统和控制方法
CN112634700A (zh) * 2020-12-30 2021-04-09 青岛亿和海丽安防科技有限公司 一种躲避雷电的安全模拟系统及其控制方法
WO2023152830A1 (ja) * 2022-02-09 2023-08-17 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391081A (en) * 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5546943A (en) * 1994-12-09 1996-08-20 Gould; Duncan K. Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality
US6024576A (en) * 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
JPH11161769A (ja) 1997-11-25 1999-06-18 Hitachi Denshi Ltd 動作認識情報入力装置
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
US6074213A (en) * 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP4288843B2 (ja) 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
JP2002207832A (ja) 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
US6659776B1 (en) * 2000-12-28 2003-12-09 3-D Technical Services, Inc. Portable laparoscopic trainer
US6739877B2 (en) * 2001-03-06 2004-05-25 Medical Simulation Corporation Distributive processing simulation method and system for training healthcare teams
US7095388B2 (en) * 2001-04-02 2006-08-22 3-Dac Golf Corporation Method and system for developing consistency of motion
US20020149599A1 (en) * 2001-04-12 2002-10-17 Honeywell International Inc. Methods and apparatus for displaying multiple data categories
US7056123B2 (en) * 2001-07-16 2006-06-06 Immersion Corporation Interface apparatus with cable-driven force feedback and grounded actuators
JP2004089599A (ja) 2002-09-04 2004-03-25 Hitachi Medical Corp 画像表示装置
US20040064298A1 (en) * 2002-09-26 2004-04-01 Robert Levine Medical instruction using a virtual patient
US7594815B2 (en) * 2003-09-24 2009-09-29 Toly Christopher C Laparoscopic and endoscopic trainer including a digital camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763492B1 (ko) 2015-12-22 2017-08-02 이화여자대학교 산학협력단 로봇 수술용 보조 기기
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11412202B2 (en) 2020-01-22 2022-08-09 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11611735B2 (en) 2020-01-22 2023-03-21 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US12075019B2 (en) 2020-01-22 2024-08-27 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
WO2005093687A1 (ja) 2005-10-06
US7367809B2 (en) 2008-05-06
AU2005225878B2 (en) 2009-09-10
US20070184422A1 (en) 2007-08-09
JPWO2005093687A1 (ja) 2008-02-14
CA2561274A1 (en) 2005-10-06
EP1739642B1 (en) 2017-05-24
EP1739642A4 (en) 2010-04-14
BRPI0508748B1 (pt) 2018-05-02
KR100819819B1 (ko) 2008-04-08
KR20060127251A (ko) 2006-12-11
EP1739642A1 (en) 2007-01-03
MY154870A (en) 2015-08-14
BRPI0508748A (pt) 2007-09-04
AU2005225878A1 (en) 2005-10-06
RU2390852C2 (ru) 2010-05-27
CN1973311B (zh) 2010-08-25
RU2006137063A (ru) 2008-05-10
MXPA06011083A (es) 2007-04-13
CA2561274C (en) 2015-08-11
CN1973311A (zh) 2007-05-30

Similar Documents

Publication Publication Date Title
JP4440893B2 (ja) 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
WO2002054309A1 (fr) Systeme de distribution a distance de formation et de guidage technique par internet mettant en application une intervention de praticien et systeme de guidage utilisant un reseau de communication
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
US20110091856A1 (en) Opthalmoscope simulator
Heinrich et al. HoloPointer: a virtual augmented reality pointer for laparoscopic surgery training
Jin et al. Telemedicine, telementoring, and telesurgery for surgical practices
Weiss et al. Evaluating the didactic value of 3D visualization in otosurgery
Rolland et al. Optical versus video see-through head-mounted displays
Jayender et al. A novel mixed reality navigation system for laparoscopy surgery
Grall et al. Surgical training 2.0: a systematic approach reviewing the literature focusing on oral maxillofacial surgery–Part I
Chen et al. Visualization of stereoscopic anatomic models of the paranasal sinuses and cervical vertebrae from the surgical and procedural perspective
CN113995525A (zh) 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
Wanibuchi et al. Effectiveness of the 3D monitor system for medical education during neurosurgical operation
Andersen et al. Augmented visual instruction for surgical practice and training
Bavaresco et al. Tele-odontology in Brazil: strategies and challenges for the training of the healthcare network
Zhang Improvement of Medical Clinical Teaching by VR Medical Surgical Helmet
KR102458491B1 (ko) 실시간 수술영상 태깅이 가능한 원격협진지원시스템
US12106678B2 (en) Procedure guidance and training apparatus, methods and systems
KR102458495B1 (ko) 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
KR20230135754A (ko) 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템
CN118541743A (zh) 手术指导和培训装置、方法和系统
Tol Remote Real-Time 3D Viewing During Surgery for Supervision and Education: Applications in Endoscopy and Remote Viewing via Camera-equipped Glasses
Campisi et al. to Patients
Kumaresan et al. A real time visual demonstration of the oral surgical procedures using a webcam system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090821

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4440893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150115

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees