JP4440893B2 - 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム - Google Patents
三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム Download PDFInfo
- Publication number
- JP4440893B2 JP4440893B2 JP2005518945A JP2005518945A JP4440893B2 JP 4440893 B2 JP4440893 B2 JP 4440893B2 JP 2005518945 A JP2005518945 A JP 2005518945A JP 2005518945 A JP2005518945 A JP 2005518945A JP 4440893 B2 JP4440893 B2 JP 4440893B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional entity
- entity digital
- digital magnifier
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims description 50
- 238000001444 catalytic combustion detection Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 50
- 238000001356 surgical procedure Methods 0.000 claims description 41
- 239000011521 glass Substances 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 32
- 239000000203 mixture Substances 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 14
- 210000001519 tissue Anatomy 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 210000001747 pupil Anatomy 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 16
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000004424 eye movement Effects 0.000 claims 1
- 230000006854 communication Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 25
- 241000282414 Homo sapiens Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000007667 floating Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000004513 dentition Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000036346 tooth eruption Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000007115 recruitment Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001107 psychogenic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3616—Magnifying glass
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Epidemiology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Heart & Thoracic Surgery (AREA)
- General Business, Economics & Management (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medicinal Chemistry (AREA)
- Economics (AREA)
- Pure & Applied Mathematics (AREA)
Description
より詳しくは、人が直視のもとに行う医科手術やその他の手作業で行う細密特殊技術教育プログラムの配信や、特定の顧客が行う医科手術やその他の手作業で行う細密特殊技術の教育指導(専門知識を持たない人間をロボットに見立て、遠隔地より前記ロボットに見立てた人間の視野を観察しながら得た情報に基づき三次元画像合成による視覚指示、音声指示などでコントロールする)、あるいは術者が術野から目を離すことなく術者視覚視野に直接術野画像と共に不可視領域の画像情報を提供するシステムに関するものである。
課題を解決するための手段及び発明の効果
前記医科手術やその他の精密技術支援及び支援及び指導教育プログラムを実施するに当たり、最小の構成としては、術者及び指導者が装着する同期された同一規格で、両眼の直前に設置された一対のLCDで構成される三次元実体デジタル拡大鏡と、前記三次元実体デジタル拡大鏡前面の装着作業者左右瞳孔中央部に相当する位置から、裸眼視野方向に向けて取り付けた一対のズームレンズ搭載自動焦点CCDカメラからなる三次元実体デジタル拡大鏡で構成される装置を使用して、術者及び指導者双方の三次元実体デジタル拡大鏡LCDモニターに共有表示される術者が装着する三次元実体デジタル拡大鏡装置のCCDカメラで捕らえる術者視野立体画像上に、フローター化画像処理装置によって指導者側の三次元実体デジタル拡大鏡装置のCCDカメラで捕らえる指導者側の三次元実体デジタル拡大鏡装置のCCDカメラ前方視野全域をカバーするように設置したRGB色の中で、視野画像背景色に応じて補色関係を考慮して、レッド、グリーンまたはブルーの単一色バック(口腔内においては血液及びは肉の赤に対して補色となる赤が好ましい)の背景前面で、指導者が三次元実体デジタル拡大鏡装置のLCDモニター上で認識しながら視覚指示を行うために操作する指導者視野内で保持し自由に動かすことのできる立体ポインティングデバイス、あるいは術者が使用する器具と同一の各種器具(ダミー)の三次元画像のみ抽出し、さらに画像クロマキー合成画像処理装置によってフローター化された三次元視覚指示画像を0パーセントから100パーセントの割合で透明度を変更するか色彩的に判別しやすいように変換の上合成表示し、術者、指導者双方のLCDに合成表示することを特徴とする三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システムである。この三次元実体デジタル拡大鏡システムによって、術者あるいは指導術者は、施術野から視線をそらすことなく、術野を撮像観察する際に、術者の頭などが障壁になることなく、理想的なカメラアングルが得られるので、術者はカメラ位置に気を配ることなく施術に集中することができる。
また、医科手術においては任意の手術施設から患者を移動させること無く、教育プログラムの指導術者(講師)と受講者(顧客)の医師免許証発給国籍が異なる場合でも医師免許証の制約を受けること無く、国境を越えて受講者(顧客)に指導することを可能にする。この三次元実体デジタル拡大鏡装置を更に発展させて、術者と指導者が共有する術者視野画像中に施術患者の予めCTあるいはMRIなどの断層撮影情報を元に作製した骨、血管、神経組織などの解剖学的三次元画像や、前記解剖学的三次元透視画像に加えて切開や骨切削などの位置を立体的に画像合成表示したサージカルステント画像を、同様に0パーセントから100パーセントの割合で、特に解剖学的ランドマークを示す部位や組織の透明度や色調を変更するか、あるいはワイヤーフレーム表示などで前記術者三次元実体デジタル拡大鏡CCD画像情報に対して視覚的差異を与えることによって容易に判別可能となるように画像処理変換した三次元画像情報を合成表示することによって、術者はあたかも皮膚や軟組織を透視して血管や骨の形状を、あるいは更に骨を透視して骨の中を走向する神経の様子を視覚的に把握することが可能となるために安全で的確な施術を実施することが可能になる。しかし、HMDを装着する術者と、術野の対象は双方とも3時次元的な位置が常に変化することが考えられる。この問題を解決するためには、前記解剖学的三次元画像やサージカルステント画像を、術者HMDに表示される術野画像に正確に重ね合わせ、術者の頭部の位置変化と患者の体位の変化に対応して解剖学的三次元透視画像やサージカルステント画像が術者CCDカメラの捕らえる術野画像を追尾する必要がある。このような構成を臨床的に応用可能なものとするために、術者三次元実体デジタル拡大鏡の左右それぞれ同期された2個のCCDカメラの撮像する術者視野画像から静止画像を取り出し、このそれぞれの画像上の、歯あるいは骨のような解剖学的に普遍的な硬組織上の3点に基準点を設け、この3点ずつ計6点の位置情報を記録する。この左右2個のCCDカメラによる三点位置計測によって三次元的な術者と患者の位置関係を記録し、術者視野画像中(動画)の基準となる3点の位置的移動を追尾することによって常に三次元的な術者三次元実体デジタル拡大鏡と患者の体位の位置変化を把握することができる。同時に前記、術者三次元実体デジタル拡大鏡の2個のCCDカメラ情報からそれぞれ取り出した静止画上の解剖学的に普遍的な硬組織上の3点に、解剖学的三次元画像やサージカルステント画像上の前記硬組織上の基準なる三点と同一の三点を正確にプロットし、術野画像中に解剖学的三次元画像やサージカルステント画像を位置的に正確に重ね合わせ、術野三次元画像中における解剖学的三次元画像や三次元サージカルステント画像の術者三次元実体デジタル拡大鏡が捕らえる術野空間における三次元的な位置を記録する。これによって術者三次元実体デジタル拡大鏡と患者の体位の三次元的位置移動に従って解剖学的三次元画像や三次元サージカルステント画像を三次元的に追尾させることが可能となる。
これらの解剖学的三次元画像や三次元サージカルステント画像は、遠隔地にて一元的に管理運営することも可能である。例に挙げれば、主治医と遠く離れた地域で緊急に手術を要する場合などに、術者は、まさに施術しようとする患者の三次元実体デジタル拡大鏡から得られる左右CCDカメラ情報を各種通信手段を利用して送信し、遠隔地にて前記受信情報(術者の三次元実体デジタル拡大鏡から得られる左右CCDカメラ情報)から任意の静止画を取り出し、解剖学的三次元画像や三次元サージカルステント画像を重ね合わせることによって位置補正し、術野画像情報の位置的変化の電算処理を行いこの三次元的移動量に従って前記解剖学的三次元画像や三次元サージカルステント画像追尾の上、重ね合わせた合成画像を送信し、術者の装着する三次元実体デジタル拡大鏡LCDに立体画像として表示することも可能である。
その上、極めて情報量が多く、しかも術者の施術状況を仮想体験的に、閲覧、指導及び記録可能である三次元実体デジタル拡大鏡システムを使用して、指導者あるいは介助者の選定に際しては、地域や時間の制約を受けることなく、ネット上で情報交換場を提供することによって可能となる。しかも、技量を客観的に査定されることが可能であるので、術者が支援及び指導教育プログラムを購入する場合、指導術者(講師)の一方的な宣伝広告内容あるいは、既に教育プログラムを受講した知人の主観的評価だけではなく、第三者機関による信憑性の高い客観的な評価基準を提示することが可能となり、指導に対する技術評価と技術指導料に容易に正当性を加味することが可能となるばかりか、指導者(介助者)の選定に際しては、専門分野別に技能や経験あるいは指導言語などの条件と共に報酬金額を提示することによって容易に核等施術内容に最適な人材を選定することが可能となる。
この登録医師あるいは技術者とネット上で金銭契約を結び、その施術指導あるいは介助行為が術者あるいは指導者の一方の契約不履行が発生した場合も、予め契約された内容に従って損害は課金されるシステムとすることによって、面識の無い術者と指導者間の契約事項ではあるが、申し込み時に契約が成立されているので、遠隔地に待機する前記人材(指導者)、あるいは術者は安心して人材派遣を受けることが可能であるばかりか、この申し込みの手立てをネット上で主催するネット管理者は、予め術者に対して指導者(介助者)に対する第二、第三希望の人材を選択させることによって、術者の実質的な損害を補足することが可能であり、ケースによっては、指導者の技量に従ってディスカウントを行うことによってトラブルを回避することが可能となる。
また、指導者(介助者)が三次元実体デジタル拡大鏡をシステムを使用した施術行為において医療過誤等の不足の事態が発生した場合は、三次元実体デジタル拡大鏡システム情報の記録に基づき過失の所在を容易に明確化することが可能であることは元より、各施術内容の難易度と指導者あるいは介助者の各専門分野に応じた関わりの程度に従って、予め契約内容に責任範囲と指導料金のバリエーションを設け、契約内容に従って術者の提示する指導料金に応じた責任範囲を明確化し、医療過誤や瑕疵に対する賠償リスクの分散を可能とするだけでなく、一般的な掛け捨て保険の保険料判断基準である術者の技量だけではなく、施術行為ごとに、症例の難易度、さらに指導者(介助者)の技量、及び体制(人数)などの要素を加味することが可能となり、より実質的合理的な保険料金の設定が可能であり、この保険料の算定基礎は、このシステムの術者及び指導者(介助者)使用経験と実績(成功率あるいは経時的後生存率)を累積することのよって、より正確性を増すことが可能となる。
前述のように、この三次元実体デジタル拡大鏡は、術者の施術状況を仮想体験可能であり、指導者の技量については、指導者の施術状況を、極めて情報量が多く、しかもリアルタイムであると同時に同一規格の三次元実体デジタル拡大鏡でのみ通信可能なシステムによる極めて信憑性の高く、施術状況を仮想体験的に観察可能な三次元実体デジタル拡大鏡システムであり、しかも記録媒体に録画し技量を客観的に評価することも可能である。従って、従来医療分野において医療行為の監査を実施する場合、診断内容と医療行為の整合性の監査に終始していた監査内容をさらに拡大して、外科的な分野(医師の個人的な技量)を客観的に評価することが可能となるので、医師各個人の技量の向上を促すばかりか、全体としての技術レベルの向上につながることになる。
当然のことながら、術者が実際に手を下す施術に際して、術者視野画像中に合成表示する解剖学的三次元画像や、サージカルステント画像、あるいは複数の指導者指導画像が術者と指導者の共有する視野画像中に介入することになるので、前記合成表示画像は、それぞれ別個にあるいは全部を、術者あるいは指導者の意思によって、術者あるいは指導者の施術行為に関わる手、あるいは足を使用する操作を妨げることの無いスイッチ操作により表示あるいは非表示操作可能とすることによって、三次元実体デジタル拡大鏡装置の機能を純粋なデジタル式拡大鏡として術者視野を妨害することなく安全な手術を実施することが可能となる。
[図2]同一規格三次元実体デジタル拡大鏡を利用して、フローティング画像のクロマキー合成による三次元的指示をする概念図
[図3]図1の実体デジタル拡大鏡でインターネットを利用して通信を実行する概念図
[図4]図3の構成を、複数の指導者が実行する概念図
[図5]固定基準平面画像による三次元位置計測を示す概念図。
[図6]解剖学的画像の画像合成表示状態を示す図。
[図7]本システムにおける画像情報の流れを示す模式図。
これにより、比較的簡便なシステムでありながら、同一規格のCCDカメラとLCDモニターを使用しているので、複雑な一補正をすること無く指導者12は、術者3に対して正確に三次元的画像指示を与えることが可能となる。つまり術者3は、自らの両手を使用して実際に手術を行う場合と同様の姿勢で、従来のようにコンピューターモニター上で指示を行う様な不自然な動きではなく、極めて自然な体位で指導することが可能である。この立体指示マーク30を実際の手術器具などに置き換えた場合も、指導者12は、装着する三次元実体デジタル拡大鏡1LCD画面に展開する術野に対して実際に手術を行う際と同様な手技動作を術者視野仮想空間に行うことが出来る。同様に術者3は、あたかも自らが手術を行っているような状況で三次元的な奥行きを持った器具操作を体験することが可能となる。さらに、術者3視野画像中に合成表示する指導者12の三次元視覚指示フローティング画像を0パーセントから100パーセントの割合で透明度を変更するか、あるいは加えて色調を変換可能なクロマキー合成画像処理装置を使用すれば実像と虚像の判別も容易となるので術者3と指導者12が同一の器具を使用する場合もモニター画面上で混乱を起こすことは無い。
一旦、縮尺補正と位置補正をした解剖学的三次元画像レイヤーや、三次元サージカルステントレイヤー画像は、患者歯列33歯牙上の硬組織基準点34a〜34cの三点で構成する三次元的位置測定基準平面35の変位を術者3三次元実体デジタル拡大鏡1の左右二個のCCD1cの画像情報として捕えパーソナルコンピュータ6.6a−1〜6a−nやサーバ8になどで三次元位置計測し、術者CCDカメラ位置変化及び患者の姿勢の変化に対して鉛などのポイントマーカーや画像上の基準点を追尾し自動的にリアルタイムで三次元的位置補正の上、解剖学的三次元画像レイヤーや、三次元サージカルステントレイヤー画像を術者視野画像中に合成表示する。このとき、患者の体位の変化を捉える手段としては、前記のように画像を利用してもよいし、より画像上で明確に基準点を表示する目的で患者頭部の普遍的な硬組織に上に取り付けた異なった三点上にLEDなどの発光体を設置してもよい。あるいは、患者の硬組織などの不動点と術者が装着する三次元実体デジタル拡大鏡に、それぞれジャイロ機構を装着し定点(基準点)に対する患者及び術者三次元実体デジタル拡大鏡の三次元的な位置的な変化を記録し、術者三次元実体デジタル拡大鏡から得られた左右CCDカメラ情報の静止画上の基準点と正確に重ね合わせ、初期補正を行った解剖学的三次元画像や三次元サージカルステント画像レイヤーを、患者の体位の変化あるいは、術者の頭部の移動に従って三次元的に追尾させることも可能である。
また、前記三次元実体デジタル拡大鏡と同一の画像上に、他の指導者等が立体指示マーク30、線画等で書き込みあるいは三次元ポイント指示による指導解説を加えた画像情報をインターネット等の通信網で送信する場合において、その立体指示マーク30指示による指導解説をする際に、動画像をいったん静止画像とし、その静止画の状態で上記書き込みやポイント指示を行って、この書き込みやポイント指示付きの静止画の合成画像を、指導を受ける複数の者の端末に配信することも可能である。あるいは逆に、術者が遠隔の指導者から術者のモニターに書き込みやポイント指示を受けて施術を支援してもらう場合は、指導者側に配信される動画像をいったん静止画像にして、その静止画像に書き込みやポイント指示等をし、その合成静止画像をその術者のモニターに配信してもよい。
そのような書き込みやポイント指示は動画に対して行うこともでき、それを排除するものではないが、動画をいったん静止画にし、三次元実体デジタル拡大鏡1のLCD画面を分画し、視野画像中に別途表示し、その後また動画に戻すことが有効である。なお、このようなポインタによる指示や書き込みは、術者等が指導側になる場合、術者の施術映像を実況している第三者、あるいはサーバ8がある教育システムのサービス会社の担当指導者が行うことが一般的である。上記のように動画をいったん静止画にしてポイント指示等を行った後、再び動画に戻す手法は、周知の技術であるため、詳しい説明は割愛するが、要するに、CCDカメラ等の画像データのある瞬間を画像メモリにいったん蓄え、それを読み出すとともに、入力装置から入力されたポイント指示等の画像(これは静止がでもよいが、動画でもよく、ポイント指示を移動させて説明指導するような場合はポイント画像等が動画である方が好都合な面もある)を取り込み、これらをレイヤー処理やメモリ上での合成等、周知の手法で合成することとなる。これにより、サーバ8に蓄積した三次元実体デジタル拡大鏡術者三次元画像情報と、術野画像中に三次元的に正確な等尺三次元透視画像を合成表示するサージカルステント画像情報を、インターネットなどの通信回線を利用して複数の同期した三次元デジタル拡大鏡を装着する視聴者7a−1〜7a−n共有し、三次元動画あるいは静止画に対して双方向通信によるディスカッションをすることが出来る。
これらすべての画像による通信は、患者のプライバシー保護の観点から、すべての通信デジタル信号データは、画像、音声、デコーダー4を介して三次元実体デジタル拡大鏡1に表示されることになり、ハードウエアデコーディング装置を持たない一般のパーソナルコンピューター端末によりハッキングされた場合、情報漏えいの危険性が少ない。
このシステムは、極めて情報量が多く安全で、しかも術者の施術状況を術者の視線から完全に記録し、第三者が手術を仮想体験可能な三次元実体デジタル拡大鏡システムを使用することによって、前記各種サービスをネット上に施術介助者に対し技能や経験あるいは指導言語などの条件と共に報酬金額を提示し、登録医師あるいは技術者が契約を結び、遠隔地に待機する前記人材(指導者)の人材派遣を受け、施術に対して医療過誤等の不足の事態が発生した場合、三次元実体デジタル拡大鏡システム情報の記録の評価に基づき過失の所在を明確化すると共に、各施術内容と人材の各専門分野に応じた関わりの程度に従って予め取り決めた契約内容と、契約内容に従って術者の提示する指導料金に応じて、責任範囲を明確化し、医療過誤や瑕疵に対する賠償リスクの分散が可能となる。
図7は、上記のような三次元実体デジタル拡大鏡1を利用してインターネットを介して通信する状況を示す模式図の一例である。この図に示すように、術者パーソナルコンピューターに入力された術者CCDカメラの視野画像情報40は、インターネットを利用して送信されると共に、術者パーソナルコンピューター内でインターネットを介して指導者パーソナルコンピューターから送信された指導者CCDカメラフローティング画像43とクロマキー画像合成され42、術者LCDにクロマキー合成画像情報42が表示される。
同様に指導者は、指導者LCDに表示される前記インターネットを介して送信された術者CCDカメラの視野画像情報40上で、指導者CCDカメラ情報41の中からフローター化画像処理された画像を指導者パーソナルコンピューター内でクロマキー合成表示することによって指導者LCD上で実際に使用する医療器具などで、あたかも自分自身が出刀するようなリアリティーを以って指導指示することが可能である。同一規格の三次元実体デジタル拡大鏡1を利用したこのシステムでは、この指導者CCDカメラフローティング画像43は、インターネット通信回線を介して術者パーソナルコンピューター上でクロマキー合成処理をしてやれば、術者CCDカメラの視野画像情報40上に指導者CCDカメラフローティング画像43を位置補正することなく指導者LCDと同一の画像を術者LCD上に反映することができる。
加えて、術者CCDカメラからの情報をサーバコンピューターに取り込み、位置補正及び自動追尾処理をした位置補正サージカルステントフローティング画像44を術者パーソナルコンピューター及び指導者パーソナルコンピューターに送信し、術者CCDカメラの視野画像情報40上にクロマキー合成画像処理をしてやれば術者及び指導者のLCDにサージカルステント画像を反映することができる。これらの操作はすべて術者CCDカメラの視野画像情報40を元に行われることであるので位置補正をすることなく三者が同一の画像を共有することができる。この模式図から分かるように術者三次元実体デジタル拡大鏡システムと指導者三次元実体デジタル拡大鏡システムは全く同一の機能を持つので、指導者及び術者は容易に入れ替わることも可能となる。
それのみならず、従来医療分野において医療行為の監査を実施する場合、診断内容と医療行為の整合性の監査に有用であり、医療過誤の判定に役立つばかりか、医療保険分野においては、医療行為に対するコストの算定基準として有効である。同様に学術的に外科的な分野(医師の個人的な技量)を客観的に評価することが可能であるので、医学学会等をインターネット上でリアルタイムの発表によって開催することが可能であり、このことは医師の直接的な能力評価、つまり学会認定医の選定基準などに極めて有用である。
この様な諸問題を解決の上、効率的な技術教育を実施するに当たり好適なビジネスシステムが構築できる。
Claims (9)
- 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも2つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
前記三次元実体デジタル拡大鏡はそれぞれ、
前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
を備えているとともに、
前記三次元実体デジタル拡大鏡の一対の前記LCDは、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
を選択して表示できるようになっており、
前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の1つを指導者が装着した場合に、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間での視野の共有を可能とするとともに、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡、及び前記術者が装着した前記三次元実体デジタル拡大鏡にそれぞれ含まれる前記画像クロマキー合成画像処理装置に合成させ、その合成後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間で合成された画像の共有を可能とする、
ことができるようになっている、
三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム。 - 前記三次元実体デジタル拡大鏡は、第1入力手段を備えており、
前記画像クロマキー合成画像処理装置は、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記画像クロマキー合成画像処理装置が合成する際、又はそのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを前記画像クロマキー合成画像処理装置が合成する際に、
前記第1入力手段からの入力に基づいて、合成される2つの画像について、透明度を変更するか、又は前記透明度の変更に加えて少なくとも一方の画像の色調を変換した上で合成する、
請求項1記載の三次元実体デジタル拡大鏡システム。 - 前記画像クロマキー合成画像処理装置が、合成される前記2つの画像について、透明度を変更するか、又は前記透明度の変更に加えて少なくとも一方の画像の色調を変換した上で合成する場合に、前記画像クロマキー合成画像処理装置に、予め得た施術される患者の断層撮影情報を元に作成した解剖学的三次元画像、又はその解剖学的三次元画像に切開、骨削除などの処置を行なうべき処置位置を立体的に書き込んだサージカルステント画像であって、変形することの無い硬組織上の三点を基準点として含むものをも透明度を変更させ、且つ等縮で重ね合わせて合成させるようになっているとともに、
前記画像クロマキー合成画像処理装置が合成した前記画像中の前記基準点の位置変化を検知した場合に、当該基準点の位置変化に基づく演算により、前記サージカルステント画像を変化させることにより、術者が装着した三次元実体デジタル拡大鏡の位置変化又は患者の姿勢の変化があったとしても、前記サージカルステント画像が、術者が装着した前記三次元実体デジタル拡大鏡で撮像された前記画像と、前記フローター画像とを追尾できるようにする、
画像位置補正追尾装置を備える、
請求項2記載の三次元実体デジタル拡大鏡システム。 - 一の前記三次元実体デジタル拡大鏡が備える前記一対のCCDカメラが撮像した、当該一の前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記画像と、他の前記三次元実体デジタル拡大鏡で生成された前記フローター画像と、前記サージカルステント画像とを、一の前記三次元実体デジタル拡大鏡又は他の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像を蓄積するサーバを備えており、
前記サーバは三次元実体デジタル拡大鏡のうちの複数に、前記サーバに蓄積された前記画像を送信することができるようにされており、
前記三次元実体デジタル拡大鏡のそれぞれは、
前記サーバから受け付けた前記サーバに蓄積されていた画像を、当該三次元実体デジタル拡大鏡を装着した者の選択により、前記サージカルステント画像の表示、非表示を切り換えて、その三次元実体デジタル拡大鏡が備える一対の前記LCDに表示できるようになっているとともに、
前記サーバに蓄積されていた画像と、その三次元実体デジタル拡大鏡で生成されたフローター画像、又は他の前記三次元実体デジタル拡大鏡で生成された、他の前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、それが備える前記画像クロマキー合成画像処理装置で合成できるようにされており、
前記画像クロマキー合成画像処理装置で合成されたその画像を、複数の前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、複数の前記三次元実体デジタル拡大鏡を装着した複数の者の間で前記画像クロマキー合成画像処理装置で合成されたその画像の共有を可能とする、
請求項3記載の三次元実体デジタル拡大鏡システム。 - 前記三次元実体デジタル拡大鏡はそれぞれ、
他の前記三次元実体デジタル拡大鏡に前記ネットワークを介して送る画像のデータをエンコードする手段と、
他の前記三次元実体デジタル拡大鏡から前記ネットワークを介して送信されて来たエンコードされた画像のデータをデコードする手段と、
を備えている、
請求項1〜4のいずれかに記載の三次元実体デジタル拡大鏡システム。 - 前記サージカルステント画像の表示、非表示の切り換え、及び前記フローター画像の生成を前記三次元実体デジタル拡大鏡に行わせるための入力を行なうための手段は、
目の動き、または音声による入力を受け付けるものとされている、
請求項3記載の三次元実体デジタル拡大鏡システム。 - 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも2つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
前記三次元実体デジタル拡大鏡はそれぞれ、
前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
を備えているとともに、
前記三次元実体デジタル拡大鏡の一対の前記LCDは、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
を選択して表示できるようになっている、
三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の1つを指導者が装着するステップと、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者と前記指導者との間での視野の共有を行なうステップと、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記術者と前記指導者との間で合成された画像の共有を行なうステップと、
を含む、方法。 - 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも3つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
前記三次元実体デジタル拡大鏡はそれぞれ、
前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
を備えているとともに、
前記三次元実体デジタル拡大鏡の一対の前記LCDは、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
を選択して表示できるようになっている、
三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
前記三次元実体デジタル拡大鏡のうちの1つを術者が、他の2つ以上を2人以上の指導者が装着するステップと、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記術者とすべての前記指導者との間での視野の共有を行なうステップと、
前記指導者のうちの一人が選択指導者として選択されるステップと、
前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記選択指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記選択指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記選択指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記選択指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記選択指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記術者と前記選択指導者との間で合成された画像の共有を行なうステップと、
を含む、方法。 - 少なくとも1人の術者及び少なくとも1人の指導者が各々装着するものであり、所定のネットワークを介して互いに通信可能とされた、少なくとも3つのヘッドマウントタイプの三次元実体デジタル拡大鏡を含んでおり、
前記三次元実体デジタル拡大鏡はそれぞれ、
前記三次元実体デジタル拡大鏡を装着した者の左眼の直前に設置される左眼側LCD、及び当該者の右眼の直前に設置される右眼側LCDからなり、当該三次元実体デジタル拡大鏡を装着した者に立体画像を見せる一対のLCDと、
前記三次元実体デジタル拡大鏡を装着した者の左眼の瞳孔中央部に相当する位置に位置し、当該者の左眼の裸眼視野方向を向く、ズームレンズと自動焦点機能を有する左側CCDカメラ、及び当該者の右眼の瞳孔中央部に相当する位置に位置し、当該者の右眼の裸眼視野方向を向き、前記左側CCDカメラと同期されているズームレンズと自動焦点機能を有する右側CCDカメラからなる一対のCCDカメラと、
前記三次元実体デジタル拡大鏡の一対の前記CCDカメラの前方の視野内で前記CCDカメラが捉えた画像から、当該三次元実体デジタル拡大鏡を装着した者が操作する器具の画像のみ抽出し背景画像を取除くフローター化画像処理装置と、
一対の前記LCDに表示される画像に、前記フローター化画像処理装置が生成した画像であるフローター画像を合成する画像クロマキー合成画像処理装置と、
を備えているとともに、
前記三次元実体デジタル拡大鏡の一対の前記LCDは、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像、
そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、そのLCDが搭載されたのと同一の前記画像クロマキー合成画像処理装置が合成した画像、
そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える一対の前記CCDカメラにより撮像された画像と、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡で生成され、そのLCDが搭載されたのと異なる前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た、前記フローター画像とを、そのLCDが搭載されたのと同一の前記三次元実体デジタル拡大鏡が備える前記画像クロマキー合成画像処理装置が合成した画像、
を選択して表示できるようになっている、
三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム、にて実行される方法であり、
前記三次元実体デジタル拡大鏡のうちの2つ以上を2人以上の術者が、他の1つを指導者が装着するステップと、
前記術者のうちの一人が選択術者として選択されるステップと、
前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像を、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDと、に表示することにより、前記選択術者と前記指導者との間での視野の共有を行なうステップと、
前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像され、前記選択術者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された前記フローター画像とを、前記指導者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記指導者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示させるとともに、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記CCDで撮像された画像と、前記指導者が装着した前記三次元実体デジタル拡大鏡で生成された、前記指導者が装着した前記三次元実体デジタル拡大鏡から前記ネットワークを介しての画像データの送信を経て得た前記フローター画像とを、前記選択術者が装着した前記三次元実体デジタル拡大鏡の前記画像クロマキー合成画像処理装置が合成した後の画像を、前記選択術者が装着した前記三次元実体デジタル拡大鏡の一対の前記LCDに表示することにより、前記選択術者と前記指導者との間で合成された画像の共有を行なうステップと、
を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004091349 | 2004-03-26 | ||
JP2004091349 | 2004-03-26 | ||
PCT/JP2005/004758 WO2005093687A1 (ja) | 2004-03-26 | 2005-03-17 | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005093687A1 JPWO2005093687A1 (ja) | 2008-02-14 |
JP4440893B2 true JP4440893B2 (ja) | 2010-03-24 |
Family
ID=35056406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005518945A Expired - Fee Related JP4440893B2 (ja) | 2004-03-26 | 2005-03-17 | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム |
Country Status (12)
Country | Link |
---|---|
US (1) | US7367809B2 (ja) |
EP (1) | EP1739642B1 (ja) |
JP (1) | JP4440893B2 (ja) |
KR (1) | KR100819819B1 (ja) |
CN (1) | CN1973311B (ja) |
AU (1) | AU2005225878B2 (ja) |
BR (1) | BRPI0508748B1 (ja) |
CA (1) | CA2561274C (ja) |
MX (1) | MXPA06011083A (ja) |
MY (1) | MY154870A (ja) |
RU (1) | RU2390852C2 (ja) |
WO (1) | WO2005093687A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763492B1 (ko) | 2015-12-22 | 2017-08-02 | 이화여자대학교 산학협력단 | 로봇 수술용 보조 기기 |
US11006093B1 (en) | 2020-01-22 | 2021-05-11 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
Families Citing this family (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7689014B2 (en) * | 2000-01-18 | 2010-03-30 | Z-Kat Inc | Apparatus and method for measuring anatomical objects using coordinated fluoroscopy |
WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
US8229252B2 (en) | 2005-03-18 | 2012-07-24 | The Invention Science Fund I, Llc | Electronic association of a user expression and a context of the expression |
US7813597B2 (en) | 2005-03-18 | 2010-10-12 | The Invention Science Fund I, Llc | Information encoded in an expression |
US7672512B2 (en) | 2005-03-18 | 2010-03-02 | Searete Llc | Forms for completion with an electronic writing device |
US8640959B2 (en) | 2005-03-18 | 2014-02-04 | The Invention Science Fund I, Llc | Acquisition of a user expression and a context of the expression |
US7809215B2 (en) | 2006-10-11 | 2010-10-05 | The Invention Science Fund I, Llc | Contextual information encoded in a formed expression |
US8599174B2 (en) | 2005-03-18 | 2013-12-03 | The Invention Science Fund I, Llc | Verifying a written expression |
US20060212430A1 (en) | 2005-03-18 | 2006-09-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Outputting a saved hand-formed expression |
US8232979B2 (en) | 2005-05-25 | 2012-07-31 | The Invention Science Fund I, Llc | Performing an action with respect to hand-formed expression |
US8340476B2 (en) | 2005-03-18 | 2012-12-25 | The Invention Science Fund I, Llc | Electronic acquisition of a hand formed expression and a context of the expression |
US8290313B2 (en) | 2005-03-18 | 2012-10-16 | The Invention Science Fund I, Llc | Electronic acquisition of a hand formed expression and a context of the expression |
US20060284791A1 (en) * | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
US8811691B2 (en) * | 2006-06-05 | 2014-08-19 | Visicon Inspection Technologies Llc | Stent inspection system |
EP1884819A1 (en) * | 2006-08-02 | 2008-02-06 | Swiss Medical Technology GmbH | Eyewear with segmented look-through elements |
JP2010505174A (ja) * | 2006-09-28 | 2010-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メニューディスプレイ |
WO2009005901A2 (en) * | 2007-05-18 | 2009-01-08 | The Uab Research Foundation | Virtual interactive presence systems and methods |
WO2009006273A2 (en) * | 2007-06-29 | 2009-01-08 | 3M Innovative Properties Company | Synchronized views of video data and three-dimensional model data |
US8690768B2 (en) * | 2007-07-26 | 2014-04-08 | David Amitai | Patient operable data collection system |
EP2269533B1 (en) * | 2008-03-21 | 2021-05-05 | Atsushi Takahashi | Three-dimensional digital magnifier operation supporting system |
US8477149B2 (en) * | 2009-04-01 | 2013-07-02 | University Of Central Florida Research Foundation, Inc. | Real-time chromakey matting using image statistics |
KR101190265B1 (ko) * | 2009-06-30 | 2012-10-12 | 고려대학교 산학협력단 | 헤드 마운트 수술용 확대 장치 |
WO2011025450A1 (en) * | 2009-08-25 | 2011-03-03 | Xmreality Research Ab | Methods and systems for visual interaction |
GB2474083B (en) * | 2009-10-05 | 2015-12-23 | Keeler Ltd | Improvements in and relating to ophthalmic instruments |
US8116685B2 (en) * | 2010-01-26 | 2012-02-14 | Samsung Electronics Co., Inc. | System and method for visual pairing of mobile devices |
US20120249797A1 (en) * | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US20120242698A1 (en) * | 2010-02-28 | 2012-09-27 | Osterhout Group, Inc. | See-through near-eye display glasses with a multi-segment processor-controlled optical layer |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
IT1398933B1 (it) * | 2010-03-04 | 2013-03-28 | Clementoni S P A | Sistema multimediale per giochi di apprendimento e puzzle. |
DE102010016113A1 (de) * | 2010-03-24 | 2011-09-29 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs |
JP5791131B2 (ja) * | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
US9155503B2 (en) * | 2010-10-27 | 2015-10-13 | Cadwell Labs | Apparatus, system, and method for mapping the location of a nerve |
AU2011336647B2 (en) | 2010-12-02 | 2015-02-12 | Ultradent Products, Inc. | System and method of viewing and tracking stereoscopic video images |
US9847044B1 (en) | 2011-01-03 | 2017-12-19 | Smith & Nephew Orthopaedics Ag | Surgical implement training process |
US9113050B2 (en) * | 2011-01-13 | 2015-08-18 | The Boeing Company | Augmented collaboration system |
FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
US20140057229A1 (en) * | 2011-02-22 | 2014-02-27 | Rheinmetall Defence Electronics Gmbh | Simulator for training a team, in particular for training a helicopter crew |
JP5423716B2 (ja) * | 2011-03-30 | 2014-02-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US9886552B2 (en) * | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
US9910488B2 (en) | 2012-04-23 | 2018-03-06 | Japan Science And Technology Agency | Motion guide presentation method and system therefor, and motion guide presentation device |
US9020203B2 (en) | 2012-05-21 | 2015-04-28 | Vipaar, Llc | System and method for managing spatiotemporal uncertainty |
US9058681B2 (en) * | 2012-06-01 | 2015-06-16 | The Boeing Company | Sensor-enhanced localization in virtual and physical environments |
BR112014029605B1 (pt) | 2012-06-01 | 2023-10-31 | Ultradent Products Inc | Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas |
US9380287B2 (en) * | 2012-09-03 | 2016-06-28 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Head mounted system and method to compute and render a stream of digital images using a head mounted display |
US9729831B2 (en) * | 2012-11-29 | 2017-08-08 | Sony Corporation | Wireless surgical loupe |
US9127928B2 (en) * | 2012-11-15 | 2015-09-08 | General Electric Company | Object location accounting for pitch, yaw and roll of device |
KR20150086477A (ko) * | 2012-11-19 | 2015-07-28 | 오란게덴탈 게엠베하 운트 코카게 | 디스플레이 시스템을 구비한 확대 루페 |
US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
GB2496064B (en) * | 2012-12-31 | 2015-03-11 | Nicholas Jamie Marston | Video camera shooting glasses |
US10098585B2 (en) | 2013-03-15 | 2018-10-16 | Cadwell Laboratories, Inc. | Neuromonitoring systems and methods |
US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
TW201505603A (zh) | 2013-07-16 | 2015-02-16 | Seiko Epson Corp | 資訊處理裝置、資訊處理方法及資訊處理系統 |
KR101579491B1 (ko) * | 2013-07-17 | 2015-12-23 | 한국과학기술원 | 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 |
EP2937058B1 (de) * | 2014-04-24 | 2020-10-07 | Christof Ellerbrock | Kopfgetragene plattform zur integration von virtualität in die realität |
CA2949241A1 (en) * | 2014-05-20 | 2015-11-26 | University Of Washington Through Its Center For Commercialization | Systems and methods for mediated-reality surgical visualization |
KR101580559B1 (ko) * | 2014-06-02 | 2015-12-28 | 조선대학교산학협력단 | 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치 |
US20160000514A1 (en) * | 2014-07-03 | 2016-01-07 | Alan Ellman | Surgical vision and sensor system |
US20160042233A1 (en) * | 2014-08-06 | 2016-02-11 | ProSent Mobile Corporation | Method and system for facilitating evaluation of visual appeal of two or more objects |
KR20160024168A (ko) | 2014-08-25 | 2016-03-04 | 삼성전자주식회사 | 전자 장치의 디스플레이 제어 방법 및 전자 장치 |
JP6437257B2 (ja) * | 2014-09-19 | 2018-12-12 | 株式会社日立ソリューションズ | 作業工程学習支援システム |
US10433793B1 (en) | 2015-03-27 | 2019-10-08 | Cadwell Laboratories, Inc. | Methods and systems for simultaneous review of brain activity and physical manifestations of users |
KR102349716B1 (ko) | 2015-06-11 | 2022-01-11 | 삼성전자주식회사 | 영상 공유 방법 및 이를 수행하는 전자 장치 |
JP6611538B2 (ja) * | 2015-09-29 | 2019-11-27 | 株式会社三菱ケミカルホールディングス | 生体信号出力装置 |
JP2017079385A (ja) * | 2015-10-20 | 2017-04-27 | 株式会社エヌアイデイ | 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム |
JP5997824B1 (ja) * | 2015-11-10 | 2016-09-28 | 株式会社オプティム | 遠隔端末、遠隔指示方法及び遠隔端末用プログラム |
KR101822471B1 (ko) * | 2016-05-26 | 2018-01-29 | 경북대학교 산학협력단 | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 |
US11839433B2 (en) * | 2016-09-22 | 2023-12-12 | Medtronic Navigation, Inc. | System for guided procedures |
US10142298B2 (en) * | 2016-09-26 | 2018-11-27 | Versa Networks, Inc. | Method and system for protecting data flow between pairs of branch nodes in a software-defined wide-area network |
JP6867566B2 (ja) * | 2016-10-21 | 2021-04-28 | サン電子株式会社 | 画像表示装置及び画像表示システム |
CN106297472A (zh) * | 2016-10-25 | 2017-01-04 | 深圳市科创数字显示技术有限公司 | Ar与vr相结合的眼角膜智能手术培训系统 |
JP6833460B2 (ja) * | 2016-11-08 | 2021-02-24 | 株式会社東芝 | 作業支援システム、作業方法、および処理装置 |
US11241297B2 (en) | 2016-12-12 | 2022-02-08 | Cadwell Laboratories, Inc. | System and method for high density electrode management |
US10918445B2 (en) * | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US9935395B1 (en) | 2017-01-23 | 2018-04-03 | Cadwell Laboratories, Inc. | Mass connection plate for electrical connectors |
JP6649912B2 (ja) | 2017-03-15 | 2020-02-19 | 株式会社モリタ | 歯科診療実習装置及び歯科診療実習システム |
WO2019013016A1 (ja) * | 2017-07-13 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN111263619A (zh) * | 2017-09-06 | 2020-06-09 | 柯惠Lp公司 | 用于在机器人手术过程中提供立体视觉感知通知和/或建议的系统、方法和计算机可读介质 |
JP6882147B2 (ja) * | 2017-11-28 | 2021-06-02 | シュナイダーエレクトリックホールディングス株式会社 | 操作案内システム |
US20190175059A1 (en) | 2017-12-07 | 2019-06-13 | Medtronic Xomed, Inc. | System and Method for Assisting Visualization During a Procedure |
US11517239B2 (en) | 2018-04-05 | 2022-12-06 | Cadwell Laboratories, Inc. | Systems and methods for processing and displaying electromyographic signals |
US11596337B2 (en) | 2018-04-24 | 2023-03-07 | Cadwell Laboratories, Inc | Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures |
US11253182B2 (en) | 2018-05-04 | 2022-02-22 | Cadwell Laboratories, Inc. | Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation |
US11992339B2 (en) | 2018-05-04 | 2024-05-28 | Cadwell Laboratories, Inc. | Systems and methods for dynamic neurophysiological stimulation |
US11443649B2 (en) | 2018-06-29 | 2022-09-13 | Cadwell Laboratories, Inc. | Neurophysiological monitoring training simulator |
US11185684B2 (en) | 2018-09-18 | 2021-11-30 | Cadwell Laboratories, Inc. | Minimally invasive two-dimensional grid electrode |
US11517245B2 (en) | 2018-10-30 | 2022-12-06 | Cadwell Laboratories, Inc. | Method and system for data synchronization |
US11471087B2 (en) | 2018-11-09 | 2022-10-18 | Cadwell Laboratories, Inc. | Integrity verification system for testing high channel count neuromonitoring recording equipment |
US11317841B2 (en) | 2018-11-14 | 2022-05-03 | Cadwell Laboratories, Inc. | Method and system for electrode verification |
US11529107B2 (en) | 2018-11-27 | 2022-12-20 | Cadwell Laboratories, Inc. | Methods for automatic generation of EEG montages |
US11128076B2 (en) | 2019-01-21 | 2021-09-21 | Cadwell Laboratories, Inc. | Connector receptacle |
DE102019207454B4 (de) | 2019-05-21 | 2021-05-12 | Volkswagen Aktiengesellschaft | Augmented-Reality-System |
CN112712878B (zh) * | 2020-12-30 | 2024-09-06 | 四川桑瑞思环境技术工程有限公司 | 一种数字化手术室系统和控制方法 |
CN112634700A (zh) * | 2020-12-30 | 2021-04-09 | 青岛亿和海丽安防科技有限公司 | 一种躲避雷电的安全模拟系统及其控制方法 |
WO2023152830A1 (ja) * | 2022-02-09 | 2023-08-17 | リバーフィールド株式会社 | 支援システム、支援装置、被支援装置 |
WO2024047696A1 (ja) * | 2022-08-29 | 2024-03-07 | 株式会社endov | 情報処理システム、情報処理方法及びプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5391081A (en) * | 1992-05-13 | 1995-02-21 | University Of Florida Research Foundation, Incorporated | Method and apparatus for simulating neuromuscular stimulation during medical surgery |
US5769640A (en) * | 1992-12-02 | 1998-06-23 | Cybernet Systems Corporation | Method and system for simulating medical procedures including virtual reality and control method and system for use therein |
US5546943A (en) * | 1994-12-09 | 1996-08-20 | Gould; Duncan K. | Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality |
US6024576A (en) * | 1996-09-06 | 2000-02-15 | Immersion Corporation | Hemispherical, high bandwidth mechanical interface for computer systems |
JPH11161769A (ja) | 1997-11-25 | 1999-06-18 | Hitachi Denshi Ltd | 動作認識情報入力装置 |
JPH11197159A (ja) * | 1998-01-13 | 1999-07-27 | Hitachi Ltd | 手術支援システム |
US6074213A (en) * | 1998-08-17 | 2000-06-13 | Hon; David C. | Fractional process simulator with remote apparatus for multi-locational training of medical teams |
US6113395A (en) * | 1998-08-18 | 2000-09-05 | Hon; David C. | Selectable instruments with homing devices for haptic virtual reality medical simulation |
JP4288843B2 (ja) | 2000-10-25 | 2009-07-01 | 沖電気工業株式会社 | 遠隔作業支援システム |
JP2002207832A (ja) | 2000-12-28 | 2002-07-26 | Atsushi Takahashi | インターネット技術指導教育配信システム、及び通信網を利用した指導システム |
US6659776B1 (en) * | 2000-12-28 | 2003-12-09 | 3-D Technical Services, Inc. | Portable laparoscopic trainer |
US6739877B2 (en) * | 2001-03-06 | 2004-05-25 | Medical Simulation Corporation | Distributive processing simulation method and system for training healthcare teams |
US7095388B2 (en) * | 2001-04-02 | 2006-08-22 | 3-Dac Golf Corporation | Method and system for developing consistency of motion |
US20020149599A1 (en) * | 2001-04-12 | 2002-10-17 | Honeywell International Inc. | Methods and apparatus for displaying multiple data categories |
US7056123B2 (en) * | 2001-07-16 | 2006-06-06 | Immersion Corporation | Interface apparatus with cable-driven force feedback and grounded actuators |
JP2004089599A (ja) | 2002-09-04 | 2004-03-25 | Hitachi Medical Corp | 画像表示装置 |
US20040064298A1 (en) * | 2002-09-26 | 2004-04-01 | Robert Levine | Medical instruction using a virtual patient |
US7594815B2 (en) * | 2003-09-24 | 2009-09-29 | Toly Christopher C | Laparoscopic and endoscopic trainer including a digital camera |
-
2005
- 2005-03-17 AU AU2005225878A patent/AU2005225878B2/en not_active Ceased
- 2005-03-17 MX MXPA06011083A patent/MXPA06011083A/es active IP Right Grant
- 2005-03-17 KR KR1020067020913A patent/KR100819819B1/ko active IP Right Grant
- 2005-03-17 CN CN2005800129810A patent/CN1973311B/zh not_active Expired - Fee Related
- 2005-03-17 CA CA2561274A patent/CA2561274C/en active Active
- 2005-03-17 US US10/594,193 patent/US7367809B2/en active Active
- 2005-03-17 BR BRPI0508748-1A patent/BRPI0508748B1/pt not_active IP Right Cessation
- 2005-03-17 WO PCT/JP2005/004758 patent/WO2005093687A1/ja active Application Filing
- 2005-03-17 JP JP2005518945A patent/JP4440893B2/ja not_active Expired - Fee Related
- 2005-03-17 EP EP05726663.7A patent/EP1739642B1/en not_active Not-in-force
- 2005-03-17 RU RU2006137063/12A patent/RU2390852C2/ru active
-
2006
- 2006-09-26 MY MYPI20064210A patent/MY154870A/en unknown
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763492B1 (ko) | 2015-12-22 | 2017-08-02 | 이화여자대학교 산학협력단 | 로봇 수술용 보조 기기 |
US11006093B1 (en) | 2020-01-22 | 2021-05-11 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
US11166006B2 (en) | 2020-01-22 | 2021-11-02 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
US11412202B2 (en) | 2020-01-22 | 2022-08-09 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
US11611735B2 (en) | 2020-01-22 | 2023-03-21 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
US12075019B2 (en) | 2020-01-22 | 2024-08-27 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
Also Published As
Publication number | Publication date |
---|---|
WO2005093687A1 (ja) | 2005-10-06 |
US7367809B2 (en) | 2008-05-06 |
AU2005225878B2 (en) | 2009-09-10 |
US20070184422A1 (en) | 2007-08-09 |
JPWO2005093687A1 (ja) | 2008-02-14 |
CA2561274A1 (en) | 2005-10-06 |
EP1739642B1 (en) | 2017-05-24 |
EP1739642A4 (en) | 2010-04-14 |
BRPI0508748B1 (pt) | 2018-05-02 |
KR100819819B1 (ko) | 2008-04-08 |
KR20060127251A (ko) | 2006-12-11 |
EP1739642A1 (en) | 2007-01-03 |
MY154870A (en) | 2015-08-14 |
BRPI0508748A (pt) | 2007-09-04 |
AU2005225878A1 (en) | 2005-10-06 |
RU2390852C2 (ru) | 2010-05-27 |
CN1973311B (zh) | 2010-08-25 |
RU2006137063A (ru) | 2008-05-10 |
MXPA06011083A (es) | 2007-04-13 |
CA2561274C (en) | 2015-08-11 |
CN1973311A (zh) | 2007-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4440893B2 (ja) | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム | |
WO2002054309A1 (fr) | Systeme de distribution a distance de formation et de guidage technique par internet mettant en application une intervention de praticien et systeme de guidage utilisant un reseau de communication | |
US10197803B2 (en) | Augmented reality glasses for medical applications and corresponding augmented reality system | |
Liu et al. | A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens | |
US20110091856A1 (en) | Opthalmoscope simulator | |
Heinrich et al. | HoloPointer: a virtual augmented reality pointer for laparoscopic surgery training | |
Jin et al. | Telemedicine, telementoring, and telesurgery for surgical practices | |
Weiss et al. | Evaluating the didactic value of 3D visualization in otosurgery | |
Rolland et al. | Optical versus video see-through head-mounted displays | |
Jayender et al. | A novel mixed reality navigation system for laparoscopy surgery | |
Grall et al. | Surgical training 2.0: a systematic approach reviewing the literature focusing on oral maxillofacial surgery–Part I | |
Chen et al. | Visualization of stereoscopic anatomic models of the paranasal sinuses and cervical vertebrae from the surgical and procedural perspective | |
CN113995525A (zh) | 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质 | |
Wanibuchi et al. | Effectiveness of the 3D monitor system for medical education during neurosurgical operation | |
Andersen et al. | Augmented visual instruction for surgical practice and training | |
Bavaresco et al. | Tele-odontology in Brazil: strategies and challenges for the training of the healthcare network | |
Zhang | Improvement of Medical Clinical Teaching by VR Medical Surgical Helmet | |
KR102458491B1 (ko) | 실시간 수술영상 태깅이 가능한 원격협진지원시스템 | |
US12106678B2 (en) | Procedure guidance and training apparatus, methods and systems | |
KR102458495B1 (ko) | 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법 | |
KR20230135754A (ko) | 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템 | |
CN118541743A (zh) | 手术指导和培训装置、方法和系统 | |
Tol | Remote Real-Time 3D Viewing During Surgery for Supervision and Education: Applications in Endoscopy and Remote Viewing via Camera-equipped Glasses | |
Campisi et al. | to Patients | |
Kumaresan et al. | A real time visual demonstration of the oral surgical procedures using a webcam system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090821 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4440893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140115 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150115 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |