KR100819819B1 - 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법 - Google Patents

삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법 Download PDF

Info

Publication number
KR100819819B1
KR100819819B1 KR1020067020913A KR20067020913A KR100819819B1 KR 100819819 B1 KR100819819 B1 KR 100819819B1 KR 1020067020913 A KR1020067020913 A KR 1020067020913A KR 20067020913 A KR20067020913 A KR 20067020913A KR 100819819 B1 KR100819819 B1 KR 100819819B1
Authority
KR
South Korea
Prior art keywords
dimensional
image
operator
leader
ccd camera
Prior art date
Application number
KR1020067020913A
Other languages
English (en)
Other versions
KR20060127251A (ko
Inventor
아츠시 타카하시
Original Assignee
아츠시 타카하시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아츠시 타카하시 filed Critical 아츠시 타카하시
Publication of KR20060127251A publication Critical patent/KR20060127251A/ko
Application granted granted Critical
Publication of KR100819819B1 publication Critical patent/KR100819819B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

조작자가 장착하는 HMD 상에 시각적 지지를 부여하는 경우, 깊이를 포함한 삼차원 화상 지시를 가능하게 한 화상합성에 의한 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 기술 지원 및 지도 교육전달 시스템을 제공한다. 조작자 및 지도자가 장착하는 동일한 실체 디지털 확대경을 이용하여, 지도자 CCD 카메라 화상 정보 중에, 포인팅 장치 혹은 각종의 기구의 화상만 표시함과 동시에, 상기 화상의 잔상을 임의의 설정시간 동안 표시 가능하게 하는 화상처리장치로부터 출력되는 삼차원 시각 지시 화상을 상기 조작자가 장착하는 실체 디지털 확대경의 CCD 카메라 화상정보에 동기 합성표시함으로써 삼차원적으로 시각 표시 지시화상에 의한 지도 해설을 부가한 화상정보를, 지도자(강사진)가 실제로 사용하는 기구를 조작자의 삼차원 HMD에 등척으로 표시하는 화상 합성에 의한 삼차원 시각 지시기능을 갖춘 삼차원 실체 디지털 확대경 기술 지원 및 지도 교육 전달시스템.
인터넷, 의과 수술, 세밀 특수 기술, 교육 지도, 삼차원 화상 합성, 화상 정보

Description

삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법{3D ENTITY DIGITAL MAGNIFYING GLASS SYSTEM HAVING 3D VISUAL INSTRUCTION FUNCTION AND 3D VISUAL INSTRUCTION METHOD FOR 3D ENTITY DIGITAL MAGNIFYING GLASS SYSTEM }
본 발명은, 인터넷 등의 통신망을 이용해 기술 지도를 실시하는 시스템에 관한 것이다. 보다 자세하게는, 사람이 직시(直視)하여 실시하는 의과 수술이나 그 외의 수작업으로 실시하는 세밀 특수 기술 교육 프로그램의 전달이나, 특정의 고객이 실시하는 의과 수술과 그 외의 수작업으로 실시하는 세밀 특수 기술의 교육 지도(전문 지식을 갖지 않는 인간을 로보트로 가정하여 원격지로부터 상기 로보트로 가정한 인간의 시야를 관찰하면서 얻은 정보에 근거해 삼차원 화상 합성에 의한 시각 지시, 음성 지시 등으로 컨트롤한다), 혹은 조작자가 조작영역으로부터 한 눈을 파는 일 없이 조작자 시각 시야에 직접 조작영역 화상과 함께 불가시(不可視) 영역의 화상 정보를 제공하는 시스템에 관한 것이다.
일반적으로, 의과 수술과 그 외의 수작업으로 실시하는 특수 기술을 임상 현장에서 지도하는 경우, 조작자와 지도자의 시야 방향과 체위가 다르기 때문에 정확한 치료기구(instrumentation) 등의 손재주를 지도하는 것은 곤란하고, 수술 시간의 증대를 부를 뿐더러 지도자는 조작자의 시각적 방해를 하게 되어 일시적으로 작업을 중단할 필요가 있다. 게다가 의식하에서의 수술 현장에서는, 환자에게 불안 을 안겨주어 심인성 쇼크 등의 원인이 될 우려가 있었다.
반대로, 지도자가 실시하는 의과 수술 등의 세밀 기술을 수강자에게 지도하는 경우도, 지도 조작자(강사)와 같은 이상적인 시야로부터 폐쇄적인 부위에 대한 수술 및 기술 견학을 실시하려고 하는 경우, 복수의 수강자(고객)에 대해서 각 시술 단계에서 시술 상황을 순차로 견학시키기에는 방대한 시간을 필요로 할 뿐만 아니라, 시술 시설의 물리적 제약에 의해 동시에 견학 가능한 인원수에는 제약이 있기 때문에, 적은 인원수를 대상으로 실시되고 있었다. 게다가, 지도 조작자(강사)와 수강자(고객)의 사용 언어가 다른 경우, 시술 현장에 통역자를 동석시킬 필요가 있으므로 수강자(고객) 1명당의 교육 프로그램 수강료는 고가였다.
게다가, 조작자에게 지도하는 경우도, 지도자가 수강자에게 지도하는 경우도, 시술자는, X레이, CT, MRI, 심전도 등의 정보를 확인하기 위해서 조작영역으로부터 일단 한 눈을 떼어 주시할 필요가 있고, 특히 원격지에 있어서는 실시간으로의 정보의 공유가 곤란했다.
또한, 의과 수술의 경우, 환자 자체를 교육 프로그램을 위해서 원격지로 이동시키는 것은 곤란하며, 그 외의 수작업으로 실시하는 특수 기술에 있어서도 대규모의 시설과 이동 불가능한 기계 기구를 필요로 하는 경우, 견학 수강자(고객)는 시술 일시에 일정을 조정한 후, 막대한 교통비와 이동에 대한 시간적 비용을 소비하고 있었다. 각종 통신 수단을 이용해 원격지에 전달하는 경우도, 기본적으로 개인의 의과 수술을 제 3 자에게 공개하는 경우, 환자 본인의 동의를 얻는 것은 프라이버시의 문제상 당연한 일이지만, 정보에 통신 경로 상에서의 누설에 관해서도 마 찬가지로 책임이 부과되게 된다. 반대로, 원격지에서 실시되는 세밀 작업의 실기 지도와 의과 수술의 지도를 실시하는 경우, 지도자(강사진)는 현장까지 이동하지 않으면 안되므로 막대한 경비를 필요로 하기 때문에 지도에 관련되는 제반비용(교통비와 이동에 대한 시간적 비용)은 고가일 뿐만 아니라, 이동에 장시간을 필요로 하는 원격지에서는 긴급 의과 수술에 대응하는 것이 곤란하였으며, 복수의 지도자(강사진)에 의해 지도를 실시하는 경우 더욱 더 제반비용은 커져, 긴급 의과 수술 대응은 보다 곤란했다. 게다가, 의사 면허의 법적 규제에 의해 해외에서 의료 행위를 실시하는 것은 금지되고 있기 때문에, 지도자(강사진)가 해당 여러 나라에서 스스로 직접 출도하는 실황 수술 견학교육 프로그램의 개강 및 수술의 실기 지도를 하는 것은 기본적으로는 불가능하다.
또한, 조작자(고객)가 의과 수술과 그 외의 수작업으로 실시하는 세밀 특수 기술의 지도를 실제로 희망했을 경우, 지도자(강사진) 등의 각지에 점재하는 우수한 기능이나 지식을 가진 인재를 지정 시각에 특정 장소에 전부 모아 수술을 감수 혹은 관리시키는 것은 불가능하다고 말하지 않을 수 없다. 게다가 공유하는 삼차원 화상에 대해서 삼차원 지시 화상을 표시한 후 서로 논의하는 것 같은 시스템은 존재하지 않았다.
특허 문헌 1：일본 특허 제 3556829호
전술한 바와 같이 일반적으로 의과 수술이나 그 외의 수작업으로 실시하는 특수 기술을 임상 현장에서 지도하는 경우, 본 발명은 조작자와 동일한 시야를 지도자가 확보하여, 정확한 지도를 실시함으로써, 수술시간의 증대를 방지한다. 게다가 의식하에서의 수술 현장이라도 환자에게 지도자의 존재를 의식시키는 일이 없도록 하여 불필요한 불안을 안겨주지 않도록 한다.
역으로, 지도자가 실시하는 의과 수술 등의 세밀 기술을 수강자에게 지도하는 경우, 지도 조작자(강사)와 동일한 이상적인 시야로부터 폐쇄적인 부위에 대한 수술 및 기술 견학을 실시하는 경우에 있어서 동시에 다수의 인간이 견학 가능하게 한다. 게다가, 지도 조작자(강사)와 수강자(고객)의 사용 언어가 다른 경우, 일부러 시술 현장에 통역자를 동석시킬 필요가 없도록 하여 수강자(고객) 1명당의 교육 프로그램 수강료를 정액으로 한다.
게다가, 조작자에게 지도하는 경우도, 지도자가 수강자에게 지도하는 경우도, 시술자는, X레이, CT, MRI, 심전도 등의 정보를 확인할 때에 조작영역으로부터 한 눈을 파는 일 없이 열람 가능하게 하고, 또한 상기 정보를 원격지에서도 실시간으로 공유한다.
또한, 의과 수술의 경우, 환자 자체를 교육 프로그램 때문에 원격지로 이동시키는 일이 없고, 반대로 견학 수강자(고객)의 교통비와 이동에 대한 시간적 비용을 경감한다. 상기 각종 통신 수단을 이용해 원격지에 전달하는 경우도, 개인정보의 누설을 방지한다. 반대로, 원격지에서 실시되는 세밀 작업의 실기 지도나 의과 수술의 지도를 실시하는 경우, 지도자(강사진)의 제반비용(교통비와 이동에 대한 시간적 비용)을 경감하고, 이동에 장시간을 필요로 하는 원격지에서는 긴급 의과 수술에 대응하고, 게다가 복수의 지도자(강사진)에 의한 지도를 가능하게 한다. 게다가, 의사 면허의 법적 규제를 배제하고, 지도자(강사진)가 해당 여러 나라에서 스스로 직접 출도하는 실황 수술 견학 교육 프로그램의 개강 및 수술의 실기 지도를 가능하게 한다.
또한, 조작자(고객)가 의과 수술이나 그 외의 수작업으로 실시하는 세밀 특수 기술의 지도를 실제로 희망하는 경우, 지도자(강사진) 등 각지에 점재하는 우수한 기능이나 지식을 가진 인재를 지정 시각에 특정한 장소에 모두 모아서 수술을 감수 혹은 관리하고, 게다가 공유하는 삼차원 화상에 대해서 실시간으로 서로 논의하는 것을 가능하게 하는 것이다.
본 발명은, 인터넷이나 인트라넷을 통신 수단으로 하여 인간이 직시하에서 실시하는 의과 수술이나 그 외의 정밀 기술의 지원, 지원 및 지도 교육 프로그램을 실행하는 삼차원 실체 디지털 확대경에 수많은 부가 기능을 추가한 시스템으로서, 상기 의과 수술이나 그 외의 정밀 기술 지원, 지원 및 지도 교육 프로그램을 실시함에 있어서, 최소의 구성으로서는, 조작자 및 지도자가 장착하는 동기된 동일 규격으로, 양 눈의 직전에 설치된 한 쌍의 LCD로 구성되는 삼차원 실체 디지털 확대경과, 상기 삼차원 실체 디지털 확대경 전면의 장착 작업자 좌우 동공 중앙부에 상당하는 위치로부터, 맨눈의 시야방향을 향해 설치한 한 쌍의 줌렌즈 탑재 자동 초점 CCD 카메라로 이루어지는 삼차원 실체 디지털 확대경으로 구성되는 장치를 사용해, 조작자 및 지도자 쌍방의 삼차원 실체 디지털 확대경 LCD 모니터에 공유 표시되는 조작자가 장착하는 삼차원 실체 디지털 확대경 장치의 CCD 카메라로 포착하는 조작자 시야 입체 화상 상에, 플로터화 화상 처리 장치에 의해 지도자측의 삼차원 실체 디지털 확대경 장치의 CCD 카메라로 잡을 수 있는 지도자 측의 삼차원 실체 디지털 확대경 장치의 CCD 카메라 전방 시야 전역을 커버하도록 설치한 RGB 색 중에서, 시야 화상 배경색에 따라서 보색 관계를 고려하여, 레드, 그린 또는 블루의 단일색 백(bag)(구강내에서는 혈액 및 살의 빨강에 대해서 보색이 되는 빨강이 바람직하다)의 배경 전면에서, 지도자가 삼차원 실체 디지털 확대경 장치의 LCD 모니터 상에서 인식하면서 시각 지시를 실시하기 위해서 조작하는 지도자 시야내에서 유지하여 자유롭게 움직일 수 있는 입체 포인팅 장치(pointing device), 혹은 조작자가 사용하는 기구와 동일한 각종 기구(모형)의 삼차원 화상만 추출하고, 게다가 화상 크로마키(chroma-key)합성 화상 처리장치에 의해 플로터화된 삼차원 시각 지시 화상을 0 퍼센트에서 100 퍼센트의 비율로 투명도를 변경하던지 색채적으로 판별하기 쉽게 변환한 후에 합성표시하고, 조작자, 지도자 쌍방의 LCD에 합성 표시하는 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템이다. 이 삼차원 실체 디지털 확대경 시스템에 의해, 조작자 혹은 지도 조작자는, 시술영역으로부터 시선을 돌리는 일이 없고, 조작영역을 촬상 관찰할 때에, 조작자의 머리 등이 장벽이 되는 일이 없고, 이상적인 카메라 앵글을 얻을 수 있으므로, 조작자는 카메라 위치에 신경 쓰는 일 없이 시술에 집중할 수가 있다.
당연히 이 지도 행위는, 지도자는 시술 환경으로부터 떨어진 장소에서 지도하는 것이 가능하므로, 환자에게는 일절 인지되는 일 없이 수행되며, 환자에 대해서 불필요한 심리적 영향을 주는 것이 없을 뿐만 아니라, 조작자는, 조작자가 장착하는 삼차원 실체 디지털 확대경 시야 화면에서 포착하는 눈앞의 실체(환자)에 대해서, 지도자가 지도자 삼차원 실체 디지털 확대경의 조작자 시야 화상 가상 공간상에서 조작하는, 조작자가 실제로 사용하는 기구와 동일한 기구의 입체 화상을, 조작자 LCD 상의 실체 화상상의 작업 공간에, 삼차원적 깊이도 표현함으로써, 지도자가 실시하는 리얼리티가 있는 시뮬레이션에 의한 지도를 받을 수가 있을 뿐더러, 마치, 조작자에 대해서 조작자가 스스로 동일 기구를 사용해 시술하는 상황을 시각적으로 만들어 내는 것이 용이하게 가능하므로, 조작자와 지도자의 언어에 의한 의사의 소통이 불충분한 경우에도 시각적으로 충분히 보상하는 것이 가능하다.
이 시각적 지시를 실시하는 실기의 교육적 지도 서비스를 실시함으로써, 1명 혹은 복수의 지도자(강사진)의 이동에 관련되는 시간적 금전적 경비는 전혀 없게 되며, 의과 수술에 있어서는 원격지라도 긴급 대응이 가능해진다.
또한, 의과 수술에 있어서는 임의의 수술 시설로부터 환자를 이동시키는 일이 없고, 교육 프로그램의 지도 조작자(강사)와 수강자(고객)의 의사 면허증 발급 국적이 다른 경우에서도 의사 면허증의 제약을 받는 일이 없고, 국경을 넘어 수강자(고객)에게 지도하는 것을 가능하게 한다. 이 삼차원 실체 디지털 확대경 장치를 더욱 발전시켜, 조작자와 지도자가 공유하는 조작자 시야 화상 중에 시술 환자의 CT 혹은 MRI 등의 단층촬영 정보를 기초로 미리 제작한 뼈, 혈관, 신경 조직 등의 해부학적 삼차원 화상이나, 상기 해부학적 삼차원 투시화상에 추가하여 절개나 뼈절삭 등의 위치를 입체적으로 화상 합성 표시한 서지칼 스텐트(surgical stent) 화상을, 마찬가지로 0 퍼센트에서 100 퍼센트의 비율로, 특히 해부학적 경계표지를 나타내는 부위나 조직의 투명도나 색조를 변경하던지, 혹은 와이어 프레임 표시등으로 상기 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보에 대해서 시각적 차이를 줌으로써 용이하게 판별 가능해지도록 화상 처리 변환한 삼차원 화상 정보를 합성 표시함으로써, 조작자는 마치 피부나 연조직을 투시해 혈관이나 뼈의 형상을, 혹은 더욱 뼈를 투시해 뼛속을 주향(走向)하는 신경의 모습을 시각적으로 파악하는 것이 가능해지기 때문에 안전하고 정확한 시술을 실시하는 것이 가능하게 된다. 그러나, HMD(Head Mounted Display)를 장착하는 조작자와 조작영역의 대상은 양쪽 모두 3차원적인 위치가 항상 변화하는 것을 생각할 수 있다. 이 문제를 해결하기 위해서는, 상기 해부학적 삼차원 화상이나 서지칼 스텐트 화상을, 조작자 HMD에 표시되는 조작 영역 화상에 정확하게 겹치고, 조작자의 머리 부분의 위치 변화와 환자의 체위의 변화에 대응하여 해부학적 삼차원 투시화상이나 서지칼 스텐트 화상이 조작자 CCD 카메라가 포착하는 조작 영역 화상을 추적할 필요가 있다. 이러한 구성을 임상적으로 응용 가능한 것으로 하기 위해서, 조작자 삼차원 실체 디지털 확대경의 좌우 각각 동기된 2개의 CCD 카메라의 촬상하는 조작자 시야 화상으로부터 정지화면상을 꺼내고, 이 각각의 화상상의, 이빨 혹은 뼈와 같은 해부학적으로 보편적인 경조직 상의 3점에 기준점을 마련하고, 이 3점씩 총 6점의 위치 정보를 기록한다. 이 좌우 2개의 CCD 카메라에 의한 3점 위치 계측에 의해 삼차원적인 조작자와 환자의 위치 관계를 기록하고, 조작자 시야 화상중(동영상)의 기준이 되는 3점의 위치적 이동을 추적함으로써 항상 삼차원적인 조작자 삼차원 실체 디지털 확대경과 환자의 체위의 위치 변화를 파악할 수가 있다. 동시에 상기, 조작자 삼차원 실체 디지털 확대경의 2개의 CCD 카메라 정보로부터 각각 꺼낸 정지화면상의 해부학적으로 보편적인 경조직상의 3점에, 해부학적 삼차원 화상이나 서지칼 스텐트 화상상의 상기 경조직상의 기준되는 3점과 동일한 3점을 정확하게 플롯하고, 조작영역 화상 중에 해부학적 삼차원 화상이나 서지칼 스텐트 화상을 위치적으로 정확하게 겹치고, 조작영역 삼차원 화상 중에 있어서의 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상의 조작자 삼차원 실체 디지털 확대경이 포착하는 조작영역 공간에 있어서의 삼차원적인 위치를 기록한다. 이에 의해 조작자 삼차원 실체 디지털 확대경과 환자의 체위의 삼차원적 위치 이동에 따라 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상을 삼차원적으로 추적시키는 것이 가능해진다.
이러한 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상은, 원격지에서 일원적으로 관리 운영하는 것도 가능하다. 예로 들면, 주치의와 멀리 떨어진 지역에서 긴급하게 수술을 필요로 하는 경우 등에, 조작자는, 정말로 시술하려고 하는 환자의 삼차원 실체 디지털 확대경으로부터 얻어지는 좌우 CCD 카메라 정보를 각종 통신 수단을 이용해 송신하고, 원격지에서 상기 수신 정보(조작자의 삼차원 실체 디지털 확대경으로부터 얻어지는 좌우 CCD 카메라 정보)로부터 임의의 정지화면을 꺼내고, 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상을 겹치는 것에 의해 위치 보정하고, 조작영역 화상 정보의 위치적 변화의 전산 처리를 실시하고 이 삼차원적 이동량에 따라 상기 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상 추적을 한 후, 겹친 합성 화상을 송신하고, 조작자가 장착하는 삼차원 실체 디지털 확대경 LCD에 입체 화상으로서 표시하는 것도 가능하다.
게다가 이 시스템은 이와 같은, 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상의 표시나 삼차원 시각적 지도는, 조작자와 지도자가 1 대 1의 상황에 머물지 않고, 복수의 지도자가 동시에 지도에 참가하는 일도 가능하다. 이와 같은 지도 상황에서는, 조작자 시야 화상을 하나의 테이블로 가정하고 이 테이블 상에서 조작자와 함께 복수의 지도자가 각종 전문적 카테고리에 대한 의견을 교환하는 것이 가능하며, 이 때 테이블의 관리 실권은 미리 결정한 우선순위에 따라 조작 가능하게 함으로써, 혼란스러움 없이 용이하게 공유하는 테이블(표시 화면)을 관리 운영하는 것이 가능하다.
마찬가지로 조작자가 장착하는 삼차원 실체 디지털 확대경 장치의 CCD 카메라로부터 얻어진 삼차원 화상 정보를 인터넷이나 인트라넷 등의 통신 수단을 통하여 통신하여, 서버에 축적함으로써, 그 화상 정보를 동시에 복수의 동기된 삼차원 디지털 확대경을 장착하는 사람이 인터넷이나 인트라넷 등의 통신 수단을 통하여 공유하는 것이 가능해진다. 이 화상은 축적 동영상 화상에서는 있지만 조작자가 실제로 시술했을 때의 조작영역 시야 화상이므로, 실제감이 있는 극히 리얼리티가 높은 것이 될 수 있다. 게다가 이 복수의 시청자가 공유하는 조작영역 화상 정보와 마찬가지로 서버에 축적한, 시술 환자의 CT 혹은 MRI 등의 단층촬영 정보를 기초로 미리 제작한 임의의 뼈, 혈관, 신경 조직 등의 해부학적 삼차원 화상이나, 상기 해부학적 삼차원 투시화상에 추가하여 절개나 뼈절삭 등의 위치를 화상 위치 보정 추적 장치에 의해 정확하게 입체적으로 화상 합성한 서지칼 스텐트 화상을, 각각의 시청자가 수시로 표시/비표시 전환 가능하게 함으로써, 보다 정보량이 많은 수술 데몬스트레이션을 얻을 수가 있다. 게다가, 각각이 시청용의 수단으로서 장착하는 삼차원 실체 디지털 확대경의 화상 중에, 상기 삼차원 실체 디지털 확대경의 CCD 카메라를 이용해 얻을 수 있는 시청자 시야 화상 중으로부터 플로터화 화상 처리 장치에 의해 배경 화상을 제거하고, 시청자가 조작하는 입체 포인팅 장치, 혹은 조작자가 사용하는 기구와 동일한 각종 기구(모형)의 화상만을 추출하고, 0 퍼센트에서 100 퍼센트의 비율로 투명도를 변경한 후, 각각의 시청자마다 색채를 변경한 플로팅 화상을, 각각의 시청자가 수시로 표시/비표시의 절환 가능한 상황에서 축적 화상 상에 크로마키(chroma-key)합성함으로써, 인터넷 등의 통신회선을 이용해 삼차원 동영상 혹은 정지화면에 대해서 쌍방향 통신에 의한 디스커션이나, 수술 시뮬레이션을 실시하는 것이 가능해진다.
또한, 각종 통신 수단을 이용해 원격지에 의과 수술을 제 3 자에게 전달 공개하는 경우, 환자 프라이버시의 문제에 대해서는, 비밀번호 등에 의한 억세스의 제한, 및 삼차원 화상을 제공하는 2채널에 다른 화상 스크럼블 처리(암호화)하고, 이 통신 기기로서 사용하는 PC상에서 소프트웨어 디코딩을 실시하던지, 삼차원 실체 디지털 확대경의 하드웨어 내에 디코딩 기능을 가진 집적회로를 탑재하던지, 혹은 삼차원 실체 디지털 확대경(단말)에 할당된 코드 번호를 식별시킴으로써, 보다 높은 시큐리티가 실현될 수 있다. 게다가 이러한 정보의 일정한 제약에 근거하는 공개는, 각종 기술의 발전에 기여할 뿐만 아니라, 유능한 기술자(의사 등)의 발굴이나, 최신의 우량한 기술을 순식간에 세계적 규모로 보급하는 것이 가능해진다.
그 외에, 극히 정보량이 많고, 게다가 조작자의 시술 상황을 가상 체험적으로, 열람, 지도 및 기록 가능한 삼차원 실체 디지털 확대경 시스템을 사용하여, 지도자 혹은 개조자(介助者)의 선정시에는, 지역이나 시간의 제약을 받는 일 없이, 네트워크 상에서 정보교환의 장을 제공함으로써 가능해진다. 게다가, 기량을 객관적으로 사정(査定) 받을 수 있으므로, 조작자가 지원 및 지도 교육 프로그램을 구입하는 경우, 지도 조작자(강사)의 일방적인 선전 광고 내용 혹은, 이미 교육 프로그램을 수강한 지인의 주관적 평가뿐만 아니라, 제 3 자 기관에 의한 신빙성이 높은 객관적인 평가 기준을 제시하는 것이 가능해지고, 지도에 대한 기술 평가와 기술 지도료에 용이하게 정당성을 가미하는 것이 가능해질 뿐더러, 지도자(개조자)의 선정시에는, 전문 분야별로 기능이나 경험 혹은 지도 언어 등의 조건과 함께 보수 금액을 제시함으로써 용이하게 시술 내용에 최적인 인재를 선정하는 것이 가능해진다.
이 등록 의사 혹은 기술자와 네트워크 상에서 금전 계약을 맺고, 그 시술 지도 혹은 시중드는 행위가 조작자 혹은 지도자의 한쪽의 계약 불이행이 발생했을 경우도, 미리 계약된 내용에 따라 손해가 과금되는 시스템으로 함으로써, 안면이 없는 조작자와 지도자 사이의 계약 사항이지만, 신청시에 계약이 성립되어 있으므로, 원격지에 대기하는 상기 인재(지도자), 혹은 조작자는 안심하게 인재파견을 받는 것이 가능할 뿐만 아니라, 이 신청의 수단을 네트워크 상에서 주최하는 네트워크 관리자는, 미리 조작자에 대해서 지도자(개조자)에 대한 제 2, 제 3희망 인재를 선택시킴으로써, 조작자의 실질적인 손해를 보상하는 것이 가능하고, 경우에 따라서는, 지도자의 기량에 따라 디스카운트를 실시함으로써 트러블을 회피하는 것이 가능해진다.
또한, 지도자(개조자)가 삼차원 실체 디지털 확대경 시스템을 사용한 시술 행위에 있어서 의료 과오 등의 불미스러운 사태가 발생했을 경우는, 삼차원 실체 디지털 확대경 시스템 정보의 기록에 근거해 과실의 소재를 용이하게 명확화하는 것이 가능한 것은 물론, 각 시술 내용의 난이도와 지도자 혹은 개조자의 각 전문 분야에 따른 관계의 정도에 따라, 미리 계약 내용에 책임 범위와 지도 요금의 변동을 마련하고, 계약 내용에 따라 조작자가 제시하는 지도 요금에 따른 책임 범위를 명확화하고, 의료 과오나 결함에 대한 배상 위험의 분산을 가능하게 할 뿐만 아니라, 일반적인 부금 중도 보험(만기시에 배당이 없는 보험)의 보험료 판단 기준인 조작자의 기량뿐만 아니라, 시술 행위마다의 증상례의 난이도, 게다가 지도자(개조자)의 기량, 및 체제(인원수) 등의 요소를 가미하는 것이 가능해져, 보다 실질적 합리적인 보험요금의 설정이 가능하고, 이 보험료의 산정 기초는, 이 시스템의 조작자 및 지도자(개조자) 사용 경험과 실적(성공률 혹은 경시적 후생존률)을 누적함으로써, 보다 정확성을 늘릴 수 있게 된다.
전술한 바와 같이, 이 삼차원 실체 디지털 확대경은, 조작자의 시술 상황을 가상 체험 가능하며, 지도자의 기량에 대해서는, 지도자의 시술 상황을, 극히 정보량이 많고, 게다가 실시간인 것과 동시에 동일 규격의 삼차원 실체 디지털 확대경에서만 통신 가능한 시스템에 의한 극히 신빙성이 높고, 시술 상황을 가상 체험적으로 관찰 가능한 삼차원 실체 디지털 확대경 시스템이며, 게다가 기록 매체에 녹화해 기량을 객관적으로 평가하는 것도 가능하다. 따라서, 종래 의료 분야에 있어서 의료 행위의 감사를 실시하는 경우, 진단 내용과 의료 행위의 정합성의 감사에 처음부터 끝까지 하고 있던 감사 내용을 더 확대하여, 외과적인 분야(의사의 개인적인 기량)를 객관적으로 평가하는 것이 가능해지므로, 의사 각 개인의 기량의 향상을 재촉할 뿐만 아니라, 전체적으로의 기술 레벨의 향상으로 연결되게 된다.
당연한 일이지만, 조작자가 실제로 직접 손을 대는 시술시에, 조작자 시야 화상 중에 합성 표시하는 해부학적 삼차원 화상이나, 서지칼 스텐트 화상, 혹은 복수의 지도자 지도 화상이 조작자와 지도자가 공유하는 시야 화상 중에 개입하게 되므로, 상기 합성 표시 화상은, 각각 별개로 혹은 전부를, 조작자 혹은 지도자의 의사에 의해, 조작자 혹은 지도자의 시술 행위에 관련되는 손 혹은 다리를 사용하는 조작을 방해하는 일이 없는 스위치 조작에 의해 표시 혹은 비표시 조작 가능하게 함으로써, 삼차원 실체 디지털 확대경 장치의 기능을 순수한 디지털식 확대경으로서 조작자 시야를 방해하는 일 없이 안전한 수술을 실시하는 것이 가능해진다.
도 1은 삼차원 실체 디지털 확대경의 구성을 나타내는 도.
도 2는 동일 규격 삼차원 실체 디지털 확대경을 이용해, 플로팅 화상의 크로마키 합성에 의한 삼차원적 지시를 하는 개념도.
도 3은 도 1의 실체 디지털 확대경으로 인터넷을 이용해 통신을 실행하는 개념도.
도 4는 도 3의 구성을, 복수의 지도자가 실행하는 개념도.
도 5는 고정 기준 평면 화상에 의한 삼차원 위치 계측을 나타내는 개념도.
도 6은 해부학적 화상의 화상 합성 표시 상태를 나타내는 도.
도 7은 본 시스템에 있어서의 화상 정보의 흐름을 나타내는 모식도.
부호의 설명
1: 삼차원 실체 디지털 확대경, la: 이어폰, lb: 마이크로폰, 1c-R: 우측 CCD 카메라, 1c-L: 좌측 CCD 카메라, 1c: CCD 카메라, 2: 화상/음성 입출력 라인, 3: 조작자, 4: 화상/음성 디코더, 5: 바이탈 싸인 측정 기기(정밀 기술 환경 계측기), 6. 6a-1∼6a-n: 퍼스널 컴퓨터, 7. 7a-1∼7a-n: 지도자(시청자), 8: 서버, 9: W.W.W(인터넷 혹은 인트라넷), 10: 인터넷 통신회선, 11: 지시 마우스, 12: 지도자, 13: 음성 입력 마이크로폰, 14: 수강자 음성 질문 등의 정보·기술 지도 프로그램 수신료, 교육 프로그램 수강 신청, 수강료의 결제, 15: 수강자 음성 질문(지도 조작자의 사용 언어로 번역 완료)등의 정보·기술 지도 강사료, 교육 프로그램 지도료의 지불, 16: 지도 조작자(강사) 확대조작영역 화상, 바이탈 싸인, 기술 시술 상황, 지도 조작자 음성 지도 등의 정보의 송신·교육 프로그램의 선전 광고, 17: 지도 조작자(강사) 확대조작영역 화상, 바이탈 싸인, 기술 시술 상황, 지도 조작자 음성 지도(수강자의 사용 언어로 번역 완료)등의 정보의 송신 유료 전달·교육 프로그램의 수강자의 모집, 18: 조작자(고객) 확대조작영역 화상, 바이탈 싸인, 기술 시술 상황·개별 기술 교육 지도 프로그램의 구입, 19: 조작자(고객) 확대조작영역 화상, 바이탈 싸인, 기술 시술 상황·개별 기술 교육 지도료의 지불, 20: 지도자 음성 지도, 시각적 지시ㅇ지도자(강사진) 응모, 21: 지도자 음성 지도(조작자의 사용 언어로 번역 완료), 시각적 지시·지도자(강사진)의 공개, 30: 입체 지시 마크, 30a: 가상 입체 지시 마크(허상), 31: 단색 배경판, 32: 환자, 33: 치열, 34a∼34c: 경조직 기준점, 35: 삼차원적 위치 측정 기준 평면, 36: LCD 모니터, 36R: 우측 LCD, 36L: 좌측 LCD, 37: 헤드기어, 40: 조작자 CCD 카메라 화상 정보, 41: 지도자 CCD 카메라 화상 정보, 42: 크로마키 합성 화상 정보, 43: 지도자 CCD 카메라 플로팅 화상, 44: 위치 보정 서지칼 스텐트 플로팅 화상
이하, 본 발명의 실시의 형태를 도시예와 함께 설명한다.
각 도면에 걸쳐서 도면중의 동일한 부호를 부여한 부분은 동일물을 나타내고 있다. 도 1은, 삼차원 실체 디지털 확대경(1)의 하드웨어의 기본 구성을 나타내는 도이다. 도 1에 나타내는 바와 같이, 삼차원 실체 디지털 확대경(1) 내부에 장착된 좌측 LCD(36L) 및 우측 LCD(36R)(모니터)는, 지도자 또는 피지도자인 조작자(3)의 좌우의 각각의 눈을 포함하는 범위를 가지며, 헤드기어(37)에 의해 머리(얼굴)에 장착한다. 또한 좌측 CCD 카메라(1c-L)와 우측 CCD 카메라(1c-R)는, 그 삼차원 실체 디지털 확대경(1)을 얼굴에 붙인 상태로, 좌우의 각 동공의 각각의 거의 중앙부에 대응하는 위치에, 삼차원 실체 디지털 확대경(1)과 일체적으로 마련된다. 또한 이들 2개의 CCD 카메라(1c)의 화상 정보는, 각각 좌우의 LCD에 동기된 개별 화상을 영상출력함으로써, 광학 확대경을 사용하고 있을 때와 동일한 위화감 적은 삼차원 화상을 장착자에게 제공한다.
CCD 카메라(1c)는, 줌렌즈 탑재의 자동 초점 CCD 카메라가 바람직하다. 그 타입의 카메라라면, 임의의 설정 배율에 대해서, 작업자 머리 부분과 작업 부위와 의 거리에 관계없이, 자동적으로 적정 초점을 얻도록 자동조정되므로, 조작자는 헤드기어를 장착하는 머리 부분의 위치를 고정하는 것에 의한 머리 부분의 근육 피로를 최소한으로 하는 것이 가능하다.
그리고, 도 2에 나타내는 바와 같이, 이러한 삼차원 실체 디지털 확대경(1) 시스템을 이용해, 조작자(3)의 좌우 2개의 CCD 카메라(1c)의 화상 정보를 동일 규격의 조작자(3) 및 지도자(12)가 장착하는 삼차원 실체 디지털 확대경(1)의 LCD에 각각 투영하고, 삼차원 시야 화상(환자(32)의 구강내 화상)을 공유한다. 이 공유하는 조작자 시야 화상 상에, 지도자(12)가 장착하는 삼차원 실체 디지털 확대경(1)의 좌우 CCD 카메라(1c)를 이용해 입체 지시 마크(30)를 단색 배경판(31)의 전면에서 촬상하여 플로팅한 가상 입체 지시 마크(허상)(30a)를 크로마키 합성 표시한다. 이 입체지시마크(30)의 표시에 관해서는, 일정시간 궤적을 표시시킴으로써 조작자(3) 시야 화상 중에 선화(線畵)로서 표시하거나 정지화면상으로서 표시할 수가 있다.
이에 의해, 비교적 간편한 시스템이면서 동일 규격의 CCD 카메라와 LCD 모니터를 사용하고 있으므로, 복잡한 보정을 하는 일이 없고, 지도자(12)는, 조작자(3)에 대해서 정확하게 삼차원적 화상 지시를 주는 것이 가능해진다. 즉 지도자(12)는, 스스로의 양손을 사용해 실제로 수술을 실시하는 경우와 같은 자세로, 종래와 같이 컴퓨터 모니터 상에서 지시하는 것 같은 부자연스러운 움직임은 아니고, 극히 자연스러운 체위로 지도하는 것이 가능하다. 이 입체 지시 마크(30)를 실제의 수술 기구 등으로 변경할 경우에도, 지도자(12)는 장착한 삼차원 실체 디지털 확대경 의 LCD 화면에 전개하는 조작영역에 대해서 실제로 수술을 실시할 때와 같은 손재주 동작을 조작자 시야 가상 공간에 실시할 수가 있다. 마찬가지로 조작자(3)는, 마치 스스로가 수술을 실시하고 있는 것 같은 상황에서 삼차원적인 깊이를 가진 기구 조작을 체험하는 것이 가능해진다. 게다가 조작자(3) 시야 화상 중에 합성 표시하는 지도자(12)의 삼차원 시각 지시 플로팅 화상을 0 퍼센트에서 100 퍼센트의 비율로 투명도를 변경하던지, 혹은 게다가 색조를 변환할 수 있는 크로마키 합성 화상처리 장치를 사용하면 실상과 허상의 판별도 용이해지므로 조작자(3)와 지도자(12)가 동일한 기구를 사용하는 경우에도 모니터 화면상에서 혼란을 일으키는 일은 없다.
이 지시 화상의 크로마키 합성과 마찬가지로, 도 4에 나타내는 퍼스널 컴퓨터(6a-1∼6a-n)나 서버(8) 등에 보존한 해부학적 삼차원 화상이나, 서지칼 스텐트 화상을 조작자 시야 화상 상에 크로마키 합성 표시할 수 있다. 이 때, 해부학적 삼차원 화상이나, 서지칼 스텐트 화상 또한 0 퍼센트에서 100 퍼센트의 비율로 화상 처리 변환, 혹은 투명도나 색조를 변경하던지, 와이어 프레임 처리함으로써, 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보에 대해서 용이하게 시각적 차이를 주는 것이 가능해진다. 이와 같은 해부학적 삼차원 화상이나, 서지칼 스텐트 화상 층은, 도 5에 나타내는 것 같은 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보중의 정지화면 상으로부터 환자 치열(33) 치아상의 경조직 기준점(34a∼34c) 의 3점을 기준점으로 선정하고, 상기 환자의 해부학적 삼차원 화상이나, 삼차원 서지칼 스텐트 화상 상의 치열 치아상의 경조직 동일점을 기준점으로 선정하고, 도 4 에 나타내는 퍼스널 컴퓨터(6a-1∼6a-n)나 서버(8) 등으로 플롯하고, 조작자(3) 시야 화상 중에 도 6에 나타내는 것 같은 투시화상으로서 도 1의 조작자(3) 및 지도자(12) 장착의 삼차원 실체 디지털 확대경(1) 의 LCD 상에서 삼차원적으로 등축소되도록 정확하게 겹침과 동시에 삼차원적 위치 보정을 실시한다. 이 축척 보정과 위치 보정을 실시함에 있어서, 부위에 따라서 직접 경조직 기준점을 구하는 것이 곤란한 경우는, CT 혹은 MRI 촬영시에, 수술시에 삼차원 실체 디지털 확대경(1) 의 CCD 카메라로부터 명시 가능한 다른 3점의 피부상 부동점에 납 등의 포인트 마커를 붙임으로써, 삼차원 서지칼 스텐트에 납 등의 포인트 마커를 표시하고, 삼차원 실체 디지털 확대경(1) 의 조작영역화상을 표시하는 우측 CCD 카메라(1c-R)와 좌측 CCD 카메라(1c-L)의 각각의 정지화면상 상의 다른 3점의 포인트 마커 피부상의 동일점과 일치시킴으로써 정확하게 위치 보정한다. 이 때, 좌우의 LCD 상에서 동시에 위치 보정 및 등축소 보정하는 것은 곤란하지만, 본 발명의 삼차원 실체 디지털 확대경(1)은, 좌우의 LCD 모니터 및 CCD 카메라는 동일 규격이므로, 좌우 어느 쪽의 LCD 화면상에서 등축소 작업을 실행한 다음, 한쪽의 LCD 모니터 상에서 다른 2방향으로부터 위치 보정(겹침)을 실행함으로써, 간단하게 위치 정보를 기록하는 것이 가능해진다. 또한, 수술 부위가 머리 부분인 경우, 특히 위턱 아래턱에 걸치는 경우는, 기준점을 각각의 부위에 별개로 3점의 기준점을 구하고, 2개의 별개의 서지칼 스텐트를 준비해, 각각의 플로팅 서지칼 스텐트 화상을 자동 추적시킨다.
일단, 축척 보정과 위치 보정을 한 해부학적 삼차원 화상층이나, 삼차원 서 지칼 스텐트층 화상은, 환자 치열(33) 치아상의 경조직 기준점(34a∼34c)의 3점으로 구성하는 삼차원적 위치 측정 기준 평면(35)의 변위를 조작자(3) 삼차원 실체 디지털 확대경(1)의 좌우 2개의 CCD(lc)의 화상 정보로서 받아들이고 퍼스널 컴퓨터(6a-1∼6a-n)나 서버(8) 등으로 삼차원 위치를 계측하고, 조작자 CCD 카메라 위치 변화 및 환자의 자세의 변화에 대해서 납 등의 포인트 마커나 화상 상의 기준점을 추적해 자동적으로 실시간으로 삼차원적 위치 보정한 후, 해부학적 삼차원 화상층이나, 삼차원 서지칼 스텐트층 화상을 조작자 시야 화상 중에 합성 표시한다. 이 때, 환자의 체위의 변화를 파악하는 수단으로서는, 상기와 같이 화상을 이용해도 괜찮고, 보다 화상 상에서 명확하게 기준점을 표시할 목적으로 환자 머리 부분의 보편적인 경조직에, 위에 설치한 다른 3점 상에 LED 등의 발광체를 설치해도 좋다. 혹은, 환자의 경조직 등의 부동점과 조작자가 장착하는 삼차원 실체 디지털 확대경에, 각각 자이로 기구를 장착하고 정점(定点)(기준점)에 대한 환자 및 조작자 삼차원 실체 디지털 확대경의 삼차원적인 위치적인 변화를 기록하고, 조작자 삼차원 실체 디지털 확대경으로부터 얻어진 좌우 CCD 카메라 정보의 정지화면상의 기준점과 정확하게 겹치고, 초기 보정을 실시한 해부학적 삼차원 화상이나 삼차원 서지칼 스텐트 화상층을, 환자의 체위의 변화 혹은, 조작자의 머리 부분의 이동에 따라 삼차원적으로 추적시키는 것도 가능하다.
이 시스템을 발전시키면, 도 4에 나타내는 바와 같이, 복수의 지도자가 조작자 화상을 공유하고, 각 과의 전문의가 적절한 어드바이스를 주는 것이 가능해진다. 이 어드바이스는, 바이탈 싸인 측정 기기(5)로부터의 신호를 삼차원 실체 디지털 확대경(1)의 LCD 모니터의 가장자리에 조작영역화상을 손상하는 일 없도록 자막 표시시킴으로써 조작자(3)와 모든 지도자(12)가 공유하고 있고, 보다 정확한 현장 상황을 파악하면서 지시 가능할 뿐만 아니라, 조작자(3)는 조작영역으로부터 시선을 이동해 모니터 등에 눈을 옮기는 일 없이 수술에 집중할 수 있다.
또한, 상기 삼차원 실체 디지털 확대경과 동일한 화상 상에, 다른 지도자 등이 입체 지시 마크(30), 선화 등으로 기입 혹은 삼차원 포인트 지시에 의한 지도 해설을 부가한 화상 정보를 인터넷 등의 통신망으로 송신하는 경우에 있어서, 그 입체 지시 마크(30) 지시에 의한 지도 해설을 할 때, 동화상을 일단 정지화면상으로 하고, 그 정지화면 상태로 상기 기입이나 포인트 지시를 실시하고, 이 기입이나 포인트 지시 부여된 정지화면의 합성 화상을, 지도를 받는 복수의 사람의 단말에 전달하는 것도 가능하다. 혹은 반대로, 조작자가 원격의 지도자로부터 조작자의 모니터에 기입이나 포인트 지시를 받아 시술을 지원 받는 경우는, 지도자 측에 전달되는 동화상을 일단 정지화면상으로 하여, 그 정지화면상에 기입이나 포인트 지시 등을 하고, 그 합성 정지화면상을 그 조작자의 모니터에 전달해도 괜찮다.
그러한 기입이나 포인트 지시는 동영상에 대해서 실시할 수도 있어 그것을 배제하는 것은 아니지만, 동영상을 일단 정지화면으로 하고, 삼차원 실체 디지털 확대경(1) 의 LCD 화면을 분획하고, 시야 화상 중에 별도 표시하고, 그 후 또 동영상으로 복귀하는 것이 유효하다. 또한 이러한 포인터에 의한 지시나 기입은, 조작자 등이 지도 측이 되는 경우, 조작자의 시술 영상을 실황하고 있는 제 3 자, 혹은 서버(8)가 있는 교육 시스템의 서비스 회사의 담당 지도자가 실시하는 것이 일반적 이다. 상기와 같이 동영상을 일단 정지화면으로 해 포인트 지시 등을 실시한 후, 다시 동영상으로 복귀하는 수법은, 주지의 기술이기 때문에, 자세한 설명은 할애하지만, 요컨데, CCD 카메라 등의 화상 데이터의 어느 순간을 화상 메모리에 일단 축적하고 그것을 읽어내는 것과 동시에, 입력장치로부터 입력된 포인트 지시 등의 화상(이는 정지화면 이라도 좋지만, 동영상이라도 좋고, 포인트 지시를 이동시켜 설명 지도하는 것 같은 경우는 포인트 화상 등이 동영상인 경우가 적당한 좋은 면도 있다)을 취하고, 이것들을 레이어 처리나 메모리 상에서의 합성 등, 주지의 수법으로 합성하게 된다. 이에 의해, 서버(8)에 축적한 삼차원 실체 디지털 확대경 조작자 삼차원 화상 정보와 조작영역화상 중에 삼차원적으로 정확한 등척 삼차원 투시화상을 합성 표시하는 서지칼 스텐트 화상 정보를, 인터넷 등의 통신회선을 이용해 복수의 동기된 삼차원 디지털 확대경을 장착한 시청자(7a-1∼7a-n)와 공유하고, 삼차원 동영상 혹은 정지화면에 대해서 쌍방향 통신에 의한 디스커션을 할 수가 있다
이들 모든 화상에 의한 통신은, 환자의 프라이버시 보호의 관점으로부터, 모든 통신 디지탈 신호 데이터는, 화상/음성 디코더(4)를 통하여 삼차원 실체 디지털 확대경(1) 에 표시되게 되며, 하드웨어 디코딩 장치를 갖지 않는 일반적인 퍼스널 컴퓨터 단말에 의해 해킹 되었을 경우, 정보 누설의 위험성이 적다.
그리고, 이 실체 디지털 확대경 장치(1)로부터 얻어지는 화상 정보와, 그 화상 정보에 겹쳐지는, 의과 수술의 경우는 환자의 바이탈 싸인의 상황을, 그 외의 정밀 기술의 경우는 각각의 기술 시술 상황의 환경을 나타내는 조도, 온도, 습도, 압력, 속도 등의 수치 혹은 그래프 등의 화상 정보와 조작자가 장착하는 음성 마이 크로폰으로부터 얻어지는 음성 정보와 입체 지시 마크(30) 등에서의 시각적 지시 정보를, 인터넷(9)에 접속한 단말 퍼스널 컴퓨터(6)로부터, 교육 프로그램 전달 회사 서버(8)에 송신할 수 있다.
교육 프로그램 전달 회사 서버(8)에서 수신된 정보는, 인터넷(9)을 통하여 단말 퍼스널 컴퓨터(6a)에 직접 전달되든지, 교육 프로그램 전달 회사 서버(8)에서 각종 언어에 대응해 통역이나 화상 처리를 주어 전달된다. 마찬가지로 단말 퍼스널 컴퓨터(6)의 음성 마이크로폰(lb)으로부터 얻어지는 음성 정보와 입체 지시 마크(30)등의 시각적 지시 정보를, 인터넷(9)에 접속한 단말 퍼스널 컴퓨터(6)로부터 교육 프로그램 전달 회사 서버(8)에 송신할 수 있다.
교육 프로그램 전달 회사 서버(8)에서 수신된 정보는, 인터넷(9)을 통하여, 단말 퍼스널 컴퓨터(6a-1∼n)에 직접 전달되던지, 교육 프로그램 전달 회사 서버(8)에서, 각종 언어에 대응하여 통역이나 화상 처리를 주어 전달된다.
다음으로, 이상의 도 1의 예시한 전달 시스템에 있어서, 도 3 과 같이 실시 방법을, 조작자(3) (지도자)가 청강자(12)(고객)에게 지도를 실시하는 경우와 도 4와 같이 전문 지도자(강사진)가 조작자(고객)에게 지도를 실시하는 경우로 나누어, 도면에 따라 설명한다.
그래서, 도 3과 같이 조작자(지도자)(3)가, 청강자(고객)에게 인간이 직시하여 실시하는 의과 수술이나 그 외의 정밀 기술의 지원 및 지도 교육 프로그램을 실시하는 경우는, 조작자(3)가 장착하는 도 1의 삼차원 실체 디지털 확대경(1)의 삼차원 CCD 카메라(1c)로부터 얻어진 확대조작영역화상에 대해서, 바이탈 모니터(5) 혹은 정밀 기술 시술 환경 계측기(5)의 데이터와 화상, 음성 디코더(4)의 정보가, 단말 퍼스널 컴퓨터(6)에서 합성되어, 화상/음성 디코더(4)를 통해 지도 조작자(강사) 머리 부분에 탑재한 안경형 LCD 모니터(ld)에 투영되는 확대조작영역 화상 상에 겹쳐진다.
상기 LCD 모니터(ld)에 투영되는 화상 정보와 마이크로폰(lb)의 음성 지도 정보는, 단말 퍼스널 컴퓨터(6)로부터 인터넷(9)을 이용해 직접 특정 계약 수강자(고객)의 단말 퍼스널 컴퓨터(7a-1∼7a-N)에 전달하던지, 기술 지원, 지원 및 지도 교육 전달 시스템 전달 회사 서버(8)에 송신된다. 이 정보는 기술 지원, 지원 및 지도 교육 전달 시스템 회사 서버(8)에서, 조작자(지도자)와 수강자(고객)의 사용 언어가 다른 경우는, 교육 프로그램 전달에 있어서 수강자(고객)의 언어로 순서대로 혹은 동시에 통역하여, 수강자(고객)에게 송신된다. 이에 의해 다수의 특정 계약 수강자(고객)는, 단말 퍼스널 컴퓨터(7a-1∼7a-N)에 전달된, 의과 수술이나 그 외의 세밀 기술에 관한 시술 상황을, 마치 현장에 있는 것 같은 실제감으로 가상 체험이 가능해진다.
상기 통신 구성은 쌍방향으로 이용 가능하므로, 수강자(고객)의 질문 사항 등은, 단말 퍼스널 컴퓨터(7a-1∼7a-N)의 마이크로폰(lb)으로 음성 입력함으로써, 역방향으로 인터넷(9)을 통하여 서버(8)에 송신되어, 질문 내용을 중복 없게 정리 후, 기술 지원 및 지원 및 지도 교육 전달 시스템 회사 서버(8)로부터 인터넷(9)을 통하여 동일하게 지도 조작자(강사) 이어폰(la)에 송신된다.
지도 조작자(강사)(3a)는, 특정 수강자(고객)의 질문에 대해서 마이크로폰(lb)으로 단말 퍼스널 컴퓨터(6a)에 음성입력하고, 인터넷(9)을 통하여, 기술 지원 및 지원 및 지도 교육 전달 시스템 전달 회사 서버(8)에 송신한다. 또한, 수강자(고객)와 조작자(지도자)의 사용 언어가 다른 경우는, 교육 프로그램 전달 회사 서버(8)에서 수강자(고객)의 언어로 순서대로 혹은 동시에 통역하여, 인터넷(9)을 통하여, 수강자(고객)의 단말 퍼스널 컴퓨터(7a-1∼7a-N)에 전달된다.
반대로, 도 4와 같이, 조작자(고객)(3b)를 원격지로부터 전문 지도자(강사진)가 지도하는 경우는, 조작자(고객)(3)가 장착하는 도 1의 디지털 확대경의 이차원 혹은 삼차원 CCD 카메라(1c)로부터 얻어진 확대조작영역 화상 정보(A) 및 확대조작영역 화상에 겹쳐진 바이탈 싸인 데이터(B) 혹은 정밀 기술 시술 환경 계측기의 화상 정보(B)와 마이크로폰(lb)으로부터 입력되는 고객조작자의 질문 내용(C)은, 화상/음성 디코더(4)에서 단말 퍼스널 컴퓨터(6)에 입력되고 단말 퍼스널 컴퓨터(6)로부터 인터넷(9)을 통하여, 기술 지원 및 지도 교육 전달 시스템 전달 회사 서버(8)에 송신된다.
이러한 정보는, 조작자(고객)(3b)와 전문 지도자(강사진)(7)의 사용 언어가 다른 경우는, 교육 프로그램 전달 회사 서버(8)에서 전문 지도자(강사진) 언어로 순서대로 혹은 동시에 통역하여, 전문 지도자(강사진)(7)에 송신된다. 여기서 교육 전달 시스템 회사 서버(8)로부터, 인터넷(9)을 통하여, 1명 혹은 기술 내용이 다의(多義)의 분야에 걸치는 경우는 복수의 전문 지도자(강사진)의 단말 퍼스널 컴퓨터(7b-1∼7b-N)에 송신된다.
전문 지도자(강사진)(7)는, 단말 퍼스널 컴퓨터(7b-1∼7b-N)에 표시되는 조 작자(고객)(3)의 확대조작영역 화상 정보(A) 및 확대조작영역 화상에 겹쳐진 바이탈 싸인 데이터(B) 혹은 정밀 기술 시술 환경 계측기의 화상 정보(B)를 관찰하면서, 기술 지도와 질의응답을 하기 위해서, 단말 퍼스널 컴퓨터(7b-1∼7b-N)를 이용해, 입체 지시 마크(30a)에 의한 화상 지시 지도나, 마이크로폰(lb)에 의한 음성 지도를 입력하고, 이 입력 정보가 역방향으로 인터넷(9)을 통하여 기술 지원 및 지도 교육 전달 시스템 전달 회사 서버(8)에 송신되고, 또한 인터넷(9)을 거쳐, 조작자(고객)(3)측에 송신된다.
여기서, 전문 지도자(강사진)(12)와 조작자(고객)(3)의 사용 언어가 다른 경우는, 교육 프로그램 전달 회사 서버(8)에 있어서, 조작자(고객)(3)의 언어로 순서대로 혹은 동시에 통역하고, 조작자(고객)(3)가 장착하는 도 1의 삼차원 실체 디지털 확대경 LCD 모니터(36) 상에 직접, 입체 지시 마크(30a)정보 및 이어폰(la)에 음성 지도 정보를 보낸다. 이와 같이 하여, 쌍방향 통신을 특정 계약자인 조작자(고객)(3)에 대해서 실시함으로써, 실기의 교육적 지도 서비스가 가능해진다.
또한, 도 1에 있어서 인터넷(9)에 접속한 단말 퍼스널 컴퓨터(6) 및 단말 퍼스널 컴퓨터(7)는, 위에서 설명한 바와 같이 인터넷(9)에 접속되어 있기 때문에, 교육 프로그램 전달 회사 서버(8)의 홈페이지에 억세스하는 기능을 갖추는 것은 물론이다.
이에 의해, 교육 프로그램 전달 회사 서버(8)의 홈페이지를 이용해, 청강자(고객)가 기술 지원 및 지도 교육 프로그램을 구입하는 경우는, 교육 프로그램 전달 회사 서버(8)의 홈페이지에, 각 프로그램의 지도 조작자(강사)의 경력, 기술 내용 이나 전문 분야, 사용 언어, 지도 시간, 수강 요금 등이 일반적인 광고 내용에 부가하여, 실시간으로 각 프로그램의 인기도와, 벌써 수강한 수강자(고객)의 평가를 열람함으로써, 지도 조작자(강사)의 일방적인 선전 광고 내용 혹은, 이미 동일한 교육 프로그램을 수강한 지인의 주관적 평가 이외의 객관적인 판단 기준을 얻을 수 있다. 마찬가지로 수강자(고객)는, 교육 프로그램의 수강 신청과, 수강료의 결제를 교육 프로그램 전달 회사 서버(8)의 홈페이지 상에서 사무 처리 가능하다.
또한, 교육 프로그램을 개강하는 지도 조작자(강사)는, 교육 프로그램 전달 회사 서버(8)의 홈페이지를 이용해, 선전 광고와 수강 신청 접수 작업 및 정식 접수 수리를 위한 수강료 수금 확인 작업을 실시할 수가 있다.
반대로, 수강희망 조작자(고객)가, 복수의 각 분야의 전문 지도자(강사진)에 의한 개별 기술 교육 지원 및 지도 교육 프로그램을 구입하는 경우는, 교육 프로그램 전달 회사의 인터넷 홈페이지 웹사이트에 공개된 지도자(강사진)의 기술 내용이나 전문 분야, 사용 언어 및 지도 시간이나, 시술 단위에 의한 개별 기술 교육 지도 제반비용을 열람하여, 수강 희망조작자(고객)는, 지도자(강사진)의 일방적인 선전 광고 내용, 혹은 이미 교육 프로그램을 수강한 지인의 주관적 평가에 의한 가치 판단 기준뿐만 아니라, 객관적인 평가 기준으로 역지명하는 일도 가능해진다.
게다가, 이 교육 프로그램 전달 회사의 인터넷 홈페이지 웹사이트에 공개되는 명확한 지도료에 의해, 지도 요금의 직접교섭을 할 필요가 없는 데다가, 각 전문 분야의 지도자(강사진)는, 교육 프로그램 전달 회사에 의해 고도의 지도가 가능하도록 적절히 팀으로 편성되어 있다. 또한, 조작자(고객)는 교육 프로그램 전달 회사의 인터넷 홈페이지 웹사이트에서 교육 지도 서비스료를 결제할 수가 있다.
게다가, 지도자(강사진)는, 의과 수술이나 그 외의 정밀 기술에 관하여, 시술 내용 단위 혹은 시간 단위로 과금되는 실기의 교육 지도 서비스 강사료에 대하여, 지도자(강사진)의 구성 인원수에 따라서 교육 프로그램 전달 회사가 안분한 강사료를 자동적으로 받는 것이 가능해져서, 사무 수속의 번잡함으로부터 해방된다.
또한, 이상의 설명은 인터넷을 전제로 했지만, 본 발명은 인터넷에 한정되지 않고, 조작자(또는 정밀 작업 실시자)측과, 앞으로 정보를 받을 측 또는 이를 받아 쌍방향으로 발신하는 측을, 인트라넷 등의 닫힌 네트워크나, 그 외의 전용회선을 이용한 통신 수단으로 접속해도 괜찮다. 또한 통신 수법이라고 하여도, 통신위성에 의한 통신 등 적당하게 선택할 수가 있다.
이 시스템은, 극히 정보량이 많고 안전하며, 게다가 조작자의 시술 상황을 조작자의 시선으로부터 완전하게 기록하고, 제 3 자가 수술을 가상 체험 가능한 삼차원 실체 디지털 확대경 시스템을 사용함으로써, 상기 각종 서비스를 네트워크 상에 시술 개조자에 대해 기능이나 경험 혹은 지도 언어 등의 조건과 함께 보수 금액을 제시하고, 등록 의사 혹은 기술자가 계약을 맺고, 원격지에 대기하는 상기 인재(지도자)의 인재파견을 받아서, 시술에 대해서 의료 과오 등의 불만스러운 사태가 발생했을 경우, 삼차원 실체 디지털 확대경 시스템 정보의 기록의 평가에 근거해 과실의 소재를 명확화함과 동시에, 각 시술 내용과 인재의 각 전문 분야에 따른 관계의 정도에 따라 미리 결정한 계약 내용과, 계약 내용에 따라 조작자가 제시하는 지도 요금에 따라서, 책임 범위를 명확화하여, 의료 과오나 결함에 대한 배상 위험의 분산이 가능해진다.
게다가, 실시간인 것과, 동시에 동일 규격의 삼차원 실체 디지털 확대경에서만 통신 가능한 시스템이기 때문에 데이터의 변경이 곤란하므로 극히 신빙성이 높고, 조작자의 시술 상황을 가상 체험적으로 관찰 가능하기 때문에, 조작자 기량 및 결함의 존재를 원격지에서 객관적으로 사정할 수가 있다.
조작자 시야 화상 중에 합성 표시하는 지도 화상, 혹은 조작자 시야 화상 중에 합성 표시하는 해부학적 삼차원 화상이나 서지칼 스텐트 화상을, 조작자 주도의 경우는 조작자에 따라서, 지도자 주도의 경우는 지도자의 의사에 따라서, 아이콘택트(eye contact) 스위치, 혹은 음성 명령 스위치 등을 사용해 주면, 조작자 혹은 지도자의 시술 행위에 관련되는 손 혹은 다리를 사용하는 조작을 방해하는 일이 없다.
도 7은, 상기와 같은 삼차원 실체 디지털 확대경(1)을 이용해 인터넷을 통하여 통신하는 상황을 나타내는 모식도의 일례이다. 이 도면에 나타내는 바와 같이, 조작자 퍼스널 컴퓨터에 입력된 조작자 CCD 카메라의 시야 화상 정보(40)는, 인터넷을 이용해 송신됨과 동시에, 조작자 퍼스널 컴퓨터내에서 인터넷을 통하여 지도자 퍼스널 컴퓨터로부터 송신된 지도자 CCD 카메라 플로팅 화상(43)과 크로마키 화상 합성되며, 조작자 LCD에 크로마키 합성 정보(42)가 표시된다.
마찬가지로 지도자는, 지도자 LCD에 표시되는 상기 인터넷을 통하여 송신된 조작자 CCD 카메라의 시야 화상 정보(40)상에서, 지도자 CCD 카메라 정보(41) 중에서 플로터화 화상처리된 화상을 지도자 퍼스널 컴퓨터내에서 크로마키 합성 표시함 으로써 지도자 LCD상에서 실제로 사용하는 의료 기구 등으로, 마치 자기 자신이 출도하는 것 같은 리얼리티로 지도 지시하는 것이 가능하다. 동일 규격의 삼차원 실체 디지털 확대경(1)을 이용한 이 시스템에서는, 이 지도자 CCD 카메라 플로팅 화상(43)은, 인터넷 통신회선을 통하여 조작자 퍼스널 컴퓨터 상에서 크로마키 합성처리를 해주면, 조작자 CCD 카메라의 시야 화상 정보(40)상에 지도자 CCD 카메라 플로팅 화상(43)을 위치 보정하는 일 없이 지도자 LCD와 동일한 화상을 조작자 LCD상에 반영할 수가 있다.
부가적으로, 조작자 CCD 카메라로부터의 정보를 서버 컴퓨터에 받아들이고, 위치 보정 및 자동 추적 처리를 한 위치 보정 서지칼 스텐트 플로팅 화상(44)을 조작자 퍼스널 컴퓨터 및 지도자 퍼스널 컴퓨터에 송신하고, 조작자 CCD 카메라의 시야 화상 정보(40)상에 크로마키 합성화상 처리를 해주면 조작자 및 지도자의 LCD에 서지칼 스텐트 화상을 반영할 수가 있다. 이러한 조작은 모두 조작자 CCD 카메라의 시야 화상 정보(40)를 기초로 행해지는 것이므로 위치 보정을 하는 일 없이 삼자가 동일한 화상을 공유할 수가 있다. 이 모식도로부터 알 수 있듯이 조작자 삼차원 실체 디지털 확대경 시스템과 지도자 삼차원 실체 디지털 확대경 시스템은 완전히 동일한 기능을 가지므로, 지도자 및 조작자가 용이하게 바뀌는 것도 가능해진다.
또한, 본 발명의 삼차원 실체 디지털 확대경 시스템의 구성 및 통신에 대한 주체는, 상기한 실시의 형태로 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러 가지 변경을 가할 수 있음은 물론이다.
본 발명의 화상 합성 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 기술 지원 및 지도 교육 전달 시스템은, 인터넷 등의 통신망을 이용해 기술 지도를 실시하는 삼차원 실체 디지털 확대경 장치에 관한 것이다. 보다 구체적으로는, 사람이 직시하여 실시하는 의과 수술이나 그 외의 수작업으로 실시하는 세밀 특수 기술 교육 프로그램의 전달이나, 특정의 고객이 실시하는 의과 수술이나 그 외의 수작업으로 실시하는 세밀 특수 기술의 교육 지도(전문 지식을 가지지 않는 인간을 로봇으로 가정하고 원격지로부터 상기 로봇으로 가정한 인간의 시야를 관찰하면서 얻은 정보에 근거해 음성 지시, 시각 지시 등으로 컨트롤한다) 삼차원 실체 디지털 확대경 장치에 관한 것으로서, 또한 동일 규격의 삼차원 실체 디지털 확대경을 조작자 및 지도자가 사용함으로써, 원격지에서도 대규모의 설비를 사용하는 일 없이 크로마키 합성을 가능하게 하는 스튜디오 시스템을 구축할 수 있으며, 동시에 각종 교육 프로그램의 수강자 및 지도자의 모집 수단과, 보다 염가의 기술 지도에 대한 지도 요금이나 수강자에게 발생하는 수강료를 인터넷 결제하는 것이다. 일반적으로, 의과 수술이나 그 외의 수작업으로 실시하는 특수 기술을 실황으로 공개시키는 교육 프로그램에서는, 지도 조작자(강사)와 동일한 이상적인 시야로부터 폐쇄적인 부위에 대한 수술 및 기술 견학을 실시하는 경우, 복수의 수강자(고객)에 대해서 각 시술 단계에서 시술 상황을 순차 견학시키기에는 막대한 시간을 필요로 할 뿐만 아니라, 시술 시설의 물리적 제약에 의해 동시에 견학 가능한 인원수에는 제약이 있기 때문에, 적은 인원수를 대상으로 실시되고 있었다. 게다가, 지도 조 작자(강사)와 수강자(고객)의 사용 언어가 다른 경우, 시술 현장에 통역자를 동석시킬 필요가 있으므로 수강자(고객) 1명당의 교육 프로그램 수강료는 고가였다.
또한, 의과 수술의 경우, 환자 자체를 교육 프로그램을 위해서 원격지에 이동시키는 것은 곤란하고, 그 외의 수작업으로 실시하는 특수 기술에서도 대규모의 시설이나 이동 불가능한 기계 기구를 필요로 하는 경우, 견학 수강자(고객)는 시술 일시에 일정을 조정한 후, 막대한 교통비와 이동에 대한 시간적 비용을 소비하고 있었다. 게다가, 수강 희망자가 교육 프로그램을 구입하는 경우는, 지도 조작자(강사)의 일방적인 선전 광고 내용 혹은, 이미 동일한 교육 프로그램을 수강한 지인의 주관적 평가에 의한 가치 판단 기준에 의해서만 구입 검토를 하는 수밖에 없고, 게다가 수강료의 지불을 각 강사가 지정하는 지불 수단으로 별도로 지불하지 않으면 안 되었다. 반대로 교육 프로그램을 개강하는 지도 조작자(강사)는, 각종 매체를 이용해 선전 광고를 실시하고, 수강자(고객)의 다소에 관계없이 수강 신청 접수한 후, 재차 정식 접수 수리를 위해서 수강료의 수금 확인 작업을 실시하고 있었다.
반대로, 원격지에서 실시되는 세밀 작업의 실기 지도나 의과 수술의 지도를 실시하는 경우, 지도자(강사진)는 현장까지 이동하지 않으면 안되고, 막대한 경비를 필요로 하기 때문에 지도에 관련되는 제반비용(교통비와 이동에 대한 시간적 비용)은 고가일 뿐만 아니라, 이동에 장시간을 필요로 하는 원격지에서는 긴급 의과 수술에 대응하는 일은 곤란했으며, 복수의 지도자(강사진)에 의해 지도를 실시하는 경우 더욱 더 제반비용은 커져, 긴급 의과 수술 대응은 보다 곤란했다. 게다가 조 작자(고객)와 지도자(강사진)의 사용 언어가 다른 경우, 시술 현장에 통역자를 동행할 필요가 있었다.
게다가, 의사 면허의 법적 규제에 의해 해외에서 의료 행위를 실시하는 것은 금지되고 있기 때문에, 지도자(강사진)가 해당 여러 나라에서 스스로 직접 출도하는 실황 수술 견학 교육 프로그램의 개강 및 수술의 실기 지도를 하는 것은 기본적으로는 불가능하다.
또한, 조작자(고객)가 의과 수술이나 그 외의 수작업으로 실시하는 세밀 특수 기술의 지도를 실제로 희망했을 경우, 지도자(강사진)의 선정은, 한정된 인맥의 범위에 한정되지 않을 수 없고, 개개의 지도자(강사진)에 대한 지도료의 명확한 산정 기준도 없고, 직접 교섭하지 않을 수 없기 때문에 지도자(강사진)의 선정에 고심하고 있었을 뿐만 아니라, 각각 지도료의 지불도 지도 시간이나 지도 내용에 따라 개별의 지불 수단으로 별도로 지불하지 않으면 안되고, 사무 절차가 번잡했다.
그 뿐만 아니라, 종래 의료 분야에서 의료 행위의 감사를 실시하는 경우, 진단 내용과 의료 행위의 정합성의 감사에 유용하고, 의료 과오의 판정에 도움이 될 뿐만 아니라, 의료보험 분야에 있어서는 의료 행위에 대한 비용의 산정 기준으로서 유효하다. 마찬가지로 학술적으로 외과적인 분야(의사의 개인적인 기량)를 객관적으로 평가하는 것이 가능하므로, 의학 학회 등을 인터넷 상에서 실시간 발표에 의해 개최하는 것이 가능하고, 이것은 의사의 직접적인 능력 평가, 즉 학회 인정의(認定醫)의 선정 기준 등에 지극히 유용하다.
이와 같은 여러 문제를 해결한 후, 효율적인 기술 교육을 실시하는데 매우 적합한 비지니스 시스템을 구축할 수 있다.

Claims (11)

  1. 조작자 및 지도자가 각각 장착하는, 양 눈의 직전에 설치된 한 쌍의 LCD로 구성되는 삼차원 실체 디지털 확대경과, 상기 삼차원 실체 디지털 확대경 전면의 장착 작업자 좌우 동공 중앙부에 상당하는 위치로부터, 맨눈의 시야 방향을 향해 설치한 한 쌍의 동기된 줌렌즈 탑재 자동 초점 CCD 카메라의 좌측 CCD 카메라 화상 정보를 상기 삼차원 실체 디지털 확대경의 좌측 LCD에 표시하며, 그리고 우측 CCD 카메라 화상 정보를 상기 삼차원 실체 디지털 확대경의 우측 LCD에 표시하는 동일 규격의 삼차원 실체 디지털 확대경을 이용해, 인터넷이나 인트라넷 등의 통신 수단을 통하여 통신함으로써, 조작자 및 지도자가 공유하는 조작자 조작영역 화상을 지도자가 관찰하면서 조작자가 직시하에서 실시하는 의과 수술이나 그 외의 정밀 기술의 지원 및 지도 교육에 사용하는 시스템으로서,
    상기 지도자측의 삼차원 실체 디지털 확대경 장치의 CCD 카메라 전방 시야 전면에서, 상기 지도자측 CCD 카메라가 포착하는 지도자 시야 화상 중에서, 지도자가 시각 지시를 실시하기 위해서 조작하는 입체 포인팅 장치의 화상만 추출하고 배경 화상을 제거하는 플로터화 화상 처리 장치, 및
    조작자 및 지도자가 공유하는 조작자 삼차원 실체 디지털 확대경 장치의 CCD 카메라가 포착하는 조작자 시야 화상 상에, 상기 플로터화 화상 처리 장치로부터 출력되는 배경 없는 플로터화된 삼차원 시각 지시 화상을 합성 표시하는 화상 크로마키 합성 화상 처리 장치를 포함하고,
    지도자가 입체적이고 실제감이 있는 시각 지시를 실시하기 위하여 상기 플로터화 화상 처리 장치에 의하여 추출된 지도자가 조작하는 입체 포인팅 장치의 화상을 조작자 시야 화상(지도자에게 있어서는 가상 입체 화상) 중에 합성 표시하도록 이루어지는 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  2. 제 1 항에 있어서,
    상기 화상 크로마키 합성 화상 처리 장치는,
    상기 플로터화 화상 처리 장치로부터 출력되는 지도자가 조작하는 배경 없는 플로터화된 입체 포인팅 장치의 삼차원 시각 지시 화상을, 상기 조작자가 장착하는 실체 디지털 확대경의 CCD 카메라 조작자 시야 화상 정보 상에 크로마키 합성표시할 때에, 조작자의 작업 상황 시야 화상과 상기 지도자의 삼차원 시각 지시 화상이 중복되고 조작자 시야와 시술 행위를 시각적으로 방해하는 것을 방지함과 동시에 조작자가 용이하게 지도 화상인 것을 판별하기 위해서, 상기 지도자의 삼차원 시각 지시 화상의 투명도를 변경하던지, 혹은 상기 지도자의 삼차원 시각 지시 화상의 색조를 변환한 후 합성 표시하는 것인 것
    을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    조작자 및 지도자 쌍방의 LCD에 표시하는 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보의 투명도를 변경한 화상 상에,
    시술 환자의 CT 혹은 MRI 등의 단층촬영 정보를 기초로 미리 제작한 임의의 뼈, 혈관, 신경 조직 등의 해부학적 삼차원 투시 화상이나, 상기 해부학적 삼차원 투시화상에 부가하여 절개나 뼈절삭 등의 위치를 입체적으로 화상 합성 표시한 서지칼 스텐트 화상을 상기 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보에 대해서 시각적 차이를 줌으로써 용이하게 판별 가능해지도록 화상 처리 변환한 해부학적 삼차원 화상 정보가,
    조작자 삼차원 실체 디지털 확대경 CCD 화상 정보 중의 임의로 정한 경조직 상의 3점을 기준점으로 하여 상기 해부학적 삼차원 화상이 상기 조작자 삼차원 실체 디지털 확대경 CCD 화상에 겹쳐지도록 하고,
    조작자 CCD 카메라 위치 변화 및 환자의 자세의 변화에 의한 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보의 기준점의 위치 변화에 대해서 상기 해부학적 삼차원 화상을 자동적으로 실시간으로 위치 보정하여 추적함으로써,
    환자에 대한 조작자의 시야 각도의 변화, 혹은 환자의 자세의 변화에 대해서도 항상 위치 보정을 자동적으로 실시해 삼차원 실체 디지털 확대경의 LCD에 표시되는 조작자 시야 화상 중에 삼차원적으로 정확한 해부학적 삼차원 화상을 합성 표시하는 화상 위치 보정 추적 장치
    를 갖춘 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  4. 제 3 항에 있어서,
    상기 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보를 인터넷이나 인트라넷 등의 통신 수단을 이용해, 원격지에서, 원격지에서 보유하는 시술 환자의 CT 혹은 MRI 등의 단층촬영 정보를 기초로 미리 제작한 임의의 뼈, 혈관, 신경 조직 등의 해부학적 삼차원 화상이나, 상기 해부학적 삼차원 투시화상을 기초로 조작자 혹은 제 3 자(다른 의사)가 절개나 뼈절삭 등의 위치를 미리 설계한 입체 서지칼 스텐트 화상을, 상기 조작자 삼차원 실체 디지털 확대경 CCD 화상 정보에 원격지에서 합성 처리를 실시하여 정확하게 겹치고, 마치 실체를 투시한 상황을 나타내는 각각의 합성 표시 화상을, 상기 화상 위치 보정 추적 장치에 의해 조작자 CCD 카메라 위치 변화 및 환자의 자세의 변화에 대해서 실시간으로 자동적으로 위치 보정하여, 항상 삼차원적으로 정확한 위치에 합성 표시한 화상을 상기 조작자 및 지도자의 삼차원 실체 디지털 확대경에 전달하는 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  5. 제 3 항에 있어서,
    상기 조작자 삼차원 실체 디지털 확대경의 조작자 삼차원 화상 정보와 상기 조작영역화상 중에 삼차원적으로 정확한 등척 삼차원 투시화상을 합성 표시하는 서지칼 스텐트 화상 정보를 서버에 축적하고,
    상기 서버에 축적한 화상 정보를 공유하는 복수의 동기된 삼차원 디지털 확대경을 장착하는 사람이, 각각 상기 조작자 삼차원 실체 디지털 확대경의 조작자 삼차원 화상 정보 상에 상기 서지칼 스텐트 화상 정보를 수시로 표시/비표시 전환 가능하게 하고, 게다가 상기 삼차원 실체 디지털 확대경의 CCD 카메라를 이용하여 각각으로부터 얻어지는 삼차원 시각 지시 화상을 서버에 송신하여 서버에 축적한 상기 조작자 삼차원 화상에 합성 표시함으로써,
    인터넷 등의 통신회선을 이용해 삼차원 동영상 혹은 정지화면에 대해서 쌍방향 통신에 의한 디스커션을 가능하게 한 것을 특징으로 하는 삼차원 실체 디지털 확대경 시스템.
  6. 제 1 항에 있어서,
    조작자 또는 지도자가 장착하는 삼차원 실체 디지털 확대경 장치 및 플로터화 화상 처리 장치를 복수대로 하고, 조작자 및 지도자가 화상을 공유함으로써,
    인터넷이나 인트라넷 등의 각종 통신 수단을 통하여,
    복수의 지도자가 1명의 조작자에게 삼차원적으로 시각 표시 지시 화상에 의한 지도를 동시에 실시하든지,
    혹은 복수의 조작자의 시야 화상을 변환 표시함으로써, 1명의 지도자가 복수의 조작자에게 삼차원적으로 시각 지시 지도를 실시하는 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 삼차원 시각 표시 지시 화상에 의한 지도 상황을, 인터넷 등의 각종 통신 수단을 통하여 실황 방송 혹은 녹화 방송으로 조작자 및 지도자 이외의 다수의 수강자 혹은 제 3 자 기관에 전달 공개하는 경우,
    한쪽의 삼차원 실체 디지털 확대경의 CCD 카메라로부터 출력되는 좌우 2채널의 출력 신호를 상기 삼차원 실체 디지털 확대경 하드웨어 내에서 암호화하고,
    다른 한쪽의 삼차원 실체 디지털 확대경 하드웨어 내에서 복호화함으로써, 규정된 삼차원 실체 디지털 확대경 하드웨어 구성을 갖는 단말기를 이용하지 않고는 정상 화상 표시 불가능하게 함으로써, 보다 높은 시큐리티를 부여하고, 환자 프라이버시를 지키는 것을 가능하게 한 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  8. 제 1 항 또는 제 2 항에 있어서,
    극히 정보량이 많고, 게다가 조작자의 시술 상황을 가상 체험 가능한 삼차원 실체 디지털 확대경 시스템을 사용해, 네트워크 상에 시술 개조자에 대해 기능이나 경험 혹은 지도 언어 등의 조건과 함께 보수 금액을 제시하고, 등록 의사 혹은 기술자와 계약을 맺고, 원격지에 대기하는 상기 인재(지도자)의 인재파견을 받으며, 시술에 대해서 의료 과오 등의 불미스러운 사태가 발생했을 경우, 삼차원 실체 디지털 확대경 시스템 정보의 기록에 근거해 과실의 소재를 명확화함과 동시에, 각 시술 내용과 인재의 각 전문 분야에 따른 관계의 정도에 따라 미리 결정한 계약 내용과 상기 계약 내용에 따라 조작자가 제시하는 지도 요금에 따라서, 책임 범위를 명확화하여, 의료 과오나 결함에 대한 배상 위험의 분산을 가능하게 한 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  9. 제 7 항에 있어서,
    극히 정보량이 많고, 게다가 실시간인 것과, 동시에 동일 규격의 삼차원 실체 디지털 확대경에서만 통신 가능한 시스템이기 때문에 지극히 신빙성이 높고, 조작자의 시술 상황을 가상 체험적으로 관찰 가능한 삼차원 실체 디지털 확대경 시스템을 사용하여, 조작자 기량을 원격지에서 객관적으로 사정하는 것을 가능하게 한 것을 특징으로 하는 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템.
  10. 제 2 항에 있어서,
    조작자 시야 화상 중에 합성 표시하는 지도 화상, 혹은 조작자 시야 화상 중 에 합성 표시하는 해부학적 삼차원 화상이나 서지칼 스텐트 화상을,
    조작자 주도의 경우는 조작자에 의하여, 지도자 주도의 경우는 지도자의 의사에 의하여, 조작자 혹은 지도자의 시술 행위에 관련되는 손 혹은 다리를 사용하는 조작을 방해하는 일이 없는 스위치 조작에 의해 표시 또는 비표시 조작을 가능하게 한 것을 특징으로 하는 삼차원 실체 디지털 확대경 시스템.
  11. 조작자 및 지도자가 각각 장착하는, 양 눈의 직전에 설치된 한 쌍의 LCD로 구성되는 삼차원 실체 디지털 확대경을 포함하며, 상기 삼차원 실체 디지털 확대경 전면의 장착 작업자 좌우 동공 중앙부에 상당하는 위치로부터, 맨눈의 시야 방향을 향해 설치한 한 쌍의 동기된 줌렌즈 탑재 자동 초점 CCD 카메라의 좌측 CCD 카메라 화상 정보를 상기 삼차원 실체 디지털 확대경의 좌측 LCD에 표시하며, 그리고 우측 CCD 카메라 화상 정보를 상기 삼차원 실체 디지털 확대경의 우측 LCD에 표시하는 동일 규격의 삼차원 실체 디지털 확대경을 이용해, 인터넷이나 인트라넷 등의 통신 수단을 통하여 통신함으로써, 조작자 및 지도자가 공유하는 조작자 조작영역 화상을 지도자가 관찰하면서 조작자가 직시하에서 실시하는 의과 수술이나 그 외의 정밀 기술의 지원 및 지도 교육에 사용하는 시스템에 사용되는 방법에 있어서,
    상기 지도자측의 삼차원 실체 디지털 확대경 장치의 CCD 카메라 전방 시야 전면에서, 상기 지도자측 CCD 카메라가 포착하는 지도자 시야 화상 중에서, 지도자가 시각 지시를 실시하기 위해서 조작하는 입체 포인팅 장치의 화상만 추출하고 배경 화상을 제거하는 플로터화 화상 처리 과정, 및
    조작자 및 지도자가 공유하는 조작자 삼차원 실체 디지털 확대경 장치의 CCD 카메라가 포착하는 조작자 시야 화상 상에, 상기 플로터화 화상 처리 과정을 거쳐출력되는 배경 없는 플로터화된 삼차원 시각 지시 화상을 합성 표시하는 화상 크로마키 합성 화상 처리 과정을 포함하고,
    상기 플로터화 화상 처리 장치에 의하여 추출된 지도자가 조작하는 입체 포인팅 장치의 화상을 조작자 시야 화상(지도자에게 있어서는 가상 입체 화상) 중에 합성 표시함으로써 지도자가 입체적이고 실제감이 있는 시각 지시를 실시하는 것을 특징으로 하는 삼차원 시각 지시 방법.
KR1020067020913A 2004-03-26 2005-03-17 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법 KR100819819B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00091349 2004-03-26
JP2004091349 2004-03-26

Publications (2)

Publication Number Publication Date
KR20060127251A KR20060127251A (ko) 2006-12-11
KR100819819B1 true KR100819819B1 (ko) 2008-04-08

Family

ID=35056406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067020913A KR100819819B1 (ko) 2004-03-26 2005-03-17 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법

Country Status (12)

Country Link
US (1) US7367809B2 (ko)
EP (1) EP1739642B1 (ko)
JP (1) JP4440893B2 (ko)
KR (1) KR100819819B1 (ko)
CN (1) CN1973311B (ko)
AU (1) AU2005225878B2 (ko)
BR (1) BRPI0508748B1 (ko)
CA (1) CA2561274C (ko)
MX (1) MXPA06011083A (ko)
MY (1) MY154870A (ko)
RU (1) RU2390852C2 (ko)
WO (1) WO2005093687A1 (ko)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8229252B2 (en) 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US8640959B2 (en) 2005-03-18 2014-02-04 The Invention Science Fund I, Llc Acquisition of a user expression and a context of the expression
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US7826687B2 (en) 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8599174B2 (en) 2005-03-18 2013-12-03 The Invention Science Fund I, Llc Verifying a written expression
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
WO2007143647A2 (en) * 2006-06-05 2007-12-13 Visicon Inspection Technologies Llc Stent inspection system
EP1884819A1 (en) * 2006-08-02 2008-02-06 Swiss Medical Technology GmbH Eyewear with segmented look-through elements
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
CA2694095C (en) * 2007-05-18 2016-03-22 The Uab Research Foundation Virtual interactive presence systems and methods
EP2171689B1 (en) * 2007-06-29 2020-06-03 Midmark Corporation Synchronized views of video data and three-dimensional model data
US8690768B2 (en) * 2007-07-26 2014-04-08 David Amitai Patient operable data collection system
JP5390377B2 (ja) * 2008-03-21 2014-01-15 淳 高橋 三次元デジタル拡大鏡手術支援システム
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
KR101190265B1 (ko) * 2009-06-30 2012-10-12 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
WO2011025450A1 (en) * 2009-08-25 2011-03-03 Xmreality Research Ab Methods and systems for visual interaction
GB2474083B (en) * 2009-10-05 2015-12-23 Keeler Ltd Improvements in and relating to ophthalmic instruments
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
IT1398933B1 (it) * 2010-03-04 2013-03-28 Clementoni S P A Sistema multimediale per giochi di apprendimento e puzzle.
DE102010016113A1 (de) 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
JP5791131B2 (ja) * 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9155503B2 (en) * 2010-10-27 2015-10-13 Cadwell Labs Apparatus, system, and method for mapping the location of a nerve
US9545188B2 (en) 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US10617478B1 (en) 2011-01-03 2020-04-14 Smith & Nephew Orthopedics AG Surgical implement selection process
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
BR112013020608A2 (pt) * 2011-02-22 2016-10-11 Rheinmetall Defence Elect Gmbh simulador para formação de equipe, particularmente, para formação de tripulação de helicóptero
JP5423716B2 (ja) * 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
WO2013161662A1 (ja) 2012-04-23 2013-10-31 独立行政法人科学技術振興機構 動きガイド提示方法、そのシステム及び動きガイド提示装置
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
EP2856759A4 (en) 2012-06-01 2015-12-09 Ultradent Products Inc STEREOSCOPIC VIDEO IMAGING
US9058681B2 (en) * 2012-06-01 2015-06-16 The Boeing Company Sensor-enhanced localization in virtual and physical environments
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US9729831B2 (en) * 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
US9127928B2 (en) * 2012-11-15 2015-09-08 General Electric Company Object location accounting for pitch, yaw and roll of device
EP2920637A2 (en) * 2012-11-19 2015-09-23 orangedental GmbH & Co. KG Magnification loupe with display system
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
GB2496064B (en) * 2012-12-31 2015-03-11 Nicholas Jamie Marston Video camera shooting glasses
US10098585B2 (en) 2013-03-15 2018-10-16 Cadwell Laboratories, Inc. Neuromonitoring systems and methods
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
KR20160033721A (ko) 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
KR101579491B1 (ko) * 2013-07-17 2015-12-23 한국과학기술원 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
US10424115B2 (en) 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
CA2949241A1 (en) * 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
KR101580559B1 (ko) * 2014-06-02 2015-12-28 조선대학교산학협력단 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
US20160000514A1 (en) * 2014-07-03 2016-01-07 Alan Ellman Surgical vision and sensor system
US20160042233A1 (en) * 2014-08-06 2016-02-11 ProSent Mobile Corporation Method and system for facilitating evaluation of visual appeal of two or more objects
KR20160024168A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP6437257B2 (ja) * 2014-09-19 2018-12-12 株式会社日立ソリューションズ 作業工程学習支援システム
US10433793B1 (en) 2015-03-27 2019-10-08 Cadwell Laboratories, Inc. Methods and systems for simultaneous review of brain activity and physical manifestations of users
KR102349716B1 (ko) 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
JP6611538B2 (ja) * 2015-09-29 2019-11-27 株式会社三菱ケミカルホールディングス 生体信号出力装置
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
KR101763492B1 (ko) 2015-12-22 2017-08-02 이화여자대학교 산학협력단 로봇 수술용 보조 기기
KR101822471B1 (ko) 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US10142298B2 (en) * 2016-09-26 2018-11-27 Versa Networks, Inc. Method and system for protecting data flow between pairs of branch nodes in a software-defined wide-area network
JP6867566B2 (ja) * 2016-10-21 2021-04-28 サン電子株式会社 画像表示装置及び画像表示システム
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
US11241297B2 (en) 2016-12-12 2022-02-08 Cadwell Laboratories, Inc. System and method for high density electrode management
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US9935395B1 (en) 2017-01-23 2018-04-03 Cadwell Laboratories, Inc. Mass connection plate for electrical connectors
JP6649912B2 (ja) * 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
JP2020534050A (ja) * 2017-09-06 2020-11-26 コヴィディエン リミテッド パートナーシップ ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体
JP6882147B2 (ja) * 2017-11-28 2021-06-02 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US11517239B2 (en) 2018-04-05 2022-12-06 Cadwell Laboratories, Inc. Systems and methods for processing and displaying electromyographic signals
US11596337B2 (en) 2018-04-24 2023-03-07 Cadwell Laboratories, Inc Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures
US11992339B2 (en) 2018-05-04 2024-05-28 Cadwell Laboratories, Inc. Systems and methods for dynamic neurophysiological stimulation
US11253182B2 (en) 2018-05-04 2022-02-22 Cadwell Laboratories, Inc. Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation
US11443649B2 (en) 2018-06-29 2022-09-13 Cadwell Laboratories, Inc. Neurophysiological monitoring training simulator
US11185684B2 (en) 2018-09-18 2021-11-30 Cadwell Laboratories, Inc. Minimally invasive two-dimensional grid electrode
US11517245B2 (en) 2018-10-30 2022-12-06 Cadwell Laboratories, Inc. Method and system for data synchronization
US11471087B2 (en) 2018-11-09 2022-10-18 Cadwell Laboratories, Inc. Integrity verification system for testing high channel count neuromonitoring recording equipment
US11317841B2 (en) 2018-11-14 2022-05-03 Cadwell Laboratories, Inc. Method and system for electrode verification
US11529107B2 (en) 2018-11-27 2022-12-20 Cadwell Laboratories, Inc. Methods for automatic generation of EEG montages
US11128076B2 (en) 2019-01-21 2021-09-21 Cadwell Laboratories, Inc. Connector receptacle
DE102019207454B4 (de) 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN112634700A (zh) * 2020-12-30 2021-04-09 青岛亿和海丽安防科技有限公司 一种躲避雷电的安全模拟系统及其控制方法
JP7393842B1 (ja) 2022-02-09 2023-12-07 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207832A (ja) * 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391081A (en) * 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5546943A (en) * 1994-12-09 1996-08-20 Gould; Duncan K. Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality
US6024576A (en) * 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
JPH11161769A (ja) 1997-11-25 1999-06-18 Hitachi Denshi Ltd 動作認識情報入力装置
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
US6074213A (en) * 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP4288843B2 (ja) 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
US6659776B1 (en) * 2000-12-28 2003-12-09 3-D Technical Services, Inc. Portable laparoscopic trainer
US6739877B2 (en) * 2001-03-06 2004-05-25 Medical Simulation Corporation Distributive processing simulation method and system for training healthcare teams
US7095388B2 (en) * 2001-04-02 2006-08-22 3-Dac Golf Corporation Method and system for developing consistency of motion
US20020149599A1 (en) * 2001-04-12 2002-10-17 Honeywell International Inc. Methods and apparatus for displaying multiple data categories
US7056123B2 (en) * 2001-07-16 2006-06-06 Immersion Corporation Interface apparatus with cable-driven force feedback and grounded actuators
JP2004089599A (ja) * 2002-09-04 2004-03-25 Hitachi Medical Corp 画像表示装置
AU2003275265A1 (en) * 2002-09-26 2004-04-19 Robert Levine Medical instruction using a virtual patient
US7594815B2 (en) * 2003-09-24 2009-09-29 Toly Christopher C Laparoscopic and endoscopic trainer including a digital camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207832A (ja) * 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム

Also Published As

Publication number Publication date
US20070184422A1 (en) 2007-08-09
JP4440893B2 (ja) 2010-03-24
MXPA06011083A (es) 2007-04-13
JPWO2005093687A1 (ja) 2008-02-14
CA2561274A1 (en) 2005-10-06
RU2390852C2 (ru) 2010-05-27
WO2005093687A1 (ja) 2005-10-06
KR20060127251A (ko) 2006-12-11
EP1739642A4 (en) 2010-04-14
CA2561274C (en) 2015-08-11
BRPI0508748A (pt) 2007-09-04
RU2006137063A (ru) 2008-05-10
CN1973311B (zh) 2010-08-25
CN1973311A (zh) 2007-05-30
MY154870A (en) 2015-08-14
BRPI0508748B1 (pt) 2018-05-02
EP1739642A1 (en) 2007-01-03
EP1739642B1 (en) 2017-05-24
US7367809B2 (en) 2008-05-06
AU2005225878B2 (en) 2009-09-10
AU2005225878A1 (en) 2005-10-06

Similar Documents

Publication Publication Date Title
KR100819819B1 (ko) 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
US8758021B2 (en) Remote internet technical guidance/education distribution system using practitioner's vision, and guidance system using communication network
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
US20110091856A1 (en) Opthalmoscope simulator
Heinrich et al. HoloPointer: a virtual augmented reality pointer for laparoscopic surgery training
Rolland et al. Optical versus video see-through head-mounted displays
Weiss et al. Evaluating the didactic value of 3D visualization in otosurgery
Evans et al. A comparison of Google Glass and traditional video vantage points for bedside procedural skill assessment
Al Shaikhly et al. Comparison of a dental operating microscope and high-resolution videoscope for endodontic procedures
Chen et al. Visualization of stereoscopic anatomic models of the paranasal sinuses and cervical vertebrae from the surgical and procedural perspective
CN113995525A (zh) 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
Wanibuchi et al. Effectiveness of the 3D monitor system for medical education during neurosurgical operation
Hampiholi Real-World Deployments of AR In Medical Training and Surgery
Andersen et al. Augmented visual instruction for surgical practice and training
Eckhardt et al. Development, implementation and feedback for an online speciality membership examination in orthodontics during the COVID-19 pandemic
Sadid‐Zadeh et al. Students’ perception of 3D video microscope use in preclinical fixed prosthodontics: A comparative study
Proniewska et al. The 3D Operating Room with Unlimited Perspective Change and Remote Support
Nanashima et al. Questionnaire survey of virtual reality experiences of digestive surgery at a rural academic institute: A pilot study for pre-surgical education
Davies et al. Evaluation of virtual reality in orthopaedic training—A pioneering pilot study
US20230129708A1 (en) Procedure guidance and training apparatus, methods and systems
Rak et al. Online training for hearing implant surgery: A new approach to otological training
Bochet et al. Augmented reality in implantology: Virtual surgical checklist and augmented implant placement
KR20230135754A (ko) 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템
Voinea et al. A NOVEL SOLUTION BASED ON VIRTUAL AND AUGMENTED REALITY FOR BIOMECHANICS STUDY
Atchley et al. Integrating Computerized Virtual Reality with Traditional Methods of Teaching Skull Anatomy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121211

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140206

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 13