KR20150132166A - 전 영역 3차원 표면 측정 - Google Patents
전 영역 3차원 표면 측정 Download PDFInfo
- Publication number
- KR20150132166A KR20150132166A KR1020157025272A KR20157025272A KR20150132166A KR 20150132166 A KR20150132166 A KR 20150132166A KR 1020157025272 A KR1020157025272 A KR 1020157025272A KR 20157025272 A KR20157025272 A KR 20157025272A KR 20150132166 A KR20150132166 A KR 20150132166A
- Authority
- KR
- South Korea
- Prior art keywords
- electromagnetic radiation
- radiation source
- image sensor
- image
- module
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title abstract description 14
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000002775 capsule Substances 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 20
- 239000013307 optical fiber Substances 0.000 claims description 17
- 239000007788 liquid Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 11
- 238000007654 immersion Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000005855 radiation Effects 0.000 description 55
- 239000000523 sample Substances 0.000 description 11
- 230000003993 interaction Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000002526 effect on cardiovascular system Effects 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 4
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 208000020446 Cardiac disease Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- -1 for example Substances 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00025—Operational features of endoscopes characterised by power management
- A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
- A61B1/00032—Operational features of endoscopes characterised by power management characterised by power supply internally powered
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
- A61B1/015—Control of fluid supply or evacuation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
- A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
- A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
Abstract
본 발명의 실시형태는 인체의 외부 및 내부 표면 같은 표면의 측정을 전-영역에서 3차원으로 수행하기 위해 사용될 수 있다. 전자기 방사원은 스페이스 시그널 모듈레이션 알고리즘에 상응하는 패턴 내에서 전자기 방사를 투사시키기 위해 설정 될 수 있다. 전자기 방사원은 전자기 투사(project)위치로 매질을 통해 전달하기 위해 투과하기 적합한 주파수로 전자기를 방사 투사시킬 수 있도록 설정시킬 수 있다. 이미지 센서는 투사 패턴을 나타내는 이미지 데이터를 캡쳐 할 수 있도록 설정시킬 수 있다. 이미지 처리 모듈은 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-D로 표면을 표시할 수 있도록 계산하기 위해 설정될 수 있다. 디스플레이 기기를 전-영역, 3-D로 표면을 표시하기 위해 설정시킬 수 있다.
Description
본 출원은 2013년 3월 14일자 미국 특허 출원 제13/830,477호의 우선권을 주장하고 출원서 개시 사항 전체는 참고 문헌으로 본 명세서 내에 통합되어 있다.
인체의 외부 및 내부 표면의 정확한 3차원 맵이 다양한 의료 행위에 반드시 필요하다. 예를 들면 외부 인체 표면은 안면 재건 수술 또는 보철 맞춤 등을 위해 스캔 되어질 필요가 있다. 또한 내부 인체 표면은 실체적 생검, 스텐트, 제거(ablation), 기관지 내시경, 식도 내시경, 복부 내시경, 결장 내시경, 방광 내시경 또는 관절 내시경 등과 같은 다양한 내시경 또는 카테터 기반 행위를 위해 매핑이 요구된다.
외부 및 내부 인체 표면을 위한 3차원 스캐닝의 현재 기술 수준은 많은 문제점을 지니고 있다. 예를 들면 레이져 라인 스캐닝과 같은 레이져 기반 스캐닝은 환자에게 부동 자세를 요구한다. 따라서 미미한 움직임조차도 스캔의 정확도에 영향을 준다. 통상적인 레이져 스캔은 환자에게 10 내지 15초간 그대로 앉아 있게 하여야 하며 그 동안 2차원 단면들이 모아지게 된다. 2차원 단면들은 표면의 3차원 형상으로 다시 컴파일된다. 환자에 의한 이 시간 내의 호흡, 떨림 또는 근육 반사와 같은 움직임은 스캔의 정확도에 부정적 영향을 미친다. 또한 레이져 스캐닝 장치 그 자체가 레이져 고유의 움직임으로 인해 시스템 내로 원하지 않는 진동이 도입 될수 있다.
일반적으로 이용되는 내부 기관 측정 기법은 이와 유사한 에러 유발이 문제되는 바 이러한 기법의 예로는 컴퓨터 단층 촬영(CT), 광학 유래 단층 촬영(OCT) 자기 공명 이미징(MRI) 및 각종 초음파 접근법(US 및 IVUS) 등을 들 수 있다.
따라서 신속하게 수행되고 환자 및 기기에 의한 부정확성을 제거시킨 3차원 표면 측정 기법의 개발이 요구되어 왔다.
본 발명은 실시간 전-영역 3차원(3-D) 표면 전사에 관한 것이다. 본 발명의 실시형태는 인체의 외부 및 내부 표면 같은 표면의 측정을 전-영역에서 3차원으로 수행하기 위해 사용될 수 있다. 전-영역은 센서 기구의 캡쳐 능력에 관련되어 있으며 예를 들면 측정하려는 대상을 포함하는 전체 장면을 3-D 정보로 계산할 수 있어야 한다. 실시간은 충분히 빠른 센서 노출 또는 프레임 속도 이용에 의존하거나 예를 들면 인지할 수 있는 목적물 표면 운동을 제거 또는 최소화함으로써 가능하게 할 수 있다.
도 1 은 본 발명의 실시 형태를 도시 한 것이다.
도 2 는 본 발명의 실시 형태에 따른 논리 흐름도를 도시 한 것이다.
도 3 은 본 발명의 실시 형태에 따른 측정 패키지를 도시 한 것이다.
도 4a는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 4b는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 4c는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 5 는 본 발명의 실시 형태에 따른 모서리 말단을 도시 한 것이다.
도 6 는 본 발명의 실시 형태에 따른 캡슐을 도시 한 것이다.
도 7a는 본 발명의 실시 형태에 따른 카테터화 프로브를 도시 한 것이다.
도 7b는 본 발명의 실시 형태에 따른 카테터화 프로브를 도시 한 것이다.
도 2 는 본 발명의 실시 형태에 따른 논리 흐름도를 도시 한 것이다.
도 3 은 본 발명의 실시 형태에 따른 측정 패키지를 도시 한 것이다.
도 4a는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 4b는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 4c는 본 발명의 실시 형태에 따른 내시경을 도시 한 것이다.
도 5 는 본 발명의 실시 형태에 따른 모서리 말단을 도시 한 것이다.
도 6 는 본 발명의 실시 형태에 따른 캡슐을 도시 한 것이다.
도 7a는 본 발명의 실시 형태에 따른 카테터화 프로브를 도시 한 것이다.
도 7b는 본 발명의 실시 형태에 따른 카테터화 프로브를 도시 한 것이다.
본 발명은 실시간 전-영역 3차원(3-D) 표면 전사에 관한 것이다. 본 발명의 실시형태는 인체의 외부 및 내부 표면 같은 표면의 측정을 전-영역에서 3차원으로 수행하기 위해 사용될 수 있다. 전-영역은 센서 기구의 캡쳐 능력에 관련되어 있으며 예를 들면 측정하려는 대상을 포함하는 전체 장면을 3-D 정보로 계산할 수 있어야 한다. 실시간은 충분히 빠른 센서 노출 또는 프레임 속도 이용에 의존하거나 예를 들면 인지할 수 있는 목적물 표면 운동을 제거 또는 최소화함으로써 가능하게 할 수 있다.
본 발명의 실시 형태는 전자기 방사원을 포함할 수 있으며 이는 전자기 방사(radiation)가 표면으로 투사될 수 있도록 설정(configure) 될 수 있다. 전자기 방사원은 스페이스 시그널 모듈레이션 알고리즘에 상응하는 패턴 내에서 전자기 방사를 투사시키기 위해 설정될 수 있다. 전자기 방사원은 전자기 투사(project)위치로 매질을 통해 전달하기 위해 투과하기 적합한 주파수로 전자기를 방사 투사시킬 수 있도록 설정시킬 수 있다. 이미지 센서는 투사 패턴을 나타내는 이미지 데이터를 캡쳐할 수 있도록 설정시킬 수 있다. 이미지 처리 모듈은 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-D 로 표면을 표시할 수 있도록 계산하기 위해 설정될 수 있다. 디스플레이 기기를 전-영역, 3-D로 표면을 표시하기 위해 설정시킬 수 있다.
본 발명의 실시 형태는 인체의 내부 표면 위를 전-영역, 3-D로 표면을 전사하기 위해 프로브, 진단용 또는 치료용 카테터, 내시경 또는 캡슐을 더욱 포함할 수 있다. 이러한 기기는 내부 또는 외부로부터 가이드, 조종 가능 또는 추진될 수 있는 것으로 캐비티 또는 심혈관 시스템을 통해 먼저 투입되거나 전달될 수 있다.
도 1은 본 발명에 따른 실시간, 전-영역, 3-D 표면 전사 시스템(100)을 도시 한 것이다. 시스템(100)은 측정 패키지(102), 목적 표면(104), 제어 시스템(106)과 디스플레이 시스템(108)을 포함한다. 시스템(100)은 1995년 2월 27일에 출원 된 미국 특허 제 5,581,352호에 개시된 스페이스 시그널 모듀레이션(SSM)을 통해 수행할 수 있고 상기 특허의 개시 사항은 인체 내의 외부 및 내부 표면의 3-D 맵을 정량적으로 간편히 재생하기 위해 본 명세서의 참고 문헌으로 통합되어 있다.
측정 패키지(102)는 카메라 기기(110)와 방사원(112)을 포함할 수 있다. 방사원(112)은 방사 발광 기기와 렌즈(나타내지 않음) 사이를 원하는 패턴의 슬라이드 또는 격자(나타내지 않음)형상으로 배치시켜 제조할 수 있다. 카메라 기기(110)은 예를 들면 커플링-하전 기기(CCD) 카메라와 같은 목적 표면(104)으로부터 반사 된 이미지 테이터를 캡쳐할 수 있는 기기이다.
제어 시스템(106)(또는 이미지 처리 모듈)은 프로세서 또는 카메라 기기(110)에 의해 캡쳐된 이미지 데이터를 수령할 수 있는 스테이트 기계를 포함할 수 있다. 이와 같은 기계는 예를 들면 어느 적합한 프로세싱 플랫폼, 계산 플랫폼, 계산 기기, 프로세싱 기기, 계산 시스템, 프로세싱 시스템, 컴퓨터, 프로세서 또는 이와 유사한 기기로서 하드웨어 및/또는 소프트웨어의 적합한 결합을 사용하여 수행할 수 있는 기계를 의미한다.
디스플레이 시스템(108)은 액정 디스플레이 기기, 발광 다이오드 디스플레이 기기 등을 포함할 수 있는 것으로 제어 시스템(106)으로부터 목적 표면(104)의 전-영역, 3-D 표시 정보를 수령하고 디지털 표시화 된 목적 표면(104)을 사용자가 분석할 수 있도록 디스플레이하는 것이다.
도 2는 본 발명의 실시 형태에 따른 도 1의 전사 시스템(100)의 작동을 나타내는 논리 흐름도이다. 작동기간 중에 방사 원(112)은 스페이스 시그널 모듈레이션 알고리즘에 따른 전자기 방사 패턴을 목적 표면(104)(단계 2)으로 투사시킬 수 있다. 이 패턴은 예를 들면 전자기 방사의 평행 밴드 형상을 지닌다. 본 발명의 실시 형태에 의하면 조사된 스페이스 방사 시그널의 운반 진동수는 시그널이 투과되는 매체에 의존한다는 것이다. 예를 들면 인체 내의 혈액에서 특정 적외선 진동수 내지 청색 가시 광선 내의 짧은 파장은 2,500 배 더 투 될 수 있는 것이다. 만약 사용 된 방사 파장이 목적물의 파장보다 크다면 목적물을 형상화하기 위해서 전자기 방사를 사용하는 것은 불가능하다. 따라서 발광 운반 진동수는 목적 표면에 인접한 매질(공기, 혈액, 점액, 뇨 등)의 하나 이상의 특성(입자 크기, 색상, 입자의 양)을 기반으로 선택되어야 한다..
스페이스 시그널은 목적 표면(104)으로부터 카메라 기기(110)로 되돌려 반사될 수 있다. 카메라 기기(110)는 반사된 스페이스 시그널을 캡쳐할 수 있으며, 이들은 표면(104)과의 상호작용에 의해 변화 모듈화된 것이다(단계 204). 왜곡된 프로젝션에 의해 캡쳐된 반사 이미지는 스페이스 암호화된 3-D 표면 정보를 포함한다. 반사 왜곡된 스페이스 시그널로 표시된 데이터를 처리하기 위해 시스템(106)으로 전송될 수 있다.
제어 시스템(106)은 이미지 처리 모듈을 포함할 수 있으며 3-D 형태의 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면(104)의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다(단계 208). 제어 시스템(106)은 표면(104)의 3-D 형상을 나타내는 디지털 이미지를 디스플레이하기 위해 표면(104)의 계산된 정보에 상응하는 디지털 데이터를 디스플레이 시스템(108)에 전송할 수 있다.
도 3은 본 발명의 실시 형태에 따른 측정 패키지(300)를 도시 한 것이다. 측정 패키지(300)는 방사 원(302), 카메라/ 렌즈 기기(304), 인스트루먼트 포트(306), 이리게이션 모듈(308)을 포함할 수 있다. 방사원(302)과 카메라/렌즈 기기(304)(이들은 각각 도 1의 방사 원(112)과 카메라 기기(110)과 유사 하다)는 상기한 SSM 기법을 수행하기 위해 사용된다.
인스트루먼트 포트(306)는 다양한 정렬의 수술 기기가 삽입될 수 있는 중공 튜브 형상 일수 있으며 이들은 내과 의사의 필요에 따라 사용 시 적절하게 교환될 수 있다. 이리게이션 모듈(308)은 작업 중에 카메라/렌즈(304)의 외부에 있는 파편 부스러기를 세척하기에 적합한 압력으로 예를 들면 생리 식염수와 같은 불활성 액체를 이송하기 위한 통로를 포함한다. 인스트루먼트 포트(306)와 이리게이션 모듈(308)은 측정 패키지(300)의 선택적 형상이다.
측정 패키지(300)는 도 1의 시스템 100과 유사한 시스템 내에서 표면에 특정 주파수를 지닌 방사 패턴을 프로젝트 시키고, 방사 패턴의 왜곡된 반사를 캡쳐하고, 왜곡된 반사를 표면의 3-D 형상으로 재구성하는 일련의 수학적 절차에 의해 용이하게 처리하는 수행 단계일 수 있다. 본 발명의 실시 형태는 3-D 형상의 다양한 표면을 생성하기 위해 측정 패키지(300)의 변형을 의료용 기기에 통합시킬 수 있다. 예를 들면 본 발명의 실시 형태는 외부 인체 표면(예를 들면 안면, 손, 발 등)의 3-D 형상을 생성하기 위해 사용될 수 있다. 본 발명의 실시 형태는 또한 내부 인체 표면(예를 들면 심방, 폐, 십이지장 등)의 3-D 형상을 생성하기 위해 사용될 수 있다.
도 4a 내지 4c는 본 발명의 실시 형태에 따른 내시경의 변형을 나타낸다. 도 4a에 의하면 내시경(400)은 인체 내부 기관/캐비티의 내측면을 검사하는 데 사용되는 것으로 기관/캐비티의 전-영역, 3-D 형상을 생성시킬 수 있다. 내시경(400)은 카테터 부위(401), 모서리 말단(402), 카메라(404)(도 1의 카메라 110과 유사), 방사 원(403)(도 1의 방사 원 112와 유사)으로 구성되어있다. 카메라(404)와 방사 원(403)은 카테터 부위(401)의 한쪽 말단에 연결되어 있으며 모서리 말단(402)은 다른 카테터 부위(401)의 또 다른 말단과 연결되어 있다. 또 다른 실시 형태에서 카메라(404)와 방사 원(403)은 모두 카테터 부위(401)의 반대편 모서리 말단(402)에 위치할 수도 있다. 또한 카메라(404)와 방사 원(403)은 모두 모서리 말단(402)인 카테터 부위(401)의 특정 말단에 위치할 수도 있고, 카메라(404)와 방사 원(403)은 모두 카테터 부위(401)의 반대편 말단에 위치할 수도 있다.
카테터 부위(401)는 유연한 축으로 되어 있고 환자 인체를 검사하기에 적합한 다수의 채널(나타내지 않음)을 포함할 수 있다. 카테터 부위(401) 내의 채널은 카테터(401) 내의 한쪽 말단으로부터 다른 쪽 말단으로 카메라(404)/ 방사 원(403)과 모서리 말단(402)(아래에서 더욱 상세히 설명함)간의 데이터의 전송을 허용한다. 채널은 내과 의사에게 모서리 말단(402)에서 캡쳐 한 이미지의 전송과 같은 원격 조작을 허용하고 모서리 말단(402)에 방사 원(403)에 의해 생성된 전자기파를 공급하고, 공기/물 경로(407)와 흡입 경로(408)를 사용하여 모서리 말단(402)으로부터 파편 부스러기를 세척 제거하기 위한 용수를 제공하고, 인스트루먼트 경로(409)를 통해 환자에게 의료 기구를 도입하는 행위를 제공한다.
본 발명의 실시 형태에 따른 내시경의 조작은 도 4a와 도 4b를 참조하여 다음과 같이 설명한다. 도 4b는 본 발명의 실시 형태에 따른 내시경(400)의 카테터 부위(401)의 상세한 형상을 도시 한 것이다. 카테터 부위(401)는 모서리 말단(402)과 광 섬유 번들(411)을 포함할 수 있다. 모서리 말단(402)은 광 프로젝션(412) 및 광 이미징(413)을 지닌 모서리 팁(410)을 포함할 수 있다. 광 프로젝션(412) 및 광 이미징(413)은 내시경(400)으로부터의 방사에 필요한 렌즈를 각각 포함할 수 있다. 렌즈는 방사를 위해 사용할 수 있고, 예를 들면 광학 렌즈, 파라볼라 반사기 또는 안테나를 포함할 수 있다. 광 섬유 번들(411)은 방사 원(403)과 광 프로젝션(412)을 연결시켜 방사 원(403)으로부터 광 프로젝션(412)까지의 전자기의 방사 전달을 용이하게 한다. 광 섬유 번들(411)은 또한 카메라(404)와 광 이미징(413)을 연결시켜 광 이미징(413)에 의해 캡쳐된 이미지 데이터를 카메라(404)에 용이하게 전송시킬 수 있다.
내시경(400)은 인체 내부 기관과 캐비티를 도 1 내지 도 3을 통해 전술 한 바와 같은 SSM 기법을 사용하여 전-영역, 3-D 형태 이미지를 생성시킬 수 있다. 조작을 위해 모서리 말단(402)과 카테터 축(401)을 환자에게 삽입시켜 검사하려는 환자의 인체 부위 표면으로 도입된다. 모서리 말단(402)이 적절하게 위치되면 방사 원(403)은 광 섬유 번들(411)을 통해 광 프로젝션(412)에 스페이스 패턴으로 전자기 방사를 전송시킨다. 도 1 내지 도 3을 통해 전술 한 바와 같이 전자기 방사의 주파수는 방사를 전달하는 매질(모서리 팁(410)과 목적 표면 사이의 영역)에 따라 변동 될 수 있다. 전자기 방사 패턴은 방사 원(403)과 카테터 부위(401)의 광 섬유 번들(411) 사이에 원하는 방사 패턴을 놓이게 하여 검사를 요하는 표면 부위에 슬라이드 또는 격자 형상(나타내지 않음)의 패턴을 투사시킬 수 있다. 전자기 방사 패턴은 광 섬유 번들(411)을 통해 전달되고 모서리 팁(410) 내의 광 프로젝션(412)을 통해 배출되어 목적 표면 위에 투사되는 것이다.
스페이스 방사 시그널은 목적 표면으로부터 모서리 팁(410)으로 되돌려 반사되어 광 이미징(413)을 통해 반사된 시그널을 캡쳐할 수 있다(이는 표면과의 상호작용에 의해 모듈화된다). 캡쳐된 반사 이미지는 광 이미징(413)으로부터 카메라(404)에 광 섬유 번들(411)을 통해 전송되고 연이어 제어 시스템(나타 내지 않음 그러나 도 1의 제어 시스템(106)과 유사함)으로 전송된다. 제어 시스템은 3-D 형태의 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다.
더욱이 내시경(400)은 환자의 인체 내의 긴 경로(예를 들면 위장관 경로)의 전-영역 표면 맵을 주어진 경로를 따라 내시경(400)을 이동시키면서 작성하는데 사용될 수 있다. 내시경(400)이 주어진 경로를 따라 이동하면서 연속적인 전-영역 표면 맵이 카메라(404)에 의해 캡쳐된 각각의 비디오 프레임을 수집하여 3-D 데이터로 연결시켜 생성될 수 있다.3-D 데이터는 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어 결합을 수행할 수 있는 공지의 알고리즘을 사용하여 서로 연결시킬 수 있다. 이와 같은 방법으로 기구를 이동시켜 캐비티의 정밀한 3-D 모형을 일정하게 디지털화시켜 전개하고 기록할 수 있다. 따라서 본 발명의 실시 형태는 연속적 실시간으로 환자의 위장관 경로 내측의 3-D 형상을 제공할 수 있는 것이다. 이와 같은 방법으로 정적인 내시경을 통해 캡쳐할 수 없었던 디른 기관의 내부를 캡쳐 하는 데 사용될 수 있다.
도 4c는 본 발명에 따른 모서리 말단(421)과 전기 및 데이터 연결관(425)를 지닌 카테터 부위(420)의 또 다른 형상을 나타낸 것이다. 모서리 말단(421)은 광 이미징(424)과 함께 모서리 팁(422)(도 4b의 광 이미징(413)과 유사) 및 전자기 방사 발광기(423)를 포함할 수 있다. 전자기 방사 발광기(423)는 모서리 팁(422) 위에 몰드화 되어 있고 스페이스 방사 시그널(도 1 내지 도 4b에 관련하여 상기에 설명한 시그널과 유사)을 투사시킬 수 있다. 발광기(423)는 램프, 패턴 슬라이드, 렌즈(나타내지 않음 그러나 하기 도 5에서 설명함)를 포함할 수 있고 전원이 전기 및 데이터 연결관(425)을 통해 공급될 때 목적 표면 위에 스페이스 패턴을 투사시킬 수 있다. 따라서 외부 전자기 방사 원(도 4의 방사 원(403)과 유사함)이 필요없으며 발광기(423)는 국소적으로 방사 패턴을 생성할 수 있고 목적 표면 위에 투사시킬 수 있는 것이다.
카테터 부위(420)는 단독이거나 내시경 기기(도a의 내시경(400)과 유사하나 방사 원(403)을 지니지 않음)의 작동 루멘과 합체하여 또는 경유하여 사용할 수 있고 상기한 SSM 기법을 사용할 수도 있다. 작동하는 동안에 발광기(423)는 전기 및 데이터 연결관(425)을 통해 전원을 수령하고 스페이스 시그널 모듈레이션 알고리즘에 따른 전자기 방사 패턴을 목적 표면으로 투사시킬 수 있다. 전술 한 바와 같이 스페이스 패턴을 투사하기 위해 사용되는 전자기 방사의 주파수는 방사를 전달하는 매질에 따라 변동될 수 있다.
스페이스 방사 시그널은 목적 표면으로부터 모서리 팁(422)으로 되돌려 반사되어 광 이미징(424)을 통해 반사된 시그널을 캡쳐할 수 있다(이는 표면과의 상호작용에 의해 모듈화된다). 캡쳐된 반사 이미지는 광 이미징(424)으로부터 카메라(나타내지 않음 그러나 도 4a의 카메라(404)와 유사함)에 전기 및 데이터 연결관(425)을 통해 전송되고 연이어 제어 시스템(나타 내지 않음 그러나 도 1의 제어 시스템(106)과 유사함)으로 전송된다. 제어 시스템은 3-D 형태의 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다.
카테터 부위(420)와 모서리 말단(421)을 내시경 기기에 통합시킨 본 발명의 실시 형태는 환자의 인체 내의 긴 경로(예를 들면 위장관 경로)의 전-영역 표면 맵을 주어진 경로(도 4a 및 도 4b에 설명된 실시형태와 유사)를 따라 내시경을 이동시키면서 작성하는데 사용될 수 있다. 내시경이 주어진 경로를 따라 이동하면서 연속적인 전-영역 표면 맵이 카메라에 의해 캡쳐된 각각의 비디오 프레임을 수집하여 3-D 데이터로 연결시켜 생성될 수 있다.
도 5는 본 발명의 실시 형태에 따라 도 4c에 나타낸 내시경 기기와 통합시킨 모서리 말단(500)의 상세한 단면도를 도시 한 것이다. 모서리 말단(500)은 램프(501),패턴 슬라이드(502), 발광 렌즈(503), 이미지 센서(504) 및 이미지 렌즈(505)를 포함할 수 있다.
램프(501), 패턴 슬라이드(502) 및 발광 렌즈(503)는 스페이스 시그널 모듈레이션 알고리즘에 따른 목적 표면에 패턴을 투사시킬 수 있는 전자기 방사 발광기(특별히 표지하지 않았으나 도 4c의 발광기와 유사함)를 형성할 수 있다. 전술 한 바와 같이 스페이스 패턴을 투사하기 위해 사용되는 전자기 방사의 주파수는 방사를 전달하는 매질에 따라 변동될 수 있다. 작동하는 동안에 램프(501)는 전기 및 데이터 연결관(506)을 통해 전원(나타 내지 않음)을 수령하고 목적 표면으로 패턴 슬라이드(502)와 발광 렌즈(503)를 통해 전자기 방사를 투사시킬 수 있다.
스페이스 방사 시그널은 목적 표면으로부터 이미지 렌즈(505)를 통해 모서리 말단(500)으로 되돌려 반사되어 이미지 센서(504)를 통해 반사된 시그널을 캡쳐할 수 있다(이는 표면과의 상호작용에 의해 모듈화된다). 캡쳐된 반사 이미지는 이미지 센서(504)로부터 데이터 연결관(507)을 통해 제어 시스템(나타내지 않음 그러나 도 1의 제어 시스템(106)과 유사함)으로 전송된다. 제어 시스템은 3-D 형태의 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다.
도 6은 본 발명의 실시 형태에 따른 내시경 캡슐(600)을 도시 한 것이다. 도 6은 캡슐(600)의 단면도(좌측)와 평면도(우측)를 포함한다. 캡슐(600)은 작은 비타민 필 크기의 캡슐로서 환자가 섭취할 수 있는 것이다. 캡슐(600)은 상기한 SSM 기법을 수행할 수 있으며 종래의 내시경 검사로는 도달하기 어려웠던 인간 소화 기관 표면을 전-영역, 3-D 형태로 생성시킬 수 있다.
캡슐(600)은 이미지 패키지(610), 전자기 방사 패키지(620), 전원 공급 및 전자장치(630),무선 전송기(640) 및 투명 보호 덮개(650)를 포함할 수 있다. 덮개(650)는 캡슐(600) 내에 기기를 보호할 수 있는 외곽 쉘 일 수 있으며 캡슐은 환자의 소화 트랙을 통해 흘러내린다. 이미지 패키지(610)는 광 이미징(612)(예를 들면 렌즈)과 이미지 센서(614)를 포함할 수 있다.
캡슐(600)은 상기한 실시 형태와 유사한 방식으로 작동될 수 있다. 그러나 캡슐(600)은 예를 들면 배터리를 포함하는 전원 공급 및 전자장치(630)를 통해 국소적으로 구동된다.더욱이 캡슐(600)은 캡쳐된 이미지 데이터를 무선 전송기(640)를 통해 환자 신체 외부에 위치한 이미지 처리 모듈(나타내지 않음 그러나 도 1의 제어 시스템(106)과 유사)로 전송시킨다. 안테나 모듈(나타내지 않음)을 환자의 피부에 배치시켜 캡슐로부터 이미지 처리 모듈에 데이터 전송을 용이하게 한다.
작동하는 동안 환자는 캡슐(600)을 섭취하고 측정을 위해 환자의 소화기 트랙을 통해 전달시킨다. 캡슐(600)이 환자의 소화기 트랙을 통과하는 동안에 전자기 방사 패키지(620)(도 4c의 전자기 방사 발광기(423)와 같은 발광기를 포함한다)는 전원 공급 및 전자장치(630)에 의해 구동되고 그 경로 내에서 표면 위에 스페이스 전자기 방사 패턴을 투사시킨다. 전술 한 바와 같이 스페이스 패턴을 투사하기 위해 사용되는 전자기 방사의 주파수는 방사를 전달하는 매질(예를 들면 투명 가스와 깨끗한 액체의 가시 주파수)에 따라 변동될 수 있다.
스페이스 방사 시그널은 목적 표면으로부터 광 이미징으로 되돌려 반사된다.(시그널은 표면과의 상호작용에 의해 모듈화된다). 이미지 센서(620)에 의해 캡쳐된 반사 이미지는 무선 인터페이스(640)를 통해 캡슐(600)로부터 이미지 처리 모듈(나타내지 않음 도 1의 제어 시스템(106)과 유사)로 전송된다. 이미지 처리 모듈은 3-D 형태의 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다.
캡슐(600)에 의해 캡쳐된 반사 이미지는 캡슐(600)이 운반된 환자의 소화기 트랙의 전-영역 맵을 구축하기 위해 사용될 수 있으며 이미지 센서(614)에 의해 캡쳐된 각각의 비디오 프레임을 수집하여 3-D 형태의 데이터로 연결함으로써 가능하게 된다. 이와 같은 방법으로 기기가 운반된 캐비티의 정확한 3-D 모형이 일정하게 디지털화 되어 전개되고 기록될 수 있다. 캡슐(600)은 비자발적인 연동 운동을 따라 이동되고 선택적으로 전자기의 유도로 이동될 수 있다.
도 7a와 도 7b는 본 발명의 실시 형태에 따른 카테터화 프로브(700)의 형상을 도시한 것이다. 프로브(700)는 정상적 기능으로 정량적 구조 검사를 위한 카테터 절차에 사용될 수 있으며 관상 동맥 내에서 플러그 또는 차단을 감지 측정하기 위하여 사용할 수도 있다. 카테터화 프로브(700)는 카테터 부위(701), 방사 원(702)(도 4a의 방사 원(403)과 유사), 방사 센서(703) 및 모서리 말단(704)으로 구성되어 있다. 방사 원(702)과 방사 센서(703)는 카테터 부위(701)의 한쪽 말단에서 카테터 부위(701)와 연결될 수 있으며 모서리 말단(704)은 카테터 부위(701)의 다른 쪽 말단에서 카테터 부위(701)와 연결될 수 있다. 또 다른 실시 형태에서 방사 원(702)과 방사 센서(703)는 모두 반대쪽 모서리 말단(704)인 카테터 부위(701)의 한 쪽 말단에 위치할 수 있으며 방사 원(702)과 방사 센서(703)는 모두 모서리 말단(704)인 카테터 부위(701)의 말단에 위치할 수 있으며 또한 방사 원(702)과 방사 센서(703)는 카테터 부위(701) 반대쪽 말단에 위치할 수 있다.
카테터 부위(701)는 유연한 축 형상으로 광 섬유 번들(711)과 모서리 말단(704)을 포함할 수 있다. 모서리 말단(704)은 광 프로젝션(712)과 광 이미징(713)을 지닌 모서리 팁(710)을 포함할 수 있다. 광 프로젝션(712)과 광 이미징(713)은 프로브(700)에 의해 사용되는 방사를 위한 렌즈를 각각 포함할 수 있다. 광 섬유 번들(711)은 방사 원(702)과 광 프로젝션(712)을 연결시켜 방사원(702)으로부터 광 프로젝션(712)까지의 전자기의 방사 전달을 용이하게 한다. 광 섬유 번들(711)은 또한 방사 센서(703)와 광 이미징(713)을 연결시켜 광 이미징(713)에 의해 캡쳐된 이미지 데이터를 방사 센서(703)에 용이하게 전송시킬 수 있다.
카테터화 프로브(700)는 도 1 내지 도 6과 관련하여 상술한 SSM 기법을 이용하여 심장 판막, 관상 동맥 또는 모세 혈관과 같은 심혈관 기관을 전-영역, 3-D 형태로 생성시킬 수 있다. 이를 위해 길고 얇으며 유연한 카테터 부위(701)의 축을 혈관에 도입하고 심장 내의 목적 혈관에 진입시킬 수 있다. 프로브(700)는 충분한 비틀림 견고성과 모서리 말단(704)(도 7a에 나타냄)에 편향 부위를 지녀 심혈관 환경내에서 전진할 수 있는 회전력을 용이하게 한다.
모서리 말단(704)이 적절하게 위치되면 방사 원(702)은 광 섬유 번들(711)을 통해 광 프로젝션(712)에 스페이스 패턴으로 전자기 방사를 전송시킨다. 도 1 내지 도 6을 통해 전술 한 바와 같이 전자기 방사의 주파수는 방사를 전달하는 매질(모서리 팁(710)과 목적 표면 사이의 영역)에 따라 변동 될 수 있다. 전자기 방사 패턴은 방사 원(702)과 카테터 부위(701)의 광 섬유 번들(711) 사이에 원하는 방사 패턴을 놓이게 하여 검사를 요하는 표면 부위에 슬라이드 또는 격자 형상(나타내지 않음)의 패턴을 투사시킬 수 있다. 전자기 방사 패턴은 광 섬유 번들(711)을 통해 전달되고 모서리 팁(710) 내의 광 프로젝션(712)을 통해 배출되어 목적 표면 위에 투사되는 것이다.
스페이스 방사 시그널은 목적 표면으로부터 모서리 팁(710)으로 되돌려 반사되어 광 이미징(713)을 통해 반사된 시그널을 캡쳐할 수 있다(이는 표면과의 상호작용에 의해 모듈화된다). 캡쳐된 반사 이미지는 광 이미징(713)으로부터 광 섬유 번들(711)을 통해 방사 센서(703)로 전송되고 연이어 제어 시스템(나타내지 않음 그러나 도 1의 제어 시스템(106)과 유사함)으로 전송된다. 제어 시스템은 3-D 형상 정보를 포함하는 반사된 스페이스 시그널 컨텐트를 분리하기 위하여 다양한 시그널 파라미터를 통해 존재하는 정보를 사용할 수 있다. 형상 정보는 목적 표면의 3-D 형상을 수학적으로 재구성하기 위해 사용할 수 있다.
이와 같은 기법으로 심혈관 캐비티의 전-영역 3-D 형상 표면 맵을 프로브(700)의 모서리 팁(710)에 위치한 측정 패키지(광 프로젝션(712)과 광 이미징(713))에 의해 연속적으로 생성시킬 수 있다. 이러한 컴퓨터 생성 맵을 연구 중인 캐비티의 내측 표면의 실체적 환경 형성을 위해 결합시킨다. 이 정보는 디스플레이 기기 위에 나타내고 조종실에 참석한 관련자 또는 환자로부터 멀리 떨어져 있는 전문가의 진단을 위해 원격 송신될 수 있다. 실시간 트래킹, 진전 기록 및 표면 구조와 같은 3-D 모형 정보를 혈관 내에서 항해 보조를 위해 사용될 수 있다. 혈관 내 또는 심장 내에서 모서리 팁(710)은 관심 부위를 항해하면서 정확하고 직접적인 정량적 3-D 관측을 해부학적 기능으로 제공할 수 있다.
상기한 본 발명의 실시 형태는 정확하고 신속하게 3-D 표면 표시를 생성하기 위한 기기와 방법을 제공한다. 목적 표면에 투사된 전자기의 주파수를 조심스럽게 변화시킴으로써 내과 의사는 종래에는 불투명으로 간주되었던 매질을 관찰할 수 있게 되었다. 이를 통하여 방사되는 매질에 의존하는 특정 주파수의 개조된 발광-센서 패키지는 인체의 내부 및 외부의 3-D 표면의 재생을 가능케 한다.
더욱이 프로브, 내시경, 카테터 또는 캡슐과 같은 의료 기기와 함께 상기한 SSM 기법을 통합하여 종래에는 거의 생성할 수 없었던 정학한 전-영역, 3-D 표면 표시를 내과 의사가 생성할 수 있게 되었다. 생체 내 포토머 데이터의 의료 적용은 셀 수 없이 많다. 위장관, 심혈관 또는 기관지관의 내시경 또는 카테터 기반의 검사를 통한 내부 실시간 3-D 기술은 기형 구조, 협착 또는 성장의 감지에 도움을 줄 것이다. 전술한 본 발명의 실시 형태에 따른 기기와 방법은 실체적 생검에 비해 가치 있는 것이며 다수의 암이 내부 장기의 표면에 유래하기 때문에 암의 조기 진단에 유용한 것이다. 관상 동맥 내의 플라그 상태에 관한 카테터 기반 정량적 3-D 맵핑은 심장 질환 진단 및 스텐트 및 다른 기기의 배치에 관해 더욱 유용하다. 또한 전술한 기법과 기기의 또 다른 다양한 의료용 적용이 가능하다.
당 분야의 통상의 지식을 지닌 자는 상기한 본 발명의 설명으로부터 다양한 형태로의 실행이 가능하고 단독 또는 조합하여 다양한 실시 형태를 실행할 수 있다. 따라서 본 발명의 실시 형태를 특정 실시예에 관련하여 설명한다 하여도 본 발명의 실시 형태와 방법의 진정한 보호 범위는 이에 한정되는 것은 아니다. 또한 본 발명의 명세서 도면 및 청구범위에 관한 연구를 통해 본 발명의 변형이 당업자에게 명백할 것이다.
Claims (27)
1) 표면 위에 인접한 매질을 위해 설정된 주파수에서 스페이스 시그널 모듈레이션 알고리즘에 상응하는 패턴으로 전자기 방사를 투사시키기 위해 설정되고, 전자기 표면 위에 전자기 방사를 투사(project)시키기 위해 설정(configure)된 전자기 방사원;
2) 투사 패턴을 나타내는 이미지 데이터를 캡쳐 할 수 있도록 설정된 이미지 센서;
3) 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 계산하기 위해 설정된 이미지 처리 모듈; 및
4) 전-영역, 3-차원으로 표면을 표시하기 위해 설정된 디스플레이 기기;
를 포함하는 전-영역, 3-차원 이미지 시스템
2) 투사 패턴을 나타내는 이미지 데이터를 캡쳐 할 수 있도록 설정된 이미지 센서;
3) 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 계산하기 위해 설정된 이미지 처리 모듈; 및
4) 전-영역, 3-차원으로 표면을 표시하기 위해 설정된 디스플레이 기기;
를 포함하는 전-영역, 3-차원 이미지 시스템
제 1항에 있어서, 전자기 방사원과 이미지 센서는 내시경에 통합되어 있고 내시경은 유연한 축 부위; 인스트루먼트 포트; 및 이리게이션 모듈을 더욱 포함함을 특징으로 하는 시스템
제 2항에 있어서, 상기 유연한 축 부위는 전자기 방사원과 커플링되고 전자기 방사원으로부터 전자기 방사를 수행 할 수 있도록 설정된 광 섬유 번들을 포함함을 특징으로 하는 시스템
제 2항에 있어서, 상기 유연한 축 부위는 전원을 전자기 방사원으로 전달하기 위해 설정된 하나 이상의 전기 연결관을 포함함을 특징으로 하는 시스템
제 2항에 있어서, 상기 이리게이션 모듈은 액체와 공기를 공급하는 채널;과 액체 또는 공기를 제거하기 위한 흡입 채널을 포함함을 특징으로 하는 시스템
제 1항에 있어서, 전자기 방사원과 이미지 센서는 내시경 캡슐에 통합되어 있고 내시경 캡슐은 안테나 모듈; 안테나 모듈을 사용하여 캡쳐된 이미지 데이터를 이미지 처리 모듈에 전송하기 위해 설정된 무선 라디오 모듈; 및 전원을 공급하기 위한 배터리 모듈을 더욱 포함함을 특징으로 하는 시스템
제 1항에 있어서, 전자기 방사원과 이미지 센서는 유연한 축 부위를 포함하는 카테터에 통합됨을 특징으로 하는 시스템
제 1항에 있어서, 전자기 방사원은 액체 매질 내에서 이미지 센서가 이미지를 캡쳐 할 수 있는 주파수를 사용하여 전자기 방사를 투사 할 수 있도록 설정됨을 특징으로 하는 시스템
제 1항에 있어서, 전자기 방사원은 기체상 매질 내에서 이미지 센서가 이미지를 캡쳐할 수 있는 주파수를 사용하여 전자기 방사를 투사할 수 있도록 설정됨을 특징으로 하는 시스템
1) 표면 위에 인접한 매질을 위해 설정된 주파수에서 스페이스 시그널 모듈레이션 알고리즘에 상응하는 패턴으로 전자기 방사를 투사시키기 위해 설정되고, 전자기 표면 위에 전자기 방사를 투사(project)시키기 위해 설정(configure)된 전자기 방사원;
2) 투사 패턴을 나타내는 이미지 데이터를 캡쳐 할 수 있도록 설정된 이미지 센서; 및
3) 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 계산하기 위해 설정된 이미지 처리 모듈로의 하나 또는 그 이상의 연결관;
을 포함하는 전-영역, 3-차원으로 이미지화하기 위한 장치
2) 투사 패턴을 나타내는 이미지 데이터를 캡쳐 할 수 있도록 설정된 이미지 센서; 및
3) 이미지 센서로부터 이미지 데이터를 캡쳐 수령하고 캡쳐된 이미지 데이터 및 스페이스시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 계산하기 위해 설정된 이미지 처리 모듈로의 하나 또는 그 이상의 연결관;
을 포함하는 전-영역, 3-차원으로 이미지화하기 위한 장치
제 10항에 있어서, 전자기 방사원과 이미지 센서는 내시경에 통합되어 있고 내시경은 유연한 축 부위; 인스트루먼트 포트; 및 이리게이션 모듈을 더욱 포함함을 특징으로 하는 장치
제 11항에 있어서, 상기 유연한 축 부위는 전자기 방사원과 커플링되고 전자기 방사원으로부터 전자기 방사를 수행할 수 있도록 설정된 광섬유 번들을 포함함을 특징으로 하는 장치
제 11항에 있어서, 상기 유연한 축 부위는 전원을 전자기 방사원으로 전달하기 위해 설정된 하나 이상의 전기 연결관을 포함함을 특징으로 하는 장치
제 11항에 있어서, 상기 이리게이션 모듈은 액체와 공기를 공급하는 채널;과 액체 또는 공기를 제거하기 위한 흡입 채널을 포함함을 특징으로 하는 장치
제 10항에 있어서, 전자기 방사원과 이미지 센서는 내시경 캡슐에 통합되어 있고 내시경 캡슐은 안테나 모듈; 안테나 모듈을 사용하여 캡쳐된 이미지 데이터를 이미지 처리 모듈에 전송하기 위해 설정된 무선 라디오 모듈; 및 전원을 공급하기 위한 배터리 모듈을 더욱 포함함을 특징으로 하는 장치
제 10항에 있어서, 전자기 방사원과 이미지 센서는 유연한 축 부위를 포함하는 카테터에 통합됨을 특징으로 하는 시스템
제 10항에 있어서, 전자기 방사원은 액체 매질 내에서 이미지 센서가 이미지를 캡쳐 할 수 있는 주파수를 사용하여 전자기 방사를 투사할 수 있도록 설정됨을 특징으로 하는 장치
제 10항에 있어서, 전자기 방사원은 기체상 매질 내에서 이미지 센서가 이미지를 캡쳐 할 수 있는 주파수를 사용하여 전자기 방사를 투사할 수 있도록 설정됨을 특징으로 하는 장치
1) 표면 위에 인접한 매질을 위해 설정된 주파수에서 스페이스 시그널 모듈레이션 알고리즘에 상응하는 패턴으로 전자기 방사를 투사시키기 위해 설정된 전자기 방사 발광 모듈로부터 표면 위에 전자기 방사원을 투사시키는 단계;
2) 투사 패턴을 나타내는 이미지 데이터를 이미지 센서로 캡쳐하는 단계;
3) 캡쳐된 이미지 데이터를 이미지 처리 모듈에 제공하는 단계;
4) 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 이미지 처리 모듈로 계산하는 단계; 및
5) 전-영역, 3-차원으로 표면을 표시를 디스플레이하는 단계;
를 포함하는 전-영역, 3-차원 이미징 방법
2) 투사 패턴을 나타내는 이미지 데이터를 이미지 센서로 캡쳐하는 단계;
3) 캡쳐된 이미지 데이터를 이미지 처리 모듈에 제공하는 단계;
4) 캡쳐된 이미지 데이터 및 스페이스 시그널 모듈레이션 알고리즘을 이용하여 전-영역, 3-차원으로 표면을 표시할 수 있도록 이미지 처리 모듈로 계산하는 단계; 및
5) 전-영역, 3-차원으로 표면을 표시를 디스플레이하는 단계;
를 포함하는 전-영역, 3-차원 이미징 방법
제 19항에 있어서, 전자기 방사원과 이미지 센서는 내시경에 통합되어 있고 내시경은 유연한 축 부위; 인스트루먼트 포트; 및 이리게이션 모듈을 더욱 포함함을 특징으로 하는 방법
제 20항에 있어서, 상기 유연한 축 부위는 전자기 방사원과 커플링되고 전자기 방사원으로부터 전자기 방사를 수행할 수 있도록 설정된 광섬유 번들을 포함함을 특징으로 하는 방법
제 20항에 있어서, 상기 유연한 축 부위는 전원을 전자기 방사원으로 전달하기 위해 설정된 하나 이상의 전기 연결관을 포함함을 특징으로 하는 방법
제 20항에 있어서, 상기 이리게이션 모듈은 액체와 공기를 공급하는 채널;과 액체 또는 공기를 제거하기 위한 흡입 채널을 포함함을 특징으로 하는 방법
제 19항에 있어서, 전자기 방사원과 이미지 센서는 내시경 캡슐에 통합되어 있고 내시경 캡슐은 안테나 모듈; 안테나 모듈을 사용하여 캡쳐된 이미지 데이터를 이미지 처리 모듈에 전송하기 위해 설정된 무선 라디오 모듈; 및 전원을 공급하기 위한 배터리 모듈을 더욱 포함함을 특징으로 하는 방법
제 19항에 있어서, 전자기 방사원과 이미지 센서는 유연한 축 부위를 포함하는 카테터에 통합됨을 특징으로 하는 방법
제 19항에 있어서, 전자기 방사원은 액체 매질 내에서 이미지 센서가 이미지를 캡쳐 할 수 있는 주파수를 사용하여 전자기 방사를 투사할 수 있도록 설정됨을 특징으로 하는 방법
제 19항에 있어서, 전자기 방사원은 기체상 매질 내에서 이미지 센서가 이미지를 캡쳐 할 수 있는 주파수를 사용하여 전자기 방사를 투사할 수 있도록 설정됨을 특징으로 하는 방법
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/830,477 | 2013-03-14 | ||
US13/830,477 US9456752B2 (en) | 2013-03-14 | 2013-03-14 | Full-field three-dimensional surface measurement |
PCT/US2014/023285 WO2014168705A1 (en) | 2013-03-14 | 2014-03-11 | Full-field three dimensional surface measurement |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150132166A true KR20150132166A (ko) | 2015-11-25 |
Family
ID=51530494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157025272A KR20150132166A (ko) | 2013-03-14 | 2014-03-11 | 전 영역 3차원 표면 측정 |
Country Status (10)
Country | Link |
---|---|
US (3) | US9456752B2 (ko) |
EP (2) | EP3434171B1 (ko) |
JP (1) | JP2016518156A (ko) |
KR (1) | KR20150132166A (ko) |
CN (1) | CN105377109A (ko) |
AU (1) | AU2014251322B2 (ko) |
BR (1) | BR112015022344A2 (ko) |
CA (1) | CA2904861C (ko) |
IL (1) | IL241196A0 (ko) |
WO (1) | WO2014168705A1 (ko) |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11153696B2 (en) | 2017-02-14 | 2021-10-19 | Virtual 3-D Technologies Corp. | Ear canal modeling using pattern projection |
US9456752B2 (en) | 2013-03-14 | 2016-10-04 | Aperture Diagnostics Ltd. | Full-field three-dimensional surface measurement |
US10555788B2 (en) | 2014-03-28 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
US10350009B2 (en) | 2014-03-28 | 2019-07-16 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging and printing of surgical implants |
US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
JP6609616B2 (ja) * | 2014-03-28 | 2019-11-20 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | マルチポートの視点からの手術シーンの定量的な3次元イメージング |
WO2015149040A1 (en) | 2014-03-28 | 2015-10-01 | Dorin Panescu | Quantitative three-dimensional imaging of surgical scenes |
US20160143541A1 (en) * | 2014-11-20 | 2016-05-26 | Bin He | System and Method For Acousto-Electromagnetic Neuroimaging |
CN105662325B (zh) * | 2014-11-24 | 2023-05-16 | 上海安清医疗器械有限公司 | 电子喉镜 |
CN105996961B (zh) * | 2016-04-27 | 2018-05-11 | 安翰光电技术(武汉)有限公司 | 基于结构光的3d立体成像胶囊内窥镜系统及方法 |
EP3668389A4 (en) * | 2017-08-18 | 2021-07-07 | Vena Medical Holdings Corp. | DEVICE AND METHOD FOR IMAGING THE VASCULAR SYSTEM |
JP2021508542A (ja) | 2017-12-27 | 2021-03-11 | エシコン エルエルシーEthicon LLC | 光不足環境におけるハイパースペクトル撮像 |
CN109171616A (zh) * | 2018-08-07 | 2019-01-11 | 重庆金山医疗器械有限公司 | 获得被测物内部3d形状的系统及方法 |
US11312025B2 (en) * | 2019-04-02 | 2022-04-26 | Ford Global Technologies, Llc | Robotic arm with a detachable and mobile end-effector |
US11533417B2 (en) | 2019-06-20 | 2022-12-20 | Cilag Gmbh International | Laser scanning and tool tracking imaging in a light deficient environment |
US11360028B2 (en) | 2019-06-20 | 2022-06-14 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US11986160B2 (en) | 2019-06-20 | 2024-05-21 | Cllag GmbH International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system |
US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
US11172811B2 (en) | 2019-06-20 | 2021-11-16 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
US11700995B2 (en) | 2019-06-20 | 2023-07-18 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
US11147436B2 (en) | 2019-06-20 | 2021-10-19 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
US11716533B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
US11550057B2 (en) | 2019-06-20 | 2023-01-10 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
US11892403B2 (en) | 2019-06-20 | 2024-02-06 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
US20200397239A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
US11288772B2 (en) | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11516387B2 (en) | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US11266304B2 (en) | 2019-06-20 | 2022-03-08 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed hyperspectral imaging system |
US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
US11624830B2 (en) | 2019-06-20 | 2023-04-11 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for laser mapping imaging |
US11471055B2 (en) | 2019-06-20 | 2022-10-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11412152B2 (en) | 2019-06-20 | 2022-08-09 | Cilag Gmbh International | Speckle removal in a pulsed hyperspectral imaging system |
US11412920B2 (en) | 2019-06-20 | 2022-08-16 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
US11758256B2 (en) | 2019-06-20 | 2023-09-12 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
US11931009B2 (en) | 2019-06-20 | 2024-03-19 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral imaging system |
US11617541B2 (en) | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Optical fiber waveguide in an endoscopic system for fluorescence imaging |
US11622094B2 (en) | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
US11012599B2 (en) | 2019-06-20 | 2021-05-18 | Ethicon Llc | Hyperspectral imaging in a light deficient environment |
US20200397277A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system |
US11276148B2 (en) | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
US11671691B2 (en) | 2019-06-20 | 2023-06-06 | Cilag Gmbh International | Image rotation in an endoscopic laser mapping imaging system |
US11898909B2 (en) | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11134832B2 (en) | 2019-06-20 | 2021-10-05 | Cilag Gmbh International | Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system |
US11457154B2 (en) | 2019-06-20 | 2022-09-27 | Cilag Gmbh International | Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US11716543B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
US11432706B2 (en) | 2019-06-20 | 2022-09-06 | Cilag Gmbh International | Hyperspectral imaging with minimal area monolithic image sensor |
US10841504B1 (en) | 2019-06-20 | 2020-11-17 | Ethicon Llc | Fluorescence imaging with minimal area monolithic image sensor |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US11389066B2 (en) | 2019-06-20 | 2022-07-19 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US11924535B2 (en) | 2019-06-20 | 2024-03-05 | Cila GmbH International | Controlling integral energy of a laser pulse in a laser mapping imaging system |
US11096565B2 (en) | 2019-06-20 | 2021-08-24 | Cilag Gmbh International | Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system |
US11516388B2 (en) | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Pulsed illumination in a fluorescence imaging system |
US11937784B2 (en) | 2019-06-20 | 2024-03-26 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
US10952619B2 (en) | 2019-06-20 | 2021-03-23 | Ethicon Llc | Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor |
US11633089B2 (en) | 2019-06-20 | 2023-04-25 | Cilag Gmbh International | Fluorescence imaging with minimal area monolithic image sensor |
US11540696B2 (en) | 2019-06-20 | 2023-01-03 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11903563B2 (en) | 2019-06-20 | 2024-02-20 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
US11674848B2 (en) | 2019-06-20 | 2023-06-13 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for hyperspectral imaging |
US12126887B2 (en) | 2019-06-20 | 2024-10-22 | Cilag Gmbh International | Hyperspectral and fluorescence imaging with topology laser scanning in a light deficient environment |
US20210030594A1 (en) * | 2019-07-29 | 2021-02-04 | Acclarent, Inc. | Protective sheath for ear canal |
CN111184497B (zh) * | 2020-04-08 | 2020-07-17 | 上海安翰医疗技术有限公司 | 胶囊内窥镜控制方法及系统 |
US11187586B2 (en) * | 2020-08-17 | 2021-11-30 | SoCal Dab Tools, LLC | Temperature sensing system |
US11944395B2 (en) | 2020-09-08 | 2024-04-02 | Verb Surgical Inc. | 3D visualization enhancement for depth perception and collision avoidance |
TWI803065B (zh) * | 2021-11-23 | 2023-05-21 | 醫電鼎眾股份有限公司 | 方便組裝的內視鏡鏡頭組合 |
CN115143929A (zh) * | 2022-03-28 | 2022-10-04 | 南京大学 | 一种基于光纤束的内窥测距仪 |
Family Cites Families (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4641972A (en) | 1984-09-14 | 1987-02-10 | New York Institute Of Technology | Method and apparatus for surface profilometry |
US5016173A (en) * | 1989-04-13 | 1991-05-14 | Vanguard Imaging Ltd. | Apparatus and method for monitoring visually accessible surfaces of the body |
US5487012A (en) | 1990-12-21 | 1996-01-23 | Topholm & Westermann Aps | Method of preparing an otoplasty or adaptive earpiece individually matched to the shape of an auditory canal |
US6134003A (en) * | 1991-04-29 | 2000-10-17 | Massachusetts Institute Of Technology | Method and apparatus for performing optical measurements using a fiber optic imaging guidewire, catheter or endoscope |
US5363839A (en) | 1992-09-21 | 1994-11-15 | Jedmed Instrument Company | Video otoscope |
US5587832A (en) | 1993-10-20 | 1996-12-24 | Biophysica Technologies, Inc. | Spatially light modulated confocal microscope and method |
ATE192275T1 (de) | 1993-12-03 | 2000-05-15 | Terumo Corp | Stereoskopisches bildanzeigesystem |
US6579285B2 (en) | 1994-09-09 | 2003-06-17 | Cardiofocus, Inc. | Photoablation with infrared radiation |
US5581352A (en) | 1994-09-22 | 1996-12-03 | Zeien; Robert | Phase shifting device with selectively activated grating generator |
US5615003A (en) * | 1994-11-29 | 1997-03-25 | Hermary; Alexander T. | Electromagnetic profile scanner |
US7734061B2 (en) | 1995-06-07 | 2010-06-08 | Automotive Technologies International, Inc. | Optical occupant sensing techniques |
US6475138B1 (en) | 1995-07-12 | 2002-11-05 | Laser Industries Ltd. | Apparatus and method as preparation for performing a myringotomy in a child's ear without the need for anaesthesia |
JPH0961132A (ja) | 1995-08-28 | 1997-03-07 | Olympus Optical Co Ltd | 3次元形状計測装置 |
US5847832A (en) * | 1996-03-15 | 1998-12-08 | Hughes Aircraft Company | Moire topographic measurement |
US6026173A (en) | 1997-07-05 | 2000-02-15 | Svenson; Robert H. | Electromagnetic imaging and therapeutic (EMIT) systems |
US5984861A (en) | 1997-09-29 | 1999-11-16 | Boston Scientific Corporation | Endofluorescence imaging module for an endoscope |
US5924976A (en) * | 1997-08-21 | 1999-07-20 | Stelzer; Paul | Minimally invasive surgery device |
US7492398B1 (en) | 1998-09-29 | 2009-02-17 | Minolta Co., Ltd | Three-dimensional input apparatus and image sensing control method |
US6178346B1 (en) | 1998-10-23 | 2001-01-23 | David C. Amundson | Infrared endoscopic imaging in a liquid with suspended particles: method and apparatus |
US6084712A (en) * | 1998-11-03 | 2000-07-04 | Dynamic Measurement And Inspection,Llc | Three dimensional imaging using a refractive optic design |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US8900219B2 (en) | 1999-07-14 | 2014-12-02 | Cardiofocus, Inc. | System and method for visualizing tissue during ablation procedures |
IL135571A0 (en) | 2000-04-10 | 2001-05-20 | Doron Adler | Minimal invasive surgery imaging system |
US7625335B2 (en) | 2000-08-25 | 2009-12-01 | 3Shape Aps | Method and apparatus for three-dimensional optical scanning of interior surfaces |
US7616986B2 (en) * | 2001-05-07 | 2009-11-10 | University Of Washington | Optical fiber scanner for performing multimodal optical imaging |
US6695779B2 (en) | 2001-08-16 | 2004-02-24 | Siemens Corporate Research, Inc. | Method and apparatus for spatiotemporal freezing of ultrasound images in augmented reality visualization |
IL153510A0 (en) * | 2001-12-18 | 2003-07-06 | Given Imaging Ltd | Device, system and method for capturing in-vivo images with three-dimensional aspects |
US7385708B2 (en) | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
US6954663B2 (en) * | 2003-01-07 | 2005-10-11 | Art Advanced Research Technologies Inc. | Continuous wave optical imaging assuming a scatter-law |
US7623908B2 (en) | 2003-01-24 | 2009-11-24 | The Board Of Trustees Of The University Of Illinois | Nonlinear interferometric vibrational imaging |
US7153299B1 (en) * | 2003-02-24 | 2006-12-26 | Maxwell Sensors Inc. | Optical apparatus for detecting and treating vulnerable plaque |
US7747067B2 (en) | 2003-10-08 | 2010-06-29 | Purdue Research Foundation | System and method for three dimensional modeling |
US20050088435A1 (en) | 2003-10-23 | 2005-04-28 | Z. Jason Geng | Novel 3D ear camera for making custom-fit hearing devices for hearing aids instruments and cell phones |
EP1691666B1 (en) | 2003-12-12 | 2012-05-30 | University of Washington | Catheterscope 3d guidance and interface system |
US7751694B2 (en) | 2004-02-13 | 2010-07-06 | Angstrom, Inc. | Three-dimensional endoscope imaging and display system |
US7742232B2 (en) | 2004-04-12 | 2010-06-22 | Angstrom, Inc. | Three-dimensional imaging system |
US7462175B2 (en) | 2004-04-21 | 2008-12-09 | Acclarent, Inc. | Devices, systems and methods for treating disorders of the ear, nose and throat |
US8050746B2 (en) | 2005-02-02 | 2011-11-01 | Voyage Medical, Inc. | Tissue visualization device and method variations |
US7846107B2 (en) | 2005-05-13 | 2010-12-07 | Boston Scientific Scimed, Inc. | Endoscopic apparatus with integrated multiple biopsy device |
JP2008542758A (ja) * | 2005-05-31 | 2008-11-27 | ザ ジェネラル ホスピタル コーポレイション | スペクトルコード化ヘテロダイン干渉法を画像化に使用可能なシステム、方法、及び装置 |
WO2007084849A1 (en) * | 2006-01-18 | 2007-07-26 | The General Hospital Corporation | System and methods for generating data using one or more endoscopic microscopy techniques |
US20120035434A1 (en) | 2006-04-12 | 2012-02-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Control of a lumen traveling device in a body tube tree |
GB0613576D0 (en) | 2006-07-10 | 2006-08-16 | Leuven K U Res & Dev | Endoscopic vision system |
US20110057930A1 (en) | 2006-07-26 | 2011-03-10 | Inneroptic Technology Inc. | System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy |
WO2008017051A2 (en) | 2006-08-02 | 2008-02-07 | Inneroptic Technology Inc. | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities |
JP2008173397A (ja) * | 2007-01-22 | 2008-07-31 | Olympus Corp | 内視鏡システム |
EP2626029B1 (en) * | 2007-08-14 | 2021-04-28 | Koninklijke Philips N.V. | Robotic instrument systems utilizing optical fiber sensors |
US8235985B2 (en) | 2007-08-31 | 2012-08-07 | Voyage Medical, Inc. | Visualization and ablation system variations |
US8105233B2 (en) | 2007-10-24 | 2012-01-31 | Tarek Ahmed Nabil Abou El Kheir | Endoscopic system and method for therapeutic applications and obtaining 3-dimensional human vision simulated imaging with real dynamic convergence |
US8509879B2 (en) * | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
US20090208143A1 (en) * | 2008-02-19 | 2009-08-20 | University Of Washington | Efficient automated urothelial imaging using an endoscope with tip bending |
US7821649B2 (en) | 2008-03-05 | 2010-10-26 | Ge Inspection Technologies, Lp | Fringe projection system and method for a probe suitable for phase-shift analysis |
US8422030B2 (en) * | 2008-03-05 | 2013-04-16 | General Electric Company | Fringe projection system with intensity modulating by columns of a plurality of grating elements |
US7812968B2 (en) | 2008-03-05 | 2010-10-12 | Ge Inspection Technologies, Lp | Fringe projection system and method for a probe using a coherent fiber bundle |
DE102008015499C5 (de) | 2008-03-25 | 2013-01-10 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts |
CN101264002A (zh) * | 2008-05-06 | 2008-09-17 | 中国科学院上海光学精密机械研究所 | 基于光栅投影的三维内窥测量装置和方法 |
JP2009273655A (ja) * | 2008-05-14 | 2009-11-26 | Fujifilm Corp | 画像処理システム |
US20090296980A1 (en) | 2008-06-02 | 2009-12-03 | Steven Yi | System and Method for Producing a Geometric Model of the Auditory Canal |
US8440952B2 (en) | 2008-11-18 | 2013-05-14 | The Regents Of The University Of California | Methods for optical amplified imaging using a two-dimensional spectral brush |
US8685010B2 (en) | 2008-11-24 | 2014-04-01 | Gradiant Research, Llc | Photothermal treatment of soft tissues |
JP2010179021A (ja) * | 2009-02-09 | 2010-08-19 | Hoya Corp | 医療用内視鏡 |
DE102009025815A1 (de) * | 2009-05-15 | 2010-11-25 | Degudent Gmbh | Messanordnung sowie Verfahren zum dreidimensionalen Messen eines Objektes |
JP4857393B2 (ja) | 2009-06-10 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡装置 |
EP2452228A4 (en) * | 2009-07-10 | 2015-06-03 | Front Street Invest Man Inc As Manager For Front Street Diversified Income Class | METHOD AND APPARATUS FOR GENERATING THREE DIMENSIONAL IMAGE INFORMATION USING A SINGLE D IMAGING COURSE |
US7995214B2 (en) | 2009-07-28 | 2011-08-09 | Siemens Medical Instruments Pte. Ltd. | Apparatus and method for recording the shape of an ear section |
GB0915491D0 (en) | 2009-09-04 | 2009-10-07 | Univ Keele | Electromagnetic tomography apparatuses and methods |
CN101716077B (zh) * | 2009-12-03 | 2012-09-12 | 西交利物浦大学 | 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 |
ES2684135T3 (es) * | 2010-03-30 | 2018-10-01 | 3Shape A/S | Escaneo de cavidades con accesibilidad restringida |
US8780182B2 (en) | 2010-03-31 | 2014-07-15 | Raytheon Company | Imaging system and method using partial-coherence speckle interference tomography |
US8930145B2 (en) | 2010-07-28 | 2015-01-06 | Covidien Lp | Light focusing continuous wave photoacoustic spectroscopy and its applications to patient monitoring |
US8876707B2 (en) | 2010-09-03 | 2014-11-04 | Alexander Wellen | Hand-held ear vacuum with camera and video display |
DE102010050227A1 (de) * | 2010-11-04 | 2012-05-10 | Siemens Aktiengesellschaft | Endoskop mit 3D-Funktionalität |
US8447099B2 (en) | 2011-01-11 | 2013-05-21 | Eastman Kodak Company | Forming 3D models using two images |
WO2012115983A1 (en) * | 2011-02-21 | 2012-08-30 | Parmar Jaywant Philip | Optical endoluminal far-field microscopic imaging catheter |
KR101223283B1 (ko) | 2011-03-08 | 2013-01-21 | 경북대학교 산학협력단 | 진단 및 디스플레이 일체형 광 단층 촬영 검이경 |
EP2527784A1 (de) | 2011-05-19 | 2012-11-28 | Hexagon Technology Center GmbH | Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche |
US9254103B2 (en) * | 2011-08-15 | 2016-02-09 | The Trustees Of Dartmouth College | Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view |
US8900125B2 (en) | 2012-03-12 | 2014-12-02 | United Sciences, Llc | Otoscanning with 3D modeling |
CN104160241B (zh) * | 2012-03-14 | 2017-06-30 | 独立行政法人产业技术总合研究所 | 利用高维亮度信息的条纹图像的相位分布分析方法、装置及其程序 |
CN202714941U (zh) * | 2012-07-27 | 2013-02-06 | 艾博莱特(苏州)科技有限公司 | 一种新型光学三维图像成像装置 |
DE102012223691A1 (de) | 2012-12-19 | 2014-06-26 | Heine Optotechnik Gmbh & Co Kg | Otoskop mit abwerfbarem Ohrtrichter |
US9398287B2 (en) | 2013-02-28 | 2016-07-19 | Google Technology Holdings LLC | Context-based depth sensor control |
US9456752B2 (en) * | 2013-03-14 | 2016-10-04 | Aperture Diagnostics Ltd. | Full-field three-dimensional surface measurement |
US20140375784A1 (en) | 2013-06-21 | 2014-12-25 | Omnivision Technologies, Inc. | Image Sensor With Integrated Orientation Indicator |
US9867528B1 (en) | 2013-08-26 | 2018-01-16 | The Board Of Trustees Of The University Of Illinois | Quantitative pneumatic otoscopy using coherent light ranging techniques |
US20150098636A1 (en) | 2013-10-09 | 2015-04-09 | United Sciences, Llc | Integrated tracking with fiducial-based modeling |
US20150097968A1 (en) | 2013-10-09 | 2015-04-09 | United Sciences, Llc. | Integrated calibration cradle |
US9326668B1 (en) | 2014-08-15 | 2016-05-03 | Wisconsin Alumni Research Foundation | Otoscope providing improved ear canal access |
US11298013B2 (en) | 2014-12-31 | 2022-04-12 | Tyto Care Ltd. | Apparatus and methods for performing body imaging |
US10966614B2 (en) * | 2015-01-18 | 2021-04-06 | Dentlytec G.P.L. Ltd. | Intraoral scanner |
US20160374546A1 (en) | 2015-06-25 | 2016-12-29 | Wisconsin Alumni Research Foundation | Otoscope Providing Multi-Directional Illumination |
US11576567B2 (en) | 2015-06-25 | 2023-02-14 | Wisconsin Alumni Research Foundation | Otoscope providing low obstruction electronic display |
US9986915B2 (en) | 2015-07-30 | 2018-06-05 | Massachusetts Institute Of Technology | Systems and methods for a short wave infrared device |
JP2017034656A (ja) | 2015-08-04 | 2017-02-09 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置、医療用画像取得システム及び内視鏡装置 |
WO2017049000A1 (en) | 2015-09-15 | 2017-03-23 | Massachusetts Institute Of Technology | Systems and methods for diagnosis of middle ear conditions and detection of analytes in the tympanic membrane |
US10306381B2 (en) | 2015-12-30 | 2019-05-28 | Earlens Corporation | Charging protocol for rechargable hearing systems |
KR102531976B1 (ko) | 2016-02-05 | 2023-05-12 | 삼성전자주식회사 | 전자장치, 휴대단말기 및 그 제어방법 |
US10401141B2 (en) | 2016-12-01 | 2019-09-03 | The Board Of Trustees Of The University Of Illinois | Method and apparatus for obtaining a three-dimensional map of tympanic membrane thickness |
WO2018113885A1 (en) * | 2016-12-20 | 2018-06-28 | 3Dintegrated Aps | A 3 d sensor system comprising an optical transmitter device, a detector and a computer system |
US10561309B2 (en) | 2016-12-21 | 2020-02-18 | Massachusetts Institute Of Technology | Methods and apparatus for imaging and 3D shape reconstruction |
-
2013
- 2013-03-14 US US13/830,477 patent/US9456752B2/en active Active
-
2014
- 2014-03-11 AU AU2014251322A patent/AU2014251322B2/en active Active
- 2014-03-11 EP EP18188384.4A patent/EP3434171B1/en active Active
- 2014-03-11 EP EP14783280.2A patent/EP2967289B1/en active Active
- 2014-03-11 BR BR112015022344A patent/BR112015022344A2/pt not_active IP Right Cessation
- 2014-03-11 WO PCT/US2014/023285 patent/WO2014168705A1/en active Application Filing
- 2014-03-11 KR KR1020157025272A patent/KR20150132166A/ko not_active Application Discontinuation
- 2014-03-11 CA CA2904861A patent/CA2904861C/en active Active
- 2014-03-11 JP JP2016501194A patent/JP2016518156A/ja active Pending
- 2014-03-11 CN CN201480026823.XA patent/CN105377109A/zh active Pending
-
2015
- 2015-09-06 IL IL241196A patent/IL241196A0/en unknown
-
2016
- 2016-08-31 US US15/252,685 patent/US10575719B2/en active Active
-
2020
- 2020-02-27 US US16/803,299 patent/US11503991B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160367123A1 (en) | 2016-12-22 |
US9456752B2 (en) | 2016-10-04 |
AU2014251322A1 (en) | 2015-09-24 |
EP3434171A1 (en) | 2019-01-30 |
EP3434171B1 (en) | 2021-05-19 |
BR112015022344A2 (pt) | 2017-07-18 |
CA2904861C (en) | 2021-08-10 |
EP2967289A1 (en) | 2016-01-20 |
CA2904861A1 (en) | 2014-10-16 |
CN105377109A (zh) | 2016-03-02 |
JP2016518156A (ja) | 2016-06-23 |
EP2967289A4 (en) | 2016-11-30 |
AU2014251322B2 (en) | 2018-08-16 |
US20140276093A1 (en) | 2014-09-18 |
WO2014168705A1 (en) | 2014-10-16 |
IL241196A0 (en) | 2015-11-30 |
US20200187764A1 (en) | 2020-06-18 |
EP2967289B1 (en) | 2018-11-14 |
US10575719B2 (en) | 2020-03-03 |
US11503991B2 (en) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10575719B2 (en) | Full-field three-dimensional surface measurement | |
US11617492B2 (en) | Medical three-dimensional (3D) scanning and mapping system | |
US11529197B2 (en) | Device and method for tracking the position of an endoscope within a patient's body | |
KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
US7343036B2 (en) | Imaging method for a capsule-type endoscope unit | |
US20160073854A1 (en) | Systems and methods using spatial sensor data in full-field three-dimensional surface measurement | |
US8155728B2 (en) | Medical system, method, and storage medium concerning a natural orifice transluminal medical procedure | |
JP4733243B2 (ja) | 生検支援システム | |
CN109938682B (zh) | 3d全景医用内窥镜系统 | |
JP7049325B2 (ja) | 体外画像における器具に関連する画像オブジェクトの可視化 | |
US20100030022A1 (en) | Method and system with encapsulated imaging and therapy devices, coupled with an extracorporeal imaging device | |
JP4334839B2 (ja) | 内視鏡観測装置 | |
CN102008283B (zh) | 具有彩色多普勒超声扫描功能的电子支气管镜系统 | |
Shen | Framework for ultrasonography-based augmented reality in robotic surgery: application to transoral surgery and gastrointestinal surgery | |
CN114795472B (zh) | 用于在患者体内跟踪内窥镜的位置的装置和方法 | |
Yoshida et al. | Navigation 37 Ureteroscopy | |
JP2022132940A (ja) | 内視鏡及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |