KR102478842B1 - 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템 - Google Patents

휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템 Download PDF

Info

Publication number
KR102478842B1
KR102478842B1 KR1020200131843A KR20200131843A KR102478842B1 KR 102478842 B1 KR102478842 B1 KR 102478842B1 KR 1020200131843 A KR1020200131843 A KR 1020200131843A KR 20200131843 A KR20200131843 A KR 20200131843A KR 102478842 B1 KR102478842 B1 KR 102478842B1
Authority
KR
South Korea
Prior art keywords
image
light
portable
pattern
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200131843A
Other languages
English (en)
Other versions
KR20220048676A (ko
Inventor
전문영
류승열
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to KR1020200131843A priority Critical patent/KR102478842B1/ko
Priority to JP2023522556A priority patent/JP7646827B2/ja
Priority to CN202180069857.7A priority patent/CN116348060A/zh
Priority to PCT/KR2021/014106 priority patent/WO2022080853A1/ko
Priority to US18/248,856 priority patent/US12318188B2/en
Priority to EP21880500.0A priority patent/EP4230170A4/en
Publication of KR20220048676A publication Critical patent/KR20220048676A/ko
Application granted granted Critical
Publication of KR102478842B1 publication Critical patent/KR102478842B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 개시의 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치는 패턴광을 출력하도록 구성된 광원, 상기 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신하여 상기 대상체의 라이트 필드 이미지를 생성하도록 구성된 카메라 및 상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 상기 패턴광을 반사시키고, 상기 대상체로부터 반사된 상기 반사광이 상기 카메라에 도달하도록 상기 반사광을 투과시키는 광경로 제어 요소를 포함할 수 있다. 상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩할 수 있다.

Description

휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템 {PORTABLE 3 DIMENSIONAL IMAGE MEASURING DEVICE, 3 DIMENSIONAL IMAGE MEASURING METHOD USING SAME, AND MEDICAL IMAGE MATCHING SYSTEM}
본 개시는 휴대용 3차원 영상 측정 장치에 관한 것이다. 상세하게는 휴대성을 갖는 3차원 영상 측정 장치를 제공하여, 측정하고자 하는 대상체에 대한 정밀한 3차원 측정을 수행하는 방법에 관한 것이다. 또한, 휴대용 3차원 영상 측정 장치를 포함하는 의료 영상 정합 시스템에 관한 것이다.
본 개시는 WC300 프로젝트 기술개발지원의 일환으로 수행한 연구로부터 도출된 것이다. [과제고유번호: S2482672, 연구과제명: 정합정밀도 1mm 이하 수술용 내비게이션 융합 두경부 수술로봇 시스템 개발]
대상체의 3차원 영상을 측정하기 위한 다양한 방법이 산업 현장에서 활용되고 있는데, 그 가운데에는 대상체에 일정한 패턴광을 조사하여 발생하는 패턴을 측정하고, 이로부터 대상체의 3차원 영상을 획득하는 방법이 활용되고 있다. 예를 들어, 대상체에 패턴광을 조사하여 발생하는 모아레 무늬를 측정하고 이로부터 대상체의 3차원 영상을 획득하는 모아레 방식의 3차원 영상 측정 기술이 있다.
최근 수술용 내비게이션(surgical navigation) 기술이 의사의 외과 수술을 지원하기 위해서 활용되고 있는데, 일반적인 수술용 내비게이션 기술은 수술용 도구 상에 마커(marker)를 배치하고, 환자의 의료 이미지(예: CT 이미지, MRI 이미지) 위에 수술용 도구의 위치 및 자세 정보를 표시하는 형태로 정보를 제공한다. 상기 수술용 내비게이션 시스템에서는 환자의 특정 환부에 대한 3차원 영상 정보를 획득 및 처리할 필요가 있으므로, 3차원 영상을 측정하는 기술이 활용될 수 있다.
스테레오(stereo) 카메라를 사용하는 3차원 영상 측정 장치의 경우, 고정 패턴을 이용한 삼각 측량 방식을 통해 대상체에 대한 3차원 영상을 측정할 수 있다. 삼각 측량 방식은 다른 위치에서 촬영된 2 이상의 영상을 이용하여 대상체에 대한 3차원 영상을 측정하는 방법이다. 예를 들어, 대상체에 패턴광을 조사하고, 다른 위치에 배치된 2 이상의 카메라를 이용하여 패턴광이 조사된 대상체에 대한 이미지들을 획득하고, 획득한 이미지들을 이용하여 대상체에 대한 3차원 영상을 획득할 수 있다. 상기의 3차원 영상 측정 장치의 경우, 삼각 측량 방식을 사용하기 위하여 2 이상의 카메라를 포함해야한다. 상기의 3차원 영상 측정 장치의 경우, 2 이상의 카메라와 다른 위치에서 패턴광을 조사하는 광원을 포함해야한다.
공초점(chromatic confocal) 센서를 사용하는 3차원 영상 측정 장치의 경우, 렌즈의 색수차를 이용하여 대상체의 심도를 측정하여, 대상체에 대한 3차원 영상을 측정할 수 있다. 공초점 센서를 사용하는 3차원 영상의 경우, 대상체에 대한 3차원 영상을 획득하기 위하여 대상체의 측면에 대한 스캐닝을 수행해야한다.
본 개시의 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치는 패턴광을 출력하도록 구성된 광원, 상기 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신하여 상기 대상체의 라이트 필드 이미지(light field image)를 생성하도록 구성된 카메라 및 상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 상기 패턴광을 반사시키고, 상기 대상체로부터 반사된 상기 반사광이 상기 카메라에 도달하도록 상기 반사광을 투과시키는 광경로 제어 요소를 포함하며, 상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩할 수 있다.
본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템은, 패턴광을 출력하도록 구성된 광원, 상기 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신하여 상기 대상체의 라이트 필드 이미지를 생성하도록 구성된 카메라, 상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 상기 패턴광을 반사시키고, 상기 대상체로부터 반사된 상기 반사광이 상기 카메라에 도달하도록 상기 반사광을 투과시키는 광경로 제어 요소, 통신 회로 및 프로세서를 포함하는 휴대용 3차원 영상 측정 장치; 및 상기 통신 회로와 통신 가능하도록 구성된 외부 전자 장치를 포함하고, 상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩하고, 상기 프로세서는, 상기 카메라를 통해 획득한 상기 대상체의 라이트 필드 이미지를 이용하여, 상기 대상체의 표면에 대한 3차원 이미지를 생성하고, 상기 통신 회로를 통해 상기 대상체의 표면에 대한 3차원 이미지를 상기 외부 전자 장치로 전송하도록 구성될 수 있다.
본 개시의 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치의 3차원 영상 측정 방법은, 광원에 의해 출력된 패턴광을 광경로 제어 요소를 통해 대상체에 조사하는 동작 및 카메라에 의해 상기 패턴광이 상기 대상체로부터 반사되어 생성된 반사광을 상기 광경로 제어 요소를 통해 수신하여, 상기 대상체의 라이트 필드 이미지를 생성하는 동작을 포함할 수 있고, 상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩할 수 있다.
본 개시의 다양한 실시예에 따른 3차원 영상 측정 장치는 라이트 필드 이미지를 생성하는 하나의 카메라를 이용하여 대상체의 라이트 필드 이미지를 생성하고, 대상체의 라이트 필드 이미지를 이용하여 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다. 본 개시의 다양한 실시예에 따른 3차원 영상 측정 장치는, 하나의 카메라만을 이용하여 구현될 수 있으므로, 기존의 2 이상의 카메라를 포함하여 구현되는 스테레오 방식의 3차원 영상 측정 장치에 비해 소형화할 수 있다. 또한, 하나의 카메라만을 이용하여 구현될 수 있으므로, 3차원 영상 측정 장치의 생산 가격을 낮출 수 있고, 무게를 줄여서 휴대성을 높일 수 있다.
본 개시의 다양한 실시예에 따르면, 소형화된 3차원 영상 측정 장치를 이용하여 대상체를 촬영하는 경우, 사용자는 3차원 영상 측정 장치를 이동시키기 용이하며, 3차원 영상 측정 장치의 촬영 자세를 변경하기에 용이할 수 있다. 상기의 경우, 사용자는 3차원 영상 측정 장치를 이용하여 대상체의 다양한 자세(예: 누워 있는 자세, 엎드린 자세)를 촬영할 수 있다.
본 개시의 다양한 실시예에 따른 3차원 영상 측정 장치는 라이트 필드 이미지를 생성하는 카메라를 사용하기 때문에, 한 번의 측정으로도 대상체에 대한 3차원 이미지를 생성할 수 있다.
본 개시의 다양한 실시예에 따른 3차원 영상 측정 장치는 패턴광을 조사하는 광원의 광축과 대상체로부터 반사된 광을 수신하는 카메라의 광축이 일부 구간에서 동축을 형성하므로, 획득되는 대상체의 라이트 필드 이미지 왜곡 현상을 최소화할 수 있고, 장치를 소형화하여 구현할 수 있다. 광원의 광축과 카메라의 광축이 일부 구간에서 동축을 형성하는 경우, 광원에서 조사되는 패턴광의 기울어짐으로 인해 라이트 필드 이미지가 왜곡되는 현상이 발생하지 않을 수 있다.
본 개시의 다양한 실시예에 따른 3차원 영상 측정 장치는 패턴광을 조사하는 광원의 광축과 대상체로부터 반사된 광을 수신하는 카메라의 광축이 일부 구간에서 동축을 형성하므로, 패턴광이 대상체에 균일하게 조사될 수 있으며, 광량의 손실을 최소화할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템을 도시한 블록도이다.
도 2a 및 도 2b는 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치의 단면도이다.
도 3은 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치의 단면도이다.
도 4는 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템의 동작 흐름도이다.
도 5는 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템의 동작 흐름도이다.
도 6은 본 개시의 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치의 동작 흐름도이다.
도 7은 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템이 사용되는 예시를 나타낸 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 카메라의 구조를 설명하기 위한 도면이다.
도 9는 본 개시의 다양한 실시예에 따른 카메라의 렌즈 어레이를 설명하기 위한 도면이다.
도 10은 본 개시의 다양한 실시예에 따른 카메라에 의해 획득된 라이트 필드 이미지에 포함된 복수의 서브 이미지의 피사체 심도가 다르게 형성되는 과정을 도시한 도면이다.
도 11은 본 개시의 다양한 실시예에 따른 서로 다른 피사체 심도를 갖는 복수의 서브 이미지를 포함하는 라이트 필드 이미지를 설명하기 위한 도면이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서(110)들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서(110), 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도시된 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 개시의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 개시에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 개시의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 1은 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템(10)을 도시한 블록도이다.
도 1을 참조하면, 다양한 실시예에 따른 의료 영상 정합 시스템(10)은 휴대용 3차원 영상 측정 장치(100) 및 외부 전자 장치(20)를 포함할 수 있다. 휴대용 3차원 영상 측정 장치(100) 및 외부 전자 장치(20)는 서로 통신 연결되어 다양한 데이터(예: 이미지)를 송수신할 수 있다. 도 1에 도시된 구성 중 일부가 생략 또는 치환 되더라도 본 문서에 개시된 다양한 실시예를 구현함에는 지장이 없을 것이다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 프로세서(110), 광원(120), 카메라(130), 광경로 제어 요소(140), 또는 통신 회로(150)를 포함할 수 있다. 휴대용 3차원 영상 측정 장치(100)는 제1 하우징(미도시) 및 제2 하우징(미도시)을 더 포함할 수 있다.
다양한 실시예에 따른 프로세서(110)는 휴대용 3차원 영상 측정 장치(100)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 프로세서(110)는, 예를 들어, 휴대용 3차원 영상 측정 장치(100)의 구성 요소들과 작동적으로 연결될 수 있다. 프로세서(110)는 휴대용 3차원 영상 측정 장치(100)의 다른 구성 요소로부터 수신된 명령 또는 데이터를 메모리(미도시)에 로드(load)하고, 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다양한 실시예에 따른 광원(120)은 패턴광을 출력할 수 있다. 광원(120)은 대상체에 패턴광을 조사할 수 있다. 패턴광은 대상체에 대한 3차원 이미지를 측정하기 위하여 특정한 무늬를 갖는 광이거나, 일정한 또는 특정 주기의 패턴을 갖는 광일 수 있다. 패턴광은, 예를 들어, 랜덤 도트(random dot) 형태의 패턴광, 체크 무늬 형태의 패턴광, 줄무늬의 밝기가 사인파 형태의 패턴광, 밝은 부분과 어두운 부분이 반복되어 표시되는 온-오프(on-off) 형태의 패턴광 또는 밝기의 변화가 삼각형 파형인 삼각파 패턴광을 포함할 수 있다. 다만, 이는 설명의 목적일 뿐, 패턴광의 형태는 이에 제한되는 것은 아니다.
다양한 실시예에 따른 광원(120)은 복수의 패턴이 형성된 패턴부 및 패턴부에 광을 조사하는 LED를 포함할 수 있다. 광원(120)은 LED로부터 출력된 광을 집광시켜서 패턴부에 조사되도록 구성된 집광 렌즈(condensing lens)를 더 포함할 수 있다. LED로부터 출력된 광은 복수의 패턴이 형성된 패턴부를 통과하여 패턴이 반영될 수 있다. LED는, 예를 들어, 적외선 광을 방출할 수 있으나, 이에 한정되지는 않는다.
다양한 실시예에 따른 카메라(130)는 대상체의 이미지를 촬영하는 구성일 수 있다. 카메라(130)는 대상체를 촬영하여 대상체의 이미지 데이터를 획득할 수 있으며, 상기 획득한 이미지 데이터를 가공하여 대상체의 3차원 이미지를 획득할 수 있다. 예를 들어, 카메라(130)는 패턴광이 조사된 대상체를 촬영하여 대상체의 이미지를 획득할 수 있다. 프로세서(110)는 패턴광을 이용한 위상 천이 방식에 기초하여 대상체의 3차원 이미지를 생성할 수 있다. 예를 들어, 광원(120)을 통해 일정한 형태의 패턴광을 대상체에 조사한 경우, 대상체의 표면 상의 굴곡에 따라 표면 상에 나타나는 빛의 세기가 달라질 수 있다. 상기의 경우, 카메라(130)는 패턴이 반영된 대상체의 라이트 필드 이미지를 생성할 수 있고, 프로세서(110)는 이로부터 위상 데이터를 생성하여 대상체의 표면을 구성하는 각 점들의 높이를 계산함으로써 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다.
다양한 실시예에 따른 카메라(130)는 라이트 필드 이미지(light field image)를 생성하는 라이트 필드 카메라(130)일 수 있다. 라이트 필드 카메라(130)는 대상체를 촬영한 후에 대상체의 심도를 사후적으로 결정하고, 서로 다른 대상체 심도를 갖는 이미지를 조합하도록 구성될 수 있다. 라이트 필드 카메라(130)의 이미지 센서는 사후적이면서 가변적인 대상체 심도를 가질 수 있다.
다양한 실시예에 따른 카메라(130)는 집광 렌즈, 렌즈 어레이(lens array) 및 이미지 센서를 포함할 수 있다. 집광 렌즈는, 예를 들어, 대상체로부터 들어오는 빛을 집광할 수 있다. 렌즈 어레이는, 예를 들어서, 복수의 마이크로 렌즈가 배열된 렌즈일 수 있다. 이미지 센서는, 예를 들어, 렌즈 어레이를 통과한 광을 캡쳐하고, 캡쳐한 광을 이용하여 라이트 필드 이미지를 생성할 수 있다. 이미지 센서는 복수의 마이크로 렌즈 각각에 대응하는 영역들로 구분될 수 있다. 이미지 센서는, 예를 들어, CCD(charge-coupled device) 센서 또는 CMOS(complementary metal-oxide semiconductor) 센서를 포함할 수 있다. 카메라(130)에 포함된 구성 요소 각각에 대한 구체적인 설명은 도 8 내지 도 11에서 서술하기로 한다.
다양한 실시예에 따른 카메라(130)에서 생성하는 라이트 필드 이미지는 빛의 색상 정보와 방향 정보를 함께 저장하는 복수의 서브 이미지를 포함할 수 있다. 예를 들어, 대상체에 패턴광이 조사되고 대상체로부터 반사된 반사광이 카메라(130)에 수신된 경우, 라이트 필드 이미지는 반사광의 색상 정보 및 방향 정보를 포함하는 복수의 서브 이미지가 결합된 이미지일 수 있다. 카메라(130)는 라이트 필드 이미지에 포함된 복수의 서브 이미지를 이용하여 재초점(refocusing) 과정을 진행할 수 있다. 예를 들어, 카메라(130)는 재초점 과정에서 라이트 필드 이미지의 픽셀들 중에서 원하는 대상체의 심도 및 그에 따라 역산되는 광경로 및 방향에 상응하는 픽셀들의 생상 정보를 조합하여 원하는 심도의 이미지를 생성할 수 있다. 예를 들어, 카메라(130)는 재초점 과정에서 대상체의 모든 영역에 대해 초점이 맞는 이미지를 생성할 수도 있다. 카메라(130)에 정확한 촬영 대상 영역의 상이 맺히도록 하기 위해서는 휴대용 3차원 영상 측정 장치(100)와 대상체의 촬영 대상 영역 사이의 거리가 적절히 조절될 필요가 있는데, 라이트 필드 이미지를 생성하는 카메라(130)를 사용하는 경우, 대상체의 심도를 사후적으로 결정할 수 있고, 대상체의 모든 영역에 대해 초점이 맞는 라이트 필드 이미지를 생성할 수 있으므로, 사전에 초점 거리를 조절할 필요가 없다. 라이트 필드 이미지를 생성하는 카메라(130)의 경우, 일반 렌즈를 사용하는 카메라(130)에 비해 측정 가능한 깊이 범위(depth range)가 넓고, 한 번의 촬영으로 대상체의 3차원 이미지를 획득할 수 있다.
다양한 실시예에 따른 광경로 제어 요소(140)는 광원(120)으로부터 출력된 패턴광이 대상체에 조사되도록 패턴광을 특정 방향으로 반사시킬 수 있다. 광경로 제어 요소(140)는 대상체로부터 반사된 반사광이 카메라(130)에 도달하도록 반사광을 투과시킬 수 있다. 광경로 제어 요소(140)는, 예를 들어, 반투과 거울일 수 있다. 다양한 실시예에 따르면, 광원(120) 및 카메라(130)는 광경로 제어 요소(140)를 기준으로 서로 수직한 방향에 배치될 수 있다.
다양한 실시예에 따른 제1 하우징은 내부에 광원(120), 카메라(130) 및 광경로 제어 요소(140)가 배치될 수 있다. 다양한 실시예에 따른 제2 하우징은, 제1 하우징에 결합되고, 광원(120)으로부터 출력된 패턴광이 대상체에 조사되도록 개구가 형성될 수 있다. 제2 하우징은 제1 하우징에 대하여 회전 가능하게 결합될 수 있다. 제1 하우징 또는 제2 하우징은 휴대용 3차원 영상 측정 장치(100)가 사용자로 하여금 이동과 운반 및 사용을 용이하게 하는 구성(예: 손잡이)이 결합될 수 있다.
다양한 실시예에 따르면, 통신 회로(150)는 외부 전자 장치(20)와 통신 채널을 설립하고, 외부 전자 장치(20)와 다양한 데이터를 송수신할 수 있다. 다양한 실시예에 따르면, 통신 회로(150)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(150)는 근거리 통신 모듈을 포함하여 근거리 통신(예: Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 전자 장치(20)와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다.
다양한 실시예에 따른 프로세서(110)는 카메라(130)를 통해 획득한 대상체의 라이트 필드 이미지를 이용하여 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다. 예를 들어, 조사된 패턴광은 대상체의 촬영 영역의 표면 상의 굴곡에 따라 실제 촬영 대상 영역의 표면 상에 나타내는 빛의 세기가 달라질 수 있다. 프로세서(110)는 대상체의 라이트 필드 이미지를 이용하여, 대상체의 표면의 굴곡에 따라 달라진 빛의 세기를 측정하고, 이로부터 위상 데이터를 생성하여 표면을 구성하는 각 점들의 높이를 계산할 수 있다. 프로세서(110)는 대상체의 표면을 구성하는 각 점들의 높이를 계산함으로써, 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다.
다양한 실시예에 따른 프로세서(110)는 통신 회로(150)를 통해 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치(20)로 전송할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는 컨트롤러(21), 결상 장치(23), 스토리지(25) 및 통신 회로(27)를 포함할 수 있다. 다양한 실시예에 따른 컨트롤러(21)는 외부 전자 장치(20)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 컨트롤러(21)는, 예를 들어, 외부 전자 장치(20)의 구성 요소들과 작동적으로 연결될 수 있다.
다양한 실시예에 따른 결상 장치(23)는 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(미도시)의 패턴면의 적어도 일부를 촬상하여 패턴면의 적어도 일부에 대한 패턴 이미지를 결상할 수 있다. 결상 장치(23)는, 예를 들어, 마커의 적어도 일부에 대한 이미지 결상이 가능한 적어도 2 이상의 카메라를 포함할 수 있다. 외부 전자 장치(20)는 결상된 패턴 이미지를 이용하여 마커 또는 마커가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및/또는 자세를 결정할 수 있다.
예를 들어, 외부 전자 장치(20)는 마커의 패턴 이미지가 획득되는 경우, 패턴 이미지로부터 마커의 패턴을 구성하는 기본 단위로서, 서브 패턴들 중 적어도 하나가 추출될 수 있다. 추출된 적어도 하나의 서브 패턴의 전체 패턴 내에서의 위치가 결정되고, 결정된 서브 패턴의 전체 패턴 내의 위치에 기초하여 마커의 자세가 결정될 수 있다. 여기서, 마커의 자세는, 마커의 결상 장치(23)에 대한 상대적인 3차원적 방향 내지 방위를 의미할 수 있다. 예를 들어, 마커 또는 휴대용 3차원 영상 측정 장치(100)의 위치는, 적어도 2 이상의 카메라를 포함하는 결상 장치(23)에 의해 결상된 이미지들 중 스테레오스코픽 관계를 가지는 두 개의 이미지들에 기초한 삼각법(triangulation)을 이용하여 결정될 수 있다. 상기와 같이 마커의 위치 및 자세가 결정되면, 마커와 상기 마커가 부착된 휴대용 3차원 영상 측정 장치(100) 간의 기하학적 관계에 기초하여, 마커가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세가 결정될 수 있다.
다양한 실시예에 따른 스토리지(25)는 외부 전자 장치(20)의 적어도 하나의 구성 요소(예: 컨트롤러(21))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 스토리지(25)는, 컨트롤러(21)에 의해, 휴대용 3차원 영상 측정 장치(100)로부터 수신한 대상체의 표면에 대한 3차원 이미지를 저장할 수 있다. 예를 들어, 스토리지(25)는, 컨트롤러(21)에 의해, 의료 장치(미도시)로부터 수신한 의료 이미지(예: CT이미지, MRI 이미지)를 저장할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)의 통신 회로(27)는 휴대용 3차원 영상 측정 장치(100)와 통신 채널을 설립하고, 휴대용 3차원 영상 측정 장치(100)와 다양한 데이터를 송수신할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(20)의 통신 회로(27)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(20)의 통신 회로(27)는 근거리 통신 모듈을 포함하여 근거리 통신(예: Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 휴대용 3차원 영상 측정 장치(100)와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다.
다양한 실시예에 따른 외부 전자 장치(20)의 컨트롤러(21)는 휴대용 3차원 영상 측정 장치(100)로부터 수신한 대상체의 표면에 대한 3차원 이미지와 대상체에 대한 의료 이미지 간의 영상 정합을 수행할 수 있다. 휴대용 3차원 영상 측정 장치(100)가 생성한 대상체의 표면에 대한 3차원 이미지는, 앞서 의료 이미지에 포함된 타겟의 외부 표면 또는 그 일부일 수 있다. 예를 들어, 의료 이미지가, 대상체의 머리의 3차원 형상을 모델링한 이미지인 경우, 대상체의 표면에 대한 3차원 이미지는 대상체의 머리의 표면에 있는 눈, 코, 입, 귀 등의 외부 형상을 측정한 이미지일 수 있다.
다양한 실시예에 따르면, 대상체의 표면에 대한 3차원 이미지는 휴대용 3차원 영상 측정 장치(100)에 관한 고유 좌표계(예를 들어, x1y1z1 좌표계)를 가질 수 있다. 대상체의 표면에 대한 3차원 이미지의 좌표계는, 의료 이미지의 좌표계(예를 들어, x2y2z2)와 상이할 수 있고, 외부 전자 장치(20)의 좌표계(예를 들어, x0y0z0)와 상이할 수 있다. 외부 전자 장치(20)의 좌표계는, 예를 들어, 외부 전자 장치(20)의 결상 장치의 좌표계를 의미할 수 있다. 구체적인 영상 정합 방법은 이하 도 4에서 설명하기로 한다.
도 2a 및 도 2b는 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)의 단면도이다. 구체적으로 도 2a 및 도 2b는 휴대용 3차원 영상 측정 장치(100)의 구성 요소들을 배치 관계를 설명하기 위하여 일부 구성 요소들만을 개략적으로 도시한 도면이다. 도 1에서 설명한 내용과 중복되는 내용은 생략한다.
도 2a를 참조하면, 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는 광원(120), 카메라(130) 및 광경로 제어 요소(140)를 포함할 수 있다. 휴대용 3차원 영상 측정 장치(100)는 내부에 광원(120), 카메라(130) 및 광경로 제어 요소(140)가 배치되는 제1 하우징(210) 및 제1 하우징(210)에 결합되고 광원(120)으로부터 출력된 패턴광이 대상체(O)에 조사되도록 개구(225)가 형성된 제2 하우징(220)을 포함할 수 있다. 다양한 실시예에 따른 광원(120) 및 카메라(130)는, 광경로 제어 요소(140)를 기준으로 서로 수직한 방향에 배치될 수 있다. 다양한 실시예에 따르면, 광을 집광시키기 위한 적어도 하나의 집광 렌즈(231, 235)가 광경로 제어 요소(140) 주변에 배치될 수 있다.
다양한 실시예에 따른 광원(120)은 복수의 패턴이 형성된 패턴부(123), 패턴부(123)에 광을 조사하는 LED(121)를 포함할 수 있다. 광원(120)은 패턴부(123) 및 LED(121) 사이에, LED(121)로부터 출력된 광을 집광시켜서 패턴부(123)에 조사되도록 구성된 집광 렌즈(125)를 더 포함할 수 있다. LED(121)로부터 출력된 광은 패턴부(123)를 통과하여 패턴이 반영될 수 있다. 다양한 실시예에 따르면, 광원(120)으로부터 출력된 패턴광은 광경로 제어 요소(140)로 입사할 수 있다. 광경로 제어 요소(140)로 입사된 패턴광은 대상체(O)에 조사될 수 있도록 제2 하우징(220) 방향으로 반사될 수 있다. 제2 하우징(220) 내부로 입사한 패턴광은 반사 거울(240)에 의해 반사되어 제2 하우징(220)의 개구(225)를 통해 대상체(O)에 조사될 수 있다.
다양한 실시예에 따르면, 대상체(O)에 조사된 패턴광은 대상체(O)에 의해 반사될 수 있다. 대상체(O)로부터 반사된 반사광은 다시 개구(225)를 통해 제2 하우징(220) 내부로 입사될 수 있다. 상기 반사광은 반사 거울(240)에 의해 반사되어 광경로 제어 요소(140)로 입사할 수 있다. 광경로 제어 요소(140)로 입사된 반사광은 광경로 제어 요소(140)를 통과하여 카메라(130)에 도달할 수 있다. 광경로 제어 요소(140)를 통과한 반사광은 집광 렌즈(137)를 통과하고, 복수의 마이크로 렌즈가 배열된 렌즈 어레이(135)를 통과할 수 있다. 이미지 센서(131)는 렌즈 어레이(135)를 통과한 반사광을 캡쳐할 수 있다. 이미지 센서(131)는 반사광을 캡쳐하여, 대상체(O)의 라이트 필드 이미지를 생성할 수 있다. 상기 대상체(O)의 라이트 필드 이미지는 대상체(O)에 조사된 패턴에 관한 이미지일 수 있다. 프로세서(110)는 대상체(O)의 라이트 필드 이미지를 이용하여 대상체(O)의 표면에 대한 3차원 이미지를 생성할 수 있고, 통신 회로(150)를 통해 대상체(O)의 표면에 대한 3차원 이미지를 외부 전자 장치(20)로 전송할 수 있다.
다양한 실시예에 따르면, 광원(120)으로부터 출력되어 대상체(O)에 조사되는 패턴광의 광경로(250) 및 대상체(O)로부터 반사되어 카메라(130)에 도달되는 반사광의 광경로(260)는, 광경로 제어 요소(140)와 대상체(O) 사이의 구간에서 동축을 이루어 중첩할 수 있다. 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 이루는 경우, 휴대용 3차원 영상 측정 장치(100)의 소형화가 가능하고, 대상체(O)에 대한 정확한 이미지를 획득할 수 있다. 예를 들어, 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 이루지 않는 경우, 패턴광이 비스듬하게 대상체(O)에 조사되거나, 대상체(O)로부터 반사된 반사광이 카메라(130)에 비스듬하게 도달할 수 있다. 비스듬히 조사된 패턴광에 의해 대상체(O)에 형성된 패턴은, 수직으로 조사된 패턴광에 의해 대상체(O)에 형성된 패턴에 비해 왜곡된 형상을 가질 수 있다. 상기의 경우, 대상체(O)에 대한 왜곡된 이미지가 획득될 수 있다. 반면, 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 이루는 경우, 사용자는 3차원 영상 측정 장치(100)를 이용해 대상체(O)에 대한 왜곡되지 않은 정확한 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 휴대용 3차원 영상 측정 장치(100)가 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 이루는 경우, 대상체(O)를 촬영하기 용이해질 수 있다. 소형화된 3차원 영상 측정 장치(100)를 이용하여 대상체(O)를 촬영하는 경우, 사용자는 3차원 영상 측정 장치(100)를 이동시키기 용이하며, 3차원 영상 측정 장치(100)의 촬영 자세를 변경하기에 용이할 수 있다. 상기의 경우, 사용자는 3차원 영상 측정 장치(100)를 이용하여 대상체의 다양한 자세(예: 누워 있는 자세, 엎드린 자세)를 촬영할 수 있다.
다양한 실시예에 따르면, 휴대용 3차원 영상 측정 장치(100)가 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 이루는 경우, 2 이상의 카메라를 이용한 삼각 측량 방식을 통해 대상체에 대한 이미지를 획득하는 것이 아니라, 하나의 카메라(130)를 이용하여 대상체에 대한 이미지를 획득할 수 있으므로, 기존의 2 이상의 카메라를 포함하여 구현되는 스테레오 방식의 3차원 영상 측정 장치에 비해 소형화될 수 있고, 생산 가격을 낮출 수 있으며, 무게를 줄여서 휴대성을 높일 수 있다.
다양한 실시예에 따른 3차원 영상 측정 장치(100)는 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체(O)로부터 반사된 반사광의 광경로(260)가 동축을 형성하므로, 패턴광이 대상체(O)에 균일하게 조사될 수 있으며, 광량의 손실을 최소화할 수 있다.
도 2b를 참조하면, 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는 도 2a에 도시된 별도의 반사 거울(240)을 포함하지 않을 수 있다. 상기의 경우, 광경로 제어 요소(140)으로부터 반사된 패턴광은, 추가적인 반사 없이 상기 패턴광의 광경로(250) 상에 형성된 개구(225)를 통해, 대상체(O)에 조사될 수 있다. 휴대용 3차원 영상 측정 장치(100)는, 도 2a 및 도 2b에 도시된 구조 이외에도, 대상체(O)로 조사되는 패턴광의 광경로(250)와 대상체로부터 반사된 반사광의 광경로(260)가 동축을 이룰 수 있는 다양한 구조가 적용될 수도 있다.
도 3은 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)의 단면도이다. 구체적으로 도 3은 휴대용 3차원 영상 측정 장치(100)의 구성 요소들을 배치 관계를 설명하기 위하여 일부 구성 요소들만을 개략적으로 도시한 도면이다. 도 2에서 설명한 내용과 중복되는 내용은 생략한다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는 마커(310)를 더 포함할 수 있다. 예를 들어, 마커(310)는 휴대용 3차원 영상 측정 장치(100)의 제1 하우징(210)에 부착될 수 있다. 마커(310)는 패턴이 형성된 패턴면 및 마커(310)의 외부에서 바라본 방향에 따라 고유하게 나타나는 패턴의 적어도 일부가 마커(310)의 외부에서 식별될 수 있도록 구성된 렌즈를 포함할 수 있다. 마커(310)의 렌즈는 볼 렌즈(ball lens)일 수 있고, 패턴면은 곡면 형상을 가질 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는 결상 장치(23)를 통해 마커(310)의 패턴면의 적어도 일부를 촬상하여 패턴면의 적어도 일부에 대한 패턴 이미지를 결상할 수 있다. 외부 전자 장치(20)는 결상한 패턴 이미지에 기초하여 마커(310)가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치(location 또는 coordinate) 및 자세(posture 또는 orientation)를 결정할 수 있다. 휴대용 3차원 영상 측정 장치(100)의 위치는, 직교 좌표계의 x, y, z 축 상에서의 좌표와 같은 공간 좌표로 정의될 수 있다. 휴대용 3차원 영상 측정 장치(100)의 자세는 롤(roll), 피치(pitch), 요(yaw)로 정의될 수 있다. 외부 전자 장치(20)는 결상 장치(23)를 통해 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)를 촬상함으로써, 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세를 트래킹(tracking)할 수 있다.
예를 들어, 외부 전자 장치(20)는 결상 장치(23)를 통해, 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)의 패턴면의 적어도 일부에 대한 이미지를 결상할 수 있다. 예를 들어, 외부 전자 장치(20)의 결상 장치(23)는, 마커(310)의 볼렌즈를 통해 마커(310)의 외부에서 시각적으로 식별되는 패턴의 적어도 일부에 대한 패턴 이미지를 결상할 수 있다. 패턴면의 적어도 일부에 대한 패턴 이미지가 획득되면, 외부 전자 장치(20)는 패턴면의 적어도 일부에 대한 패턴 이미지로부터 추출된 정보를 처리하여 마커(310)의 위치 및 자세를 결정할 수 있다. 외부 전자 장치(20)는 마커(310)의 위치 및 자세에 기초하여 마커(310)가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세를 결정할 수 있다. 패턴면의 적어도 일부에 대한 이미지를 이용하여 마커(310)의 위치 및 자세를 계산하는 구체적인 방법은 일반적인 옵티컬 트래킹 방법과 동일할 수 있다.
다양한 실시예에 따른 마커(310)는 휴대용 3차원 영상 측정 장치(100)의 소정 위치로부터 이동 가능하도록 설치될 수 있다. 프로세서(110)는, 통신 회로(150)를 통해, 휴대용 3차원 영상 측정 장치(100)의 상기 소정 위치로부터 마커(310)의 변위를 나타내는 정보를 외부 전자 장치(20)에 전송할 수 있다. 외부 전자 장치(20)는 마커(310)의 변위를 나타내는 정보를 수신하고, 수신한 마커(310)의 변위를 나타내는 정보에 기초하여 휴대용 3차원 영상 측정 장치(100)의 위치 또는 자세를 보정할 수 있다. 보정된 휴대용 3차원 영상 측정 장치(100)의 위치 또는 자세에 관한 정보는 대상체(O)의 표면에 대한 3차원 이미지와 의료 이미지 간의 영상 정합에 사용될 수 있다.
대상체(O)의 표면에 대한 3차원 이미지는 휴대용 3차원 영상 측정 장치(100)에 관한 고유 좌표계(예를 들어, x1y1z1 좌표계)를 가질 수 있다. 대상체(O)의 표면에 대한 3차원 이미지의 좌표계는, 의료 이미지의 좌표계(예를 들어, x2y2z2)와 상이할 수 있고, 외부 전자 장치(20)의 좌표계(예를 들어, x0y0z0)와 상이할 수 있다.
다양한 실시예에 따른 의료 영상 정합 시스템(10)은, 의료 이미지의 좌표계(예를 들어, x2y2z2)와 대상체(O)의 표면에 대한 3차원 이미지의 좌표계(예를 들어, x1y1z1)를 외부 전자 장치(20)의 좌표계(예를 들어, x0y0z0)로 변환 내지 정렬할 수 있다. 외부 전자 장치(20)는 좌표계가 서로 상이한 의료 이미지와 대상체(O)의 표면에 대한 3차원 이미지의 정합을 수행할 수 있다. 의료 이미지와 대상체(O)의 표면에 대한 3차원 이미지의 정합을 수행하기 위하여, 외부 전자 장치(20)는 의료 이미지로부터 표면 이미지를 추출하고, 상기 추출한 표면 이미지와 수신한 대상체(O)의 표면에 대한 3차원 이미지 사이의 정합을 수행할 수 있다. 여기서, 의료 이미지로부터 추출한 표면 이미지는 의료 이미지의 좌표계(예를 들어, x2y2z2)와 동일할 수 있다. 또한 외부 전자 장치(20)는, 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)를 매개로, 대상체(O)의 표면에 대한 3차원 이미지의 좌표계(예를 들어, x1y1z1)를 외부 전자 장치(20)의 좌표계(예를 들어, x0y0z0)로 변환할 수 있다. 또한, 의료 이미지 및 의료 이미지로부터 추출된 표면 이미지도 외부 전자 장치(20)의 좌표계(예를 들어, x0y0z0)로 변환될 수 있다. 외부 전자 장치(20)는 다양한 영상 정합 알고리즘을 이용하여, 대상체(O)의 표면에 대한 3차원 이미지와 의료 이미지 사이의 정합을 수행할 수 있다. 예를 들어, 외부 전자 장치(20)는 ICP(interative closest point) 알고리즘을 이용하여 정합을 수행할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는 베어링(320) 및 센서(330)를 더 포함할 수 있다. 다양한 실시예에 따른 제2 하우징(220)은 제1 하우징(210)에 대하여 회전 가능하게 결합될 수 있다. 베어링(320)은 제2 하우징(220)이 제1 하우징(210)에 대하여 회전 가능하게 결합해주는 기계 요소일 수 있다. 제2 하우징(220)은 베어링(320)의 중심 축을 기준으로 회전할 수 있고, 제1 하우징(210)과는 무관하게 회전할 수 있다. 센서(330)는 제2 하우징(220)이 제1 하우징(210)에 대하여 회전한 각도를 센싱하는 센서일 수 있다. 센서(330)는, 예를 들어, 자이로 센서, 엔코더(encoder)일 수 있다. 다양한 실시예에 따른 프로세서(110)는, 통신 회로(150)를 통해 제2 하우징(220)이 제1 하우징(210)에 대하여 회전한 각도에 관한 정보를 외부 전자 장치(20)로 전송할 수 있다.
도 4는 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템(10)의 동작 흐름도이다.
동작 흐름도 400을 참조하면, 다양한 실시예에 따른 외부 전자 장치(20)는, 동작 401에서, 의료 장치로부터 대상체의 의료 이미지를 수신하여 저장할 수 있다. 의료 이미지는, 예를 들어, CT 이미지, MRI 이미지일 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 403에서, 대상체에 패턴광을 조사할 수 있다. 예를 들어, 휴대용 3차원 영상 측정 장치(100)는 광원(120)을 통해 패턴광을 출력할 수 있다. 광원(120)을 통해 출력된 패턴광은 광경로 제어 요소(140)에 의해 반사되어 대상체에 조사될 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 405에서, 대상체로부터 반사된 반사광을 수신하여 대상체의 라이트 필드 이미지를 생성할 수 있다. 예를 들어, 대상체로부터 반사된 반사광은 광경로 제어 요소(140)를 통해 카메라(130)에 도달할 수 있다. 카메라(130)는 반사광을 수신하여 대상체의 라이트 필드 이미지를 생성할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 407에서, 대상체의 라이트 필드 이미지를 이용하여, 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 대상체의 라이트 필드 이미지에 포함된 패턴광의 빛의 세기를 측정하고, 측정한 패턴광의 빛의 세기에 기초하여 위상 데이터를 생성할 수 있다. 프로세서(110)는 생성한 위상 데이터에 기초하여 대상체의 표면을 구성하는 각 점들의 높이를 계산함으로써, 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 409에서, 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치(20)로 전송할 수 있다. 예를 들어, 휴대용 3차원 영상 측정 장치(100)의 프로세서(110)는, 통신 회로(150)를 통해, 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치(20)로 전송할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는, 동작 411에서, 휴대용 3차원 측정 장치로부터 수신한 대상체의 표면에 대한 3차원 이미지와 기 저장된 대상체의 의료 이미지 간의 영상 정합을 수행할 수 있다.
도 5는 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템의 동작 흐름도이다. 도 4에서 설명한 내용과 중복되는 내용은 생략한다.
동작 흐름도 500을 참조하면, 다양한 실시예에 따른 외부 전자 장치(20)는, 동작 501에서, 의료 장치로부터 대상체의 의료 이미지를 수신하여 저장할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 503에서, 대상체에 패턴광을 조사할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 505에서, 대상체로부터 반사된 반사광을 수신하여 대상체의 라이트 필드 이미지를 생성할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 507에서, 대상체의 라이트 필드 이미지를 이용하여, 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 509에서, 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치(20)로 전송할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는, 동작 511에서, 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)의 패턴면의 적어도 일부의 이미지를 결상할 수 있다. 예를 들어, 외부 전자 장치(20)는, 결상 장치를 통해, 마커(310)의 패턴면의 적어도 일부의 패턴 이미지를 결상할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는, 동작 513에서, 결상한 패턴 이미지에 기초하여, 마커(310)가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세를 결정할 수 있다. 예를 들어, 외부 전자 장치(20)는, 패턴면의 적어도 일부에 대한 패턴 이미지로부터 추출된 정보를 처리하여, 마커(310)의 위치 및 자세를 결정할 수 있다. 외부 전자 장치(20)는 마커(310)의 위치 및 자세에 기초하여, 마커(310)가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세를 결정할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는, 동작 515에서, 대상체의 표면에 대한 3차원 이미지와 대상체의 의료 이미지 간의 영상 정합을 수행할 수 있다. 예를 들어 외부 전자 장치(20)는 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)를 매개로, 대상체의 표면에 대한 3차원 이미지의 좌표계를 외부 전자 장치(20)의 좌표계로 변환할 수 있다. 외부 전자 장치(20)는 의료 이미지의 좌표계를 외부 전자 장치(20)의 좌표계로 변환할 수 있다. 좌표계 변환을 완료한 후, 외부 전자 장치(20)는 대상체의 표면에 대한 3차원 이미지와 대상체의 의료 이미지 간의 영상 정합을 수행할 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)의 동작 흐름도이다.
동작 흐름도 600을 참조하면, 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 610에서, 광원(120)에 의해 출력된 패턴광을 대상체에 조사할 수 있다. 예를 들어, 휴대용 3차원 영상 측정 장치(100)는 광원(120)을 통해 패턴광을 출력할 수 있다. 출력된 패턴광은 광경로 제어 요소(140)에 의해 반사되어 대상체에 조사될 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 620에서, 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신할 수 있다. 예를 들어, 대상체로 조사된 패턴광은, 대상체에 의해 반사되어 다시 휴대용 3차원 영상 측정 장치(100)에 입사될 수 있다. 반사광은 광경로 제어 요소(140)를 통과하여 카메라(130)에 도달할 수 있다.
다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 630에서, 카메라(130)를 통해 반사광을 수신하여 대상체의 라이트 필드 이미지를 생성할 수 있다. 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 640에서, 대상체의 라이트 필드 이미지에 기초하여, 대상체의 표면에 대한 3차원 이미지를 생성할 수 있다. 다양한 실시예에 따른 휴대용 3차원 영상 측정 장치(100)는, 동작 650에서, 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치로 전송할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 의료 영상 정합 시스템(10)이 사용되는 예시를 나타낸 도면이다.
도 7을 참조하면, 의사(doctor, D)는 휴대용 3차원 영상 측정 장치(100)를 이용하여 환자(patient, P)의 표면에 대한 3차원 이미지를 획득할 수 있다. 예를 들어, 의사(D)는 휴대용 3차원 영상 측정 장치(100)를 이용하여 환자(P)의 표면에 패턴광을 조사할 수 있다. 조사된 패턴광에 의해 환자(P)의 표면에는 패턴(710)이 형성될 수 있다. 휴대용 3차원 영상 측정 장치(100)는 환자(P)로부터 반사된 반사광을 수신하여, 환자(P)의 라이트 필드 이미지를 생성할 수 있다. 환자(P)의 라이트 필드 이미지는, 예를 들어, 조사된 패턴(710)에 관한 복수의 서브 이미지가 결합된 이미지일 수 있다. 휴대용 3차원 영상 측정 장치(100)는 환자(P)의 라이트 필드 이미지를 이용하여 환자(P)의 표면에 대한 3차원 이미지를 생성할 수 있다. 휴대용 3차원 영상 측정 장치(100)는 생성한 환자(P)의 표면에 대한 3차원 이미지를 외부 전자 장치(20)에 전송할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는 결상 장치를 통해 휴대용 3차원 영상 측정 장치(100)에 부착된 마커(310)의 패턴면의 적어도 일부를 촬상하여 패턴면의 적어도 일부에 대한 패턴 이미지를 결상할 수 있다. 외부 전자 장치(20)는 결상한 패턴 이미지에 기초하여 마커(310)가 부착된 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세를 결정할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는 환자(P)의 표면에 대한 3차원 이미지의 좌표계를 외부 전자 장치(20)의 좌표계로 변환 내지 정렬할 수 있다. 예를 들어, 외부 전자 장치(20)는 마커(310)를 통해 결정한 휴대용 3차원 영상 측정 장치(100)의 위치 및 자세에 기초하여, 환자(P)의 표면에 대한 3차원 이미지의 좌표계를 외부 전자 장치(20)의 좌표계로 변환할 수 있다.
다양한 실시예에 따른 외부 전자 장치(20)는 의료 장치로부터 수신한 환자(P)의 의료 이미지의 좌표계를 외부 전자 장치(20)의 좌표계로 변환 내지 정렬할 수 있다. 다양한 실시예에 따른 외부 전자 장치(20)는 환자(P)의 표면에 대한 3차원 이미지와 환자(P)의 의료 이미지 간의 좌표계를 서로 통일함으로써, 영상 정합을 수행할 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 카메라(130)의 구조를 설명하기 위한 도면이다.
도 8을 참조하면, 카메라(130)는 대상체(810)로부터 순서대로 배치되는, 집광 렌즈(137), 렌즈 어레이(135), 및 이미지 센서(131)를 포함할 수 있다. 카메라(130)는 라이트 필드 이미지를 획득하기 위한 하나의 배치 구조로써, 예시적인 것이며, 라이트 필드 이미지를 획득하기 위하여 도시된 구조와 다른 구조가 적용될 수 있음은 물론이다.
다양한 실시예에 따른 집광 렌즈(137)는 대상체(810)로부터 반사된 반사광을 집광하는 구성으로써, 집광 렌즈(137)는 대상체(810)로부터 반사된 반사광이 하나의 포인트에 집광되도록 하나의 초점 거리를 갖는 볼록 렌즈가 될 수 있다. 집광 렌즈(137)가 복수의 렌즈 등을 이용하여 구현된 경우에는, 공지된 얇은 렌즈 이론(thin lens theory)에 따라 복수의 렌즈를 하나의 얇은 렌즈로 정의할 수 있다. 이에 따라, 집광 렌즈(137)의 직경, 초점 거리 및 중심은 이와 같이 정의된 하나의 얇은 렌즈의 직경, 초검 거리 및 중심으로 각각 나타낼 수 있다.
다양한 실시예에 따른 렌즈 어레이(135)는 집광 렌즈(137)를 통과하여 들어오는 빛을 분산시키고, 서로 다른 위치에 형성되는 복수의 포인트로 집광시킬 수 있다. 렌즈 어레이는 복수의 마이크로 렌즈로 구성될 수 있다. 예를 들어, 렌즈 어레이(135)는 집광 렌즈(137)의 초점 거리보다 더 집광 렌즈(137)에 가깝게 배치될 수 있다. 예를 들어, 렌즈 어레이(135)는 집광 렌즈(137)로부터, 집광 렌즈(137)의 초점 거리보다 더 멀리 배치될 수도 있다.
다양한 실시예에 따른 렌즈 어레이(135)는 집광 렌즈(137)의 초점 거리에 대응하는 위치에 배치될 수 있다. 상기의 경우, 집광 렌즈(137)로부터 들어오는 빛의 초점은 복수의 마이크로 렌즈(135a) 중 하나에 형성될 수 있다. 또한, 이미지 센서(131)는 렌즈 어레이(135)에 포함된 각각의 마이크로 렌즈(135a)의 초점 거리에 대응하는 위치에 고정되어 설치될 수 있다.
다양한 실시예에 따른 이미지 센서(131)는 렌즈 어레이(135)를 통과한 빛을 센싱할 수 있다. 또한, 이미지 센서(131)는 복수의 포인트에 대응하는 복수의 서브 이미지를 포함하는 라이트 필드 이미지를 획득할 수 있다. 이미지 센서(131)는 임의의 물체의 결상 이미지를 획득하도록 구성된 임의의 종류의 적어도 하나의 결상 소자를 포함할 수 있으며, 이미지 센서(131)는 복수의 화소(fixel, 131a)로 구성될 수 있다.
다양한 실시예에 따른 이미지 센서(131)는 1회 촬영 시, 예를 들어, 사진 집합체 파일의 포맷(format)을 갖는 라이트 필드 이미지를 출력할 수 있다. 사진 집합체 파일은 복수의 마이크로 렌즈의 초점에 대응하는 위치에 대상체의 초점이 형성되어 서로 다른 피사체의 심도를 갖는 복수의 서브 이미지를 포함할 수 있다. 각각의 서브 이미지에는 X, Y 좌표에 따라 빛의 색상 정보와 방향 정보가 함께 저장될 수 있다.
다양한 실시예에 따른 각각의 서브 이미지는, 서로 다른 피사체 심도를 갖지만 동일한 대상체를 촬영할 수 있다. 각각의 서브 이미지에서 보이는 대상체의 모습은 실질적으로 동일할 수 있고, 서로 선명하게 보이는 부분 및 흐리게 보이는 부분의 위치에서 차이가 발생할 수 있다. 선명하게 보이는 부분은 대응하는 마이크로 렌즈(135a)의 초점이 형성되어 피사체 심도를 갖는 부분이고, 흐리게 보이는 부분은 이를 제외한 부분이 될 수 있다.
다양한 실시예에 따른 라이트 필드 카메라는 대상체를 촬영한 후에 피사체 심도를 사후적으로 결정하고, 서로 다른 피사체 심도를 갖는 이미지를 조합하도록 구성될 수 있다. 따라서, 라이트 필드 카메라의 이미지 센서는 사후적이면서 가변적인 피사체 심도를 가질 수 있다. 또한, 라이트 필드 카메라에서 생성하는 라이트 필드 이미지는 빛의 색상 정보와 방향 정보를 함께 저장하는 복수의 서브 이미지를 포함할 수 있다.
다른 실시예에서, 카메라(130)는 복수의 서브 이미지들을 이용하여 재초점(refocusing) 과정을 진행할 수 있다. 재초점 과정에서 라이트 필드 이미지의 픽셀들 중에서 원하는 피사체 심도 및 그에 따라 역산되는 광경로 내지 방향에 상응하는 픽셀들의 색상 정보를 조합하여 원하는 심도의 이미지를 새로 추출해 낼 수 있다. 이를 통해 조사된 패턴이 선명하게 식별 가능한 이미지를 생성할 수 있다.
도 9는 본 개시의 다양한 실시예에 따른 카메라(130)의 렌즈 어레이(135)를 설명하기 위한 도면이다.
다양한 실시예에 따르면, 렌즈 어레이(135)에 포함된 복수의 마이크로 렌즈(135a)는 N개(N은 1 이상의 자연수)로 제공될 수 있다. 즉, N개는 복수개를 의미할 수 있다. 예를 들어, 렌즈 어레이(135)에는 각 행에 대하여 i개의 마이크로 렌즈가 배치되고, 각 열에 대하여 j개의 마이크로 렌즈가 배치될 수 있다. 따라서, N개의 마이크로 렌즈는 i * j 개의 행렬로 구성될 수 있다. 예를 들어, 보다 촘촘한 라이트 필드를 형성하기 위하여, 렌즈 어레이(135)는 대략 1000*1000 개의 마이크로 렌즈가 배열되는 형태를 가질 수 있다. 마이크로 렌즈의 배열 및 개수는 집광 렌즈(137) 및 마이크로 렌즈의 다양한 조건(예: 물성, 촬영 환경, 서브 이미지의 요구되는 해상도 또는 이미지 센서의 화소 수)에 따라 달라질 수 있다.
다양한 실시예에 따른 N개의 복수의 마이크로 렌즈는 집광 렌즈(137)를 통과하여 들어오는 빛을 N개의 포인트로 분산시킬 수 있다. 도 8에 도시된 이미지 센서(131)는 N개의 마이크로 렌즈가 형성하는 N개의 포인트에 대응하는 N개의 구역으로 구분될 수 있다. N개의 마이크로 렌즈 각각의 초점은 이미지 센서(131)의 N개의 구역으로 분산되도록 형성될 수 있다.
다양한 실시예에 따르면, N개의 구역에서 N개의 서브 이미지를 결상하는 경우, 라이트 필드 이미지는 서로 다른 피사체 심도를 갖는 N개의 서브 이미지를 포함할 수 있다. 또한 프로세서는 N개의 이미지 중 소정 위치에 피사체 심도가 형성된 이미지를 선택할 수 있다.
도 10은 본 개시의 다양한 실시예에 따른 카메라(130)에 의해 획득된 라이트 필드 이미지에 포함된 복수의 서브 이미지의 피사체 심도가 다르게 형성되는 과정을 도시한 도면이다.
다양한 실시예에 따른 카메라(130)는 집광 렌즈(137), 렌즈 어레이(135), 및 이미지 센서(131)를 포함할 수 있다. 제1 대상체(1010)는 제2 대상체(1020)에 비하여 집광 렌즈(137)와 가깝게 배치될 수 있다.
다양한 실시예에 따르면, 제1 대상체(1010)의 상단에서 나온 빛은 집광 렌즈(137)를 통해 집광되어 렌즈 어레이(135)의 하측에 배치된 마이크로 렌즈(135c)에 초점이 형성될 수 있다. 마이크로 렌즈(135c)로부터 나온 빛은 이미지 센서(131)의 하측에 배치된 구역(A1)으로 도달할 수 있다. 이에 따라, 제1 대상체(1010)의 상단에서 나온 빛의 광량은 주로 하측 구역(A1)에 분포되게 되고, 나머지 구역에 광량이 적게 분포될 수 있다. 즉, 하측 구역(A1)에 포함된 화소들(131e, 131f, 131g)에는 제1 대상체(1010)의 상단의 모습이 선명하게 결상될 수 있다.
다양한 실시예에 따르면, 제2 대상체(1020)의 상단에서 나온 빛은 집광 렌즈(137)를 통해 집광되어 렌즈 어레이(135)의 중간 부분의 마이크로 렌즈(135b)에 초점이 형성될 수 있다. 마이크로 렌즈(135b)로부터 나온 빛은 이미지 센서(131)의 중간 부분에 배치된 구역(A2)으로 도달할 수 있다. 이에 따라, 제2 대상체(1020)의 상단에서 나온 빛의 광량은 주로 중간 구역(A2)에 분포되게 되고 나머지 구역에 광량이 적게 분포될 수 있다. 즉, 중간 구역(A2)에 포함된 화소들(131b, 131c, 131d)에는 제2 대상체(1020)의 상단의 모습이 선명하게 결상될 수 있다.
하측 구역(A1)에는 제2 대상체(1020)로부터 나오는 빛의 광량이 적게 분포되므로, 제2 대상체(1020)에 대한 모습은 흐릿한 상태로 결상될 수 있다. 또한, 중간 구역(A2)에는 제1 대상체(1010)로부터 나오는 빛의 광량이 적게 분포되므로, 제1 대상체(1010)에 대한 모습은 흐릿한 상태로 결상될 수 있다. 따라서, 하측 구역(A1)은 제1 대상체(1010)에 대하여 피사체 심도가 형성된 서브 이미지를 출력하고, 중간 구역(A2)은 제2 대상체(1020)에 대하여 피사체 심도가 형성된 서브 이미지를 출력할 수 있다.
상술한 바에 따르면, 다양한 실시예에 따른 카메라를 통해 대상체를 촬영하면, 서로 다른 피사체 심도를 갖는 복수의 서브 이미지를 포함하는 라이트 필드 이미지를 생성할 수 있다.
도 11은 본 개시의 다양한 실시예에 따른 서로 다른 피사체 심도를 갖는 복수의 서브 이미지를 포함하는 라이트 필드 이미지(1100)를 설명하기 위한 도면이다.
도 11을 참조하면, 다양한 실시예에 따른 라이트 필드 이미지(1100)는 이미지 센서(131)에서 서로 다른 위치의 구역(C1, C2, C3, C4)에 피사체 심도가 형성된 복수의 서브 이미지를 포함하는 사진 집합체 파일로 출력될 수 있다. 복수의 구역(C1, C2, C3, C4)은 서브 이미지 내에서 서로 다른 위치가 될 수 있고, 상황에 따라 적어도 2개의 구역이 서로 동일한 위치가 될 수 있다. 사진 집합체 파일은 서로 물리적으로 분리된 복수의 서브 이미지들을 단순히 모은 집합체 포맷이 될 수 있다. 이와 달리 사진 집합체 파일은 새로운 확장자 방식으로 복수의 서브 이미지들이 서로 일체로 결합된 포맷이 될 수 있다. 다양한 실시예에 따르면, 각각의 서브 이미지는 서로 다른 피사체 심도를 갖도록 빛의 색상 정보와 방향 정보를 포함할 수 있다. 도 11에 도시된 화살표의 방향은 피사체 심도가 형성될 거리가 증가하는 방향을 나타낼 수 있다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 사상 및 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 휴대용 3차원 영상 측정 장치에 있어서,
    패턴광을 출력하도록 구성된 광원;
    상기 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신하여 패턴이 반영된 상기 대상체의 라이트 필드 이미지를 생성하도록 구성된 라이트 필드 카메라 - 상기 대상체의 라이트 필드 이미지는 상기 반사광의 색상 정보 및 방향 정보를 포함하는 복수의 서브 이미지가 결합된 이미지임 -;
    상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 상기 패턴광을 반사시키고, 상기 대상체로부터 반사된 상기 반사광이 상기 라이트 필드 카메라에 도달하도록 상기 반사광을 투과시키는 광경로 제어 요소;
    통신 회로; 및
    프로세서를 포함하며,
    상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 라이트 필드 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩하고,
    상기 프로세서는,
    상기 라이트 필드 카메라를 통해 획득한 상기 대상체의 라이트 필드 이미지에 포함된 상기 복수의 서브 이미지를 이용하여, 상기 대상체의 표면을 구성하는 복수의 점 각각에서의 반사광의 세기를 측정하고,
    상기 측정한 반사광의 세기에 기초하여 위상 데이터를 생성하고,
    상기 생성한 위상 데이터에 기초하여, 상기 복수의 점 각각의 높이를 계산함으로써, 상기 대상체의 표면에 대한 3차원 이미지를 생성하고,
    상기 통신 회로를 통해 상기 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치로 전송하도록 구성되며,
    상기 대상체의 표면에 대한 3차원 이미지는 상기 대상체에 대한 의료 이미지와 정합을 위해 사용되는 이미지이고, 상기 대상체에 대한 의료 이미지는 상기 대상체에 대한 CT 이미지 또는 MRI 이미지 중 하나인, 휴대용 3차원 영상 측정 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 휴대용 3차원 영상 측정 장치의 소정 위치로부터 이동 가능하도록 설치되는 마커를 더 포함하고,
    상기 프로세서는,
    상기 소정 위치로부터 상기 마커의 변위를 나타내는 정보를 상기 외부 전자 장치에 전송하도록 구성된, 휴대용 3차원 영상 측정 장치.
  5. 제1항에 있어서,
    상기 광원 및 상기 라이트 필드 카메라는
    상기 광경로 제어 요소를 기준으로 서로 수직한 방향에 배치되는, 휴대용 3차원 영상 측정 장치.
  6. 제1항에 있어서,
    상기 라이트 필드 카메라는,
    복수의 마이크로 렌즈가 배열된 렌즈 어레이; 및
    상기 렌즈 어레이를 통과한 상기 반사광을 캡쳐하는 이미지 센서를 포함하는, 휴대용 3차원 영상 측정 장치.
  7. 제1항에 있어서,
    상기 광원은,
    복수의 패턴이 형성된 패턴부; 및
    상기 패턴부에 광을 조사하는 LED를 포함하는, 휴대용 3차원 영상 측정 장치.
  8. 제7항에 있어서,
    상기 LED가 출력하는 광은 적외선 광인, 휴대용 3차원 영상 측정 장치.
  9. 제1항에 있어서,
    상기 광경로 제어 요소는 반투과 거울인, 휴대용 3차원 영상 측정 장치.
  10. 삭제
  11. 제1항에 있어서,
    내부에 상기 광원, 상기 라이트 필드 카메라 및 상기 광경로 제어 요소가 배치되는 제1 하우징; 및
    상기 제1 하우징에 결합되고, 상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 개구가 형성된 제2 하우징을 더 포함하는, 휴대용 3차원 영상 측정 장치.
  12. 제11항에 있어서,
    상기 제2 하우징은 상기 제1 하우징에 대하여 회전 가능하게 결합된, 휴대용 3차원 영상 측정 장치.
  13. 의료 영상 정합 시스템에 있어서,
    패턴광을 출력하도록 구성된 광원, 상기 패턴광이 대상체로부터 반사되어 생성된 반사광을 수신하여 패턴이 반영된 상기 대상체의 라이트 필드 이미지를 생성하도록 구성된 라이트 필드 카메라, 상기 광원으로부터 출력된 상기 패턴광이 상기 대상체에 조사되도록 상기 패턴광을 반사시키고, 상기 대상체로부터 반사된 상기 반사광이 상기 라이트 필드 카메라에 도달하도록 상기 반사광을 투과시키는 광경로 제어 요소, 통신 회로 및 프로세서를 포함하는 휴대용 3차원 영상 측정 장치; 및
    상기 통신 회로와 통신 가능하도록 구성된 외부 전자 장치를 포함하고,
    상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 라이트 필드 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩하고,
    상기 대상체의 라이트 필드 이미지는 상기 반사광의 색상 정보 및 방향 정보를 포함하는 복수의 서브 이미지가 결합된 이미지이고,
    상기 프로세서는, 상기 라이트 필드 카메라를 통해 획득한 상기 대상체의 라이트 필드 이미지에 포함된 상기 복수의 서브 이미지를 이용하여, 상기 대상체의 표면을 구성하는 복수의 점 각각에서의 반사광의 세기를 측정하고, 상기 측정한 반사광의 세기에 기초하여 위상 데이터를 생성하고, 상기 생성한 위상 데이터에 기초하여, 상기 복수의 점 각각의 높이를 계산함으로써, 상기 대상체의 표면에 대한 3차원 이미지를 생성하고, 상기 통신 회로를 통해 상기 대상체의 표면에 대한 3차원 이미지를 상기 외부 전자 장치로 전송하도록 구성되고,
    상기 대상체의 표면에 대한 3차원 이미지는 상기 대상체에 대한 의료 이미지와 정합을 위해 사용되는 이미지이고, 상기 대상체에 대한 의료 이미지는 상기 대상체에 대한 CT 이미지 또는 MRI 이미지 중 하나인, 의료 영상 정합 시스템.
  14. 제13항에 있어서,
    상기 외부 전자 장치는,
    상기 휴대용 3차원 영상 측정 장치로부터 수신한 상기 대상체의 표면에 대한 3차원 이미지와 외부 의료 장치로부터 수신한 대상체에 대한 의료 이미지 간의 영상 정합을 수행하도록 구성되는, 의료 영상 정합 시스템.
  15. 제13항에 있어서,
    상기 휴대용 3차원 영상 측정 장치는, 상기 휴대용 3차원 영상 측정 장치의 소정 위치로부터 이동 가능하도록 설치되는 마커를 더 포함하고,
    상기 프로세서는,
    상기 소정 위치로부터 상기 마커의 변위를 나타내는 정보를 상기 외부 전자 장치에 전송하도록 구성되는, 의료 영상 정합 시스템.
  16. 휴대용 3차원 영상 측정 장치의 3차원 영상 측정 방법에 있어서,
    광원에 의해 출력된 패턴광을 광경로 제어 요소를 통해 대상체에 조사하는 동작;
    라이트 필드 카메라에 의해 상기 패턴광이 상기 대상체로부터 반사되어 생성된 반사광을 상기 광경로 제어 요소를 통해 수신하여, 패턴이 반영된 상기 대상체의 라이트 필드 이미지를 생성하는 동작 - 상기 대상체의 라이트 필드 이미지는 상기 반사광의 색상 정보 및 방향 정보를 포함하는 복수의 서브 이미지가 결합된 이미지임 -;
    상기 대상체의 라이트 필드 이미지에 포함된 상기 복수의 서브 이미지를 이용하여, 상기 대상체의 표면을 구성하는 복수의 점 각각에서의 반사광의 세기를 측정하고, 상기 측정한 반사광의 세기에 기초하여 위상 데이터를 생성하고, 상기 생성한 위상 데이터에 기초하여, 상기 복수의 점 각각의 높이를 계산함으로써, 상기 대상체의 표면에 대한 3차원 이미지를 생성하는 동작; 및
    상기 대상체의 표면에 대한 3차원 이미지를 외부 전자 장치로 전송하는 동작을 포함하고,
    상기 광원으로부터 출력되어 상기 대상체에 조사되는 상기 패턴광의 광경로 및 상기 대상체로부터 반사되어 상기 라이트 필드 카메라에 도달되는 상기 반사광의 광경로는 상기 광경로 제어 요소와 상기 대상체 사이의 구간에서 동축을 이루어 중첩하고,
    상기 대상체의 표면에 대한 3차원 이미지는 상기 대상체에 대한 의료 이미지와 정합을 위해 사용되는 이미지이고, 상기 대상체에 대한 의료 이미지는 상기 대상체에 대한 CT 이미지 또는 MRI 이미지 중 하나인, 3차원 영상 측정 방법.
  17. 삭제
  18. 삭제
  19. 제16항에 있어서,
    상기 휴대용 3차원 영상 측정 장치의 소정 위치로부터 이동 가능하도록 설치되는 마커의 변위를 나타내는 정보를 상기 외부 전자 장치로 전송하는 동작을 더 포함하는, 3차원 영상 측정 방법.
  20. 제16항에 있어서,
    상기 광원 및 상기 라이트 필드 카메라는,
    상기 광경로 제어 요소를 기준으로 서로 수직한 방향에 배치되는, 3차원 영상 측정 방법.
KR1020200131843A 2020-10-13 2020-10-13 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템 Active KR102478842B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200131843A KR102478842B1 (ko) 2020-10-13 2020-10-13 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템
JP2023522556A JP7646827B2 (ja) 2020-10-13 2021-10-13 携帯用３次元映像測定装置、これを用いた３次元映像測定方法及び医療映像整合システム
CN202180069857.7A CN116348060A (zh) 2020-10-13 2021-10-13 便携式三维影像测量装置、利用其的三维影像测量方法及医学影像整合系统
PCT/KR2021/014106 WO2022080853A1 (ko) 2020-10-13 2021-10-13 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법 및 의료 영상 정합 시스템
US18/248,856 US12318188B2 (en) 2020-10-13 2021-10-13 Portable three-dimensional image measuring device, three-dimensional image measuring method using same, and medical image matching system
EP21880500.0A EP4230170A4 (en) 2020-10-13 2021-10-13 PORTABLE DEVICE FOR MEASURING THREE-DIMENSIONAL IMAGES, METHOD FOR MEASURING THREE-DIMENSIONAL IMAGES THEREFROM, AND SYSTEM FOR COMPARISONING MEDICAL IMAGES

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131843A KR102478842B1 (ko) 2020-10-13 2020-10-13 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템

Publications (2)

Publication Number Publication Date
KR20220048676A KR20220048676A (ko) 2022-04-20
KR102478842B1 true KR102478842B1 (ko) 2022-12-20

Family

ID=81207358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131843A Active KR102478842B1 (ko) 2020-10-13 2020-10-13 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템

Country Status (6)

Country Link
US (1) US12318188B2 (ko)
EP (1) EP4230170A4 (ko)
JP (1) JP7646827B2 (ko)
KR (1) KR102478842B1 (ko)
CN (1) CN116348060A (ko)
WO (1) WO2022080853A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596271B1 (ko) * 2022-11-07 2023-11-01 (주)메디띵스 단일 스냅샷 공간 주파수 영역 이미징을 보조하기 위한 휴대 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010054320A (ja) * 2008-08-28 2010-03-11 Nikon Corp 形状測定装置及び方法、並びにプログラム
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
JP2012530267A (ja) * 2009-06-17 2012-11-29 ３シェイプ アー／エス 焦点操作装置
WO2016114834A2 (en) * 2014-10-22 2016-07-21 Think Surgical, Inc. Actively controlled optical tracker with a robot
US20190376784A1 (en) 2018-06-08 2019-12-12 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772063B2 (ja) 2000-02-28 2006-05-10 オリンパス株式会社 位置検出装置、及び、位置検出システム
JP6878435B2 (ja) * 2015-12-18 2021-05-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療機器の追跡
CN110720986B (zh) 2019-11-21 2025-05-30 复旦大学附属眼耳鼻喉科医院 一种多模态显微外科手术导航系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010054320A (ja) * 2008-08-28 2010-03-11 Nikon Corp 形状測定装置及び方法、並びにプログラム
JP2012530267A (ja) * 2009-06-17 2012-11-29 ３シェイプ アー／エス 焦点操作装置
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
WO2016114834A2 (en) * 2014-10-22 2016-07-21 Think Surgical, Inc. Actively controlled optical tracker with a robot
US20190376784A1 (en) 2018-06-08 2019-12-12 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera

Also Published As

Publication number Publication date
WO2022080853A1 (ko) 2022-04-21
JP7646827B2 (ja) 2025-03-17
US20230284933A1 (en) 2023-09-14
KR20220048676A (ko) 2022-04-20
EP4230170A4 (en) 2024-03-20
CN116348060A (zh) 2023-06-27
JP2023545309A (ja) 2023-10-27
US12318188B2 (en) 2025-06-03
EP4230170A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
US12299907B2 (en) Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
EP3076892B1 (en) A medical optical tracking system
CN113813046B (zh) 光学跟踪系统及光学跟踪方法
KR101383235B1 (ko) 시선 추적을 이용한 좌표 입력 장치 및 그 방법
US20070002015A1 (en) Movement detection device and communication apparatus
CN109938843B (zh) 光学跟踪系统及光学跟踪方法
KR102478842B1 (ko) 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법, 및 의료 영상 정합 시스템
JP6963295B2 (ja) ３次元情報取得装置
CN112750165B (zh) 参数标定方法、智能驾驶方法及其装置、设备和存储介质
JP2024175057A (ja) 医療用３次元映像測定装置及び医療映像整合システム
KR101627835B1 (ko) 옵티컬 트래킹 시스템 및 방법
KR101627813B1 (ko) 위치 및 자세 측정용 마커
KR101627828B1 (ko) 옵티컬 트래킹 시스템용 마커에 이미지를 형성하는 방법
KR20170011975A (ko) 위치 및 자세 측정용 마커
WO2023235804A1 (en) Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201013

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211129

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220615

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20211129

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220615

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220127

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220920

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220818

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220615

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220127

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221214

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221215

End annual number: 3

Start annual number: 1

PG1601 Publication of registration