KR20110016896A - 다차원 영상 생성 방법 및 시스템 - Google Patents

다차원 영상 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20110016896A
KR20110016896A KR1020107026085A KR20107026085A KR20110016896A KR 20110016896 A KR20110016896 A KR 20110016896A KR 1020107026085 A KR1020107026085 A KR 1020107026085A KR 20107026085 A KR20107026085 A KR 20107026085A KR 20110016896 A KR20110016896 A KR 20110016896A
Authority
KR
South Korea
Prior art keywords
image
scene
spectral
dimensional
high resolution
Prior art date
Application number
KR1020107026085A
Other languages
English (en)
Other versions
KR101608848B1 (ko
Inventor
프란시스코 히데키 이마이
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20110016896A publication Critical patent/KR20110016896A/ko
Application granted granted Critical
Publication of KR101608848B1 publication Critical patent/KR101608848B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4061—Super resolution, i.e. output image resolution higher than sensor resolution by injecting details from a different spectral band
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

공개된 장면에서 객체의 다차원 영상 생성 방법 및 시스템에 관한 것이다. 본 발명의 일 측은 선택된 채널의 스팩트럴 증강 영상으로 상기 장면의 2차원 높은 해상도 빛 세기 영상을 변환하는 스팩트럴 평가 모듈을 포함한다. 다차원 영상 생성 시스템은 상기 스팩트럴 증강 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 높은 해상도 깊이 영상 생성 모듈을 포함한다.

Description

다차원 영상 생성 방법 및 시스템{SYSTEM AND METHOD FOR GENERATING A MULTI-DIMENSIONAL IMAGE}
본 발명은 다차원 영상 생성 방법 및 시스템에 관한 것으로, 특히, 높은 해상도 빛 세기 영상과 낮은 해상도 깊이 영상을 이용하여 다차원 영상을 생성하기 위한 것이다.
최근, 수술(예, 신경외과)에서 인간의 감독 하에 로봇 보조 장비를 사용하는 경향이 있다. 로봇 보조 시스템은 의사(surgeon)의 손보다 작은 도구(tools)를 제공하고, 종종 보다 정확하고 반복적인 절차에 사용되고 있다. 많은 연구에서는 로봇 보조 시스템과 같은 자동 프로스듀어(procedure)가 회복 시간과 부작용을 줄여주고 있음을 보여준다.
상기 로봇 보조 시스템은 수술 계획(Planning)과 실행을 위한 영상 지도(guidance)에 의존한다. 몇몇 시스템은 하나의 영상을 캡쳐할 때, 수술 계획을 위해 시각화(visualization)하는 렌더링한다. 전용 시스템은 3차원 의학 영상을 만드는데 이용된다. 3차원 렌더링과 시각화는 매우 컴퓨터(computationally) 집약적(intensive)이고, 수술 중 실시간 요구에 호환되지 않는 프로세싱 요구가 있다. 연식의(non-rigid) 기관 조직(예컨대, 심장, 간, 폐, 췌장)을 다루는 수술은 보다 복잡한 볼륨 모델링을 만든다. 이는, 왜 3차원 영상을 내부 수술(intra-surgery)에 적용하지 않고 수술 계획에 이용되는지를 설명한다.
가상 현실 시스템(virtual reality system)은 외과 로봇을 조작하는 의사를 위해 시각 지원으로 이용되어 왔다. 그러나, 가상 현실 시스템에서, 의사(physician)는 자신의 눈으로 환자를 보지 못한다. 대신, 의사는 처리된 전자적 신호를 통해 환자를 본다. 의사는 트랙킹(tracking) 시스템의 정밀도(precision)에 완전히 의존하다. 치명적(lethal)이 아니라면, 상기 시스템의 어떤 기류(drifts)는 엄격(severe)한 결과를 갖는다.
따라서, 위에서 설명한 것과 같이, 로봇 보조 수술 장비와 같은 의학 응용에서, 증강 시각(augmented vision)을 제공하는 방안(scheme)이 필요하다.
각각의 측면을 가진 본 발명의 시스템, 방법 및 장치는 바람직한 속성(attributes)을 위해 단독으로 책임을 가지는 하나의 단일한 것이 아니다. 본 발명의 제한을 주지 않는 중요한 특징은 간단히 논할 것이다.
본 발명의 일실시예는 장면에서 객체의 다차원 영상 생성 방법에 관한 것이다. 상기 방법은 상기 장면의 2차원 높은 해상도 빛 세기 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상을 제공하는 단계를 포함한다. 상기 방법은 선택된 채널의 스팩트럴 증강(spectral-augmented) 영상으로 상기 2차원 높은 해상도 빛 세기 영상을 변환하는 단계를 더 포함한다. 상기 방법은 상기 스팩트럴 증강 영상으로부터 객체를 세그먼트(segment)하는 단계를 더 포함한다. 상기 방법은 상기 스팩트럴 증강 영상과 상기 3차원 낮은 해상도 깊이 영상의 적어도 일부분에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 단계를 더 포함한다.
본 발명의 다른 일실시예는 장면에서 객체의 다차원 영상 생성 시스템에 관한 것이다. 상기 시스템은 상기 장면의 2차원 높은 해상도 빛 세기 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상을 제공하는 수단을 포함한다. 상기 시스템은 선택된 채널의 스팩트럴 증강 영상으로 상기 2차원 높은 해상도 빛 세기 영상을 변환하는 수단을 더 포함한다. 상기 시스템은 상기 스팩트럴 증강 영상과 상기 3차원 낮은 해상도 깊이 영상의 적어도 일부분에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 수단을 더 포함한다.
본 발명의 또 다른 일실시예는 장면에서 객체의 다차원 영상 생성 시스템에 관한 것이다. 상기 시스템은 선택된 채널의 스팩트럴 증강 영상으로 상기 장면의 2차원 높은 해상도 빛 세기 영상을 변환하는 스팩트럴 평가 모듈을 포함한다. 상기 시스템은 상기 스팩트럴 증강 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 높은 해상도 깊이 영상 생성 모듈을 더 포함한다.
도 1은 본 발명의 일실시예에 따른 다차원 영상 생성의 모범적인(exemplary) 절차를 도시한 도표(diagram)이다.
도 2는 상기 도 1의 높은 해상도 영상을 생성하는 절차를 도시한 도표이다.
도 3은 본 발명의 일실시예에 따른 다차원 영상 생성 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 스팩트럴 증강 영상으로 2차원 높은 해상도 빛 세기 영상을 변환하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 3차원 낮은 해상도 깊이 영상에 기초하여 높은 해상도 깊이 영상을 생성하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 다차원 영상 생성 장치를 도시한 블록도(block diagram)이다.
도 7은 의학 응용에서 사용하기에 적합한 중요한 증강 시각 시스템을 도시한 블록도이다.
본 발명의 다양한 측면과 특징은 도면과 연관되어 따라오는 설명과 첨부된 청구항으로부터 보다 분명해질 것이다. 도면에서 참조번호는 동일하거나, 기능적으로 유사한 요소(elements)를 나타낸다. 아래 설명에서 구체적인 사항은 공개된 방법과 장치의 이해를 통해 제공된다. 그러나, 상기 공개된 방법과 장치에서 상기 구체적인 사항 없이 실행되는 것은 이 기술분야의 당업자에 의해 이해될 것이다. 예를 들어, 전기의 구성요소는 불필요한(unnecessary) 사항에서 정확한 측면을 모호하게 하지 않기 위해 블록도로 나타낼 수 있다. 다른 예로서, 구성요소, 다른 구조, 및 기술은 정확한 측면을 설명하기 위한 사항을 나타낼 수 있다.
정확한 측면은 흐름도, 플로우 도표(flow diagram), 구조 도표 또는 블록도로 묘사된 과정으로서 설명될 것이다. 비록 흐름도가 순차적인 과정으로서 동작하는 것으로 묘사하고 있지만, 많은 동작은 병렬적 또는 동시에(concurrently), 그리고 반복적인 과정으로 수행될 수 있다. 게다가, 상기 동작의 순서는 다시 배열될 수 있다. 절차는 동작이 완전할 때, 종료된다. 절차는 방법, 기능(function), 프로스듀어(procedure), 서브루틴(subroutine), 서브프로그램(subprogram)에 대응될 수 있다. 절차가 기능(function)에 대응될 때, 종료는 기능을 호출하거나, 주요 기능으로 기능을 리턴하는 것에 대응된다.
본 발명의 일실시예에 따른 장면에서 객체의 다차원 영상 생성 방법 및 시스템을 제공한다. 본 발명의 일실시예에 따르면, 2차원 높은 해상도 영상은 상기 장면의 세그먼트된 객체로 만들어진 선택된 채널의 스팩트럴 증강 영상으로 변환된다. 이후, 상기 객체의 높은 해상도 깊이 영상은 스팩트럴 증강 영상과 3차원 낮은 해상도 깊이 영상에 기초하여 생성된다. 비록 수술에서 영상 지도의 모범적인 맥락(context)에서의 본 발명의 일실시예에 따른 방법이긴 하지만, 상기 방법은 다른 응용에 동일하게 적용된다.
도 1은 본 발명의 일실시예에 따른 다차원 영상 생성의 모범적인(exemplary) 절차를 도시한 도표(diagram)이다. 실시예는 도면의 목적을 위해 수술의 맥락에서 묘사될 것이며, 그러나, 본 발명이 실시예로 인해 제한되지 않는다. 모범적인 실시예로, 증강 시각은 위암 환자를 수술하는 의사(외과의사, 내과의사 포함)에게 제공된다.
도 1을 참고하면, 장면(102)은 깊이 영상 시스템(104)에 의해 캡쳐(captured)되고, 깊이 영상 시스템(104)은 낮은 공간 해상도 깊이 영상(106)을 생성한다. 낮은 해상도란 나중에 나오는 높은 해상도 빛 세기 영상(112)의 해상도보다 낮은 해상도를 참조한다. 해상도(resolution)는 카메라와 같은 영상 시스템에서 캡쳐링 센서 배열의 평면에서 공간 해상도를 참조한다. 상기 해상도는 어떤 광학(optics), 센서, 처리부(processing unit)과 같은 영상 시스템에 의해 결정되고, 공간적인 문제일 수 있으며, 상기 센서 배열에서 픽셀 수에 의해 단순히 결정되지 않는다.
장면(102)은 임의의(arbitrary), 정지된, 또는 움직이는 장면일 수 있다. 상기 장면은 관심있는 다차원 영상의 시청자(viewer)인 객체(object)를 포함할 수 있다. 객체는 상기 장면의 관심있는 어떤 영역(region)을 참조한다. 예를 들어, 의학 응용(medical application)에서, 장면(102)은 수술 또는 검사(examination)하는 환자일 수 있다. 상기 객체는 수술 또는 검사하는 상기 환자 신체 대상의 일부분일 수 있으며, 예컨대, 연식의(non-rigid) 기관 조직의 부분으로 심장, 간, 폐, 췌장을 포함한다. 그러나, 본 발명의 일실시예는 의학 응용에 의해 제한받지 않는다. 모범적인 일실시예로, 상기 장면은 상기 환자의 위이고, 상기 위의 암 조직인 관심 객체이다.
깊이 영상 시스템(104)은 빛 세기 대신 깊이 정보를 부호화(encode)한 영상 장치이다. 예를 들어, 깊이 영상 시스템(104)은 각각의 장면(102)으로 거리를 나타낸 정보를 직접적으로 부호화하거나, 거리 정보를 빠르게 추정하는 시스템 등의 카메라를 포함한다. 깊이 영상 시스템(104)은 일반적인(conventional) RGB 카메라보다 전형적으로 낮은 공간 해상도를 갖는 깊이 정보의 배열을 생성한다. 예를 들어, 깊이 영상 시스템(104)은 낮은 공간 해상도(예컨대, 거리에 의존적인 마이크로미터(micrometer) 해상도)를 갖는 3차원 장면을 실시간으로 캡쳐하는 깊이 카메라(depth cameras)를 포함할 수 있다. 깊이 카메라는 장치 시각, 자율적 로봇공학(autonomous robotics), 상호작용적인 비디오 게임, 보안과 감시, 동작 인식, 자동동작(automotive), 생체인식(biometrics, 예컨대, 얼굴 인식), 생체역학(biomechanics) 분석, 그리고 커스텀 정형외과(custom orthopedics)에서의 응용에 적합하다. 깊이 카메라는 크고 무겁고(cumbersome), 계산 프로세싱이 무거운 입체 시스템이나 시간이 오래 걸리는(time consuming) 전형적인 3차원 스캐닝 기술에서, 실시간 응용을 훨씬 더 효율적으로 수행할 때 제안한다.
깊이 카메라의 일례로서, 스위스 취히리에 있는 메사(Mesa) 이미징 AG(www.mesa-imaging.ch)에 의해 제조된 SR3000 모델이다. SR3000 카메라는 데카르트(Cartesian) 좌표계 출력(x, y, z 좌표계)과 연관된 QCIF 해상도(176X144 픽셀)를 갖는 비디오 프레임율에서 실시간으로 3차원 장면을 캡쳐한다. 상기 SR3000 카메라는 ToF(Time of Flight) 방식에 기초하여 850mm 적외선 광 소스로 통합(integrated)하고, 조절하는 동작을 한다. 발광(emitted light)은 상기 장면의 객체에 의해 반사되고, 도착의 정확한 시간이 영상 센서의 각 픽셀에 의해 독립적으로 측정되는 카메라의 뒤로 이동한다. 상기 카메라는 외부 조명(lighting) 상태 하에 동작할 때 적합하다. 상기 SR3000 카메라는 윈도우, 리눅스, 맥 운영체제(Mac OS) 컴퓨터 동작 시스템을 위한 완벽한 시각화 소프트웨어 프로그램에 제안된다. 상기 SR3000 카메라는 실시간 깊이 맵을 간단히(straightforward) 측정할 수 있는 USB(Universal serial Bus)를 통해 쉽게 연결될 수 있다.
장면(102)은 배열 영상 시스템(108)에 의해 캡쳐된다. 배열 영상 시스템(108)은 높은 해상도 빛 세기 영상으로서 참조되는 낮은 공간 해상도 깊이 영상(106)보다 높은 해상도를 갖는 장면(102)의 적어도 하나의 2차원 디지털 대표(representation)를 생성한다. 높은 해상도란 낮은 해상도 깊이 영상(106)의 해상도보다 높은 해상도를 의미한다. 일실시예로, 2차원 높은 해상도 빛 세기 영상(112)은 2, 3 또는 4개의 채널로 구성된다. 일실시예로, 2차원 높은 해상도 빛 세기 영상(112)은 선택된 파장의 전기적 밴드패스로 구성한다.
배열 영상 시스템(108)은 디지털 카메라로서 적어도 하나의 2차원 영상 수집(acquisition) 장치를 포함하는 높은 공간 해상도를 제안한다. 상기 영상 수집 장치는 대상(예컨대, 장면)으로부터 반사된 빛을 수집하는 렌즈, 입사광(incident light)을 걸러내는 하나 이상의 필터, 입사광을 감지하는 사진부(photographing unit), 감지된 빛을 변환하는 영상 신호 처리부를 포함할 수 있지만, 실시예에 의해 제한되지 않는다. 실시예로, 상기 디지털 카메라는 세 개 이상의 뚜렷한(distinct) 광학 필터를 포함한다. 다른 실시예로, 상기 디지털 카메라는 네 개를 넘지 않는 뚜렷한 광학 필터를 포함한다.
본 발명의 모범적인 일실시예에 따르면, 배열 영상 시스템(108)은 일반적인 RGB 카메라를 포함한다. 확실한 실시예로, 상기 카메라는 넓은 대역 광학 필터를 포함한다. 적절한 오프라인 교정과 상기 RGB 카메라에 의해 캡쳐된 영상은 적절한 스팩트럴 평가 소프트웨어를 이용하여 스팩트럴 영상을 평가한다. 스팩트럴 영상은 빛의 다른 파장의 중심에 정상(peak) 대역폭과 연관된 필터에 의해 캡쳐된 각각의 빛 세기 영상의 세트를 참조한다. 모범적인 스팩트럴 평가 시스템은 플럭스데이터(Fluxdata)에서 제공한 FD-1665 3-CCD 다중 스팩트럴 카메라이다. 실시예로, 넓은 대역 광학 필터는 가시적인 빛의 RGB 카메라에 의해 캡쳐된 영상으로부터 구성된 좋은 스팩트럴 영상과 같은, 전체 스팩트라(spectra)를 커버하고, 오버랩하는 것으로 선택된다. 실시예로, RGB 카메라는 안정적이고 지속적인 조도 아래서 매끄러운(smooth) 스팩트럴 빛(radiance) 곡선을 갖는다.
높은 해상도 빛 세기 영상(112)은 스팩트럴 평가 렌더링 모듈(114)에 의해 처리된다. 스팩트럴 평가 렌더링 모듈(114)은 스팩트럴 대역의 조합이나 채널로 참조되는 선택된 스팩트럴 대역을 위한 스팩트럴 반사도 정보를 포함하는 2차원(2D) 스팩트럴 증강 영상(118) 안에 높은 해상도 빛 세기 영상을 변환한다.
본 발명의 모범적인 실시예로, 2차원 스팩트럴 증강 영상(118)을 위한 대역이나 대역의 조합은 시청자로부터 수신된 사용자 입력에 기초하여 렌더링 제어 모듈(116)에 의해 선택된다. 상기 사용자 입력은 상기 장면에서 그 또는 그녀의 관심 객체를 나타내거나 묘사하는 정보를 포함한다. 렌더링 제어 모듈(116)은 관심 영역의 스팩트럴 반사도 속성(properties)에 의존하여 2차원 스팩트럴 증강 영상(118)을 위한 대역이나 대역의 조합을 선택한다. 대역이나 대역의 조합은 서라운딩 영역(surrounding region)과 상기 관심 객체 사이의 차이점을 강조하는 결과인 스팩트럴 증강 영상(118)을 선택함으로써, 장면에서 세그먼트된 객체와 확인된 장치나, 시청자를 위해 쉽게 만들질 수 있다. 실시예로, 전형적(typical) 객체의 리스트와 선택된 해당 대역은 시스템에 저장된다. 렌더링 제어 모듈(116)은 상기 리스트의 상기 객체를 손쉽게 룩업(look up)하고, 해당 대역 셋팅을 검색(retrieve)한다.
모범적인 내용에서, 의사는 위암 환자의 수술을 수행하고 있다. 수술에서, 상기 의사는 건강한 환자 조직으로부터 암적 조직을 구별하는 증강 관점(view)을 갖기를 원한다. 그는 렌더링 제어 모듈(116)에 의해 제공된 메뉴에서 "위암"을 선택할 수 있다. 렌더링 제어 모듈(116)은 위암의 관점을 높이는 것을 도와주는 저장된 파장 셋팅을 찾아낸다. 렌더링 제어 모듈(116)은 상기 선택된 파장 셋팅의 스팩트럴 평가 렌더링 모듈(114)을 형성한다. 스팩트럴 증강 영상(118)은 상기 장면에서의 위암을 세그먼트하고, 식별하는 의사를 위해 쉽게 만든다.
스팩트럴 평가 렌더링 모듈(114)은 대역의 조합이나 선택된 스팩트럴 대역의 스팩트럴 영상 안에 높은 해상도 빛 세기 영상(112)을 변환할 수 있는 적합한 하드웨어 또는 소프트웨어일 수 있다. 실시예로, 스팩트럴 평가 렌더링 모듈(114)은 선택된 대역이나 채널의 영상을 생성하는 상기 스팩트럴 영상을 필터하고, 높은 해상도 빛 세기 영상(112)으로부터 평가 스팩트럴 영상을 생성한다. 실시예로, 상기 스팩트럴 영상은 적어도 3개 채널의 영상이다.
장면의 상기 스팩트럴 반사도는 다차원 공간에서 나타날 수 있다. 획득하고 나면(Once obtained), 상기 장면의 스팩트럴 반사도는 각 빛의 파장에 대해 얼마나 반사되는지 확인할 수도 있다. 영상은 오직 3 채널을 가진 일반적인 RGB 카메라에 의해 찍힌다. 3차원 공간으로부터 다차원 공간으로의 평가는 스팩트럴 반사도의 통계적 분배에 기초하여 확인된 스팩트럴 반사도의 원칙 구성요소를 이용하여 취득될 수 있다. 아래 접근에서, 스팩트럴 반사도는 원칙 구성요소 벡터의 선형 조합으로서 표현될 수 있다. 일본인 여자 피부의 스팩트럴 반사도는 1996년 12월에, 치바(chiba) 대학 테시스(Thesis) 박사, "컬러 모습(appearance) 모델에 기초한 얼굴 패턴과 내시경 영상의 컬러 해상도", 를 쓴 Francisco Imai에 의해 피부의 스팩트럴 반사도의 단지 3개의 원칙 구성요소들을 이용하여 99.5% 정밀도로 평가될 수 있다. 이 연구 결과는 넓은 인구의 피부 색상을 일반화할 수 있다.
넓은 대역 멀티 채널 영상 캡쳐를 이용한 장면 영상 수집과 스팩트럴 평가 방법은 전체적으로 참조에 의해 통합된, 명칭이 "넓은 대역 멀티 채널 영상 캡쳐를 이용한 장면 영상 수집과 스팩트럴 평가 방법 및 시스템", 인 2000년 10월 20일에 출원된 미국 특허 번호 09/692,923을 통해 설명된다. 3 채널 빛 세기 영상으로부터 스팩트럴 영상 평가 방법은 전체적으로 참조에 의해 통합된, 1999년, 일본 시바의 시바 대학교의 디지털 수집을 위한 멀티 스팩트럴 영상과 컬러 재생에서의 국제 심포지엄의 절차 중 42-49 페이지에서, 3색 디지털 카메라를 이용해 스팩트럴 평가하는 Francisco Imai와 R. S. Berns에 의해 설명된다.
낮은 해상도 깊이 영상(106)은 높은 해상도 깊이 영상의 결과와 높은 해상도 깊이 영상 생성 모듈(124)에 의해 2차원 높은 해상도 빛 세기 영상(112)과 결합한다. 이 절차에서, 상기 스팩트럴 증강 영상(118)은 관심 객체를 선택한다. 보다 구체적인 사항은 도 2를 참조하여 설명할 것이다.
선택적으로(optionally), 높은 해상도 깊이 영상(126)은 3차원 높은 해상도 스팩트럴 영상(132)에서의 결과로서 증강 볼륨 생성 모듈(128)에 의해 스팩트럴 증강 영상(118)과 결합한다. 결과로서, 깊이 영상 시스템(104)과 배열 영상 시스템(108)에 의해 캡쳐된 영상은 5차원 데이터(3차원의 볼륨 이점 시간 범위(domain)와 스팩트럴 범위)를 생성한 비디오 프레임으로 확대한다. 실시예로, 증강 볼륨 데이터는 시차(parallax)에 기초하여 일반적인 2차원으로 표시되는 깊이 착각(illusion)을 만드는 깊이 정보에 기초하여 만들 수 있다.
실시예로, 증강 볼륨 생성 모듈(128)은 관찰자의 머리나 시청자의 트랙킹(tracking) 움직임과 높은 해상도 깊이 영상(126)을 이용하여 3차원 컨텐트의 적절한 관점(perspective)으로 만든다. 게다가, 관심 영역의 특별한 스팩트럴 대역의 동시에 3차원 렌더링하는 시청자에게 제공에 의해, 위에서 추출한 3차원 정보에서 스팩트럴 증강 영상(118)으로부터 휘도 정보(흑/백 스팩트럴 정보나 RGB 컬러 정보)를 삽입하는 것이 가능하다. 이 결과는 3차원 높은 해상도 스팩트럴 영상(132)이다.
배열 영상 시스템(108), 스팩트럴 평가 렌더링 모듈(114)은 오프라인 교정(calibration) 프로스듀어(122)에 의해 형성된다. 상기 교정은 배열 영상 시스템(108)에 의해 캡쳐된 높은 해상도 빛 세기 영상(112)으로부터 평가된 좋은 스팩트럴 영상을 만들어내는 것이다. 실시예로, 상기 교정은 알려진 스팩트럴 반사도 인자(일반적인 컬러 체커(checkers))에 대한 하나 이상의 객체의 캡쳐된 영상을 포함하고, 상기 알려진 스팩트럴 반사도 인자(factors)에 의해 특징되는 스팩트럴 반사도로 캡쳐된 영상으로부터 변환하여 만들어낼 수 있다. 모범적인 내용으로, 관심 영역은 환자의 위에 대한 암적 조직이고, 상기 교정은 알려진 스팩트럴 반사도 인자에 대한 대상으로 인간 피부를 이용하여 수행된다.
모범적인 실시예로, 배열 영상 시스템(108)은 일반적인 RGB 카메라를 포함한다. 다른 실시예로, 배열 영상 시스템(108)은 컬러 필터 배열과 스팩트럴 영상 캡쳐를 위해 디자인된 최적의 광학 필터를 포함하지 않는 흑백(black and white, BW) 카메라를 포함하는 영상 시스템으로 디자인될 수도 있다. 디자인된 영상 시스템은 각각의 넓은 대역 광학 필터나 좁은 대역 광학 필터를 갖는다. 실시예로, 흑백 카메라는 각각의 다른 것으로부터 상이한 스팩트럴 빛(radiance) 속성을 가진 성공적인 조도에 대한 동일한 장면의 사진을 찍는다.
디자인된 영상 시스템은 오프라인 교정 프로스듀어(122)에 의해 수행된 교정이 또한 필요하다. 또한, 스팩트럴 평가 렌더링 모듈(114)은 디자인된 영상 시스템에 의해 캡쳐된 높은 해상도 빛 세기 영상(112)으로부터 2차원 스팩트럴 증상 영상(118)을 적절히 생성하는 절차의 조절이 필요하다. 5개 채널 멀티 스팩트럴 카메라를 위한 필터 세트는 2001년 핀란드에 개최한 멀티 스팩트럴 컬러 과학의 세번째 국제 회의 절차 중 13-16페이지, 스팩트럴 정밀도와 비색법(colorimetric)를 위해 디자인된 디지털 카메라 필터, 를 쓴 F. H Imai, S. Quan, M. R. Rosen and R. S. Berns에 의해 설명된 높은 질 스팩트럴 성과를 가진다.
도 2는 상기 도 1의 높은 해상도 영상을 생성하는 절차를 도시한 도표이다. 높은 해상도 깊이 영상 생성 모듈(124)은 낮은 해상도 깊이 영상(106), 스팩트럴 증강 영상(118)과 높은 해상도 빛 세기 영상(112)에 기초하여 높은 해상도 깊이 영상(126)을 생성한다.
도 2를 참조하면, 높은 해상도 깊이 영상 생성 모듈(124)은 관심 빛 세기 영역(1244)을 세그먼트한 결과로서, 높은 해상도 빛 세기 영상(112)에서 관심 영역이나, 객체를 결정하는 스팩트럴 증강 영상(118)을 이용하는 관심 세그먼트 영역(1242)을 포함한다. 확실한 실시예로, 관심 객체는 기계에 의해 자동적으로 세그먼트되거나, 확인될 수 있다. 또한, 상기 관심 객체는 인간의 시각에 기초하여 관심 객체를 세그먼트한 인간 사용자를 디스플레이하기 위한 스팩트럴 증강 영상(118)의 렌더링에 의해 세그먼트되거나 확인될 수도 있다. 세그먼트된 관심 빛 세기 영역(1244)은 확인된 관심 객체에 해당하고, 높은 해상도 빛 세기 영상(112)으로부터 추출된 부분이다.
영상 변환 모듈(1246)은 낮은 해상도 깊이 영상(106)과 세그먼트된 관심 빛 세기 영역(1244)과 연관이 있다. 실시예로, 이는 세그먼트된 관심 객체에 해당하는 높은 해상도 깊이 영상의 일부를 추출한 표시(marker)로서 세그먼트된 관심 빛 세기 영역을 이용하고, 낮은 해상도 깊이 영상(106)으로부터 높은 해상도 깊이 영상을 첫번재로 생성하는 것에 의해 수행될 수 있다. 높은 해상도 깊이 영상은 보간에 의해 낮은 해상도 깊이 영상으로부터 생성될 수 있다. 또한, 이것은 상기 높은 해상도 깊이 영상의 픽셀에 해당하는 낮은 해상도 깊이 영상으로부터 픽셀값을 복사하여 생성될 수 있다.
상기 도 1, 2를 참조하여 설명된 모범적인 실시예는 일반적인 2차원 표시에서 관심 객체인 환자 조직(예컨대, 환자 위의 암적 영역)의 실시간 볼륨 데이터를 의사가 보는 것을 허락한다. 관심 목적은 적절한 스팩트럴 대역의 스팩트럴 영상으로부터 세그먼트된다. 이러한 실시예는 인간 사용자의 시각을 향상시키기 위한 어떤 응용에도 이용될 수 있다.
도 3은 본 발명의 일실시예에 다른 다차원 영상 생성 방법을 도시한 흐름도이다. 실시예에 따라, 방법의 확실한 단계들은 순서를 재배열되거나, 함께 합쳐지거나, 제거될 수 있다.
방법(300)은 단계 302에서, 3차원 낮은 해상도 깊이 영상과 2차원 높은 해상도 빛 세기 영상을 제공하는 것부터 시작한다. 3차원 낮은 해상도 깊이 영상과 2차원 높은 해상도 빛 세기 영상은 같은 장면에서 캡쳐된다. 방법(300)은 상기 3차원 낮은 해상도 깊이 영상을 캡쳐하는 단계를 선택적으로(optionally) 포함한다. 방법(300)은 상기 2차원 높은 해상도 빛 세기 영상을 캡쳐하는 단계를 선택적으로 포함한다.
단계 304로 이동하여, 높은 해상도 빛 세기 영상은 대역의 조합이나 선택된 스팩트럴 대역을 위한 스팩트럴 반사도 정보를 포함하는 스팩트럴 증강 영상으로 변환한다. 영상 변환은 이하 도 4를 참조하여 자세하게 설명한다.
다음으로 단계 306에서, 관심 객체는 스팩트럴 증강 영상을 확인한다. 모범적인 실시예로, 단계 306은 관심 객체에 해당하는 높은 해상도 빛 세기 영상의 일부를 추출하는 것을 포함할 수 있다.
단계 308로 이동하여, 상기 객체의 높은 해상도 깊이 영상은 낮은 해상도 깊이 영상에 기초하여 생성된다. 단계 308은 이하 도 5를 참조하여 상세히 설명한다.
다음 선택적인 단계 312에서, 상기 객체의 3차원 높은 해상도 스팩트럴 영상은 상기 스팩트럴 증강 영상과 상기 높은 해상도 깊이 영상에 기초하여 생성된다. 실시예로, 상기 객체의 3차원 높은 해상도 스팩트럴 영상은 상기 스팩트럴 증강 영상과 상기 높은 해상도 깊이 영상을 조합하여 생성된다. 결과로서, 영상은 5차원 영상(3차원의 볼륨 이점 시간 범위와 스팩트럴 범위)을 생성하는 비디오 프레임으로 확장된 깊이 영상 시스템과 배열 영상 시스템에 의해 캡쳐된다. 실시예로, 증강 볼륨 영상은 시차에 기초한 일반적인 2차원 표시의 깊이 착각을 만듬으로써, 깊이 정보에 기초하여 만들어진다(render).
도 4는 본 발명의 일실시예에 따른 스팩트럴 증강 영상으로 2차원 높은 해상도 빛 세기 영상을 변환하는 방법을 도시한 흐름도이다. 실시예에 따라, 상기 방법의 확실한 단계는 순서가 재배열되거나, 함께 합쳐지거나, 제거될 수 있다. 방법(304)의 단계 3042에서, 스팩트럴 영상은 2차원 높은 해상도 빛 세기 영상에 기초하여 추정된다. 실시예로, 상기 스팩트럴 영상은 스팩트럴 반사도의 통계적인 분배(distribution)에 기초하여 확인될 수 있는 스팩트럴 반사도의 원리적인 성분에 의하여 수행된 높은 해상도 빛 세기 영상으로부터 추정된다. 이러한 접근으로, 상기 스팩트럴 반사도는 원리적인 성분 벡터의 선형 조합으로서 표현된다. 모범적인 실시예로, 광대역 필터를 가진 일반적인 카메라 시스템에서 사용된다. 교정 프로세서는 상기 원리적인 성분 벡터의 스칼라스(scalars)한 카메라 시스템에 의해 캡쳐된 빛 세기 영상으로부터 변환되어 만들어진다. 상기 교정 프로세서에서, 상기 카메라 시스템은 알려진 스팩트럴 반사도와 타켓의 테스트(test) 영상을 캡쳐한다. 상기 바람직한 변환은 테스트 빛 세기 영상으로부터 알려진 스팩트럴 반사도로의 변환을 뒤집는 것에 의해 계산된다.
단계 3044로 이동하여, 상기 스팩트럴 영상은 선택된 채널의 빛 세기 영상을 추정하는 것을 필터한다. 상기 채널은 상기 2차원 빛 세기 영상에서 보다 상기 스팩트럴 증강 영상에서 더 뚜렷한 서라운딩 영역과 관심 객체 사이의 차이점을 만들어 다양하게 선택될 수 있다. 또한, 상기 채널은 관심 객체의 스팩트럴 반사도 속성에 적어도 의존하는 사용자 입력에 기초하여 선택될 수 있다.
도 5는 본 발명의 일실시예에 따른 3차원? 낮은 해상도 깊이 영상에 기초하여 높은 해상도 깊이 영상을 생성하는 방법을 도시한 흐름도이다. 실시예에 따라, 상기 방법의 확실한 단계는 순서를 재배열하거나, 함께 합쳐지거나, 삭제될 수 있다.
방법(308)의 단계 3082부터 시작하여, 높은 해상도 깊이 영상은 보간에 의해 낮은 해상도 깊이 영상으로부터 생성된다. 다른 실시예로, 상기 높은 해상도 깊이 영상은 상기 높은 해상도 깊이 영상의 픽셀에 해당하는 상기 낮은 해상도 깊이 영상으로부터 픽셀값을 복사하여 생성될 수 있다.
단계 3084로 이동하여, 관심 객체에 해당하는 부분은 상기 높은 해상도 깊이 영상으로부터 추출된다. 이는 상기 높은 해상도 깊이 영상을 필터한 표시(marker)로서 상기 관심 객체에 해당하는 높은 해상도 빛 세기 영상의 일부를 추출하는데 이용한다.
도 6은 본 발명의 일실시예에 따른 다차원 영상 생성 장치를 도시한 블록도(block diagram)이다. 실시예에 따라, 상기 방법의 확실한 단계는 순서를 재배열하거나, 함께 합쳐지거나, 삭제될 수 있다.
여기서, '모듈'은 수단으로 이용하고 있으나, 어떤 업무를 수행하는 어떤 조합이나, 하드웨어, 또는 소프트웨어로 제한되지 않는다. 상기 모듈은 프로그램된 게이트(gate) 배열, 마이크로 컨트롤러, 디지털 신호 프로세서와 같은 어떤 적절히 특별한 목적의 마이크로 프로세서나, 어떤 적절한 일반적인 목적의 하나 또는 멀티칩 마이크로 프로세서를 포함하는 프로세서(processor)일 수 있다. 일반적으로, 프로세서는 하나 이상의 소프트웨어 어플리케이션을 실행하는 것으로 구성될 수 있다.
모듈은 하나 이상의 프로세서를 실행하는 것으로 구성되고, 주소 저장 매체(addressable storage medium)를 포함하여 구성될 수 있다. 상기 저장 매체는 예컨대, 펌웨어를 저장한 메모리 가능한, 데이터 저장에 적합한 어떤 장치이거나, 컴퓨터 기록 매체일 수 있다. 예를 들어, 모듈은 소프트웨어 성분, 객체 지향(oriented) 소프트웨어 성분, 클래스 성분과 업무 성분, 프로세스, 기능, 속성, 프로스듀어(procedures), 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 전기회로망(circuitry), 데이터, 데이터베이스, 데이터 구조, 테이블, 배열, 변수와 같은 성분(components)을 포함할 수 있다. 성분과 모듈을 제공하는 목적(functionality)은 작은(fewer) 성분과 모듈을 조합하거나, 추가의 성분과 모듈로 더 분리될 수 있다.
도 6을 참고하여, 시스템(600)은 장면의 낮은 해상도 깊이 영상(106)을 캡쳐하는 깊이 영상 시스템(104)을 포함할 수 있다. 깊이 영상 시스템(104)은 빛 세기 대신에 깊이 영상을 부호화하는 영상 장치이다. 예를 들어, 깊이 영상 시스템(104)은 장면(102)의 거리를 확인하는 정보를 직접적으로 부호화하거나, 상기 거리 정보를 신속히 추정할 수 있는 시스템인 카메라를 포함할 수 있다. 깊이 영상 시스템(104)은 변환 RGB 카메라보다 낮은 공간 해상도에서의 전형적인 깊이 정보의 배열을 생성한다. 예를 들어, 깊이 영상 시스템(104)은 거리에 의존적인 해상도를 가진 마이크로미터(micrometer)와 같이, 낮은 공간 해상도에서 실시간으로 3차원 장면을 캡쳐하는 깊이 카메라를 포함할 수 있다.
시스템(600)은 같은 장면의 높은 해상도 빛 세기 영상(112)을 캡쳐하는 배열 영상 시스템(108)을 더 포함할 수 있다. 배열 영상 시스템(108)은 디지털 카메라와 같은 적어도 하나의 2차원 영상 수집 장치를 포함하는 높은 공간 해상도를 제안한다. 상기 영상 수집 장치는 대상(예컨대, 장면)으로부터 반사된 빛을 수집하는 렌즈, 입사광을 걸러내는 하나 이상의 필터, 입사광을 감지하는 사진부, 감지된 빛을 변환하는 영상 신호 처리부를 포함할 수 있지만, 실시예에 의해 제한되지 않는다. 실시예로, 상기 디지털 카메라는 총 세게 이상의 뚜렷한 광학 필터를 가진다. 다른 실시예로, 상기 디지털 카메라는 총 네 개를 넘지않는 뚜렷한 광학 필터를 포함한다.
스팩트럴 평가 렌더링 모듈(114)은 렌더링 제어 모듈(116)의 지시에 기초하여 배열 영상 시스템(108)으로부터, 대역의 조합이나 선택된 스팩트럴 영상을 위한 스팩트럴 반사도 정보를 포함하는 스팩트럴 증강 영상(118)으로, 높은 해상도 빛 세기 영상(112)을 변환한다. 실시예로, 스팩트럴 평가 렌더링 모듈(114)은 높은 해상도 빛 세기 영상(112)으로부터 추정된 스팩트럴 영상을 생성하고, 선택된 채널이나 대역의 영상을 생성하는 스팩트럴 영상을 필터한다. 실시예로, 상기 스팩트럴 영상은 적어도 세 개 채널의 영상이다.
렌더링 제어 모듈(116)은 시청자로부터 수신된 사용자 입력에 기초하여 2차원 스팩트럴 증강 영상을 위한 선택된 대역을 결정한다. 상기 사용자 입력은 상기 장면의 관심 객체를 설명하거나, 정보를 확인하는 것을 포함한다. 렌더링 제어 모듈(116)은 관심 객체의 상기 스팩트럴 반사도 속성에 의존하는 상기 2차원 스팩트럴 증강 영상(118)을 위한 대역의 조합이나, 대역을 선택한다. 대역이나 대역의 조합은 상기 장면의 객체를 확인하는 기계이거나, 시청자를 위해 쉽게 만들어진 서라운딩 영역과 관심 객체 사이의 차이점을 강조한다. 실시예로, 전형적인 객체의 리스트나 선택된 해당 대역은 시스템(600)에 저장된다. 렌더링 제어 모듈(116)은 상기 리스트에서 객체를 손쉽게 룩업하고, 해당 대역 셋팅을 검색할 수 있다.
높은 해상도 깊이 영상 생성 모듈(124)은 스팩트럴 증강 영상(118)에 기초하여 2차원 높은 해상도 빛 세기 영상(112)과 낮은 해상도 깊이 영상(106)을 조합한다. 높은 해상도 깊이 영상 생성 모듈(124)은 2차원 높은 해상도 빛 세기 영상(112)에서 관심 영역이나 객체를 결정하는 스팩트럴 증강 영상(118)을 사용하는 관심 세그먼트 영역(1242)을 포함한다.
높은 해상도 깊이 영상 생성 모듈(124)은 확인된 객체의 높은 해상도 깊이 영상을 생성하는 영상 변환 모듈(1246)을 더 포함한다. 실시예로, 이것은 세그먼트된 관심 객체에 해당하는 상기 높은 해상도 깊이 영상의 일부를 추출하고, 낮은 해상도 깊이 영상으로부터 높은 해상도 깊이 영상을 첫번째로 생성하는 것에 의해 수행될 수 있다. 상기 높은 해상도 깊이 영상은 보간에 의해 낮은 해상도 깊이 영상으로부터 생성된다. 또한, 이것은 높은 해상도 깊이 영상의 픽셀에 대응하는 낮은 해상도 깊이 영상으로부터 픽셀값을 복사하여 생성될 수 있다.
선택적으로, 시스템(600)은 3차원 높은 해상도 스팩트럴 대표(representation)를 생성하고, 스팩트럴 증강 영상(118)과 높은 해상도 깊이 영상(126)을 조합하는 증강 볼륨 생성 모듈(128)을 더 포함할 수 있다. 결과적으로, 배열 영상 시스템(108)과 깊이 영상 시스템(104)에 의해 캡쳐된 영상은 5차원 데이터(3차원 볼륨 이점 시간 범위와 스팩트럴 범위)를 생성하는 비디오 프레임으로 확대된다. 증강 볼륨 데이터는 시차에 기초한 일반적인 2차원 표시에서의 깊이 착각을 만듬으로써, 깊이 정보에 기초하여 만들어질 수 있다. 실시예로, 각각의 상기 3차원 낮은 해상도 깊이 영상과 상기 2차원 높은 해상도 빛 세기 영상은 비디오에서 복수의 영상을 포함하고, 상기 방법은 상기 영상을 거친 장면에서의 객체를 추적(track)하여 실시간으로 수행한다.
상기의 실시예들은 존재하는 문제점에서 다른 다양한 이점을 제공한다. 현재 3차원 영상의 하나의 제한은 일반적인 RGB 컬러 공간에서의 릴라이언스(reliance)이다. RGB 컬러 공간은 영상 휴대성을 제한하는 본질적인 표시 장치에 의존적이고, 즉, RGB 영상은 똑같이 보일 필요없는 두 개의 다른 장치로 표시된다. 상기 스팩트럴 영상은 좁은 이미징 대역을 사용하고, 상기 스팩트럴 샘플링을 감소에 의한 증가된 스팩트럴 판별(discrimination)을 제공함에 따라, 멀티플 채널(전형적인 6-30 채널)을 야기한다. 스팩트럴 이미징의 사용은 스팩트럴 반사도에서의 증가된 정확도(fidelity)를 허용한다. 그러나, 이는 타겟의 비고정된(non-static) 천성(nature) 때문에 수술과 같은 실시간 응용을 캡쳐링하는데 멀티플 채널을 이용하는 것은 비현실적이다. 전형적인 스팩트럴 이미징은 캡쳐된 영상 데이터의 다루기 힘든(intractable) 볼륨을 더 악화시킨다(exacerbate).
상기의 실시예들은 향상된 물리적으로 기반을 둔 체적(volumetric) 장면 대표를 제안한다. 스팩트럴 영상 시스템은 오직 2차원에서 상기 장면의 높은 스팩트럴 해상도, 비교적 높은 공간을 캡쳐할 수 있고, 깊이 카메라는 오직 낮은 공간 해상도에서 정밀도(확실한 거리 범위)를 갖는 깊이 정보를 캡쳐할 수 있다. 조합된 두 가지 이미지 양상에 의해 장면의 스팩트럴 속성과 높은 해상도 체적을 캡쳐할 수 있다.
또한, 상기의 실시예들은 개선된 객체 트랙킹(tracking)을 제공한다. 일반적인 2차원 카메라를 이용한 체적 객체 트랙킹을 위한 컴퓨터 시각 시스템은 일반적으로, 매우 계산에 집중함으로써, 현실적인 사용에 제한이 있다. 상기 스팩트럴 증강 영상은 인간 시지각(visual perception)과 대부분의 일반적인 카메라(기본적인 컬러 RGB에 기초한)보다 높은 공간 해상도를 제안함으로써, 관심 객체와 서라운딩 영역 사이의 컬러 속성의 교묘한(subtle) 차이점을 쉽게 구별할 수 있다. 이는 확인된 관심 영역에서의 3차원 트래킹을 포커싱하는 것을 허용한다. 게다가, 또한, 확실한 거리 범위를 갖는 정보를 칩에 포함한 상기 깊이 영상은 객체 트래킹을 스피드업(speed up)하고, 이는 폐쇄(occlusion) 효과를 결정하고, 배경 잡음을 제거하는 것을 허용한다. 실시예로, 각각의 상기 3차원 낮은 해상도 깊이 영상과 상기 2차원 높은 해상도 빛 세기 영상은 비디오에서 복수의 영상을 포함하고, 상기 방법은 상기 영상을 거친 장면의 객체 흔적(track)을 실시간으로 수행한다.
또한, 상기의 실시예들은 개선된 증강 인간 시각(vision)을 제공한다. 확실한 실시예로, 이는 관심 영역의 확실한 속성을 강조할 수 있는 파장을 선택 가능하게 함으로써, 더 뚜렷한 서라운딩 영역과 관심 영역 사이의 차이점을 만든다. 증강 영상은 상기 장면의 시각적 대표(representation)에서의 슈퍼임포즈(superimpose)하여 생성된다.
게다가, 시청자 렌더링 프로세싱은 가상 현실 시스템보다 더 몰입적 감상 경험을 만드는데 이용될 수 있다. 가상 현실 시스템에서, 의사는 트래깅 시스템의 정밀도(precision)에 완전히 의존한다. 상기 시스템의 어떤 이동은 치명적이지 않다면, 엄격한 결과를 갖는다. 상기의 실시예들에서, 더 나은 접근, 즉, 혼합된 현실 접근은 실제 장면의 상단에서 증강 정보를 오버랩할 수 있는 속이 다 비치는(see-through) 표시를 이용하여 환자를 보는 의사에게 허용된다.
도 7은 의학 응용에서 사용하기에 적합한 중요한 증강 시각 시스템을 도시한 블록도이다. 상기 시스템은 실례(illustration)을 위한 내용으로서 시각 증강 수술을 이용하여 설명할 것이고, 상기 시스템은 수술이나 의학 응용에 제한받지 않는다. 실시예는 시각 증강을 위한 어떤 적합한 응용에 동일하게 적용할 수 있다.
증강 시각 시스템(800)은 도 6을 참조하여 상기에서 설명한 그래픽스 시스템(600)을 포함한다. 그래픽스 시스템(600)은 장면(102)의 배열 영상 시스템과 깊이 영상 시스템에 의해 캡쳐된 영상에 기초하여 3차원 컨텐트(content)를 만들 수 있다. 모범적인 실시예로, 장면(102)은 수술 과정에 있는 환자일 수 있다.
증강 시각 시스템(800)은 시각 증강 모듈(816)을 더 포함할 수 있다. 모범적인 실시예로, 시각 증강 모듈(816)은 두부 장착형 디스플레이(802, HDD)를 갖는다. 디스플레이는 의사의 머리에 고정시켜 환자 머리의 움직임을 추적한다(track). 두부 장착형 디스플레이(802)는 의사 머리 위치에 있는 그래픽스 시스템(600)으로 정보를 전송하고, 머리 위치 정보를 이용하여 적절한 관점에서의 3차원 컨텐트를 렌더(render)한다. 3차원 컨텐트는 2차원 모니터(804)의 렌더링을 위해 두부 장착형 디스플레이(802)의 뒤로 보내진다.
또한, 두부 장착형 디스플레이(802)는 표면(surface)이 투명하고, 일측을 반사하는 광학 렌즈(806)를 포함한다. 사용자는 렌즈(806)를 통해 장면(102)의 직접 시각(808)을 갖는다. 또한, 렌즈(806)는 의사의 눈(808) 안에 모니터(804)에서 렌더된 영상을 반사함에 따라, 상기 장면의 의사 직접 시각에서의 그래픽스 시스템(600)에 의해 생성된 3차원 컨텐트를 슈퍼임포즈함으로써, 의사 시각을 증강시킨다.
상기에서 보는 바와 같이, 모범적인 실시예는 상기 환자의 직접 시각을 갖는 의사를 허용하는 동안 의사 시각을 증가시킨다.
상기 구체적인 설명은 다양한 실시예를 적용함으로써, 발명의 새로운 특징을 알려주고, 설명하며, 보여준다. 이는, 다양한 생략, 대용(substitution), 변화 및 세부 장치나 실례의 방법은 발명이 속해있는 기술분야에 의해 만들어질 수 있음으로 이해될 것이다. 발명의 범위는 상기 설명에서 보다 첨부된 청구항에 의해 확인된다. 청구항의 범위와 의미를 갖는 모든 변화는 발명의 범위 안에서 받아들인다(embraced).

Claims (23)

  1. 장면의 2차원 높은 해상도 빛 세기(light intensity) 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상을 제공하는 단계;
    상기 2차원 높은 해상도 빛 세기 영상을 선택된 채널의 스팩트럴 증강(spectral-augmented) 영상으로 변환하는 단계;
    상기 스팩트럴 증강 영상으로부터 객체를 세그먼트(segment)하는 단계; 및
    상기 스팩트럴 증강 영상과 상기 3차원 낮은 해상도 깊이 영상의 적어도 일부분에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 단계
    를 포함하는, 장면에서 객체의 다차원 영상 생성 방법.
  2. 제1항에 있어서,
    상기 스팩트럴 증강 영상과 상기 높은 해상도 깊이 영상에 기초하여 스팩트럴 정보와 볼륨으로 구성된 상기 객체의 3차원 높은 해상도 스팩트럴 영상을 생성하는 단계
    를 더 포함하는, 장면에서 객체의 다차원 영상 생성 방법.
  3. 제2항에 있어서,
    직접 시각(direct vision)에서 상기 3차원 높은 해상도 스팩트럴 영상을 슈퍼임포즈(superimpose)하여 상기 장면의 사용자 직접 시각을 증강하는 단계
    를 더 포함하는, 장면에서 객체의 다차원 영상 생성 방법.
  4. 제1항에 있어서,
    상기 객체는 의사 진찰이나 의료 수술에서의 인간 신체 부분이고,
    상기 높은 해상도 깊이 영상은 의사를 위한 증강 시각을 제공하는데 이용하는, 장면에서 객체의 다차원 영상 생성 방법.
  5. 제1항에 있어서,
    상기 객체는 연식의(non-rigid) 인간이나 동물 기관 조직으로 구성하는, 장면에서 객체의 다차원 영상 생성 방법.
  6. 제1항에 있어서,
    상기 2차원 높은 해상도 빛 세기 영상은 2, 3 또는 4개의 채널로 구성하는, 장면에서 객체의 다차원 영상 생성 방법.
  7. 제1항에 있어서,
    상기 2차원 높은 해상도 빛 세기 영상은 선택된 파장의 전기적 밴드패스로 구성하는, 장면에서 객체의 다차원 영상 생성 방법.
  8. 제1항에 있어서,
    상기 스팩트럴 증강 영상의 채널은,
    상기 2차원 높은 해상도 빛 세기 영상보다 뚜렷한(noticeable) 상기 스팩트럴 증강 영상에서의 서라운딩 영역(surrounding region)과 객체 사이의 차이점을 만들어 가변적으로 선택되는, 장면에서 객체의 다차원 영상 생성 방법.
  9. 제1항에 있어서,
    상기 채널은 상기 객체의 스팩트럴 반사도(reflectance) 속성(properties)에 따른 사용자 입력에 기초하여 선택되는, 장면에서 객체의 다차원 영상 생성 방법.
  10. 제1항에 있어서,
    상기 2차원 높은 해상도 빛 세기 영상을 선택된 채널의 스팩트럴 증강(spectral-augmented) 영상으로 변환하는 단계는,
    상기 2차원 높은 해상도 빛 세기 영상으로부터 적어도 3개의 채널을 갖는 스팩트럴 영상을 복원하는 단계; 및
    상기 선택된 채널의 영상을 생성하여 상기 스팩트럴 영상을 필터링하는 단계
    를 포함하는, 장면에서 객체의 다차원 영상 생성 방법.
  11. 제1항에 있어서,
    상기 객체의 높은 해상도 깊이 영상을 생성하는 단계는,
    상기 3차원 낮은 해상도 깊이 영상으로부터 깊이값의 보간에 의해 상기 장면의 높은 해상도 깊이 영상을 생성하는 단계; 및
    상기 높은 해상도 깊이 영상으로부터 객체를 세그먼트하는 단계
    를 포함하는, 장면에서 객체의 다차원 영상 생성 방법.
  12. 제1항에 있어서,
    각각의 상기 2차원 높은 해상도 빛 세기 영상과 상기 3차원 낮은 해상도 깊이 영상은 비디오에서 복수의 영상으로 구성하고,
    상기 방법은 영상을 거친(across) 장면에서 상기 객체를 추적하여 실시간으로 수행하는, 장면에서 객체의 다차원 영상 생성 방법.
  13. 장면의 2차원 높은 해상도 빛 세기(light intensity) 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상을 제공하는 수단;
    상기 2차원 높은 해상도 빛 세기 영상을 선택된 채널의 스팩트럴 증강 영상으로 변환하는 수단; 및
    상기 스팩트럴 증강 영상과 상기 3차원 낮은 해상도 깊이 영상의 적어도 일부분에 기초하여 상기 객체의 높은 해상도 깊이 영상을 생성하는 수단
    을 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  14. 제13항에 있어서,
    상기 스팩트럴 증강 영상으로부터 상기 객체를 세그먼트하는 수단
    을 더 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  15. 선택된 채널의 스팩트럴 증강 영상으로 장면의 2차원 높은 해상도 빛 세기 영상을 변환하는 스팩트럴 평가 모듈; 및
    상기 스팩트럴 증강 영상과 상기 장면의 3차원 낮은 해상도 깊이 영상에 기초하여 객체의 높은 해상도 깊이 영상을 생성하는 높은 해상도 깊이 영상 생성 모듈
    을 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  16. 제15항에 있어서,
    상기 스팩트럴 증강 영상으로부터 상기 객체를 세그먼트하는 객체 세그먼트 모듈
    을 더 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  17. 제15항에 있어서,
    상기 장면의 상기 3차원 낮은 해상도 깊이 영상을 생성하는 깊이 영상 모듈
    을 더 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  18. 제15항에 있어서,
    적어도 4개의 채널을 포함하고, 상기 장면의 2차원 높은 해상도 빛 세기 영상을 생성하는 배열 영상 모듈
    을 더 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  19. 제18항에 있어서,
    상기 배열 영상 모듈은,
    RGB 카메라로 구성되는, 장면에서 객체의 다차원 영상 생성 시스템.
  20. 제18항에 있어서,
    상기 배열 영상 모듈은,
    다양한 조도(illumination)로 영상을 생성하는 흑백 카메라로 구성되는, 장면에서 객체의 다차원 영상 생성 시스템.
  21. 제15항에 있어서,
    상기 스팩트럴 증강 영상과 상기 높은 해상도 깊이 영상에 기초하여 상기 객체의 3차원 높은 해상도 스팩트럴 영상을 생성하는 증강 볼륨 생성 모듈
    을 더 포함하고,
    상기 3차원 스팩트럴 영상은 스팩트럴 정보와 볼륨으로 구성되는, 장면에서 객체의 다차원 영상 생성 시스템.
  22. 제21항에 있어서,
    직접 시각에서의 상기 3차원 높은 해상도 스팩트럴 영상을 슈퍼임포즈(superimpose)하여 상기 장면의 사용자 직접 시각을 증강하는 시각 증강 모듈
    을 더 포함하는, 장면에서 객체의 다차원 영상 생성 시스템.
  23. 제15항에 있어서,
    상기 스팩트럴 평가 모듈은,
    세그먼트된 객체를 나타낸 사용자 입력에 기초하여 채널을 선택하는, 장면에서 객체의 다차원 영상 생성 시스템.
KR1020107026085A 2008-05-23 2009-05-21 다차원 영상 생성 방법 및 시스템 KR101608848B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US5592108P 2008-05-23 2008-05-23
US61/055,921 2008-05-23
US12/435,985 2009-05-05
US12/435,985 US8442355B2 (en) 2008-05-23 2009-05-05 System and method for generating a multi-dimensional image

Publications (2)

Publication Number Publication Date
KR20110016896A true KR20110016896A (ko) 2011-02-18
KR101608848B1 KR101608848B1 (ko) 2016-04-04

Family

ID=41340686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026085A KR101608848B1 (ko) 2008-05-23 2009-05-21 다차원 영상 생성 방법 및 시스템

Country Status (3)

Country Link
US (1) US8442355B2 (ko)
KR (1) KR101608848B1 (ko)
WO (1) WO2009142443A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891905B2 (en) 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
KR20150044730A (ko) * 2013-10-17 2015-04-27 삼성전자주식회사 3차원 모델 복원 시스템 및 방법

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5606120B2 (ja) * 2010-03-29 2014-10-15 富士フイルム株式会社 内視鏡装置
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8654152B2 (en) * 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8994792B2 (en) * 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
JPWO2012128069A1 (ja) * 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置および画像処理方法
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
TWI467516B (zh) * 2011-04-26 2015-01-01 Univ Nat Cheng Kung 色彩特徵擷取方法
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9019367B2 (en) * 2011-06-10 2015-04-28 Wuerth Elektronik Ics Gmbh & Co. Kg Method for dynamically detecting the fill level of a container, container therefor, and system for dynamically monitoring the fill level of a plurality of containers
EP2721828B1 (en) 2011-06-15 2015-07-15 Microsoft Technology Licensing, LLC High resolution multispectral image capture
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9330477B2 (en) 2011-09-22 2016-05-03 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US9766441B2 (en) 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
DE102012102915A1 (de) * 2012-04-03 2013-10-10 Gea Farm Technologies Gmbh Verfahren und Vorrichtung zur optischen Bestimmung einer Position und/oder Orientierung eines Objekts im Raum
DE102012206329A1 (de) * 2012-04-17 2013-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung eines Disparitätsbildes oder einer 3D-Punktwolke
WO2014018147A2 (en) 2012-04-30 2014-01-30 The Trustees Of The University Of Pennsylvania Three-dimensional manipulation of teams of quadrotors
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US20140028801A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
CN102999892B (zh) * 2012-12-03 2015-08-12 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
EP3074832A4 (en) 2013-11-27 2017-08-30 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
US9524421B2 (en) 2013-12-09 2016-12-20 Google Inc. Differentiating real faces from representations
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
EP3198330A4 (en) * 2014-09-22 2018-04-11 Invuity, Inc. Hyperspectral imager
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US10395115B2 (en) 2015-01-27 2019-08-27 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for robotic remote sensing for precision agriculture
US10565455B2 (en) * 2015-04-30 2020-02-18 Ants Technology (Hk) Limited Methods and systems for audiovisual communication
US10037028B2 (en) 2015-07-24 2018-07-31 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for on-board sensing and control of micro aerial vehicles
US10884430B2 (en) 2015-09-11 2021-01-05 The Trustees Of The University Of Pennsylvania Systems and methods for generating safe trajectories for multi-vehicle teams
US10148873B2 (en) * 2015-12-22 2018-12-04 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion adaptive fusion of optical images and depth maps acquired by cameras and depth sensors
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
CN106652972B (zh) * 2017-01-03 2020-06-05 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
US10419741B2 (en) * 2017-02-24 2019-09-17 Analog Devices Global Unlimited Company Systems and methods for compression of three dimensional depth sensing
TWI639960B (zh) * 2017-06-27 2018-11-01 行政院原子能委員會核能硏究所 擴增實境系統及其方法
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
US10785422B2 (en) 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN110880162B (zh) * 2019-11-22 2023-03-10 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
CN113362224A (zh) * 2021-05-31 2021-09-07 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR20230093127A (ko) * 2021-12-17 2023-06-27 가천대학교 산학협력단 의료영상의 깊이영상 예측 시스템 및 방법
US20230386108A1 (en) * 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US20230385467A1 (en) * 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438261B1 (en) * 1998-09-03 2002-08-20 Green Vision Systems Ltd. Method of in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples
US7298415B2 (en) * 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
US7385708B2 (en) * 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
WO2005084360A2 (en) * 2004-03-03 2005-09-15 Advanced Biophotonics, Inc. Integrated multi-spectral imaging systems and methods of tissue analyses using same
CA2631564A1 (en) * 2004-11-29 2006-06-01 Hypermed, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891905B2 (en) 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
KR20150044730A (ko) * 2013-10-17 2015-04-27 삼성전자주식회사 3차원 모델 복원 시스템 및 방법

Also Published As

Publication number Publication date
US8442355B2 (en) 2013-05-14
WO2009142443A3 (en) 2012-10-11
KR101608848B1 (ko) 2016-04-04
WO2009142443A2 (en) 2009-11-26
US20090290811A1 (en) 2009-11-26

Similar Documents

Publication Publication Date Title
KR101608848B1 (ko) 다차원 영상 생성 방법 및 시스템
US20240000295A1 (en) Light field capture and rendering for head-mounted displays
EP3073894B1 (en) Corrected 3d imaging
US10706610B2 (en) Method for displaying an object
US5016173A (en) Apparatus and method for monitoring visually accessible surfaces of the body
EP3138275B1 (en) System and method for collecting color information about an object undergoing a 3d scan
CN114895471A (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
WO2005088539A2 (en) Augmented reality system with coregistration of virtual objects on images of real objects
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
US11295460B1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
Yasumuro et al. Projection-based augmented reality with automated shape scanning
CN115298706A (zh) 用于在将合成元素应用于原始图像期间掩蔽所识别的对象的系统和方法
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
KR20190069751A (ko) 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법
KR101977650B1 (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11445165B1 (en) Method, system and computer readable storage media for visualizing a magnified dental treatment site
US20230081476A1 (en) Method of multiple image reconstruction and registration
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
KR20240065115A (ko) 다중 이미지 재구성 및 정합 방법
Wisotzky et al. Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene Reconstruction
Trevisan et al. Towards markerless augmented medical visualization
Cornejo et al. Construction of a frameless camera-based stereotactic neuronavigator

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 5