KR102199071B1 - 집적 영상 기반의 4차원 영상 복원 방법 및 장치 - Google Patents

집적 영상 기반의 4차원 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR102199071B1
KR102199071B1 KR1020190117446A KR20190117446A KR102199071B1 KR 102199071 B1 KR102199071 B1 KR 102199071B1 KR 1020190117446 A KR1020190117446 A KR 1020190117446A KR 20190117446 A KR20190117446 A KR 20190117446A KR 102199071 B1 KR102199071 B1 KR 102199071B1
Authority
KR
South Korea
Prior art keywords
image
ratio
reconstructed
array
elemental
Prior art date
Application number
KR1020190117446A
Other languages
English (en)
Inventor
유훈
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020190117446A priority Critical patent/KR102199071B1/ko
Priority to US17/029,691 priority patent/US11348215B2/en
Application granted granted Critical
Publication of KR102199071B1 publication Critical patent/KR102199071B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 집적 영상 기반의 영상 복원 방법은 CIIR(Computational Integral Imaging Reconstruction) 기반으로 집적 영상(integral image)을 복원하는 방법으로서, 제1 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 결정하는 단계; 상기 결정된 크롭 비율에 따라 상기 제1 요소 영상 배열 내의 각 요소 영상을 크로핑(cropping)하여 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성하는 단계; 상기 제2 요소 영상 배열 내의 각 요소 영상을 조절 가능한 확대 비율(k)로 확대하는 단계; 상기 확대한 요소 영상들을 상기 조절 가능한 확대 비율(k)에 따라 조절되는 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 하는 단계; 및 상기 오버래핑 된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 단계를 포함한다.

Description

집적 영상 기반의 4차원 영상 복원 방법 및 장치{Method and apparatus for reconstructing 4D image based on integrated image}
본 발명은 집적 영상 복원(Integral Imaging Reconstruction)에 관한 것으로, 상세하게는 컴퓨터적 집적 영상 복원(Computational Integral Imaging Reconstruction, CIIR)에 관한 것이다.
집적 영상 기술은 3차원 영상을 이미징하고 시각화하기 위한 기술로서, stereoscopy, holography 기술과 비교하였을 때, 부가적인 광학장치인 안경과 단파장 레이저를 사용하지 않고 백색광과 full parallax와 연속 시점을 제공한다. 그러므로, 집적 영상 기술은 다양한 응용분야에서 큰 관심을 받고 있다. 예를 들어, 집적 영상 기술은 3차원 객체 시각화(3D object visualization), 3차원 객체 인식(3D object recognition), 무인자동차 시스템, 3차원 엔터테인먼트(3D entertainment)의 응용분야에서 큰 관심을 받고 있다.
도 1은 기존의 집적 영상 시스템에서 수행되는 픽업 과정과 복원 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 집적 영상 시스템은 픽업 과정과 복원(재구성) 과정을 수행한다.
먼저, 픽업 단계에서는, 3차원 물체(10, 3D object)로부터 나온 light ray가 렌즈 배열(20, Lenslet Array)에 의해 픽업 되어 픽업 장치에서 캡쳐된다. 도 1에서는 픽업 장치를 도시하지 않았으나, CCD 카메라일 수 있다. 픽업 방식에는 렌즈 배열을 대신하는 카메라 배열 방식의 픽업 방식도 존재한다. 픽업 장치부터 얻은 다양한 시야각도의 영상은 2차원 배열 구조를 가지며, 이를 요소 영상 배열(30, Elemental Image Array; EIA)라고 한다.
복원 단계에서는, 광학적으로 또는 디지털적으로 3차원 영상이 복원(재구성)된다. 복원 방식에는 Optical integral imaging(OII)과 computational integral imaging(CII)
Optical integral imaging(OII)에서는, EIA는 광학 디스플레이 패널에서 디스플레이 되고, 그 다음 3D 물체는 렌즈 배열을 통하여 관측된다.
반대로, 컴퓨터적 집적 영상 복원(Computational Integral Imaging, CII)에서는, EIA와 가상 핀홀(Virtual pinholes) 배열(40)을 바탕으로, 3차원 영상이 디지털 기술로 복원된다. 이러한 복원 기술을 CIIR(computational integral imaging reconstruction, 컴퓨터적 집적 영상 복원)이라고 한다.
CIIR기술은 OII와는 다르게 광학 장치의 물리적 한계에 구애 받지 않고 뷰 영상을 생성한다. 컴퓨터로 복원된 영상은 물체 인식 및 깊이 추정 등의 응용 분야에서 활용 가능하므로, CIIR기술은 매우 실용적이다.
가장 일반적인 CIIR 기술은 역-투사 방법(back-projection)이다. 역-투사 방법은 요소 영상이 가상 핀홀 배열(40)을 지나면서 확대(magnify)되고, 이 요소 영상들이 도 1에 도시된 바와 같이, 복원 영상 평면(50)에서 서로 오버래핑 되는 방법이다.
화질 개선을 위한 CIIR 연구들이 최근까지도 활발하게 논의되어 왔으며, 이들 중에서 픽셀 매핑 방식은 요소 영상의 각 픽셀들이 핀홀(40)을 거쳐서 도달하는 위치를 레이 추적하여 복원 영상 평면(50)에 매핑하는 방식이 픽셀 매핑 방식이다. 이 방법은 연산량을 줄이고 화질을 개선했다. 윈도우 방식은 역투사 방식의 신호 모델을 해석 및 정의하고 이를 바탕으로 렌즈 현상과 아티팩트(artifact)를 제거하여 복원 영상의 화질을 개선한다. 마지막으로 주기적 함수와 요소 영상들의 관계를 기반으로 컨볼루션 특성을 요소 영상에 적용하는 방법이다. 이 방법은 깊이 해상도를 조절하고 복원 영상의 해상도를 향상시키는 방법이 있다.
도 2는 기존의 집적 영상 시스템에서 CIIR을 수행하기 위한 구성들을 나타내는 블록도이다.
도 2를 참조하면, 기존의 집적 영상 시스템에서 수행하는 CIIR 기반의 복원 단계에서는, 요소 영상들이 가상 핀홀을 거쳐서 복원 영상 평면에 역투사(Back-projection)된다.
요소 영상의 크기가 d일때, 확대된 요소 영상의 크기는 M×d이다.
M은 도 2에 도시된 바와 같이, 요소 영상의 확대 정도(또는 확대 비율)를 나타내는 인자(Magnification factor)로서, M = z/f이다. 여기서, z 는 도 1에 도시된 바와 같이 복원 위치(복원 영상 평면(50))와 가상 핀홀 배열(40) 사이의 거리이고, f 는 요소 영상(30)과 가상 핀홀 배열(40) 사이의 거리로, 가상 핀홀의 초점 거리(focal length)를 의미한다.
확대된 요소 영상들은 오버래핑(overlapping)되고(겹쳐지고 또는 중첩되고), 복원 영상 평면(plane)에서 각각의 픽셀 위치에 해당하는 요소 영상들의 오버래핑(overlapping) 횟수들이 정규화(normalize)되면 복원 영상이 완성된다.
기존 방법에서는, 확대된 요소 영상들이 오버래핑 과정에서 복원 영상에서의 블러링 효과를 발생시킨다. 이 효과는 해당 위치에 존재하는 3차원 물체는 선명하게 처리하고, 존재하지 않는 3차원 물체들은 선명하지 않게 처리하는 것이다.
요소 영상이 오버래핑 되는 횟수는 복원 거리에 비례하여 증가하는 고정된 파라미터(fixed parameter)인 확대 비율과 연관 있기 때문에, 블러링 효과의 강도 역시 복원 거리에 비례하여 증가한다.
완벽한 취득 과정에서 얻은 요소 영상의 경우에는 블러링 효과를 바탕으로 완벽한 3차원 영상을 복원할 수 있다. 반대로, 부득이하게 요소 영상에 조명 또는 렌즈 배열의 물리적 결함 등의 이슈가 있는 경우에는, 블러링 효과가 완벽하지 않아서 표시 품질(visual quality)이 떨어진 3차원 영상을 복원한다. 이 모델에서는 블러링 효과의 강도를 조절할 수 없기 때문에 표시 품질 (visual quality) 개선이 어렵다.
본 발명의 목적은, CIIR(Computational Integral Imaging Reconstruction) 과정에서 오버래핑(overlapping)되는 픽셀의 수(또는 요소 영상이 오버래핑 되는 횟수)의 자유로운 조절을 통해 블러링 효과의 강도를 조절할 수 있는 집적 영상 기반의 4차원 영상 복원 방법 및 장치를 제공하는 데 있다.
또한, 본 발명의 목적은 오버래핑(overlapping)되는 픽셀의 수(또는 요소 영상이 오버래핑 되는 횟수)를 자유롭게 조절할 수 있는 할 수 있는 새로운 입력 변수(Adjustable magnification factor: k)를 기반으로 요소 영상 배열(EIA, Elemental Image Array)에 대한 CIIR을 수행하여 4차원 영상 또는 다중 영상(multiple volume 또는 multiple image plane)을 복원하는 집적 영상 기반의 4차원 영상 복원 방법 및 장치를 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 제1측면에 따른 집적 영상 기반의 4차원 영상 복원 방법은, 제1 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 결정하는 단계; 상기 결정된 크롭 비율에 따라 상기 제1 요소 영상 배열 내의 각 요소 영상을 크로핑(cropping)하여 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성하는 단계; 상기 제2 요소 영상 배열 내의 각 요소 영상을 조절 가능한 확대 비율(k)로 확대하는 단계; 상기 확대한 요소 영상들을 상기 조절 가능한 확대 비율(k)에 따라 조절되는 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 하는 단계; 및 상기 오버래핑 된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 단계를 포함한다.
본 발명의 제2 측면에 따른 집적 영상 기반의 4차원 영상 복원 장치는, 초기 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 결정하는 크롭 비율 결정부; 상기 결정된 크롭 비율에 따라 상기 초기 요소 영상 배열을 크로핑(cropping)하여 새로운 요소 영상 배열을 변환하는 변환부; 상기 새로운 요소 영상 배열 내의 각 요소 영상을 상기 조절 가능한 확대 비율(k)로 확대하는 확대부; 상기 확대한 요소 영상들을 상기 조절 가능한 확대 비율(k)에 따라 조절되는 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 하는 오버래핑부; 및 상기 오버래핑된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 정규화부를 포함한다.
본 발명의 제3 측면에 따른 집적 영상 기반의 4차원 영상 복원 방법은, 사용자 지정이 가능한 확대 비율(k)와 가상 핀홀과 복원 영상이 복원되는 복원 영상 평면까지의 거리를 나타내는 복원 위치(z)를 기반으로 초기 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 계산하는 단계; 상기 계산된 크롭 비율에 따라 상기 초기 요소 영상 배열을 크로핑(cropping)한 후 이동(translating)하여 새로운 요소 영상 배열을 생성하는 단계; 상기 새로운 요소 영상 배열 내의 각 요소 영상을 상기 확대 비율(k)로 확대한 하는 단계; 및 상기 확대한 요소 영상들을 상기 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 한 후 상기 오버래핑된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 단계를 포함한다.
본 발명에 의하면, CIIR방법에서 오버래핑(overlapping)되는 픽셀의 수(또는 요소 영상이 오버래핑 되는 횟수)를 자유롭게 조절할 수 있는 새로운 변수(Adjustable magnification factor: k)를 기반으로 CIIR(Computational Integral Imaging Reconstruction)를 수행함으로써, 블러링 효과의 강도를 조절할 수 있고, 그에 따라 복원된 영상의 표시 품질(visual quality)을 개선할 수 있다.
또한, 상기 새로운 변수(Adjustable magnification factor: k)를 입력 변수로 이용함으로써, 상기 새로운 변수를 k-축으로 하는 4차원 영상 V(x, y, z, k)을 복원할 수 있다.
도 1은 일반적인 집적 영상 시스템에서 수행되는 픽업 과정과 복원 과정을 설명하기 위한 도면.
도 2는 기존의 집적 영상 시스템에서 CIIR(computational integral imaging reconstruction)을 수행하기 위한 구성들을 나타내는 블록도.
도 3은 본 발명의 실시 예에 따른 집적 영상 기반의 4차원 영상 복원 장치를 도시한 블록도.
도 4는 본 발명의 실시 예에 따른 집적 영상 기반의 4차원 영상 복원 장치에 의해 수행되는 CIIR 방법을 도식적으로 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 크롭된 요소 영상들에 대한 확대 인자(magnification factor)을 조절하는 원리를 설명하기 위한 도면.
도 6은 본 발명의 실시 예에 따른 집적 영상 기반의 4차원 영상 복원 방법을 나타내는 흐름도.
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
본 발명에서는 4차원 영상 또는 멀티 볼륨(multiple volume)을 복원하는 CIIR(Computational Integral Imaging Reconstruction) 방법을 제안한다. 즉, 본 발명에서 제안하는 CIIR은 동일한 위치에서 3차원 또는 다중 영상 평면(multiple image plane)을 복원한다.
도 3은 본 발명의 실시예에 따른 집적 영상 기반의 4차원 영상 복원 장치를 도시한 블록도이고, 도 4는 본 발명의 실시 예에 따른 집적 영상 기반의 4차원 영상 복원 장치에 의해 수행되는 CIIR 방법을 도식적으로 나타낸 도면이다.
우선, 도 3을 참조하면, 본 발명의 실시예에 따른 집적 영상 기반의 4차원 영상 복원 장치(100)는 크롭 비율(Crop ratio) 결정부(110), EIA 변환부(120), 확대부(130), 오버래핑부(140) 및 정규화부(150)를 포함한다.
크롭 비율 결정부 (110)
크롭 비율 결정부(110)는 크롭 비율(
Figure 112019097573791-pat00001
)을 결정하는 프로세스를 수행한다. 구체적으로, 크롭 비율 결정부(110)는 깊이(Depth) z와 오버래핑(overlapping)되는 픽셀의 수(또는 요소 영상이 오버래핑 되는 횟수)를 조절할 수 있는 확대 비율(Adjustable magnification factor,
Figure 112019097573791-pat00002
)를 입력 변수로 이용하여 크롭 비율(
Figure 112019097573791-pat00003
)을 계산한다. 여기서, 깊이 z는 복원 위치(또는 가상 핀홀 배열(예, 도 1의 40)과 복원 영상 평면(예, 도 1의 50) 사이의 거리)를 의미한다.
기존 CIIR 과 본 발명에서 제안하는 CIIR의 주요 차이는 요소 영상 배열(EIA)을 크로핑(cropping, 자르기) 과정과 이동(translation) 과정을 이용하여 변환하는 것이다. 요소 영상 배열(EIA) 내의 각 요소 영상을 크롭(crop)하기 위해서는 크롭 비율(crop ratio, 자르기 비율)결정하여야 한다. 이를 위해서 크롭 비율 결정부(110)는 크로핑(cropping, 자르기) 과정과 이동(translation) 과정에 따른 요소 영상 배열(EIA)의 변환 전후를 비교하여 실제 물리적인 위치정보가 변하지 않는 방향으로 크롭 비율(crop ratio)을 계산한다. 이러한 크롭 비율(crop ratio) 계산은 아래에서 상세히 설명하기로 한다.
또한 기존 CIIR 과 본 발명에서 제안하는 CIIR의 또 다른 주요 차이는 물체의 복원 위치(깊이 z)뿐만 아니라 복원 위치(깊이 z)에서의 오버래핑(overlapping)되는 픽셀의 수를 조절할 수 있는 변수(확대 비율(Adjustable magnification factor,
Figure 112019097573791-pat00004
))를 입력 변수로 도입하여 2차원적인 입력 변수를 설계한 점이다. 이는 각 2차원적인 변수의 개별마다 하나의 2차원 복원 영상이 얻어짐으로 결과적으로 4차원의 영상이 획득되는 구조를 갖는다.
EIA 변환부(120)
EIA 변환부(120)는, 요소 영상 배열(original EIA)을 새로운 요소 영상 배열(Cropped & translated EIA)로 변환하는 프로세스를 수행한다. 구체적으로, EIA 변환부(120)는 크롭 비율 결정부(110)에 의해 결정된 크롭 비율(
Figure 112019097573791-pat00005
)에 따라 요소 영상 배열(original EIA)을 크로핑(cropping)한 후, 크롭된(cropped) 요소 영상 배열을 이동하여(translating) 크롭 및 이동된 요소 영상 배열(Cropped & translated EIA)을 새로운 요소 영상 배열로서 생성한다.
이러한 새로운 요소 영상 배열 생성의 이해를 돕기 위해, 도면을 참조하여 설명하면, 도 4에 도시된 바와 같이, 요소 영상 배열(original EIA) 내의 하나의 요소 영상의 크기를 d라 하고, 크기가 d인 요소 영상에 대한 크롭 비율(crop ratio)을 α라 하고, 0 < α ≤ 1라고 가정할 때, EIA 변환부(120)는 크기가 d인 요소 영상을 크롭 비율 α만큼 크로핑(cropping)하고, 크롭된(cropped) 각 요소 영상들 모두를 이동시켜서 새로운 요소영상 배열(Cropped & translated EIA)을 생성할 수 있다.
확대부 (130)
확대부(130)는 EIA 변환부(120)에 의해 요소 영상 배열(original EIA)로부터 변환된 새로운 요소 영상 배열(Cropped & translated EIA)을 조절 가능한 확대 비율(k)(Adjustable magnification factor)에 따라 새로운 요소 영상 배열(Cropped & translated EIA) 내의 각 요소 영상을 확대하는 프로세스를 수행한다.
여기서, 조절 가능한 확대 비율(k)은 '배율'이라는 용어로 대체될 수 있으며, 또한, 조절 가능한 확대 인자(k)는 '조절 가능한 오버래핑 되는 픽셀의 수' 또는 '조절 가능한 요소 영상이 오버래핑되는 횟수(Adjustable overlapping number)'와 동일한 의미로 사용한다.
오버래핑부 (140)
오버래핑부(140)는 확대부(130)에 의해 새로운 요소 영상 배열(Cropped & translated EIA) 내의 확대된 요소 영상들을 오버래핑(overlapping) 하는 프로세스를 수행한다. 이때, 확대된 요소 영상들은 조절 가능한 확대 인자(k)에 의해 결정된 오버래핑되는 횟수(Adjustable overlapping number)에 따라 오버래핑(overlapping)된다.
정규화부 (150)
정규화부(150)는 복원 영상 평면(reconstruction image lane)의 각 픽셀 위치에서 해당하는 확대된 요소 영상들의 오버래핑(overlapping) 횟수들을 정규화하여 복원 영상을 생성한다.
이때, 확대된 요소 영상들의 오버래핑(overlapping) 횟수는 조절 가능한 확대 인자(k)에 의해 조절될 수 있으며,
Figure 112019097573791-pat00006
와 같이, 자유로운 매개 변수이다. 즉, k = 1일 때, 깊이 z에 따른 다수의 2차원 영상(V(x, y))이 복원되고, k = 2일 때, 깊이 z에 따른 다수의 2차원 영상(V(x, y))이 복원되고, k = M일 때, 깊이 z에 따른 다수의 2차원 영상(V(x, y))이 복원된다.
이것은 본 발명에서 새롭게 도입한 입력 변수, 즉, 조절 가능한 확대 인자(k)가 x, y, z 축 외에 새로운 k 축으로 간주되어 요소 영상 배열(original EIA)을 4차원 영상(V(x, y, z, k))으로 복원할 수 있음을 의미한다.
이하에서는 도 5를 참조하여 크롭된 요소 영상들에 대한 확대 인자(magnification factor)을 조절하는 원리 및 이러한 원리로부터 크롭 비율(cop ratio)를 구하는 방법에 대해 상세히 기술하기로 한다.
도 5는 본 발명의 실시 예에 따라 크롭된 요소 영상들에 대한 확대 인자(magnification factor)을 조절하는 원리를 설명하기 위한 도면이다.
도 5의 (a)에서 입력 요소 영상 배열(original EIA)에서의 모든 요소 영상들이 α만큼 크롭되어 dα크기의 크롭된 모습을 보여준다. 이렇게 크롭된 요소 영상들이 차곡차곡 이동되어 도 5의 (b)와 같이 새로운 요소 영상 배열(Cropped & translated EIA)로 변형되어 생성된다.
새롭게 생성된 요소 영상 배열(Cropped & translated EIA)을 이용하여 CIIR을 수행하면 요소 영상의 크기 변화에 의해서 초기 입력된 요소 영상(original EIA 내의 요소 영상)을 이용하여 CIIR을 수행한 결과와는 다른 3차원 영상이 얻어진다. 즉 요소 영상을 크롭(crop)하면 실제 원래 물리적 위치를 놓쳐버리게 된다(상실하게 된다).
이를 보완하기 위해서는 크롭(crop)에 의한 변화가 실제 물리적 복원 위치 (z)와의 관계를 도출할 필요가 있다.
이를 위해서 도 5의 (c)와 같이 두 요소 영상 배열을 겹쳐 놓는다.
크롭 및 이동된 요소 영상 배열(Cropped & translated EIA)은 초기 입력된 요소 영상 배열(original EIA) 보다 작기 때문에, 핀홀(pinholes)의 위치를 정합하기 위해서는 변환된 요소 영상 배열(Cropped & translated EIA)을 스트레칭하여 두 요소 영상 배열들((a)와 (b))의 핀홀(pinholes)을 일치시킨다.
핀홀(pinholes) 위치를 일치 시키면, CIIR에 의해서 복원된 원래의 물리적 위치를 동일시할 수 있으므로 크롭 비율(crop ratio)에 의해서 상대적으로 복원되는 위치를 정확히 계산해 낼 수 있다. 따라서 도 5의 (c)를 통해서 크롭 비율과 새로운 초점을 아래의 식 1로 계산할 수 있다.
Figure 112019097573791-pat00007
이 모델에서 변환된 요소 영상 배열은 새로운 초첨 거리를 f'를 갖게 되는데, 이는 기존 초점 거리인 f보다 더 길다. 변환 전 요소 영상 배열에서 d크기의 요소 영상이 초점거리가 f인 핀홀 배열을 거쳐서 M만큼 확대되어 역으로 투사될 때, 복원 위치는 z = 1f, 2f, … ,Mf 이다. 변환 후 dα크기의 크롭된 요소 영상이 M만큼 확대되어 역으로 투사 될 때, 복원 위치는 z = 1f', 2f',…,kf',…이다. 이때, k는 새로운 확대 비율(배율)이다.
새로운 초점 거리와 새로운 확대 비율(배율) k를 사용하여 복원 위치를 계산하면 z=kf'으로 얻어지고, 기존의 초점거리와 배율 정보로 복원 위치를 결정하면 z=Mf이다. 이때 변환 전과 후의 두 요소 영상 배열이 동일한 복원 위치를 물리적으로 보장하려면 깊이 z = kf' = Mf를 만족해야 한다. 이 관계를 상기 수학식 (1)과 정리하면 크롭 비율을 아래의 수학식 (2)를 통해 계산할 수 있다.
Figure 112019097573791-pat00008
여기서 1≤ k ≤ floor (M)이며 정수이고, k와 z는 독립적이며 초점 거리 f는 고정 된 값이다. 상기 수학식 2는 확대 비율 k를 제어하도록 크롭 비율을 조정할 수 있음을 나타낸다.
여기서 1 ≤ k ≤ floor(M) 및 정수이다. 이 수식으로부터 새로운 요소 영상 배열을 얻기 위해 필요한 크롭 비율을 복원 위치(z)와 확대 비율(또는 요소 영상들의 오버래핑 횟수, k)로부터 얻을 수 있음을 알 수 있다. 여기서 f는 취득 당시의 렌즈 배열의 요소 영상 배열의 초점 거리로서 고정된 값이다. 한편, 변수 k는 자유로운 매개 변수이다. 즉 조정 가능한 모든 수가 가능하다. 이러한 변수 k는 4 차원 영상을 복원(재구성)하기 위해 x, y, z 축이 외에 추가되는 k 축으로 간주된다.
이상 설명한 바와 같이, 입력 변수로 새롭게 도입된 조절 가능한 확대 비율 k에 의해 오버래핑(overlapping) 되는 픽셀의 수(요소 영상들이 오버래핑 되는 횟수)를 조절할 수 있고, 이러한 오버래핑(overlapping) 되는 픽셀의 수는 복원된 영상의 화질에 중대한 영향을 미치는 변수로써 3차원 응용 분야에서 중요하게 다루어 질 수 있는 변수이다.
이처럼 본 발명에서는 기존 CIIR 방법에서는 존재하지 않는 변수(조절 가능한 확대 비율 k)를 새롭게 도입함으로써 모든 q복원 깊이 z(reconstruction depth z)에서 새로운 변수(조절 가능한 확대 비율 k)가 x, y, z 축 외에 k 축으로 추가되어 4차원 영상 V(x, y, z, k)을 복원할 수 있다.
또한, 오버래핑(overlapping)되는 픽셀의 수(또는 요소 영상이 오버래핑 되는 횟수)를 자유롭게 조절할 수 있는 새로운 변수(Adjustable magnification factor: k)를 기반으로 CIIR(Computational Integral Imaging Reconstruction)를 수행함으로써, 블러링 효과의 강도를 조절할 수 있고, 그에 따라 복원된 영상의 표시 품질(visual quality)을 개선할 수 있다.
도 6은 본 발명의 실시 예에 따른 집적 영상 기반의 4차원 영상 복원 방법을 나타내는 흐름도이다.
도 6을 참조하면, 우선, S610에서, 초기 EIA(이하, '제1 요소 영상 배열'이라 함)의 크롭 비율(crop ratio)을 결정하는 과정이 수행된다.
일 예에 따르면, 크롭 비율(crop ratio)은 요소 영상 배열의 변환 전후, 즉, 제1 요소 영상 배열과 이로부터 변환(변형)되어 생성된 새로운 요소 영상 배열(이하, '제2 요소 영상 배열'이라 함)를 비교하여 실제 물리적인 위치정보가 변하지 않는 방향으로 결정한다. 즉, 상기 제1 요소 영상 배열의 복원 위치(z)와 상기 제2 요소 영상 배열의 복원 위치(z)가 동일하도록 상기 크롭 비율을 결정한다. 이때, 상기 복원 위치(z)는 가상 핀홀(virtual pinholes)과 상기 복원 영상이 역-투사(back-projection)되는 복원 영상 평면까지의 거리(depth)를 나타낸다.
다른 예에 따르면, 크롭 비율(crop ratio)은 상기 복원 영상의 복원 위치(z)와 상기 조절 가능한 확대 비율(k)에 따라 결정된다. 이에 대한 설명은 전술한 수학식 2에서 충분히 설명하였으므로, 생략하기로 한다.
이어, S620에서, 결정된 크롭 비율에 따라 제1 요소 영상 배열(초기 EIA)를 크로핑(cropping) 하여 상기 제2 요소 영상 배열(새로운 EIA)을 생성하는 과정이 수행된다. 예를 들면, 상기 제1 요소 영상 배열 내의 각 요소 영상을 상기 결정된 크롭 비율에 따라 크로핑(cropping) 하고, 크롭된(cropped) 요소 영상들을 이동하여(translating) 상기 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성한다.
이어, S630에서, 제2 요소 영상 배열(새로운 EIA) 내의 각 요소 영상을 상기 크롭 비율(crop ratio)을 계산하기 위해 사용된 상기 조절 가능한 확대 비율(k)로 확대하는 과정이 수행된다. 이때, 상기 조절 가능한 확대 비율(k)은, 고정되지 않은 복수의 정수들(
Figure 112019097573791-pat00009
)을 포함하도록 구성된다.
이어, S640에서, 상기 확대한 요소 영상들을 오버래핑 하는 과정이 수행된다. 이때, 상기 확대한 요소 영상들은 상기 조절 가능한 확대 비율(k)과 동일한 상기 오버래핑 횟수로 오버래핑 된다.
이어, S650에서, 오버래핑 된 요소 영상들을 정규화하여 복원 영상을 생성하는 과정이 수행된다. 이때, 상기 복원 영상은 상기 조절 가능한 확대 비율(k)을 k 축으로 하여, x, y, z축에 상기 k 축이 추가된 4차원 좌표계에서 재구성되므로, 상기 복원 영상은 4차원 영상(multiple volume 또는 multiple image plane)이다.
이상과 같이, 본 발명에 따른 4차원 영상 복원 방법은 크로핑(cropping), 확대(magnification), 오버래핑(overlapping) 및 정규화(normalization)의 네 가지 프로세스로 구성된다.
기존의 방법과 본 발명에 따른 4차원 영상 복원 방법의 주요 차이점은 k로 표시되는 새로운 매개 변수의 도입이다. 이 매개 변수는 사용자가 지정 가능한 배율 정보를 갖고 요소 영상에서 크롭 비율(crop ratio, 자르기 비율)을 제어하는 것과 같다.
종래의 영상복원 방법은 3차원 영상을 복원하는 기술로서 배율 정보는 각 재구성 평면의 깊이에 의존하는 방식이다. 따라서 배율 정보(확대 비율)를 사용자가 지정하는 것은 불가능하다.
배율 정보(확대 비율)은 오버래핑 되는 요소 영상의 수와 이론적으로 동일하다. 따라서 배율 정보(확대 비율)를 조정할 수 있다면 요소 영상의 오버래핑되는(겹치는) 정도를 조정할 수 있다. 이는 복원 영상 화질의 중요한 요소이다. 깊이 (z)에 독립적인 배율 정보(확대 비율)은 k-축으로 간주되며 3차원의 위치 정보(x, y, z 축으로 이루어진 3차원 좌표계에서의 위치 정보)와 함께 사용하여 4차원 영상 V(x, y, z, k)로 표시할 수 있다.
따라서, 본 발명에 따른 집적 영상 기반의 영상 복원 방법은 요소 영상이 오버래핑 되는(중첩되는) 수를 제어함으로써 초점이 맞춰진 물체의 흐림을 감소시킬 수 있다.
또한, 본 발명에 따른 집적 영상 기반의 영상 복원 방법은 4D 영상을 제공함으로써 획득한 영상에서 기존 접근법 보다 한 단계 향상된 시각 정보를 제공할 수 있다.
한편, 본 발명에 따른 집적 영상 기반의 영상 복원 방법 및 그 장치는 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
프로세서와 관련해, 도 3에 도시한 구성들(110, 120, 130, 140 및 150)은 기능 로직들로 각각 구현되어 하나의 프로세서 내에 탑재될 수 있으며, 각각이 별도의 프로세서로 구현될 수도 있다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
또한, 본 발명에 따른 집적 영상 기반의 영상 복원 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다.
상술한 본 발명에 따른 집적 영상 기반의 영상 복원 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (16)

  1. CIIR(Computational Integral Imaging Reconstruction) 기반으로 집적 영상(integral image)을 복원하는 방법에서,
    제1 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 결정하는 단계;
    상기 결정된 크롭 비율에 따라 상기 제1 요소 영상 배열 내의 각 요소 영상을 크로핑(cropping)하여 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성하는 단계;
    상기 제2 요소 영상 배열 내의 각 요소 영상을 조절 가능한 확대 비율(k)로 확대하는 단계;
    상기 확대한 요소 영상들을 상기 조절 가능한 확대 비율(k)과 동일한 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 하는 단계; 및
    상기 오버래핑 된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 단계
    를 포함하는 집적 영상 기반의 영상 복원 방법.
  2. 제1항에서,
    상기 크롭 비율을 결정하는 단계는,
    상기 제1 요소 영상 배열의 복원 위치(z)와 상기 제2 요소 영상 배열의 복원 위치(z)가 동일하도록 상기 크롭 비율을 결정하고,
    여기서, 상기 복원 위치(z)는 가상 핀홀(virtual pinholes)과 상기 복원 영상이 역-투사(back-projection)되는 복원 영상 평면까지의 거리(depth)를 나타내는 것인 집적 영상 기반의 영상 복원 방법.
  3. 제1항에서,
    상기 크롭 비율을 결정하는 단계는,
    상기 복원 영상의 복원 위치(z)와 상기 조절 가능한 확대 비율(k)에 따라 결정하는 것인 집적 영상 기반의 영상 복원 방법.
  4. 제1항에서,
    상기 제2 요소 영상 배열을 생성하는 단계는,
    상기 제1 요소 영상 배열 내의 각 요소 영상을 상기 결정된 크롭 비율에 따라 크로핑(cropping) 하는 단계; 및
    크롭된(cropped) 요소 영상들을 이동하여(translating) 상기 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성하는 단계;
    를 포함하는 것인 집적 영상 기반의 영상 복원 방법.
  5. 삭제
  6. 제1항에서,
    상기 복원 영상을 생성하는 단계에서,
    상기 복원 영상은 상기 조절 가능한 확대 비율(k)을 k 축으로 하여, x, y, z축에 상기 k 축이 추가된 4차원 좌표계에서 재구성되는 4차원 영상인 것인 집적 영상 기반의 영상 복원 방법.
  7. 제1항에서,
    상기 조절 가능한 확대 비율(k)은,
    고정되지 않은 복수의 정수들을 포함하는 것인 집적 영상 기반의 영상 복원 방법.
  8. CIIR(Computational Integral Imaging Reconstruction) 기반으로 집적 영상(integral image)을 복원하는 장치에서,
    제1 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 결정하는 크롭 비율 결정부;
    상기 결정된 크롭 비율에 따라 상기 제1 요소 영상 배열 내의 각 요소 영상을 크로핑(cropping)하여 제2 요소 영상 배열로 변환하는 변환부;
    상기 제2 요소 영상 배열 내의 각 요소 영상을 조절 가능한 확대 비율(k)로 확대하는 확대부;
    상기 확대한 요소 영상들을 상기 조절 가능한 확대 비율(k)과 동일한 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 하는 오버래핑부; 및
    상기 오버래핑 된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 정규화부
    을 포함하는 집적 영상 기반의 영상 복원 장치.
  9. 제8항에서,
    상기 크롭 비율 결정부는,
    상기 제1 요소 영상 배열의 복원 위치(z)와 상기 제2 요소 영상 배열의 복원 위치(z)가 동일하도록 상기 크롭 비율을 결정하고,
    여기서, 상기 복원 위치(z)는 가상 핀홀(virtual pinholes)과 상기 복원 영상이 역-투사(back-projection)되는 복원 영상 평면까지의 거리(depth)를 나타내는 것인 집적 영상 기반의 영상 복원 장치.
  10. 제8항에서,
    상기 크롭 비율 결정부는,
    상기 복원 영상의 복원 위치(z)와 상기 조절 가능한 확대 비율(k)를 입력 변수로 이용하여 상기 크롭 비율을 계산하는 것인 집적 영상 기반의 영상 복원 장치.
  11. 제8항에서,
    상기 변환부는,
    상기 제1 요소 영상 배열 내의 각 요소 영상을 상기 결정된 크롭 비율에 따라 크로핑(cropping) 하는 프로세스와 크롭된(cropped) 요소 영상들을 이동하여(translating) 상기 제2 요소 영상 배열(Cropped and translated Elemental Image Array)을 생성하는 프로세스를 수행하는 것인 집적 영상 기반의 영상 복원 장치.
  12. 삭제
  13. 제8항에서,
    상기 정규화부는,
    상기 조절 가능한 확대 비율(k)을 k 축으로 하여, x, y, z축으로 이루어진 3차원 좌표계에서 상기 k 축이 추가된 4차원 좌표계에서 재구성된 4차원 영상을 상기 복원 영상으로서 생성하는 프로세스를 수행하는 것인 집적 영상 기반의 영상 복원 장치.
  14. CIIR(Computational Integral Imaging Reconstruction) 기반으로 집적 영상(integral image)을 복원하는 방법에서,
    사용자 지정이 가능한 확대 비율(k)와 가상 핀홀과 복원 영상이 복원되는 복원 영상 평면까지의 거리를 나타내는 복원 위치(z)를 기반으로 초기 요소 영상 배열(original Elemental Image Array)의 크롭 비율(crop ratio)을 계산하는 단계;
    상기 계산된 크롭 비율에 따라 상기 초기 요소 영상 배열을 크로핑(cropping)한 후 이동(translating)하여 새로운 요소 영상 배열을 생성하는 단계;
    상기 새로운 요소 영상 배열 내의 각 요소 영상을 확대 비율(k)로 확대하는 단계; 및
    상기 확대 비율(k)로 확대한 요소 영상들을 상기 확대 비율(k)과 동일한 오버래핑 횟수(overlapping number)로 오버래핑(overlapping) 한 후 상기 오버래핑 된 요소 영상들을 정규화(normalization)하여 복원 영상을 생성하는 단계
    를 포함하는 집적 영상 기반의 영상 복원 방법.
  15. 삭제
  16. 제14항에서,
    상기 복원 영상을 생성하는 단계에서,
    상기 복원 영상은 x, y, z 축으로 이루어진 3차원 좌표계에 상기 확대 비율을 k축으로 추가한 x, y, z 및 k 축으로 이루어진 4차원 좌표계에서 가변되는 z 및 k에 따라 재구성된 다중 영상(multiple volume 또는 multiple image plane)인 것인 집적 영상 기반의 영상 복원 방법.
KR1020190117446A 2019-09-24 2019-09-24 집적 영상 기반의 4차원 영상 복원 방법 및 장치 KR102199071B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190117446A KR102199071B1 (ko) 2019-09-24 2019-09-24 집적 영상 기반의 4차원 영상 복원 방법 및 장치
US17/029,691 US11348215B2 (en) 2019-09-24 2020-09-23 Method and apparatus for reconstructing 4D image based on integral imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190117446A KR102199071B1 (ko) 2019-09-24 2019-09-24 집적 영상 기반의 4차원 영상 복원 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102199071B1 true KR102199071B1 (ko) 2021-01-06

Family

ID=74128879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190117446A KR102199071B1 (ko) 2019-09-24 2019-09-24 집적 영상 기반의 4차원 영상 복원 방법 및 장치

Country Status (2)

Country Link
US (1) US11348215B2 (ko)
KR (1) KR102199071B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025420A (ko) * 2007-09-06 2009-03-11 동서대학교산학협력단 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
KR20110058517A (ko) * 2009-11-26 2011-06-01 광운대학교 산학협력단 집적 영상 복원 방법 및 장치
KR20150120029A (ko) * 2014-04-16 2015-10-27 광운대학교 산학협력단 집적 영상시스템의 3차원 영상 표시깊이변환방법
KR101614121B1 (ko) * 2014-12-24 2016-04-20 서울대학교산학협력단 집적 영상 표시 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US9232211B2 (en) * 2009-07-31 2016-01-05 The University Of Connecticut System and methods for three-dimensional imaging of objects in a scattering medium
US9197877B2 (en) * 2011-11-22 2015-11-24 Universitat De Valéncia Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
JP6605483B2 (ja) * 2014-02-06 2019-11-13 バー‐イラン、ユニバーシティー ピンホールアレイを用いた撮像システム及び方法
US11200691B2 (en) * 2019-05-31 2021-12-14 University Of Connecticut System and method for optical sensing, visualization, and detection in turbid water using multi-dimensional integral imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025420A (ko) * 2007-09-06 2009-03-11 동서대학교산학협력단 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
KR20110058517A (ko) * 2009-11-26 2011-06-01 광운대학교 산학협력단 집적 영상 복원 방법 및 장치
KR20150120029A (ko) * 2014-04-16 2015-10-27 광운대학교 산학협력단 집적 영상시스템의 3차원 영상 표시깊이변환방법
KR101614121B1 (ko) * 2014-12-24 2016-04-20 서울대학교산학협력단 집적 영상 표시 방법 및 장치

Also Published As

Publication number Publication date
US11348215B2 (en) 2022-05-31
US20210090227A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7159057B2 (ja) 自由視点映像生成方法及び自由視点映像生成システム
CN110264509B (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
KR100730406B1 (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
JP6279321B2 (ja) 画像捕捉装置のアレイにより得られたデータから仮想出力画像を作るための方法及びシステム
US8432434B2 (en) Camera and method for focus based depth reconstruction of dynamic scenes
US9412151B2 (en) Image processing apparatus and image processing method
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
US20200241276A1 (en) Three-dimensional microscopic imaging method and system
JP5812716B2 (ja) 画像処理装置および方法
KR20190086964A (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
KR101828805B1 (ko) 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
JP2015005201A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム。
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
KR102199071B1 (ko) 집적 영상 기반의 4차원 영상 복원 방법 및 장치
JP6310418B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
KR20200122870A (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
CN115564708A (zh) 多通道高质量深度估计系统
JP3122629B2 (ja) 任意視点画像生成装置
CN116188349A (zh) 图像处理方法、装置、电子设备及存储介质
Sahay et al. Shape extraction of low‐textured objects in video microscopy
JP6310417B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112634139B (zh) 光场超分辨成像方法、装置及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant