KR100730406B1 - 중간 요소 영상을 이용한 입체 영상 표시 장치 - Google Patents

중간 요소 영상을 이용한 입체 영상 표시 장치 Download PDF

Info

Publication number
KR100730406B1
KR100730406B1 KR1020050109801A KR20050109801A KR100730406B1 KR 100730406 B1 KR100730406 B1 KR 100730406B1 KR 1020050109801 A KR1020050109801 A KR 1020050109801A KR 20050109801 A KR20050109801 A KR 20050109801A KR 100730406 B1 KR100730406 B1 KR 100730406B1
Authority
KR
South Korea
Prior art keywords
image
images
intermediate element
lens array
element image
Prior art date
Application number
KR1020050109801A
Other languages
English (en)
Other versions
KR20070052131A (ko
Inventor
황동춘
박재성
김승철
신동학
김은수
Original Assignee
광운대학교 산학협력단
김은수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 김은수 filed Critical 광운대학교 산학협력단
Priority to KR1020050109801A priority Critical patent/KR100730406B1/ko
Priority to PCT/KR2006/000548 priority patent/WO2007058409A1/en
Publication of KR20070052131A publication Critical patent/KR20070052131A/ko
Application granted granted Critical
Publication of KR100730406B1 publication Critical patent/KR100730406B1/ko
Priority to US12/004,309 priority patent/US20080211737A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

3차원 객체로부터 추출된 서로 다른 시점의 복수의 요소 영상을 생성하는 영상 입력부; 상기 영상 입력부에서 입력된 상기 요소 영상 간의 시차 정보를 이용하여 중간 요소 영상을 생성하는 영상 처리부; 및 상기 요소 영상 및 상기 중간 요소 영상을 이용하여 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 영상 재생부를 포함하는 중간 요소 영상을 이용한 입체 영상 표시 장치가 제시된다. 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법은 입체 영상 재생시 고 해상도의 3차원 영상을 출력할 수 있는 효과가 있다.
3차원 영상, 집적 요소, 요소 영상, 중간 요소 영상.

Description

중간 요소 영상을 이용한 입체 영상 표시 장치{Three-dimensional display apparatus using intermediate elemental images}
도 1은 종래 기술에 따른 입체 영상의 해상도를 증가시키기 위한 시스템을 도시한 도면.
도 2a는 본 발명의 바람직한 실시예에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치를 도시한 도면.
도 2b는 본 발명의 본 발명에 적용 가능한 투과형 및 반사형 집적 영상 디스플레이 장치를 도시한 도면.
도 3a는 본 발명의 바람직한 실시예에 따른 집적 영상 시스템에서 중간 요소 영상을 생성하는 방법을 도시한 도면.
도 3b는 본 발명의 바람직한 실시예에 따른 집적 영상 시스템에서 2차원 중간 요소 영상을 생성하는 방법을 도시한 도면.
도 4는 본 발명의 바람직한 실시예에 따른 요소 영상 및 서로 다른 파라미터에 따라 생성된 중간 요소 영상을 도시한 도면.
도 5는 본 발명의 바람직한 제1 실시예에 따른 중간 요소 영상을 이용하여 3차원 객체를 확대하는 원리를 도시한 도면.
도 6은 본 발명의 바람직한 제1 실시예에 따른 3차원 객체로부터 요소 영상들을 픽업하기 위한 시스템을 도시한 도면.
도 7은 도 6의 시스템에 의해 픽업된 요소 영상 및 확대된 요소 영상을 도시한 도면.
도 8은 도 7의 요소 영상들 및 요소 영상들로부터 생성된 중간 요소 영상들을 도시한 도면.
도 9는 본 발명의 바람직한 제1 실시예에 따른 수직 및 수평적으로 생성된 중간 요소 영상과 요소 영상을 비교하기 위한 방식을 도시한 도면.
도 10은 본 발명의 바람직한 제1 실시예에 따른 영상 확대를 위한 입체 영상 표시 장치를 도시한 도면.
도 11은 본 발명의 바람직한 제1 실시예에 따른 확대된 영상을 도시한 도면.
도 12는 일반적으로 컴퓨터를 이용한 입체 영상을 재생하기 위한 직접 영상 방식을 도시한 도면.
도 13은 본 발명의 바람직한 제2 실시예에 따른 컴퓨터를 이용한 입체 영상을 재생하기 위한 시스템 구성도.
도 14는 본 발명의 바람직한 제2 실시예에 따른 컴퓨터를 이용한 입체 영상을 재생하기 위한 직접 영상 방식을 도시한 도면.
도 15는 본 발명의 바람직한 제2 실시예에 따른 광학적으로 획득한 요소 영상 및 합성된 중간 요소 영상을 도시한 도면.
도 16은 본 발명의 바람직한 제2 실시예에 따른 컴퓨터를 이용한 요소 영상 으로부터 복원된 입체 영상의 비교도.
<도면의 주요 부분에 대한 부호의 설명>
210 : 3차원 객체 220 : 제1 렌즈 어레이
230 : 이미지 센서 240 : 영상 처리부
250 : 영상 재생부 260 : 제2 렌즈 어레이
270 : 3차원 영상
본 발명은 입체 영상 표시(display) 장치 및 그 방법에 관한 것으로서, 특히, 집적 영상(Integral Imaging)을 사용하여 3차원 영상을 표시(display) 하는 입체 영상 표시 장치 및 그 방법에 관한 것이다.
1908년 최초로 Lippmann에 의해 제안된 집적 영상(Integral imaging) 기술은 차세대 3차원(3D) 영상 디스플레이 기술로 활발하게 연구되어 왔다. 집적 영상 기술은 이상적인 3차원 디스플레이 방식인 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점을 가지고 있다. 일반적으로 집적 영상 기술은 크게 픽업 단계와 디스플레이 단계로 나뉘어 진다. 픽업 단계는 이미지 센서(CCD)와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈배열 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 배열을 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상을 요소영상(Elemental images)으로서 3차원 재생을 위해 이용된다. 이후 집적 영상 기술의 디스플레이 단계는 픽업 단계의 역과정으로, LCD와 같은 디스플레이 장치와 렌즈 어레이로 구성된다. 여기서, 픽업과정에서 얻은 요소 영상을 디스플레이 장치에 표시하고, 요소 영상의 영상정보가 렌즈배열을 통과하여 공간상에 3차원 영상을 복원하게 된다.
집적 영상 기술은 많은 장점이 있음에도 불구하고, 3D 물체로부터 제한된 영상정보 픽업 때문에 고해상도의 3D 복원 영상 획득에 어려움이 있었다. 일반적으로 3D로 복원된 영상의 해상도는 요소 영상의 수에 달려있다고 알려져 있다. 따라서 고해상도의 3D 영상들의 복원을 위해 많은 수의 요소 영상이 필요하게 된다.
2002년에 Javidi 그룹에서 집적 영상 시스템에서 3D 복원 영상의 해상도를 증가시키는 MALT(Moving Array-lenslet Technique, 이하 'MALT'라고 한다) 방법을 제안했다. MALT는 시분할 (Time-multiplexing) 기법을 이용하여 많은 요소 영상을 획득하고 반대로 랜즈배열이 움직이는 동안 시분할로 얻은 많은 요소 영상들을 고속의 디스플레이 패널에 나타냄으로써 고해상도의 3D 영상들을 복원시킨다. 그리고 최근의 한 연구에서는 MALT를 3차원 복원 영상의 확대에 적용한 방법을 보고하였다. 여기서 복원 영상의 크기는 집적 영상 기술의 픽업 단계에서 공간적 광선 샘플링을 조절하는 MALT에 의해 수행된다. MALT의 사용은 가로와 세로의 공간적 좌표사이에 3D 물체들의 동일한 크기의 확대 기능을 제공한다. 한편 3D 영상의 디스플레이 단계는 고정적인 렌즈배열로 구현하여 확대된 영상을 얻는다. 즉, 집적 영상 기 술에서 3D 복원 영상의 해상도는 회절, 렌즈릿 수차, 시스템 정렬, 2차원 감지기에 픽셀, 디스플레이 패널과 같은 많은 시스템 변수에 의하여 결정된다. 하지만, 복원되는 3D 영상의 해상도를 제한하는 가장 근본적인 변수 중에 하나는 렌즈 배열을 구성하는 기초렌즈의 직경이다. Nyquist 샘플링 이론으로부터, 집적 영상 기술에서의 해상도의 제한은 βnyq=L/2P으로 주어진다. 여기서 P는 기초렌즈의 크기이고, L은 관측자와 렌즈배열 사이의 거리이다. 여기서 해상도의 증가시키기 위해 무작위로 P를 작게 하면 시야각(Viewing angle)이 상대적으로 줄어 들고, 기초렌즈의 회절 영향이 발생하게 되는 문제점이 있다. 이러한 제약을 극복하기 위한 시도 중의 하나가 MALT이다.
도 1은 종래 기술에 따른 입체 영상의 해상도를 증가시키기 위한 MALT 시스템을 도시한 도면이다. 도 1을 참조하면, 3차원 객체(110), 제1 렌즈 어레이(120), 이미지 센서(130), 영상 처리부(Image processing part)(140), 영상 표시부(150), 제2 렌즈 어레이(160) 및 3차원 영상(170)이 도시된다.
3차원 객체(110)로부터 투영된 광은 제1 렌즈 어레이(120)를 투과하여 이미지 센서(130)에 복수의 요소 영상으로써 저장된다. 이후 요소 영상은 영상의 크기 및 배치 등을 처리하기 위한 영상 처리부(140)를 거친 후 영상 표시부(150)에서 출력되어 제2 렌즈 어레이(160)에 의해 3차원 영상(170)으로 도시된다.
여기서, MALT를 사용하는 픽업 단계에서는 렌즈배열을 상하좌우 방향으로 진동시킴으로써 공간적 샘플링 비율을 증가시킨다. 이때 2차원 감지기는 고정되어 있지만, 진동하는 렌즈배열을 통해 얻어지는 고정되지 않은 요소 영상들을 기록하기 위한 빠르게 기록할 수 있는 고속 픽업용 2차원 감지기가 필요하다. 한편 MALT는 가로와 세로에 공간적 좌표의 동일한 분석과 더불어 3D 물체들을 확대하기 위해 사용되어 질 수 있다. 여기서는 왜곡이 없는 영상을 얻을 수 있고 넓은 시야각을 제공하는 프로젝션형 집적 영상 시스템이 사용될 수 있다. 여기서, 프로젝션형 집적 영상 시스템는 볼록 미러 렌즈 배열을 사용한다. 이 시스템에서 3차원 복원 영상의 확대는 픽업 단계의 MALT 기능에 의해 수행된다. 예를 들어 3차원 객체를 n배 확대하는 것을 가정하면, MALT를 이용하여 n×n 샘플링 지점에서 요소 영상을 픽업해야만 한다. 여기서 n=P/S, P는 기초 렌즈의 직경, S는 샘플링 간격이다. 픽업 단계는 하나의 기초렌즈의 크기 내에서 반복된다. 그러면 모든 n×n 픽업된 요소 영상들은 전송라인을 통해 디스플레이 시스템에 전송된다. 확대된 3D 영상들을 디스플레이 하기 위해, n×n 개의 요소 영상을 영상 처리부(140)에서 새로운 조합의 요소 영상으로 형성한다. 이렇게 조합된 요소 영상들을 렌즈 배열 스크린에 투영함으로써 3차원 객체를 n배 확대할 수 있다.
그러나 이 MALT는 픽업 단계에서 렌즈 배열의 진동을 이용해서 다중 단계 픽업 과정을 요구하기 때문에 기계적 움직임으로 인한 오차나 오랜 픽업 시간이 소요되므로 실시간 집적 영상 시스템을 구현하는데 어려움이 있다.
즉, 픽업 단계에서 얻어진 요소 영상들은 3D 조합된 영상들의 확대를 위해서 MALT가 이용될 수 있다. 그러나 이 방법에서 기계적 움직임과 오랜 픽업 시간은 실시간 시스템의 최적화에 방해요인이 되는 문제점이 있다.
본 발명은 입체 영상 재생시 고 해상도의 3차원 영상을 출력할 수 있는 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법을 제공한다.
또한, 본 발명은 컴퓨터의 알고리즘에 의해 생성된 복수의 중간 요소 영상을 이용하여 3차원 영상을 재생함으로써 렌즈 배열의 기계적 움직임이 불필요한 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법을 제공한다.
또한, 본 발명은 한번의 픽업과정으로 획득된 요소 영상을 이용하여 3차원 영상을 재생함으로써 오랜 픽업 시간의 소비가 없는 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법을 제공한다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 3차원 객체로부터 추출된 서로 다른 시점의 복수의 요소 영상을 생성하는 영상 입력부; 상기 영상 입력부에서 입력된 상기 요소 영상 간의 시차 정보를 이용하여 중간 요소 영상을 생성하는 영상 처리부; 및 상기 요소 영상 및 상기 중간 요소 영상을 이용하여 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 영상 재생부를 포함하는 중간 요소 영상을 이용한 입체 영상 표시 장치가 제공된다.
또한, 상기 영상 입력부는 3차원 객체로부터 서로 다른 시점의 요소 영상들 을 추출하기 위한 제1 렌즈 어레이; 및 상기 제1 렌즈 어레이로부터 수신된 상기 요소 영상들을 저장하는 이미지 센서를 포함할 수 있다.
여기서, 상기 영상 재생부는 상기 요소 영상 및 상기 중간 요소 영상을 표시하는 영상 표시부; 상기 영상 표시부에서 표시되는 요소 영상 및 상기 중간 요소 영상을 투과하여 중첩되게 결상함으로써 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 복수의 볼록 렌즈로 구성된 제2 렌즈 어레이를 포함할 수 있다.
또한, 상기 영상 재생부는 상기 요소 영상 및 상기 중간 요소 영상을 표시하는 영상 표시부; 상기 영상 표시부에서 표시되는 요소 영상 및 상기 중간 요소 영상을 반사하여 중첩되게 결상함으로써 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 복수의 오목 거울로 구성된 거울 어레이를 포함할 수 있다.
여기서, 상기 중간 요소 영상은 상기 복수의 요소 영상 중 인접한 두 요소 영상의 선형 조합으로 합성될 수 있다.
여기서, 상기 중간 요소 영상은 하기의 식에 의해 생성될 수 있다.
Figure 112005065980434-pat00001
여기서, IP는 중간 요소 영상의 픽셀, IL은 상기 인접한 두 요소 영상 중 좌 요소 영상의 픽셀, IR은 상기 인접한 두 요소 영상 중 우 요소 영상의 픽셀, d는 IL과 IR의 공간적인 거리 차이 및 0≤α≤1 임.
또한, 상기 3차원 영상이 상기 3차원 객체를 n배 확대하는 경우 인접한 요소 영상간에 생성되는 상기 중간 요소 영상의 개수는 n-1일 수 있다.
이하, 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2a는 본 발명의 바람직한 실시예에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치를 도시한 도면이다. 도 2를 참조하면, 3차원 객체(210), 제1 렌즈 어레이(220), 이미지 센서(230), 영상 처리부(240), 영상 재생부(250), 제2 렌즈 어레이(260) 및 3차원 영상(270)이 도시된다.
집적 영상 기술에 따른 중간 요소 영상(Intermediate elemental image)을 이용한 입체 영상 표시 장치는 크게 촬영부와 표시부를 포함한다. 촬영부는 3차원 객체(210)로부터 서로 다른 시점의 상을 형성하는 제1 렌즈 어레이(220)와, 제1 렌즈 어레이(220)에 의해 결상된 요소 영상을 저장하는 이미지 센서(230)를 포함한다. 표시부는 이미지 센서(230)에 저장된 기초 영상을 표시하는 영상 재생부(250)와, 영상 재생부(250)에서 표시되는 요소 영상을 결상하여 3차원 영상(270)으로 재생하는 제2 렌즈 어레이(260)를 포함한다. 여기서, 제1 렌즈 어레이(220)와 제2 렌즈 어레이(260)는 복수의 렌즈가 결합되어 형성된다.
영상 처리부(240)에서는 3D 영상의 확대를 위한 중간 영상 복구 기술(IVRT, Intermediate View Reconstruction Technique, 이하 'IVRT'이라고 한다)을 사용하 여 중간 요소 영상들을 합성한다. 한 번에 픽업한 요소 영상들을 현재의 통신 채널에 쓰이고 있는 픽업 장치들을 경유하여 영상 처리부(240)로 실시간으로 전송이 가능하다. 여기서, 한 번의 픽업으로 획득된 요소 영상들은 집적 영상 시스템의 확대 기능에 사용할 수 없기 때문에, 요소 영상들의 수를 증가시키기 위해 컴퓨터의 연산에 의해 중간 요소 영상을 생성하는 IVRT를 사용한다. 이러한 IVRT을 이용하는 경우 최근에 하드웨어의 신속한 발전으로 인하여 실시간으로 중간 요소 영상의 생성이 가능하며, 원 요소 영상과 새로 생성된 중간 요소 영상에 대한 실시간 영상 처리가 가능하다.
여기서, 본 발명에 따른 집적 영상 시스템에서는 종래 기술에 따른 MALT와 같은 다중 픽업 단계와 기계적 동작 없이 단순히 컴퓨터적 계산을 통하여 3차원 복원 영상을 확대시킬 수 있다. 즉, 본 발명에 따른 디스플레이 방법에서는 한 번의 픽업과정으로 획득된 요소 영상에 대해서 중간 영상 복원 방법(Intermediate View Reconstruction Technique)을 사용하여 복수의 요소 영상을 추가적으로 합성한다. 이러한 방법은 복수의 요소 영상을 생성하여 입체 영상을 재생하는 MALT와 같은 효과를 제공할 수 있다. 따라서 본 발명에 따른 시스템은 렌즈 배열의 기계적 움직임과 3차원 물체의 픽업을 위한 부가적인 시간의 필요성 없기 때문에 실시간 확대 집적 영상 시스템에 사용될 수 있다. 이하에서는 제안하는 시스템의 작동 원리를 설명한 후 실현 가능성을 설명하기 위해 실제 3D 물체에 대한 확대 디스플레이 실험을 수행하고 그에 대한 결과들을 제시한다.
도 2b는 본 발명의 본 발명에 적용 가능한 투과형 및 반사형 집적 영상 디스플레이 장치를 도시한 도면이다. 도 2b를 참조하면, 디스플레이 장치(280), 투과형 렌즈 어레이(283), 3차원 영상(285, 295), 프로젝션 장치(290) 및 반사형 렌즈 어레이(293)이 서로 비교 도시된다.
투과형 집적 영상 장치(a)에서는 디스플레이 장치(280) 앞에 투과형 렌즈 어레이(283)가 위치한다. 따라서 디스플레이 장치(280)에서 출사된 광은 투과형 렌즈 어레이(283)를 통과한 후 각각의 요소 영상들이 합성되어 3차원 영상(285)을 형성한다.
이에 반하여, 반사형 집적 영상 장치(b)에서는 프로젝션 장치(290)와 반사형 렌즈 어레이(293) 사이에서 3차원 영상(295)이 형성된다. 반사형 렌즈 어레이(293)는 투과형 렌즈 어레이(283)의 일면에 미러 코팅하여 형성된다. 여기서, 반사형 렌즈 어레이(293)는 오목 거울 어레이로 대체될 수도 있다. 따라서 프로젝션 장치(290)에서 나온 광은 오목 거울 어레이에서 반사되고 집적되어 입체 영상을 형성한다. 반사형 집적영상 시스템은 대화면의 프로젝션형 집적 영상 시스템으로 이용될 수 있다.
여기서, 일반적으로 반사형 집적 영상 장치(b)는 투과형 집적 영상 장치(a)에 비해서 왜곡이 없는 영상 및 넓은 시야각을 제공할 수 있다. 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치에는 상술한 투과형 집적 영상 장치(a) 및 반사형 집적 영상 장치(b)가 모두 적용될 수 있다.
도 3a는 본 발명의 바람직한 실시예에 따른 집적 영상 시스템에서 중간 요소 영상을 생성하는 방법을 도시한 도면이다. 도 3을 참조하면, 복수의 요소 영상들 중 인접한 두 영상에서 좌 영상(310), 복수의 요소 영상들 중 인접한 두 영상에서 우 영상(320) 및 좌 영상(310)과 우 영상(320)의 중간 요소 영상(330)이 도시된다.
여기서, 좌 영상(310)은
Figure 112005065980434-pat00002
이고, 우 영상(320)은
Figure 112005065980434-pat00003
이며, 두 영상의 디스패러티(disparity)는
Figure 112005065980434-pat00004
이다. 그리고 중간 요소 영상(330)은
Figure 112005065980434-pat00005
이다. 여기서, 디스패러티(
Figure 112005065980434-pat00006
)는 다양한 방법으로 추출될 수 있다. 대응되는 중간 요소 영상(330)의 위치는 왼쪽 영상으로부터 표준화된 거리 -에 위치한다. 즉, 왼쪽에서 오른쪽 시점까지의 거리를 1로 정규화 시키면 0≤α≤1이다. 여기서, 중간 시점 영상은 보간법을 사용하여 두 영상의 선형 조합으로 합성될 수 있다. 하기 수학식(1)은 시점의 위치 값(α)을 사용한 보간법의 방식을 보여준다.
Figure 112005065980434-pat00007
(1)
여기서, IP는 중간 요소 영상의 픽셀이며, IL은 인접한 두 요소 영상 중 좌 요소 영상의 픽셀이고, IR은 인접한 두 요소 영상 중 우 요소 영상의 픽셀이며, d는 IL과 IR의 공간적인 거리 차이(디스패러티)이고, 0≤α≤1 이다.
도 3b는 본 발명의 바람직한 실시예에 따른 2차원 배열의 중간 요소 영상을 도시한 도면이다. 도 3b를 참조하면, 3차원 객체로부터 생성된 요소 영상(340), 중 간 요소 영상(350) 및 중간 요소 영상을 포함하여 3차원 영상을 재생하기 위한 요소 영상의 집합(360)이 도시된다.
중간시점영상복원 기법은 서로 다른 시점의 영상의 디스패러티 정보를 추정하고 생성하려는 중간 시점의 위치에 따라 디스패러티 정보에 다른 가중치를 줌으로써 생성된다. 여기서, 각 요소 영상의 사이에 3시점의 중간영상을 생성하는 방법이 도시된다. 각 요소 영상의 중간에 수직/수평 차원에서 3시점의 외부 중간 요소 영상(12개)을 생성하고 생성된 외부 중간 요소 영상을 이용하여 내부 중간 요소 영상(9개)을 생성한다. 따라서 3차원 객체로부터 생성된 4개의 요소 영상(340)으로부터 25개의 요소 영상을 가지는 요소 영상의 집합(360)이 생성된다.
여기서,
Figure 112005065980434-pat00008
번째 요소 영상은
Figure 112005065980434-pat00009
로 나타낸다. 여기서 x와 y는 각각의 요소 영상 안에서 픽셀의 위치를 나타낸다. i, j는 렌즈 어레이에 포함된 수평 및 수직으로 배열된 렌즈의 개수에 상응한다. IVRT는 두개의 인접하는 요소 영상들에 적용되는 경우를 중심으로 설명하지만 그외의 경우에도 본 발명이 적용될 수 있음은 물론이다.
Figure 112005065980434-pat00010
와
Figure 112005065980434-pat00011
를 이용하여 상기 수학식 (1)로부터 다양한 α 값들에 상응하는 중간 요소 영상들을 획득할 수 있다. 집적 영상 시스템에서 α는 크기 조절 파라미터로 사용된다. 만약 3D 물체들을 n배로 확대하려면,
Figure 112005065980434-pat00012
의 값을 가지며, 그 개수는 n-1이 된다.
도 4를 참조하면, 요소 영상(
Figure 112005065980434-pat00013
,
Figure 112005065980434-pat00014
) 및 서로 다른 파라미터(α=1/4, 1/2, 3/4)에 따라 생성된 중간 요소 영상이 도시된다. 요소 영상 (
Figure 112005065980434-pat00015
,
Figure 112005065980434-pat00016
) 간의 디스패러티는 서로 다른 파라미터(α=1/4, 1/2, 3/4)에 따라 생성된 중간 요소 영상에 의해 조금씩 보상된다.
이상에서 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법을 일반적으로 도시한 도면를 설명하였으며, 이하에서는 첨부 도면을 참조하여, 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법을 구체적인 실시예(실험치)를 기준으로 설명하기로 한다. 본 발명에 따른 실시예는 중간 요소 영상을 이용하여 3차원 객체의 영상을 확대하는 방법과 해상도를 높이는 방법으로 구분되는데, 이하에서 차례대로 설명한다.
도 5는 본 발명의 바람직한 제1 실시예에 따른 요소 영상만을 이용하는 경우와 중간 요소 영상을 이용하여 3차원 객체를 확대하는 경우를 비교한 도면이다. 도 5를 참조하면, 디스플레이 장치(510, 550), 요소 영상(515, 520, 555, 565), 렌즈 어레이(517, 522, 557, 562, 567), 3차원 영상(530, 570) 및 중간 요소 영상(560)이 도시된다.
요소 영상(515, 520)만을 이용하여 3차원 영상(530)을 생성하는 경우(a) 디스플레이 장치(510)에서 출력된 요소 영상(515, 520) 들은 그 앞에 위치한 렌즈 어레이(517, 522)를 경유하여 렌즈의 초점거리, 요소 영상(515, 520) 간의 거리 등에 상응하여 일정한 크기를 가지는 3차원 영상(530)을 재생한다.
이에 비해, 요소 영상(555, 565), 중간 요소 영상(560)을 이용하여 3차원 영상(570)을 생성하는 경우(b), 요소 영상(555, 565)간에 중간 요소 영상(560)이 위치하며, 요소 영상(555, 565)간의 거리는 요소 영상(515, 520) 간의 거리보다 커진다. 따라서 합성된 3차원 영상(570)의 상/하점을 고려하면 기하광학적으로 서로 만나는 점이 형성한 선들이 3차원 영상(530) 보다 확장되어 전체적으로 영상이 확대된다. 여기서, 중간 요소 영상(560)은 요소 영상(555, 565)간에 삽입되어 해상도를 높일 수 있는 효과가 있다. 여기서, 만약 3차원 영상(570)이 3차원 영상(530) 보다 n배로 확대하려면, 요소 영상간에 삽입되는 중간 요소 영상의 개수는 n-1이 된다. 즉, 요소 영상(555, 565) 간의 거리가 처음 인접한 거리보다 n배가 되면, 3차원 영상(570)은 3차원 영상(530) 보다 n배 커지며, 이 경우 요소 영상(555, 565) 간에 삽입되는 중간 요소 영상의 개수는 n-1개가 된다. 이하에서는 이러한 중간 요소 영상(560)을 이용하여 영상을 확대하는 방법에 따라 구현되는 구체적인 실시예를 설명한다.
도 6은 본 발명의 바람직한 실시예에 따른 제1 실시예에 따른 3차원 객체의 영상을 확대하기 위하여 요소 영상들을 픽업하기 위한 시스템을 도시한 도면이다. 도 5를 참조하면, 요소 영상들은 렌즈릿 어레이(620) 픽업을 통해 이미지 센서(예를 들면, CCD 카메라)(610)로 캡쳐된다. 예를 들면, 3차원 객체는 두개의 객체들로 구성된다. 즉, 자동차(630)는 렌즈릿 어레이(620)로부터 3cm 떨어져 있고 문어(640)는 렌즈릿 어레이(620)로부터 10cm 떨어져 있다. 렌즈릿 어레이(620)는 33*25 이고 각각의 렌즈릿은 CCD 카메라로 30*30에 매핑되어 있다. 초점 거리와 렌즈의 배율은 각각 3mm와 1.08mm로 형성된다.
도 7은 도 6의 시스템에 의해 픽업된 요소 영상 및 확대된 요소 영상을 도시한 도면이다. 도 7을 참조하면, 픽업된 요소 영상들이 도시되는 출력 화면(a)의 픽셀은 990*750이며, 확대된 요소 영상에 대한 화면(b)은 'car'(530)의 타이어에 대한 확대된 요소 영상들을 도시한다. 여기서, 각각의 요소 영상들은 3차원 객체의 각각의 시점을 가진다. 도 8은 도 7의 요소 영상들로부터 생성된 중간 요소 영상들을 도시한 도면이다. 3개의 서로 다른 α(n=4)를 사용하여 도 7의 요소 영상들로부터 생성된 중간 요소 영상을 도시한 화면(a, b)가 도시된다.
도 9는 본 발명의 바람직한 제1 실시예에 따른 수직 및 수평적으로 요소 영상으로부터 계산되어 생산된 중간 요소 영상의 영상 퀄리티(quality) 비교를 위한 방법을 보여주는 도면이다.
도면 (a)를 참조하면, 수평으로 인접한 요소 영상((Ei,j), (Ei+1,j), (Ei+2,j))이 차례대로 도시되며, 그 중에서 중간에 있는 요소 영상(Ei+1,j)을 레퍼런스 영상으로 이용하였다. 또한, 도면 (b)를 참조하면, 수직으로 인접한 요소 영상((Ei,j), (Ei+1,j), (Ei+2,j))이 도시되면, 그 중에서 중간에 있는 요소 영상(Ei+1,j)이 레퍼런스 영상으로 이용된다. 여기서, α=1/2이므로 렌즈 어레이의 위치에 따라서 합성된 3차원 영상은 2배로 확대되어 투영될 수 있다. 여기서, 수평으로 인접한 요소 영상((Ei,j), (Ei+1,j), (Ei+2,j))과 수직으로 인접한 요소 영상 ((Ei,j), (Ei+1,j), (Ei+2,j)) 모두 렌즈 어레이에 의해 추출된 요소 영상이다. 요소 영상((Ei,j), (Ei+2,j))을 이용하여 IVRT에 따라서 컴퓨터로 중간 요소 영상을 연산한 후 요소 영상(Ei+1,j)과 서로 비교한 결과 모든 레퍼런스를 반복한 후에 평균 36.08의 PSNR 값을 얻었다. 여기서, PSNR(Peak Signal to Noise Ratio)은 이미지의 손실을 측정하기 위해 일반적으로 사용되며, 원래의 요소 영상과 생성된 중간 요소 영상의 화소값간의 평균 제곱 오차 등을 이용하여 계산된다. 이러한 결과값은 집적 영상 시스템에서 3D 영상 복원 시 손실이 크지 않다는 것을 나타낸다.
도 10은 본 발명의 바람직한 제1 실시예에 따른 영상 확대를 위한 입체 영상 표시 장치를 도시한 도면이며, 도 11은 도 10의 시스템에 의해 2배 및 3배로 영상이 확대된 도면이다.
IVRT에 의해 생성된 중간 요소 영상들을 사용하여 3차원 영상을 확대하기 위한 방법을 보이기 위해 디스플레이 장치는 마이크로 볼록 미러 어레이(1010), 이미징 렌즈(1020) 및 프로젝터(1030)을 포함한다. 여기서, 디스플레이 프로젝터(1030)의 해상도는 1280*1024이다. 마이크로 볼록 미러 어레이(1010)는 렌즈릿 배열 스크린을 위해 사용되며, 투과형 렌즈 어레이의 일면을 미러 코팅하여 형성된다. 프로젝터(1030)로부터 투영된 각각의 요소 영상들은 이미징 렌즈(1020)에 의해 크기 및 선명도가 조절된다. 이후 요소 영상들은 마이크로 볼록 미러 어레이(1010)에서 반사되어 3차원 영상으로 합성된다. 도 11을 참조하면, 원래 크기의 영상(a), 두배 확대된 영상(b) 및 세배 확대된 영상(c)이 도시된다. 이러한 실험은 3D 영상을 확 대하기 위해 IVRT에 의해 생성된 중간 요소 영상들 사용할 수 있음을 나타낸다.
도 12는 일반적으로 컴퓨터 및 핀홀 배열을 이용하여 입체 영상을 재생하기 위한 직접 영상 방식을 도시한 도면이다.
집적 영상 방식은 마이크로 렌즈 배열 혹은 핀홀 배열을 이용해서 3차원 공간의 광의 정보를 받아들여 3차원 영상을 표현하는 방식이다. 집적 영상 방식을 이용해서 3차원 공간의 물체의 빛의 정보를 받아들이기 위해서는 CCD와 같은 광학 센서를 이용하여 각 렌즈 혹은 핀홀 배열을 통과하는 광의 세기와 방향을 기록한다. 요소영상을 추출할 때와 같은 렌즈 혹은 핀홀 배열을 사용하여 각 요소영상을 통과시켜 합성함으로써 이렇게 저장된 정보(요소 영상)를 3차원 영상으로 재생한다.
여기서, 미리 생성된 요소 영상을 컴퓨터를 이용하여 재생 및 합성함으로써 3차원 영상을 추출할 수 있다. 즉, 기존의 요소영상의 광학적 복원 방식을 그대로 모방한 컴퓨터를 이용한 재생 방식이 이용될 수 있다. 먼저, 요소 영상을 획득하는 방법은 광학적 재생 방법과 같다. 하지만 획득한 요소영상을 재생할 때 렌즈(혹은 핀홀)의 원리를 컴퓨터적으로 모델링하여 각 요소영상을 확대 및 반전하여 중첩하는 방법이 사용될 수 있다. 요소영상이 확대되는 비율은 복원되는 거리(가상의 핀홀 배열(1230, 1270)과 복원된 영상 영역(1240, 1250, 1280)간의 거리) l과, 요소영상(1210, 1220, 1260)과 가상의 핀홀 배열(1230, 1270)과의 거리 k의 비율로 결정된다.(확대율 M = l/g). 여기서, 해상도를 높이기 위해 생성된 개수가 많아진 요소 영상을 재생시 컴퓨터를 이용한 입체 영상을 재생하기 위한 시스템은 3차원 객 체(1310), 렌즈 어레이(1320), 이미지 센서(1330) 및 컴퓨터(1340)를 포함한다.
도 14는 본 발명의 바람직한 제2 실시예에 따른 3차원 영상의 재생시 컴퓨터를 이용하여 입체 영상을 재생하기 위한 직접 영상 방식을 도시한 도면이다. 도 14를 참조하면, 요소 영상(1410, 1420, 1470), 중간 요소 영상(1405), 핀홀 배열(1430, 1480), 복원된 영상 영역(1440, 1450, 1460, 1490)이 도시된다.
상술한 바와 같이 확대율 M = l/g이며, 각각의 요소 영상(1410, 1420, 1470)간에는 중간 요소 영상(1405)이 생성되어 배치된다. 따라서, 첫번째 요소 영상(1470), n-1번째 요소 영상(1420), n번째 요소 영상(1410) 및 중간 요소 영상(1405)은 핀홀 배열(1430, 1480)을 통과하여 기하광학적으로 첫번째 복원된 영상(1490), n-1번째 복원된 영상(1460), n번째 복원된 영상(1440) 및 중간 요소 영상(1405)의 복원된 영상(1450)이 도시된다. 여기서, 생성된 중간 요소 영상(1405) 및 요소 영상을 복원하는 방법은 종래의 컴퓨터를 이용하여 재생되는 요소 영상 사이에 생성된 중간 요소 영상(1405)을 일정한 간격을 두고 확대 및 반전하여 중첩시킨다.
여기서, 컴퓨터적 집적 영상 방식에서 3차원 영상의 복원 방식은 최대한 많은 요소 영상이 중첩되는 경우 재생된 3차원 영상의 해상도가 개선되는 효과가 있다. 따라서 중간시점 영상복원 방식으로 각 요소영상의 사이에 중간 영상을 생성할 경우 중첩되는 요소 영상의 수가 증가하여 개선된 해상도의 3차원 영상을 얻을 수 있다.
도 16은 본 발명의 바람직한 제2 실시예에 따른 광학적으로 획득한 요소 영상 및 합성된 중간 요소 영상을 도시한 도면이며, 도 17은 도 16에 의해 얻어진 요소 영상으로부터 얻어진 3차원 영상과 중간 요소 영상으로부터 컴퓨터를 이용하여 복원된 3차원 영상을 비교한 도면이다.
도 16을 참조하면, 렌즈 어레이를 통하여 3차원 객체로부터 얻은 요소 영상(a)과 IVRT에 의해 생성된 중간 요소 영상(b)가 도시된다. 렌즈 어레이를 통하여 3차원 객체로부터 얻은 요소 영상(a)의 해상도는 990*750이며 각 요소 영상은 30*30의 픽셀로 이루어져있다.
도 17을 참조하면, 요소 영상만을 이용하여 컴퓨터적 집적 영상의 3차원 영상을 재생한 경우(a)와 IVRT에 의해 생성된 중간 요소 영상을 이용하여 3차원 영상을 재생한 경우(b)가 도시된다. 전자의 경우보다 후자의 경우에서 영상의 해상도가 높다. 따라서 이러한 결과로부터 중간시점 영상 생성기법을 적용한 경우의 해상도가 향상됨을 쉽게 확인할 수 있다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
상술한 바와 같이 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법은 입체 영상 재생시 고 해상도의 3차원 영상을 출력할 수 있는 효과가 있다.
또한, 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법은 컴퓨터의 알고리즘에 의해 생성된 복수의 중간 요소 영상을 이용하여 3차원 영상을 재생함으로써 렌즈 배열의 기계적 움직임이 불필요한 효과가 있다.
또한, 본 발명에 따른 중간 요소 영상을 이용한 입체 영상 표시 장치 및 그 방법은 한번의 픽업과정으로 획득된 요소 영상을 이용하여 3차원 영상을 재생함으로써 오랜 픽업 시간의 소비가 없는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명 및 그 균등물의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 3차원 객체로부터 집적 영상을 위해 서로 다른 시점의 요소 영상들을 추출하기 위한 제1 렌즈 어레이, 상기 제1 렌즈 어레이로부터 수신된 상기 요소 영상들을 저장하는 이미지 센서를 포함하는 영상 입력부;
    상기 영상 입력부에서 입력된 상기 요소 영상 간의 시차 정보를 이용하여 중간 요소 영상을 생성하는 영상 처리부; 및
    상기 요소 영상 및 상기 중간 요소 영상을 이용하여 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 영상 재생부를 포함하는 중간 요소 영상을 이용한 입체 영상 표시 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 재생부는
    상기 요소 영상 및 상기 중간 요소 영상을 표시하는 영상 표시부;
    상기 영상 표시부에서 표시되는 요소 영상 및 상기 중간 요소 영상을 투과하여 중첩되게 결상함으로써 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 복수의 볼록 렌즈로 구성된 제2 렌즈 어레이를 포함하는 것을 특징으로 하는 중간 요소 영상을 이용한 입체 영상 표시 장치.
  4. 제1항에 있어서,
    상기 영상 재생부는
    상기 요소 영상 및 상기 중간 요소 영상을 표시하는 영상 표시부;
    상기 영상 표시부에서 표시되는 요소 영상 및 상기 중간 요소 영상을 반사하여 중첩되게 결상함으로써 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 복수의 오목 거울로 구성된 거울 어레이를 포함하는 것을 특징으로 하는 중간 요소 영상을 이용한 입체 영상 표시 장치.
  5. 제1항에 있어서,
    상기 중간 요소 영상은 상기 복수의 요소 영상 중 인접한 두 요소 영상의 선형 조합으로 합성되는 것을 특징으로 하는 중간 요소 영상을 이용한 입체 영상 표 시 장치.
  6. 제5항에 있어서,
    상기 중간 요소 영상은 하기의 식에 의해 생성되는 것을 특징으로 하는 중간 요소 영상을 이용한 입체 영상 표시 장치.
    Figure 112005065980434-pat00017
    여기서, IP는 중간 요소 영상의 픽셀, IL은 상기 인접한 두 요소 영상 중 좌 요소 영상의 픽셀, IR은 상기 인접한 두 요소 영상 중 우 요소 영상의 픽셀, d는 IL과 IR의 공간적인 거리 차이 및 0≤α≤1 임.
  7. 제1항에 있어서,
    상기 3차원 영상이 상기 3차원 객체를 n배 확대하는 경우 인접한 요소 영상간에 생성되는 상기 중간 요소 영상의 개수는 n-1인 것을 특징으로 하는 중간 요소 영상을 이용한 입체 영상 표시 장치.
KR1020050109801A 2005-11-16 2005-11-16 중간 요소 영상을 이용한 입체 영상 표시 장치 KR100730406B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050109801A KR100730406B1 (ko) 2005-11-16 2005-11-16 중간 요소 영상을 이용한 입체 영상 표시 장치
PCT/KR2006/000548 WO2007058409A1 (en) 2005-11-16 2006-02-17 Three-dimensional display apparatus using intermediate elemental images
US12/004,309 US20080211737A1 (en) 2005-11-16 2007-12-19 Three-dimensional display apparatus using intermediate elemental images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050109801A KR100730406B1 (ko) 2005-11-16 2005-11-16 중간 요소 영상을 이용한 입체 영상 표시 장치

Publications (2)

Publication Number Publication Date
KR20070052131A KR20070052131A (ko) 2007-05-21
KR100730406B1 true KR100730406B1 (ko) 2007-06-19

Family

ID=38048775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050109801A KR100730406B1 (ko) 2005-11-16 2005-11-16 중간 요소 영상을 이용한 입체 영상 표시 장치

Country Status (3)

Country Link
US (1) US20080211737A1 (ko)
KR (1) KR100730406B1 (ko)
WO (1) WO2007058409A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101129542B1 (ko) * 2009-10-08 2012-03-29 조열 형상 제공 시스템 및 그 장치
US10205933B2 (en) 2014-08-29 2019-02-12 Samsung Electronics Co., Ltd. Depth image acquisition apparatus and method of acquiring depth information
WO2021132824A1 (ko) * 2019-12-26 2021-07-01 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100897305B1 (ko) * 2007-07-03 2009-05-14 광운대학교 산학협력단 요소 영상을 이용한 3차원 집적 영상 방법, 시스템 및 이를실행하는 프로그램이 기록된 기록매체
KR100897307B1 (ko) * 2007-07-24 2009-05-14 광운대학교 산학협력단 집적 영상 방식에 의해 얻어진 3차원 영상을 홀로그램기법을 이용하여 재생하는 방법 및 장치
KR100927234B1 (ko) * 2007-07-30 2009-11-16 광운대학교 산학협력단 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
KR100927236B1 (ko) * 2007-07-30 2009-11-16 광운대학교 산학협력단 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체
KR100937768B1 (ko) * 2008-04-29 2010-01-20 동서대학교산학협력단 3차원 영상 재생 장치 및 방법
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP4538766B2 (ja) 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101121132B1 (ko) * 2009-12-09 2012-03-19 광운대학교 산학협력단 집적 영상 복원 방법 및 장치
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5699609B2 (ja) 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US20140039361A1 (en) * 2012-08-06 2014-02-06 The Hong Kong Polytechnic University Methods and viewing systems for inhibiting ocular refractive disorders from progressing
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) * 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2015034157A1 (ko) * 2013-09-04 2015-03-12 삼성전자주식회사 Eia 생성 방법 및 이를 수행할 수 있는 장치
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
JP6313569B2 (ja) * 2013-11-07 2018-04-18 日本放送協会 立体映像生成装置、そのプログラム及び立体映像表示装置
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
JP6300346B2 (ja) * 2013-11-28 2018-03-28 日本放送協会 Ｉｐ立体映像推定装置及びそのプログラム
CA2934528C (en) 2013-12-17 2022-06-28 Marsupial Holdings Inc. Integrated microoptic imager, processor, and display
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
KR101617514B1 (ko) * 2014-04-16 2016-05-13 광운대학교 산학협력단 멀티 프로젝션형 집적영상방법
CN104104939B (zh) * 2014-07-11 2017-02-08 西安电子科技大学 一种宽视角的集成成像三维显示系统
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032954A (ko) * 2000-10-28 2002-05-04 김춘호 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR20030037140A (ko) * 2001-11-02 2003-05-12 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002217579A1 (en) * 2000-12-18 2002-07-01 Byoungho Lee Relfecting three-dimensional display system
JP4199000B2 (ja) * 2001-03-15 2008-12-17 エイエムオー・ウェーブフロント・サイエンシーズ・リミテッド・ライアビリティ・カンパニー 光学システムをマッピングするための断層撮影波面分析システム及び方法
KR100433276B1 (ko) * 2001-05-02 2004-05-31 대한민국 입체 영상 표시 장치
US7054067B2 (en) * 2003-05-27 2006-05-30 Nippon Hoso Kyokai Three-dimensional image optical system
KR100538227B1 (ko) * 2003-07-26 2005-12-21 삼성전자주식회사 완전시차를 이용한 3차원 영상표시장치에서의 모아레 패턴제거 방법
KR100561401B1 (ko) * 2003-07-28 2006-03-16 삼성전자주식회사 2차원 및 3차원 영상의 호환이 가능한 다 시점 3차원 영상시스템의 영상표시부
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
JP4202991B2 (ja) * 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032954A (ko) * 2000-10-28 2002-05-04 김춘호 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR20030037140A (ko) * 2001-11-02 2003-05-12 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101129542B1 (ko) * 2009-10-08 2012-03-29 조열 형상 제공 시스템 및 그 장치
US10205933B2 (en) 2014-08-29 2019-02-12 Samsung Electronics Co., Ltd. Depth image acquisition apparatus and method of acquiring depth information
WO2021132824A1 (ko) * 2019-12-26 2021-07-01 충북대학교 산학협력단 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템

Also Published As

Publication number Publication date
KR20070052131A (ko) 2007-05-21
US20080211737A1 (en) 2008-09-04
WO2007058409A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
KR100730406B1 (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
JP5300258B2 (ja) ３次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム
JP5751986B2 (ja) 画像生成装置
US20020114077A1 (en) Integral three-dimensional imaging with digital reconstruction
JP2009518877A (ja) ３次元ライトフィールドを取得し、表示するための方法およびシステム
JP2008257686A (ja) ３次元シーンのライトフィールドを処理するための方法およびシステム
JP3524147B2 (ja) ３次元画像表示装置
KR101600681B1 (ko) 집적 영상시스템의 3차원 영상 표시깊이변환방법
US20060256436A1 (en) Integral three-dimensional imaging with digital reconstruction
WO2019065536A1 (ja) 再構成方法および再構成装置
JP5452801B2 (ja) 立体像生成装置およびそのプログラム
JP2012084105A (ja) 立体像生成装置およびそのプログラム
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
JP5747679B2 (ja) ３次元画像の提示方法
JP2009021708A (ja) 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム
JP2007150536A (ja) 立体映像撮影表示装置
JP4377656B2 (ja) インテグラルフォトグラフィ撮影装置およびインテグラルフォトグラフィ表示装置
KR100937768B1 (ko) 3차원 영상 재생 장치 및 방법
JPH0749944A (ja) 画像処理方法およびその装置
JP6313569B2 (ja) 立体映像生成装置、そのプログラム及び立体映像表示装置
JP6438803B2 (ja) 立体画像生成装置及びそのプログラム
KR101608753B1 (ko) 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
JP4270695B2 (ja) 立体画像表示装置用２ｄー３ｄ画像変換方式および装置
KR100464286B1 (ko) 입체 디스플레이 장치 및 그 방법
KR20090012982A (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120604

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee