KR20110124701A - 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 - Google Patents

감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110124701A
KR20110124701A KR1020110030259A KR20110030259A KR20110124701A KR 20110124701 A KR20110124701 A KR 20110124701A KR 1020110030259 A KR1020110030259 A KR 1020110030259A KR 20110030259 A KR20110030259 A KR 20110030259A KR 20110124701 A KR20110124701 A KR 20110124701A
Authority
KR
South Korea
Prior art keywords
image
depth map
high resolution
light field
field data
Prior art date
Application number
KR1020110030259A
Other languages
English (en)
Other versions
KR101756910B1 (ko
Inventor
박병관
키르마니 아흐메드
라스카 라메쉬
판트하카 로힛
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/102,812 priority Critical patent/US9143678B2/en
Publication of KR20110124701A publication Critical patent/KR20110124701A/ko
Application granted granted Critical
Publication of KR101756910B1 publication Critical patent/KR101756910B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

광 필드를 공간 변조하는 마스크를 이용하여 광 필드 영상을 획득하고 처리하는 광 필드 영상 처리 장치 및 방법이 제공된다. 광 필드 영상 처리 장치는, 렌즈와, 장면의 4D 광 필드 데이터를 장면에 대한 광대역 정보를 포함하도록 공간 변조하는 마스크와, 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 센서와, 2D 영상으로부터 4D 광 필드 데이터를 복원하고, 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 깊이 맵에 대한 고해상도 깊이 맵을 생성하고, 복원된 4D 광 필드 데이터 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 데이터 처리부를 포함한다.

Description

감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법{Apparatus and method for processing light field data using mask with attenuation pattern}
영상 처리에 관한 것으로, 더욱 상세하게는 광 필드를 공간 변조하는 마스크를 이용하여 광 필드 영상을 획득하고 처리하는 광 필드 영상 처리 장치 및 방법에 관한 것이다.
현재 상용화된 촬상 시스템은 한 번의 촬영으로 한 가지 영상만 볼 수 있다. 그러나, 최근에 포커스를 재조합하는 기능을 갖춘 플레놉틱 카메라(plenoptic camera)가 연구되고 있다. 플레놉틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이)를 이용하여 장면에 대한 4차원(4D) 광 필드 정보를 캡처한다. 이러한 플레놉틱 카메라는 한 번의 촬영 후 포커스 평면을 바꾸는 기능(re-focusing)과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션(view variation) 같은 기능을 사용자에게 제공한다.
그러나, 이러한 광 필드 데이터 획득 방법에 의하면 센서 픽셀의 개수에 대응하는 공간 데이터(Spatial Data)뿐 아니라 빛의 방향에 해당하는 앵귤러 데이터(Angular Data)도 동시에 획득하므로, 앵귤러 데이터만큼의 해상도 저하가 발생한다. 예를 들어, 메인 렌즈의 방향 분해능 크기 즉, 앵귤러 데이터가 12×12(즉, 144개)가 필요한 경우, 획득되는 영상의 해상도는 전체 센서 픽셀에 해당하는 해상도에 비하여 1/144배로 된다.
감쇠 패턴을 포함하는 마스크를 이용하여 광 필드 데이터를 획득하고, 광 필드 데이터를 이용하여 고해상도의 광 필드 영상 및 일반 영상을 얻을 수 있는 광 필드 영상 처리 장치 및 방법이 제공된다.
일 측면에 따른, 광 필드 영상 처리 장치는, 렌즈와, 장면의 4D 광 필드 데이터를 장면에 대한 광대역 정보를 포함하도록 공간 변조하는 마스크와, 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 센서와, 2D 영상으로부터 4D 광 필드 데이터를 복원하고, 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 깊이 맵에 대한 고해상도 깊이 맵을 생성하고, 2D 영상 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 데이터 처리부를 포함한다.
데이터 처리부는 2D 영상으로부터 4D 광 필드 데이터를 복원하는 복원부와, 4D 광 필드 데이터로부터 복수 개의 시점 영상을 생성하고, 복수 개의 시점 영상으로부터 깊이 맵을 생성하는 깊이 맵 생성부와, 깊이 맵에 대한 고해상도 깊이 맵을 생성하는 고해상도 깊이 맵 생성부와, 2D 영상과 생성된 고해상도 깊이 맵을 이용하여 모든 위치에서 초점이 맞는 전영역 포커싱 영상을 생성하는 전영역 포커싱 영상 생성부를 포함할 수 있다.
전영역 포커싱 영상 생성부는, 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수를 결정하고, 공간 변조 함수를 역변환한 값과 2D 영상을 이용하여 전영역 포커싱 영상을 생성할 수 있다.
데이터 처리부는, 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상을 생성하는 일반 영상 생성부를 더 포함할 수 있다.
데이터 처리부는, 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성하는 고해상도 광 필드 영상 생성부를 더 포함할 수 있다. 고해상도 광 필드 영상 생성부는, 고해상도 깊이 맵에 포함된 픽셀별 깊이 정보에 따라, 전영역 포커싱 영상의 픽셀을 쉬프트하여 고해상도 광 필드 영상을 생성할 수 있다.
마스크는 광을 감쇠시키는 단위 패턴이 반복되어 이루어진 감쇠 패턴을 포함한다. 감쇠 패턴을 구성하는 단위 패턴의 공간 변조 함수는 넌 싱귤러인 특징을 가지며, 단위 패턴의 면적의 절반 이상이 광을 투과하도록 형성될 수 있다.
단위 패턴은 7×7 픽셀 구조를 가지며, 단위 패턴의 두 번째 행, 네 번째 행, 두 번째 열 및 네 번째 열에 대응하는 영역은 광을 차단하고, 나머지 영역은 광을 투과하도록 형성될 수 있다.
마스크는, 투명층과, 투명층위에 배치되며, 감쇠 패턴을 형성하여 투명층을 통과한 광을 감쇠시키는 메탈층을 포함할 수 있다.
다른 측면에 따른, 광 필드 영상 처리 방법은, 렌즈, 장면의 4D 광 필드 데이터를 공간 변조하는 마스크 및 센서를 이용하여, 장면에 대한 광대역 정보를 포함하도록 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 단계와, 2D 영상으로부터 4D 광 필드 데이터를 복원하는 단계와, 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 깊이 맵에 대한 고해상도 깊이 맵을 생성하는 단계와, 2D 영상 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 단계를 포함한다.
또 다른 측면에 따른, 광 필드 영상 처리 장치는, 렌즈; 렌즈를 통과한 장면의 4D 광 필드 데이터를 장면에 대한 광대역 정보를 포함하도록 공간 변조하는 금속 마스크; 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 센서; 및 2D 영상으로부터 4D 광 필드 데이터를 복원하고, 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 깊이 맵에 대한 고해상도 깊이 맵을 생성하고, 2D 영상 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 데이터 처리부를 포함한다.
일 실시예에 따르면, 광 필드 데이터에서 얻을 수 있는 깊이 맵과 캡처된 광 필드 영상을 이용하여 영상의 전영역이 포커싱된 전영역 포커싱 영상을 생성할 수 있으며, 깊이 맵과 전영역 포커싱 영상을 이용하여 일반 영상 및 고해상도 광 필드 영상을 얻을 수 있다. 고해상도의 광 필드 영상을 얻음으로써, 포커싱 평면을 바꾸는 리포커싱 기능과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션 기능을 수행하여 통상의 광 필드 카메라를 이용하여 얻을 수 있는 해상도에 비해 고해상도의 리포커싱 영상 및 고해상도의 다시점 영상을 획득할 수 있다.
도 1은 광 필드 영상 처리 장치의 구성의 일 예를 나타내는 도면이다.
도 2는 일 실시예에 따른 마스크의 단위 패턴의 일 예를 나타내는 도면이다.
도 3은 도 2의 단위 패턴으로 이루어진 마스크의 일 예를 나타내는 도면이다.
도 4는 마스크의 단면 구조의 일 예를 나타내는 도면이다.
도 5는 광 필드 영상 처리 장치의 데이터 처리부의 상세 구조의 일 예를 나타내는 도면이다.
도 6a는 물체가 포커스 평면에 있는 경우, 영상 획득부의 배치의 일 예를 나타내는 도면이고,
도 6b는 물체가 포커스 평면 앞에 있는 경우, 영상 획득부의 배치의 일 예를 나타내는 도면이고,
도 6c는 물체가 포커스 평면 뒤에 있는 경우, 영상 획득부의 배치의 일 예를 나타내는 도면이다.
도 7은 전영역 포커싱 영상과 고해상도 깊이 맵을 이용하여 고해상도 광 필드 영상을 생성하는 과정을 나타내는 도면이다.
도 8은 광 필드 영상 처리 방법의 일 예를 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 광 필드 영상 처리 장치의 구성의 일 예를 나타내는 도면이다.
광 필드 영상 처리 장치(100)는 렌즈(110), 마스크(120), 센서(130) 및 데이터 처리부(140)를 포함할 수 있다. 광 필드 영상 처리 장치(100)는 카메라, 또는 카메라를 포함하는 각종 전자제품으로 구현될 수 있다.
렌즈(110)와 같은 광학 장치를 통과한 물체(10)(또는 물체를 포함하는 장면)의 상은 마스크(120)를 거쳐서 센서(130)에서 물체(10)에 대한 광 필드 데이터로서 획득된다.
마스크(120)는 물체(10)의 4D 광 필드 데이터를 공간적으로 변조하는 모듈레이터로서 기능한다. 마스크(120)는 4D 광 필드 데이터를 공간적으로 변조하도록 구성된 감쇠 패턴을 포함한다. 마스크(120)는 광축을 따라 배열될 수 있다. 마스크(120)는 렌즈(110)와 센서(130) 사이에 배치될 수 있다. 마스크(120)는 센서(130)상에 설치될 수도 있다.
마스크(120)는 장면에 대한 광대역 정보를 포함하도록 구성된다. 기존의 광 필드 카메라에 이용된 마스크는 협대역의 광 필드를 가정하고 제작되어 센서(130)에서 고주파 성분을 포함하는 2D 영상을 얻을 수 없었다. 이에 비해, 마스크(120)는 영상의 고주파 성분이 포함되어 광대역의 영상 정보가 센서(130)에서 감지되도록 형성된다.
마스크(120)는 광을 감쇠시키는 단위 패턴이 반복되어 이루어진 감쇠 패턴으로 구성된다. 마스크(120)의 감쇠 패턴을 구성하는 단위 패턴의 공간 변조 함수는 역변환성(invertibility)을 가진다. 이는 공간 변조 함수가 매트릭트로 표현될 때 넌 싱귤러인 특징을 만족하는 것을 의미한다. 공간 변조 함수의 역변환성은 특이 값 분해(singular value decomposition)로 테스트될 수 있다.
또한, 마스크(120)는 장면의 고주파 성분이 포함될 수 있도록 단위 패턴의 면적의 절반 이상이 광을 투과하도록 형성될 수 있다. 이와 같이, 영상에 대한 광대역 정보가 포함되도록 형성된 마스크(120)를 이용하면, 센서(130)에서 얻은 2D 영상을 이용한 영상 처리 과정을 통해서 고해상도 영상을 생성하기 위한 영상의 상세(detail) 정보를 얻을 수 있다. 마스크(120)는 금속 마스크일 수 있다.
센서(130)는 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지한다. 센서(130)는 복수 개의 픽셀 엘리먼트를 포함하여 구성될 수 있다. 센서(130)는 공간 변조된 4D 광 필드의 2D 신호들을 획득한다. 획득된 광필드 신호는 소정의 저장 공간(도시되지 않음)에 저장될 수 있다.
도 1에서 렌즈(110), 마스크(120) 및 센서(130)를 포함하는 구성은 광 필드 데이터 획득 장치로 구성될 수 있다.
데이터 처리부(140)는 감지된 영상을 처리하는 마이크로프로세서 또는 디지털 신호 처리기일 수 있다. 마스크(120)를 통하여 광 필드가 공간 변조되어, 센서(130)에서 얻은 2D 영상에 푸리에 변환을 적용하면, 2D 영상 정보가 주파수 영역으로 변환된다. 주파수 영역으로 변환된 2D 영상 정보를 4D로 재배열하고 푸리에 변환을 2D로 재배열하고, 역 푸리에 변환을 계산함으로써 획득될 수 있다.
이러한 원리는 통신 및 무선 시스템에서 광범위하게 이용되는 다음의 원리와 유사하다. 이 원리에서, 베이스밴드 신호가 캐리어 신호를 이용하여 고주파수로 변조되고, 변조된 신호가 에너지 손실 없이 먼 거리로 전송된 다음, 수신기는 수신된 신호를 복조하여 베이스밴드 신호를 복원한다. 광 필드 영상 데이터 처리부(140)는 2D 영상으로부터 4D 광 필드 데이터를 복원한다. 4D 광 필드 데이터는 감지된 2D 영상의 복조 영상이 된다. 광 필드 영상 처리 장치(100)는 이러한 원리를 광학 도메인에서 적용한 것으로 이해될 수 있다.
아래의 수학식 1은 광 필드 데이터가 마스크(120)에 공간 변조되는 것을 나타낸다.
Figure pat00001
YS(fx;fθ)는 센서의 관측값을 나타내고, L(fx;fθ)는 원래의 광 필드를 나타내고, M(fx;fθ)는 마스크 변조 함수의 푸리에 변환을 나타낸다. fx는 공간 주파수를 나타내고, fθ는 방향 주파수(angular frequency)를 나타낸다.
Figure pat00002
는 컨볼루션을 나타낸다.
데이터 처리부(140)는 2D 영상(또는 신호들)을 이용하여 4D 광 필드 데이터를 복원하는 과정은 기존의 헤테로다인 광 필드 카메라에서 이용되는 방법으로 공지되어 있으므로 상세한 설명은 생략한다.
데이터 처리부(140)는 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 깊이 맵에 대한 고해상도 깊이 맵을 생성할 수 있다. 또한, 데이터 처리부(140)는 센서(130)에서 캡처된 2D 영상 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상(all-in-focus image)을 생성할 수 있다. 전영역 포커싱 영상을 얻는 과정은 마스크(120)에 의해 블러된 영상을 디블러링하는 과정이다. 전영역 포커싱 영상은 최대 해상도 영상(full resolution image)이라고도 부를 수 있다.
또한, 데이터 처리부(140)는 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상(traditional image)을 생성할 수 있다. 데이터 처리부(140)는 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성할 수 있다. 이와 같은 기능을 통해, 일반적인 카메라와 호환가능한 광 필드 카메라를 구현할 수 있다.
데이터 처리부(140)는 고해상고 광 필드 영상을 이용하여 기존의 4D 광 필드 데이터의 처리 방식에 따라서 장면을 적어도 하나의 각도에서 본 뷰 영상을 생성할 수 있고, 서로 다른 깊이에서의 리포커싱 영상을 생성할 수 있다. 또한, 데이터 처리부(140)는 여러 뷰 영상들 즉 다시점 영상을 이용하여 3D 입체 영상을 생성할 수 있는 등 다양한 형태의 영상 처리를 수행할 수 있다. 이때, 리포커싱 영상이나 다시점 영상은 통상의 광 필드 데이터에 비해 고해상도의 광 필드 데이터를 이용하여 생성되었으므로, 통상적으로 얻을 수 있는 해상도에 비해 고해상도를 가질 수 있다.
광 필드 영상 처리 장치(100)는 데이터 처리부(140)에 의해 처리된 영상을 표시하는 표시 장치, 영상을 다른 전자 기기로 전송하는 통신 장치 등을 더 포함하여 구성될 수 있다.
광 필드 영상 처리 장치(100)는 사용자의 모드 선택 신호에 따라 일반 영상을 출력하는 일반 영상 출력 모드 및 고해상도 광 필드 영상을 출력하는 광 필드 영상 출력 모드를 선택하여, 일반 영상 및 고해상도 광 필드 영상을 선택적으로 출력하도록 구성될 수 있다.
도 2는 일 실시예에 따른 마스크(120)의 단위 패턴의 일 예를 나타내는 도면이다.
마스크(120)의 단위 패턴은, 도 2에 도시된 바와 같이, 7×7 픽셀 구조를 가질 수 있다. 또한, 마스크(120)의 단위 패턴은, 단위 패턴의 두 번째 행, 네 번째 행, 두 번째 열 및 네 번째 열에 대응하는 영역은 광을 차단하고, 나머지 영역은 광을 투과하도록 형성될 수 있다. 도 2에 도시된 마스크(120)는 장면의 광대역 영상 정보를 포함하도록 형성되는 단위 패턴의 일 예를 나타내는 것으로, 다양하게 변형될 수 있다.
도 3은 도 2의 단위 패턴으로 이루어진 마스크(120)의 일 예를 나타내는 도면이다. 도 3에 도시된 바와 같이, 도 2의 단위 패턴으로 이루어진 마스크(120)를 이용하면, 광대역 영상 정보를 포함하도록 공간 변조된 광 필드 데이터를 얻을 수 있다.
도 4는 마스크(120)의 단면 구조의 일 예를 나타내는 도면이다.
감쇠 패턴을 형성하기 위하여 필름에 화학 용액을 이용하는 방법이 기존에 이용되었다. 그러나, 패턴 형성에 필름 및 화학 용액을 이용하는 경우에는, 예를 들어, ㎛단위의 미세한 패턴을 정확하게 형성하기 어렵다.
보다 정확한 계조 표현과 패턴을 가지는 감쇠 패턴을 포함하는 마스크(120)를 제작하기 위하여 나노 공정을 이용하여 제작되는 메탈 마스크를 이용할 수 있다. 또한, 감쇠 패턴은 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성될 수 있다.
마스크(120)는, 투명층(410) 및 투명층(410)위에 배치되는 메탈층(420)을 포함하는 금속 마스크일 수 있다. 메탈층(420)은 감쇠 패턴을 형성하여 투명층을 통과한 광을 감쇠시킨다. 예를 들어, 투명층(410)은 유리이고, 메탈층(420)은 크롬으로 투명층(510) 위에 증착되어 형성될 수 있다. 이와 같이 나노 공정에 의해 제작된 마스크(120)를 이용하여 마스크(120)의 성능을 향상시킴으로써 정확한 광 필드 데이터를 획득할 수 있다.
도 5는 광 필드 영상 처리 장치의 데이터 처리부의 상세 구조의 일 예를 나타내는 도면이다.
도 5에 도시된 바와 같이, 데이터 처리부(140)는 복원부(210), 깊이 맵 생성부(220), 고해상도 깊이 맵 생성부(230), 전영역 포커싱 영상 생성부(240), 일반 영상 생성부(250) 및 고해상고 광 필드 영상 생성부(260)를 포함할 수 있다.
복원부(210)는 2D 영상으로부터 4D 광 필드 데이터를 복원한다.
깊이 맵 생성부(220)는, 복원된 4D 광 필드 데이터로부터 복수 개의 시점 영상을 생성하고, 복수 개의 시점 영상으로부터 깊이 맵을 생성한다.
고해상도 깊이 맵 생성부(230)는, 생성된 깊이 맵에 대한 고해상도 깊이 맵을 생성한다. 고해상도 깊이 맵 생성부(230)는, 생성된 깊이 맵을 소정의 크기로 확대하고, 확대된 깊이 맵 사이의 정보를 바이리니어 보간 방법(bilinear interpolation) 또는 바이큐빅 보간(bicubic interpolation)과 같은 보간 방법에 따라 보간함으로써 생성될 수 있다. 고해상도 깊이 맵 생성부(230)는 원하는 고해상도의 정도에 따라서 생성된 깊이 맵을 확대할 수 있다.
전영역 포커싱 영상 생성부(240)는 2D 영상과 생성된 고해상도 깊이 맵을 이용하여 모든 위치에서 초점이 맞는 전영역 포커싱 영상을 생성한다. 전영역 포커싱 영상 생성부(240)는, 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수(spatially varying modulation function)를 결정하고, 공간 변조 함수를 역변환한 값과 2D 영상을 이용하여 전영역 포커싱 영상을 생성할 수 있다.
일반 영상 생성부(250)는 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상을 생성한다. 일반 영상 생성부(250)는 전영역 포커싱 영상에서, 고해상도 깊이 맵을 참조하여, 특정 깊이에 대응하는 깊이 정보를 가진 픽셀을 제외하고, 나머지 픽셀들의 픽셀 값에 대해서는, 소정의 블러 커널 예를 들어, 가우션 함수를 이용하여 리블러링을 시킴으로써 일반 영상을 생성할 수 있다. 일반 영상 생생부(250)는 리블러링을 수행할 때, 특정 깊이와의 깊이 정보의 차이에 비례하도록 소정의 블러 커널(blur kernel)을 설정하여 나머지 픽셀들에 대하여 리블러링을 수행할 수 있다.
고해상도 광 필드 영상 생성부(260)는 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성한다. 고해상도 광 필드 영상 생성부(260)는, 고해상도 깊이 맵에 포함된 픽셀별 깊이 정보에 따라, 전영역 포커싱 영상의 픽셀을 쉬프트하여 고해상도 광 필드 영상을 생성할 수 있다.
이하에서는, 도 6a 내지 도 6c를 참조하여, 전영역 포커싱 영상을 복원하기 위해 공간적으로 변경되는 마스크(120)의 공간 변조 함수에 대하여 설명한다.
도 6a는 물체가 포커스 평면에 있는 경우, 영상 획득부(110, 120, 130)의 배치의 일 예를 나타내는 도면이다.
도 6a에 도시된 바와 같이, 물체(12)가 포커스 평면에 있는 경우를 in-focus 상황이라고 한다. 이 경우, 물체(12)의 한 포인트는 마스크(120)의 단위 패턴에 의해 코딩된 후 센서(130)의 하나의 픽셀에 합쳐진다. 따라서, 물체(12)의 한 포인트에 대해 영향을 주는 마스크(120)의 패턴은 단위 패턴이 된다. 즉, 마스크(120)의 단위 패턴이 공간 변조 함수로 결정된다. 따라서, 물체(12)의 한 포인트에 대한 정보는 센서(130)의 값 및 마스크(120)에 해당하는 코드, 즉 단위 패턴을 역변환한 값을 이용하여 복원될 수 있다.
도 6b는 물체가 포커스 평면 앞에 있는 경우, 영상 획득부(110, 120, 130)의 배치의 일 예를 나타내는 도면이다.
도 6b에 도시된 바와 같이, 물체(14)가 포커스 평면 앞에 있는 경우를 in-front-focus 상황이라고 한다. 이 경우, 물체(14)의 여러 포인트가 센서(130)의 하나의 픽셀에 영향을 미친다. 센서(130)와 물체(14) 사이의 거리에 의해서 물체(14)를 포함하는 장면을 공간 변조하는 마스크(120) 패턴의 크기가 결정된다. 즉, 물체(14)를 포함하는 장면을 공간 변조하는 마스크(120)의 공간 변조 함수가 달라진다. 여기에서 공간 변조 함수는 블러 커널(blur kernel)로 볼 수 있다.
또한, 물체의 거리에 따라서 마스크(120)가 영향을 미치는 패턴이 반복되므로 물체(14)에 대한 광 필드 데이터는 마스크(120)가 영향을 미치는 패턴과 중첩 컨볼루션(circular convolution)이 되어 센서(130)에 감지된다.
도 6c는 물체가 포커스 평면 뒤에 있는 경우, 영상 획득부(110, 120, 130)의 배치의 일 예를 나타내는 도면이다.
도 6c에 도시된 바와 같이, 물체(16)가 포커스 평면 뒤에 있는 경우를 behind focus 상황이라고 한다. 이 경우에도, 물체(16)의 여러 포인트가 센서(130)의 하나의 픽셀에 영향을 미치는 것은 in-front focus 상황과 동일하다. 즉, 센서(130)와 물체(16) 사이에 따라서 물체(16)를 포함하는 장면을 공간 변조하는 마스크(120)의 공간 변조 함수가 달라진다.
그러나, 물체(16)를 포함하는 장면을 공간 변조하는 마스크(120)의 패턴은 도 6b에 도시된 in-front focus 상황의 경우에 마스크(120)의 패턴과 상하와 좌우가 바뀌는 현상이 일어난다.
이와 같이, 물체(12, 14, 16)의 위치에 따라서, 물체(16)를 나타내는 장면의 영상을 공간 변조하는 마스크(120)의 공간 변조 함수가 달라지게 된다. 따라서, 전영역 포커싱 영상 생성부(240)는, 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수를 결정하고, 공간 변조 함수를 역변환한 값과 2D 영상을 이용하여 전영역 포커싱 영상을 생성할 수 있다.
도 7은 전영역 포커싱 영상과 고해상도 깊이 맵을 이용하여 고해상도 광 필드 영상을 생성하는 과정을 나타내는 도면이다.
도 7에서, 영상(710)은 전영역 포커싱 영상을 나타내고, 영상(720)은 영상(710)에 대한 고해상도 깊이 맵을 나타낸다. 전술한 바와 같이, 고해상도 광 필드 영상 생성부(260)는, 고해상도 깊이 맵에 포함된 픽셀별 깊이 정보에 따라, 전영역 포커싱 영상의 픽셀을 쉬프트하여 고해상도 광 필드 영상을 생성할 수 있다.
예를 들어, 깊이 맵(720)은 3개의 깊이 정보를 가지는 것으로 가정한다. 또한, 고해상도 깊이 맵(720)에서 백색 영역은 광 필드 영상 처리 장치(100)(또는 센서(130))와 가장 가까운 제1 깊이 정보를 가지며, 회색 영역은 제1 깊이 정보보다 더 큰 제2 깊이 정보를 가지며, 흑색 영역은 광 필드 영상 처리 장치(100)(또는 센서(130))와 가장 먼 제3 깊이 정보를 가진다고 가정한다.
고해상도 광 필드 영상 생성부(260)는 전영역 포커싱 영상(710)을 중심에 두고, 고해상도 깊이 맵(720)의 깊이 정보에 따라 각 영역별로, 픽셀을 쉬프트시켜서 다시점 영상을 생성할 수 있다. 픽셀 쉬프트량은 깊이 정보에 비례하도록 결정될 수 있으며, 깊이 정보에 따른 픽셀 쉬프트량은 실험적으로 결정될 수 있다. 예를 들어, 고해상도 깊이 맵(720)에서 제1 깊이 정보를 가지는 백색 영역은 1 픽셀 단위로 쉬프트되고, 제2 깊이 정보를 가지는 회색 영역은 1.2 픽셀 단위로 쉬프트되고, 제3 깊이 정보를 가지는 흑색 영역은 1.5 픽셀 단위로 쉬프트될 수 있다.
영상(730)은 전영역 포커싱 영상(710) 및 고해상도 깊이 맵(720)을 이용하여 생성된 고해상도 광 필드 영상의 일 예를 나타낸다. 고해상도 광 필드 영상(730)은 전영역 포커싱 영상(710) 및 전영역 포커싱 영상(710)의 픽셀 쉬프트에 따라서 생성된 나머지 9개의 영상으로 생성될 수 있다. 생성된 9개의 영상은 전영역 포커싱 영상(710)의 장면을 서로 다른 시점에서 본 다시점 영상을 나타낸다.
예를 들어, 영상(731)은 전영역 포커싱 영상(710)에서, 고해상도 깊이 맵(720)의 백색 영역에 대해서는 오른쪽으로 1픽셀만큼 쉬프트되고, 회색 영역에 대해서는 오른쪽으로 1.2 픽셀만큼 쉬프트되고, 흑색 영역에 대해서는 오른쪽으로 1.5 픽셀만큼 쉬프트되어 생성될 수 있다. 또한, 영상(732)은 전영역 포커싱 영상(710)에서, 백색 영역에 대해서는 오른쪽 및 상방향으로 1픽셀만큼 쉬프트되고, 회색 영역에 대해서는 오른쪽 및 상방향으로 1.2 픽셀만큼 쉬프트되고, 흑색 영역에 대해서는 오른쪽 및 상방향으로 1.5 픽셀만큼 쉬프트되어 생성될 수 있다.
도 8은 광 필드 영상 처리 장치(100)의 광 필드 영상 처리 방법의 일 예를 나타내는 순서도이다.
광 필드 영상 처리 장치(100)는 렌즈, 장면의 4D 광 필드 데이터를 공간 변조하는 마스크 및 센서를 이용하여, 장면에 대한 광대역 정보를 포함하도록 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지한다(810).
광 필드 영상 처리 장치(100)는 2D 영상으로부터 4D 광 필드 데이터를 복원한다(820).
광 필드 영상 처리 장치(100)는 4D 광 필드 데이터로부터 깊이 맵을 생성하고(830), 깊이 맵에 대한 고해상도 깊이 맵을 생성한다(840).
광 필드 영상 처리 장치(100)는 감지된 2D 영상 및 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성한다(850). 광 필드 영상 처리 장치(100)는 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수를 결정하고, 공간 변조 함수를 역변환한 값과 2D 영상을 이용하여 전영역 포커싱 영상을 생성할 수 있다.
광 필드 영상 처리 장치(100)는 일반 영상을 출력하는 일반 영상 출력 모드 및 고해상도 광 필드 영상을 출력하는 광 필드 영상 출력 모드로 동작될 수 있다.
사용자 입력 신호에 의해 또는 다른 모드 설정 신호에 따라 고해상도 광 필드 영상 출력 모드가 선택되면(860), 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성할 수 있다(870).
광 필드 영상 처리 장치(100)는 추가적인 사용자 입력 신호 또는 광 필드 영상 출력 모드 중 세부 모드 예를 들어, 리포커싱 영상 출력 모드, 뷰 배리에이션 모드 등의 입력이 가능하도록 구성될 수 있다. 사용자 입력 신호에 따라서, 광 필드 영상 처리 장치(100)는 고해상도의 광 필드 영상을 얻음으로써, 포커싱 평면을 바꾸는 리포커싱 기능을 수행하여 통상의 광 필드 카메라를 이용하여 얻을 수 있는 해상도에 비해 고해상도의 리포커싱 영상을 출력하거나 장면을 여러 각도에서 보는 듯한 뷰 배리에이션 기능을 수행하여 고해상도의 다시점 영상을 출력할 수 있다.
사용자 입력 신호에 의해 또는 다른 모드 설정 신호에 따라 일반 영상 출력 모드가 선택되면, 광 필드 영상 처리 장치(100)는 고해상도 깊이 맵 및 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상을 생성할 수 있다(880).
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (18)

  1. 렌즈;
    상기 렌즈를 통과한 장면의 4D 광 필드 데이터를 장면에 대한 광대역 정보를 포함하도록 공간 변조하는 마스크;
    상기 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 센서; 및
    상기 2D 영상으로부터 4D 광 필드 데이터를 복원하고, 상기 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 상기 깊이 맵에 대한 고해상도 깊이 맵을 생성하고, 상기 2D 영상 및 상기 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 데이터 처리부를 포함하는 광 필드 영상 처리 장치.
  2. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 2D 영상으로부터 4D 광 필드 데이터를 복원하는 복원부;
    상기 4D 광 필드 데이터로부터 복수 개의 시점 영상을 생성하고, 상기 복수 개의 시점 영상으로부터 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 깊이 맵에 대한 고해상도 깊이 맵을 생성하는 고해상도 깊이 맵 생성부; 및
    상기 2D 영상과 상기 생성된 고해상도 깊이 맵을 이용하여 모든 위치에서 초점이 맞는 전영역 포커싱 영상을 생성하는 전영역 포커싱 영상 생성부를 포함하는 광 필드 영상 처리 장치.
  3. 제2항에 있어서,
    상기 전영역 포커싱 영상 생성부는, 상기 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수를 결정하고, 상기 공간 변조 함수를 역변환한 값과 상기 2D 영상을 이용하여 전영역 포커싱 영상을 생성하는 광 필드 영상 처리 장치.
  4. 제2항에 있어서,
    상기 데이터 처리부는,
    상기 고해상도 깊이 맵 및 상기 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상을 생성하는 일반 영상 생성부를 더 포함하는 광 필드 영상 처리 장치.
  5. 제2항에 있어서,
    상기 데이터 처리부는,
    상기 고해상도 깊이 맵 및 상기 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성하는 고해상도 광 필드 영상 생성부를 더 포함하는 광 필드 영상 처리 장치.
  6. 제5항에 있어서,
    상기 고해상도 광 필드 영상 생성부는, 상기 고해상도 깊이 맵에 포함된 픽셀별 깊이 정보에 따라, 상기 전영역 포커싱 영상의 픽셀을 쉬프트하여 고해상도 광 필드 영상을 생성하는 광 필드 영상 처리 장치.
  7. 제1항에 있어서,
    상기 마스크는 광을 감쇠시키는 단위 패턴이 반복되어 이루어진 감쇠 패턴을 포함하는 광 필드 영상 처리 장치.
  8. 제7항에 있어서,
    상기 감쇠 패턴을 구성하는 단위 패턴의 공간 변조 함수는 넌 싱귤러인 특징을 가지며, 상기 단위 패턴의 면적의 절반 이상이 광을 투과하도록 형성된 광 필드 영상 처리 장치.
  9. 제7항에 있어서,
    상기 단위 패턴은 7×7 픽셀 구조를 가지며, 상기 단위 패턴의 두 번째 행, 네 번째 행, 두 번째 열 및 네 번째 열에 대응하는 영역은 광을 차단하고, 나머지 영역은 광을 투과하도록 형성된 광 필드 영상 처리 장치.
  10. 제7항에 있어서,
    상기 마스크는,
    투명층; 및
    상기 투명층위에 배치되며, 상기 감쇠 패턴을 형성하여 상기 투명층을 통과한 광을 감쇠시키는 메탈층을 포함하는 광 필드 영상 처리 장치.
  11. 렌즈, 장면의 4D 광 필드 데이터를 공간 변조하는 마스크 및 센서를 이용하여, 상기 장면에 대한 광대역 정보를 포함하도록 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 단계;
    상기 2D 영상으로부터 4D 광 필드 데이터를 복원하는 단계;
    상기 4D 광 필드 데이터로부터 깊이 맵을 생성하는 단계;
    상기 깊이 맵에 대한 고해상도 깊이 맵을 생성하는 단계;
    상기 2D 영상 및 상기 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 단계를 포함하는 광 필드 영상 처리 방법.
  12. 제11항에 있어서,
    상기 전영역 포커싱 영상을 생성하는 단계는,
    상기 고해상도 깊이 맵의 정보에 따라서 공간적으로 변경되는 공간 변조 함수를 결정하는 단계; 및
    상기 공간 변조 함수를 역변환한 값과 상기 2D 영상을 이용하여 전영역 포커싱 영상을 생성하는 단계를 포함하는 광 필드 영상 처리 방법.
  13. 제11항에 있어서,
    상기 고해상도 깊이 맵 및 상기 전영역 포커싱 영상을 이용하여 리블러링을 통해 특정 깊이에 포커싱된 일반 영상을 생성하는 단계를 더 포함하는 광 필드 영상 처리 방법.
  14. 제11항에 있어서,
    상기 고해상도 깊이 맵 및 상기 전영역 포커싱 영상을 이용하여 고해상도 광 필드 영상을 생성하는 단계를 더 포함하는 광 필드 영상 처리 방법.
  15. 제14항에 있어서,
    상기 고해상도 광 필드 영상을 생성하는 단계는, 상기 고해상도 깊이 맵에 포함된 픽셀별 깊이 정보에 따라, 상기 전영역 포커싱 영상의 픽셀을 쉬프트하여 고해상도 광 필드 영상을 생성하는 단계를 포함하는 광 필드 영상 처리 방법.
  16. 렌즈;
    상기 렌즈를 통과한 장면의 4D 광 필드 데이터를 장면에 대한 광대역 정보를 포함하도록 공간 변조하는 금속 마스크;
    상기 공간 변조된 4D 광 필드 데이터에 대응하는 2D 영상을 감지하는 센서; 및
    상기 2D 영상으로부터 4D 광 필드 데이터를 복원하고, 상기 4D 광 필드 데이터로부터 깊이 맵을 생성하고, 상기 깊이 맵에 대한 고해상도 깊이 맵을 생성하고, 상기 2D 영상 및 상기 고해상도 깊이 맵을 이용하여 전영역 포커싱 영상을 생성하는 데이터 처리부를 포함하는 광 필드 영상 처리 장치.
  17. 제16항에 있어서,
    상기 금속 마스크는, 광을 감쇠시키는 단위 패턴이 반복되어 이루어진 감쇠 패턴을 포함하는 광 필드 영상 처리 장치.
  18. 제17항에 있어서,
    상기 금속 마스크는,
    투명층; 및
    상기 투명층위에 배치되며, 상기 감쇠 패턴을 형성하여 상기 투명층을 통과한 광을 감쇠시키는 메탈층을 포함하는 광 필드 영상 처리 장치.
KR1020110030259A 2010-05-11 2011-04-01 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 KR101756910B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/102,812 US9143678B2 (en) 2010-05-11 2011-05-06 Apparatus and method for processing light field data using a mask with an attenuation pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US33354310P 2010-05-11 2010-05-11
US61/333,543 2010-05-11

Publications (2)

Publication Number Publication Date
KR20110124701A true KR20110124701A (ko) 2011-11-17
KR101756910B1 KR101756910B1 (ko) 2017-07-26

Family

ID=45394401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110030259A KR101756910B1 (ko) 2010-05-11 2011-04-01 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9143678B2 (ko)
KR (1) KR101756910B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544580B2 (en) 2012-10-31 2017-01-10 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
KR20170088859A (ko) * 2014-11-26 2017-08-02 톰슨 라이센싱 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치
CN108508616A (zh) * 2018-05-17 2018-09-07 成都工业学院 一种3d显示系统及3d显示装置

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP2012244396A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
TW201320734A (zh) * 2011-11-03 2013-05-16 Altek Corp 產生背景模糊的影像處理方法及其影像擷取裝置
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014052974A2 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9329727B2 (en) 2013-12-11 2016-05-03 Microsoft Technology Licensing, Llc Object detection in optical sensor systems
US9430095B2 (en) * 2014-01-23 2016-08-30 Microsoft Technology Licensing, Llc Global and local light detection in optical sensor systems
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP6351364B2 (ja) * 2014-05-12 2018-07-04 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9524556B2 (en) * 2014-05-20 2016-12-20 Nokia Technologies Oy Method, apparatus and computer program product for depth estimation
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
KR102483838B1 (ko) 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN107852454B (zh) * 2015-09-28 2020-04-03 华为技术有限公司 一种光场图像的分享、下载方法和装置
CN106375653B (zh) * 2015-12-03 2019-05-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN105357515B (zh) * 2015-12-18 2017-05-03 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN113014906B (zh) 2016-04-12 2023-06-30 奎蒂安特有限公司 3d场景重建方法、系统及计算机程序存储介质
US10275892B2 (en) * 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
WO2018014045A2 (en) * 2016-07-15 2018-01-18 Light Field Lab, Inc. Method of calibration for holographic energy directing systems
JP7298809B2 (ja) * 2016-07-15 2023-06-27 ライト フィールド ラボ、インコーポレイテッド ２次元、ライトフィールドおよびホログラフィックリレーによるエネルギー伝搬および横方向アンダーソン局在
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN107103589B (zh) * 2017-03-21 2019-09-06 深圳市未来媒体技术研究院 一种基于光场图像的高光区域修复方法
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11430144B2 (en) * 2017-09-26 2022-08-30 Universita' Degli Studi Di Bari Aldo Moro Device and process for the contemporary capture of standard images and plenoptic images via correlation plenoptic imaging
CN115430062A (zh) 2018-01-14 2022-12-06 光场实验室公司 光场视力矫正装置
JP7274682B2 (ja) 2018-01-14 2023-05-17 ライト フィールド ラボ、インコーポレイテッド ３ｄ環境からデータをレンダリングするためのシステムおよび方法
EP3737980A4 (en) 2018-01-14 2021-11-10 Light Field Lab, Inc. SYSTEMS AND METHODS FOR LOCATING TRANSVERSE ENERGY IN ENERGY RELAYS USING ORDERED STRUCTURES
CN112105968A (zh) 2018-01-14 2020-12-18 光场实验室公司 全息衍射光学编码系统
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10715718B2 (en) * 2018-03-15 2020-07-14 Taiwan Semiconductor Manufacturing Company, Ltd. Phase detect auto-focus three dimensional image capture system
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
JP7420400B2 (ja) 2018-07-25 2024-01-23 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムベースの遊園地のアトラクション
US11405547B2 (en) 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
US10904479B2 (en) 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US11212514B2 (en) 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
US11428933B2 (en) 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
JP2022552770A (ja) 2019-08-09 2022-12-20 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者：ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
CA3148816A1 (en) 2019-08-26 2021-03-04 Light Field Lab, Inc. Light field display system for sporting events
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4044297B2 (ja) * 2001-03-29 2008-02-06 株式会社東芝 パターン欠陥検査装置
JP3615181B2 (ja) * 2001-11-06 2005-01-26 株式会社東芝 露光装置の検査方法、焦点位置を補正する露光方法、および半導体装置の製造方法
JP3746497B2 (ja) * 2003-06-24 2006-02-15 松下電器産業株式会社 フォトマスク
US7061693B2 (en) 2004-08-16 2006-06-13 Xceed Imaging Ltd. Optical method and system for extended depth of focus
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4730347B2 (ja) 2007-07-03 2011-07-20 ソニー株式会社 撮像装置及び撮像方法
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
KR101422503B1 (ko) 2008-05-09 2014-07-25 삼성전자주식회사 연장된 초점 심도를 갖는 렌즈 및 이를 포함하는 광학시스템
KR101600010B1 (ko) * 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544580B2 (en) 2012-10-31 2017-01-10 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
KR20170088859A (ko) * 2014-11-26 2017-08-02 톰슨 라이센싱 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치
CN108508616A (zh) * 2018-05-17 2018-09-07 成都工业学院 一种3d显示系统及3d显示装置
CN108508616B (zh) * 2018-05-17 2024-04-16 成都工业学院 一种3d显示系统及3d显示装置

Also Published As

Publication number Publication date
US20120057040A1 (en) 2012-03-08
KR101756910B1 (ko) 2017-07-26
US9143678B2 (en) 2015-09-22

Similar Documents

Publication Publication Date Title
KR101756910B1 (ko) 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
KR101600010B1 (ko) 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
KR102480245B1 (ko) 패닝 샷들의 자동 생성
KR100779634B1 (ko) 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
Dufaux et al. Emerging technologies for 3D video: creation, coding, transmission and rendering
JP5134694B2 (ja) 画像処理装置及び画像処理方法
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
US8773550B2 (en) Range measurement using multiple coded apertures
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
CN102369556B (zh) 摄像装置
US9131221B2 (en) Stereoscopic image capturing method, system and camera
Hua et al. Holopix50k: A large-scale in-the-wild stereo image dataset
US20120113219A1 (en) Image conversion apparatus and display apparatus and methods using the same
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
KR20110059247A (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법
WO2011118084A1 (ja) 画像処理装置および画像処理方法
KR20170094968A (ko) 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
WO2011137140A1 (en) Range measurement using a coded aperture
KR20180128303A (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
JP2015046678A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2013153408A (ja) 画像処理装置、撮像装置、画像生成方法、及びプログラム
CN108761815B (zh) 影像的显示方法及系统
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN115086550A (zh) 元成像方法与系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant