KR20110042936A - 광 필드 데이터를 이용한 영상 처리 장치 및 방법 - Google Patents

광 필드 데이터를 이용한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110042936A
KR20110042936A KR1020090099811A KR20090099811A KR20110042936A KR 20110042936 A KR20110042936 A KR 20110042936A KR 1020090099811 A KR1020090099811 A KR 1020090099811A KR 20090099811 A KR20090099811 A KR 20090099811A KR 20110042936 A KR20110042936 A KR 20110042936A
Authority
KR
South Korea
Prior art keywords
field data
optical
image
image frame
reference image
Prior art date
Application number
KR1020090099811A
Other languages
English (en)
Other versions
KR101613682B1 (ko
Inventor
박병관
임재균
강주영
이성덕
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090099811A priority Critical patent/KR101613682B1/ko
Publication of KR20110042936A publication Critical patent/KR20110042936A/ko
Application granted granted Critical
Publication of KR101613682B1 publication Critical patent/KR101613682B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

광 필드 데이터를 이용하여 영상을 처리하는 장치 및 방법이 개시된다. 영상 처리 장치는 물체의 상을 맺기 위한 제1 광학부와, 광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자와, 제1 광학부와 촬상 소자 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 촬상 소자로 향하게 하는 제2 광학부와, 광 필드 데이터를 획득하기 위하여 제2 광학부를 한 번 이상 이동시키는 액추에이터를 포함한다. 영상 처리 장치는 제2 광학부의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성한다.
광 필드 데이터, 액추에이터, 방향 분해능, 고해상도 영상 복원, 영상 처리

Description

광 필드 데이터를 이용한 영상 처리 장치 및 방법{Apparatus and method for processing image using light field data}
촬상 애플리케이션에 관한 것으로, 더욱 상세하게는 광 필드 데이터를 이용하여 영상을 처리하는 장치 및 방법에 관한 것이다.
현재 상용화된 촬상 시스템은 한 번의 촬영으로 한 가지 영상만 볼 수 있다. 그러나, 최근에 포커스를 재조합하는 기능을 갖춘 플레놉틱 카메라(plenoptic camera)가 연구되고 있다. 플레놉틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이) 또는 광 부호화 마스크(light coded mask)를 이용하여 장면에 대한 4차원 광 필드 정보를 캡처한다. 이러한 플레놉틱 카메라는 한 번의 촬영 후 포커스 평면을 바꾸는 기능(re-focusing)과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션(view variation) 같은 기능을 사용자에게 제공한다.
한편, 많은 영역에서 고해상도(high-resolution) 영상이 필요하다. 감시용 카메라, 정밀 진단을 위한 CT(Computed Tomography) 사진, 패턴을 인식하는 컴퓨터 비전, 지질 탐사 위상 사진 등이 그 예이다. 이런 고해상도 영상을 얻기 위하여 저해상도 영상 시퀀스로부터 신호처리기술을 이용하여 고해상도 영상을 재구성하는 방법들이 연구되고 있다.
광 필드 데이터를 이용하여 생성된 영상의 해상도를 높이기 위한 영상 처리 장치 및 방법이 제공된다.
일 측면에 따른 영상 처리 장치는 제1 광학부, 촬상 소자, 제2 광학부, 액추에이터 및 데이터 처리부를 포함할 수 있다. 제1 광학부는 물체의 상을 생성한다. 촬상 소자는 광선들을 캡처하여 광 필드 데이터를 생성한다. 제2 광학부는 제1 광학부와 촬상 소자 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 촬상 소자로 향하게 한다. 액추에이터는 제2 광학부를 한 번 이상 이동시킨다. 데이터 처리부는 제2 광학부의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성한다.
제2 광학부의 이동에 따라 생성되는 광 필드 데이터는 제2 광학부가 이동되기 전에 생성된 광 필드 데이터 및 제2 광학부가 이동할 때마다 생성되는 광 필드 데이터를 포함할 수 있다.
데이터 처리부는, 액추에이터에 의해 이동될 제2 광학부의 이동량을 결정하는 제어부와, 촬상 소자로부터 캡처된 광 필드 데이터를 저장하는 저장부와, 광 필드 데이터를 이용하여 고해상도 영상을 복원하는 영상 처리부를 포함할 수 있다.
제어부는 제2 광학부가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 계산된 서브 픽셀 쉬프트량에 따라서 이동량을 결정할 수 있다.
제어부는 계산된 서브 픽셀 쉬프트량보다 적거나 큰 값으로 액추에이터를 움직일 수 있다. 제어부는 이동량을 미리 설정된 값으로 결정할 수 있다.
영상 처리부는, 제2 광학부의 이동에 따라 생성되는 광 필드 데이터로부터 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 영상 프레임 결정부와, 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 쉬프트량에 기초하여 포인트 스프레드 함수를 결정하는 포인트 스프레드 함수 결정부와, 기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 영상 보간부와, 보간된 고해상도 기준 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 영상 복원부를 포함할 수 있다.
영상 프레임 결정부는, 광 필드 데이터로부터 생성되는 하나의 각도에서 보이는 뷰 영상을 기준 영상 프레임으로 결정하고, 기준 영상 프레임으로 결정된 뷰 영상 이외의 다른 각도에서 보이는 적어도 하나의 뷰 영상을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. 영상 복원부는, 생성된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 하나, 및 하나의 참조 영상 프레임과 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 레지듀얼 값 생성부와, 생성된 레지듀 얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신하는 영상 갱신부를 포함할 수 있다. 레지듀얼 값은 하나의 참조 영상 프레임으로부터 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값일 수 있다.
다른 측면에 따른 영상 처리 방법은 물체의 상을 생성하는 제1 광학부, 광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자, 및 제1 광학부와 촬상 소자 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 촬상 소자로 향하게 하는 제2 광학부 및 제2 광학부를 한 번 이상 이동시키는 액추에이터를 포함하는 광 필드 데이터를 획득하는 장치에서 영상을 처리하는 방법으로서, 액추에이터에 의해 제2 광학부를 한 번 이상 이동하는 동작과, 제2 광학부의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 동작을 포함한다.
또 다른 측면에 따른 영상 처리 장치는 물체의 상을 생성하는 제1 광학부와, 광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자와, 제1 광학부와 촬상 소자 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 촬상 소자로 향하게 하는 제2 광학부와, 제1 광학부 및 촬상 소자를 한 번 이상 동일하게 이동시키는 액추에이터와, 제1 광학부 및 촬상 소자의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 데이터 처리부를 포함할 수 있다.
제1 광학부 및 촬상 소자의 이동에 따라 생성되는 광 필드 데이터는, 제1 광학부 및 촬상 소자가 이동되기 전에 생성된 광 필드 데이터 및 제1 광학부 및 촬상 소자가 이동할 때마다 생성되는 광 필드 데이터를 포함할 수 있다.
데이터 처리부는, 액추에이터에 의해 이동될 제1 광학부 및 촬상 소자의 이 동량을 결정하는 제어부와, 촬상 소자로부터 캡처된 광 필드 데이터를 저장하는 저장부와, 광 필드 데이터를 이용하여 고해상도 영상을 복원하는 영상 처리부를 포함할 수 있다. 제어부는 제1 광학부 및 촬상 소자가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 계산된 서브 픽셀 쉬프트량에 따라서 이동량을 결정할 수 있다.
광 필드 데이터를 이용하는 영상 처리 장치는 획득된 광 필드 데이터를 이용하여, 리포커싱, DoF(Depth of Field)의 조정, 및 뷰 조정을 할 수 있으며, 액추에이터를 이용하여 하나의 장면에 대하여 2회 이상 광 필드 데이터를 획득함으로써 기존의 광 필드 데이터를 이용하여 획득된 영상 즉, 리포커싱 영상, DoF가 조정된 영상, 및 뷰 조정된 영상에 비하여 고해상도의 영상을 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 영상 처리 장치의 구성의 일 예를 나타내는 도면이다.
일 양상에 따른 영상 처리 장치(100)는 메인 렌즈(110), 마이크로렌즈 어레 이(120), 포토센서 어레이(130), 데이터 처리부(140) 및 액추에이터(150)를 포함할 수 있다. 메인 렌즈(110), 마이크로렌즈 어레이(120), 포토센서 어레이(130), 및 액추에이터(150)를 포함하는 구성은 광 필드 데이터를 획득하는 영상 획득 장치로 구성될 수 있다.
메인 렌즈(110)는 물체의 상을 생성하고, 마이크로렌즈 어레이(120)는 메인 렌즈(110)를 통과한 광선들을 광선들의 방향에 기초하여 분리하여 포토 센서 어레이(130)로 향하게 하며, 포토센서 어레이(120)는 마이크로렌즈 어레이(120)를 통과한 광선들을 캡처한다. 데이터 처리부(140)는 포토센서 어레이(120)에 의해 캡처된 광 필드 데이터를 처리한다.
포토센서 어레이(130)는 그 위에 입사되는 광을 검출하고, 여러가지 성분의 하나 이상을 사용하여 처리되는 출력을 생성하는 촬상 소자의 일 예를 나타낸다. 출력 광 데이터는 예를 들어, 피사체(105)을 포함하는 장면의 이미지를 생성할 때 데이터를 제공하는 각 포토센서에 대한 위치정보와 함께 데이터를 사용하는 데이터 처리부(140)로 보내진다.
데이터 처리부(140)는, 예를 들어, 공통 부품(예를 들어, 한 칩) 또는 상이한 부품에 선택적으로 구현된 컴퓨터 또는 기타 처리 회로로 구현될 수 있다. 데이터 처리부(140)는 이미지 데이터를 처리하고 피사체(105)를 포함하는 장면의 이미지를 계산하도록 구현된다.
데이터 처리부(140)는 광이 마이크로렌즈 어레이(120)에 도달한 공지된 방향(각 포토센서의 공지된 위치를 사용하여 계산됨)과 함께 검출된 광 또는 검출된 광의 특성을 사용하여 리포커싱(refocusing)이 교정될 수 있는 이미지를 형성할 때 데이터를 선택적으로 리포커싱 및/또는 교정할 수 있다. 다시 말하면, 데이터 처리부(140)는 캡처된 광 필드 데이터를 처리하여 리포커싱된 영상을 얻거나, DoF(Depth of Field)가 조정된 영상을 얻거나 여러 각도에서 보이는 뷰 영상(view image)을 획득(즉, 영상의 뷰 조정)할 수 있다.
영상 처리 장치(100)는 어플리케이션에 따라 다르게 여러가지 방식으로 구현된다. 예를 들어, 마이크로렌즈(120)는 예로서 몇 개의 구별가능한 마이크로렌즈로 도시되지만, 어레이는 일반적으로 다수의(예를 들어, 수천 또는 수백만) 마이크로렌즈로 구현된다. 마이크로렌즈 어레이(120)는 광 부호화 마스크와 같은 다른 형태의 광 분리 장치로 구현될 수 있으며, 메인 렌즈(110)를 제1 광학부라고 할 때 마이크로렌즈 어레이(122)를 제2 광학부라고 부를 수 있다. 본 기술분야의 통상의 지식을 가진자는 현재 이용가능하거나 장래에 개발되는 여러가지 렌즈 및/또는 마이크로 렌즈 어레이를 이용하여 메인 렌즈(110) 및 마이크로렌즈 어레이(120)가 구현될 수 있음을 알 수 있을 것이다.
포토센서 어레이(130)는 일반적으로, 마이크로렌즈 어레이(120) 내의 각각의 마이크로렌즈마다 몇개의 포토센서를 갖는다. 포토센서 어레이(130)의 각 픽셀의 크기 즉, 피치(pitch)는 마이크로렌즈 어레이(122)보다 상대적으로 미세하다. 또한, 마이크로렌즈 어레이(120)내의 마이크로렌즈 및 포토센서 어레이(130) 내의 포토센서는 일반적으로 각각의 마이크로렌즈를 통해 포토센서 어레이로 나아가는 광이 인접한 마이크로렌즈를 통해 나아간 광과 겹치지 않도록 위치설정될 수 있다.
영상 처리 장치(100)는 메인 렌즈(110)와 예시적인 촬상 피사체(105) 사이에 예시된 바와 같은 원하는 심도 "d"에서 관심있는 피사체 상에 포커싱하기 위해 광축을 따라 수평방향으로 이동되는 것과 같은 성능을 가진다. 따라서, 획득된 광 필드 데이터 기반으로 각 관심 위치에 리포커싱을 할 수 있다.
예로서, 피사체(105)의 단일점으로부터의 광선들은 이러한 설명을 위해 도시된다. 이들 광선들은 마이크로렌즈 어레이(120)의 초점 평면상의 하나의 마이크로렌즈(122)에서 단일 수렴점으로 도달할 수 있다. 마이크로렌즈(122)는 이들 광선들의 방향에 기초하여 분리해서, 마이크로렌즈 아래의 픽셀 어레이 내의 픽셀 세트 상에서 메인 렌즈(110)의 구경의 포커싱된 이미지 및 광 필드 데이터를 생성한다.
영상 처리 장치(100) 내부의 2-평면 광 필드 "L"을 고려하면, 광 필드 데이터 L(u,v,s,t)는 (u,v)에서 메인 렌즈(110)와 교차하고, (s,t)에서 마이크로렌즈 어레이(120)의 평면과 교차하는 광선을 따라 이동하는 광을 나타낸다. 광 필드 데이터 L(u,v,s,t)는 광선의 위치 정보 및 광선의 진행 방향 정보를 나타낼 수 있다. 예를 들어, 광 필드 데이터 L(u,v,s,t)는 각 마이크로렌즈 (s,t)에서, 메인 렌즈(110)의 각 서브-어퍼쳐(sub-aperture)의 위치 (u,v)를 통과하는 인텐서티 값들을 나타낸다. 여기에서, 서브-어퍼쳐는 메인 렌즈(110)의 방향 분해능의 개수를 의미한다. 예를 들어, 서브-어퍼쳐의 개수가 196개인 경우, 각 마이크로렌즈 어레이(120)는 포토센서의 196개의 픽셀에 대응하도록 구성될 수 있다.
다시 도 1을 참조하면, 포토센서 어레이(130)내의 각각의 포토센서는 메인 렌즈(110) 및 마이크로렌즈 어레이(120)를 통해 포토센서로 향한 광선 세트를 나타 내는 값을 제공하도록 구현될 수 있다. 즉, 각각의 포토센서는 포토센서상에 입사된 광에 응답하여 출력을 생성하고, 마이크로렌즈 어레이(120)에 대한 각 포토센서의 위치는 입사광에 대한 방향 정보를 제공하기 위해 이용된다.
한편, 마이크로렌즈 어레이(120)내의 특정 마이크로렌즈(122) 아래에 형성되는 이미지는 촬상 평면상의 그 위치에 대한 시스템의 방향 분해능(Angular resoultion)을 지시한다. 메인 렌즈(110)는 유효하게 마이크로렌즈의 광학적 무한 거리에 있고 마이크로렌즈를 포커싱하기 위해, 포토센서 어레이(130)는 마이크로 렌즈의 초점 심도에서 한 평면 내에 위치할 수 있다. 메인 렌즈(110)와 마이크로렌즈 어레이(120) 사이의 분리거리 "s"는 마이크로렌즈의 시야 심도 내에서 예리한 이미지를 달성하도록 선택될 수 있다.
메인 렌즈(110)의 구경 크기 및 마이크로렌즈 어레이(120)내의 마이크로렌즈의 구경 크기(예를 들어, 렌즈 내의 개구부의 유효 크기)는 영상 처리 장치(100)가 구현되는 특정 애플리케이션에 부합하도록 선택될 수 있다.
데이터 처리부(140)는 광 필드 데이터 즉, L(u,v,s,t)를 이용하여 리포커싱 영상을 생성할 수 있다. 이때, 데이터 처리부(140)는 마이크로렌즈에 대한 각 포토센서의 위치를 이용하여 각 포토센서상의 광의 방향을 결정할 수 있다. 또한, 데이터 처리부(140)는 검출된 광이 퍼져나오는 장면내의 피사체의 시야 심도를 결정하고, 시야 심도 및 검출된 광의 방향을 사용해서, 초점 평면과는 상이한 초점 평면상에서 포커싱되는 리포커싱 영상을 계산할 수 있다.
그러나, 이러한 광 필드 데이터를 이용한 영상은 센서 픽셀의 개수에 대응하 는 공간 데이터(Spatial Data)뿐 아니라 빛의 방향에 해당하는 방향 데이터(Angular Data)도 동시에 획득하므로, 방향 데이터만큼의 해상도 저하가 발생한다. 예를 들어, 메인 렌즈(110)의 방향 분해능 크기 즉, 방향 데이터가 12×12(즉, 144개)가 필요한 경우, 획득되는 해상도는 전체 센서 픽셀에 해당하는 해상도에 비하여 1/144배로 된다.
데이터 처리부(140)는 광 필드 데이터를 이용하여 고해상도 영상을 획득하도록 광 필드 데이터를 처리한다. 고해상도 영상을 획득하기 위하여 광 필드 데이터로부터 공간적으로 서브 샘플링된 데이터를 결정하고, 서브 샘플링된 데이터를 해상도 향상을 위한 저해상도 데이터로 정의한다. 또한, 저해상도 데이터 중, 기준 저해상도 영상 위치 대비 다른 서브 샘플링된 저해상도 영상 위치에 대한 서브 픽셀 쉬프트량을 정의하여 저해상도 데이터의 등록(Registration) 및 재구성(Reconstruction)을 시킬 수 있다. 따라서, 광 필드 데이터로부터 형성된 영상에서, 원하는 위치의 영역에 대하여 신호 처리에 의하여 공간 해상도(Spatial Resolution)을 향상시킬 수 있다.
또한, 데이터 처리부(140)는 액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시켜 광 필드 데이터를 1회 이상의 획득하도록 제어할 수 있다. 또는, 데이터 처리부(140)는 액추에이터(150)가 메인 렌즈(110) 및 포토센서 어레이(130)를 동일하게 이동시켜 광 필드 데이터를 1회 이상 획득할 수 있다.
메인 렌즈(110) 및 포토센서 어레이(130)는 동일하게 예를 들어, 동일한 이동 거리 및 동일한 방향으로 이동되어야 메인 렌즈(110), 마이크로렌즈 어레 이(120) 및 포토센서 어레이(130)의 정렬에 따라 미리 설정된 광축이 뒤틀어지는 것을 방지할 수 있다. 또한, 메인 렌즈(110) 및 포토센서 어레이(130)가 동일하게 이동된다는 것은 촬상 시점에 동일하게 이동되어 위치되어야 함을 의미한다.
액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시키거나, 메인 렌즈(110) 및 포토센서 어레이(130)를 동일하게 이동시키고 이동에 따라 획득된 광 필드 데이터를 이용하여 데이터 처리부(140)는 고해상도 영상 복원 방법에 이용되는 저해상도 영상 즉, 뷰 영상의 개수를 늘릴 수 있다.
액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시킴에 따라 획득되는 광 필드 데이터는, 마이크로렌즈 어레이(120)가 이동되기 전에 생성된 광 필드 데이터와 마이크로렌즈 어레이(120)가 이동된 후 생성된 광 필드 데이터를 포함한다. 한편, 메인 렌즈(110) 및 포토센서 어레이(130)의 이동에 따라 생성되는 광 필드 데이터는, 메인 렌즈(110) 및 포토센서 어레이(130)가 이동되기 전에 생성된 광 필드 데이터 및 메인 렌즈(110) 및 포토센서 어레이(130)가 이동할 때마다 생성되는 광 필드 데이터를 포함할 수 있다.
데이터 처리부(140)는 고해상도 영상 복원에 이용되는 뷰 영상을 효과적으로 획득하기 위하여 액추에이터(150)의 이동량을 결정하고, 결정된 이동량에 따라 액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시키거나, 메인 렌즈(110) 및 포토센서 어레이(130)를 동일하게 이동하도록 제어할 수 있다.
이하에서는, 설명의 편의상 액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시켜서 광 필드 데이터를 1회 이상 획득하는 경우를 중심으로 설명한다.
도 2는 도 1의 데이터 처리부(140)의 구성의 일 예를 나타내는 도면이다.
데이터 처리부(140)는 제어부(210), 영상 처리부(220) 및 저장부(230)를 포함할 수 있다.
제어부(210)는 액추에이터(150)가 마이크로렌즈 어레이(120)를 한 번 이상 이동하도록 제어할 수 있다. 제어부(210)는 액추에이터(150)가 마이크로렌즈 어레이(120)를 상, 하, 좌, 우, 대각선 방향 중 어느 하나로 이동하도록 제어할 수 있다. 또한, 제어부(210)는 액추에이터(150)가 마이크로렌즈 어레이(120)를 이동시키는 이동량을 결정할 수 있다.
제어부(210)는 마이크로렌즈 어레이(120)가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 계산된 서브 픽셀 쉬프트량에 따라서 액추에이터(150)의 이동량을 결정할 수 있다. 이 경우, 제어부(210)는 계산된 서브 픽셀 쉬프트량보다 적거나 큰 값으로 액추에이터(150)를 움직이도록 제어할 수 있다. 마이크로렌즈 어레이(120)를 이동시켜 획득되는 광 필드 데이터의 위치가 이전에 획득된 광 필드 데이터의 위치와 겹치게 되면, 고해상도 영상 복원에 이용할 뷰 영상을 획득하기 어려울 수 있기 때문이다. 따라서, 예를 들어, 서브 픽셀 쉬프트량이 0.2 픽셀인 경우에는, 제어부(210)는 서브 픽셀 쉬프트량과 동일하거나 배수가 아닌 0.1, 0.3, 0.5 픽셀 등으로 마이크로렌즈 어레이(120)의 이동량을 결정할 수 있다.
또는, 제어부(210)는 이동량을 미리 설정된 값으로 결정할 수 있다. 예를 들어, 도 1에서 피사체(105)의 메인 렌즈(110)에 의한 초점 위치가 메인 렌즈(110) 와 마이크로렌즈 어레이(120) 사이에 위치하는 경우에는, 서브 픽셀 쉬프트량이 0.5 픽셀을 넘지 않을 가능성이 높다. 따라서, 이 경우에는, 제어부(210)는 마이크로렌즈 어레이(120)의 이동량을 0.5 픽셀로 미리 설정해둘 수 있다.
영상 처리부(220)는 마이크로렌즈 어레이(120)의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성할 수 있다. 마이크로렌즈 어레이(120)의 이동에 따라 생성되는 광 필드 데이터는 마이크로렌즈 어레이(120)가 이동되기 전에 생성된 광 필드 데이터 및 마이크로렌즈 어레이(120)가 이동할 때마다 생성되는 광 필드 데이터를 포함할 수 있다.
저장부(230)는 촬상 소자로부터 캡처된 광 필드 데이터를 저장할 수 있다. 또한, 미리 설정된 이동량이 저장부(230)에 저장되어 이용될 수 있다.
메인 렌즈(110) 및 포토센서 어레이(130)를 이동시켜서 광 필드 데이터를 획득하는 경우에는, 제어부(210)는 액추에이터에 의해 이동될 메인 렌즈(110) 및 포토센서 어레이(130)의 이동량을 결정할 수 있다. 제어부(210)는 메인 렌즈(110) 및 포토센서 어레이(130)가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 계산된 서브 픽셀 쉬프트량에 따라서 이동량을 결정할 수 있다. 이동량 결정 및 획득된 광 필드 데이터를 처리하는 동작은 마이크로렌즈 어레이(120)를 이동시키는 경우와 동일하다.
도 3은 도 2의 영상 처리부의 구성의 일 예를 나타내는 도면이다.
영상 처리부(220)는 영상 프레임 결정부(310), 포인트 스프레드 함수(Point Spread Function) 결정부(320), 영상 보간부(330) 및 영상 복원부(340)를 포함할 수 있다.
영상 프레임 결정부(310)는 마이크로렌즈 어레이(120)의 이동에 따라 획득되는 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하며, 기준 영상 프레임 결정부(312) 및 참조 영상 프레임 결정부(314)를 포함하여 구성될 수 있다.
기준 영상 프레임 결정부(312)는 마이크로렌즈 어레이(120)의 이동에 따라 획득되는 광 필드 데이터 중 일부 광 필드 데이터를 이용하여 생성되는 하나의 뷰(view) 영상을 기준 영상 프레임으로서 결정할 수 있다. 참조 영상 프레임 결정부(314)는 생성된 적어도 하나의 각도에서 보이는 뷰(view) 영상 중 기준 영상 프레임으로 결정된 뷰(view) 이외의 적어도 하나의 뷰(view) 영상을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다.
포인트 스프레드 함수(이하, PSF라 함) 결정부(320)는 기준 영상 프레임 및 각 참조 영상 프레임 사이의 서브 픽셀 쉬프트량에 기초하여 포인트 스프레드 함수를 결정할 수 있다.
서브 픽셀 쉬프트량은 기준 영상 프레임을 구성하는 적어도 하나의 광 필드 데이터와 적어도 하나의 광 필드 데이터에 각각 대응하는 참조 영상 프레임에서의 광 필드 데이터 사이의 위치 차이일 수 있다. 이는 포토센서에서 센싱 위치에서 차이가 아니라, 기준 영상 프레임과 참조 영상 프레임 간의 시프트량으로 영상 처리 알고리즘에 의해서 계산될 수 있다. 뷰 영상들 즉, 기준 영상 프레임 및 참조 영상 프레임 간의 서브 픽셀 쉬프트 량은 루카스 가나데(Lucas Kanade) 알고리즘 등의 알려지거나 향후 알려질 영상 처리 알고리즘에 의해 계산될 수 있다.
서브 픽셀 쉬프트량은 광 필드 데이터 캡처부(140)에서 메인 렌즈에서 피사체의 각 포인트에 대한 광 필드 데이터의 통과 위치에 따라 또는 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)의 배치에 따라 설정되는 값일 수 있으며, 피사체와의 거리에 따라 변경 조정되는 값일 수 있다.
일 실시예에 따르면, PSF 결정부(320)는, 기준 영상 프레임과 각 참조 영상 프레임 사이의 서브 픽셀 쉬프트량에 기초하는 각각의 2차원 가우시안 함수를 포인트 스프레드 함수로서 결정할 수 있다. PSF는 기준 영상 대비 각 참조 영상마다 달리 결정되는 것으로, 기준 영상 프레임의 갱신과 무관하게 앞서 정해진 각 참조 영상에 해당되는 서브 픽셀 이동량에 의해서 정해진다. 획득된 광 필드 데이터에서 서브 픽셀 쉬프트량은 촬상 장면에 포함된 피사체의 메인 렌즈(110)로부터의 거리에 따라 하나 이상 계산될 수 있으므로, 리포커싱 위치에 있는 피사체의 거리에 따라 적용되는 PSF가 하나 이상 결정될 수 있다.
영상 보간부(330)는 기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간한다. 영상 보간부(330)는, 바이리니어 보간 방법(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic intepolation) 방법을 이용하여 보간할 수 있다.
영상 복원부(340)는 생성된 고해상도 기준 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원할 수 있다. 영상 복원부(340)는 복수 개의 저 해상도 영상 프레임을 이용하여 고해상도 영상 프레임을 생성하는 여러가지 고해상도 영상 처리 방법이 수행되도록 구현될 수 있다. 피사체의 거리에 따라 PSF가 하나 이상 결정되는 경우에는, 피사체 거리에 따른 각 PSF별로 고해상도 영상이 생성될 수 있다.
일 실시예에 따르면, 영상 복원부(340)는 레지듀얼 값 생성부(342) 및 영상 갱신부(344)를 포함할 수 있다.
레지듀얼 값 생성부(342)는 생성된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 하나, 및 하나의 참조 영상 프레임과 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성한다. 여기에서, 레지듀얼 값은 하나의 참조 영상 프레임(관측된 영상)으로부터 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값(예측된 영상)을 감산한 값일 수 있다. 영상 갱신부(344)는 레지듀얼 값 즉, 관측된 영상으로부터 예측된 영상의 차 영상을 이용하여 고해상도 기준 영상 프레임을 갱신한다.
레지듀얼값 생성부(342)는, 고해상도 기준 영상 프레임이 갱신된 경우, 갱신된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 다른 하나, 및 다른 하나의 참조 영상 프레임과 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성할 수 있다. 여기에서, 레지듀얼 값은 다른 하나의 참조 영상 프레임으로부터 갱신된 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값일 수 있다. 영상 갱신부(344)는 레지듀얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신한다.
이와 같은 동작은 복수 개의 참조 영상 전부에 대하여 수행될 때까지 반복 수행될 수 있다. 예를 들어, 참조 영상 프레임이 10개이면, 전술한 바와 같은 갱신 동작은 10회 수행되게 된다. 이와 같이 생성된 레지듀얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신하는 방법은 POCS(projection onto convex sets)를 비롯한 다양한 고해상도 영상 복원 기술을 이용할 수 있다.
또한, 고해상도 기준 영상 프레임의 갱신 동작은 복원된 고해상도 영상에 대한 품질이 원하는 소정의 품질이 될 때까지 반복 수행될 수 있다. 예를 들어, 10개의 참조 영상 프레임에 대하여 갱신 동작이 모두 완료된 후 생성된 고해상도 영상을 10개의 참조 영상 프레임 및 PSF를 이용하여 갱신하는 동작을 레지듀얼 값이 소정의 임계값 이하가 될 때까지 반복 수행할 수 있다.
도 4a 및 도 4b는 마이크로렌즈 어레이(120)의 이동에 따른 광 필드 데이터 정보를 나타내는 도면이다.
도 4a에 도시된 바와 같이, 피사체의 한 포인트의 정보(401)는 메인 렌즈(110)의 방향 분해능이 3개인 경우, 마이크로렌즈 어레이(120)를 통과하여 센서(130) 평면의 3개의 픽셀에서 도면 부호 410에 도시된 바와 같이 감지될 수 있다. 감지된 정보는 데이터 처리부(140)에 포함된 저장부(230)에 저장될 수 있다.
도 4b에 도시된 바와 같이, 마이크로렌즈 어레이(120)를 이동시키면, 피사체의 한 포인트의 정보(401)가 다시 센서 평면의 3개의 픽셀에서 도면 부호 420에 도시된 바와 같이 감지될 수 있다.
데이터 처리부(140)는 이미 저장된 광 필드 데이터 정보(410) 및 나중에 감 지된 광 필드 데이터 정보를 도 4c에 도시된 바와 같이 하나의 그리드상에 매핑시키면, 도면 부호 430에 도시된 바와 같이, 광 필드 데이터를 1회 획득하는 경우에 비하여, 2배의 광 필드 데이터를 획득할 수 있다. 데이터 처리부(140)는 2배의 광 필드 데이터를 이용하여 복수 개의 뷰 영상을 생성하고, 생성된 복수 개의 뷰 영상을 고해상도 영상 처리 알고리즘에 이용되는 저해상도 영상으로 이용하여 고해상도 영상을 생성할 수 있다.
도 5a는 1회 촬상에 의한 광 필드 데이터의 일 예를 나타내고, 도 5b 내지 도 5d는 2회 이상의 촬상에 의한 광 필드 데이터의 일 예를 나타낸다.
도 5a는 1회 촬상에 의한 광 필드 데이터를 나타내는 도면이다. 1회 촬상에 의해 생성된 광 필드 데이터를 고해상도 영상 복원 알고리즘을 이용하면, 방향 분해능의 개수(N)에 대응하는 N배의 해상도가 향상된 영상을 얻을 수 있다.
도 5b는 오른쪽으로 마이크로렌즈 어레이를 이동시킨 다음 동일한 피사체에 대하여 한 번 더 촬영하여 얻은 광 필드 데이터를 나타낸다. 한 번 더 광 필드 데이터를 얻으면, 2배의 광 필드 데이터를 얻을 수 있다. 이와 같이 2배의 광 필드 데이터를 이용하면, 고해상도 영상 복원 알고리즘을 이용하여 (2N)배의 해상도가 향상된 영상을 얻을 수 있다.
도 5c는 마이크로렌즈 어레이를 오른쪽으로 한번 움직여서 동일한 피사체를 2차적으로 촬영하고, 마이크로렌즈 어레이를 아래쪽으로 한번 움직여서 동일한 피사체를 3차적으로 촬영하고, 마지막으로 마이크로렌즈 어레이를 좌하향 대각선 방향으로 움직여서 동일한 피사체를 촬영하여 얻은 광 필드 데이터를 나타낸다. 이 와 같이, 광 필드 데이터를 이용하면, 방향 분해능(N)의 2배 제곱(2N)2에 해당하는 만큼의 해상도가 향상된 고해상도 영상을 복원할 수 있다.
도 5d는 마이크로렌즈 어레이를 대각선 방향으로 한 번 움직여서 동일한 피사차를 2차적으로 촬영하여 얻은 광 필드 데이터를 나타낸다. 마이크로렌즈 어레이를 대각선 방향으로 움직이면, 도 5c와 같이 마이크로렌즈 어레이를 3차례 움직이고, 움직일 때마다 동일한 피사체를 촬영한 경우보다 얻을 수 있는 광 필드 데이터가 적지만, 데이터 처리부(140)는 획득한 광 필드 데이터를 도 5c에 도시된 광 필드 데이터와 같이 보간한 후 보간된 광 필드 데이터를 이용하여 고해상도 영상 복원 처리를 수행할 수 있다. 이와 같은, 광 필드 데이터를 이용하면, 2N배 이상 (2N)2배 미만의 수만큼 해상도가 향상된 고해상도 영상을 복원할 수 있다.
도 6a 내지 도 6c는 일 실시예에 따른 광 필드 데이터 기반 기준 영상 프레임 대비 서브 픽셀 쉬프트량을 나타내기 위한 도면이다.
도 6a은 장면(610)의 오브젝트(611, 612)에 대한 광 신호는 9개의 서브 어퍼쳐를 가지는 메인 렌즈(620)를 통과하고, 메인 렌즈(620)의 각 서브 어퍼쳐를 통과한 광 신호가 광 센서(630)에서 서브 어퍼쳐의 개수에 대응되는 광 픽셀에 입사되는 것을 나타낸다. 도면 부호 640은 센싱된 데이터가 LR(Low Resolution) 그리드 위에서 위치 정의된 것을 나타낸다. 도 6a에서는 5번째 광 센서 픽셀에서 감지된 감지값 즉, 인텐서티가 LR 그리드에 도시되었지만, 나머지 광 센서의 픽셀에서 감지된 인텐서티도 LR 그리드상에 규정된다.
도 6b는 센싱된 LR 데이터가 즉, 광 필드 데이터는 메인 렌즈(620)의 서브 어퍼쳐를 통과하는 데이터임을 나타낸다. 도 6a 및 도 6b에서 설명의 편의를 위하여 메인 렌즈(620)의 서브 어퍼쳐들의 배치 및 광 센서(630)의 픽셀의 배열이 일렬로 도시되었으나, 서브 어퍼쳐들의 배치 및 픽셀의 배치는 다른 여러가지 형태를 가질 수 있다.
도 6c는 기준 영상 프레임 대비 나머지 참조 영상 프레임들의 서브 픽셀 쉬프트량의 일 예를 나타내는 도면이다.
도 6c에 도시된 바와 같이, 메인 렌즈의 서브 어퍼쳐를 통과하는 데이터들이 기준 영상 프레임에 비하여 얼마나 서브 픽셀 쉬프트 되어 있는지 정의할 수 있다. 도 6c에서, 5번의 서브 어퍼쳐를 통과한 광 필드 데이터로 이루어진 영상 프레임을 기준 영상 프레임으로 하고, 1번의 서브 어퍼쳐를 통과한 광 필드 데이터와 9번의 서브 어퍼쳐를 통과한 광 필드 사이의 배치 차이가 1픽셀이고, 메인 렌즈 통과 위치에 따른 서브 픽셀 쉬프트량이 도 6c에 도시된 바와 같이 비례하는 경우를 가정한다. 이 경우, maxx는 0.5로 정의하면, 6번째 서브 어퍼쳐를 통과한 광 필드 데이터로 구성되는 영상 프레임은 기준 영상 프레임에 비하여 0.125 픽셀 쉬프트(pixel shift)가 있는 것으로 결정될 수 있다.
도 7은 기준 영상 프레임 기반으로 고해상도 기준 영상 프레임을 생성하는 동작의 일 예를 나타내는 도면이다.
기준 영상 프레임을 초기의 고해상도 영상으로 형성하기 위해, 향상시키고자 하는 해상도 크기(Resolution Size)를 결정하고, 기준 영상 프레임을 신호 처리, 예를 들어, 바이리니어 보간 또는 바이큐빅 보간 등의 보간 처리에 의해, 결정된 사이즈로 확대한다.
도면부호 710은 센싱된 광 필드 데이터를 나타내고, 도면부호 720는 LR 그리드 위에 표시된 기준 영상 프레임의 데이터를 나타내고, 도면부호 730은 고해상도 처리가 되어 기준 영상 프레임의 데이터가 HR 그리드상에 표시된 예를 나타낸다. ●는 기준 영상 프레임의 데이터이고, ○는 원래의 기준 영상 프레임의 데이터를 이용하여 보간된 데이터를 나타낸다.
도 8은 기준 영상 프레임 기반 PSF 계산의 일예를 나타내는 도면이다.
도 8의 좌측에 도시되는 광 필드 데이터는 PSF를 계산하는 방법을 설명하기 위하여 획득되는 광 필드 데이터의 간략화된 형태를 나타낸다. ●, ▲, ■는 각각 피사체의 한 포인트에 대한 광 필드 데이터를 나타낸다.
일 실시예에 따르면, PSF는 다음의 수학식 1과 같이 정의될 수 있다.
Figure 112009064204010-PAT00001
예를 들어, ■ 위치 XX는 기준 ▲의 (u, v) 도메인에서의 포인트의 위치에, x축 방향으로 정의된 서브 픽셀 쉬프트량을 합한 값을 나타낸다. R_XX는 round(XX)로 PSF의 가우션 함수의 피크의 센터 위치를 나타낸다. 또한, ■ 위치 YY는 기준 ▲의 (u, v) 도메인에서의 포인트의 위치에, y축 방향으로 정의된 서브 픽셀 쉬프트량을 합한 값을 나타낸다. R_YY는 round(YY)로 PSF의 가우션 함수의 피크의 센터 위치를 나타낸다. 즉, 광 필드 위치에 기반하여 PSF가 정의될 수 있다. PSF는 서브 픽셀 쉬프트량 정도에 의해서 가우션(Gaussian)의 커브 형태가 변화한다.
도 9는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 방법의 일 예를 나타내는 도면이다.
영상 처리 장치(100)는 촬상 동작에 의하여 포토센서 어레이(130)로부터 장면에 대한 제1 광 필드 데이터를 획득되고, 획득된 제1 광 필드 데이터는 저장부(230)에 저장될 수 있다(910). 액추에이터(150)는 마이크로렌즈 어레이(120)를 상, 하, 좌, 우, 대각선 중 하나의 방향으로 이동시킨다(920). 마이크로렌즈 어레이(120)의 이동량은 전술한 바와 같이 미리 설정될 수 있으며, 데이터 처리부(140)에서 제1 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산한 다음, 계산된 서브 픽셀 쉬프트량에 따라 결정될 수도 있다.
영상 처리 장치(100)는 촬상 동작에 의하여, 마이크로렌즈 어레이(120)가 이동된 후 포토센서 어레이(130)로부터 제2 광 필드 데이터를 획득한다. 획득된 제2 광 필드 데이터는 저장부(230)에 저장될 수 있다(930).
광 필드 데이터 획득 횟수가 미리 설정된 횟수에 도달하면(940), 데이터 처리부(140)는 획득된 제1 광 필드 데이터 및 제2 광 필드 데이터를 이용하여 고해상도 영상 복원 동작을 수행할 수 있다(950). 광 필드 데이터 획득 횟수가 미리 설정된 횟수에 도달하지 않은 경우(940), 제3 광 필드 데이터 획득 동작이 수행될 수 있으며, 그런 다음, 제1 광 필드 데이터, 제2 광 필드 데이터 및 제3 광 필드 데이터를 이용하여 고해상도 영상 복원 동작을 수행할 수 있다. 일 실시예에 따르면, 서브 픽셀 단위 고해상도 영상을 생성하기 위하여 POCS(projection onto convex set) 방법을 이용할 수 있다.
광 필드 데이터를 이용하여, 리포커싱, DoF(Depth of Field)의 조정, 및 뷰 조정을 할 수 있다. 또한, 액추에이터를 이용하여 하나의 장면에 대하여 2회 이상 광 필드 데이터를 획득함으로써 기존의 광 필드 데이터를 이용하여 획득된 영상 즉, 리포커싱 영상, DoF가 조정된 영상, 및 뷰 조정된 영상에 비하여 고해상도의 영상을 얻을 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 영상 처리 장치(100)의 구성의 일 예를 나타내는 도면이다.
도 2는 도 1의 데이터 처리부(140)의 구성의 일 예를 나타내는 도면이다.
도 3은 도 2의 영상 처리부(220)의 구성의 일 예를 나타내는 도면이다.
도 4a 및 도 4b는 마이크로렌즈 어레이(120)의 이동에 따른 광 필드 데이터 정보를 나타내는 도면이다.
도 5a는 1회 촬상에 의한 광 필드 데이터의 일 예를 나타내고, 도 5b 내지 도 5d는 2회 이상의 촬상에 의한 광 필드 데이터의 일 예를 나타낸다.
도 6a 내지 도 6c는 일 실시예에 따른 광 필드 데이터 기반 기준 영상 프레임 대비 서브 픽셀 쉬프트량을 나타내기 위한 도면이다.
도 7은 기준 영상 프레임 기반으로 고해상도 기준 영상 프레임을 생성하는 동작의 일 예를 나타내는 도면이다.
도 8은 기준 영상 프레임 기반 PSF 계산의 일예를 나타내는 도면이다.
도 9는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 방법의 일 예를 나타내는 도면이다.

Claims (20)

  1. 물체의 상을 생성하는 제1 광학부;
    광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자;
    상기 제1 광학부와 상기 촬상 소자 사이에 위치하며 상기 제1 광학부를 통과한 광선들을 광선들의 방향에 기초하여 분리하여 상기 촬상 소자로 향하게 하는 제2 광학부;
    상기 제2 광학부를 한 번 이상 이동시키는 액추에이터; 및
    상기 제2 광학부의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 데이터 처리부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제2 광학부의 이동에 따라 생성되는 광 필드 데이터는,
    상기 제2 광학부가 이동되기 전에 생성된 광 필드 데이터 및 상기 제2 광학부가 이동할 때마다 생성되는 광 필드 데이터를 포함하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 액추에이터에 의해 이동될 상기 제2 광학부의 이동량을 결정하는 제어부;
    상기 촬상 소자로부터 상기 캡처된 광 필드 데이터를 저장하는 저장부; 및
    상기 광 필드 데이터를 이용하여 고해상도 영상을 복원하는 영상 처리부를 포함하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 제어부는 상기 하나의 제2 광학부가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 상기 계산된 서브 픽셀 쉬프트량에 따라서 상기 이동량을 결정하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 계산된 서브 픽셀 쉬프트량보다 적거나 큰 값으로 상기 액추에이터를 움직이는 영상 처리 장치.
  6. 제3항에 있어서,
    상기 제어부는 상기 이동량을 미리 설정된 값으로 결정하는 영상 처리 장치.
  7. 제3항에 있어서,
    상기 영상 처리부는,
    상기 제2 광학부의 이동에 따라 생성되는 광 필드 데이터로부터 상기 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 영상 프레임 결 정부;
    상기 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 쉬프트량에 기초하여 포인트 스프레드 함수를 결정하는 포인트 스프레드 함수 결정부;
    상기 기준 영상 프레임을 상기 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 영상 보간부; 및
    상기 보간된 고해상도 기준 영상 프레임, 상기 포인트 스프레드 함수 및 상기 적어도 하나의 참조 영상 프레임을 이용하여 상기 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 영상 복원부를 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 영상 프레임 결정부는,
    상기 광 필드 데이터로부터 생성되는 하나의 각도에서 보이는 뷰 영상을 상기 기준 영상 프레임으로 결정하고, 상기 기준 영상 프레임으로 결정된 뷰 영상 이외의 다른 각도에서 보이는 적어도 하나의 뷰 영상을 상기 적어도 하나의 참조 영상 프레임으로서 결정하는 영상 처리 장치.
  9. 제7항에 있어서,
    상기 영상 복원부는,
    상기 생성된 고해상도 기준 영상 프레임, 상기 참조 영상 프레임 중 하나, 및 상기 하나의 참조 영상 프레임과 상기 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 레지듀얼 값 생성부; 및
    상기 생성된 레지듀얼 값을 이용하여 상기 고해상도 기준 영상 프레임을 갱신하는 영상 갱신부를 포함하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 레지듀얼 값은 상기 하나의 참조 영상 프레임으로부터 상기 고해상도 기준 영상 프레임과 상기 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값인 영상 처리 장치.
  11. 물체의 상을 생성하는 제1 광학부, 광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자, 및 상기 제1 광학부와 상기 촬상 소자 사이에 위치하며 상기 제1 광학부를 통과한 광선들을 광선들의 방향에 기초하여 분리하여 상기 촬상 소자로 향하게 하는 제2 광학부 및 상기 제2 광학부를 한 번 이상 이동시키는 액추에이터를 포함하는 광 필드 데이터를 획득하는 장치에서 영상을 처리하는 방법으로서,
    상기 액추에이터에 의해 상기 제2 광학부를 한 번 이상 이동하는 단계; 및
    상기 제2 광학부의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 단계를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 제2 광학부의 이동에 따라 생성되는 광 필드 데이터는,
    상기 제2 광학부가 이동되기 전에 생성된 광 필드 데이터 및 상기 제2 광학부가 이동할 때마다 생성되는 광 필드 데이터를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 이동하는 단계는,
    상기 액추에이터에 의해 이동될 상기 제2 광학부의 이동량을 결정하는 단계; 및
    상기 결정된 이동량에 따라 상기 제2 광학부를 이동시키는 단계를 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 이동량을 결정하는 단계는,
    상기 제2 광학부가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하는 단계; 및
    상기 계산된 서브 픽셀 쉬프트량에 따라서 상기 이동량을 결정하는 단계를 포함하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 계산된 서브 픽셀 쉬프트량에 따라서 이동량을 결정하는 단계는,
    상기 계산된 서브 픽셀 쉬프트량보다 적거나 큰 값으로 상기 이동량을 결정하는 단계를 포함하는 영상 처리 방법.
  16. 제13항에 있어서,
    상기 이동량을 결정하는 단계는,
    상기 이동량을 미리 설정된 값으로 결정하는 단계를 포함하는 영상 처리 방법.
  17. 물체의 상을 생성하는 제1 광학부;
    광선들을 캡처하여 광 필드 데이터를 생성하는 촬상 소자;
    상기 제1 광학부와 상기 촬상 소자 사이에 위치하며 상기 제1 광학부를 통과한 광선들을 광선들의 방향에 기초하여 분리하여 상기 촬상 소자로 향하게 하는 제2 광학부;
    상기 제1 광학부 및 상기 촬상 소자를 한 번 이상 동일하게 이동시키는 액추에이터; 및
    상기 제1 광학부 및 상기 촬상 소자의 이동에 따라 생성되는 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 데이터 처리부를 포함하는 영상 처리 장치.
  18. 제17항에 있어서,
    상기 제1 광학부 및 상기 촬상 소자의 이동에 따라 생성되는 광 필드 데이터 는,
    상기 제1 광학부 및 상기 촬상 소자가 이동되기 전에 생성된 광 필드 데이터 및 상기 제1 광학부 및 상기 촬상 소자가 이동할 때마다 생성되는 광 필드 데이터를 포함하는 영상 처리 장치.
  19. 제17항에 있어서,
    상기 데이터 처리부는,
    상기 액추에이터에 의해 이동될 상기 제1 광학부 및 상기 촬상 소자의 이동량을 결정하는 제어부;
    상기 촬상 소자로부터 상기 캡처된 광 필드 데이터를 저장하는 저장부; 및
    상기 광 필드 데이터를 이용하여 고해상도 영상을 복원하는 영상 처리부를 포함하는 영상 처리 장치.
  20. 제19항에 있어서,
    상기 제어부는 상기 제1 광학부 및 상기 촬상 소자가 이동되기 전 생성된 광 필드 데이터를 이용하여 서브 픽셀 쉬프트량을 계산하고, 상기 계산된 서브 픽셀 쉬프트량에 따라서 상기 이동량을 결정하는 영상 처리 장치.
KR1020090099811A 2009-10-20 2009-10-20 광 필드 데이터를 이용한 영상 처리 장치 및 방법 KR101613682B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090099811A KR101613682B1 (ko) 2009-10-20 2009-10-20 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099811A KR101613682B1 (ko) 2009-10-20 2009-10-20 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110042936A true KR20110042936A (ko) 2011-04-27
KR101613682B1 KR101613682B1 (ko) 2016-04-19

Family

ID=44048281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099811A KR101613682B1 (ko) 2009-10-20 2009-10-20 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101613682B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769666A4 (en) * 2011-10-20 2015-05-13 Asociación Ind De Óptica Color E Imagen Aido MULTIPERPSPECTIVE BACKGROUND CAMERA
US9536347B2 (en) 2013-04-05 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for forming light field image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210124807A (ko) 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769666A4 (en) * 2011-10-20 2015-05-13 Asociación Ind De Óptica Color E Imagen Aido MULTIPERPSPECTIVE BACKGROUND CAMERA
US9536347B2 (en) 2013-04-05 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for forming light field image

Also Published As

Publication number Publication date
KR101613682B1 (ko) 2016-04-19

Similar Documents

Publication Publication Date Title
KR101608970B1 (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8390728B2 (en) Image processing apparatus and method
KR101563729B1 (ko) 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
TWI510086B (zh) 數位重對焦方法
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP6003578B2 (ja) 画像生成方法及び装置
WO2021093635A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
KR101613682B1 (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP6310418B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
Goldlücke et al. Plenoptic Cameras.
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
Lim et al. Improving the spatail resolution based on 4D light field data
JP6330955B2 (ja) 撮像装置及び撮像方法
JP2009211254A (ja) 画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム
JP4695557B2 (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム
KR101608753B1 (ko) 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP6297965B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101683634B1 (ko) 플레놉틱 카메라 원리를 이용한 디지털 촬상 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091020

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140526

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091020

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150914

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160115

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160412

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160412

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190319

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200316

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210315

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220314

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230313

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240318

Start annual number: 9

End annual number: 9