KR20190060441A - 영상 복원 장치 및 방법 - Google Patents

영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR20190060441A
KR20190060441A KR1020170158646A KR20170158646A KR20190060441A KR 20190060441 A KR20190060441 A KR 20190060441A KR 1020170158646 A KR1020170158646 A KR 1020170158646A KR 20170158646 A KR20170158646 A KR 20170158646A KR 20190060441 A KR20190060441 A KR 20190060441A
Authority
KR
South Korea
Prior art keywords
sensing element
color
color information
target
sensing
Prior art date
Application number
KR1020170158646A
Other languages
English (en)
Other versions
KR102565277B1 (ko
Inventor
조양호
강덕영
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170158646A priority Critical patent/KR102565277B1/ko
Priority to US16/197,591 priority patent/US10902557B2/en
Priority to CN201811396084.XA priority patent/CN109842749B/zh
Priority to JP2018219278A priority patent/JP7264624B2/ja
Priority to EP18207752.9A priority patent/EP3490251A1/en
Publication of KR20190060441A publication Critical patent/KR20190060441A/ko
Priority to US17/125,448 priority patent/US11334968B2/en
Application granted granted Critical
Publication of KR102565277B1 publication Critical patent/KR102565277B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

영상 복원 장치 및 방법이 제공된다. 영상 복원 장치는 대상 센싱 엘리먼트의 색상 정보를 복원하기 위하여, 대상 센싱 엘리먼트에 입사되는 광선과 유사한 광선을 수신하는 다른 센싱 엘리먼트에 의해 검출되는 색상 값을 이용할 수 있다.

Description

영상 복원 장치 및 방법{DEVICE AND METHOD TO RESTORE IMAGE}
이하, 영상을 복원하는 기술이 제공된다.
광학 기술 및 영상 처리 기술의 발달로 인해, 멀티미디어 컨텐츠, 보안 및 인식 등 광범위한 분야에 촬영 장치가 활용되고 있다. 예를 들어, 촬영 장치는 모바일 기기, 카메라, 차량 및 컴퓨터 등에 탑재되어, 영상을 촬영하거나, 객체를 인식하거나, 기기를 제어하기 위한 데이터를 획득할 수 있다. 촬영 장치의 부피는 렌즈의 사이즈, 렌즈의 초점 거리(focal length) 및 센서의 사이즈 등에 의해 결정될 수 있다. 예를 들어, 렌즈의 사이즈와 센서의 사이즈에 기반하여 촬영 장치의 부피가 조절될 수 있다. 센서의 사이즈가 감소함에 따라, 센서에 입사되는 광량이 감소할 수 있다. 이에 따라, 영상의 해상도가 낮아지거나, 저조도 환경에서의 촬영이 어려울 수 있다. 촬영 장치의 부피를 감소시키기 위해, 소형 렌즈들로 구성된 멀티 렌즈가 이용될 수 있다. 렌즈의 사이즈가 감소할 경우, 렌즈의 초점 거리가 줄어들 수 있다. 따라서, 멀티 렌즈를 통해 촬영 장치의 부피가 감소할 수 있다.
일 실시예에 따른 영상 복원 장치는, 복수의 광선들을 통과시키는 복수의 렌즈들; 상기 복수의 렌즈들 중 하나의 렌즈를 통과한 대상 광선(target ray)을 수신하는 대상 센싱 엘리먼트(target sensing element) 및 상기 대상 광선의 방향(direction)에 기초하여 결정된 다른 센싱 엘리먼트를 포함하는 센서; 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 상기 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정할 수 있다.
상기 프로세서는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 임계 각도 이하인, 방향을 가지는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정할 수 있다.
상기 프로세서는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 작은 순서로, 미리 정한 개수의 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정할 수 있다.
상기 프로세서는, 상기 복원된 색상 정보에 기초하여, 컬러 영상을 복원할 수 있다.
상기 대상 센싱 엘리먼트는, 상기 복수의 광선들 중 상기 대상 센싱 엘리먼트에 도달한 대상 광선으로부터, 제1 색상에 대응하는 색상 값을 검출하고, 상기 다른 센싱 엘리먼트는, 상기 복수의 광선들 중 상기 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 제2 색상에 대응하는 색상 값을 검출하며, 상기 제1 색상 및 상기 제2 색상은 서로 상이하고, 상기 프로세서는, 상기 다른 센싱 엘리먼트에 의해 검출된 제2 색상에 대응하는 색상 값에 기초하여, 상기 대상 센싱 엘리먼트가 배치된 위치에 대응하는 제2 색상에 대응하는 색상 값을 추정할 수 있다.
상기 프로세서는, 상기 대상 센싱 엘리먼트와 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트의 위치에 대응하는 색상 정보를 추정할 수 있다.
상기 프로세서는, 상기 인접 센싱 엘리먼트에 의해 검출된 색상 정보에 제1 가중치를 적용하고, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 제2 가중치를 적용할 수 있다.
상기 프로세서는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 상기 다른 센싱 엘리먼트에 의해 수신되는 다른 광선의 방향 간의 각도 차이가 작을수록, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 더 높은 가중치를 적용할 수 있다.
상기 복수의 렌즈들은, 상기 센서에 포함된 복수의 센싱 엘리먼트들에 대해 엇갈리도록 배치될 수 있다.
일 실시예에 따른 영상 복원 방법은, 복수의 센싱 엘리먼트들을 포함하는 센서를 통해, 복수의 렌즈들을 통과한 복수의 광선들을 수신하는 단계; 상기 복수의 렌즈들 중 하나의 렌즈를 통과한 대상 광선을 수신한 대상 센싱 엘리먼트에 대하여, 상기 대상 광선의 방향에 기초하여 다른 센싱 엘리먼트를 선택하는 단계; 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원하는 단계를 포함할 수 있다.
상기 다른 센싱 엘리먼트를 선택하는 단계는, 상기 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 상기 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계를 포함할 수 있다.
상기 다른 센싱 엘리먼트를 선택하는 단계는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 임계 각도 이하인, 방향을 가지는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계를 포함할 수 있다.
상기 다른 센싱 엘리먼트를 선택하는 단계는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 작은 순서로, 미리 정한 개수의 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계를 포함할 수 있다.
영상 복원 방법은 상기 복원된 색상 정보에 기초하여, 컬러 영상을 복원하는 단계를 더 포함할 수 있다.
상기 복수의 광선들을 수신하는 단계는, 상기 복수의 광선들 중 상기 대상 센싱 엘리먼트에 도달한 대상 광선으로부터, 제1 색상에 대응하는 색상 값을 검출하는 단계; 및 상기 복수의 광선들 중 상기 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 상기 제1 색상과 상이한 제2 색상에 대응하는 색상 값을 검출하는 단계를 포함하고, 상기 색상 정보를 복원하는 단계는, 상기 다른 센싱 엘리먼트에 의해 검출된 제2 색상에 대응하는 색상 값에 기초하여, 상기 대상 센싱 엘리먼트가 배치된 위치에 대응하는 제2 색상에 대응하는 색상 값을 추정하는 단계를 포함할 수 있다.
상기 색상 정보를 복원하는 단계는, 상기 대상 센싱 엘리먼트와 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트의 위치에 대응하는 색상 정보를 추정하는 단계를 포함할 수 있다.
상기 색상 정보를 추정하는 단계는, 상기 인접 센싱 엘리먼트에 의해 검출된 색상 정보에 제1 가중치를 적용하고, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 제2 가중치를 적용하는 단계를 포함할 수 있다.
상기 색상 정보를 복원하는 단계는, 상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 상기 다른 센싱 엘리먼트에 의해 수신되는 다른 광선의 방향 간의 각도 차이가 작을수록, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 더 높은 가중치를 적용하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 영상 복원 장치의 구조를 도시한 도면이다.
도 2는 일 실시예에 따른 영상 복원 장치의 구성을 도시한 블록도이다.
도 3은 일 실시예에 따른 영상 복원 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따른 복수의 센싱 엘리먼트들을 포함하는 센서를 도시한 도면이다.
도 5는 일 실시예에 따른 센싱 엘리먼트가 렌즈를 통해 광선을 수신하는 모습을 도시한 도면이다.
도 6은 일 실시예에 따른 대상 센싱 엘리먼트의 색상 정보를 복원하기 위해, 다른 렌즈를 통과한 광선을 수신하는 센싱 엘리먼트를 이용하는 것을 도시한 도면이다.
도 7은 설명의 편의를 위하여, 대상 센싱 엘리먼트가 수신하는 광선과 방향성이 유사한 광선을 수신하는 센싱 엘리먼트를 1차원으로 도시한 도면이다.
도 8은 일 실시예에 따른 영상 복원 방법을 상세히 도시한 흐름도이다.
도 9는 일 실시예에 따른 영상 복원의 예시를 설명한 도면이다.
도 10 및 도 11은 일 실시예에 따른 영상 복원 장치가 구현될 수 있는 기기를 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 영상 복원 장치의 구조를 도시한 도면이다.
일 실시예에 따른 영상 복원 장치(100)에 의하여 촬영 및 복원되는 영상의 품질은 센서(120)에 포함된 센싱 엘리먼트들의 수, 및 센싱 엘리먼트에 입사되는 광량에 의하여 결정될 수 있다. 예를 들어, 영상의 해상도는 센서(120)에 포함된 센싱 엘리먼트들의 수에 의하여 결정되고, 영상의 감도는 센싱 엘리먼트에 입사되는 광량에 의하여 결정될 수 있다. 센싱 엘리먼트에 입사되는 광량은 센싱 엘리먼트의 사이즈에 기초하여 결정될 수 있다. 센싱 엘리먼트의 사이즈가 클수록 센싱 엘리먼트에 입사되는 광량은 증가할 수 있고, 센서(120)의 동적 범위(dynamic range)가 증가할 수 있다. 따라서, 센서(120)에 포함된 센싱 엘리먼트들의 수가 증가함에 따라 센서(120)는 고해상도 영상을 촬영할 수 있고, 센싱 엘리먼트의 사이즈가 증가함에 따라 센서(120)는 저조도에서 고감도 영상 촬영에 유리하게 작동할 수 있다.
영상 복원 장치(100)의 부피는 렌즈(111)의 초점 거리(focal length)(f)에 의하여 결정될 수 있다. 보다 구체적으로, 영상 복원 장치(100)의 부피는 렌즈(111)와 센서(120) 사이의 간격에 의하여 결정되는데, 렌즈(111)에 의하여 굴절된 빛(190)을 수집하기 위하여 센서(120)는 렌즈(111)의 초점 거리(f)에 위치해야 하므로 영상 복원 장치(100)에 포함된 렌즈(111)와 센서(120)는 렌즈(111)의 초점 거리(f)만큼 이격되어 배치되어야 하기 때문이다. 렌즈(111)의 초점 거리(f)는 영상 복원 장치(100)의 시야각과 렌즈(111)의 사이즈(예를 들어, 렌즈(111)의 구경의 반지름)에 의하여 결정된다. 예를 들어, 시야각이 고정될 경우 렌즈(111)의 사이즈에 비례하여 초점 거리(f)가 길어진다. 또한, 렌즈(111)의 사이즈는 센서(120)의 사이즈에 기초하여 결정될 수 있다. 예를 들어, 일정한 시야각 범위의 영상을 촬영하기 위해서는, 센서(120)의 사이즈가 증가함에 따라 렌즈(111)의 사이즈가 증가되어야 한다.
전술한 바에 의하면, 시야각 및 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 영상 복원 장치(100)의 부피가 증가된다. 예를 들어, 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 센서(120)에 포함된 센싱 엘리먼트들의 수를 유지하면서 각 센싱 엘리먼트의 사이즈를 증가시켜야 하므로 센서(120)의 사이즈가 증가된다. 이 때, 시야각을 유지하려면, 센서(120)의 사이즈가 증가함에 따라 렌즈(111)의 사이즈가 증가하며 렌즈(111)의 초점 거리(f)가 길어지므로, 영상 복원 장치(100)의 부피가 증가된다.
영상 복원 장치(100)의 부피를 감소시키기 위해, 센서(120)의 해상도를 유지하면서 센싱 엘리먼트의 사이즈를 감소시키거나, 센싱 엘리먼트의 사이즈를 유지하면서 센서(120)의 해상도를 감소시키는 설계 방법들이 고려될 수 있다. 다만, 센서(120)의 해상도를 유지하면서 센싱 엘리먼트의 사이즈를 감소시키는 경우, 센서(120)의 사이즈가 감소하고 렌즈(111)의 초점 거리(f)가 짧아져 영상 복원 장치(100)의 부피를 감소시킬 수 있으나, 영상의 감도가 저하된다. 이 경우, 저조도 화질이 감소될 수 있다. 또한, 센싱 엘리먼트의 사이즈를 유지하면서 센서(120)의 해상도를 감소시키는 경우, 센서(120)의 사이즈가 감소하고 렌즈(111)의 초점 거리(f)가 짧아져 영상 복원 장치(100)의 부피를 감소시킬 수 있으나, 영상의 해상도가 저하된다.
아래에서 설명하는 실시예들은 원하는 시야각, 해상도, 감도, 및 영상 복원 장치(100)의 부피를 만족시키면서, 컬러 영상을 정확하게 복원하는 기술을 제공한다. 예를 들어, 센서(120)의 사이즈를 유지하면서, 렌즈(111)의 크기를 작게 설계함으로써, 렌즈(111)의 초점 거리 f가 감소될 수 있고, 더 나아가 영상 복원 장치(100)의 두께도 감소될 수 있다. 도 1을 참조하면, 영상 복원 장치(100)는 렌즈 어레이(110) 및 센서(120)를 포함한다. 렌즈 어레이(110)는 렌즈들을 포함하고, 센서(120)는 센싱 엘리먼트들을 포함한다.
일 실시예에 따르면, 렌즈 어레이(110)에 포함된 렌즈들 각각의 사이즈를 감소시킬수록, 다시 말해 동일한 넓이에 포함되는 렌즈들의 수를 증가시킬수록 렌즈(111)의 초점 거리(f)는 작아질 수 있고, 영상 복원 장치(100)의 두께는 감소할 수 있다. 이 경우, 영상 복원 장치(100)는 각 렌즈(111)에서 촬영된 저해상도 영상들을 조합하여 원본 고해상도 영상을 복원할 수 있다. 따라서, 렌즈 어레이(110)에 포함된 렌즈들을 분할함으로써, 박형 카메라(thin camera)가 구현될 수 있다.
렌즈 어레이(110)의 개별 렌즈(111)는 자신의 사이즈에 대응하는 센서(120)의 일정 영역을 커버할 수 있다. 다시 말해, 해당 영역에 포함된 센서 (120)의 센싱 엘리먼트들에는 해당 개별 렌즈(111)를 통과한 빛(190)이 입사될 수 있다. 빛(190)은 복수의 광선들을 포함할 수 있다. 광선(191)은 광자(photon)(101)의 흐름에 대응할 수 있다. 센서(120)의 센싱 엘리먼트들 각각은 렌즈 어레이(110)의 렌즈들을 통과한 광선(191)에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센싱 엘리먼트(121)는 렌즈(111)를 통해 입사되는 광선(191)에 기초하여 센싱 정보를 생성할 수 있다. 영상 복원 장치(100)는 센서(120)에 의해 출력된 센싱 정보에 기초하여, 영상 복원 장치(100)의 시야에 포함된 시점들에 관한 원본 색상 신호(original color signal)에 대응하는 색상 정보(예를 들어, 색상 값)를 결정하고, 결정된 색상 정보에 기초하여 촬영 영상을 복원할 수 있다.
또한, 센싱 엘리먼트(121)는 임의의 색상을 센싱 하기 위한 색상 필터를 포함할 수 있다. 센싱 엘리먼트(121)는 특정 색상에 대응하는 색상 값을 센싱 정보로서 생성할 수 있다. 센서(120)를 구성하는 복수의 센싱 엘리먼트들의 각각은 공간적으로 인접한 인접 센싱 엘리먼트와 다른 색상을 센싱하도록 배치될 수 있다.
센싱 정보의 다양성이 충분히 확보되어, 영상 복원 장치(100)의 시야에 포함된 시점들에 대응하는 원본 신호 정보와 센싱 정보 사이에 완전 랭크(full rank) 관계가 형성될 때, 센서(120)의 최대 해상도에 대응하는 촬영 영상이 도출될 수 있다. 센싱 정보의 다양성은 렌즈 어레이(110)에 포함된 렌즈들의 수 및 센서(120)에 포함된 센싱 엘리먼트들의 수와 같은 영상 복원 장치(100)의 파라미터들에 기초하여 확보될 수 있다.
도 2는 일 실시예에 따른 영상 복원 장치의 구성을 도시한 블록도이다.
영상 복원 장치(200)는 렌즈(210), 센서(220), 및 프로세서(230)를 포함한다.
렌즈(210)는 상술한 바와 같이, 광선을 굴절시켜 통과시킬 수 있다. 예를 들어, 렌즈(210)는 복수의 렌즈들을 포함하는 렌즈 어레이의 형태로 구현될 수 있다. 복수의 렌즈들은 센서(220)에 포함된 복수의 센싱 엘리먼트들에 대해 엇갈리도록 배치될 수 있다. 예를 들어, 각 센싱 엘리먼트가 복수의 시점에 대응하는 광선들을 수신하도록, 복수의 렌즈들이 센서(220)에 대해 배치될 수 있다. 탑뷰(top view)에서 각 렌즈(210)의 경계(boundary)가 각 센싱 엘리먼트의 경계에 중첩되지 않도록 배치될 수 있다.
센서(220)는 상술한 바와 같이, 광선에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센서(220)는 복수의 센싱 엘리먼트들로 구성될 수 있고, 복수의 센싱 엘리먼트들의 각각은 해당 센싱 엘리먼트가 수신한 광선에 대응하는 색상 정보를 센싱 정보로서 생성할 수 있다. 예를 들어, 복수의 시점들에 대응하는 광선들이 센싱 엘리먼트에 입사될 수 있고, 센싱 엘리먼트는 중첩적으로 입사된 광선들에 대응하는 색상 정보를 생성할 수 있다. 본 명세서에서 색상 정보(color information)는 해당 센싱 엘리먼트가 검출할 수 있는 색상에 대응하는 세기 값(intensity value)을 포함할 수 있다.
일 실시예에 따르면, 센서(220)는 복수의 렌즈(210)들 중 하나의 렌즈(210)를 통과한 대상 광선(target ray)을 수신하는 대상 센싱 엘리먼트(target sensing element) 및 대상 광선의 방향(direction)에 기초하여 결정된 다른 센싱 엘리먼트를 포함할 수 있다.
프로세서(230)는 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원할 수 있다. 예를 들어, 프로세서(230)는 대상 광선이 통과한 렌즈(210)와 다른 렌즈를 통과하고, 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 다른 센싱 엘리먼트로 결정할 수 있다. 프로세서(230)는, 대상 광선과 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트에 의해 검출된 색상 정보를 이용하여, 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원할 수 있다.
도 3은 일 실시예에 따른 영상 복원 방법을 도시한 흐름도이다.
우선, 단계(310)에서 영상 복원 장치는 복수의 센싱 엘리먼트들을 포함하는 센서를 통해, 복수의 렌즈들을 통과한 복수의 광선들을 수신할 수 있다. 예를 들어, 복수의 시점들의 각각에 대응하는 광선이 각 센싱 엘리먼트에 입사될 수 있고, 복수의 광선들이 하나의 센싱 엘리먼트에 입사될 수도 있다.
그리고 단계(320)에서 영상 복원 장치는 복수의 렌즈들 중 하나의 렌즈를 통과한 대상 광선을 수신한 대상 센싱 엘리먼트에 대하여, 대상 광선의 방향에 기초하여 다른 센싱 엘리먼트를 선택할 수 있다. 예를 들어, 대상 센싱 엘리먼트는 복수의 대상 광선들을 수신할 수 있고, 복수의 대상 광선들 중 적어도 하나의 광선의 방향에 기초하여 다른 대상 센싱 엘리먼트를 선택할 수 있다. 일 실시예에 따르면 영상 복원 장치는 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 다른 센싱 엘리먼트로 결정할 수 있다.
이어서 단계(330)에서 영상 복원 장치는 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원할 수 있다. 예를 들어, 대상 센싱 엘리먼트는 복수의 광선들 중 대상 센싱 엘리먼트에 도달한 대상 광선으로부터, 제1 색상에 대응하는 색상 값을 검출할 수 있다. 다른 센싱 엘리먼트는 복수의 광선들 중 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 제1 색상과 상이한 제2 색상에 대응하는 색상 값을 검출할 수 있다. 프로세서는 다른 센싱 엘리먼트에 의해 검출된 제2 색상에 대응하는 색상 값에 기초하여, 대상 센싱 엘리먼트가 배치된 위치에 대응하는 제2 색상에 대응하는 색상 값을 추정할 수 있다.
따라서, 영상 복원 장치는 특정 색상을 검출하지 못하는 대상 센싱 엘리먼트에 대하여, 해당 색상을 검출할 수 있는 다른 위치에 배치된 다른 센싱 엘리먼트에 의해 검출된 색상 값을 이용하여 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원할 수 있다. 여기서, 다른 센싱 엘리먼트는 대상 센싱 엘리먼트에 입사되는 광선과 유사한 방향성을 가지는 광선을 수신하므로, 영상 복원 장치는 대상 센싱 엘리먼트가 검출하지 못하는 색상의 색상 값을 보다 정확하게 추정할 수 있다.
또한, 영상 복원 장치는 복수의 센싱 엘리먼트들의 각각에 대하여 단계(330)에서 설명한 바와 같이 색상 정보를 복원함으로써, 센싱 정보 행렬(sensing information matrix)을 생성할 수 있다. 센싱 정보 행렬을 구성하는 각 원소(element)는, 예를 들어, 센싱 엘리먼트에 의해 검출된 색상 값 또는 센싱 엘리먼트가 배치된 위치에 대응하는 색상 값을 나타낼 수 있다.
도 4는 일 실시예에 따른 복수의 센싱 엘리먼트들을 포함하는 센서를 도시한 도면이다.
센서(420)는 도시된 바와 같이 복수의 센싱 엘리먼트들을 포함할 수 있다. 복수의 센싱 엘리먼트들은 2차원 평면을 따라 배열될 수 있다. 복수의 센싱 엘리먼트들의 각각은 하나의 색상에 대응하는 세기 값만을 검출하여, 색상 정보를 생성할 수 있다. 예를 들어, 대상 센싱 엘리먼트(421)는, 복수의 광선들 중 대상 센싱 엘리먼트(421)에 도달한 대상 광선으로부터, 제1 색상(예를 들어, 적색)에 대응하는 색상 값을 검출할 수 있고, 다른 센싱 엘리먼트는, 복수의 광선들 중 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 제2 색상(예를 들어, 청색 또는 녹색)에 대응하는 색상 값을 검출할 수 있다. 여기서, 제1 색상 및 제2 색상은 서로 상이할 수 있다.
일 실시예에 따르면 센싱 엘리먼트들의 각각은 수신된 광선에 응답하여 적색, 청색, 및 녹색 중 하나에 대응하는 세기 값을 검출할 수 있다. 도 4에서 적색을 검출하는 센싱 엘리먼트는 R, 녹색을 검출하는 센싱 엘리먼트는 G, 청색을 검출하는 센싱 엘리먼트는 B로 표시될 수 있다. 또한, 센싱 엘리먼트들은 미리 정해진 패턴에 따라 배치될 수 있다. 예를 들어, 도 4에 도시된 센서(420)는 베이어 패턴(Bayer Pattern) 구조로 배치된 센싱 엘리먼트들을 포함할 수 있다.
도 4에 도시된 센서(420)는, 홀수번째 행에서 적색을 검출하는 센싱 엘리먼트 및 녹색을 검출하는 센싱 엘리먼트가 번갈아가면서 배치될 수 있다. 짝수번째 행에서는 녹색을 검출하는 센싱 엘리먼트 및 청색을 검출하는 센싱 엘리먼트가 번갈아가면서 배치될 수 있다. 예시적으로 센서(420)가 7 x 7개의 센싱 엘리먼트들을 포함하는 것으로 도시되었으나, 이로 한정하는 것은 아니다.
다만, 센싱 엘리먼트들의 각각이 적색, 청색, 및 녹색 중 하나에 대응하는 세기 값만을 검출하는 것으로 한정하는 것은 아니다. 예를 들어, 센싱 엘리먼트들의 각각은 다른 색상 좌표계(color coordinate system)에 따른 색상들 중 하나에 대응하는 세기 값을 검출할 수도 있다.
설명의 편의를 위해, 하기에서는 1번째 행(450)에 배치된 센싱 엘리먼트들을 기준으로, 각 센싱 엘리먼트에서의 색상 정보를 복원하는 방법을 설명한다. 영상 복원 장치는 나머지 열에 배치된 센싱 엘리먼트들에 대해서도 유사한 방법으로, 센싱 엘리먼트들의 색상 정보를 복원할 수 있다.
도 5는 일 실시예에 따른 센싱 엘리먼트가 렌즈를 통해 광선을 수신하는 모습을 도시한 도면이다.
상술한 바와 같이, 센서는 개별 시점들(590)에 대응하는 광선들(X1 내지 X7)을 수신할 수 있다. 광선들(X1 내지 X7)은 렌즈(510)를 통해 센서에 의해 검출될 수 있다. 도 5에서는, 도 4에 도시된 센서의 1번째 행(450)에 대응하는 센싱 엘리먼트들(S1 내지 S7)을 기준으로 설명한다.
센싱 엘리먼트들(S1 내지 S7)은 복수의 렌즈들을 통과한 광선들(X1 내지 X7)을 중첩하여 센싱할 수 있다. 예를 들어, 도 5에 도시된 렌즈 어레이에서, 렌즈(510)로부터 센서까지의 초점 거리가 감소될 수 있다. 따라서, 센싱 엘리먼트(S1)는 광선들(X1 및 X2)이 중첩된 센싱 정보(예를 들어, 색상 값)를 생성할 수 있다. 영상 복원 장치는, 영상을 복원하기 위하여, 이러한 중첩된 센싱 정보를 복원할 필요가 있다.
도 5에 도시된 센싱 엘리먼트들(S1 내지 S7)에 의해 생성되는 센싱 정보는, 하기 수학식 1에 따라, 시점들(590)의 각각으로부터 입사되는 광선에 대응하는 원본 신호 정보(예를 들어, 색상 값)로 모델링될 수 있다.
[수학식 1]
Figure pat00001
상술한 수학식 1에서, S는 개별 센싱 엘리먼트에 의해 센싱되는 센싱 정보(예를 들어, 검출된 색상 값)를 지시하는 행렬을 나타낼 수 있다. X는 개별 시점으로부터 센싱 엘리먼트들(S1 내지 S7)로 입사되는 광선에 대응하는 신호 값(예를 들어, 입사된 광선의 색상 값)을 지시하는 행렬을 나타낼 수 있다. T는 변환 행렬로서 센싱 엘리먼트들(S1 내지 S7)에 의해 검출된 센싱 정보 및 입사되는 빛에 대응하는 신호 정보 간의 관계를 나타낼 수 있다. 도 5에 도시된 구조의 광선들(X1 내지 X7), 렌즈들 및 센싱 엘리먼트들(S1 내지 S7)은 하기 수학식 2와 같이 모델링될 수 있다.
[수학식 2]
Figure pat00002
일 실시예에 따르면, 센서를 구성하는 센싱 엘리먼트들(S1 내지 S7)에 대응하는 센싱 정보(예를 들어, 색상 정보)와 개별 시점으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 원본 신호 간의 관계(예를 들어, 상술한 변환 행렬)는 상술한 렌즈(510)와 센서 간의 배치, 렌즈 어레이를 구성하는 렌즈들의 개수, 센서를 구성하는 센싱 엘리먼트들(S1 내지 S7)의 개수 등에 기초하여 결정될 수 있다.
변환행렬 T의 역 행렬이 존재하기 위해서는, 변환 행렬 T가 완전 랭크를 가져야 한다. 따라서, 촬영 장치의 파라미터들은 변환 행렬 T가 완전 랭크를 가지도록 조절될 수 있다. 일 실시예에 따른 변환 행렬 T는 역행렬이 존재하므로, 원본 신호 정보를 지시하는 행렬 X는 변환 행렬 T의 역행렬 및 센싱 엘리먼트에 의해 검출된 센싱 정보를 지시하는 행렬 S의 곱으로부터 하기 수학식 3과 같이 계산될 수 있다.
[수학식 3]
Figure pat00003
또한, 영상 복원 장치는 색상 좌표계를 구성하는 개별 색상마다 상술한 수학식 3과 유사한 모델을 이용할 수 있다. 예를 들어, 도 5에서는 적색, 녹색, 및 청색에 대하여 원본 신호인 광선들(X1 내지 X7) 및 센싱 엘리먼트들(S1 내지 S7) 간의 관계가 하기 수학식 4와 같이 모델링될 수 있다.
[수학식 4]
Figure pat00004
상술한 수학식 4에서, RX는 시점들(590)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 적색의 색상 값을 지시하는 색상 신호 행렬(color signal matrix)을 나타낼 수 있다. GX는 시점들(590)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 녹색의 색상 값을 지시하는 색상 신호 행렬을 나타낼 수 있다. BX는 시점들(590)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 청색의 색상 값을 지시하는 색상 신호 행렬을 나타낼 수 있다. RS, GS, 및 BS는 각각 센서에 배치된 센싱 엘리먼트들(S1 내지 S7)의 위치에 대응하는 적색, 녹색, 및 청색을 지시하는 센싱 정보 행렬(sensing information matrix)(예를 들어, 센싱 정보 행렬은 각 센싱 엘리먼트에서 센싱된 색상 정보를 포함)을 나타낼 수 있다. T R , T G , 및 T B 는 각각 적색, 녹색, 및 청색에 대응하는 색상 신호 행렬을 센싱 정보 행렬로 변환하는 변환 행렬을 나타낼 수 있다.
완전 랭크를 충족하기 위해서는, 센서를 구성하는 각 센싱 엘리먼트마다 모든 색상(예를 들어, 적색, 녹색, 및 청색)에 대한 색상 값이 샘플링되어야 할 필요가 있다. 다만, 도 5에 도시된 바와 같이, 센싱 엘리먼트들(S1 내지 S7)의 각각은 하나의 색상에 대한 색상 값만을 검출하므로, 하기 수학식 5와 같이 모델링될 수 있다.
[수학식 5]
Figure pat00005
설명 편의상, 센서의 1번째 행(450)에 대응하는 R/G 패턴에 대하여, 상술한 수학식 5에서, RS1, RS3, RS5, 및 RS7은 적색을 검출하는 센싱 엘리먼트(S1, S3, S5, S7)에 의해 검출된 색상 정보(예를 들어, 색상 값)을 나타낼 수 있다. GS2, GS4, 및 GS6는 녹색을 검출하는 센싱 엘리먼트(S2, S4, S6)에 의해 검출된 색상 정보(예를 들어, 색상 값)을 나타낼 수 있다.
다만, 상술한 수학식 5에서, 적색에 대한 광선들(X1 내지 X7) 및 센싱 엘리먼트들(S1 내지 S7) 간의 관계를 모델링하면, 하기 수학식 6과 같이 나타낼 수 있다.
[수학식 6]
Figure pat00006
상술한 수학식 6과 같이, 복원되어야 하는 신호의 적색에 대한 색상 정보는 6개(RX1, RX2, RX3, RX5, RX6, RX7)이고, 모델링된 식은 4개이므로, 수학식 6에 기초한 모델은 원본 신호를 복원할 수 없다.
상술한 수학식 5에서, 적색에 대한 광선들 및 센서 간의 관계도 하기 수학식 7과 같이 나타낼 수 있다.
[수학식 7]
Figure pat00007
상술한 수학식 7에서도, 복원되어야 하는 녹색 신호에 대한 색상 정보는 5개(GX1, GX3, GX4, GX5, GX7)이지만, 모델링된 식은 3개이므로, 수학식 7에 기초한 모델은 원본 신호를 복원할 수 없다.
일 실시예에 따른 영상 복원 장치는 하기와 같이 원본 신호의 색상 정보를 복원하는 기법을 제안한다.
도 6은 일 실시예에 따른 대상 센싱 엘리먼트의 색상 정보를 복원하기 위해, 다른 렌즈를 통과한 광선을 수신하는 센싱 엘리먼트를 이용하는 것을 도시한 도면이다.
일 실시예에 따른 영상 복원 장치의 프로세서는, 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 다른 센싱 엘리먼트로 결정할 수 있다.
예를 들어, 도 6에서, 영상 복원 장치는 센싱 엘리먼트들(621, 622, 623)을 포함하는 센서(620) 및 렌즈들(611, 612, 613)을 포함할 수 있다. 제1 광선(691)이 제1 렌즈(611)를 통과하여, 제1 센싱 엘리먼트(621)로 입사할 수 있다. 제1 센싱 엘리먼트(621)는 녹색에 대응하는 색상 값을 센싱 정보로서 생성할 수 있다. 영상 복원 장치는 제1 센싱 엘리먼트(621)가 배치된 위치의 적색의 색상 값을 추정하기 위하여, 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용할 수 있다.
제2 광선(692) 및 제3 광선(693)은 제1 광선(691)과 방향이 유사한 것으로 가정될 수 있다. 제2 광선(692)은 제2 렌즈(612)를 통과하여 제2 센싱 엘리먼트(622)로 입사할 수 있다. 제3 광선(693)은 제3 렌즈(613)를 통과하여 제3 센싱 엘리먼트(623)로 입사할 수 있다. 도시된 바와 같이, 제2 센싱 엘리먼트(622) 및 제3 센싱 엘리먼트(623)는 적색에 대응하는 색상 값을 센싱 정보로서 생성할 수 있다. 따라서, 영상 복원 장치는 도 6에서 제2 센싱 엘리먼트(622) 및 제3 센싱 엘리먼트(623)에 의해 검출된 적색에 대한 색상 정보에 기초하여, 제1 센싱 엘리먼트(621)의 적색에 대한 색상 정보를 복원할 수 있다.
일 실시예에 따른 영상 복원 장치의 프로세서는 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 임계 각도 이하인, 방향을 가지는 다른 광선을 수신하는 센싱 엘리먼트를 다른 센싱 엘리먼트로 결정할 수 있다. 임계 각도는 설계에 따라 변경될 수 있다.
또한, 영상 복원 장치의 프로세서는, 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 작은 순서로, 미리 정한 개수의 센싱 엘리먼트를 다른 센싱 엘리먼트로 결정할 수 있다. 따라서, 영상 복원 장치는 대상 센싱 엘리먼트에 입사되는 광선과 유사한 방향을 수신하는 미리 정한 개수의 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용하여, 대상 센싱 엘리먼트의 색상 정보를 복원할 수 있다. 미리 정한 개수는 설계에 따라 변경될 수 있다.
영상 복원 장치는 유사한 방향의 광선이 입사되는 센싱 엘리먼트들이 상호 매핑된 매핑 정보를 저장할 수 있다. 예를 들어, 영상 복원 장치는 대상 센싱 엘리먼트에 대해 특정 색상 정보(예를 들어, 대상 센싱 엘리먼트에 의해 검출될 수 없는 색상)를 복원하기 위하여, 매핑 정보에 기초하여 대상 센싱 엘리먼트와 유사한 방향의 광선이 입사되는, 해당 색상을 검출할 수 있는 센싱 엘리먼트를 검색할 수 있다.
영상 복원 장치는, 대상 센싱 엘리먼트에 공간적으로 인접한 인접 센싱 엘리먼트들만을 이용하는 것보다, 유사한 방향의 광선이 입사되는 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용함으로써, 보다 정확한 색상 정보를 복원할 수 있다.
도 7은 설명의 편의를 위하여, 대상 센싱 엘리먼트가 수신하는 광선과 방향성이 유사한 광선을 수신하는 센싱 엘리먼트를 1차원으로 도시한 도면이다.
상술한 바와 같이, 영상 복원 장치는 대상 센싱 엘리먼트의 색상 정보를 보간하기 위해, 공간적으로 인접한 인접 센싱 엘리먼트 대신, 방향이 유사한 광선을 수신하는 다른 센싱 엘리먼트를 참조할 수 있다. 예를 들어, 렌즈들(711, 712) 및 센싱 엘리먼트들(S1 내지 S7)이 조금씩 엇갈리게 배치된 구조이므로, 영상 복원 장치는 인접한 다른 렌즈를 통과한 광선을 수신하는 센싱 엘리먼트에 의해 검출되는 색상 정보를 이용함으로써, 보간의 정밀도를 개선할 수 있다.
예를 들어, 도 7에서 제2 센싱 엘리먼트(S2)(451)의 적색에 대응하는 색상 정보를 복원하는 과정을 설명한다.
제2 센싱 엘리먼트(S2)(451)와 공간적으로 인접한 제1 센싱 엘리먼트(S1) 및 제3 센싱 엘리먼트(S3)(453)를 이용할 경우, 제2 센싱 엘리먼트(S2)(451)에 대한 적색 색상 정보는 (RS1+RS3)/2로 산출될 수 있다. 여기서, RS1은 제1 센싱 엘리먼트(S1)에 의해 검출된 적색 색상 정보를 나타낼 수 있고, RS3는 제3 센싱 엘리먼트(S3)(453)에 의해 검출된 적색 색상 정보를 나타낼 수 있다.
다만, 제2 센싱 엘리먼트(S2)(451)는 입사되는 광선들(X3 및 X4)(791)이 혼합된 세기 값을 지시하는 센싱 정보를 생성하는 바, 제2 센싱 엘리먼트(451)에 대응하는 원본 적색 신호는 RX3+RX4로 나타낼 수 있다. RX3는 광선(X3)의 적색 성분에 대응하는 색상 값, RX4는 광선(X4)의 적색 성분에 대응하는 색상 값을 나타낼 수 있다.
도 7에 도시된 바와 같이, 광선(X3)은 제5 센싱 엘리먼트(S5)(452)에 입사될 수 있다. 따라서, RS2와 가장 유사한 센싱 정보는 RS1보다, 제5 센싱 엘리먼트(452)에 의해 검출되는 색상 정보 RS5로 추정될 수 있다. 따라서, 단순히 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보를 이용하는 것보다, 영상 복원 장치는 유사한 방향을 가지는 광선을 수신한 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용함으로써, 보다 더 정확하게 컬러 영상을 복원할 수 있다.
또한, 영상 복원 장치의 프로세서는 대상 센싱 엘리먼트와 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보 및 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 대상 센싱 엘리먼트의 위치에 대응하는 색상 정보를 추정할 수 있다. 예를 들어, 도 7에 도시된 구조에서 광선(X4)은 적색을 검출할 수 있는 센싱 엘리먼트에 입사되지 않는 바, 영상 복원 장치는 인접 센싱 엘리먼트에 의해 검출된 색상 정보를 다른 센싱 엘리먼트에 의해 검출된 색상 정보와 함께 이용할 수 있다.
[수학식 8]
Figure pat00008
상술한 수학식 8은, 다른 센싱 엘리먼트인 제5 센싱 엘리먼트(S5)(452)에 의해 검출된 색상 정보 RS5 및 인접 센싱 엘리먼트인 제3 센싱 엘리먼트(S3)(453)에 의해 검출된 색상 정보 RS3에 기초하여 대상 센싱 엘리먼트인 제2 센싱 엘리먼트(S2)(451)의 적색 색상 정보를 복원하는 것을 나타낸다. 도 7에 도시된 바와 같이, 색상 정보 RS5는 광선들(RX2 및 RX3)이 혼합된 색상 값을 나타낼 수 있고, RS3는 광선들(RX5 및 RX6)이 혼합된 색상 값을 나타낼 수 있다.
또한, 영상 복원 장치는 상술한 수학식 8과 같이, 개별 센싱 엘리먼트에 의해 검출된 색상 정보에 가중치를 부여할 수 있다. 일 실시예에 따르면 프로세서는, 인접 센싱 엘리먼트에 의해 검출된 색상 정보에 제1 가중치(예를 들어, 1-α)를 적용하고, 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 제2 가중치(예를 들어, α)를 적용할 수 있다. 적색을 검출할 수 없는 나머지 센싱 엘리먼트들(S4, S6)에 대해서도, 영상 복원 장치는 하기 수학식 9와 같이 모델링할 수 있다.
[수학식 9]
Figure pat00009
[수학식 10]
Figure pat00010
영상 복원 장치는 보간하고자 하는 대상 센싱 엘리먼트의 색상 값을 추정하기 위해, 유사한 방향의 광선을 수신하는 다른 센싱 엘리먼트에 의해 검출된 색상 값을 이용할 수 있다.
상술한 수학식 8 내지 수학식 10은 설명의 편의상, 대상 센싱 엘리먼트와 동일한 라인 상에서 방향성이 유사한 광선을 수신하는 다른 센싱 엘리먼트의 색상 정보를 참조하는 것으로 설명되었으나, 이로 한정하는 것은 아니다. 예를 들어, 영상 복원 장치는 2차원 공간상에서 대상 센싱 엘리먼트가 수신하는 광선이 통과한 렌즈와, 상하좌우로 인접한 다른 렌즈를 통과한 광선이 입사되는 센싱 엘리먼트의 색상 정보를 이용할 수도 있다.
상술한 수학식 8 내지 수학식 10은 도 7에 도시된 구조를 설명하기 위한 수학식으로서, 이를 적색에 대해 일반화하면 하기 수학식 11과 같이 나타낼 수 있다.
[수학식 11]
Figure pat00011
상술한 수학식 11에서, RSi는 i번째 대상 센싱 엘리먼트에 대해 복원되어야 하는 색상 값을 나타낼 수 있다. RSj는 j번째 다른 센싱 엘리먼트에 의해 검출된 색상 값을 나타낼 수 있다. αj는 j번째 다른 센싱 엘리먼트에 의해 검출된 색상 값에 적용되는 가중치를 나타낼 수 있다. N은 i번째 대상 센싱 엘리먼트가 수신하는 광선과 방향이 유사한 광선을 수신하는 다른 센싱 엘리먼트의 개수를 나타낼 수 있다. 영상 복원 장치는 상술한 수학식 11과 유사하게, 모든 색상에 대해서, 대상 센싱 엘리먼트와 유사한 방향의 광선을 수신하는 다른 센싱 엘리먼트에 의해 검출된 색상 정보의 가중 평균(weighted average)을 산출할 수 있다.
또한, 프로세서는, 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 다른 센싱 엘리먼트에 의해 수신되는 다른 광선의 방향 간의 각도 차이가 작을수록, 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 더 높은 가중치를 적용할 수 있다.
도 8은 일 실시예에 따른 영상 복원 방법을 상세히 도시한 흐름도이다.
우선, 단계(810)에서 영상 복원 장치는 멀티 렌즈 어레이를 통해 영상을 촬영할 수 있다. 예를 들어, 영상 복원 장치의 멀티 렌즈 어레이는 광선들을 통과시킬 수 있고, 센서는 입사된 광선으로부터 각 센싱 엘리먼트가 검출할 수 있는 색상에 대응하는 색상 값을 지시하는 센싱 정보를 생성할 수 있다.
그리고 단계(820)에서 영상 복원 장치는 색상 보간을 위해 가장 유사한 광선을 검색할 수 있다. 예를 들어, 영상 복원 장치는 대상 센싱 엘리먼트의 색상 정보를 복원하기 위하여, 상술한 바와 같이, 대상 센싱 엘리먼트에 입사되는 광선과 유사한 방향의 광선이 입사되는 다른 센싱 엘리먼트를 선택할 수 있다.
이어서 단계(830)에서 영상 복원 장치는 대상 센싱 엘리먼트에 대해, 가장 유사한 광선을 이용하여 색상을 보간할 수 있다. 예를 들어, 영상 복원 장치는 유사한 방향의 광선이 입사되는 다른 센싱 엘리먼트에 의해 검출되는 색상 정보에 기초하여, 대상 센싱 엘리먼트에 대응하는 색상 정보를 추정할 수 있다. 영상 복원 장치는 색상 좌표계를 구성하는 각 색상에 대하여, 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원할 수 있다. 예를 들어, 색상 좌표계가 RGB로 구성되는 경우, 영상 복원 장치는 적색을 검출하지 못하는 대상 센싱 엘리먼트(예를 들어, 청색 또는 녹색을 검출할 수 있는 센싱 엘리먼트)에 대하여, 적색을 검출할 수 있는 다른 센싱 엘리먼트를 이용하여 대상 센싱 엘리먼트에 대응하는 적색의 색상 값을 추정할 수 있다. 영상 복원 장치는, 대상 센싱 엘리먼트에 대하여, 적색, 청색, 및 녹색의 각각에 대응하는 색상 정보를 결정할 수 있다.
그리고 단계(840)에서 영상 복원 장치는 각 색상 채널에 대하여 영상을 복원할 수 있다. 일 실시예에 따르면, 영상 복원 장치의 프로세서는, 단계(830)에서 복원된 색상 정보에 기초하여, 컬러 영상을 복원할 수 있다. 영상 복원 장치는, 색상 좌표계를 구성하는 각 색상에 대해 복원된 색상 정보를 결합(combine)함으로써, 컬러 영상을 복원할 수 있다.
도 9는 일 실시예에 따른 영상 복원의 예시를 설명한 도면이다.
영상 복원 장치는 상술한 도 1 내지 도 7에서 설명한 동작을 수행함으로써, 센서를 구성하는 각 센싱 엘리먼트에 대하여 모든 색상에 대한 색상 정보를 결정할 수 있다. 예를 들어, 색상 좌표계가 제1 색상 내지 제3 색상으로 구성되는 경우, 영상 복원 장치는 각 센싱 엘리먼트에 대하여, 해당 센싱 엘리먼트가 검출할 수 있는 제1 색상에 대해서는 해당 센싱 엘리먼트에 의해 검출된 색상 값을 이용할 수 있다. 해당 센싱 엘리먼트가 검출할 수 없는 제2 색상 또는 제3 색상에 대해서는, 다른 센싱 엘리먼트에 의해 검출된 제2 색상 또는 제3 색상에 대응하는 색상 값에 기초하여, 해당 센싱 엘리먼트에 대응하는 제1 색상의 색상 값을 추정할 수 있다. 제1 색상 내지 제3 색상은, RGB 계에서, 적색, 녹색, 및 청색 중 하나에 대응할 수 있으나, 색상 좌표계를 이로 한정하는 것은 아니다.
도 9는 색상 좌표계를 구성하는 색상들 중 하나의 색상에 대하여 영상 복원 장치가 각 센싱 엘리먼트에 대응하는 색상 정보를 복원하는 것을 예시적으로 도시한다. 영상 복원 장치는 모든 색상에 대하여, 색상 정보를 복원할 수 있다.
상술한 수학식 3과 같이, 원본 신호(도 9에서는 임의의 한 색상에 대응하는 색상 신호) X는 변환 행렬의 역행렬 T -1 및 센싱 정보 행렬 S의 행렬 곱에 기초하여 추정될 수 있다. 변환 행렬의 역행렬 T -1 는 상술한 바와 같이, 센싱 엘리먼트들과 시점들의 대응 관계에 기초하여 결정될 수 있다. 변환 행렬 T는 렌즈와 센서 간의 배치에 의해서, 하나의 센싱 엘리먼트에서 복수의 시점들에 대응하는 광선들이 중첩되어 센싱 되는 구조를 모델한 행렬을 나타낼 수 있다. 센싱 정보 행렬 S는 각 센싱 엘리먼트들에 대응하는 센싱 정보로서, 각 센싱 엘리먼트에 의해 검출된 색상 정보(예를 들어, 색상 값)을 포함할 수 있다.
도 9에 도시된 바와 같이, 영상 복원 장치는 센싱 정보 행렬 S에 센싱 엘리먼트들과 시점들의 대응 관계에 기초한 변환 행렬이 역변환된 역행렬 T -1 를 적용함으로써, 센싱 정보 행렬 S로부터 원본 색상 신호 X를 복원할 수 있다. 영상 복원 장치는, 각 색상에 대하여 상술한 수학식 3, 수학식 4 및 도 9에 따라 역행렬 T -1 을 센싱 정보에 적용함으로써, 색상 정보를 복원할 수 있고, 각 색상에 대해 복원된 색상 정보에 기초하여 컬러 영상을 복원할 수 있다.
도 10 및 도 11은 일 실시예에 따른 영상 복원 장치가 구현될 수 있는 기기를 도시한 도면이다.
일 실시예에 따른 영상 복원 장치는 다양한 기술 분야에 적용될 수 있다. 영상 복원 장치는, 복수의 렌즈들로 구성되는 렌즈 어레이 및 복수의 센싱 엘리먼트들로 구성되는 센서가 비교적 짧은 초점 거리로 이격되도록 설계될 수 있다. 따라서, 영상 복원 장치는, 고화질 촬영을 위해 센서의 크기가 크면서도, 초박형 카메라(ultra thin camera)로 구현될 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 스마트폰 기기(1000)에 전면 카메라로서, 영상 복원 장치(1010)가 구현될 수 있다. 영상 복원 장치(1010)의 센서는 풀 프레임(full frame)으로 구현될 수 있고, 렌즈 어레이는 마이크로 렌즈(micro lens)로 구현될 수 있다.
또한, 도 11에 도시된 바와 같이, 차량(1100)에 곡선을 가지는 전면 카메라 또는 후면 카메라로서 영상 복원 장치(1110)가 구현될 수 있다. 다만, 이로 한정하는 것은 아니고, 영상 복원 장치는 DSLR 카메라, 드론(Drone), CCTV, 웹캠(Webcam)용 카메라, 360도 촬영 카메라, 영화 및 방송을 위한 카메라, 및 VR/AR 카메라 등에 사용될 수 있다. 더 나아가, 영상 복원 장치는 유연하거나 연장될 수 있는 카메라(Flexible/Stretchable Camera), 곤충 눈 카메라, 컨택트 렌즈 타입(Contact lens type) 카메라 등과 같은 다양한 분야에도 적용될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 영상 복원 장치
210: 렌즈
220: 센서
230: 프로세서

Claims (20)

  1. 영상 복원 장치에 있어서,
    복수의 광선들을 통과시키는 복수의 렌즈들;
    상기 복수의 렌즈들 중 하나의 렌즈를 통과한 대상 광선(target ray)을 수신하는 대상 센싱 엘리먼트(target sensing element) 및 상기 대상 광선의 방향(direction)에 기초하여 결정된 다른 센싱 엘리먼트를 포함하는 센서; 및
    상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원하는 프로세서
    를 포함하는 영상 복원 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 상기 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는,
    영상 복원 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 임계 각도 이하인, 방향을 가지는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는,
    영상 복원 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 작은 순서로, 미리 정한 개수의 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는,
    영상 복원 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 복원된 색상 정보에 기초하여, 컬러 영상을 복원하는,
    영상 복원 장치.
  6. 제1항에 있어서,
    상기 대상 센싱 엘리먼트는,
    상기 복수의 광선들 중 상기 대상 센싱 엘리먼트에 도달한 대상 광선으로부터, 제1 색상에 대응하는 색상 값을 검출하고,
    상기 다른 센싱 엘리먼트는,
    상기 복수의 광선들 중 상기 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 제2 색상에 대응하는 색상 값을 검출하며,
    상기 제1 색상 및 상기 제2 색상은 서로 상이하고,
    상기 프로세서는,
    상기 다른 센싱 엘리먼트에 의해 검출된 제2 색상에 대응하는 색상 값에 기초하여, 상기 대상 센싱 엘리먼트가 배치된 위치에 대응하는 제2 색상에 대응하는 색상 값을 추정하는,
    영상 복원 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 센싱 엘리먼트와 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트의 위치에 대응하는 색상 정보를 추정하는,
    영상 복원 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 인접 센싱 엘리먼트에 의해 검출된 색상 정보에 제1 가중치를 적용하고, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 제2 가중치를 적용하는,
    영상 복원 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 상기 다른 센싱 엘리먼트에 의해 수신되는 다른 광선의 방향 간의 각도 차이가 작을수록, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 더 높은 가중치를 적용하는,
    영상 복원 장치.
  10. 제1항에 있어서,
    상기 복수의 렌즈들은,
    상기 센서에 포함된 복수의 센싱 엘리먼트들에 대해 엇갈리도록 배치되는,
    영상 복원 장치.
  11. 영상 복원 방법에 있어서,
    복수의 센싱 엘리먼트들을 포함하는 센서를 통해, 복수의 렌즈들을 통과한 복수의 광선들을 수신하는 단계;
    상기 복수의 렌즈들 중 하나의 렌즈를 통과한 대상 광선을 수신한 대상 센싱 엘리먼트에 대하여, 상기 대상 광선의 방향에 기초하여 다른 센싱 엘리먼트를 선택하는 단계; 및
    상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트에 대응하는 색상 정보를 복원하는 단계
    를 포함하는 영상 복원 방법.
  12. 제11항에 있어서,
    상기 다른 센싱 엘리먼트를 선택하는 단계는,
    상기 대상 광선이 통과한 렌즈와 다른 렌즈를 통과하고, 상기 대상 광선과의 방향 차이가 최소화되는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계
    를 포함하는 영상 복원 방법.
  13. 제11항에 있어서,
    상기 다른 센싱 엘리먼트를 선택하는 단계는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 임계 각도 이하인, 방향을 가지는 다른 광선을 수신하는 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계
    를 포함하는 영상 복원 방법.
  14. 제11항에 있어서,
    상기 다른 센싱 엘리먼트를 선택하는 단계는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 이루는 각도 차이가 작은 순서로, 미리 정한 개수의 센싱 엘리먼트를 상기 다른 센싱 엘리먼트로 결정하는 단계,
    를 포함하는 영상 복원 방법.
  15. 제11항에 있어서,
    상기 복원된 색상 정보에 기초하여, 컬러 영상을 복원하는 단계
    를 더 포함하는 영상 복원 방법.
  16. 제11항에 있어서,
    상기 복수의 광선들을 수신하는 단계는,
    상기 복수의 광선들 중 상기 대상 센싱 엘리먼트에 도달한 대상 광선으로부터, 제1 색상에 대응하는 색상 값을 검출하는 단계; 및
    상기 복수의 광선들 중 상기 다른 센싱 엘리먼트에 도달한 다른 광선으로부터, 상기 제1 색상과 상이한 제2 색상에 대응하는 색상 값을 검출하는 단계
    를 포함하고,
    상기 색상 정보를 복원하는 단계는,
    상기 다른 센싱 엘리먼트에 의해 검출된 제2 색상에 대응하는 색상 값에 기초하여, 상기 대상 센싱 엘리먼트가 배치된 위치에 대응하는 제2 색상에 대응하는 색상 값을 추정하는 단계
    를 포함하는 영상 복원 방법.
  17. 제11항에 있어서,
    상기 색상 정보를 복원하는 단계는,
    상기 대상 센싱 엘리먼트와 공간적으로 인접한 인접 센싱 엘리먼트에 의해 검출된 색상 정보 및 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 기초하여, 상기 대상 센싱 엘리먼트의 위치에 대응하는 색상 정보를 추정하는 단계
    를 포함하는 영상 복원 방법.
  18. 제17항에 있어서,
    상기 색상 정보를 추정하는 단계는,
    상기 인접 센싱 엘리먼트에 의해 검출된 색상 정보에 제1 가중치를 적용하고, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 제2 가중치를 적용하는 단계
    를 포함하는 영상 복원 방법.
  19. 제11항에 있어서,
    상기 색상 정보를 복원하는 단계는,
    상기 대상 센싱 엘리먼트에 의해 수신되는 대상 광선의 방향과 상기 다른 센싱 엘리먼트에 의해 수신되는 다른 광선의 방향 간의 각도 차이가 작을수록, 상기 다른 센싱 엘리먼트에 의해 검출된 색상 정보에 더 높은 가중치를 적용하는 단계
    를 포함하는 영상 복원 방법.
  20. 하드웨어와 결합되어 제11항 내지 제19항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.

KR1020170158646A 2017-11-24 2017-11-24 영상 복원 장치 및 방법 KR102565277B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170158646A KR102565277B1 (ko) 2017-11-24 2017-11-24 영상 복원 장치 및 방법
US16/197,591 US10902557B2 (en) 2017-11-24 2018-11-21 Method and apparatus for restoring image
CN201811396084.XA CN109842749B (zh) 2017-11-24 2018-11-22 用于恢复图像的方法和设备
JP2018219278A JP7264624B2 (ja) 2017-11-24 2018-11-22 映像復元装置及び方法
EP18207752.9A EP3490251A1 (en) 2017-11-24 2018-11-22 Method and apparatus for restoring image
US17/125,448 US11334968B2 (en) 2017-11-24 2020-12-17 Method and apparatus for restoring image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158646A KR102565277B1 (ko) 2017-11-24 2017-11-24 영상 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190060441A true KR20190060441A (ko) 2019-06-03
KR102565277B1 KR102565277B1 (ko) 2023-08-09

Family

ID=64453345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158646A KR102565277B1 (ko) 2017-11-24 2017-11-24 영상 복원 장치 및 방법

Country Status (5)

Country Link
US (2) US10902557B2 (ko)
EP (1) EP3490251A1 (ko)
JP (1) JP7264624B2 (ko)
KR (1) KR102565277B1 (ko)
CN (1) CN109842749B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
US11726306B2 (en) 2020-10-22 2023-08-15 Samsung Electronics Co., Ltd. Imaging device
US11991486B2 (en) 2021-09-10 2024-05-21 Samsung Electronics Co., Ltd. Color transform method, electronic device for performing the method, and image sensor

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653106B1 (ko) 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
JP6898684B1 (ja) * 2020-11-17 2021-07-07 株式会社シンカ・アウトフィットＮｑ 解析装置
KR20230111379A (ko) 2022-01-18 2023-07-25 삼성전자주식회사 이미지 센서 및 이미징 장치
CN116381954B (zh) * 2023-06-05 2023-09-22 河南百合特种光学研究院有限公司 一种高斯转平顶紫外激光整形镜头系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070122347A (ko) * 2006-06-26 2007-12-31 삼성전기주식회사 이미지 복원 방법 및 장치
US20130128068A1 (en) * 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
KR100617781B1 (ko) * 2004-06-29 2006-08-28 삼성전자주식회사 이미지 센서의 화질 개선장치 및 방법
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
US8319846B2 (en) * 2007-01-11 2012-11-27 Raytheon Company Video camera system using multiple image sensors
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
KR100924121B1 (ko) * 2007-12-15 2009-10-29 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP5446797B2 (ja) * 2009-12-04 2014-03-19 株式会社リコー 撮像装置
WO2011122284A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US20120188409A1 (en) 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
CN103688536B (zh) 2011-05-30 2016-05-11 株式会社尼康 图像处理装置、图像处理方法
JP5984493B2 (ja) 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
KR101328741B1 (ko) * 2012-01-03 2013-11-11 중앙대학교 산학협력단 색상 채널을 이용한 영상 개선 장치 및 방법
KR101958910B1 (ko) * 2012-10-26 2019-03-15 에스케이 텔레콤주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
JP6190119B2 (ja) 2013-02-08 2017-08-30 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6406804B2 (ja) * 2013-08-27 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102427854B1 (ko) 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR102556420B1 (ko) 2017-09-25 2023-07-17 삼성전자주식회사 디스플레이 장치
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
KR102547822B1 (ko) 2017-11-24 2023-06-26 삼성전자주식회사 Hud 시스템 및 hud를 위한 광학 소자
US11375092B2 (en) * 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070122347A (ko) * 2006-06-26 2007-12-31 삼성전기주식회사 이미지 복원 방법 및 장치
US20130128068A1 (en) * 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11663699B2 (en) 2018-09-13 2023-05-30 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
US11726306B2 (en) 2020-10-22 2023-08-15 Samsung Electronics Co., Ltd. Imaging device
US11991486B2 (en) 2021-09-10 2024-05-21 Samsung Electronics Co., Ltd. Color transform method, electronic device for performing the method, and image sensor

Also Published As

Publication number Publication date
CN109842749B (zh) 2021-12-07
CN109842749A (zh) 2019-06-04
US11334968B2 (en) 2022-05-17
JP2019097169A (ja) 2019-06-20
KR102565277B1 (ko) 2023-08-09
US10902557B2 (en) 2021-01-26
US20210218944A1 (en) 2021-07-15
US20190164255A1 (en) 2019-05-30
JP7264624B2 (ja) 2023-04-25
EP3490251A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
KR102565277B1 (ko) 영상 복원 장치 및 방법
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7101646B2 (ja) イメージ復元方法及び装置
US20210133920A1 (en) Method and apparatus for restoring image
US10489885B2 (en) System and method for stitching images
US11375092B2 (en) Image sensor and image sensing method
KR20180059233A (ko) 멀티 렌즈 기반의 촬영 장치 및 방법
EP3633969B1 (en) Image sensor and image sensing method
US10270957B2 (en) Method and apparatus for generating an adapted slice image from a focal stack
EP4050553A1 (en) Method and device for restoring image obtained from array camera
EP3910385A1 (en) Image sensor
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
KR102614908B1 (ko) 이미지 복원 방법 및 장치
KR20200072136A (ko) 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
KR102653106B1 (ko) 영상 처리 장치 및 방법
CN113971629A (zh) 图像恢复方法和装置
WO2018139250A1 (ja) 全天球撮像装置
WO2018078222A1 (en) Multiple view colour reconstruction
KR20210137886A (ko) 이미지 센서
KR20220080249A (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right